Olá a todos, e bem-vindos de volta.
Agora, no vídeo de hoje, vamos discutir mais detalhadamente sobre o Amazon FS for Luster.
Agora em uma visão geral de alto nível, já sabemos que a face amazônica para Luster é um sistema de arquivos totalmente
gerenciado que se baseia em Luster.
Agora, se você olhar para este diagrama, ele basicamente significa o fluxo de trabalho oral.
Então, o que você faz?
Você geralmente cria o sistema de arquivo lustre.
Então você pode ligá-lo ou integrá-lo com um serviço, que é principalmente o Amazon S3 onde a sincronização pode
acontecer e então você associa ou monta este sistema de arquivo específico a um conjunto múltiplo de recursos.
Pode ser fácil duas instâncias X e X na premissa, etc. E então, uma vez montado o sistema de arquivo, você pode ir em frente
e executar suas tarefas de HPC de aprendizagem da máquina.
Portanto, este é o fluxo de trabalho geral.
Portanto, como parte do Luster, há certos casos de uso que você terá que lembrar é que ele é usado principalmente para casos
de uso de aprendizagem de máquinas.
Os casos de uso de HPC para grandes análises de dados e até mesmo para VFX.
Portanto, como parte do fluxo de trabalho geral, vamos supor que o seu FS quatro lustre esteja integrado com o balde S3.
Portanto, o primeiro passo primário seria que os dados que são armazenados no S3 sejam carregados para o seu FS quatro luster para
processamento.
Portanto, haveria alguns dados que precisam ser processados, que estão no balde S3.
Assim, você carrega esses dados para o sistema de arquivos Luster.
O sistema de arquivo Luster, por sua vez, é montado em um conjunto de duas instâncias da CE.
Assim, uma vez que os arquivos são montados em Luster, o processamento desses arquivos pode ocorrer
no conjunto de duas instâncias da CE e a saída final do processo pode ser devolvida aos S três para a retenção geral.
Agora, uma parte específica que você precisa lembrar é que o brilho do FS quatro é nativamente integrado ao repositório
de dados como o Amazon S3. Portanto, se você olhar para esta captura de tela específica, você tem a integração
do repositório de dados, ele é do tipo três, e então você especifica o balde S3.
Portanto, este é o balde específico a partir do qual os dados serão adicionados ao sistema de arquivos Luster.
Agora deixe-me também mostrar rapidamente para que eu já tenha o sistema de arquivo Luster que está disponível agora neste
sistema de arquivo específico de se você olhar no repositório de dados, você tem o balde Amazon S3, você tem o caminho de importação,
você tem a parte de exportação.
Assim, você pode associar um balde S3 específico com Luster.
Na verdade, sempre que você criar um sistema de arquivo Luster, vamos um pouco mais abaixo.
Você tem uma opção específica relacionada ao repositório de dados onde você pode importar os dados e também exportar
os dados para S3.
Portanto, se você vai ver, você terá que especificar os três baldes.
E mais uma vez, existem certas configurações de importação e exportação.
Portanto, nas configurações de importação você pode especificar aqui três opções primárias.
Portanto, você tem que escolher quais atualizações no repositório de dados.
Neste caso, três devem ser propagados para o sistema de arquivo.
Assim, basicamente sempre que fazemos algumas atualizações no balde S3 com base em que tipo de atualizações devem ser propagadas
para o sistema de arquivos, principalmente porque ele será ligado.
Da mesma forma, você também tem as configurações de exportação onde você pode escolher quais atualizações que fazem
parte do sistema de arquivo devem ser propagadas de volta ao repositório de dados, que é o S3.
Muito bem.
Portanto, espero que nesta fase você tenha entendido o que significa o repositório de dados.
Agora, aqui você precisa entender o conceito básico de carregamento preguiçoso de dados.
Assim, em uma visão geral de alto nível, o carregamento preguiçoso é uma prática de atrasar a carga ou inicialização de recursos ou objetos
até que eles sejam realmente necessários.
Portanto, isto pode ser melhor compreendido com este diagrama onde vamos supor que você tem um
balde e ele contém petabytes de dados e você tem o sistema de arquivos FS for Lustre.
Agora, quando você integra o FS com o S3, você precisa de todos os petabytes de dados do S3 para fazer parte
do lustre?
A resposta é não na maioria dos casos, e esta é a razão pela qual o que você faz, você apenas carrega os dados necessários.
E com base nisso, esses dados necessários serão processados pela CE em duas instâncias.
Portanto, isto não só melhora seu desempenho geral, mas também economiza muitos recursos.
Agora, quando discutimos sobre as opções gerais de implantação, há duas opções primárias que você
verá.
Um é o arranhão e o segundo é o persistente.
Portanto, se você vir mesmo no diagrama no tipo de implantação e armazenamento, você tem a persistência
e tem o arranhão.
E dependendo da opção que você escolher, a capacidade geral de armazenamento, bem como o rendimento
também mudará.
Portanto, a primeira opção de implantação que será explorada é o arranhão.
Assim, em uma visão geral de alto nível, os sistemas de arquivo de raspadinha são projetados principalmente para armazenamento temporário
e processamento de dados a curto prazo.
O benefício aqui é que ele proporciona um alto rendimento de ruptura.
No entanto, como foi projetado para casos de uso temporário, os dados não são replicados e não persistirão se um servidor
de arquivos falhar.
O segundo tipo de opção de implantação é.
Persistente e isto é recomendado para armazenagem e cargas de trabalho de longo prazo.
O benefício aqui é que os servidores de arquivos estão altamente disponíveis e os dados são automaticamente replicados
dentro da mesma facilidade em que o sistema de arquivos está localizado.
Agora vamos também explorar isso.
Portanto, se você entrar um pouco na configuração de brilho, você tem o SSD persistente, você tem
o HDD persistente.
Novamente em persistente, você tem tanto o HDD quanto o SSD e você tem o SSD de arranhões.
Algo a ser observado aqui é que o rendimento muda.
Por exemplo, no SSD de raspagem, você tem 200.
No SSD persistente, você tem um conjunto múltiplo de opções que estão disponíveis.
Agora, antes de concluirmos, há certas indicações importantes das quais você precisa manter uma nota.
A primeira é que você pode configurar o FS para lustre para manter o conteúdo sincronizado tanto na direção do sistema
de arquivo quanto nos baldes S3 ligados.
A segunda opção é que, alternativamente, você também pode ter a opção de importar e exportar lotes de dados
novos e alterados entre o sistema de arquivo e o S3 para o controle geral da sincronização dos dados.
Portanto, ambas as opções estão disponíveis dependendo do caso de uso.
Agora, antes de concluirmos, eu também queria mostrar a vocês uma visão geral de alto nível sobre como o
sistema de arquivos está conectado a um recurso específico como o EC2.
Assim, a palavra mais precisa seria montada.
Agora, nesta fase, temos um sistema de arquivo cluster e este sistema de arquivo Leicester, como sabemos, um dos repositórios
de dados aqui é o balde do conjunto de amostras do laboratório AP.
Portanto, agora queremos associar este sistema de arquivo às duas instâncias da CE que temos.
Portanto, o que você precisa fazer, você tem que executar a montagem de um comando específico e dentro dele você terá
que especificar o DNS do sistema de arquivos.
Assim, por exemplo.
Se você voltar atrás, você recebe o nome DNS.
Vamos copiar o nome denso.
Vou copiar isto, vamos copiar isto aqui.
E então você também terá que substituir o nome da montagem.
Vamos copiar o nome da montagem.
Vou adicioná-lo aqui e então você poderá especificar qual diretório este sistema de arquivos será montado.
Por exemplo, deixe-me apenas criar um novo diretório.
Vou apenas copiar os laboratórios que se fixam na raiz.
Muito bem.
Então o que você pode fazer, você pode especificar o diretório, que é o CPU Labs F6, e você pode executar o comando,
e isso é tudo.
Se você executar a montagem, você deve ver que nosso sistema de arquivos está montado no diretório F6 dos laboratórios
de CPU, e se você explorar o conteúdo da pasta FS dos laboratórios de CPU aqui, você deve ver os arquivos que fazem parte
do balde S3.
Muito bem.
Portanto, espero que isto lhe tenha dado muito mais clareza sobre como os sistemas de arquivo que você cria como parte
da PHS são associados ou montados como parte da CE.
Duas instâncias.
Assim, com isto, o vídeo de hoje será concluído.