Hola a todos y bienvenidos de nuevo.
Ahora, en el vídeo de hoy, vamos a discutir sobre el Amazon FS para Luster con más detalle.
Ahora en una visión general de alto nivel, ya sabemos que la cara de Amazon para Luster es un sistema de archivos totalmente
gestionado que se basa en Luster.
Ahora, si nos fijamos en este diagrama, básicamente significa el flujo de trabajo oral.
Entonces, ¿qué hacer?
Generalmente se crea el sistema de archivos luster.
A continuación, puede vincular o se puede integrar con un servicio, que es principalmente el Amazon S3, donde la sincronización
puede ocurrir y, a continuación, asociar o montar este sistema de archivos específico para múltiples conjunto de recursos.
Puede ser fácil dos instancias X y X on premise, etc. Una vez montado el sistema de archivos, puedes ejecutar
tus tareas HPC de aprendizaje automático.
Este es el flujo de trabajo general.
Así que como parte de Luster, hay ciertos casos de uso que tendrás que recordar es que se utiliza principalmente para casos
de uso de aprendizaje automático.
Los casos de uso de HPC para el análisis de big data e incluso para VFX.
Así que como parte del flujo de trabajo general, supongamos que su FS cuatro lustre está integrado con S3 cubo.
Así que el primer paso primario sería que los datos que se almacenan en S3 se cargan a su FS cuatro lustre para su procesamiento.
Así que habría algunos datos que necesitan ser procesados, que se encuentra en el cubo de S3.
Así que carga esos datos en el sistema de archivos Luster.
A su vez, el sistema de archivos Luster se monta en un conjunto de instancias EC dos.
Así, una vez que los archivos se montan en Luster, el procesamiento en esos archivos puede tener lugar en el conjunto
de instancias EC dos y la salida del proceso final puede ser devuelto de nuevo a la S tres para la retención global.
Ahora, una parte específica que usted necesita recordar es que el lustre FS cuatro se integra de forma nativa con repositorio
de datos como Amazon S3 Así que si nos fijamos en esta captura de pantalla específica, usted tiene la integración
de repositorio de datos, es de tipo tres, y luego se especifica el cubo S3.
Por tanto, este es el cubo específico desde el que se añadirán los datos al sistema de archivos de Luster.
Ahora permítanme también mostrar rápidamente por lo que ya tengo el sistema de archivos Luster que está disponible ahora en este
sistema de archivos específico de si nos fijamos en el repositorio de datos, tiene el cubo de Amazon S3, tiene la ruta de importación,
tiene la parte de exportación.
Así puedes asociar un bucket S3 específico con Luster.
De hecho, cada vez que se crea un sistema de archivos Luster, vamos un poco más abajo.
Tienes una opción específica relacionada con el repositorio de datos donde puedes importar los datos y también exportar
los datos a S3.
Así que si usted va a ver, usted tendrá que especificar los tres cubo.
Y de nuevo, hay ciertos ajustes de importación y exportación.
Así que en la configuración de importación puede especificar hay tres opciones principales aquí.
Así que tienes que elegir qué actualizaciones en el repositorio de datos.
En este caso, tres deben propagarse al sistema de archivos.
Así que, básicamente, cada vez que hacemos algunas actualizaciones en el cubo de S3 basado en qué tipo de actualizaciones deben propagarse
al sistema de archivos, principalmente porque va a estar vinculado.
Del mismo modo, también tienes la configuración de exportación donde puedes elegir qué actualizaciones que forman
parte del sistema de archivos deben propagarse de nuevo al repositorio de datos, que es S3.
De acuerdo.
Así que espero que a estas alturas hayas entendido lo que significa el repositorio de datos.
Ahora en este caso es necesario comprender el concepto básico de carga lenta de datos.
Así que en una visión general de alto nivel, la carga perezosa es una práctica de retrasar la carga o inicialización de recursos
u objetos hasta que realmente se necesitan.
Así que esto se puede entender mejor con este diagrama donde vamos a suponer que usted tiene un cubo
y contiene petabytes de datos y usted tiene el FS para el sistema de archivos Lustre.
Ahora, cuando integras el FS con el S3, ¿necesitas que todos los petabytes de datos en S3 formen parte del
lustre?
La respuesta es no en la mayoría de los casos, y por eso lo que se hace es cargar sólo los datos necesarios.
Y en función de ello, estos datos necesarios serán procesados por las dos instancias de la CE.
Así que esto no sólo mejora su rendimiento general, sino que también ahorra muchos recursos.
Ahora, cuando hablamos de las opciones de despliegue en general, hay dos opciones principales que usted
verá.
Uno es el rasguño y el segundo es el persistente.
Así que si usted verá incluso en el diagrama en el tipo de despliegue y almacenamiento, usted tiene el persistente
y usted tiene el rasguño.
Y dependiendo de la opción que elijas, también cambiará la capacidad total de almacenamiento
y el rendimiento.
Así que la primera opción de despliegue que vamos a explorar es el scratch.
En resumen, los sistemas de archivos scratch están diseñados principalmente para el almacenamiento temporal y
el procesamiento de datos a corto plazo.
La ventaja es que proporciona un alto rendimiento en ráfagas.
Sin embargo, como está diseñado para casos de uso temporal, los datos no se replican y no persistirán si falla
un servidor de archivos.
El segundo tipo de opción de despliegue es.
Persistente y se recomienda para almacenamiento y cargas de trabajo a largo plazo.
La ventaja es que los servidores de archivos están altamente disponibles y los datos se replican automáticamente
en el mismo lugar en el que se encuentra el sistema de archivos.
Ahora exploremos también eso.
Así que si bajas un poco en la configuración de lustre, tienes el SSD persistente, tienes el
HDD persistente.
De nuevo en persistente, tienes tanto el HDD como el SSD y tienes el SSD de scratch.
Hay que tener en cuenta que el rendimiento cambia.
Por ejemplo, en scratch SSD, tienes 200.
En las SSD persistentes, dispone de varias opciones.
Antes de terminar, hay algunos puntos importantes que debes tener en cuenta.
La primera es que se puede configurar el FS para lustre para mantener el contenido sincronizado tanto en la dirección del sistema
de archivos, así como los cubos de S3 vinculados.
La segunda opción es que, alternativamente, también puede tener la opción de importar y exportar lotes de datos nuevos y modificados
entre el sistema de archivos y S3 para el control general de grano fino sobre la sincronización de datos.
Así que ambas opciones están disponibles en función del caso de uso.
Ahora, antes de concluir, también quería mostrar una visión general de alto nivel sobre cómo el sistema de
archivos está conectado a un recurso específico como la instancia EC2.
Así que la palabra más precisa sería montaje.
Ahora, en esta etapa tenemos un sistema de archivos de clúster y este sistema de archivos de Leicester, como sabemos, uno de los repositorios
de datos aquí es el cubo del conjunto de muestras del laboratorio AP.
Así que ahora queremos asociar este sistema de archivos a la instancia EC dos que tenemos.
Así que lo que tienes que hacer, tienes que ejecutar el montaje de un comando específico y dentro de aquí tendrá
que especificar el sistema de archivos DNS.
Así, por ejemplo.
Si vuelves atrás, obtendrás el nombre DNS.
Copiemos el nombre denso.
Copiaré esto, copiemos esto aquí.
Y también tendrás que sustituir el nombre del montaje.
Copiemos el nombre del montaje.
Lo agregaré aquí y luego puedes especificar en qué directorio se montará este sistema de archivos.
Por ejemplo, déjame crear un nuevo directorio.
Voy a copiar labs fix en la raíz.
De acuerdo.
Así que lo que puede hacer, puede especificar el directorio, que es CPU Labs F6, y puede ejecutar el comando,
y eso es todo.
Si ejecutas mount, deberías ver que nuestro sistema de archivos está montado en el directorio F6 de CPU labs,
y si exploras el contenido de la carpeta FS de CPU labs aquí, deberías ver los archivos que forman parte del bucket
S3.
De acuerdo.
Así que espero que esto te haya dado mucha más claridad sobre cómo los sistemas de archivos que creas como
parte de PHS se asocian o montan como parte de la CE.
Dos casos.
Con esto concluiremos el vídeo de hoy.