Hai, semuanya, dan selamat datang kembali.
Sekarang, dalam video hari ini, kita akan membahas tentang Amazon FS untuk Luster secara lebih rinci.
Sekarang pada tinjauan tingkat tinggi, kita sudah tahu bahwa wajah Amazon untuk Luster adalah sistem file yang dikelola sepenuhnya
yang didasarkan pada Luster.
Sekarang, jika Anda melihat diagram ini, pada dasarnya ini menandakan alur kerja lisan.
Jadi apa yang Anda lakukan?
Anda biasanya membuat sistem file kilau.
Kemudian Anda dapat menautkan atau mengintegrasikannya dengan layanan, yang terutama adalah Amazon S3 di mana sinkronisasi
dapat terjadi dan kemudian Anda mengaitkan atau memasang sistem file khusus ini ke beberapa kumpulan sumber daya.
Ini bisa menjadi dua contoh yang mudah X dan X di tempat, dll. Kemudian setelah sistem file terpasang, Anda dapat melanjutkan
dan menjalankan tugas-tugas HPC pembelajaran mesin Anda.
Jadi, inilah alur kerja secara keseluruhan.
Jadi, sebagai bagian dari Luster, ada beberapa kasus penggunaan tertentu yang harus Anda ingat bahwa Luster terutama digunakan untuk
kasus penggunaan pembelajaran mesin.
Kasus penggunaan HPC untuk analisis data besar dan bahkan untuk VFX.
Jadi, sebagai bagian dari alur kerja secara keseluruhan, mari kita asumsikan bahwa FS four luster Anda terintegrasi dengan bucket S3.
Jadi, langkah utama pertama adalah data yang disimpan di S3 dimuat ke FS four luster Anda untuk
diproses.
Jadi akan ada beberapa data yang perlu diproses, yang ada di dalam bucket S3.
Jadi, Anda memuat data tersebut ke sistem file Luster.
Sistem file Luster pada gilirannya dipasang pada satu set EC dua contoh.
Jadi, setelah file dipasang di Luster, pemrosesan pada file-file tersebut dapat dilakukan dalam
set EC dua instance dan output proses akhir dapat dikembalikan ke S tiga untuk penyimpanan keseluruhan.
Sekarang, satu bagian spesifik yang perlu Anda ingat adalah bahwa FS four luster terintegrasi secara native dengan
repositori data seperti Amazon S3. Jadi, jika Anda melihat tangkapan layar khusus ini, Anda memiliki integrasi
repositori data, ini adalah tipe tiga, dan kemudian Anda menentukan bucket S3.
Jadi, ini adalah bucket khusus dari mana data akan ditambahkan ke sistem file Luster.
Sekarang izinkan saya menunjukkan kepada Anda bahwa saya sudah memiliki sistem file Luster yang tersedia sekarang dalam
sistem file khusus ini jika Anda melihat ke dalam repositori data, Anda memiliki bucket Amazon S3, Anda memiliki jalur impor,
Anda memiliki bagian ekspor.
Jadi, Anda bisa mengaitkan bucket S3 tertentu dengan Luster.
Bahkan, setiap kali Anda membuat sistem file Luster, mari kita turun sedikit.
Anda memiliki opsi khusus yang terkait dengan repositori data di mana Anda dapat mengimpor data dan juga mengekspor
data ke S3.
Jadi, jika Anda lihat, Anda harus menentukan tiga ember.
Dan lagi, ada pengaturan impor serta ekspor tertentu.
Jadi, dalam pengaturan impor, Anda bisa menentukan tiga opsi utama di sini.
Jadi, Anda harus memilih pembaruan mana yang ada di repositori data.
Dalam hal ini, tiga harus disebarkan ke sistem file.
Jadi, pada dasarnya setiap kali kita membuat beberapa pembaruan pada bucket S3 berdasarkan jenis pembaruan yang harus
disebarkan ke sistem file, terutama karena akan ditautkan.
Demikian pula, Anda juga memiliki pengaturan ekspor di mana Anda dapat memilih pembaruan mana yang merupakan
bagian dari sistem file yang akan disebarkan kembali ke repositori data, yaitu S3.
Baiklah.
Jadi saya harap pada tahap ini Anda sudah memahami apa yang dimaksud dengan repositori data.
Sekarang di sini Anda perlu memahami konsep dasar pemuatan data secara malas.
Jadi, secara garis besar, lazy loading adalah praktik menunda pemuatan atau inisialisasi sumber daya atau objek
hingga benar-benar dibutuhkan.
Jadi, hal ini dapat dipahami dengan lebih baik dengan diagram ini, di mana kita asumsikan bahwa Anda memiliki
sebuah bucket yang berisi petabyte data dan Anda memiliki sistem file FS for Lustre.
Sekarang, apabila Anda mengintegrasikan FS dengan S3, apakah Anda memerlukan semua petabyte data dalam S3 untuk menjadi bagian
dari lustre?
Jawabannya adalah tidak pada sebagian besar kasus, dan inilah alasan mengapa apa yang Anda lakukan, Anda hanya memuat data yang diperlukan.
Dan berdasarkan hal tersebut, data yang diperlukan ini akan diproses oleh EC dalam dua contoh.
Jadi, hal ini tidak hanya meningkatkan performa Anda secara keseluruhan, tetapi juga menghemat banyak sumber daya.
Sekarang, ketika kita membahas tentang opsi penerapan secara keseluruhan, ada dua opsi utama yang akan Anda
lihat.
Yang pertama adalah goresan dan yang kedua adalah goresan yang membandel.
Jadi, jika Anda akan melihat bahkan dalam diagram dalam jenis penyebaran dan penyimpanan, Anda memiliki persisten
dan Anda memiliki goresan.
Dan tergantung pada opsi yang Anda pilih, kapasitas penyimpanan keseluruhan serta throughput
juga akan berubah.
Jadi, opsi penyebaran pertama yang akan dijelajahi adalah awal.
Jadi, pada tinjauan tingkat tinggi, sistem file awal dirancang terutama untuk penyimpanan sementara
dan pemrosesan data jangka pendek.
Manfaatnya di sini yaitu, memberikan burst throughput yang tinggi.
Namun, karena dirancang untuk kasus penggunaan sementara, data tidak direplikasi dan tidak akan bertahan
jika server file gagal.
Jenis opsi penyebaran kedua adalah.
Persisten dan ini direkomendasikan untuk penyimpanan jangka panjang dan beban kerja.
Manfaatnya di sini adalah server file sangat tersedia dan data secara otomatis direplikasi
di tempat yang sama di mana sistem file berada.
Sekarang, mari kita jelajahi hal itu.
Jadi, jika Anda masuk ke dalam konfigurasi kilau, Anda memiliki SSD persisten, Anda memiliki
HDD persisten.
Sekali lagi dalam persisten, Anda memiliki HDD dan SSD serta SSD awal.
Sesuatu yang perlu diperhatikan di sini adalah, bahwa throughput berubah.
Misalnya, dalam SSD awal, Anda memiliki 200.
Pada SSD persisten, Anda memiliki beberapa rangkaian opsi yang tersedia.
Sekarang, sebelum kita menyimpulkan, ada beberapa petunjuk penting yang perlu Anda catat.
Pertama, Anda dapat mengonfigurasi FS untuk kilau agar konten tetap tersinkronisasi, baik ke arah sistem
file maupun bucket S3 yang ditautkan.
Opsi kedua adalah sebagai alternatif, Anda juga dapat memiliki opsi untuk mengimpor dan mengekspor kumpulan data baru
dan data yang diubah antara sistem file dan S3 untuk keseluruhan kontrol yang baik atas sinkronisasi data.
Jadi, kedua opsi ini tersedia, tergantung pada kasus penggunaannya.
Sekarang, sebelum kita menyimpulkan, saya juga ingin menunjukkan kepada Anda gambaran umum tentang bagaimana
sistem file terhubung ke sumber daya tertentu seperti instance EC2.
Jadi, kata yang lebih tepat adalah memuncak.
Sekarang, pada tahap ini kita memiliki satu sistem file cluster dan sistem file Leicester ini, seperti yang kita ketahui,
salah satu repositori data di sini adalah bucket set sampel lab AP.
Jadi sekarang kita ingin mengaitkan sistem file ini ke EC dua instance yang kita miliki.
Jadi, yang perlu Anda lakukan adalah menjalankan perintah mount dan di dalamnya Anda
harus menentukan sistem file DNS.
Jadi misalnya.
Jika Anda kembali, Anda akan mendapatkan nama DNS.
Mari kita salin nama yang padat.
Saya akan menyalin ini, mari kita salin di sini.
Kemudian, Anda juga harus mengganti nama tunggangan.
Mari kita salin nama mount.
Saya akan menambahkannya di sini dan kemudian Anda dapat menentukan direktori mana sistem file ini akan di-mount.
Sebagai contoh, saya akan membuat direktori baru.
Saya hanya akan menyalin perbaikan laboratorium pada root.
Baiklah.
Jadi, apa yang dapat Anda lakukan adalah menentukan direktori, yaitu CPU Labs F6, dan Anda dapat menjalankan perintah,
dan hanya itu saja.
Jika Anda menjalankan mount, Anda akan melihat bahwa sistem file kami terpasang pada direktori CPU labs F6, dan
jika Anda menjelajahi isi folder CPU labs FS di sini, Anda akan melihat file-file yang merupakan bagian dari
bucket S3.
Baiklah.
Jadi saya harap ini telah memberi Anda lebih banyak kejelasan tentang bagaimana sistem file yang Anda buat sebagai bagian dari
PHS diasosiasikan atau dipasang sebagai bagian dari EC.
Dua contoh.
Jadi dengan ini akan menyimpulkan video hari ini.