Elastic Fabric Adapter

Jalankan aplikasi HPC dan ML dalam skala besar

Elastic Fabric Adapter (EFA) adalah antarmuka jaringan untuk instans Amazon EC2 yang memungkinkan pelanggan menjalankan aplikasi yang memerlukan komunikasi antarsimpul tingkat tinggi dalam skala besar di AWS. Antarmuka perangkat keras bypass sistem operasi (OS) yang dibuat khusus meningkatkan performa komunikasi antarinstans yang sangat penting untuk penskalaan aplikasi ini. Dengan EFA, aplikasi Komputasi Performa Tinggi (HPC) yang menggunakan aplikasi Message Passing Interface (MPI) dan Machine Learning (ML) yang menggunakan NVIDIA Collective Communications Library (NCCL) dapat menskalakan hingga ribuan CPU atau GPU. Hasilnya, Anda mendapatkan performa aplikasi klaster HPC on-premise dengan elastisitas dan fleksibilitas AWS Cloud sesuai permintaan.

EFA tersedia sebagai fitur jaringan EC2 opsional yang bisa Anda aktifkan pada setiap instans EC2 yang didukung, tanpa biaya tambahan. Plus, EFA bekerja dengan antarmuka, API, dan pustaka yang paling umum digunakan untuk komunikasi antarsimpul, sehingga Anda dapat memigrasikan aplikasi HPC ke AWS dengan sedikit atau tanpa modifikasi.

Keuntungan

Hasil lebih cepat

Mekanisme jaringan bypass OS unik EFA menyediakan saluran latensi rendah dan jitter rendah untuk komunikasi antarinstans. Hal ini memungkinkan HPC yang dipasangkan secara erat atau aplikasi machine learning yang terdistribusi untuk diskalakan ke ribuan inti sehingga membuat aplikasi Anda berjalan lebih cepat.

Konfigurasi yang fleksibel

Anda dapat mengaktifkan dukungan EFA pada daftar instans EC2 yang terus bertambah dan mendapatkan fleksibilitas untuk memilih konfigurasi komputasi yang tepat untuk beban kerja Anda. Cukup ubah konfigurasi klaster saat kebutuhan Anda berubah dan aktifkan dukungan EFA pada instans komputasi baru. Tidak perlu reservasi sebelumnya atau perencanaan di muka.

Migrasi yang lancar

EFA menggunakan antarmuka libfabric dan API libfabric untuk komunikasi. Karena hampir semua model pemrograman HPC mendukung antarmuka ini, Anda dapat memigrasikan aplikasi HPC yang ada ke cloud dengan sedikit atau tanpa modifikasi.

Performa EFA

EFA memberikan peningkatan penskalaan yang 4X lebih baik dibandingkan ENA untuk simulasi CFD standar seperti yang ditunjukkan pada bagan di atas.

Pemecah masalah untuk tolok ukur ini disediakan oleh Metacomp Technologies

AWS Customer CFD Direct mempertahankan platform OpenFOAM populer untuk Dinamika Fluida Komputasi dan juga memproduksi CFD Direct dari Cloud (CFDDFC), sebuah penawaran AWS Marketplace yang memudahkan Anda menjalankan OpenFOAM di AWS. Mereka telah menguji dan membandingkan EFA dan baru-baru ini membagikan pengukuran mereka dalam posting blog yang berjudul OpenFOAM HPC dengan AWS EFA. Dalam posting tersebut, mereka melaporkan simulasi aerodinamika eksternal di sekitar mobil. Simulasi ini menskalakan secara ekstra linier hingga lebih dari 200 inti, yang secara bertahap menurun ke penskalaan linier pada 1000 inti (sekitar 100K sel simulasi per inti).
 

Cara kerjanya

Kasus penggunaan

Dinamika Fluida Komputasi

Kemajuan dalam algoritma Dinamika Fluida Komputasi (CFD) memungkinkan rekayasawan untuk menyimulasikan fenomena aliran yang semakin kompleks, dan HPC membantu mengurangi waktu perputaran. Dengan EFA, kini rekayasawan desain dapat menskalakan ke luar pekerjaan simulasi mereka untuk bereksperimen dengan parameter yang lebih dapat disesuaikan, sehingga dapat memberikan hasil yang lebih cepat dan akurat.

Pemodelan cuaca

Model cuaca yang kompleks membutuhkan bandwidth memori tinggi, interkoneksi cepat, dan sistem file paralel yang kuat untuk memberikan hasil yang akurat. Makin dekat jarak grid pada model, makin akurat hasil yang akan didapatkan—dan makin banyak pula sumber daya komputasi yang akan dibutuhkan model. EFA menawarkan interkoneksi cepat yang memungkinkan aplikasi pemodelan cuaca memanfaatkan kemampuan penskalaan AWS Cloud yang hampir tidak terbatas dan mendapatkan prediksi yang lebih akurat dalam waktu yang lebih singkat.

Machine Learning

Pelatihan model deep learning dapat dipercepat secara signifikan dengan komputasi terdistribusi pada GPU. Kerangka kerja deep learning terkemuka seperti Caffe, Caffe2, Chainer, MxNet, TensorFlow, dan PyTorch telah mengintegrasikan NCCL guna memanfaatkan kolektif multi-GPU-nya untuk komunikasi di seluruh simpul. EFA dioptimalkan untuk NCCL di AWS sehingga meningkatkan throughput dan skalabilitas model pelatihan ini dan memberikan hasil yang lebih cepat.

Sumber daya

Tersedia Sekarang – Elastic Fabric Adapter (EFA) untuk Beban Kerja HPC yang Dipasangkan Secara Erat
29 April 2019
 
AWS re:Invent 2018: Menskalakan Aplikasi HPC pada EC2 dengan Elastic Fabric Adapter
Dalam bincang reInvent 2018 ini, kami memperkenalkan Elastic Fabric Adapter dan mendiskusikan cara EFA meningkatkan jaringan antarinstans dalam Amazon EC2
Mendalami OpenMPI dan Elastic Fabric Adapter (EFA)
Dalam bincang teknologi ini, kami akan mendalami OpenMPI dan dukungan spesifiknya untuk EFA Amazon EC2, serta menunjukkan kepada Anda cara memaksimalkan kode dan merancang solusi untuk performa.

Mulai menggunakan Elastic Fabric Adapter (EFA)

Dalam tutorial ini, Anda membuat AMI yang diaktifkan EFA dan grup keamanan yang diaktifkan EFA, lalu meluncurkan instans yang diaktifkan EFA ke dalam grup penempatan klaster menggunakan AMI dan grup keamanan tersebut.
 
Pelajari selengkapnya tentang layanan AWS untuk HPC

Pelajari selengkapnya tentang semua layanan AWS yang dapat Anda gunakan untuk membuat solusi HPC di AWS

Pelajari Lebih Lanjut 
Daftar untuk akun gratis

Dapatkan akses instan ke AWS Tingkat Gratis. 

Daftar 
Memulai dengan HPC di AWS

Buat klaster HPC pertama Anda di AWS

Masuk