AWS Glue
Temukan, siapkan, dan integrasikan semua data Anda dalam skala apa punKeuntungan AWS Glue
Cara kerja
AWS Glue adalah layanan integrasi data nirserver yang memudahkan untuk menemukan, menyiapkan, memindahkan, dan mengintegrasikan data dari berbagai sumber untuk analitik, machine learning (ML), dan pengembangan aplikasi.
-
Opsi mesin integrasi data
-
ETL yang didorong peristiwa
-
Katalog Data AWS Glue
-
Tugas ETL tanpa kode
-
Kelola dan pantau kualitas data
-
Persiapan data
-
Opsi mesin integrasi data
-
Pilih mesin integrasi data yang Anda inginkan di AWS Glue untuk mendukung pengguna dan beban kerja Anda.
Klik untuk memperbesar
Diagram menunjukkan bagaimana pengguna AWS Glue dapat memilih dari opsi antarmuka untuk membuat beban kerja pekerjaan menggunakan beberapa mesin integrasi data. Tampilan empat bagian: satu di kiri, dua di tengah, dan satu di kanan.
Bagian pertama di sebelah kiri disebut “Sumber data.” Bagian ini mencakup sumber data berikut: “Amazon S3,” “Amazon DynamoDB,” “Basis data yang berjalan di Amazon EC2,” “Basis data,” dan “SaaS.”
Dari bagian pertama, ada anak panah yang menunjuk ke bagian tengah pada bagian atas diagram yang disebut “Pilihan antarmuka.” Tiga item yang masuk dalam bagian kedua ini: “AWS Glue Studio,” “Notebook Amazon SageMaker,” serta “Notebook dan IDE.”
Di bawah bagian kedua ini, ada teks yang berbunyi, "Buka antarmuka yang mendukung interaksi dan beban kerja pekerjaan." Teks ini juga mempunyai anak panah yang menunjuk ke bagian kedua yang dijelaskan sebelumnya di atasnya dan anak panah yang menunjuk ke bagian ketiga di bawahnya.
Bagian ketiga ini disebut "Mesin integrasi data." Teksnya berbunyi, "Pilih nirserver yang diinginkan, mesin pemrosesan data yang dapat diskalakan dengan penskalaan otomatis serta harga bayar sesuai pemakaian." Bagian ini berisi tiga nama mesin: “AWS Glue for Ray,” “AWS Glue for Python Shell,” dan “AWS Glue for Apache Spark.”
Bagian keempat muncul di sebelah kanan bagian kedua dengan tanda panah yang menunjuk dari bagian kedua ke bagian keempat. Bagian keempat berbunyi, "Buat dan muat data ke danau data dan gudang data." Bagian ini juga berisi tiga item: “Amazon Redshift,” “Danau data,” dan “Gudang data.”
-
ETL yang didorong peristiwa
-
AWS Glue dapat menjalankan tugas extract, transform, and load (ETL) Anda saat data baru tiba. Misalnya, Anda dapat mengonfigurasi AWS Glue untuk memulai tugas ETL agar berjalan segera setelah data baru tersedia di Amazon Simple Storage Service (S3).
.3f3f393bfdb3deefdf183c1cfd39741f99eed6c6.png)
-
Katalog Data AWS Glue
-
Anda dapat menggunakan Katalog Data untuk menemukan dan mencari beberapa set data AWS dengan cepat tanpa memindahkan data. Setelah data dimasukkan dalam katalog, data langsung tersedia untuk pencarian dan kueri menggunakan Amazon Athena, Amazon EMR, dan Amazon Redshift Spectrum.
.cbbd4734e6a79cc3d2569064d0010605a0a307ae.png)
-
Tugas ETL tanpa kode
-
AWS Glue Studio memudahkan untuk membuat, menjalankan, dan memantau tugas ETL AWS Glue secara visual. Anda dapat membangun tugas ETL yang memindahkan dan mentransformasi data menggunakan editor seret dan letakkan, dan AWS Glue secara otomatis menghasilkan kode.
.522ef785088de982530b9fdde4c8be146562fa0f.png)
-
Kelola dan pantau kualitas data
-
AWS Glue Data Quality mengotomatisasi pembuatan aturan, manajemen, dan pemantauan kualitas data untuk memastikan data berkualitas tinggi di semua danau data dan pipeline Anda.
Klik untuk memperbesar
Diagram menunjukkan bagaimana AWS Glue Data Quality dapat digunakan untuk membuat rekomendasi aturan, memantau kualitas data, dan mengirim peringatan saat kualitas data menurun. Tiga bagian ditampilkan dari kiri ke kanan.
Bagian pertama menampilkan ilustrasi Katalog Data AWS Glue dan AWS Glue ETL. Di bawah Katalog Data AWS Glue, tercantum, “Buat katalog semua set data di danau data Anda.” Di bawah AWS Glue ETL, tercantum, “Integrasikan dan ubah data dari sumber data yang berbeda-beda.”
Bagian keduan berjudul "Kualitas Data AWS Glue." Ada tiga ikon di bagian ini. Ikon pertama adalah daftar centang. Di bawahnya, tercantum, “Rekomendasi aturan kualitas data. Mulai rekomendasi aturan kualitas data otomatis dengan cepat.” Ikon kedua adalah pensil. Di bawahnya tercantum, “Aturan kualitas data yang sudah dikonfigurasi sebelumnya. Edit atau tambah rekomendasi dengan aturan kualitas data yang sudah dikonfigurasi sebelumnya.” Ikon ketiga adalah lonceng. Di bawahnya tercantum, “Peringatan dan tindakan. Tambahkan peringatan dan tindakan untuk dilakukan saat kualitas data menurun.”
Bagian ketiga memiliki dua ikon yang bertumpuk. Ikon pertama adalah bagan bilah. Di bawahnya tercantum, “Metrik. Gunakan metrik kualitas data untuk membuat keputusan bisnis yang meyakinkan.” Ikon keduanya adalah tanda peringatan. Di bawahnya tercantum, “Peringatan. Gunakan peringatan untuk mendapatkan pemberitahuan saat kualitas menurun, dan ambil tindakan untuk memperbaiki data.”
-
Persiapan data
-
Dengan AWS Glue DataBrew, Anda dapat menjelajahi dan bereksperimen dengan data secara langsung dari danau data, gudang data, dan basis data, termasuk Amazon S3, Amazon Redshift, AWS Lake Formation, Amazon Aurora, dan Amazon Relational Database Service (RDS). Anda dapat memilih lebih dari 250 transformasi yang dibuat sebelumnya di DataBrew untuk mengotomatiskan tugas persiapan data seperti memfilter anomali, menstandardisasi format, dan mengoreksi nilai yang tidak valid.
Selain itu, AWS Glue Studio menawarkan alat persiapan data yang memungkinkan Anda menyiapkan data dengan antarmuka visual interaktif tunjuk-dan-klik tanpa menulis kode.
.0e1a87155040f71dcc92464a283f1adddd39cf85.png)
Kasus Penggunaan
Sederhanakan pengembangan alur ETL
Mendukung berbagai kerangka kerja dan beban kerja pemrosesan
Jelajahi, lakukan eksperimen, dan proses data secara interaktif
Temukan data secara efisien
Yang baru
Apakah Anda menemukan apa yang Anda cari sekarang?
Beri tahu kami agar kami dapat meningkatkan kualitas konten di halaman kami.