Bangun pipeline streaming ujung ke ujung menggunakan Cetak Biru Layanan Terkelola Amazon untuk Apache Flink dengan satu klik. Pelajari selengkapnya.
Kami menggunakan cookie penting serta alat serupa yang diperlukan untuk menyediakan situs dan layanan. Kami menggunakan cookie performa untuk mengumpulkan statistik anonim sehingga kami dapat memahami cara pelanggan menggunakan situs dan melakukan perbaikan. Cookie penting tidak dapat dinonaktifkan, tetapi Anda dapat mengklik “Kustom” atau “Tolak” untuk menolak cookie performa.
Jika Anda setuju, AWS dan pihak ketiga yang disetujui juga akan menggunakan cookie untuk menyediakan fitur situs yang berguna, mengingat preferensi Anda, dan menampilkan konten yang relevan, termasuk iklan yang relevan. Untuk menerima atau menolak semua cookie yang tidak penting, klik “Terima” atau “Tolak”. Untuk membuat pilihan yang lebih detail, klik “Kustomisasi”.
Cookie ini diperlukan untuk menjalankan situs dan layanan kami dan tidak dapat dinonaktifkan. Cookie biasanya tersusun hanya sebagai tanggapan atas tindakan Anda di situs, seperti mengatur preferensi privasi, masuk, atau mengisi formulir.
Cookie kinerja menyediakan statistik anonim tentang cara pelanggan menavigasi situs kami sehingga kami dapat menyempurnakan pengalaman dan kinerja situs. Pihak ketiga yang disetujui dapat melakukan analisis atas nama kami, tetapi tidak dapat menggunakan data untuk tujuannya sendiri.
Cookie fungsional membantu kami menyediakan berbagai fitur bermanfaat, mengingat preferensi Anda, dan menampilkan konten yang relevan pada situs. Pihak ketiga yang disetujui dapat mengatur cookie ini untuk menyediakan fitur tertentu pada situs. Jika Anda tidak mengizinkan cookie ini, maka beberapa atau semua layanan ini mungkin tidak berjalan dengan baik.
Cookie ini dapat diatur melalui situs kami oleh mitra iklan dan membantu kami mempersonalisasi konten pemasaran. Jika Anda tidak mengizinkan cookie, Anda akan mendapatkan iklan yang kurang relevan.
Memblokir beberapa jenis cookie dapat memengaruhi pengalaman Anda di situs kami. Anda dapat mengubah preferensi cookie kapan saja dengan mengklik Preferensi cookie di footer situs ini. Untuk mempelajari lebih lanjut tentang bagaimana kami dan pihak ketiga yang disetujui menggunakan cookie di situs kami, silakan baca di jendela baru.
Kami menampilkan iklan yang relevan dengan minat Anda di situs AWS dan properti lain, termasuk iklan perilaku lintas konteks. Iklan perilaku lintas konteks menggunakan data dari satu situs atau aplikasi untuk beriklan kepada Anda di situs atau aplikasi perusahaan yang berbeda.
Untuk tidak mengizinkan iklan perilaku lintas konteks AWS berdasarkan cookie atau teknologi serupa, pilih “Jangan izinkan” dan “Simpan pilihan privasi” di bawah ini, atau kunjungi situs AWS dengan mengaktifkan sinyal penolakan yang diakui secara hukum, seperti Kontrol Privasi Global. Jika Anda menghapus cookie atau mengunjungi situs ini dari peramban atau perangkat yang berbeda, Anda harus membuat pilihan lagi. Untuk informasi selengkapnya tentang cookie dan cara kami menggunakannya, baca Pemberitahuan Cookie AWS.
Untuk tidak mengizinkan semua iklan perilaku lintas konteks AWS lainnya, lengkapi formulir ini melalui email.
Untuk informasi selengkapnya tentang cara AWS menangani informasi Anda, baca Pemberitahuan Privasi AWS.
Kami hanya akan menyimpan cookie penting saat ini, karena kami tidak dapat menyimpan preferensi cookie Anda.
Jika Anda ingin mengubah preferensi cookie, coba lagi nanti menggunakan tautan di footer konsol AWS, atau hubungi dukungan jika masalah berlanjut.
Bangun pipeline streaming ujung ke ujung menggunakan Cetak Biru Layanan Terkelola Amazon untuk Apache Flink dengan satu klik. Pelajari selengkapnya.
Dengan Layanan Terkelola Amazon untuk Apache Flink, Anda dapat mengubah dan menganalisis data streaming secara waktu nyata menggunakan Apache Flink, sebuah kerangka kerja dan mesin sumber terbuka untuk memproses aliran data. Layanan Terkelola Amazon untuk Apache Flink menyederhanakan dalam membangun dan mengelola beban kerja Apache Flink serta membantu Anda mengintegrasikan aplikasi dengan layanan AWS lainnya secara mudah.
Dengan Layanan Terkelola Amazon untuk Apache Flink, Anda hanya membayar yang Anda gunakan. Tanpa sumber daya untuk penyediaan dan tanpa biaya di muka. Anda dikenakan biaya dengan tarif per jam berdasarkan jumlah Kinesis Processing Unit (atau KPU) yang digunakan untuk menjalankan aplikasi Anda. Satu KPU terdiri dari 1 komputasi vCPU dan memori 4 GB.
Untuk aplikasi Apache Flink, Anda dikenai biaya satu KPU tambahan per aplikasi yang digunakan untuk orkestrasi. Aplikasi juga dikenakan biaya untuk menjalankan penyimpanan dan pencadangan yang tahan lama. Penyimpanan aplikasi yang sedang berjalan digunakan untuk kemampuan pemrosesan stateful di Layanan Terkelola Amazon untuk Apache Flink dan dikenakan biaya per GB/bulan. Pencadangan yang tahan lama bersifat opsional dan menyediakan pemulihan titik waktu untuk aplikasi, dengan biaya per GB/bulan.
Dalam mode streaming, Layanan Terkelola Amazon untuk Apache Flink secara otomatis menskalakan jumlah KPU yang diperlukan oleh aplikasi pemrosesan streaming Anda karena permintaan memori dan komputasi berfluktuasi. Anda dapat memilih untuk menyediakan aplikasi Anda dengan jumlah KPU yang diperlukan.
Anda dikenai biaya dua KPU tambahan per aplikasi Studio dalam mode interaktif. Satu KPU digunakan untuk orkestrasi aplikasi Apache Flink dan lainnya untuk lingkungan pengembangan interaktif nirserver. Anda juga akan dikenai biaya untuk penyimpanan aplikasi berjalan yang digunakan untuk kemampuan pemrosesan stateful. Penyimpanan aplikasi berjalan dikenakan biaya per GB/bulan.
Ketika mengembangkan di notebook Studio, Anda tidak akan memiliki opsi untuk membuat cadangan aplikasi yang tahan lama. Namun, ketika Anda melakukan deployment aplikasi di notebook Studio dari mode interaktif ke mode streaming, Anda dapat membuat cadangan aplikasi yang tahan lama.
Kami menyarankan agar Anda menguji aplikasi dengan beban produksi untuk mendapatkan perkiraan yang akurat tentang jumlah KPU yang diperlukan untuk aplikasi Anda. Penggunaan KPU dapat sangat bervariasi berdasarkan volume dan kecepatan data Anda, kompleksitas kode, integrasi, dan lainnya. Hal ini terutama berlaku saat menggunakan runtime Apache Flink di Layanan Terkelola Amazon untuk Apache Flink. Misalnya, melalui pengujian internal, kami telah mengamati throughput ratusan MB per detik per KPU untuk aplikasi sederhana tanpa status, dan throughput yang kurang dari 1 MB per detik per KPU untuk aplikasi kompleks yang menggunakan algoritma machine learning (ML) intensif. Dengan mengingat peringatan ini, pedoman umum yang kami berikan sebelum pengujian aplikasi Anda adalah sebesar 1 MB per detik, per KPU.
Anda menggunakan Studio Layanan Terkelola Amazon untuk Apache Flink untuk memfilter data streaming yang ditangkap oleh Amazon Kinesis Data Streams Anda secara terus-menerus dan hanya mempertahankan catatan yang berkaitan. Anda menginginkan kemampuan untuk melihat dan memvisualisasikan catatan secara waktu nyata dan menulis kueri serta program dalam SQL dan Python dengan mudah. Anda tidak menginginkan cadangan status yang tahan lama. Anda menyediakan 4 KPU untuk notebook Studio Anda berdasarkan throughput streaming input Anda. Biaya Layanan Terkelola Amazon untuk Apache Flink bulanan Anda akan dihitung sebagai berikut:
Biaya bulanan
Harga di Wilayah U.S. Wilayah East (N. Virginia) adalah 0,11 USD per KPU/jam yang digunakan untuk aplikasi pemrosesan pengaliran Anda. Aplikasi sederhana ini menggunakan 4 KPU untuk memproses aliran data yang masuk. Setiap aplikasi notebook Studio (contoh: mode interaktif) dikenai biaya 2 KPU tambahan per aplikasi. Biaya KPU Bulanan = 30 Hari * 24 Jam * ([4 KPU + 2 KPU tambahan] * 0,11 USD/Jam) = 475,20 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan sebesar 50 GB per KPU dan dikenai biaya 0,10 USD per GB/bulan di US-East-1.
Biaya Penyimpanan Aplikasi Berjalan Bulanan = 30 Hari * 24 Jam * 4 KPU * (50GB * 0.10 USD/GB/bulan) = 20.00 USD
Total Biaya = 475,20 USD + 20,00 USD = 495,20 USD
Anda menggunakan Studio Layanan Terkelola Amazon untuk Apache Flink untuk membangun jendela geser pada data streaming yang ditangkap oleh topik di klaster Amazon Managed Streaming for Apache Kafka (Amazon MSK) Anda. Anda menggunakan notebook Studio dengan 4 KPU selama delapan jam dalam dua hari untuk mengembangkan dan menguji kueri Anda. Setelah pengembangan, Anda melakukan deployment aplikasi sebagai aplikasi streaming dengan 12 KPU. Setelah aplikasi streaming dilakukan deployment, Anda menghentikan notebook Studio Anda. Aplikasi streaming dapat menggunakan status aplikasi yang tahan lama dan Anda membuat cadangan status yang tahan lama setiap hari.
Harga di Wilayah U.S. East (N. Virginia) adalah 0,11 USD per KPU/jam yang digunakan untuk aplikasi pemrosesan pengaliran Anda.
Biaya bulanan
Mengembangkan dan menguji kueri Layanan Terkelola Amazon untuk Apache Flink Studio:
Biaya KPU = 2 Hari x 8 Jam x (4 KPU + 2 KPU tambahan untuk notebook Studio) x 0,11 USD/Jam) = 10,56 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan 50 GB per KPU dan dikenakan biaya 0.10 USD per GB/bulan di US-East-1.
Menjalankan Biaya Penyimpanan Aplikasi = 2 Hari * 8 jam * 4 KPU * (50GB * 0.10 USD/GB-bulan) = 0.44 USD
Men-deploy sebagai aplikasi streaming untuk terus berjalan dan mengambil cadangan aplikasi:
Biaya KPU = 28 Hari * 24 Jam * (2 KPU + 1 KPU tambahan untuk aplikasi streaming) * 0.11 USD/Jam) = 221.76 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan 50 GB per KPU dan dikenakan biaya 0.121 USD per GB/bulan di US-East-1.
Menjalankan Biaya Penyimpanan Aplikasi = 28 Hari * 24 Jam * 2 KPU * (50GB * 0.10 USD/GB-bulan) = 9.33 USD
Biaya Penyimpanan Aplikasi Tahan Lama = 28* (1 MB/cadangan * 1 GB/1.000 MB) * 0,023/GB-bulan = 0.01 USD (dibulatkan ke sen terdekat)
Total Biaya = 10,56 USD + 0,44 USD + 221,76 USD + 9,33 USD + 0,01 USD = 242,10 USD
Anda menggunakan aplikasi Apache Flink di Layanan Terkelola Amazon untuk Apache Flink agar dapat mentransformasi dan mengirimkan data log yang ditangkap oleh Kinesis Data Streams Anda ke Amazon Simple Storage Service (Amazon S3) secara terus-menerus. Data log yang ditransformasikan menggunakan beberapa operator, termasuk menerapkan skema ke peristiwa log yang berbeda, memisahkan data berdasarkan jenis peristiwa, menyortir data berdasarkan stempel waktu, dan melakukan buffering data selama satu jam sebelum pengiriman. Aplikasi tersebut memiliki banyak langkah transformasi, tetapi tidak ada yang intensif secara komputasi. Aliran ini menyerap data 2.000 catatan/detik untuk 12 jam/per hari dan meningkat hingga 8.000 catatan/detik selama 12 jam per hari. Anda tidak membuat cadangan aplikasi yang tahan lama. Biaya bulanan Layanan Terkelola Amazon untuk Apache Flink akan dihitung sebagai berikut:
Biaya bulanan
Harga di Wilayah U.S. Wilayah Timur (Virginia Utara) adalah 0,11 USD per KPU per jam. Layanan Terkelola Amazon untuk Apache Flink mengalokasikan 50 GB penyimpanan aplikasi yang sedang berjalan per KPU dan mengenakan biaya 0,10 USD per GB/bulan.
Beban Kerja Berat: Selama periode 12 jam beban kerja berat, aplikasi Layanan Terkelola Amazon untuk Apache Flink memproses 8.000 catatan/detik dan secara otomatis menaikkan skala hingga 8 KPU. Setelah periode beban kerja yang berat, aplikasi Layanan Terkelola Amazon untuk Apache Flink menurunkan skala aplikasi setelah 6 jam throughput lebih rendah. Aplikasi ini dinaikkan skalanya hingga 8 KPU dengan total 18 jam per hari.
30 Hari/Bulan* 18 Jam/Hari= 540 Jam/Bulan
Biaya KPU Bulanan = 540 Jam/Bulan * 8 KPU * 0.11 USD/Jam = 475.20 USD
Biaya Penyimpanan Aplikasi Berjalan Bulanan = 540 Jam/Bulan * 8 KPU * 50 GB/KPU * 0.10 USD/GB-bulan = 30.00 USD
Biaya KPU dan Penyimpanan Bulanan = 475,20 USD + 30,00 USD = 505,20 USD
Beban Kerja Ringan: Selama periode beban kerja ringan selama enam jam tersisa, aplikasi Layanan Terkelola Amazon untuk Apache Flink memproses 2.000 catatan/detik dan secara otomatis menurunkan skala ke 2 KPU.
30 Hari/Bulan x 6 Jam/Hari = 180 Jam/Bulan
Biaya KPU Bulanan = 180 Jam/Bulan * 2 KPU * 0.11 USD/Jam = 39.60 USD
Biaya Penyimpanan Aplikasi Berjalan Bulanan = 180 Jam/Bulan * 2 KPU * 50 GB * 0.10 USD/GB-bulan = 2.50 USD
Biaya KPU dan Penyimpanan Bulanan = 39,60 USD + 2,50 USD = 42,10 USD
Tiap aplikasi Apache Flink dikenai biaya KPU tambahan per aplikasi.
Biaya Bulanan = 30 * 24 * 1 KPU * 0,11 USD/Jam = 79,20 USD
Total Biaya = 505,20 USD + 42,10 USD + 79,20 USD = 626,50 USD
Anda menggunakan Studio Layanan Terkelola Amazon untuk Apache Flink untuk membangun jendela geser pada data streaming yang ditangkap oleh topik di klaster Amazon Managed Streaming for Apache Kafka (Amazon MSK) Anda. Anda menggunakan notebook Studio dengan 4 KPU yang Anda mulai pada pukul 10.30 di hari pertama dari satu bulan untuk mengembangkan dan menguji kueri Anda. Setelah pengembangan, Anda men-deploy aplikasi sebagai aplikasi streaming dengan 2 KPU pada pukul 17.00. Setelah aplikasi streaming di-deploy, Anda menghentikan notebook Studio satu jam setelahnya pada pukul 18.00. Aplikasi streaming dapat menggunakan status aplikasi yang tahan lama dan Anda membuat cadangan status yang tahan lama setiap hari.
Harga di Wilayah U.S. East (N. Virginia) adalah 0,11 USD per KPU/jam yang digunakan untuk aplikasi pemrosesan pengaliran Anda.
Biaya bulanan
Mengembangkan dan menguji kueri Layanan Terkelola Amazon untuk Apache Flink Studio:
Aplikasi Studio Anda berjalan selama 450 menit dalam sebulan (10.30 hingga 18.00 pada hari pertama)
Biaya KPU = 450 Menit x (4 KPU + 2 KPU tambahan untuk notebook Studio) x 0,11 USD/Jam) = 4,95 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan 50 GB per KPU dengan tambahan penyimpanan berjalan tambahan sebesar 50 GB untuk aplikasi notebook Studio, dan dikenakan biaya 0,10 USD per GB/bulan di US-East-1.
Biaya Penyimpanan Aplikasi Berjalan = 450 Menit * (4 KPU+ 1 KPU tambahan untuk notebook Studio) * (50 GB* 0,10 USD/GB-bulan) = 0,26 USD
Men-deploy sebagai aplikasi streaming untuk terus berjalan dan mengambil cadangan aplikasi:
Aplikasi streaming berjalan selama 703 jam dalam sebulan (mulai pukul 17.00 pada hari pertama)
Biaya KPU = 703 Jam * (2 KPU + 1 KPU tambahan untuk aplikasi streaming) * 0,11 USD/Jam) = 231,99 USD
Aplikasi Apache Flink menggunakan penyimpanan aplikasi berjalan 50 GB per KPU dan dikenakan biaya 0.121 USD per GB/bulan di US-East-1.
Biaya Penyimpanan Aplikasi Berjalan = 703 Jam * 2 KPU (50 GB * 0,10 USD/GB-bulan) = 9,76 USD
Biaya Penyimpanan Aplikasi Tahan Lama = 703 Jam * (1 MB/cadangan * 1 GB/1.000 MB) * 0,023/GB-bulan = 0.01 USD (dibulatkan ke sen terdekat)
Total biaya = 4,95 USD + 0,26 USD + 231,99 USD + 9,76 USD + 0,01 USD = 246,97 USD