Cara Proto mewujudkan avatar mutakhir ke dunia nyata dengan Amazon Bedrock

Pasien di Australia membutuhkan perawatan spesialis darurat dari seorang dokter di Inggris. Sebuah perusahaan robotik perlu mendemonstrasikan penemuan terbarunya kepada calon investor tanpa ingin repot mengangkut mesin. Sebuah hotel baru ingin memukau tamu dengan pengalaman premium. Proto memungkinkan semua hal tersebut dan masih banyak lagi dengan hologram yang didukung oleh AI generatif. 

Proto memanfaatkan kecerdasan buatan (AI) generatif untuk membuat avatar realistis yang dipancarkan ke dalam mesin hologram setinggi 7 kaki yang mengesankan, tempat mereka dapat terlibat dalam percakapan yang autentik, memberikan informasi, membantu tugas, dan menghibur. Proto sudah beroperasi di industri, seperti periklanan dan ritel, hiburan, transportasi, perhotelan, pendidikan, pelatihan, serta layanan kesehatan, untuk melayani perusahaan Fortune 500 dan berbagai tim olahraga serta selebritas terkenal dunia.

Dengan demikian, pasien yang membutuhkan perawatan darurat dapat dinilai dari jarak jauh oleh spesialis ribuan mil jauhnya. Perusahaan robotik tersebut dapat memamerkan produk terbaru tanpa harus menavigasi biaya dan kompleksitas pengeksporan kit yang mahal. Hotel juga dapat menyambut tamu dengan chatbot berukuran nyata dan menyediakan layanan pramutamu digital yang dipersonalisasi untuk membedakan bisnis mereka dari pesaing.

Tiap-tiap kasus penggunaan ini memiliki karakteristik (misalnya, biaya, latensi, akurasi) yang mengharuskan untuk memilih satu model fondasi (FM) di atas yang lainnya. Dengan demikian, Proto membutuhkan solusi yang memfasilitasi eksperimen, pengujian, dan adaptasi avatar yang ditingkatkan oleh AI berdasarkan kasus penggunaan khusus mereka. Bermigrasi ke Amazon Bedrock menyediakan solusi tersebut sehingga memberikan akses bagi Proto ke berbagai pilihan FM yang dapat dievaluasi, dibuat eksperimen, di-deploy, dan dikustomisasi dengan mudah.

Peningkatan dan penyederhanaan dengan Amazon Bedrock

Meskipun menjadi pemimpin di bidangnya, permintaan pasar untuk latensi yang lebih rendah, wujud yang lebih nyata, dan akurasi yang lebih baik dalam interaksi membuat Proto mencari cara untuk menyempurnakan avatar AI mereka. Avatar Proto dapat disiarkan ke ribuan pemirsa atau dipersonalisasi ke satu orang, menyampaikan informasi waktu nyata, atau memberikan pelatihan tingkat tinggi. Apa pun tujuan atau industrinya, mereka harus memberikan tingkat realisme, akurasi, dan keamanan tingkat tinggi sekaligus memberikan persona avatar yang disesuaikan dengan kasus penggunaan. Misalnya, pramutamu hotel virtual akan memerlukan penyesuaian khusus untuk meningkatkan pengalaman tamu, sementara guru seni virtual membutuhkan fleksibilitas untuk memproses bahasa menjadi gambar.

Yang terpenting, Proto juga ingin menyederhanakan proses pembangunan dan pengelolaan aplikasi. Hal ini diperumit dengan penggunaan berbagai layanan dan alat oleh Proto pada masa lalu: Proto menggunakan rangkaian layanan AWS tetapi membangun menggunakan penyedia lain.

AI generatif adalah ruang yang berkembang pesat, pemain yang menuntut terus menginovasikan produk mereka dan melayani pelanggan dengan sebaik-baiknya. Hal ini membutuhkan waktu dan sumber daya manusia, didukung oleh alat-alat fleksibel yang dapat membantu menangani beban berat. Terfragmentasi di beberapa solusi, lingkungan warisan Proto membuatnya kesulitan untuk mengelola layanan AWS yang ada dan melakukan deployment layanan yang baru. Dengan pendekatan berbasis Amazon Bedrock, Proto dapat terus mengiterasi avatarnya serta mengadaptasinya berdasarkan interaksi pengguna waktu nyata. Hal ini membantu memastikan bahwa konten selalu sesuai untuk konteks tertentu. Misalnya, Proto dapat segera memutuskan kesesuaian topik tertentu dan mengatur pedoman – yang dikenal sebagai pagar pembatas – di tengah interaksi untuk menjaga keterlibatan tersebut tetap aman.

Faktor-faktor ini, serta kebutuhan akan alat AI generatif terbaru, mendorong keputusan Proto untuk bermigrasi ke Claude Anthropic di Amazon Bedrock. Hal ini memungkinkan perusahaan tersebut untuk meningkatkan avatar AI-nya dan proses yang digunakan untuk membuatnya.

Mengapa Amazon Bedrock?

Amazon Bedrock adalah layanan terkelola penuh yang menawarkan pilihan model fondasi beperforma tinggi melalui satu API, bersama dengan serangkaian kemampuan luas untuk membantu perusahaan rintisan membangun aplikasi AI generatif dengan keamanan, privasi, dan AI yang bertanggung jawab.

Amazon Bedrock memungkinkan pengguna bereksperimen dan mengevaluasi FM teratas untuk berbagai kasus penggunaan dengan mudah, mengustomnya secara privat dengan data mereka sendiri menggunakan teknik, seperti penyempurnaan danRetrieval Augmented Generation (RAG), serta membangun agen yang menjalankan tugas menggunakan sistem korporasi dan sumber data mereka sendiri.

Amazon Bedrock juga bersifat nirserver, yang berarti perusahaan rintisan tidak perlu mengelola infrastruktur apa pun, serta dapat mengintegrasikan dan melakukan deployment kemampuan AI generatif ke dalam aplikasi dengan aman menggunakan layanan AWS yang sudah dikenal. 

Mekanik migrasi

Proto bermigrasi ke Amazon Bedrock dan memilih Claude Instant dari Anthropic, FM yang tersedia di Amazon Bedrock, untuk mendemonstrasikan avatar percakapan di konferensi besar. Proto menyempurnakan model ini untuk mengoptimalkan avatar AI-nya, menempatkan pagar pembatas untuk memastikan interaksi sesuai dengan pengaturan, audiens, dan konteks.

Amazon Bedrock memungkinkan Proto menguji performa berbagai FM sebelum melanjutkan ke tahap pengembangan berikutnya, yang berarti Proto dapat memilih solusi yang paling hemat biaya untuk setiap kasus penggunaan. Ini adalah proses yang mudah, jadi tidak berdampak pada alur kerja atau pipeline deployment – keduanya penting bagi perusahaan rintisan yang ingin tetap berada di garis depan pengembangan AI. Seperti yang dijelaskan Raffi Kryszek, Chief Product and AI Officer di Proto, “Amazon Bedrock memungkinkan kami menguji performa avatar ketika bersumber dari model fondasi yang berbeda hanya dengan mengubah satu baris kode.”

Proto juga melakukan deployment Amazon Polly, layanan cloud yang mengubah teks menjadi ucapan seperti nyata, dan Amazon Transcribe, layanan pengenalan ucapan yang secara otomatis mengubah ucapan menjadi teks. Hal ini memberi mereka kelincahan untuk mengadaptasi solusi agar dapat mendukung percakapan dalam berbagai bahasa, seperti Jepang, Korea, dan Spanyol.

Selain berbagai layanan yang ditawarkan, kemampuan khusus Amazon Bedrock memastikan proses yang lancar selama migrasi serta memungkinkan Proto beradaptasi dan memanfaatkan alat AI generatif terbaru dengan cepat seiring berkembangnya perusahaan ini.

Inti migrasi difokuskan pada konfigurasi ulang API. Hal ini membutuhkan pemahaman mendalam mengenai cara kerja internal kedua sistem untuk memastikan komunikasi yang lancar antara antarmuka pengguna Proto dan layanan Amazon Bedrock. Tim teknis Proto dapat dengan cepat memfaktor ulang kode mereka menggunakan API Amazon Bedrock, dan menggunakan teknik pemformatan perintah khusus Claude untuk meningkatkan kualitas respons avatar.

Migrasi menandakan pergeseran penting dalam pendekatan Proto untuk kustomisasi parameter inferensi, di mana parameter disesuaikan untuk mengontrol respons model. Proses tersebut melibatkan penggunaan komprehensif kemampuan API Amazon Bedrock, dengan tim memanfaatkan opsi konfigurasi ekstensif untuk menyempurnakan pembuatan respons. Hal tersebut termasuk suhu dan pengaturan K teratas.

Penanganan suhu yang lebih baik memungkinkan kontrol kreativitas versus kesetiaan yang lebih beragam. Untuk avatar AI informasi, seperti yang digunakan oleh perusahaan layanan kesehatan guna memberikan informasi medis, Proto dapat memilih pengaturan suhu yang lebih rendah untuk memprioritaskan akurasi dan relevansi. Mampu menyesuaikan suhu dengan cara ini, berarti bahwa Proto dapat mengambil pendekatan yang lebih beragam untuk memenuhi kebutuhan pelanggan yang berbeda, yang melakukan deployment tipe avatar AI yang berbeda. Yang terpenting, timnya dapat melakukan hal ini jauh lebih cepat dan lebih mudah dibandingkan di masa lalu karena Amazon Bedrock mengurangi tuntutan teknis yang diberikan pada penggunanya.

Proto juga bisa lebih tepat dalam proses kalibrasi terkait hal mengontrol pengaturan K teratas. Seperti suhu, pengaturan k teratas adalah kategori lain dari parameter inferensi yang dapat disesuaikan untuk membatasi atau memengaruhi respons model.

K teratas adalah jumlah opsi paling mungkin yang dipertimbangkan model untuk token berikutnya di dalam urutan. Ini bisa menjadi kata berikutnya dalam sebuah kalimat, yang membuat pengaturan k teratas paling penting dalam mengontrol pembuatan teks dan memastikan bahwa teks koheren dan akurat. Menurunkan nilai dapat mengurangi ukuran kumpulan opsi yang dapat dipilih model dari opsi yang paling mungkin. Ini dapat digunakan untuk output yang lebih dapat diprediksi dan terfokus, seperti dokumentasi teknis. Nilai yang lebih tinggi meningkatkan ukuran kumpulan ini dan memungkinkan model untuk mempertimbangkan opsi yang kurang mungkin. Ini dapat digunakan untuk mendongeng secara kreatif, di mana variasi pilihan kata yang lebih luas diinginkan untuk meningkatkan kekayaan narasi dan ketidakpastian.

Memanfaatkan fitur ini memungkinkan Proto untuk mengoptimalkan performa dan kualitas dengan menyesuaikan output secara hati-hati untuk avatar AI yang berbeda, tergantung kasus penggunaannya.

Terakhir, Proto mendapat keuntungan dari kemampuan rekayasa perintah Claude. Tim mengembangkan serangkaian praktik terbaik untuk penyetelan parameter, sehingga meningkatkan respons dan relevansi AI. Pendekatan yang dipesan terlebih dahulu ini menggarisbawahi pentingnya memahami kemampuan dan kendala model AI yang mendasarinya, memastikan bahwa para developer dapat sepenuhnya memanfaatkan teknologi untuk memenuhi persyaratan spesifik avatar AI yang di-deploy, audiensnya, dan kebutuhan mereka.

Implementasi arsitektur tingkat tinggi

Menggunakan Amazon Bedrock memungkinkan Proto meningkatkan cara avatar AI merespons pertanyaan pengguna. Arsitektur dimulai dengan pengguna yang mengajukan pertanyaan, lalu diarahkan ke Amazon Bedrock. Proses RAG menggabungkan input pengguna waktu nyata dengan wawasan mendalam dari data kepemilikan Proto serta repositori data eksternal. Hal ini membantu menghasilkan petunjuk yang tepat dan relevan, sehingga menghasilkan percakapan yang dipersonalisasi untuk pengguna yang mengajukan pertanyaan.

Proto dapat memilih ukuran potongan penyematan, yang memungkinkan lebih banyak atau lebih sedikit informasi yang digunakan dalam respons yang diberikan oleh avatar AI-nya. Penyematan yang lebih kecil paling baik digunakan untuk aplikasi seperti asisten pribadi, memungkinkannya menambahkan banyak memori ke dalam perintah. Di sisi lain, penyematan yang lebih besar lebih berguna ketika dokumen dipisahkan sedemikian rupa sehingga informasi tidak menyebar.

Setelah ditambah, perintah diproses oleh pilihan model AI canggih, termasuk Claude. Di dalam setiap aplikasi Proto, ID avatar unik mengarahkan kueri ini, memungkinkan renspons yang tepat dan sadar secara kontekstual dengan berkonsultasi ke basis data yang sesuai.

Respons kemudian dikirim ke Amazon Polly untuk memastikan bahwa setiap kata yang diucapkan oleh avatarnya tidak hanya diwakili secara visual dengan sinkronisasi bibir yang tepat, tetapi juga disampaikan dengan kecepatan tinggi, sehingga menghasilkan respons yang lancar secara visual dan interaktif. Avatar AI lebih terlihat seperti manusia ketika berbicara dengan penggunanya, dan percakapan sedekat mungkin dengan waktu nyata.

Penutup

Sebagai hasil dari migrasi, Proto kini menggunakan alat AI generatif paling mutakhir untuk menyediakan aplikasi AI generatif paling inovatif kepada pelanggannya. Sebagai layanan terkelola penuh, beralih ke Amazon Bedrock berarti tim Proto tidak perlu menghabiskan waktu merancang ulang solusi mereka untuk mendukung beberapa model fondasi. Sekarang, tim dapat berfokus pada hal-hal yang penting: membangun, menskalakan, dan mengoptimalkan produk agar beradaptasi dengan kebutuhan pengguna akhir mereka – dan sebagai hasilnya, mengembangkan perusahaan rintisan mereka.

Optimisasi produk-produk tersebut sudah jelas: dengan berfokus pada konfigurasi ulang API sebagai bagian dari migrasi terkelola, Proto telah meningkatkan kemampuan avatarnya, memastikan kemampuan tersebut tetap berada di garis depan teknologi AI percakapan. Menyesuaikan kemampuan ini ke sektor yang berbeda – dan kecepatan di mana kemampuan tersebut dapat melakukannya – memungkinkan perusahaan melayani basis pelanggan yang luas dengan lebih baik dan memperluas jangkauannya ke berbagai industri dengan kecepatan yang kompetitif.

Memigrasikan beban kerja dan aplikasi ke AWS hanyalah permulaan. Proto telah mengambil satu langkah lebih maju, mengadaptasi dan memanfaatkan kemampuan AI generatif AWS. Sekarang, dengan menggunakan kemampuan ini di seluruh alur kerjanya: mulai dari mengutak-atik alat dari para pemimpin di lapangan, hingga melakukan deployment teknologi yang menciptakan keterlibatan yang berarti bagi pelanggannya.

Dalam proses bermigrasi ke AWS, perusahaan ini meringankan beban (teknis) untuk timnya sambil memperluas kemampuan kreatif mereka, serta membangun, menskalakan, dan melakukan deployment aplikasi AI generatif miliknya secara lebih mudah dengan keamanan, privasi, dan AI yang bertanggung jawab. Baik Anda sebuah perusahaan rintisan yang ingin memulai perjalanan dengan AI generatif maupun ingin mengoptimalkan dan meningkatkan alur kerja serta produk saat ini, Program Akselerasi Migrasi AWS dapat membantu Anda menjelajahi opsi, dan mengetahui lebih banyak tentang cara kerja Amazon Bedrock untuk Anda.

Dengan kontribusi tulisan dari Shaun Wang dan Tony Gabriel Silva