Amazon SageMaker Özellik Mağazası
Makine öğrenimi özellikleri için tam olarak yönetilen hizmet
ML uygulamaları arasında özelliklerin yeniden kullanılmasını teşvik etmek adına eğitim ve çıkarım için ML model özelliklerini depolayın, paylaşın ve yönetin
AWS veya üçüncü taraf veri kaynaklarından uygulama günlükleri, hizmet günlükleri, tıklama akışları, sensörler ve tablo verileri gibi akış ve toplu işler dahil olmak üzere herhangi bir veri kaynağından istediğiniz özelliği alın
Verileri ML özelliklerine dönüştürün ve MLOps uygulamalarını destekleyen ve model dağıtım süresini hızlandıran özellik işlem hatları oluşturun
Amazon SageMaker Özellik Deposu, makine öğrenimi (ML) modelleri için özellik depolamak, paylaşmak ve yönetmek üzere tasarlanmış tam olarak yönetilen bir depodur. Özellikler, eğitim ve çıkarım sırasında kullanılan makine öğrenimi modellerinin girdileridir. Örneğin, müzik çalma listesi öneren bir uygulamada özellikler şarkı derecelendirmelerini, dinleme süresini ve dinleyici demografisini içerebilir. Özellikler birden fazla ekip tarafından tekrar tekrar kullanılır ve özellik kalitesi, son derece doğru bir model sağlamak için kritik öneme sahiptir. Ayrıca, modelleri çevrimdışı olarak toplu halde eğitmek için kullanılan özellikler gerçek zamanlı çıkarım için kullanıma sunulduğunda bu iki özellik deposunu senkronize tutmak zor olabilir. SageMaker Özellik Deposu, makine öğrenimi yaşam döngüsü boyunca özellikleri ölçekli bir şekilde işlemek, standartlaştırmak ve kullanmak için güvenli ve birleşik bir depo sağlar.
Nasıl çalışır?
Temel Özellikler
Özellik işleme ve alma
Amazon Basit Depolama Hizmeti (Amazon S3), Amazon Redshift, AWS Lake Formation, Snowflake ve Databricks Delta Lake gibi farklı kaynaklardan gelen uygulama ve hizmet günlükleri, tıklama akışları, sensörler ve tablo verileri gibi pek çok veri türünü SageMaker Özellik Deposuna alabilirsiniz. Özellik işleme kullanarak, toplu veri kaynağınızı ve özellik dönüşüm fonksiyonunu (örneğin ürün görüntülemelerinin sayısı veya zaman penceresi toplamları) belirtebilirsiniz ve SageMaker Özellik Deposu, alım sırasında verileri ML özelliklerine dönüştürür. Amazon SageMaker Data Wrangler ile özellikleri doğrudan SageMaker Özellik Mağazasında yayımlayabilirsiniz. Apache Spark bağlayıcısı ile yüksek hacimli verileri tek bir kod yardımıyla toplu olarak alabilirsiniz.
Özellik depolama, katalog, arama ve yeniden kullanım
SageMaker Özellik Mağazası, Amazon SageMaker Stüdyodaki görsel arabirimden kolayca bulunabilmesi için özellikleri etiketler ve dizine ekler. Özellik kataloğuna göz atmak, ekiplerin güvenle yeniden kullanabilecekleri mevcut özellikleri keşfetmelerini ve işlem hatlarının tekrarlanmasını önlemelerini sağlar. SageMaker Özellik Mağazası varsayılan olarak AWS Glue Data Catalog kullanır, ancak isterseniz farklı bir katalog kullanmanıza izin verir. Ayrıca Amazon Athena veya seçtiğiniz başka bir sorgu aracıyla tanıdık SQL kullanarak özellikleri sorgulayabilirsiniz.
Özellik tutarlılığı
SageMaker Özellik Mağazası, eğitim için çevrimdışı depolamayı ve gerçek zamanlı çıkarım için çevrimiçi depolamayı destekler. Eğitim ve çıkarım, birbirlerinden çok farklı kullanım alanlarıdır ve her birinin depolama gereksinimleri farklıdır. Eğitim sırasında modeller genellikle tüm veri setini kullanır ve tamamlanması saatler sürebilirken, çıkarımın milisaniyeler içinde gerçekleşmesi gerekir ve genellikle verilerin bir alt kümesini kullanır. SageMaker Özellik Mağazası, birlikte kullanıldığında çevrimdışı ve çevrimiçi veri kümelerinin eşitlenmiş kalmasını sağlar; bu çok önemlidir, çünkü sapma durumunda model doğruluğunu olumsuz etkileyebilir.
Geçmiş takibi
Özelliklerin güvenle yeniden kullanılmasını sağlamak için veri bilimcilerin özelliklerin nasıl oluşturulduğunu, hangi modellerin ve uç noktaların bunları kullandığını bilmesi gerekir. SageMaker Özellik Deposu, veri bilimcilerin Amazon SageMaker Stüdyo'da SageMaker Lineage kullanarak bunların özelliklerini izlemelerine olanak tanır. SageMaker Lineage zamanlanmış işlem hattı yürütme süreçlerini izlemenize, özellikleri veri kaynaklarına kadar takip etmek için yukarı akış silsilesini görselleştirmenize ve özellik işleme kodunu görüntülemenize, hem de bunların tamamını tek bir ortamda yapmanıza olanak tanır.
Zaman yolculuğu
Veri bilimcilerin, tanıdan önceki hasta tıbbi verileri gibi o zamanın ötesindeki verileri dahil etme riski olmadan (özellik sızıntısı olarak da adlandırılır) geçmişte belirli bir zamandaki tam özellik değerleri kümesiyle modelleri eğitmesi gerekebilir. SageMaker Özellik Deposu Çevrimdışı API, her bir özelliğin ilgilenilen tarihsel zamandaki durumunu almak için zaman içinde nokta sorgularını destekler.
ML operasyonları
Özellik mağazaları MLOps yaşam döngüsünün önemli bir bileşenidir. Veri kümelerini ve özellik işlem hatlarını yöneterek veri bilimi görevlerini hızlandırıp, aynı özellikleri birden çok kez oluşturmanın getirdiği yinelenen işleri ortadan kaldırır. SageMaker Özellik Mağazası, bağımsız bir hizmet olarak veya diğer SageMaker hizmetleriyle birlikte MLOps yaşam döngüsü boyunca entegre bir şekilde kullanılabilir.
Güvenlik ve uygunluk
Güvenlik ve uygunluk ihtiyaçlarını desteklemek için, paylaşılan makine öğrenimi özelliklerine nasıl erişileceği konusunda ayrıntılı denetime ihtiyacınız olabilir. Bu ihtiyaçlar genellikle tablo ve sütun düzeyinde erişim denetiminin ötesine geçerek tek tek satır düzeyinde erişim denetimine kadar uzanır. Örneğin, hesap temsilcilerinin bir satış tablosundan yalnızca kendi hesaplarına ait satırları görmesine izin vermek ve kredi kartı numaraları gibi hassas verilerin ön ekini maskelemek isteyebilirsiniz. SageMaker Özellik Mağazası, AWS Lake Formation ile birlikte özellik deposu verilerini korumak ve role göre erişim vermek için ince taneli erişim kontrolleri uygulamak için kullanılabilir.
Müşteriler
"Climate'ta veri odaklı kararlar vermeleri ve her dönümden elde ettikleri geri dönüşü en üst seviyeye çıkarmaları için dünya genelindeki çiftçilere doğru bilgiler sağlamak gerektiğine inanıyoruz. Bunu başarmak için, örneğin bir üreticinin arazisindeki verim gibi, özellikler olarak bilinen ölçülebilir varlıkları kullanan modeller oluşturmak üzere makine öğrenimi araçları gibi teknolojilere yatırım yaptık. Amazon SageMaker Feature Store ile özelliklerin farklı ekipler tarafından kolayca erişilebilmesi ve yeniden kullanılabilmesi için merkezi bir özellik deposuna sahip makine öğrenimi modelleri geliştirmeyi hızlandırabiliyoruz. SageMaker Feature Store, çevrimiçi depoyu kullanarak özelliklere gerçek zamanlı olarak erişmeyi veya farklı kullanım alanları için çevrimdışı depoyu kullanarak özellikler çalıştırmayı kolaylaştırıyor. SageMaker Feature Store ile makine öğrenimi modellerini daha hızlı geliştirebiliyoruz."
Daniel McCaffrey, Başkan Yardımcısı, Veri ve Analiz - Climate
"2017 yılında Intuit'in yeni makine öğrenimi platformunu AWS'de oluşturmaya karar verdik ve Amazon SageMaker'ın model geliştirme, eğitme ve barındırmaya ilişkin güçlü yetenekleriyle Intuit'in kendi düzenleme ve özellik mühendisliği kabiliyetlerini birleştirdik. Sonuç olarak, model geliştirme süremizi büyük ölçüde kısalttık. Daha önce tam altı ay süren işlem şu anda bir haftadan kısa sürede bitiyor ve TurboTax, QuickBooks ve Mint ürünlerimize yapay zeka özelliklerini çok daha hızlı bir şekilde ekleyebiliyoruz. Amazon SageMaker Feature Store'un kullanıma alınması sırasında AWS ile yakından çalıştık ve artık kuruluşumuz genelinde birden çok özellik deposu barındırmamız gerekmediği için, tam olarak yönetilen özellik deposu bizi heyecanlandırıyor. Veri bilimcilerimiz, hem merkezi bir depodan mevcut özellikleri kullanabilecek hem de farklı ekiplerde ve modellerde özelliklerin standartlaştırılmasını ve yeniden kullanımını sağlayabilecek."
Mammad Zadeh, Intuit Mühendislik Departmanı Başkan Yardımcısı, Veri Platformu
"Experian'da, finansal yaşamlarında krediyi anlamaları ve kullanmaları için müşterilerimizi desteklemenin ve kredi verenlerin kredi riskini yönetmesine yardımcı olmanın bizim sorumluluğumuz olduğuna inanıyoruz. Finansal modellerimizi oluşturmak için en iyi uygulamaları takip etmeye devam ederken, makine öğrenimini kullanarak ürünlerin üretimini hızlandıracak çözümler arıyoruz. Amazon SageMaker Feature Store, bize makine öğrenimi uygulamalarımız için özellikleri depolamanın ve yeniden kullanmanın güvenli bir yolunu sağlıyor. Birden çok hesapta hem gerçek zamanlı hem de toplu uygulamalarda tutarlılığı koruyabilmek, işimiz için temel bir gereksinim. Amazon SageMaker Feature Store'un yeni yeteneklerini kullanmak, müşterilerimizi kredilerinin kontrolünü ellerine alma ve yeni ekonomik şartlarda maliyetleri azaltma konularında desteklememizi sağladı."
Geoff Dzhafarov, Baş Kurumsal Mimar, Experian Tüketici Hizmetleri
"DeNA'da misyonumuz, interneti ve yapay zekayı/makine öğrenimini kullanarak etki yaratmak ve memnuniyet sağlamak. Değer temelli hizmetler sunmak öncelikli hedefimizdir ve işletmelerimizin ve hizmetlerimizin bu hedefe ulaşmaya hazır olmasını sağlamak istiyoruz. Kurum genelinde özellikleri keşfetmek ve yeniden kullanmak istiyoruz ve Amazon SageMaker Özellik Mağazası, farklı uygulamalar için özellikleri yeniden kullanmanın kolay ve verimli bir yolunu sunarak bize yardımcı oluyor. Amazon SageMaker Özellik Mağazası ayrıca standart özellik tanımlarını koruma ve modelleri eğitip üretime dağıtırken tutarlı bir metodoloji konusunda bize yardımcı oluyor. Amazon SageMaker'ın bu yeni yetenekleriyle makine öğrenimi modellerini daha hızlı eğitip dağıtabiliyor ve böylece, müşterilerimizi en iyi hizmetlerle memnun edebiliyoruz."
Kenshin Yamada, Genel Müdür / Yapay Zeka Sistemi Dept. Sistem Birimi - DeNA
"Arzın taleple eşleştiği güçlü bir bakım sektörü, her aileden ülkenin gayri safi yurt içi hasıla rakamına kadar ekonomik büyüme için esastır. Amazon SageMaker Feature Store bizi heyecanlandırıyor çünkü tutarlı şekilde oluşturulmuş bir veri kümesiyle veri bilimi ve geliştirme ekiplerimiz genelinde daha iyi ölçeklenmemize yardımcı olacağına inanıyoruz. Amazon SageMaker'ın yeni duyurulan yetenekleriyle farklı uygulamalar için makine öğrenimi modellerimizin gelişimini ve dağıtımını hızlandırarak müşterilerimizin, gerçek zamanlı daha hızlı önerilerle bilgiye dayalı kararlar almasına yardımcı olabiliyoruz."
Clemens Tummeltshammer, Veri Bilimi Yöneticisi - Care.com
_Logo_Resized.f91898f019610a66c5a9284b90b71cf609deb12e.png "3M"){kind=logo}
"3M, makine öğrenimini kullanarak zımpara kağıdı gibi denenip test edilmiş ürünleri iyileştiriyor ve sağlık hizmetleri de dahil olmak üzere diğer birçok alanda inovasyon yapıyor. Makine öğrenimini 3M'in diğer alanlarına da ölçeklemeyi düşünürken veri ve model miktarının her yıl ikiye katlanarak hızlıca büyüdüğünü görüyoruz. Ölçeklenmemize yardımcı olacağı için yeni SageMaker özellikleri konusunda heyecanlıyız. Amazon SageMaker Data Wrangler, model eğitimi için verileri hazırlamayı çok daha kolay hale getiriyor ve Amazon SageMaker Feature Store, aynı model özelliklerini tekrar tekrar oluşturma ihtiyacını ortadan kaldırıyor. Son olarak, Amazon SageMaker Pipelines; veri hazırlama, model oluşturma ve model dağıtımını uçtan uca bir iş akışında otomatikleştirmemize yardımcı olarak modellerimizin pazara ulaşma hızını artıracak. Araştırmacılarımız, 3M'de bilimin yeni hızının avantajından yararlanmayı dört gözle bekliyor."
David Frazee, Teknik Faaliyetler Direktörü - 3M Corporate Systems Research Lab