CrowS-Pairs, TriviaQA ve WikiText gibi seçilmiş veri kümeleri ve Bert-Score, Rouge ve F1 gibi seçilmiş algoritmalar ile hızlı bir şekilde başlayın. Üretici yapay zeka uygulamanıza özel kendi istem veri kümelerinizi ve puanlama algoritmalarınızı özelleştirebilirsiniz. Otomatik değerlendirme, herhangi bir yerde çalıştırabilmeniz için GitHub'da açık kaynaklı bir kütüphane olarak da mevcuttur. Örnek not defterleri, AWS'de barındırılmayan modeller de dahil olmak üzere herhangi bir altyapı modeli için programlı olarak değerlendirmeyi nasıl çalıştıracağınızı ve altyapı modeli değerlendirmelerini SageMaker MLOps ve SageMaker İşlem Hatları, SageMaker Model Kayıt Defteri ve SageMaker Model Kartları gibi yönetişim araçlarıyla nasıl entegre edeceğinizi gösterir.

Bazı değerlendirme kriterleri incelikli veya özneldir ve değerlendirmek için insan yargısını gerektirir. Otomatik, ölçüme dayalı değerlendirmelere ek olarak, insanlardan (kendi çalışanlarınızdan veya AWS tarafından yönetilen bir değerlendirme ekibinden) model çıktılarını faydalılık, ton ve marka sesine uyumluluk gibi yönlerden değerlendirmelerini isteyebilirsiniz. İnsan değerlendiriciler şirkete özgü yönergelerle, terimceyle ve marka sesiyle tutarlılığı da kontrol edebilir. Değerlendirme ekibinize istemlerin nasıl değerlendireceği konusunda talimat vermek için özel talimatlar ayarlayın, ör. sıralama veya onay/ret belirten başparmak işareti.

Otomatik ve/veya insan temelli değerlendirmeleri kullanarak belirli üretici AI göreviniz için yüksek kaliteli yanıtlar sağlayıp sağlamadığını belirlemek üzere altyapı modelinizi değerlendirin. Özetleme, soru cevaplama (Soru-Cevap) ve sınıflandırma gibi belirli üretici AI görevleri için uyarlanmış Bert Score, Rouge ve F1 gibi belirli değerlendirme algoritmalarıyla model doğruluğunu değerlendirin. ButterFingers, rastgele büyük harf ve beyaz boşluk ekle kaldır gibi girdilerin anlamsallığını koruyan bozulmaların istem olarak girildiği durumlarda altyapı modeli çıktınızın anlamsal sağlamlığını kontrol edin.

Otomatik ve/veya insan temelli değerlendirmeleri kullanarak altyapı modelinizin ırk/renk, cinsiyet/cinsiyet kimliği, cinsel yönelim, din, yaş, milliyet, engellilik, fiziksel görünüm ve sosyoekonomik durum kategorilerinde stereotipleri kodlama riskini değerlendirin. Zararlı içerik riskini de değerlendirebilirsiniz. Bu değerlendirmeler; açık uçlu oluşturma, özetleme ve soru yanıtlama dahil olmak üzere içerik oluşturmayı içeren herhangi bir göreve uygulanabilir.

Canlı verilerdeki değişiklikler, modelinizin yeni bir davranışını ortaya çıkarabilir. Örneğin, bir coğrafi bölgeden gelen verilerle eğitilen bir kredi riski tahmin modeli, başka bir bölgeden gelen verilere uygulandığında çeşitli özelliklere verdiği önemi değiştirebilir. SageMaker Clarify, giriş özelliklerinin öneminin değişmesi ve model davranışının değişmesine neden olması durumunda CloudWatch gibi uyarı sistemlerini kullanarak sizi bilgilendirmek için SageMaker Model İzleyici ile entegre edilmiştir.

Modelinizi eğittikten sonra, bir grup için diğerine göre daha sık olumsuz sonuç oluşturan tahminler gibi olası sapmalara yönelik olarak modelinizi kontrol etmek üzere Amazon SageMaker Deneyler aracılığıyla bir SageMaker Clarify sapma analizi çalıştırabilirsiniz. Model sonuçlarında ölçmek istediğiniz sapmalara göre girdi özelliklerini belirtirsiniz ve SageMaker bir analiz yürütüp size her özellik için farklı sapma türlerini tanımlayan görsel bir rapor sunar. AWS açık kaynak yöntemi Fair Bayesian Optimization, bir modelin hiperparametrelerini ayarlayarak sapmayı azaltmaya yardımcı olabilir.

Eğitim verileri, modelin dağıtım sırasında gördüğü canlı verilerden farklı olduğunda, dağıtılan makine öğrenimi modellerinde sapma ortaya çıkabilir veya şiddetlenebilir. Örneğin, modeli eğitmek için kullanılan ipotek oranları mevcut ipotek oranlarından farklıysa ev fiyatlarını tahmin etmeye yönelik bir modelin çıktılarında sapma meydana gelebilir. SageMaker Clarify sapma tespiti özellikleri, Amazon SageMaker Model İzleyici'ye entegre edilmiştir. Böylece SageMaker belirli bir eşiğin ötesinde sapma tespit ettiğinde hem Amazon SageMaker Stüdyosu'nda hem de Amazon CloudWatch ölçüm ve alarmları aracılığıyla görüntüleyebileceğiniz ölçümleri otomatik olarak oluşturur.