Özbağlanımlı modeller nedir?
Özbağlanımlı modeller, sıradaki önceki girdilerden ölçümler alarak bir sonraki bileşeni otomatik olarak tahmin eden bir makine öğrenimi modelleri sınıfıdır. Özbağlanım, zaman serisi analizinde kullanılan ve bir zaman serisinin mevcut değerinin geçmiş değerlerinin bir fonksiyonu olduğunu varsayan istatistiksel bir tekniktir. Özbağlanımlı modeller, bir dizideki ögeler arasındaki olasılıksal korelasyonu belirlemek için benzer matematiksel teknikler kullanır. Ardından bilinmeyen bir sırayla bir sonraki ögeyi tahmin etmek için türetilen bilgiyi kullanırlar. Örneğin, eğitim sırasında, özbağlanımlı bir model, birkaç İngilizce cümleyi işler ve "is" kelimesinin her zaman "there" kelimesini takip ettiğini tanımlar. Ardından birlikte "there is" olan yeni bir dizi oluşturur.
Üretici yapay zekada özbağlanımlı modeller nasıl kullanılır?
Üretici yapay zeka, büyük eğitim verilerinden öğrenerek yeni ve benzersiz içerik oluşturabilen, gelişmiş bir veri bilimi teknolojisidir. Aşağıdaki bölümlerde özbağlanımlı modellemenin üretici yapay zeka uygulamalarını nasıl etkinleştirdiği açıklanmaktadır.
Doğal dil işleme (NLP)
Özbağlanımlı modelleme, büyük dil modellerinin (LLM'ler) önemli bir bileşenidir. LLM'ler, dönüştürücü mimariden türetilen derin bir sinir ağı olan üretken ön işlemeli dönüştürücü (GPT) tarafından desteklenmektedir. Dönüştürücü, sırasıyla doğal dil anlayışını ve doğal dil üretimini çalıştıran bir kodlayıcı-kod çözücüden oluşur. GPT, özbağlanımlı dil modellemesi için yalnızca kod çözücüyü kullanır. Bu, GPT'nin doğal dilleri anlamasını ve insanların kavradığı şekilde yanıt vermesini sağlar. GPT destekli bir büyük dil modeli, eğitildiği metin kitaplığının olasılık dağılımını dikkate alarak bir sonraki kelimeyi tahmin eder.
Doğal Dil İşleme (NLP) hakkında bilgi edinin
Büyük Dil Modelleri (LLM'ler) hakkında bilgi edinin
Görüntü sentezi
Özbağlanım, derin öğrenme modellerinin sınırlı bilgileri analiz ederek görüntüler oluşturmasına olanak tanır. PixelRNN ve PixelCNN gibi görüntü işleme sinir ağları, mevcut piksel bilgilerini inceleyerek görsel verileri tahmin etmek üzere özbağlanımlı modelleme kullanır. Kaliteyi korurken görüntüleri keskinleştirmek, yükseltmek ve yeniden oluşturmak için özbağlanım teknikleri kullanabilirsiniz.
Zaman serisi tahmini
Özbağlanımlı modeller, zaman serisi olaylarının olasılığını tahmin etmeye yardımcı olur. Örneğin, derin öğrenme modelleri hisse senedi fiyatlarını, hava durumunu ve trafik koşullarını tarihsel değerlere dayanarak tahmin etmek için özbağlanımlı teknikler kullanır.
Veri büyütme
Makine öğrenimi mühendisleri, performansı artırmak için seçilmiş veri kümeleriyle yapay zeka modellerini eğitir. Bazı durumlarda, modeli yeterince eğitmek için yeterli veri yoktur. Mühendisler, yeni ve gerçekçi derin öğrenme eğitim verileri oluşturmak için özbağlanımlı modeller kullanır. Oluşturulan verileri mevcut sınırlı eğitim veri kümelerini artırmak için kullanırlar.
Özbağlanımlı modelleme nasıl çalışır?
Özbağlanımlı bir model, belirli bir değişken aralığından bir sonraki diziyi tahmin etmek için doğrusal regresyon analizinin bir varyasyonunu kullanır. Regresyon analizinde, istatistiksel model bağımlı bir değişkenin değerini tahmin etmek için kullandığı birkaç bağımsız değişken ile sağlanır.
Doğrusal regresyon
Doğrusal regresyonu, iki boyutlu bir grafikte dağıtılan ortalama değerleri en iyi temsil eden düz bir çizgi çizmek olarak hayal edebilirsiniz. Model düz çizgiden geçmiş değerlerin koşullu dağılımına karşılık gelen yeni bir veri noktası oluşturur.
Y (bağımlı değişken) ve x (bağımsız değişken) arasındaki çizgi grafiği denkleminin en basit biçimine göz atın; y=c*x+m, denkleminde c ve m, x ve y'nin tüm olası değerleri için sabittir. Örneğin, (x, y) için giriş verileri (1,5), (2,8) ve (3,11) olabilir. Doğrusal regresyon yöntemini tanımlamak için aşağıdaki adımları uygularsınız:
- Düz bir çizgi çizin ve 1 ile 5 arasındaki bağıntıyı ölçün.
- Tüm değerler uyana kadar yeni değerler (2,8) ve (3,11) için düz çizgi yönünü değiştirin.
- Doğrusal regresyon denklemini y=3*x+2 olarak tanımlayın.
- x, 4 olduğunda y'nin de 14 olduğunu sonucuna ulaşın veya tahmininde bulunun.
Özbağlanım
Özbağlanımlı modeller, önceki adımlardan alınan çıktısının gecikmiş değişkenleriyle doğrusal regresyon uygular. Doğrusal regresyonun aksine, özbağlanımlı model, önceden tahmin edilen sonuçlar dışında diğer bağımsız değişkenleri kullanmaz. Aşağıdaki formüle göz atın.
Olasılıksal terimle ifade edildiğinde, özbağlanımlı bir model önceki değişkenlerin bir sonrakinin sonucunu koşullu olarak etkilediğini varsayarak bağımsız değişkenleri n-olası adımlar üzerinde dağıtır.
Aşağıdaki denklemle de özbağlanımlı modellemeyi ifade edebiliriz.
Burada y, önceki sonuçların çoklu sıralarının ilgili katsayıları, φ ile çarpılan tahmin sonucudur. Katsayı, tahmin gerçekleştiricinin yeni sonuç için önemini etkileyen ağırlıkları veya parametreleri temsil eder. Formül tahmini etkileyebilecek rastgele gürültüyü de dikkate alır ve modelin hem ideal olmadığını hem de daha fazla iyileştirmenin mümkün olduğunu gösterir.
Gecikme
Veri bilimcileri, özbağlanımlı modelleme doğruluğunu yükseltmek için daha fazla gecikmeli değer ekler. Bunu, verilerin zaman serisindeki adım sayısını belirten t değerini yükselterek yaparlar. Daha fazla sayıda adım, modelin girdi olarak daha fazla geçmiş tahmini yakalamasına olanak tanır. Örneğin, daha doğru bir sonuç elde etmek için özbağlanımlı bir modeli 7 günden son 14 güne kadar tahmin edilen sıcaklığı içerecek şekilde genişletebilirsiniz. Bununla birlikte, özbağlanımlı bir modelin geciken sırasını yükseltmek, her zaman gelişmiş doğrulukla sonuçlanmaz. Katsayı sıfıra yakınsa, belirli tahmin gerçekleştirenin modelin sonucu üzerinde çok az etkisi vardır. Ayrıca dizinin süresiz olarak genişletilmesi, çalışması için daha fazla bilgi işlem kaynağı gerektiren daha karmaşık bir modelle sonuçlanır.
Otokorelasyon nedir?
Otokorelasyon, özbağlanımlı bir modelin çıktısının gecikmiş değişkenlerinden ne kadar etkilendiğini değerlendiren istatistiksel bir yöntemdir. Veri bilimcileri, bir modelin çıktısı ve gecikmiş girdileri arasındaki ilişkiyi tanımlamak için otokorelasyonu kullanır. Korelasyon ne kadar yüksek olursa modelin tahmin doğruluğu o kadar yüksek olur. Otokorelasyonla ilgili hususların bazıları şunlardır:
- Pozitif korelasyon, çıktının önceki değerlerde çizilen eğilimleri takip ettiği anlamına gelir. Örneğin model, son birkaç gündür arttığı için hisse senedi fiyatının bugün artacağını tahmin eder.
- Negatif korelasyon, çıktı değişkeninin önceki sonuçların tersine gittiği anlamına gelir. Örneğin özbağlanımlı sistem, son birkaç günde yağmur yağdığını ancak yarının güneşli olacağını öngördüğünü gözlemler.
- Sıfır korelasyon, girdi ve çıktı arasında belirli kalıpların eksik olduğunu gösterebilir.
Veri mühendisleri, bilgi işlem kaynaklarını ve yanıt doğruluğunu optimize etmek üzere modele kaç adım dahil etmeleri gerektiğini belirlemek için otokorelasyonu kullanır. Bazı uygulamalarda, özbağlanımlı model yakın geçmişten gelen değişkenleri kullanırken güçlü otokorelasyon gösterebilse de uzak girdiler için daha zayıf otokorelasyon gösterebilir. Örneğin mühendisler, özbağlanımlı bir hava tahmincisinin 30 günden fazla geçmiş tahminlere daha az duyarlı olduğunu buldular. Bu nedenle, modeli yalnızca son 30 gündeki gecikmiş sonuçları içerecek şekilde revize ettiler. Bu, daha az bilgi işlem kaynağı kullanarak daha doğru sonuçlara yol açtı.
Özbağlanım ve diğer regresif analiz teknikleri arasındaki fark nedir?
Özbağlanımın yanı sıra, değişkenleri ve bunların karşılıklı bağımlılıklarını analiz etmek için birkaç regresif teknik sunulmuştur. Aşağıdaki bölümlerde farklar açıklanmaktadır.
Özbağlanım ile karşılaştırıldığında doğrusal regresyon
Her iki regresyon yöntemi de geçmiş değişkenlerin gelecekteki değerlerle doğrusal bir ilişki paylaştığını varsayar. Doğrusal regresyon, aynı zaman dilimi içinde birkaç bağımsız değişkene dayalı bir sonucu tahmin eder. Özbağlanım ise yalnızca bir değişken türü kullansa da gelecekteki sonucu tahmin etmek için onu birkaç noktaya genişletir. Örneğin hava durumuna, trafik hacmine ve yürüme hızına göre işe gidip gelme sürenizi tahmin etmek için doğrusal regresyon kullanırsınız. Alternatif olarak, bir özbağlanım modeli, bugünün varış saatini tahmin etmek için geçmiş işe gidip gelme sürelerinizi kullanır.
Özbağlanım ile polinom regresyon karşılaştırması
Polinom regresyon, doğrusal olmayan değişkenlerin ilişkisini yakalayan istatistiksel bir yöntemdir. Bazı değişkenler düz bir çizgi ile doğrusal olarak temsil edilemez ve ilişkilerini daha iyi yansıtmak için ek polinom terimleri gerektirir. Örneğin mühendisler, çalışanların kazançlarını eğitim düzeylerine göre analiz etmek için polinom regresyonu kullanır. Bu sırada özbağlanım, bir çalışanın önceki maaşlarına göre gelecekteki gelirini tahmin etmek için doğru yöntemdir.
Özbağlanım ile lojistik regresyon karşılaştırması
Lojistik regresyon, istatistiksel bir modelin olasılıksal terimde belirli bir olayın olasılığını tahmin etmesine izin verir. Tahmin sonucunu bir dizi sayı yerine yüzde olarak ifade eder. Örneğin iş analistleri, bir sonraki ayda yüzde 85'lik bir arz maliyetinde artış olasılığını tahmin etmek için bir lojistik regresyon modeli kullanır. Özbağlanım modeli ise önceki aylar için tarihsel tahmini göz önüne alındığında olası envanter fiyatını tahmin eder.
Özbağlanım ile ridge regresyon karşılaştırması
Ridge regresyon, bir modelin katsayısının kısıtlanmasına izin veren doğrusal regresyonun bir çeşididir. Veri bilimcileri, sonucun modellenmesindeki katsayının etkisini telafi ederek bir ceza faktörünü ayarlayabilir. Parametre katsayısı, bir ridge regresyon modelinde sıfıra yakın bastırılabilir. Bu, regresif algoritma aşırı uyuma eğilimli olduğunda faydalıdır. Aşırı uyum, modelin eğitim verileriyle iyi genelleme yapabileceği ancak yabancı gerçek dünya verileriyle iyi genelleme yapamadığı bir durumdur. Özbağlanım modelinin ise katsayı ceza mekanizması yoktur.
Özbağlanım ile lasso regresyon
Lasso regresyon, değişken katsayıyı bir ceza faktörü ile kısıtlayabilen ridge regresyona benzer. Ancak lasso regresyon, katsayıyı sıfıra baskılayabilir. Bu, veri bilimcilerinin kritik olmayan parametreleri göz ardı ederek karmaşık modelleri basitleştirmesine olanak tanır. Özbağlanımlı modeller ise tahminlerini katsayılı daralma ile düzenlemez.
AWS, özbağlanımlı modellerinizle ilgili size nasıl yardımcı olur?
Amazon Web Services (AWS) ile yazılım ekipleri, üretici yapay zeka uygulamaları için özbağlanımlı modelleri daha verimli bir şekilde oluşturabilir, eğitebilir, dağıtabilir ve ölçeklendirebilir. Kurumsal düzeyde güvenlik ve yönetilen altyapı ile AWS, işletmeler için üretken model geliştirmeyi basitleştirir ve pazara sunma süresini kısaltır. Örneğin, şunları kullanabilirsiniz:
- Amazon Bedrock, kendi verilerinizle özelleştirmek ve yenilik yapmak için kullanabileceğiniz altyapı modelleri sağlayan, yönetilen bir hizmettir.
- Tüm kullanım örnekleri için makine öğrenimi modelleri oluşturmak, eğitmek ve dağıtmak üzere Amazon SageMaker.
- Yüksek performanslı, düşük maliyetli bilgi işlem gücüyle üretici yapay zeka uygulamalarını bulutta eğitmek, barındırmak ve ölçeklendirmek için AWS Trainium ve AWS Inferentia.
Hemen bir hesap oluşturarak AWS'de özbağlanımlı modelleri kullanmaya başlayın.
AWS'de Sonraki Adımlar
