Hiper parametre ayarlaması nedir?
Makine öğrenimi modellerini eğitirken, her veri kümesi ve modelin, bir tür değişken olan farklı bir hiper parametre kümesine ihtiyacı vardır. Bunları belirlemenin tek yolu, bir dizi hiper parametre seçip bunları modelinizde çalıştırdığınız çoklu deneylerdir. Buna hiper parametre ayarlaması denir. Kısacası, modelinizi sırayla farklı hiper parametre kümeleriyle eğitirsiniz. Bu işlemi manuel olarak gerçekleştirilebilir veya birkaç otomatik hiper parametre ayarlama yönteminden birini seçebilirsiniz.
Hangi yöntemi kullanırsanız kullanın, deneylerinizin sonuçlarını takip etmeniz gerekir. En iyi sonuç veren hiper parametre kümesini belirlemek için kayıp fonksiyonu gibi bir tür istatistiksel analiz uygulamanız gerekecektir. Hiper parametre ayarlaması, önemli ve yoğun işlem gerektiren bir süreçtir.
Hiper parametreler nelerdir?
Hiper parametreler, veri bilimcilerin makine öğrenimini yönetmek için kullandıkları dış yapılandırma değişkenleridir. Bazen model hiper parametreleriolarak da adlandırılan hiper parametreler, bir modeli eğitmeden önce manuel olarak ayarlanır. Bunlar parametrelerden farklıdırlar çünkü iç parametreler öğrenme sürecinde otomatik olarak türetilir ve veri bilimciler tarafından belirlenmemiştir.
Hiper parametre örnekleri sinir ağının düğüm ve katman sayısını ve karar ağaçlarındaki dal sayısını içerir. Hiper parametreler model mimari, öğrenme oranı ve model karmaşıklığı gibi en önemli özellikleri belirlerler.
Hiper parametreleri nasıl tanımlarsınız?
Doğru hiper parametreler kümesini seçmek model performansı ve doğruluğu yönünden önemlidir. Maalesef, hangi hiper parametrelerin en iyi şekilde çalıştığına veya en uygun ya da varsayılan değerlerine dair belirli bir kural yoktur. İdeal hiper parametre kümesini bulmak için deneme yanılma yöntemine başvurmanız gerekir. Bu yöntem hiper parametre ayarlaması ya da hiper parametre optimizasyonu olarak bilinir.
Hiper parametre ayarlaması neden önemlidir?
Hiper parametreler doğrudan model yapısını, işlevini ve performansını kontrol eder. Hiper parametre ayarlaması, veri bilimcilerin en uygun sonuçlara ulaşması için model performansında hassas ayarlama yapmalarını sağlar. Bu süreç makine öğreniminin temel bir parçasıdır ve uygun hiper parametre değerini seçmek başarı için anahtardır.
Mesela modelin öğrenme oranını hiper parametre olarak kullandığınızı varsayalım. Değer çok yüksekse model, en uyguna yakın sonuçlarla çok çabuk bir şekilde birleşebilir. Oran çok düşükse eğitim çok uzun sürer ve sonuçlar birleşmeyebilir. İyi ve dengeli bir hiper parametre seçimi, doğru modeller ve mükemmel model performansıyla sonuçlanır.
Hiper parametre ayarlaması nasıl çalışır?
Daha önce belirtildiği üzere hiper parametre ayarlama manuel ya da otomatik olabilir. Manuel ayarlama yavaş ve sıkıcı olsa da hiper parametre ağırlıklarının modeli nasıl etkilediğini anlamanız işinizi kolaylaştıracaktır. Fakat çoğu bulut sunucusunda genelde bilinen hiper parametre öğrenme algoritmalarından birini kullanırsınız.
Hiper parametre ayarlama süreci tekrarlayan bir süreçtir ve bu süreçte farklı parametre ve değer kombinasyonlarını denersiniz. Genellikle birincil ölçüm olarak doğruluk gibi bir hedef değişken tanımlayarak başlar ve bu değişkeni en üst veya en alt düzeye çıkarmayı hedeflersiniz. Modelinizin tek bir veri kısmını merkez almaması için çapraz doğrulama tekniklerini kullanmanız iyi bir fikirdir.
Hiper parametre ayarlama teknikleri nelerdir?
Birçok hiper parametre ayarlaması algoritması vardır fakat en yaygın olarak kullanılan türler Bayesci optimizasyon, ağ araması ve rastgele aramadır.
Bayesci optimizasyon
Bayesci optimizasyon, güncel bilgiye dayanarak bir olayın meydana gelmesinin olasılığını tanımlayan Bayes’in teoremini esas alan bir tekniktir. Bu teknik hiper parametre optimizasyonuna uygulandığında algoritma belirli bir ölçümü optimize eden hiper parametre kümelerinden olasılıksal bir model inşa eder. En iyi hiper parametre kümesini tekrarlı olarak seçmek için regresyon analizini kullanır.
Ağ araması
Ağ aramasıyla hiper parametreler ve performans ölçümü listesi belirlersiniz ve algoritma en uygun kombinasyonu belirleyecek şekilde tüm olası kombinasyonları kullanır. Ağ araması başarılı sonuç verir fakat özellikle çok sayıda hiper parametreler söz konusu olduğunda nispeten sıkıcıdır ve işlem açısından yoğundur.
Rastgele arama
Rastgele arama, ağ araması gibi benzer bir prensibi esas alsa da her tekrarlamada, hiper parametre gruplarını rastgele olarak seçer. Daha az sayıdaki hiper parametreler ilk olarak model sonucunu belirlediğinde iyi sonuç verir.
Hiper parametrelerin örnekleri nelerdir?
Bazı hiper parametreler yaygın olarak kullanılsa da uygulama sırasında algoritmaların belirli hiper parametre kümeleri kullandığını göreceksiniz. Örneğin, Amazon SageMaker'ın görüntü sınıflandırma hiper parametrelerini nasıl kullandığını ve SageMaker'ın nasıl XGBoost algoritma hiper parametrelerini kullandığını okuyabilirsiniz.
Yaygın hiper parametrelerin bazı örneklerini burada bulabilirsiniz:
- Öğrenme oranı, algoritmanın tahminleri güncellediği orandır
- Öğrenme oranı bozulması, öğrenmeyi zamanla arttırmak için öğrenme oranındaki kademeli azalmadır
- Momentum, bir sonraki aşamanın bir önceki aşamaya göre olan yönüdür
- Sinir ağı düğümleri, her gizli katmandaki düğüm sayısı anlamına gelir
- Sinir ağı katmanları, sinir ağındaki gizli katman sayısı anlamına gelir
- Mini-batch boyutu, eğitim veri işlem boyutudur
- Dönemler, tüm eğitim veri kümesinin eğitim süresinde ağa gösterilme sayısıdır
- Eta, aşırı uyumu engellemek için adım boyutundaki daralmadır
AWS, hiper parametre ayarlamasına nasıl yardımcı olabilir?
Amazon Web Services'ta (AWS), otomatik model ayarlaması yapmanıza olanak sağlayan, tam olarak yönetilen bir makine öğrenimi (ML) platformu olan Amazon SageMaker'ı sunuyoruz. Amazon SageMaker Model Eğitimi, veri kümenizde birden fazla eğitim işi çalıştırarak ML modeliniz için en iyi sürümü bulur. Belirlediğiniz algoritmayı ve hiper parametre aralıklarını kullanır.
SageMaker, Bayesci arama teorisini esas alan ve en iyi modeli en kısa sürede bulmak için tasarlanmış hiper parametre ayarlamasının akıllı bir sürümünü sunar. Rastgele aramayla başlar fakat sonrasında ise modelin hiper parametre değerine göre nasıl davrandığını öğrenir. Daha fazla bilgi için hiper parametre ayarlamasının SageMaker’da nasıl çalıştığını okuyun.
SageMaker Otomatik Model Ayarlama yeni bir arama stratejisi olan Hyperband’i de destekler. Hyperband, bilgisayar görüşü problemlerine değinen derin sinir ağları gibi büyük ölçekli modeller için Bayesci aramadan üç kat daha hızlı bir şekilde en uygun hiper parametre kümesini bulabilir.
Ayrıca SageMaker ile otomatik model ayarlamasını nasıl gerçekleştirebileceğinizi okuyabilirsiniz. SageMaker hiper parametre ayarlama modülünü yerleşik SageMaker algoritmaları, özel algoritmalar ve SageMaker önceden oluşturulmuş container’lar ile kullanırsınız. Web sayfası, kapsamlı kendi kendine öğrenme eğitimlerini ve hiper parametre optimizasyonunu gerçekleştirmeyi öğrenmenize yardımcı olan egzersizleri içerir.
SageMaker’ı kullanmaya başlamak çok kolay; tek yapmanız gereken ücretsiz AWS hesabı oluşturmak. AWS Ücretsiz Kullanım ile ödeme yapmaya başlamadan önce SageMaker’ın iki aylık ücretsiz bir deneme sürümünü edinirsiniz.
