This is the Trace Id: 6ee21e1864a397b42e3ccb3f68ac6eb2
Ana içeriğe atla
Azure

Pekiştirmeye dayalı öğrenme nedir?

Pekiştirmeye dayalı öğrenmenin ne olduğunu ve yapay zeka sistemlerinin zaman içinde uyum ve iyileştirmeye nasıl yardımcı olduğunu keşfedin.
Azure’ı kullanmaya başlayın

Pekiştirmeye dayalı öğrenmeye genel bakış

Pekiştirmeye dayalı öğrenme, sistemlerin çevreleriyle etkileşerek, geri bildirim alarak ve davranışlarını ayarlayarak zaman içinde karar verme becerilerini geliştirdiği bir makine öğrenmesi yöntemidir.

Önemli çıkarımlar

  • Pekiştirmeye dayalı öğrenme, deneme yanılma yoluyla modelleri eğitir ve davranışı zaman içinde şekillendirmek için ödülleri kullanır.
  • Robotik, oyun oynama veya kişiselleştirme gibi bir dizi karar içeren görevler için oldukça uygundur.
  • İnsan geri bildirimiyle pekiştirmeye dayalı öğrenme (RLHF), yalnızca otomatik sinyalleri kullanmak yerine insan girdisinden yararlanarak model uyumunu iyileştirir.
  • RLHF sistemlerin insan hedeflerini, değerlerini veya tercihlerini daha iyi yansıtan yanıtlar üretmelerine yardımcı olur.
  • Makine öğrenimi, yapay zeka destekli araçlar ve sistemlerde daha büyük bir rol oynadıkça her iki yaklaşım da gelişmeye devam eder.

Pekiştirmeye dayalı öğrenme tanımlandı

Pekiştirmeye dayalı öğrenme, sistemlerin deneyim yoluyla öğrendiği bir makine öğrenme yaklaşımıdır. Bir aracı bir çevreyle etkileşime girer, eylemler gerçekleştirir, ödül veya ceza biçiminde geri bildirim alır ve performansı geliştirmek için gelecekteki davranışını ayarlar. Zaman içinde aracı, hangi kararların daha iyi sonuçlara yol açtığını öğrenir. Bu da bu yöntemi, en uygun çözümün önceden bilinmediği dinamik veya sıralı görevler için özellikle değerli kılar. Robotikten oyun oynamaya, öneri sistemlerinden içerik denetlemeye kadar uzanan alanlarda kullanılır.

Pekiştirmeye dayalı öğrenmenin temelleri

Pekiştirmeye dayalı öğrenme nedir ve yapay zeka sistemlerini nasıl etkiler?

Makine öğrenimi, bilgisayarların zaman içinde bilgiden desenler öğrenmesine ve bunun için açıkça programlanmamasına yardımcı olur. E-posta filtrelemeden sahtekarlık tespitine ve yapay zeka destekli çeviriye kadar pek çok alanda kullanılır. Bu geniş alan içinde Pekiştirmeye dayalı öğrenme, sistemlere deneyim yoluyla karar vermeyi öğreten belirli bir yaklaşımdır.

Farklı bir öğrenme döngüsü türü

Etiketli veriler kullanan denetimli öğrenmenin aksine, pekiştirmeye dayalı öğrenme deneme yanılma yoluyla çalışır. Aracı olarak adlandırılan bir sistem çevresiyle etkileşime girer, eylemler gerçekleştirir ve ödül ya da ceza alır. Zaman içinde, hangi eylemlerin daha iyi sonuçlar getirdiğini öğrenir.

Geri bildirim döngüsü şöyle çalışır:
  • Aracı eylem gerçekleştirebilir.
  • Ortam yanıt verir.
  • Aracı bir ödül ya da cezaalır.
  • Aracı, bu geri bildirime göre stratejisini ayarlar.
Doğru yanıt önceden bilinmediğinde, ancak başarı sonuçlarla ölçülebildiğinde bu kurulum özellikle kullanışlıdır. İnsanların öğrenme biçimini yansıtır. İnsanlar dener, sonucu gözlemler ve bir sonraki adımı buna göre ayarlar.

Pekiştirmeye dayalı öğrenme daha akıllı sistemleri nasıl destekler
Pekiştirmeye dayalı öğrenme, her eylemin sonrakini etkilediği bir dizi karar vermesi gereken sistemler için idealdir. Genellikle dinamik ortamlarda kullanılır. Bu ortamlarda bir modeli baştan eğitmek pratik değildir.

Yaygın uygulamalar şunlardır:
 
  • Robotik: robotlara yürümenin, kavramanın veya gezinmenin öğretilmesi
  • Oyun oynama: rekabetçi stratejilerin geliştirilmesi
  • Endüstriyel otomasyon: denetim sistemlerinin ayarlanması ve uyarlanması
  • İçerik önerileri: kullanıcı davranışına göre ayarlama yapılması
  • Kaynak optimizasyonu: veri merkezi işlemleri gibi alanlarda verimliliğin artırılması

Tüm bu alanlarda pekiştirmeye dayalı öğrenme, sistemlerin yalnızca verilerle değil, deneyim yoluyla da gelişmesine yardımcı olur.

Bir adım ileri: İnsan geri bildirimiyle pekiştirmeye dayalı öğrenme

Geleneksel pekiştirmeye dayalı öğrenme, mühendisler tarafından tanımlanan ödülleri kullanır. Ancak açık bir açıklama yazmak veya toplumsal normlarla uyum sağlamak gibi bazı hedefleri ölçmek zordur. İnsan geri bildirimiyle pekiştirmeye dayalı öğrenme (RLHF) burada devreye girer.

RLHF nedir? RLHF ile, insan değerlendirmeciler puanlamalar, tercihler veya karşılaştırmalar aracılığıyla giriş sağlar. Bu geri bildirim, modellerin insan değerlerini ve beklentilerini daha iyi yansıtan sonuçlara yönelmesine yardımcı olur.

RLHF, özellikle büyük dil modellerinin (LLM'ler) ve üretken sistemlerin eğitiminde önemli hale gelmiştir. Sonuçların yalnızca işlevsel olmasını değil, aynı zamanda yararlı, uygun ve kullanıcı amacına uygun olmasını sağlamaya yardımcı olur.

Güçlü yönleri ve ödünleri anlamak

Pekiştirmeye dayalı öğrenme ve RLHF, özellikle karmaşık veya öngörülemeyen ortamlarda gerçek avantajlar sunar. Ancak yeni zorluklar da ortaya çıkarabilirler. Her ikisini de net biçimde anlamak, ekiplerin görev için doğru aracı seçmesine yardımcı olur.

Avantajlar
  • Öngörülemeyen ayarlarda uyarlanabilir
    Robotlar, oyunlar ve lojistik gibi birçok gerçek dünya sistemi değişen koşullarda çalışır. Pekiştirmeye dayalı öğrenme, bu sistemlerin zaman içinde ayarlanmasına ve geliştirilmesine yardımcı olur.
  • Daha güvenli, daha kontrollü sistemler
    Üretim veya otonom araçlar gibi güvenlik açısından kritik alanlarda pekiştirmeye dayalı öğrenme, kademeli iyileştirmeyi mümkün kılar. İnsan geri bildirimiyle birlikte kullanıldığında, daha güvenli ve daha kararlı davranışı teşvik edebilir.
  • İnsan hedefleriyle uyumlu
    RLHF, modelleri yalnızca ölçmesi kolay olanı değil, insanların değer verdiği şeyleri önceliklendirecek şekilde eğitir. Bu da içerik denetleme, sohbet botu konuşmaları ve öneri altyapıları gibi alanlarda daha anlamlı sonuçlar sağlar.
Zorluklar
  • İnsan girdisi kolayca ölçeklendirilemez
    Yapılandırılmış insan geri bildirimi toplamak zaman alır. Modeller ve görevler daha karmaşık hale geldikçe bunu yönetmek daha zor olur.
  • Yüksek maliyet ve karmaşıklık
    RLHF, eğitim sürecine ek adımlar ekler. Ekiplerin bir temel modeli eğitip daha fazla işlem, koordinasyon ve değerlendirme gerektiren insan verileriyle hassas ayarlamalar yapmaları gerekir.
  • Kararlı hale getirmek ve yeniden üretmek zordur
    Pekiştirmeye dayalı öğrenme ortamına bağlı olduğu için küçük değişiklikler öngörülemeyen sonuçlar ortaya çıkarabilir. Tutarlı performans elde etmek için test, ayarlama ve dikkatli tasarım gerekir.
Kullanım örnekleri

Gerçek dünya uygulamaları

Pekiştirmeye dayalı öğrenme ve RLHF, uyum sağlaması, kişiselleştirilmesi veya ayrıntılı yanıt vermesi gereken sistemlerde zaten kullanılır.

Konuşmaya dayalı yapay zeka

Büyük dil modelleri ve giderek daha fazla küçük dil modelleri (SLM'ler), kullanıcılara nasıl yanıt verdiklerini iyileştirmek için RLHF kullanır. İnsan değerlendirmeciler tonu şekillendirmeye, önyargıyı azaltmaya ve modelleri yardımcı, ilgili yanıtlar vermeye yönlendirmeye yardımcı olur.

Robotik

Robotlar çoğu zaman öngörülemeyen koşullarda, fabrika zeminlerinde, evlerde veya sahada çalışır. Pekiştirmeye dayalı öğrenme, düzensiz şekilli nesneleri kaldırmayı veya engebeli arazide yürümeyi öğrenmek gibi, eylemleri sonuçlara göre ayarlamalarına yardımcı olur.

İçerik önerme ve kişiselleştirme

Bu sistemler, kullanıcı davranışına göre gelişir. Pekiştirmeye dayalı öğrenme, içerik akışlarının, akış platformlarının ve öğrenme uygulamalarının zaman içinde uyum sağlamasına ve ilgi düzeyini artırmasına olanak tanır. İnsan girdisi, önerileri çeşitli veya yüksek kaliteli içeriğe yönlendirmeye de yardımcı olabilir.

İçerik denetleme

Topluluk standartlarının veya sosyal bağlamın önemli olduğu alanlarda RLHF, sistemlerin daha iyi kararlar vermesine yardımcı olur. İnsan puanlamaları ve geri bildirimi, modellerin açık olmayan durumlarda bile neyin uygun olduğunu öğrenmesine yardımcı olur.

Oyun oynama

Oyunlar, yapılandırılmış kurallar ve ölçülebilir hedefler sundukları için çoğu zaman eğitim ortamı olarak kullanılır. Pekiştirmeye dayalı öğrenme, aracıların tekrarlanan oyun ve yineleme yoluyla yeni stratejiler geliştirmesine yardımcı olur. Bu süreç, çoğu zaman gerçek dünya uygulamalarına geçmeden önce simülasyonlarda gerçekleşir.

Finansal modelleme ve ticaret

Uyarlanabilir modeller, piyasa stratejilerini keşfetmek, portföyleri yönetmek veya risk senaryolarını test etmek için pekiştirmeye dayalı öğrenmeyi kullanır. Bu sistemler sentetik ortamlardan ve geçmiş verilerden öğrenir. Gerçek dünya metriklerine dayanırken zaman içinde gelişirler.

Yapay zekada bir sonraki aşamaya hazırlanma

Makine öğrenimi, günümüzün birçok AI atılımının temelini oluşturur. Görüntü işlemeden dil modellerine ve robot bilimine kadar, verilerden öğrenme modern yeniliği yönlendirir. Pekiştirmeye dayalı öğrenme ve özellikle RLHF, yalnızca talimattan değil etkileşimden de öğrenen sistemlerde giderek daha önemli bir rol oynar.

Deneyime dayalı, daha akıllı sistemler
Pekiştirmeye dayalı öğrenme modelleri deneyimle gelişir. Bu da onları belirsiz veya sıralı görevler için daha uygun hale getirir. Sabit verilerden öğrenmek yerine, gerçek zamanlı olarak uyum sağlarlar ve birden çok adım boyunca sonuçları iyileştirirler.

Bu sistemler, metin, görüntü, ses veya videoyu birleştiren çok modlu AI dahil olmak üzere daha geniş alanlarda uygulandıkça insan geri bildirimi önemli bir katman ekler. Bu, bir sohbet botunun tatmin edici bir yanıt verip vermediği veya bir önerinin gerçekten yararlı olup olmadığı gibi kolayca ölçülemeyen kararları yönlendirmeye yardımcı olur.

RLHF için bir sonraki aşama
Daha fazla kuruluş AI destekli araçları benimsedikçe RLHF, sorumlu geliştirme için merkezi hale geliyor. Bu durum, özellikle tonun, bağlamın ve ilgi düzeyinin önemli olduğu doğal dil işleme (NLP) uygulamalarında geçerlidir. Ancak ölçeklendirmek kolay değildir. Yararlı insan girdisi toplamak pahalı ve zaman alıcıdır.

Bunu ele almak için araştırmacılar şunları inceliyor:
  • Daha verimli geri besleme döngüleri, insan yanıtlarını taklit eden sentetik geri bildirimler dahil.
  • Modellerin hedefler veya değerlerle ne kadar uyumlu olduğunu ölçmek için daha iyi değerlendirme araçları.
  • Daha esnek sistemler için pekiştirmeye dayalı öğrenmeyi diğer makine öğrenimi türleriyle birleştiren çapraz alan uygulamaları.
RLHF'yi saydamlığı ve hesap verebilirliği artırmak için kullanmaya yönelik ilgi de artıyor. İnsan girdisiyle istenen davranışı pekiştirerek ekipler, AI sistemlerinin nasıl geliştiği üzerinde daha fazla denetim kazanır.

Gelişen bir alan
Pekiştirmeye dayalı öğrenme ve RLHF, herkese uyan tek çözüm değildir. Ancak doğru sorun için kullanıldığında güçlüdürler. AI sistemleri daha yetenekli hale geldikçe ve insan akıl yürütmesini taklit etmeyi amaçlayan bilişsel AI gibi alanlarda giderek daha önemli oldukça, uyarlanabilirliği, gözetimi ve hizalamayı destekleyen yöntemlere duyulan ihtiyaç daha da artacaktır.

Hem iş liderleri hem de geliştiriciler için bu tekniklerin nasıl çalıştığını anlamak, AI'ın daha temelli ve düşünceli biçimde uygulanmasına yol açabilir. Pekiştirmeye dayalı öğrenme her zaman doğru yanıt değildir ama sorunla uyumlu olduğunda, gerçek dünyada öğrenen sistemler kurmak için yeni yollar açar.
Kaynaklar

Azure hakkında daha fazla bilgi edinin

Kameraya bakarken gülümseyen bir erkek.
Azure kaynakları

Azure kaynak merkezini gezin

Videolara, analist raporlarına, eğitimlere, örnek olay incelemelerine, kod örneklerine ve çözüm mimarilerine erişin.
Daha fazla bilgi edinin
Eğitim ve sertifika

Azure öğrenme yollarını keşfedin

Kişisel gelişimden daha güçlü iş sonuçlarına etki etmek için bulut becerileri oluşturun.
Daha fazla bilgi edinin
Bir sekmeye gülümseyerek bakan iki kişi.
Etkinlikler ve web seminerleri

Yaklaşan etkinlikleri ve eğitimleri keşfedin

Yeni yenilikleri keşfedin, becerilerinizi geliştirin ve toplulukla sanal ya da yüz yüze bağlantı kurun.
Daha fazla bilgi edinin
SSS

 Sık sorulan sorular

  • AI sistemleri genellikle üç yöntemden biriyle öğrenir:

    Denetimli öğrenme:     Etiketli verilerden öğrenir. Nesne tanıma veya çeviri gibi görevler için kullanılır.

    Denetimsiz öğrenme:     Etiketlenmiş sonuçlar olmadan kalıpları bulur. Kümeleme veya anomali algılama için kullanılır.

    Pekiştirmeye dayalı öğrenme:     Etkileşim ve geri bildirim yoluyla öğrenir. Sıralı karar verme için kullanılır.
  • Pekiştirmeye dayalı öğrenme, modellerin deneme yanılma yoluyla karar vermesine yardımcı olur. Sistemi, çevresiyle etkileşime girerek öğrenmesi ve zaman içinde davranışını ödüllere veya cezalara göre ayarlaması için eğitmek üzere tasarlanmıştır. Bu nedenle, sonuçların tek bir tahmine değil, bir dizi eyleme bağlı olduğu görevler için kullanışlıdır.
  • İnsan geri bildirimiyle pekiştirmeye dayalı öğrenme (RLHF), model davranışını insan girdisi kullanarak iyileştiren bir yöntemdir. RLHF, modelleri yalnızca otomatik ödüllere güvenmek yerine kişilerin tercihleri, puanlamaları veya karşılaştırmalarıyla eğitmenin bir yoludur. Bu, sistemlerin konuşma, içerik oluşturma veya denetleme gibi alanlarda insan hedeflerine ya da değerlerine daha iyi uyan sonuçlara yönelmesine yardımcı olur.
  • Pekiştirmeye dayalı öğrenme, karar alma odaklıdır. Bir ortamda eylem gerçekleştirmesi ve geri bildirimlerden öğrenmesi için bir model eğitiyor. Bazı sistemlerde, derin öğrenme pekiştirmeye dayalı öğrenme içinde kullanılır ve modelin görüntüler veya metin gibi karmaşık girdileri işlemesine yardımcı olur. Derin öğrenme, büyük miktarda veriden öğrenmek için katmanlı sinir ağları kullanır ve çoğu zaman görüntü tanıma, ses işleme veya metin üretme gibi görevlerde uygulanır.
  • Alımla artırılmış üretim (RAG) ve insan geri bildirimi ile pekiştirmeye dayalı öğrenme (RLHF), yapay zeka tarafından oluşturulan yanıtları iyileştirmenin iki farklı yoludur. RAG, modelin çıktı oluştururken belgeler veya veritabanları gibi dış bilgilere erişmesine yardımcı olur, böylece yanıtlar daha doğru ve güncel olur. RLHF, bir modeli insan tercihleri veya geri bildirimi ile eğiterek davranışını iyileştirir. Böylece daha yararlı, daha uygun veya kullanıcı amacına daha uyumlu yanıtlar üretmesine yardımcı olur. RAG, gerçeklere dayalı doğruluğu destekler. RLHF, kalite ve uyumu destekler.