This is the Trace Id: fb5efb5e4b9c0a6741dcac3bfe41dad0
Przejdź do głównej zawartości
Azure

Co to jest uczenie przez wzmacnianie?

Odkryj, czym jest uczenie przez wzmacnianie i jak pomaga ono systemom sztucznej inteligencji dostosowywać się i ulepszać w czasie.
Wprowadzenie do platformy Azure

Omówienie uczenia przez wzmacnianie

Uczenie przez wzmacnianie to metoda uczenia maszynowego, w której systemy uczą się przez interakcję ze środowiskiem, otrzymywanie opinii i dostosowywanie zachowania w celu usprawnienia procesu podejmowania decyzji w czasie.

Kluczowe wnioski

  • Uczenie przez wzmacnianie trenuje modele metodą prób i błędów, stosując nagrody do kształtowania zachowania w czasie.
  • Doskonale nadaje się do zadań, które obejmują sekwencje decyzji, takie jak robotyka, rozgrywka lub personalizacja.
  • Uczenie przez wzmacnianie na podstawie opinii człowieka (RLHF) poprawia wyrównanie modelu przy użyciu danych wejściowych wprowadzanych przez człowieka, a nie tylko automatycznych sygnałów.
  • Podejście RLHF pomaga systemom tworzyć odpowiedzi, które lepiej odzwierciedlają ludzkie cele, wartości lub preferencje.
  • Oba podejścia wciąż ewoluują, ponieważ uczenie maszynowe odgrywa większą rolę w narzędziach i systemach obsługiwanych przez sztuczną inteligencję.

Definicja uczenia przez wzmacnianie

Uczenie przez wzmacnianie to podejście do uczenia maszynowego, w którym systemy uczą się za pomocą doświadczenia. Agent wchodzi w interakcje ze środowiskiem, podejmuje działania, otrzymuje opinie w formie nagród lub kar oraz dostosowuje przyszłe zachowanie w celu zwiększenia wydajności. Z czasem agent uczy się, które decyzje prowadzą do lepszych wyników, dzięki czemu ta metoda jest szczególnie przydatna w przypadku zadań dynamicznych lub sekwencyjnych, w których optymalne rozwiązanie nie jest znane z wyprzedzeniem. Jest ona używana w różnych domenach — od robotyki i grania w gry po systemy rekomendacji i moderowanie zawartości.

Podstawowe informacje o uczeniu przez wzmacnianie

Co to jest uczenie przez wzmacnianie i jak wpływa na systemy sztucznej inteligencji?

Uczenie maszynowe pomaga komputerom uczyć się wzorców na podstawie informacji gromadzonych w miarę upływu czasu, bez konieczności wyraźnego programowania. Obsługuje wszystko — od filtrowania wiadomości e-mail przez wykrywanie oszustw po tłumaczenie obsługiwane przez sztuczną inteligencję. W tej szerokiej dziedzinie uczenie przez wzmacnianie jest konkretnym podejściem, które uczy systemy podejmowania decyzji za pomocą doświadczenia.

Inny rodzaj pętli uczenia

W przeciwieństwie do uczenia nadzorowanego, które używa danych oznaczonych etykietami, uczenie przez wzmacnianie działa metodą prób i błędów. System — nazywany agentem — wchodzi w interakcje ze swoim środowiskiem, podejmuje działania i otrzymuje nagrody lub karę. Z czasem uczy się, które działania prowadzą do lepszych wyników.

Pętla opinii działa w następujący sposób:
  • Agent wykonuje działanie.
  • Środowisko odpowiada.
  • Agent otrzymuje nagrodę lub karę.
  • Agent dostosowuje swoją strategię na podstawie tej opinii.
Ta konfiguracja jest szczególnie przydatna, gdy poprawna odpowiedź nie jest znana z wyprzedzeniem, ale sukces może być mierzony przez wyniki. Odzwierciedla to sposób, w jaki ludzie się uczą, czyli próbują, obserwują wynik i dostosowują następny ruch.

Jak uczenie przez wzmacnianie obsługuje inteligentniejsze systemy
Uczenie przez wzmacnianie jest idealne dla systemów, które muszą podejmować sekwencję decyzji, w których każde działanie ma wpływ na następne. Jest on często używany w środowiskach dynamicznych, w których ponowne szkolenie modelu od podstaw nie jest praktyczne.

Typowe zastosowania:
 
  • Robotyka: uczenie robotów chodu, chwytania lub nawigowania
  • Granie w gry: opracowywanie strategii konkurencyjnych
  • Automatyzacja przemysłowa: dostrajanie i dostosowywanie systemów kontroli
  • Zalecenia dotyczące zawartości: dostosowywanie na podstawie zachowania użytkownika
  • Optymalizacja zasobów: zwiększanie wydajności w obszarach takich jak operacje centrum danych

W każdym z tych elementów uczenie przez wzmacnianie pomaga systemom ulepszać środowisko, a nie tylko dane.

Krok naprzód: uczenie przez wzmacnianie na podstawie opinii człowieka

Tradycyjne uczenie przez wzmacnianie korzysta z nagród zdefiniowanych przez inżynierów. Jednak niektóre cele — takie jak napisanie jasnego wyjaśnienia lub dostosowanie do norm społecznych — są trudne do oszacowania. W tym miejscu pojawia się uczenie przez wzmacnianie na podstawie opinii człowieka (RLHF).

Co to jest RLHF? W ramach podejścia RLHF recenzenci udostępniają dane wejściowe za pośrednictwem ocen, preferencji lub porównań. Ta opinia pomaga kierować modele do wyników, które lepiej odzwierciedlają ludzkie wartości i oczekiwania.

Podejście RLHF stało się szczególnie ważne podczas szkolenia dużych modeli językowych (LLM) i systemów generatywnych. Pomaga zapewnić, że wyniki są nie tylko funkcjonalne, ale także pomocne, odpowiednie i dostosowane do intencji użytkownika.

Zrozumienie mocnych stron i kompromisów

Uczenie przez wzmacnianie i RLHF oferują rzeczywiste zalety, szczególnie w złożonych lub nieprzewidywalnych środowiskach. Ale wprowadzają one również nowe wyzwania. Jasne zrozumienie obu tych elementów pomaga zespołom w doborze odpowiedniego narzędzia do określonego zadania.

Korzyści
  • Możliwość dostosowania się do nieprzewidywalnych warunków
    Wiele rzeczywistych systemów — roboty, gry, logistyka — działa w zmieniających się warunkach. Uczenie przez wzmacnianie pomaga tym systemom dostosowywać się i ulepszać w czasie.
  • Bezpieczniejsze, bardziej kontrolowane systemy
    W przypadku obszarów o krytycznym znaczeniu dla bezpieczeństwa, takich jak produkcja lub pojazdy autonomiczne, uczenie przez wzmacnianie umożliwia stopniowe doskonalenie. W połączeniu z opiniami człowieka może to promować bezpieczniejsze i bardziej stabilne zachowanie.
  • Dostosowane do celów ludzkich
    RLHF szkoli modele tak, by priorytetowo traktowały to, co jest ważne dla ludzi — a nie tylko to, co łatwo zmierzyć. Prowadzi to do bardziej miarodajnych wyników w takich obszarach, jak moderacja treści, rozmowy z chatbotami oraz systemy rekomendacji.
Wyzwania
  • Opinii człowieka nie da się łatwo skalować
    Zbieranie strukturalnych opinii ludzkich wymaga czasu. W miarę jak modele i zadania stają się coraz bardziej złożone, zarządzanie staje się trudniejsze.
  • Wysokie koszty i złożoność
    Podejście RLHF dodaje dodatkowe kroki do procesu szkolenia. Zespoły muszą wyszkolić model podstawowy, a następnie dostroić go przy użyciu danych ludzkich, co wymaga większej mocy obliczeniowej, koordynacji i oceny.
  • Trudne do stabilizacji i odtworzenia
    Ponieważ uczenie przez wzmacnianie zależy od jego środowiska, niewielkie zmiany mogą spowodować nieprzewidywalne wyniki. Uzyskanie spójnej wydajności wymaga testowania, dostrajania i starannego projektowania.
Przypadki użycia

Zastosowania w świecie rzeczywistym

Uczenie przez wzmacnianie i RLHF są już używane w systemach, które muszą dostosowywać się, personalizować lub reagować w sposób zróżnicowany.

Konwersacyjna sztuczna inteligencja

Duże modele językowe — i coraz częściej małe modele językowe (SLM) — używają podejścia RLHF, aby udoskonalać sposób reagowania na użytkowników. Recenzenci pomagają kształtować ton, zmniejszać stronniczość i kierować modele w kierunku przydatnych, istotnych odpowiedzi.

Robotyka

Roboty często działają w nieprzewidywalnych warunkach — na fabrykach, w domu lub w terenie. Uczenie przez wzmacnianie pomaga im dostosowywać działania na podstawie wyników, na przykład ucząc się podnosić przedmioty o nieregularnych kształtach lub poruszać się po nierównym terenie.

Rekomendowanie treści i personalizacja

Te systemy ewoluują w zależności od zachowania użytkownika. Uczenie przez wzmacnianie umożliwia serwisom z treściami, platformom streamingowym i aplikacjom edukacyjnym dostosowywać się z biegiem czasu, zwiększając trafność treści. Opinie człowieka mogą również pomóc w przekazywaniu rekomendacji w kierunku zawartości zróżnicowanej lub o wysokiej jakości.

Moderowanie zawartości

W obszarach, w których standardy społeczności lub kontekst społeczny mają znaczenie, podejście RLHF pomaga systemom podejmować lepsze decyzje. Oceny i opinie ludzi pomagają modelom nauczyć się, co jest odpowiednie, nawet w przypadkach, które nie są jednoznaczne.

Granie w grę

Gry są często używane jako środowiska szkoleniowe, ponieważ oferują ustrukturyzowane reguły i mierzalne cele. Uczenie przez wzmacnianie pomaga agentom opracowywać nowe strategie za pomocą powtarzanej gry i iteracji, często w symulacjach przed przejściem do rzeczywistych aplikacji.

Modelowanie finansowe i handel

Modele adaptacyjne używają uczenia przez wzmacnianie do eksplorowania strategii rynkowych, zarządzania portfelami lub testowania scenariuszy ryzyka. Te systemy uczą się na podstawie środowisk syntetycznych i danych historycznych, z czasem stając się coraz lepsze, a jednocześnie opierając się na metrykach z rzeczywistego świata.

Przygotowanie do następnego kroku w zakresie AI

Uczenie maszynowe stanowi podstawę wielu współczesnych przełomowych osiągnięć w dziedzinie sztucznej inteligencji. Od przetwarzania obrazów przez modele językowe po robotykę — uczenie się na podstawie danych napędza nowoczesne innowacje. Uczenie przez wzmacnianie — a w szczególności RLHF — odgrywa coraz większą rolę w systemach, które uczą się na podstawie interakcji, a nie tylko instrukcji.

Inteligentniejsze systemy oparte na doświadczeniu
Modele uczenia przez wzmacnianie rozwijają się w oparciu o doświadczenie, dzięki czemu lepiej sprawdzają się w zadaniach o niepewnym wyniku lub zadaniach sekwencyjnych. Zamiast uczyć się na podstawie stałych danych, dostosowują się w czasie rzeczywistym, co poprawia wyniki w dalszych krokach.

W miarę jak systemy te znajdują zastosowanie w większym spektrum domen — w tym w multimodalnej sztucznej inteligencji łączącej tekst, obrazy, dźwięk lub wideo — opinie człowieka dodają istotną warstwę. Pomagają one w podejmowaniu decyzji, których nie da się łatwo zmierzyć — na przykład czy czatbot udzielił zadowalającej odpowiedzi, czy też rekomendacja była rzeczywiście pomocna.

Następna faza dla podejścia RLHF
W miarę jak coraz więcej organizacji wdraża narzędzia wspomagane przez sztuczną inteligencję, narzędzie RLHF staje się centralnym elementem odpowiedzialnego programowania — szczególnie w aplikacjach przetwarzania języka naturalnego (NLP), w których ton, kontekst i istotność mają znaczenie. Ale trudno to skalować. Zbieranie użytecznych opinii od ludzi jest drogie i czasochłonne.

Aby rozwiązać ten problem, badacze sprawdzają następujące rozwiązania:
  • Bardziej wydajne pętle opinii, w tym syntetyczne opinie, które naśladują odpowiedzi ludzkie.
  • Lepsze narzędzia do oceny do mierzenia stopnie zgodności modeli z celami lub wartościami.
  • Aplikacje międzydomenowe łączące uczenie przez wzmacnianie z innymi formami uczenia maszynowego w celu uzyskania bardziej elastycznych systemów.
Rośnie również zainteresowanie korzystaniem z podejścia RLHF w celu zwiększenia przejrzystości i odpowiedzialności. Wzmacniając pożądane zachowanie za pomocą ludzkich danych wejściowych, zespoły zyskują większą kontrolę nad rozwojem systemów sztucznej inteligencji.

Obszar rozwoju
Uczenie przez wzmacnianie i podejście RLHF nie są rozwiązaniem uniwersalnym. Są jednak skuteczne, gdy są stosowane w odpowiednim przypadku. W miarę jak systemy sztucznej inteligencji stają się bardziej wydajne — a ich znaczenie rośnie w obszarach takich jak poznawcza sztuczna inteligencja, mająca na celu naśladowanie ludzkiego rozumowania — zapotrzebowanie na metody wspierające adaptację, nadzór i dopasowanie będzie się tylko zwiększać.

Zarówno dla liderów biznesowych, jak i deweloperów zrozumienie, jak te techniki działają, może prowadzić do bardziej przemyślanych i opartych na solidnych podstawach zastosowań sztucznej inteligencji. Uczenie przez wzmacnianie nie zawsze jest odpowiedzią, ale gdy pasuje do problemu, otwiera nowe sposoby tworzenia systemów, które uczą się w świecie rzeczywistym.
Zasoby

Dowiedz się więcej o platformie Azure

Uśmiechnięty mężczyzna patrzący na aparat.
Zasoby platformy Azure

Odwiedź centrum zasobów platformy Azure

Uzyskaj dostęp do filmów wideo, raportów analityków, szkoleń, analiz przypadków, przykładów kodu i architektur rozwiązań.
Dowiedz się więcej
Szkolenia i certyfikaty

Eksploruj ścieżki szkoleniowe na platformie Azure

Rozwijaj umiejętności związane z chmurą, aby zwiększać wpływ — od osobistego rozwoju do lepszych wyników biznesowych.
Dowiedz się więcej
Dwie osoby uśmiechają się patrząc na kartę.
Wydarzenia i seminaria internetowe

Odkryj nadchodzące wydarzenia i szkolenia

Poznaj nowe innowacje, rozwijaj umiejętności i komunikuj się ze społecznością — wirtualnie lub osobiście.
Dowiedz się więcej
Często zadawane pytania

 Często zadawane pytania

  • Systemy sztucznej inteligencji zwykle uczą się przy użyciu jednej z trzech metod:

    Uczenie nadzorowane:     uczy się na podstawie danych oznaczonych etykietami. Służy do wykonywania zadań, takich jak rozpoznawanie obiektów lub tłumaczenie.

    Uczenie nienadzorowane:     znajduje wzorce bez wyników oznaczonych etykietami. Służy do klastrowania lub wykrywania anomalii.

    Uczenie przez wzmacnianie:     uczy się dzięki interakcji i opiniom. Służy do sekwencyjnego podejmowania decyzji.
  • Uczenie przez wzmacnianie pomaga modelom podejmować decyzje metodą prób i błędów. Jest ono przeznaczone do szkolenia systemów, które uczą się przez interakcję ze środowiskiem i dostosowywanie ich zachowania na podstawie nagród lub kar w miarę upływu czasu. Sprawia to, że jest ono przydatne w zadaniach, w których wyniki zależą od serii działań, a nie pojedynczej prognozy.
  • Uczenie przez wzmacnianie na podstawie opinii człowieka (RLHF) to metoda, która poprawia zachowanie modelu przy użyciu danych wejściowych wprowadzanych przez człowieka. RLHF to sposób szkolenia modeli przy użyciu preferencji, ocen lub porównań uzyskanych od ludzi, zamiast polegać tylko na automatycznych nagrodach. Pomaga to nakierowywać systemy na wyniki, które lepiej odpowiadają ludzkim celom lub wartościom — szczególnie w obszarach takich jak konwersacja, generowanie zawartości lub moderowanie.
  • Uczenie przez wzmacnianie koncentruje się na podejmowaniu decyzji. Szkoli model do podejmowania działań w środowisku i uczenia się na podstawie opinii. W niektórych systemach w ramach uczenia przez wzmacnianie stosowane jest uczenie głębokie, aby ułatwić modelowi przetwarzanie złożonych danych wejściowych, takich jak obrazy lub tekst. Uczenie głębokie używa warstwowych sieci neuronowych do uczenia się na podstawie dużych ilości danych i jest często stosowane do zadań, takich jak rozpoznawanie obrazów, przetwarzanie mowy lub generowanie tekstu.
  • Generowanie wspomagane pobieraniem (RAG) i uczenie przez wzmacnianie na podstawie opinii człowieka (RLHF) to dwa różne sposoby ulepszania odpowiedzi generowanych przez sztuczną inteligencję. RAG pomaga modelowi uzyskiwać dostęp do informacji zewnętrznych, takich jak dokumenty lub bazy danych, podczas generowania wyników, dzięki czemu odpowiedzi są dokładniejsze i aktualne. RLHF poprawia zachowanie modelu przez szkolenie go na podstawie ludzkich preferencji lub opinii, pomagając mu w tworzeniu odpowiedzi, które są bardziej przydatne, odpowiednie lub dostosowane do intencji użytkownika. RAG dba o zgodność z faktami; RLHF dba o jakość i spójność.