This is the Trace Id: 84a239a1372daec9184a1da5a824dcd4
Přeskočit na hlavní obsah
Azure

Co je zpětnovazební učení?

Zjistěte, co je zpětnovazební učení a jak pomáhá systémům AI adaptovat se a v průběhu času se zlepšovat.
Začít s Azure

Přehled zpětnovazebního učení

Zpětnovazební učení je metoda strojového učení, ve které se systémy učí interakcí s prostředím, přijímáním zpětné vazby a úpravou chování za účelem zlepšení rozhodování v průběhu času.

Hlavní poznatky

  • Zpětnovazební učení trénuje modely metodou pokusů a omylů, přičemž pomocí odměn postupně formuje jejich chování.
  • Je vhodné pro úkoly, které zahrnují posloupnosti rozhodnutí, jako je robotika, hraní her nebo přizpůsobení.
  • Zpětnovazební učení na základě lidské zpětné vazby (RLHF) zlepšuje sladění modelu pomocí lidského vstupu místo automatických signálů.
  • RLHF pomáhá systémům vytvářet odpovědi, které lépe odpovídají lidským cílům, hodnotám nebo preferencím.
  • Oba přístupy se stále vyvíjejí, protože strojové učení hraje větší roli v nástrojích a systémech s asistencí AI.

Definice zpětnovazebního učení

Zpětnovazební učení je přístup strojového učení, při kterém se systémy učí prostřednictvím zkušeností. Agent komunikuje s prostředím, provádí akce, dostává zpětnou vazbu ve formě odměn nebo penalizací a upravuje budoucí chování za účelem zlepšení výkonu. V průběhu času agent zjistí, která rozhodnutí vedou k lepším výsledkům, a proto je tato metoda zvlášť užitečná pro dynamické nebo sekvenční úlohy, kde není optimální řešení předem známé. Používá se napříč doménami, od robotiky a hraní her až po systémy doporučení a moderování obsahu.

Základy zpětnovazebního učení

Co je zpětnovazební učení a jak ovlivňuje systémy AI?

Strojové učení pomáhá počítačům učit se vzory z informací v průběhu času, aniž by byly explicitně naprogramovány. Zajišťuje vše od filtrování e-mailů až po odhalování podvodů až po překlad s asistencí AI. V rámci tohoto rozsáhlého oboru je zpětnovazební učení specifickým přístupem, který učí systémy rozhodovat se prostřednictvím zkušeností.

Jiný druh smyčky učení

Na rozdíl od učení pod dohledem, které používá označená data, zpětnovazební učení funguje na principu pokusů a omylů. Systém, označovaný jako agent, komunikuje se svým prostředím, provádí akce a dostává odměny nebo penalizace. Postupem času zjišťuje, které akce vedou k lepším výsledkům.

Smyčka zpětné vazby funguje takto:
  • Agent provede akci.
  • Prostředí reaguje.
  • Agent dostane odměnu nebo penalizaci.
  • Agent na základě této zpětné vazby upravuje svou strategii.
Toto nastavení je zvlášť užitečné, když není předem známá správná odpověď, ale úspěch se dá měřit podle výsledků. Odráží to způsob, jakým se učí lidé, a to tím, že něco zkoušejí, sledují výsledek a podle toho přizpůsobují svůj další krok.

Jak zpětnovazební učení podporuje inteligentnější systémy
Zpětnovazební učení je ideální pro systémy, které potřebují dělat sled rozhodnutí, kdy každá akce ovlivňuje tu následující. Často se používá v dynamických prostředích, kde opětovné trénování modelu od začátku není praktické.

Mezi obvyklé případy použití patří:
 
  • Robotika: učení robotů chodit, uchopovat předměty nebo se orientovat
  • Hraní her: vývoj soutěžních strategií
  • Průmyslová automatizace: ladění a přizpůsobování řídicích systémů
  • Doporučování obsahu: úpravy na základě chování uživatelů
  • Optimalizace zdrojů: zvyšování efektivity v oblastech, jako je provoz datových center

Ve všech těchto případech zpětnovazební učení pomáhá systémům zlepšovat se díky zkušenostem – nejen datům.

Krok vpřed: Zpětnovazební učení z lidské zpětné vazby

Tradiční zpětnovazební učení využívá odměny definované inženýry. Některé cíle – jako například sepsání srozumitelného vysvětlení nebo přizpůsobení se společenským normám – se však těžko kvantifikují. To je místo, kde přichází zpětnovazební učení z lidské zpětné vazby (RLHF).

Co je RLHF? S RLHF poskytují recenzenti vstupy prostřednictvím hodnocení, preferencí nebo porovnání. Tato zpětná vazba pomáhá vést modely k výsledkům, které lépe odrážejí lidské hodnoty a očekávání.

RLHF se stalo obzvláště důležité při trénování velkých jazykových modelů (LLM) a generativních systémů. Pomáhá zajistit, aby výsledky nebyly jen funkční, ale také užitečné, vhodné a v souladu se záměrem uživatele.

Pochopení silných stránek a kompromisů

Zpětnovazební učení a RLHF nabízejí skutečné výhody, zejména ve složitých nebo nepředvídatelných prostředích. Zároveň ale zavádějí nové výzvy. Jasné porozumění oběma možnostem pomáhá týmům zvolit správný nástroj pro daný úkol.

Výhody
  • Přizpůsobitelné v nepředvídatelných nastaveních
    Mnoho reálných systémů – robotů, her, logistiky – funguje v měnících se podmínkách. Zpětnovazební učení pomáhá těmto systémům v průběhu času se přizpůsobovat a zlepšovat.
  • Bezpečnější a více řízené systémy
    V oblastech, kde je bezpečnost klíčová, jako je výroba nebo autonomní vozidla, umožňuje zpětnovazební učení postupné vylepšování. Ve spojení se zpětnou vazbou od lidí může podporovat bezpečnější a stabilnější chování.
  • V souladu s lidskými cíli
    RLHF trénuje modely tak, aby určovali prioritu toho, co lidé hodnotí – nejen to, co se dá snadno měřit. To vede k smysluplnějším výsledkům v oblastech, jako je moderování obsahu, konverzace s chatboty a doporučovací systémy.
Problémy
  • Lidské vstupy se nedají snadno škálovat
    Shromažďování strukturované lidské zpětné vazby chvíli trvá. S rostoucí složitostí modelů a úkolů se to stává stále obtížnější zvládnout.
  • Vysoké náklady a složitost
    RLHF přidává do procesu trénování další kroky. Týmy musí vytrénovat základní model a pak ho vyladit pomocí lidských dat, což vyžaduje větší výpočetní výkon, koordinaci a vyhodnocení.
  • Lze obtížně stabilizovat a reprodukovat
    Vzhledem k tomu, že zpětnovazební učení závisí na prostředí, mohou malé změny vést k nepředvídatelným výsledkům. Zajištění konzistentního výkonu vyžaduje testování, ladění a pečlivý návrh.
Případy použití

Využití v praxi

Zpětnovazební učení a RLHF se již využívají v systémech, které se musí adaptovat, personalizovat nebo reagovat s citem pro nuance.

Konverzační umělá inteligence

Velké jazykové modely – a stále častěji také malé jazykové modely (SLM) – používají RLHF k vylepšení způsobu, jakým reagují na uživatele. Lidští recenzenti pomáhají utvářet tón, omezovat zaujatost a nasměrovat modely k užitečným a relevantním odpovědím.

Robotika

Roboti často pracují v nepředvídatelných podmínkách – v továrnách, v domácnostech nebo v terénu. Zpětnovazební učení jim pomáhá upravovat akce na základě výsledků, například se naučí zvedat předměty nepravidelného tvaru nebo chodit po nerovném terénu.

Doporučení a přizpůsobení obsahu

Tyto systémy se vyvíjejí na základě chování uživatelů. Zpětnovazební učení umožňuje adaptaci informačních kanálů obsahu, platforem streamování a výukových aplikací v průběhu času, což zlepšuje relevanci. Lidský vstup může také pomoci při řízení doporučení k různorodému nebo vysoce kvalitnímu obsahu.

Moderování obsahu

V oblastech, kde hrají důležitou roli společenské normy či sociální kontext, pomáhá RLHF systémům dělat lepší rozhodnutí. Hodnocení a zpětná vazba od uživatelů pomáhají modelům naučit se, co je vhodné, a to i v případech, které nejsou zcela jednoznačné.

Hraní her

Hry se často využívají jako výukové prostředí, protože nabízejí jasně stanovená pravidla a měřitelné cíle. Zpětnovazební učení pomáhá agentům vyvíjet nové strategie prostřednictvím opakovaného hraní a iterace, často v simulacích před přechodem do reálných aplikací.

Finanční modelování a obchodování

Adaptivní modely využívají zpětnovazební učení k prozkoumávání tržních strategií, správě portfolií nebo testování rizikových scénářů. Tyto systémy se učí ze syntetických prostředí a historických dat a v průběhu času se vylepšují a přitom zůstávají založené na reálných metrikách.

Příprava na budoucnost AI

Strojové učení je základem mnoha současných průlomů v oblasti AI. Učení z dat vede k moderním inovacím, od počítačového zpracování obrazu až po jazykové modely a robotiku. Zpětnovazební učení, zejména RLHF, hraje rostoucí roli v systémech, které se učí na základě interakce, nikoli pouze na základě pokynů.

Chytřejší systémy, postavené na zkušenostech
Modely zpětnovazebního učení se vyvíjejí na základě zkušeností, a proto se lépe hodí pro nejisté nebo sekvenční úlohy. Místo učení z pevných dat se přizpůsobují v reálném čase a zlepšují výsledky ve více krocích.

Vzhledem k tomu, že se tyto systémy uplatňují v širších oblastech, včetně multimodální AI, která kombinuje text, obrázky, zvuk nebo video, představuje zpětná vazba od lidí zásadní prvek. Pomáhá usměrňovat rozhodnutí, která se nedají snadno měřit – například zda chatbot poskytl uspokojivou odpověď, nebo zda bylo doporučení skutečně užitečné.

Další fáze RLHF
S tím, jak více organizací používá nástroje s asistencí AI, se RLHF stává základem zodpovědného vývoje, zejména v aplikacích pro zpracování přirozeného jazyka (NLP), kde je důležitý tón, kontext a relevance. Škálování ale není snadné. Shromažďování užitečných lidských vstupů je nákladné a časově náročné.

Aby to vyřešili, výzkumníci zkoumají:
  • Efektivnější smyčky zpětné vazby, včetně syntetické zpětné vazby, která napodobuje lidské reakce.
  • Lepší nástroje pro hodnocení k měření toho, jak dobře modely odpovídají cílům nebo hodnotám.
  • Aplikace napříč doménami, které kombinují zpětnovazební učení s dalšími formami strojového učení pro flexibilnější systémy.
Také roste zájem o využití RLHF ke zvýšení transparentnosti a odpovědnosti. Posilováním požadovaného chování pomocí lidského vstupu získávají týmy větší kontrolu nad tím, jak se systémy AI vyvíjejí.

Vyvíjející se obor
Zpětnovazební učení a RLHF nejsou univerzální řešení. Jsou ale výkonné, když se používají pro správný problém. S tím, jak se systémy AI stávají stále důležitějšími v oblastech, jako je kognitivní AI, která se snaží napodobovat lidské uvažování, bude potřeba metod, které podporují adaptaci, dohled a sladění, pouze růst.

Ať už jde o vedoucí firem nebo o vývojáře, pochopení toho, jak tyto techniky fungují, může vést k promyšlenějšímu a uvážlivějšímu využití AI. Zpětnovazební učení není vždy tím správným řešením – ale když je pro daný problém vhodné, otevírá nové možnosti, jak vytvářet systémy, které se učí v reálném světě.
Zdroje informací

Zjistěte o Azure více

Muž, který se usmívá a dívá se do kamery.
Zdroje informací o Azure

Projděte si centrum zdrojů informací o Azure

Získejte přístup k videím, analytickým sestavám, školením, případovým studiím, ukázkám kódu a architekturám řešení.
Další informace
Školení a certifikace

Prozkoumejte studijní programy Azure

Budujte cloudové dovednosti a zvyšujte dopad – od osobního rozvoje až po lepší obchodní výsledky.
Další informace
Dva lidé, kteří se usmívají a dívají se na tablet.
Události a webináře

Objevte nadcházející události a školení

Prozkoumejte nové inovace, rozvíjejte své dovednosti a spojte se s komunitou virtuálně nebo osobně.
Další informace
Časté otázky

 Časté otázky

  • Systémy AI se obvykle učí pomocí jedné ze tří metod:

    Učení pod dohledem:     Učí se z dat označených popisky. Používá se pro úkoly, jako je rozpoznávání objektů nebo překlad.

    Učení bez dohledu:     Hledá vzory bez označených výsledků. Používá se pro clustering nebo detekci anomálií.

    Zpětnovazební učení:     Učí se prostřednictvím interakce a zpětné vazby. Používá se k sekvenčnímu rozhodování.
  • Zpětnovazební učení pomáhá modelům přijímat rozhodnutí metodou pokusů a omylů. Je navržené tak, aby trénovalo systémy, které se učí interakcí se svým prostředím a v průběhu času upravují své chování na základě odměn či penalizací. To je užitečné pro úkoly, kde výsledky závisejí na řadě akcí, nikoli na jedné predikci.
  • Zpětnovazební učení z lidské zpětné vazby (RLHF) je metoda, která zlepšuje chování modelu pomocí lidského vstupu. RLHF je způsob, jak trénovat modely pomocí preferencí, hodnocení nebo porovnání od lidí, a nespoléhat se pouze na automatizované odměny. To pomáhá vést systémy k výsledkům, které lépe odpovídají lidským cílům nebo hodnotám, zejména v oblastech, jako jsou konverzace, generování obsahu nebo moderování.
  • Zpětnovazební učení se zaměřuje na rozhodování. Trénuje model, aby prováděl akce v prostředí a učil se ze zpětné vazby. V některých systémech se v rámci zpětnovazebního učení používá hluboké učení, aby model lépe zpracovával složité vstupy, jako jsou obrázky nebo text. Hluboké učení využívá vrstvené neuronové sítě k učení se z velkých objemů dat a často se uplatňuje při úkolech, jako je rozpoznávání obrázků, zpracování řeči nebo generování textu.
  • RAG (Retrieval-Augmented Generation) a zpětnovazební učení z lidské zpětné vazby (RLHF) jsou dva různé způsoby, jak zlepšit odpovědi generované umělou inteligencí. RAG pomáhá modelu přistupovat k externím informacím – jako jsou dokumenty nebo databáze – při generování výstupu, díky čemuž jsou odpovědi přesnější a aktuálnější. RLHF zlepšuje chování modelu tím, že ho trénuje na základě lidských preferencí nebo zpětné vazby, čímž mu pomáhá generovat odpovědi, které jsou užitečnější, vhodnější nebo lépe odpovídají záměru uživatele. RAG klade důraz na faktickou správnost; RLHF klade důraz na kvalitu a soulad.