This is the Trace Id: cd15d173ac0dcce09552cf960a7719c0
Zu Hauptinhalt springen
Azure

Was ist vertiefendes Lernen?

Erfahren Sie, was Reinforcement Learning ist und wie es KI-Systemen hilft, sich anzupassen und mit der Zeit zu verbessern.
Erste Schritte mit Azure

Ein Überblick über Verstärkungslernen

Reinforcement Learning ist ein Machine Learning-Verfahren, bei dem Systeme durch Interaktion mit ihrer Umgebung lernen, Feedback erhalten und ihr Verhalten anpassen, um die Entscheidungsfindung mit der Zeit zu verbessern.

Wesentliche Punkte

  • Reinforcement Learning trainiert Modelle durch Versuch und Irrtum und nutzt Belohnungen, um das Verhalten mit der Zeit zu formen.
  • Es eignet sich gut für Aufgaben mit einer Abfolge von Entscheidungen, etwa in der Robotik, beim Spielen oder bei der Personalisierung.
  • Reinforcement Learning mit menschlichem Feedback (RLHF) verbessert die Modellausrichtung, indem menschliche Eingaben statt nur automatisierter Signale verwendet werden.
  • RLHF hilft Systemen dabei, Antworten zu erzeugen, die menschliche Ziele, Werte oder Vorlieben besser widerspiegeln.
  • Beide Ansätze entwickeln sich weiter, da Machine Learning in KI-gestützten Tools und Systemen eine immer größere Rolle spielt.

Reinforcement Learning – Definition

Reinforcement Learning ist ein Ansatz für maschinelles Lernen, bei dem Systeme durch Erfahrung lernen. Ein Agent interagiert mit einer Umgebung, führt Aktionen aus, erhält Feedback in Form von Belohnungen oder Strafen und passt sein zukünftiges Verhalten an, um die Leistung zu verbessern. Mit der Zeit lernt der Agent, welche Entscheidungen zu besseren Ergebnissen führen. Dadurch ist diese Methode besonders wertvoll für dynamische oder sequenzielle Aufgaben, bei denen die optimale Lösung im Voraus nicht bekannt ist. Es wird in vielen Bereichen eingesetzt, von Robotik und Spielen bis hin zu Empfehlungssystemen und Inhaltsmoderation.

Die Grundlagen von Reinforcement Learning

Was ist Reinforcement Learning, und wie wirkt es sich auf KI-Systeme aus?

Maschinelles Lernen hilft Computern, mit der Zeit Muster aus Informationen zu lernen, ohne explizit programmiert zu werden. Es steckt hinter allem, von der E-Mail-Filterung bis zur Betrugserkennung und KI-gestützten Übersetzung. Innerhalb dieses breiten Bereichs ist Reinforcement Learning ein spezifischer Ansatz, der Systeme durch Erfahrung dazu befähigt, Entscheidungen zu treffen.

Eine andere Art von Lernschleife

Anders als überwachte Lernverfahren, die gekennzeichnete Daten verwenden, arbeitet Reinforcement Learning mit Versuch und Irrtum. Ein System – auch Agent genannt – interagiert mit seiner Umgebung, führt Aktionen aus und erhält Belohnungen oder Strafen. Mit der Zeit lernt es, welche Aktionen zu besseren Ergebnissen führen.

Die Feedbackschleife funktioniert so:
  • Der Agent führt eine Aktion aus.
  • Die Umgebung reagiert.
  • Der Agent erhält eine Belohnung oder eine Strafe.
  • Der Agent passt seine Strategie auf Grundlage dieses Feedbacks an.
Dieses Setup ist besonders nützlich, wenn die richtige Antwort im Voraus nicht bekannt ist, der Erfolg aber anhand von Ergebnissen gemessen werden kann. Es spiegelt die Art wider, wie Menschen lernen: ausprobieren, das Ergebnis beobachten und den nächsten Schritt anpassen.

Wie Reinforcement Learning intelligentere Systeme unterstützt
Reinforcement Learning eignet sich ideal für Systeme, die eine Abfolge von Entscheidungen treffen müssen, bei der jede Aktion die nächste beeinflusst. Es wird oft in dynamischen Umgebungen eingesetzt, in denen ein Modell nicht von Grund auf neu zu trainieren praktisch ist.

Beispiele für gängige Anwendungsfälle:
 
  • Robotik: Robotern das Gehen, Greifen oder Navigieren beibringen
  • Spielen: wettbewerbsfähige Strategien entwickeln
  • Industrielle Automatisierung: Steuerungssysteme abstimmen und anpassen
  • Inhaltsempfehlungen: Anpassung auf Grundlage des Nutzerverhaltens
  • Ressourcenoptimierung: Effizienz in Bereichen wie dem Betrieb von Rechenzentren verbessern

Bei all dem hilft Reinforcement Learning Systemen, sich durch Erfahrung zu verbessern – nicht nur durch Daten.

Ein Schritt nach vorn: Reinforcement Learning mit menschlichem Feedback

Klassisches Reinforcement Learning verwendet von Ingenieurinnen und Ingenieuren definierte Belohnungen. Doch manche Ziele – etwa eine klare Erklärung zu verfassen oder sich an soziale Normen anzupassen – lassen sich schwer messen. Hier kommt Reinforcement Learning mit menschlichem Feedback (RLHF) ins Spiel.

Was ist RLHF? Bei RLHF geben menschliche Prüferinnen und Prüfer über Bewertungen, Präferenzen oder Vergleiche Feedback. Dieses Feedback hilft dabei, Modelle auf Ergebnisse auszurichten, die menschliche Werte und Erwartungen besser widerspiegeln.

RLHF ist besonders wichtig geworden beim Training von Large Language Models (LLMs) und generativen Systemen. Es hilft dabei, sicherzustellen, dass Ergebnisse nicht nur funktional, sondern auch hilfreich, angemessen und auf die Absicht der Nutzerinnen und Nutzer abgestimmt sind.

Die Stärken und Kompromisse verstehen

Reinforcement Learning und RLHF bieten echte Vorteile, insbesondere in komplexen oder unvorhersehbaren Umgebungen. Aber damit kommen auch neue Herausforderungen. Ein klares Verständnis beider Ansätze hilft Teams, das richtige Werkzeug für die Aufgabe auszuwählen.

Vorteile
  • Anpassungsfähig in unvorhersehbaren Umgebungen
    Viele Systeme aus der Praxis – Roboter, Spiele, Logistik – arbeiten unter sich ändernden Bedingungen. Reinforcement Learning hilft diesen Systemen, sich anzupassen und mit der Zeit zu verbessern.
  • Sicherere, stärker kontrollierte Systeme
    Für sicherheitskritische Bereiche wie die Fertigung oder autonome Fahrzeuge ermöglicht Reinforcement Learning eine schrittweise Optimierung. In Verbindung mit menschlichem Feedback kann es sichereres, stabileres Verhalten fördern.
  • An menschlichen Zielen ausgerichtet
    RLHF trainiert Modelle darauf, das zu priorisieren, was Menschen wertschätzen – nicht nur das, was sich leicht messen lässt. Das führt zu aussagekräftigeren Ergebnissen in Bereichen wie Inhaltsmoderation, Chatbot-Unterhaltungen und Empfehlungssystemen.
Herausforderungen
  • Menschliches Feedback lässt sich nicht leicht skalieren
    Strukturiertes Feedback von Menschen zu sammeln, kostet Zeit. Wenn Modelle und Aufgaben komplexer werden, wird das schwieriger zu verwalten.
  • Hohe Kosten und Komplexität
    RLHF fügt dem Trainingsprozess zusätzliche Schritte hinzu. Teams muss ein Basismodell trainieren und es dann mit von Menschen erstellten Daten optimieren – dafür sind mehr Rechenleistung, Abstimmung und Evaluierung nötig.
  • Schwer zu stabilisieren und zu reproduzieren
    Da Reinforcement Learning von seiner Umgebung abhängt, können kleine Änderungen zu unvorhersehbaren Ergebnissen führen. Für eine konsistente Leistung sind Tests, Optimierung und sorgfältiges Design erforderlich.
Anwendungsfälle

Anwendungen in der realen Welt

Reinforcement Learning und RLHF werden bereits in Systemen eingesetzt, die sich anpassen, personalisieren oder nuanciert reagieren müssen.

Konversations-KI

Große Sprachmodelle – und zunehmend auch kleine Sprachmodelle (SLMs) – nutzen RLHF, um zu verfeinern, wie sie auf Benutzerinnen und Benutzer reagieren. Menschliche Überprüfungen helfen dabei, den Ton zu formen, Verzerrungen zu reduzieren und Modelle zu hilfreichen, relevanten Antworten zu führen.

Robotik

Roboter arbeiten oft unter unvorhersehbaren Bedingungen – auf Fabrikflächen, in Haushalten oder im Außeneinsatz. Reinforcement Learning hilft ihnen, Aktionen anhand von Ergebnissen anzupassen, zum Beispiel zu lernen, unregelmäßig geformte Objekte aufzuheben oder über unebenes Gelände zu gehen.

Inhaltsempfehlungen und Personalisierung

Diese Systeme entwickeln sich auf Basis des Nutzerverhaltens weiter. Reinforcement Learning ermöglicht es Inhaltsfeeds, Streamingplattformen und Lern-Apps, sich im Laufe der Zeit anzupassen und so die Relevanz zu verbessern. Menschliche Eingaben können auch dabei helfen, Empfehlungen in Richtung vielfältiger oder hochwertiger Inhalte zu lenken.

Inhaltsmoderation

In Bereichen, in denen Gemeinschaftsstandards oder sozialer Kontext wichtig sind, hilft RLHF Systemen, bessere Entscheidungen zu treffen. Menschliche Bewertungen und Rückmeldungen helfen Modellen zu lernen, was angemessen ist, auch in Fällen, die nicht eindeutig sind.

Spielen

Spiele werden oft als Trainingsumgebungen verwendet, weil sie strukturierte Regeln und messbare Ziele bieten. Reinforcement Learning hilft Agents dabei, durch wiederholtes Spielen und Iteration neue Strategien zu entwickeln, oft zunächst in Simulationen, bevor sie in reale Anwendungen übergehen.

Finanzmodellierung und Handel

Adaptive Modelle nutzen Reinforcement Learning, um Marktstrategien zu erkunden, Portfolios zu verwalten oder Risikoszenarien zu testen. Diese Systeme lernen aus synthetischen Umgebungen und historischen Daten, werden mit der Zeit besser und bleiben dabei an realen Kennzahlen ausgerichtet.

Sich für die KI-Zukunft wappnen

Maschinelles Lernen bildet die Grundlage vieler heutiger KI-Durchbrüche. Vom maschinellen Sehen über Sprachmodelle bis hin zur Robotik: Das Lernen aus Daten treibt moderne Innovationen voran. Reinforcement Learning – und insbesondere RLHF – spielen eine wachsende Rolle in Systemen, die aus Interaktionen lernen, nicht nur aus Anweisungen.

Intelligentere Systeme, basierend auf Erfahrung
Modelle mit Reinforcement Learning entwickeln sich durch Erfahrung weiter und eignen sich dadurch besser für unsichere oder sequentielle Aufgaben. Anstatt aus festen Daten zu lernen, passen sie sich in Echtzeit an – und verbessern so Ergebnisse über mehrere Schritte hinweg.

Da diese Systeme auf breitere Bereiche angewendet werden – einschließlich multimodaler KI, die Text, Bilder, Audio oder Video kombiniert –, ergänzt menschliches Feedback eine wichtige Ebene. Es hilft dabei, Entscheidungen zu steuern, die sich nicht leicht messen lassen – etwa ob ein Chatbot eine zufriedenstellende Antwort gegeben hat oder ob eine Empfehlung wirklich hilfreich war.

Die nächste Phase für RLHF
Da immer mehr Organisationen KI-gestützte Tools einführen, wird RLHF zu einem zentralen Bestandteil einer verantwortungsvollen Entwicklung – insbesondere in Anwendungen der natürlichen Sprachverarbeitung (NLP), in denen Ton, Kontext und Relevanz wichtig sind. Aber das lässt sich nicht einfach skalieren. Nützliche menschliche Eingaben zu erfassen, ist teuer und zeitaufwendig.

Um das zu lösen, untersuchen Forschende:
  • Effizientere Feedbackschleifen, einschließlich synthetischem Feedback, das menschliche Reaktionen nachahmt.
  • Bessere Auswertungstools, um zu messen, wie gut Modelle mit Zielen oder Werten übereinstimmen.
  • Bereichsübergreifende Anwendungen, die Reinforcement Learning mit anderen Formen des maschinellen Lernens kombinieren, für flexiblere Systeme.
Es gibt auch ein wachsendes Interesse daran, RLHF zu nutzen, um Transparenz und Verantwortlichkeit zu erhöhen. Durch die Verstärkung gewünschter Verhaltensweisen mit menschlichen Eingaben gewinnen Teams mehr Kontrolle darüber, wie sich KI-Systeme weiterentwickeln.

Ein sich entwickelndes Feld
Reinforcement Learning und RLHF sind keine Allzwecklösungen. Aber sie sind wirkungsvoll, wenn sie für das richtige Problem eingesetzt werden. Da KI-Systeme immer leistungsfähiger werden – besonders in Bereichen wie kognitiver KI, die menschliches Denken nachbilden soll –, wird der Bedarf an Methoden, die Anpassung, Aufsicht und Ausrichtung unterstützen, weiter wachsen.

Für Führungskräfte im Unternehmen wie auch für Entwicklerinnen und Entwickler kann das Verständnis dieser Techniken zu bodenständigeren, durchdachteren KI-Anwendungen führen. Reinforcement Learning ist nicht immer die Antwort – aber wenn es zum Problem passt, eröffnet es neue Wege, Systeme zu entwickeln, die in der realen Welt lernen.
Ressourcen

Weitere Informationen über Azure

Ein Mann, der lächelt und auf die Kamera blickt.
Azure-Ressourcen

Tour durch das Azure-Ressourcencenter

Greifen Sie auf Videos, Analystenberichte, Schulungen, Fallstudien, Codebeispiele und Lösungsarchitekturen zu.
Mehr erfahren
Training und Zertifizierung

Azure-Lernpfade erkunden

Entwickeln Sie Cloud-Kenntnisse, um Wirkung zu erzielen – von persönlichem Wachstum bis zu stärkeren Geschäftsergebnissen.
Mehr erfahren
Zwei Personen, die lächeln, während sie auf eine Registerkarte schauen.
Veranstaltungen und Webinare

Entdecken Sie anstehende Veranstaltungen und Schulungen

Entdecken Sie neue Innovationen, erweitern Sie Ihre Fähigkeiten und vernetzen Sie sich mit der Community – virtuell oder vor Ort.
Mehr erfahren
FAQ

 Häufig gestellte Fragen

  • KI-Systeme lernen in der Regel mit einer von drei Methoden:

    Beaufsichtigtes Lernen:     Lernt aus gelabelten Daten. Wird für Aufgaben wie Objekterkennung oder Übersetzung verwendet.

    Unbeaufsichtigtes Lernen:     Findet Muster ohne gelabelte Ergebnisse. Wird für Clusteranalyse oder Anomalieerkennung verwendet.

    Reinforcement Learning:     Lernt durch Interaktion und Feedback. Wird für sequentielle Entscheidungsfindung verwendet.
  • Reinforcement Learning hilft Modellen, Entscheidungen durch Versuch und Irrtum zu treffen. Es ist dafür ausgelegt, Systeme zu trainieren, die durch die Interaktion mit ihrer Umgebung lernen und ihr Verhalten im Laufe der Zeit anhand von Belohnungen oder Strafen anpassen. Das macht es für Aufgaben nützlich, bei denen Ergebnisse von einer Reihe von Aktionen und nicht von einer einzelnen Vorhersage abhängen.
  • Reinforcement Learning aus menschlichem Feedback (RLHF) ist eine Methode, die das Modellverhalten mithilfe menschlicher Eingaben verbessert. RLHF ist eine Möglichkeit, Modelle mithilfe von Präferenzen, Bewertungen oder Vergleichen von Personen zu trainieren, statt sich nur auf automatisierte Belohnungen zu stützen. Das hilft dabei, Systeme auf Ergebnisse auszurichten, die besser zu menschlichen Zielen oder Werten passen – besonders in Bereichen wie Konversation, Inhaltserstellung oder Moderation.
  • Reinforcement Learning konzentriert sich auf Entscheidungen. Dabei wird ein Modell darauf trainiert, in einer Umgebung Aktionen auszuführen und aus Feedback zu lernen. In einigen Systemen wird Deep Learning innerhalb des bestärkenden Lernens eingesetzt, um dem Modell dabei zu helfen, komplexe Eingaben wie Bilder oder Text zu verarbeiten. Deep Learning nutzt mehrschichtige neuronale Netze, um aus großen Datenmengen zu lernen, und wird oft für Aufgaben wie Bilderkennung, Sprachverarbeitung oder Textgenerierung verwendet.
  • Retrieval-augmented Generation (RAG) und Reinforcement Learning aus menschlichem Feedback (RLHF) sind zwei unterschiedliche Möglichkeiten, KI-generierte Antworten zu verbessern. RAG hilft einem Modell, beim Generieren von Ausgaben auf externe Informationen zuzugreifen – etwa auf Dokumente oder Datenbanken –, damit Antworten genauer und aktueller sind. RLHF verbessert das Verhalten eines Modells, indem es mit menschlichen Präferenzen oder Feedback trainiert wird. So kann es Antworten erzeugen, die hilfreicher, passender oder besser auf die Nutzerabsicht abgestimmt sind. RAG unterstützt die faktische Genauigkeit; RLHF unterstützt Qualität und Ausrichtung.