Azure KI Inhaltssicherheit

Inhaltssicherheitsmodelle wurden speziell in den folgenden Sprachen trainiert und getestet: Englisch, Deutsch, Spanisch, Japanisch, Französisch, Italienisch, Portugiesisch und Chinesisch. Der Dienst kann auch in anderen Sprachen funktionieren, aber die Qualität kann variieren. In allen Fällen sollten Sie eigene Tests durchführen, um sicherzustellen, dass es für Ihre Anwendung funktioniert.

Benutzerdefinierte Kategorien funktionieren derzeit nur in Englisch gut. Sie können andere Sprachen mit Ihrem eigenen Dataset verwenden, aber die Qualität kann variieren.

Einige Azure KI Inhaltssicherheit-Features sind nur in bestimmten Regionen verfügbar. Sehen Sie sich die in den einzelnen Regionen verfügbaren Features an.

Das System überwacht vier Schadenskategorien: Hass, sexuelle Gewalt, Gewalt und selbstverletzende Handlungen.

Ja, Sie können Schweregradschwellenwerte für jeden Schadenskategoriefilter anpassen.

Ja, Sie können die API für benutzerdefinierte Kategorien in Azure KI Inhaltssicherheit verwenden, um eigene Inhaltsfilter zu erstellen. Durch die Bereitstellung von Beispielen können Sie den Filter trainieren, dass unerwünschte Inhalte erkannt und blockiert werden, die für Ihre bestimmten benutzerdefinierten Kategorien spezifisch sind.

Eingabeaufforderungsschutzmaßnahmen erhöhen die Sicherheit von generativen KI-Systemen, indem sie sich gegen Angriffe durch Einschleusung von Eingabeaufforderungen schützen:

 

• Direkte Eingabeaufforderungsangriffe (Jailbreaks): Benutzer versuchen, das KI-System zu manipulieren und Sicherheitsprotokolle zu umgehen, indem sie Eingabeaufforderungen erstellen, die versuchen, Systemregeln zu ändern oder das Modell dazu zu verleiten, eingeschränkte Aktionen auszuführen.
• Indirekte Angriffe: Inhalte von Drittanbietern, z. B. Dokumente oder E-Mails, enthalten ausgeblendete Anweisungen zum Ausnutzen des KI-Systems, z. B. eingebettete Befehle, die eine KI unwissentlich ausführen kann.

Die Groundedness-Erkennung identifiziert und korrigiert die nicht geerdeten Ausgaben von generativen KI-Modellen und stellt sicher, dass sie auf bereitgestellten Quellmaterialien basieren. Dies trägt dazu bei, die Generierung von fabrizierten oder falschen Informationen zu verhindern. Mithilfe eines benutzerdefinierten Sprachmodells wertet die Groundedness-Erkennung Ansprüche anhand von Quelldaten aus und verringert KI-Halluzinationen.

Die Erkennung geschützter Materialien für Text identifiziert bekannte Textinhalte, z. B. Texte, Artikel, Rezepte und ausgewählte Webinhalte, und verhindert, dass sie in KI-generierten Ausgaben angezeigt werden.

Die Erkennung geschützter Materialien für Code erkennt und verhindert die Ausgabe von bekanntem Code. Sie sucht nach Übereinstimmungen mit öffentlichem Quellcode in GitHub-Repositorys. Darüber hinaus ermöglicht die von GitHub Copilot unterstützte Codereferenzfunktion Entwicklern, Repositorys zum Durchsuchen und Ermitteln von relevantem Code zu ermitteln.

Das Inhaltsfiltersystem innerhalb des Azure OpenAI-Diensts wird von Azure KI Inhaltssicherheit unterstützt. Es wurde entwickelt, um die Ausgabe schädlicher Inhalte sowohl in Eingabeaufforderungen als auch in Ausgabeabschlüssen zu erkennen und zu verhindern. Es funktioniert zusammen mit Kernmodellen, einschließlich GPT und DALL-E.