Content Safety i Foundry Control Plane

Modeller för innehållssäkerhet har tränats och testats specifikt på följande språk: engelska, tyska, spanska, japanska, franska, italienska, portugisiska och kinesiska. Tjänsten kan också fungera på andra språk, men kvaliteten kan variera. I samtliga fall bör du göra din egen testning för att säkerställa att den fungerar för ditt program.

Anpassade kategorier fungerar för närvarande endast bra på engelska. Du kan använda andra språk med din egen datauppsättning, men kvaliteten kan variera.

Vissa Content Safety-funktioner är bara tillgängliga i vissa regioner. Se de funktioner som är tillgängliga i varje region.

Systemet övervakar fyra skadekategorier: hat, sexuellt innehåll, våld och självskadebeteende.

Ja, du kan justera tröskelvärden för allvarlighetsgrad för varje skadekategorifilter.

Ja, du kan använd Content Safety-API:et för anpassade kategorier för att skapa dina egna innehållsfilter. Genom att tillhandahålla exempel kan du träna filtret att identifiera och blockera oönskat innehåll som är specifikt för dina definierade anpassade kategorier.

Prompt shields förbättrar säkerheten för generativa AI-system genom att skydda mot promptinmatningsattacker:

• Direkta promptattacker (jailbreaks): Användare försöker manipulera AI-systemet och kringgå säkerhetsprotokoll genom att skapa uppmaningar som försöker ändra systemregler eller lura modellen att utföra begränsade åtgärder.
• Indirekta attacker: Innehåll från tredje part, t.ex. dokument eller e-postmeddelanden, innehåller dolda instruktioner för att utnyttja AI-systemet, till exempel inbäddade kommandon som AI inte kan köra.

Grundavkänning identifierar och korrigerar ogrundade utdata från generativa AI-modeller, vilket säkerställer att de baseras på tillhandahållet källmaterial. Detta bidrar till att förhindra generering av fabricerad eller falsk information. Med hjälp av en anpassad språkmodell utvärderar grundidentifieringen påståenden mot källdata och minskar AI-hallucinationer.

Identifiering av skyddat material för text identifierar och blockerar känt textinnehåll, till exempel texter, artiklar, recept och valt webbinnehåll, från att visas i AI-genererade utdata.

Identifiering av skyddat material för kod identifierar och förhindrar utdata från känd kod. Den söker efter matchningar mot offentlig källkod i GitHub-lagringsplatser. Dessutom gör kodreferensfunktionen som drivs av GitHub Copilot att utvecklare kan hitta lagringsplatser för att utforska och identifiera relevant kod.

Innehållsfiltreringssystemet i Azure OpenAI drivs av Content Safety. Den är utformad för att identifiera och förhindra utmatning av skadligt innehåll i både inmatningspromptar och utmatade slutföranden. Det fungerar tillsammans med kärnmodeller, som GPT och DALL-E.