Content Safety in Foundry Control Plane

Content Safety-modellen zijn specifiek getraind en getest in de volgende talen: Engels, Duits, Spaans, Japans, Frans, Italiaans, Portugees en Chinees. De service kan ook in andere talen werken, maar de kwaliteit kan variëren. In alle gevallen moet je je eigen tests uitvoeren om ervoor te zorgen dat het werkt voor jouw toepassing.

Aangepaste categorieën werken momenteel alleen goed in het Engels. Je kunt andere talen gebruiken met je eigen gegevensset, maar de kwaliteit kan variëren.

Sommige Content Safety-functies zijn alleen beschikbaar in bepaalde regio's. Bekijk de functies die beschikbaar zijn in elke regio.

Het systeem controleert op vier categorieën van schade: haat, seksueel misbruik, geweld en zelfbeschadiging.

Ja, je kunt de drempelwaarden voor ernst aanpassen voor elk filter voor schadelijke categorieën.

Ja, je kunt de Content Safety API voor aangepaste categorieën gebruiken om je eigen inhoudsfilters te maken. Door voorbeelden op te geven, kun je het filter trainen om ongewenste inhoud te detecteren en te blokkeren die specifiek is voor jouw gedefinieerde aangepaste categorieën.

Prompt shields verbeteren de beveiliging van generatieve AI-systemen door bescherming tegen promptinjectieaanvallen:

• Directe promptaanvallen (jailbreaks): Gebruikers proberen het AI-systeem te manipuleren en veiligheidsprotocollen te omzeilen door prompts te maken die proberen systeemregels te wijzigen of het model te misleiden om beperkte acties uit te voeren.
• Indirecte aanvallen: Inhoud van derden, zoals documenten of e-mailberichten, bevat verborgen instructies voor misbruik van het AI-systeem, zoals ingesloten opdrachten die een AI onbewust kan uitvoeren.

Met Groundedness Detection worden de ongegronde uitkomsten van generatieve AI-modellen geïdentificeerd en gecorrigeerd, zodat ze gebaseerd zijn op de verstrekte bronmaterialen. Dit helpt bij het voorkomen van het genereren van gefabriceerde of onjuiste informatie. Met behulp van een aangepast taalmodel evalueert groundedness detection claims ten opzichte van brongegevens en worden AI-hallucinaties verminderd.

Detectie van beveiligd materiaal voor tekst identificeert en blokkeert bekende tekstinhoud, zoals songteksten, artikelen, recepten en geselecteerde webinhoud, en wordt niet weergegeven in door AI gegenereerde uitvoer.

Detectie van beveiligd materiaal voor code detecteert en voorkomt de uitvoer van bekende code. Er wordt gecontroleerd op overeenkomsten met openbare broncode in GitHub-opslagplaatsen. Bovendien stelt de codeverwijzingsfunctie van GitHub Copilot ontwikkelaars in staat om opslagplaatsen te vinden waar ze relevante code kunnen verkennen en ontdekken.

Het inhoudsfiltersysteem in de Azure OpenAI-service wordt mogelijk gemaakt met Azure AI Content Veiligheid. Het is ontworpen om de uitvoer van schadelijke inhoud in zowel invoerprompts als uitvoervoltooiingen te detecteren en te voorkomen. Het werkt samen met kernmodellen, waaronder GPT en DALL-E.