Content Safety i Foundry Control Plane

Innholdssikkerhet-modeller er spesielt opplært og testet på følgende språk: Engelsk, tysk, spansk, japansk, fransk, italiensk, portugisisk og kinesisk. Tjenesten kan også fungere på andre språk, men kvaliteten kan variere. I alle tilfeller bør du utføre din egen testing for å sikre at den fungerer for programmet ditt.

Egendefinerte kategorier fungerer for øyeblikket bra kun på engelsk. Du kan bruke andre språk med ditt eget datasett, men kvaliteten kan variere.

Enkelte funksjoner for Content Safety er bare tilgjengelige i enkelte områder. Se funksjonene som er tilgjengelige i hvert område.

Systemet overvåker på tvers av fire skadekategorier: hat, sex, vold og selvskade.

Ja, du kan justere alvorsgradterskler for hvert skadekategorifilter.

Ja, du kan bruke API-en for tilpassede kategorier for Content Safety til å lage dine egne innholdsfiltre. Ved å gi eksempler kan du lære opp filteret til å oppdage og blokkere uønsket innhold som er spesifikt for de definerte tilpassede kategoriene.

Ledetekstskjold forbedrer sikkerheten til generativ KI-systemer ved å forsvare mot ledetekstinjeksjonsangrep:

• Direkte ledetekstangrep (jailbreaks): Brukere prøver å manipulere KI-systemet og omgå sikkerhetsprotokoller ved å opprette ledetekster som prøver å endre systemregler eller lure modellen til å utføre begrensede handlinger.
• Indirekte angrep: Tredjepartsinnhold, for eksempel dokumenter eller e-postmeldinger, inneholder skjulte instruksjoner for å utnytte KI-systemet, for eksempel innebygde kommandoer som en KI kan kjøre uten å være klare over det.

Jordingsgjenkjenning identifiserer og korrigerer ujordede utdata fra generativ KI-modeller, slik at de er basert på levert kildemateriale. Dette bidrar til å forhindre generering av fabrikert eller usann informasjon. Ved hjelp av en egendefinert språkmodell evaluerer forankringsoppdaging krav mot kildedata og reduserer KI-hallusinasjoner.

Gjenkjenning av beskyttet materiale for tekst identifiserer og blokkerer kjent tekstinnhold, for eksempel sangtekster, artikler, oppskrifter og utvalgt nettinnhold, fra å vises i KI-genererte utdata.

Gjenkjenning av beskyttet materiale for kode oppdager og forhindrer kjent kode som utdata. Den ser etter treff i offentlig kildekode i GitHub-repositorier. I tillegg gjør kodereferansefunksjonen drevet av GitHub Copilot det mulig for utviklere å finne repositorier for å utforske og oppdage relevant kode.

Innholdsfiltreringssystemet i Azure OpenAI drives av Content Safety. Det er utformet for å oppdage og forhindre utdata fra skadelig innhold i både inndataledetekster og fullføringer av utdata. Det fungerer sammen med kjernemodeller, inkludert GPT og DALL-E.