Content Safety v Foundry Control Plane

Modely bezpečnosti obsahu byly speciálně vytrénovány a otestovány v následujících jazycích: angličtina, němčina, španělština, japonština, francouzština, italština, portugalština a čínština. Služba může fungovat i v jiných jazycích, ale kvalita se může lišit. V každém případě byste měli provést vlastní testování, abyste zajistili, že řešení funguje pro vaši aplikaci.

Vlastní kategorie momentálně správně fungují jen v angličtině. Společně s vlastní datovou sadou můžete použít i jiné jazyky. Kvalita se však může lišit.

Některé funkce služby Content Safety jsou dostupné jen v určitých oblastech. Podívejte se na funkce dostupné v jednotlivých oblastech.

Systém monitoruje čtyři kategorie škodlivosti: nenávist, sex násilí a sebepoškozování.

Ano, u každého filtru kategorie škodlivosti můžete upravit prahové hodnoty závažnosti.

Ano, vlastní filtry obsahu můžete vytvořit pomocí rozhraní API vlastních kategorií služby Content Safety. Zadáním příkladů můžete filtr vytrénovat tak, aby zjišťoval a blokoval nežádoucí obsah podle definovaných vlastních kategorií.

Ochrana výzev zvyšuje zabezpečení systémů s generativní AI tím, že chrání před útoky prostřednictvím injektáže instrukcí (výzev):

• Přímé útoky prostřednictvím výzev (jailbreaky): Uživatelé se pokoušejí manipulovat se systémem AI a obejít bezpečnostní protokoly vytvořením výzev, které se snaží změnit systémová pravidla nebo podvodně navést model na provedení zakázaných akcí.
• Nepřímé útoky: Obsah třetích stran (například dokumenty nebo e-maily) zahrnuje skryté pokyny ke zneužití systému AI, jako jsou vložené (embedované) příkazy, které může umělá inteligence nevědomky spustit.

Detekce podloženosti identifikuje a opravuje nepodložené výstupy modelů generativní AI a zajišťuje, že vycházejí z poskytnutých zdrojových materiálů. Tímto způsobem se znemožňuje generování vymyšlených nebo nepravdivých informací. Detekce podloženosti pomocí vlastního jazykového modelu vyhodnocuje výroky na základě zdrojových dat a minimalizuje halucinace AI.

Detekce chráněného materiálu pro text ve výstupech generovaných umělou inteligencí identifikuje a blokuje zobrazování známého textového obsahu, jako jsou texty písní, články, recepty a vybraný webový obsah.

Detekce chráněného materiálu pro kód zjišťuje a znemožňuje výstup známého kódu. Kontroluje shody s veřejným zdrojovým kódem v úložištích na GitHubu. Funkce odkazování na kód využívající GitHub Copilot navíc umožňuje vývojářům vyhledávat úložiště za účelem zkoumání a zjišťování relevantního kódu.

Systém filtrování obsahu ve službě Azure OpenAI využívá službu Content Safety. Je navržený tak, aby zjišťoval a znemožňoval výstup škodlivého obsahu ve vstupních výzvách i při dokončování výstupu. Funguje společně se základními modely, včetně GPT a DALL-E.