Foundry Control Plane 中的内容安全

内容安全模型已针对以下语言进行专门的训练和测试：英语、德语、西班牙语、日语、法语、意大利语、葡萄牙语和中文。该服务也可以使用其他语言，但质量可能会有所不同。在所有情况下，都应该自行对其进行测试，以确保它适用于你自己的应用程序。

自定义类别目前仅适用于英语。可以将其他语言与你自己的数据集结合使用，但质量可能会有所不同。

部分内容安全功能仅在某些地区可用。 查看每个地区可用的功能。

该系统监控四种伤害类别：仇恨、性、暴力和自残。

是的，可以调整每个危害类别筛选器的严重程度阈值。

是的，可以使用内容安全自定义类别 API 来创建自己的内容筛选器。通过提供示例，可以训练筛选器检测和阻止特定于你定义的自定义类别的不良内容。

提示防护通过防御提示注入攻击来增强生成式 AI 系统的安全性：

• 直接提示攻击（越狱）：用户尝试通过创建提示来改变系统规则或诱骗模型执行受限操作，从而操纵 AI 系统并绕过安全协议。
• 间接攻击：第三方内容（例如文档或电子邮件）包含利用 AI 系统的隐藏指令，例如 AI 可能在不知情的情况下执行的嵌入式命令。

基础检测可以识别并纠正生成式 AI 模型的无基础输出，确保它们基于提供的源材料。这有助于防止生成伪造或错误的信息。通过使用自定义语言模型，基础检测可以根据源数据评估声明并减轻 AI 幻觉。

针对文本的受保护材料检测可以识别并阻止已知文本内容（例如歌词、文章、食谱和选定的网络内容）出现在 AI 生成的输出中。

针对代码的受保护材料检测可检测并阻止已知代码的输出。它会检查 GitHub 存储库中的公共源代码是否存在匹配项。此外，GitHub Copilot 提供的代码引用功能使开发人员能够找到存储库以探索和发现相关代码。

Azure OpenAI 内部的内容筛选系统由内容安全提供支持。它旨在检测并防止输入提示和输出补全中的有害内容输出。它与核心模型（包括 GPT 和 DALL-E）协同工作。