Foundry Control Plane 中的 Content Safety

內容安全模型已特別以下列語言接受訓練並測試: 英文、德文、西班牙文、日文、法文、義大利文、葡萄牙文和中文。此服務也可以以其他語言使用，但品質可能會有所不同。在所有情況下，您應該執行自己的測試，以確保它適用於您的應用程式。

自訂類別目前僅能以英文良好運作。您可以將其他語言與自己的資料集一起使用，但品質可能會有所不同。

部分 Content Safety 功能僅適用於特定地區。 查看每個地區可用的功能。

系統會監視四種有害内容類別: 仇恨、色情、暴力及自我傷害。

是的，您可以調整每個有害内容類別篩選的嚴重性閾值。

是的，您可以使用 Content Safety 自訂類別 API 來建立您自己的內容篩選。您可以透過提供範例來訓練篩選，以偵測並封鎖您定義的自訂類別特有的不適當內容。

提示防護會透過防禦提示注入攻擊來增強生成式 AI 系統的安全性:

• 直接提示攻擊 (越獄): 使用者嘗試操縱 AI 系統，並建立嘗試變更系統規則或誘騙模型執行限制動作的提示，以繞過安全通訊協定。
• 間接攻擊: 第三方內容 (例如文件或電子郵件) 包含利用 AI 系統的隱藏指示，例如 AI 可能會不知情地執行的內嵌命令。

真實性偵測會識別並修正生成式 AI 模型的不真實輸出，確保這些輸出是以提供的來源素材為基礎。這有助於防止產生捏造或虛假的資訊。使用自訂語言模型，真實性偵測會根據來源資料評估宣告，並降低 AI 幻覺。

適用於文字的受(版權)保護素材偵測會識別並封鎖已知的文字內容 (例如歌詞、文章、食譜和選取的網頁內容)，不讓它出現在 AI 產生的輸出中。

程序碼的受(版權)保護素材偵測會偵測並防止已知程式碼的輸出。它會檢查 GitHub 存放庫中公用原始程式碼的符合專案。此外，GitHub Copilot 提供的代碼參考功能可讓開發人員找到可探索和發掘相關程式碼的存放庫。

Azure OpenAI 內的內容篩選系統由 Content Safety 提供。它的設計旨在偵測並防止輸入提示和輸出完成中有害內容的輸出。它可以與核心模型 (包括 GPT 和 DALL-E) 一起運作。