Foundry Control Plane の Content Safety

Content Safety のモデルには、特に次の言語向けを想定したトレーニングとテストが施されています: 英語、ドイツ語、スペイン語、日本語、フランス語、イタリア語、ポルトガル語、中国語。このサービスは他の言語でも機能しますが、品質は異なる場合があります。いずれの場合も、お客様の実際の用途において機能することを確認するため独自のテストを実施してください。

現在、カスタム カテゴリは英語でのみ良好な機能を発揮します。他の言語でお客様独自のデータセットを使用することもできますが、品質は異なる場合があります。

一部の Content Safety 機能は、特定のリージョンでのみ利用できます。 各リージョンで利用可能な機能をご確認ください。

このシステムは、憎悪表現、性的内容、暴力、自傷行為の 4 つの有害カテゴリを監視します。

はい。それぞれの有害カテゴリ フィルターについて重大度しきい値を調整できます。

はい。Content Safety カスタム カテゴリ API を使用して、独自のコンテンツ フィルターを作成できます。定義したカスタム カテゴリに特有の望ましくないコンテンツを検出してブロックするよう、例を提示してフィルターをトレーニングできます。

プロンプト シールドは、生成 AI システムのセキュリティ強化策として、以下のプロンプト インジェクション攻撃に対する防御機能を備えています。

• 直接的なプロンプト攻撃 (ジェイルブレイク): ユーザーが、システムのルールを書き換えるプロンプトや、制限されたアクションを実行するようにモデルをだますプロンプトを作成し、AI システムの操作や安全プロトコルの回避を試みる攻撃。
• 間接的な攻撃: サードパーティのコンテンツ (ドキュメントやメールなど) に、AI システムを悪用するための隠し命令 (例: 気づかれることなく AI によって実行される可能性がある埋め込みコマンド) を忍び込ませる攻撃。

根拠性検出は、生成 AI モデルの出力に根拠のない情報が含まれる場合にそれを識別して修正し、提供されたソース マテリアルを根拠とした出力を提供する機能です。これは、捏造された情報や誤った情報の提供を防ぐのに役立ちます。根拠性検出では、カスタム言語モデルによって記述内容をソース データと照合して評価し、AI ハルシネーションを軽減します。

保護されたマテリアルの検出 (テキスト用) は、既知のテキスト コンテンツ (例: 歌詞、記事、レシピ、指定された Web コンテンツなど) を識別してブロックし、AI から生成される出力にそれらが含まれないようにする機能です。

保護されたマテリアルの検出 (コード用) は、既知のコードを検出して出力を防ぐ機能です。一致チェックは、GitHub リポジトリで公開されているソースコードに対して行われます。さらに、開発者は GitHub Copilot を利用したコード参照機能によって、関連性があるコードの探索と検出を実行し、リポジトリを見つけることができます。

Azure OpenAI 内のコンテンツ フィルタリング システムは、Content Safety を利用します。入力プロンプトと出力補完のどちらに含まれる場合でも有害なコンテンツを検出し、その出力を防ぐことができます。コア モデル (GPT、DALL-E など) と並行して動作します。