Azure Cognitive Search のインクリメンタル エンリッチメントの紹介
インクリメンタル エンリッチメントは、データのインデックス作成に宣言型のアプローチをもたらす Azure Cognitive Search の新機能です。インクリメンタル エンリッチメントを有効にすると、スキルが進化し続けていても、最小限のコストでドキュメントのエンリッチメントを実行できます。Azure Cognitive Search のインデクサーは、データ ソースから検索インデックスにドキュメントを追加します。インデクサーは、データ ソースのドキュメントの更新を追跡し、データ ソースの新規ドキュメントや更新ドキュメントでインデックスを更新します。 新機能であるインクリメンタル エンリッチメントは、変更の追跡をデータ ソースのドキュメントの変更から、エンリッチメント パイプラインのあらゆる要素に拡張します。インクリメンタル エンリッチメントを利用すると、インデクサーにより、データ ソース、最新バージョンのスキルセット、およびインデクサーとのドキュメントの結果整合性が実現されます。 インデクサーには以下の重要な特徴があります。 データ ソース固有である。 状態を認識する。 構成することで、データ ソースとインデックス間の結果整合性を促進できる。 従来、スキルの追加、削除、または更新によるスキルセットの編集により、お客様には次善の選択肢しか残されておらず、コーパス全体ですべてのスキルを再実行し、実質的にインデクサーをリセットするか、インデックスのドキュメントのエンリッチメントが複数バージョンのスキルセットで行われるバージョンのずれを容認するかを選択する必要がありました。 API のプレビュー リリースの最新の更新により、インデクサーの状態管理の対象が、データ ソースとインデクサー フィールド マッピングのみから、スキルセット、出力フィールド マッピング ナレッジ ストア、およびプロジェクションも含まれるように拡大しています。 インクリメンタル エンリッチメントは、エンリッチメント パイプラインの効率性を大幅に向上させます。また、スキルが追加/更新された際、多大なコストが発生する可能性があるドキュメントのコーパス全体の再エンリッチメント(を受け入れるか、バージョンのずれ (ドキュメントが複数バージョンのスキルセットで作成/更新され、エンリッチメントの状態および/または品質が大きく異なる) に対処するかを選択しなくても済むようになります。 インデクサーが、呼び出された際に、どのスキルが変更されたか判断して、更新されたスキルとダウンストリームのスキルまたは依存しているスキルのみを選んで実行し、エンリッチメント パイプライン全体の変更を追跡して対応するようになりました。インクリメンタル エンリッチメントを構成することで、実行する作業を必要最小限に抑えながら、インデックス内のすべてのドキュメントを常に最新バージョンのエンリッチメント パイプラインで処理できるようになります。また、インクリメンタル エンリッチメントでは、変更の処理方法の決定を完全に制御する必要があるシナリオにも対応できるきめ細かい制御機能も提供されます。