パブリック プレビュー:Azure Synapse の Apache Spark 用インテリジェント キャッシュ
公開日: 3月 24, 2022
Azure Synapse の新しい Apache Spark 用インテリジェント キャッシュにより、繰り返し行うクエリの処理時間を短縮し、パフォーマンスを向上させることができます。Apache Spark のネイティブなキャッシュ機能とは異なり、インテリジェント キャッシュにより、各読み取りは割り当てられたキャッシュ ストレージ スペース内に自動的に格納されます。これにより、基盤となるファイルの変更を検出することができ、最新のデータを提供するファイルが更新されます。
インテリジェント キャッシュはバックグラウンドでシームレスに動作し、データをキャッシュして、ADLS Gen2 データ レイクから読み込む Apache Spark の実行を高速化することができます。また、基盤のファイルへの変更が自動的に検出され、キャッシュ内のファイルが自動的に更新されるため、最新のデータを利用することができます。キャッシュ サイズが上限に達すると、キャッシュは自動的に最も読み取られていないデータを解放し、より新しいデータのための領域を確保します。
詳細については、こちらのドキュメントをご覧ください。