跳到主内容
预览中

公共预览版:用于 Azure Synapse 中 Apache Spark 的智能缓存

发布日期:三月 24, 2022

利用 Azure Synapse 中 Apache Spark 的新智能缓存,缩短处理时间并提高重复查询的性能。与 Apache Spark 的本机缓存功能不同,智能缓存会自动将每个读取存储在分配的缓存存储空间内,这样就可以检测基础文件更改和刷新文件,从而提供最新数据。

智能缓存在后台无缝工作并缓存数据,有助于在 Apache Spark 从 ADLS Gen2 数据湖读取数据时加快 Apache Spark 的执行速度。它还会自动检测基础文件发生的更改并将自动刷新缓存中的文件,从而为你提供最新的数据。当缓存大小达到其限制时,缓存将自动释放最少读取的数据,以便为新数据腾出空间。

要了解详细信息,请浏览文档

  • Features