Share via

Přehled prostředků zachytávání změn dat

  • Článek

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tip

Vyzkoušejte si službu Data Factory v Microsoft Fabric, řešení pro analýzy typu all-in-one pro podniky. Microsoft Fabric zahrnuje všechno od přesunu dat až po datové vědy, analýzy v reálném čase, business intelligence a vytváření sestav. Přečtěte si, jak začít používat novou zkušební verzi zdarma.

Přizpůsobení se světě velkých objemů dat v cloudu může být neuvěřitelně náročné pro datové inženýry, kteří zodpovídají za vytváření komplexní integrace dat a kanálů ETL.

Azure Data Factory zavádí nový mechanismus, který usnadňuje život datového inženýra.

Díky automatickému zjišťování změn dat ve zdroji bez nutnosti složitého návrhu nebo kódování je ADF snadné škálovat tyto procesy. Change Data Capture teď bude existovat jako nový nativní prostředek nejvyšší úrovně v nástroji Azure Data Factory Studio, kde datoví inženýři můžou rychle nakonfigurovat nepřetržitě spuštěné úlohy pro zpracování velkých objemů dat ve velkém měřítku s extrémní efektivitou.

Nový prostředek Change Data Capture v ADF umožňuje zachytit data změn s plnou věrností, která se nepřetržitě spouští téměř v reálném čase prostřednictvím prostředí s asistencí konfigurace.

Screenshot of new top-level resource in Factory Resources panel.

Podporované zdroje dat

  • Avro
  • Azure Cosmos DB (SQL API)
  • Azure SQL Database
  • Azure SQL Managed Instance
  • Text s oddělovači
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

Podporované cíle

  • Avro
  • Azure SQL Database
  • Spravovaná instance SQL
  • Text s oddělovači
  • Rozdíl
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

Známá omezení

  • V současné době se při vytváření mapování zdroje a cíle smí každý zdroj a cíl používat pouze jednou.
  • Komplexní typy jsou v současné době nepodporované.
  • Místní prostředí Integration Runtime (SHIR) se v současné době nepodporuje.

Další informace o známých omezeních a pomoci při řešení potíží najdete v tomto průvodci odstraňováním potíží.

Azure Synapse Analytics jako cíl

Při použití Azure Synapse Analytics jako cíle je pracovní Nastavení k dispozici na plátně hlavní tabulky. Povolení přípravy je povinné při výběru Azure Synapse Analytics jako cíle. To výrazně zvyšuje výkon zápisu pomocí výkonné funkce hromadného načítání, jako je například příkaz COPY INTO. Pracovní Nastavení je možné nakonfigurovat dvěma způsoby: pomocí nastavení továrny nebo se rozhodnout pro vlastní nastavení. Nastavení továrny platí na úrovni továrny. Pokud tato nastavení nejsou nakonfigurovaná poprvé, budete přesměrováni do části globálního přípravného nastavení pro konfiguraci. Po nastavení budou tuto konfiguraci přijímat všechny prostředky nejvyšší úrovně CDC. Vlastní nastavení je vymezeno pouze pro prostředek CDC, pro který je nakonfigurovaný a přepisuje nastavení továrny.

Poznámka:

Vzhledem k tomu, že k přenosu dat z přípravného umístění do Azure Synapse Analytics používáme příkaz COPY INTO, doporučujeme zajistit, aby všechna požadovaná oprávnění byla předem nakonfigurovaná ve službě Azure Synapse Analytics.

Poznámka:

Při spuštění CDC vždy používáme poslední publikovanou konfiguraci. Při spouštění řadičů CDC se vám během zpracování vašich dat bude účtovat 4 virtuální jádra Tok dat pro obecné účely.

Související obsah