Řešení potíží s konektory Azure Data Lake Storage ve službě Azure Data Factory a Azure Synapse

PLATÍ PRO: Azure Data Factory Azure Synapse Analytics

Tento článek obsahuje návrhy pro řešení běžných problémů s konektory Azure Data Lake Storage Gen1 a Gen2 ve službě Azure Data Factory a Azure Synapse.

Azure Data Lake Storage Gen1

Chybová zpráva: Základní připojení bylo uzavřeno: Nepodařilo se navázat vztah důvěryhodnosti pro zabezpečený kanál SSL/TLS.

• Příznaky: aktivita Copy selže s následující chybou:

  Message: ErrorCode = UserErrorFailedFileOperation, Error Message = The underlying connection was closed: Could not establish trust relationship for the SSL/TLS secure channel.

• Příčina: Ověření certifikátu se nezdařilo během metody handshake protokolu TLS.

• Řešení: Jako alternativní řešení použijte fázovanou kopii a přeskočte ověřování TLS (Transport Layer Security) pro Azure Data Lake Storage Gen1. Tento problém potřebujete reprodukovat a shromáždit trasování monitorování sítě (netmon) a pak zapojit síťový tým, aby zkontroloval konfiguraci místní sítě.

  

Chybová zpráva: Vzdálený server vrátil chybu: (403) Zakázáno

• Příznaky: aktivita Copy selhání s následující chybou:

  Message: The remote server returned an error: (403) Forbidden. Response details: {"RemoteException":{"exception":"AccessControlException""message":"CREATE failed with error 0x83090aa2 (Forbidden. ACL verification failed. Either the resource does not exist or the user is not authorized to perform the requested operation.)....

• Příčina: Jednou z možných příčin je, že instanční objekt nebo spravovaná identita, kterou používáte, nemá oprávnění k přístupu k určitým složkám nebo souborům.

• Řešení: Udělte příslušným oprávněním všem složkám a podsložekm, které potřebujete zkopírovat. Další informace najdete v tématu Kopírování dat do nebo z Azure Data Lake Storage Gen1.

Chybová zpráva: Získání přístupového tokenu pomocí instančního objektu se nezdařilo. Chyba knihovny ADAL: service_unavailable

• Příznaky: aktivita Copy selže s následující chybou:

  Failed to get access token by using service principal. ADAL Error: service_unavailable, The remote server returned an error: (503) Server Unavailable.

• Příčina: Pokud není dostupný server tokenů služby (STS), který vlastní Microsoft Entra ID, znamená to, že je příliš zaneprázdněný na zpracování požadavků a vrátí chybu HTTP 503.

• Řešení: Po několika minutách znovu spusťte aktivitu kopírování.

Azure Data Lake Storage Gen2

Kód chyby: ADLSGen2OperationFailed

• Zpráva: ADLS Gen2 operation failed for: %adlsGen2Message;.%exceptionData;.

• Příčiny a doporučení: K této chybě můžou vést různé příčiny. Projděte si následující seznam možných analýz příčin a souvisejících doporučení.

  Analýza příčin	Doporučení
  Pokud Azure Data Lake Storage Gen2 vyvolá chybu, která značí, že se nějaká operace nezdařila.	Projděte si podrobnou chybovou zprávu vyvolanou službou Azure Data Lake Storage Gen2. Pokud se jedná o přechodné selhání, zkuste operaci zopakovat. Pokud potřebujete další pomoc, obraťte se na podporu služby Azure Storage a zadejte ID požadavku v chybové zprávě.
  Pokud chybová zpráva obsahuje řetězec Zakázáno, instanční objekt nebo spravovaná identita, kterou používáte, nemusí mít dostatečná oprávnění pro přístup k Azure Data Lake Storage Gen2.	Pokud chcete tuto chybu vyřešit, přečtěte si téma Kopírování a transformace dat ve službě Azure Data Lake Storage Gen2.
  Pokud chybová zpráva obsahuje řetězec InternalServerError, služba Azure Data Lake Storage Gen2 vrátí chybu.	Příčinou chyby může být přechodné selhání. Pokud není, zkuste operaci zopakovat. Pokud problém přetrvává, obraťte se na podporu služby Azure Storage a zadejte ID požadavku z chybové zprávy.
  Pokud se Unable to read data from the transport connection: An existing connection was forcibly closed by the remote hostzobrazí chybová zpráva, váš prostředí Integration Runtime má problém se sítí při připojování k Azure Data Lake Storage Gen2.	V nastavení pravidla brány firewall služby Azure Data Lake Storage Gen2 se ujistěte, že JSOU IP adresy služby Azure Data Factory v seznamu povolených. Další informace najdete v tématu Konfigurace virtuálních sítí a bran firewall Azure Storage.
  Pokud se This endpoint does not support BlobStorageEvents or SoftDeletezobrazí chybová zpráva, používáte propojenou službu Azure Data Lake Storage Gen2 pro připojení k účtu služby Azure Blob Storage, která umožňuje události služby Blob Storage nebo obnovitelné odstranění.	Vyzkoušejte následující možnosti: 1. Pokud stále chcete používat propojenou službu Azure Data Lake Storage Gen2, upgradujte službu Azure Blob Storage na Azure Data Lake Storage Gen2. Další informace najdete v tématu Upgrade služby Azure Blob Storage s využitím funkcí Azure Data Lake Storage Gen2. 2. Přepněte propojenou službu na Azure Blob Storage. 3. Zakažte události služby Blob Storage nebo obnovitelné odstranění v účtu služby Azure Blob Storage.

Žádost o účet Azure Data Lake Storage Gen2 způsobila chybu časového limitu

• Zpráva:

  • Kód chyby = UserErrorFailedBlobFSOperation
  • Chybová zpráva = BlobFS operation failed for: A task was canceled.

• Příčina: Příčinou problému je chyba časového limitu jímky Azure Data Lake Storage Gen2, která se obvykle vyskytuje na počítači místního prostředí Integration Runtime (IR).

• Doporučení:

  • Pokud je to možné, umístěte počítač místního prostředí IR a cílový účet Azure Data Lake Storage Gen2 do stejné oblasti. To může pomoct vyhnout se náhodné chybě časového limitu a dosáhnout lepšího výkonu.

  • Zkontrolujte, jestli existuje speciální nastavení sítě, například ExpressRoute, a ujistěte se, že síť má dostatečnou šířku pásma. Doporučujeme snížit nastavení souběžných úloh místního prostředí IR, pokud je celková šířka pásma nízká. Tím se můžete vyhnout konkurenci síťových prostředků napříč několika souběžnými úlohami.

  • Pokud je velikost souboru střední nebo malá, použijte menší velikost bloku pro nebinární kopii a zmírníte tak chybu časového limitu. Další informace naleznete v tématu Blob Storage Put Block.

    Pokud chcete zadat vlastní velikost bloku, upravte vlastnost v editoru souborů JSON, jak je znázorněno tady:

    "sink": {
        "type": "DelimitedTextSink",
        "storeSettings": {
            "type": "AzureBlobFSWriteSettings",
            "blockSizeInMB": 8
        }
    }
    

Aktivita kopírování nemůže vybrat soubory z Azure Data Lake Storage Gen2.

• Příznaky: Aktivita kopírování nemůže vybrat soubory z Azure Data Lake Storage Gen2, pokud je název souboru "Asset_Metadata". K problému dochází pouze v datové sadě typu Parquet. Jiné typy datových sad se stejným názvem souboru fungují správně.

• Příčina: Pro zpětnou kompatibilitu _metadata se považuje za vyhrazený podřetězce v názvu souboru.

• Doporučení: Změňte název souboru, aby se zabránilo rezervovanému seznamu pro Parquet níže:

  1. Název souboru obsahuje _metadata.
  2. Název souboru začíná tečkou . (tečka).

Kód chyby: ADLSGen2ForbiddenError

• Zpráva: ADLS Gen2 failed for forbidden: Storage operation % on % get failed with 'Operation returned an invalid status code 'Forbidden'.

• Příčina: Existují dvě možné příčiny:

  1. Prostředí Integration Runtime blokuje síťový přístup v nastavení brány firewall účtu úložiště Azure.
  2. Instanční objekt nebo spravovaná identita nemá dostatečná oprávnění pro přístup k datům.

• Doporučení:

  1. Zkontrolujte nastavení sítě účtu úložiště Azure a zjistěte, jestli je zakázaný přístup k veřejné síti. Pokud je zakázané, použijte prostředí Integration Runtime spravované virtuální sítě a vytvořte privátní koncový bod pro přístup. Další informace najdete v tématu Spravovaná virtuální síť a vytvoření kanálu kopírování pomocí spravované virtuální sítě a privátních koncových bodů.

  2. Pokud jste povolili vybrané virtuální sítě a IP adresy v nastavení sítě účtu úložiště Azure:

     1. Je možné, že některé rozsahy IP adres vašeho prostředí Integration Runtime nejsou povoleny nastavením brány firewall účtu úložiště. Přidejte IP adresy prostředí Azure Integration Runtime nebo IP adresu místního prostředí Integration Runtime do brány firewall účtu úložiště. IP adresy prostředí Azure Integration Runtime najdete v tématu IP adresy prostředí Azure Integration Runtime a informace o přidání rozsahů IP adres do brány firewall účtu úložiště najdete v tématu Správa pravidel sítě PROTOKOLU IP.

     2. Pokud povolíte důvěryhodným službám Azure přístup k tomuto účtu úložiště v bráně firewall, musíte v aktivitě kopírování použít ověřování spravované identity.

     Další informace o nastavení brány firewall účtu úložiště Azure najdete v tématu Konfigurace bran firewall služby Azure Storage a virtuálních sítí.

  3. Pokud používáte instanční objekt nebo ověřování spravované identity, udělte instančnímu objektu nebo spravované identitě příslušná oprávnění k kopírování. Pro zdroj alespoň roli Čtenář dat objektů blob služby Storage. Pro jímku alespoň roli Přispěvatel dat v objektu blob úložiště. Další informace najdete v tématu Kopírování a transformace dat v Azure Data Lake Storage Gen2.

Související obsah

Další nápovědu k řešení potíží najdete v těchto zdrojích informací:

• Průvodce odstraňováním potíží s konektory
• Blog věnovaný Data Factory
• Žádosti o funkce služby Data Factory
• Videa k Azure
• Stránka Microsoft Q&A
• Fórum Stack Overflow pro Službu Data Factory
• Informace o Službě Data Factory na Twitteru