Data Factory ajoute une nouvelle gestion hiérarchique des données et une nouvelle flexibilité pour les jointures complexes

Les mises à jour les plus récentes de Data Factory sont les suivantes :

• La modélisation hiérarchique des données dans les flux de données a été enrichie avec l’aplatissement, la collecte d’agrégation et la mise à jour du mappage de récepteur. Nous avons également publié un nouveau tutoriel sur la façon d’utiliser ces fonctionnalités lors du passage de la modélisation relationnelle à la modélisation hiérarchique avec Azure SQL DB et CosmosDB.  
• La prise en charge des jointures non équi ajoutée aux transformations Join, Lookup et Exists sera disponible dans les semaines à venir. Vous pouvez à présent ajouter des jointures non équi à tous les types de jointure ADF dans l’interface utilisateur et ajouter des conditions « et » avec des types équi/non-équi supplémentaires.
• Une mise à jour déjà présente dans ADF pour Joins, Exists et Lookups est une mise à jour de l’onglet Optimize. Vous pouvez maintenant désactiver la transmission de données Native Spark vers les nœuds d’exécution lors de l’exécution d’une jointure à l’aide de l’option Broadcast. La valeur par défaut est Auto et vous pouvez utiliser « Fixed » pour remplacer le comportement de flux de données par défaut dans Spark en diffusant uniquement le côté gauche ou droit.

Pour en savoir plus, lisez le blog.