Ignorar navegação

Azure Data Factory: ferramentas visuais habilitadas em visualização pública

Postado em 16 janeiro, 2018

Senior Program Manager, Azure Data Factory

A visualização pública do ADF (Azure Data Factory) v2 foi anunciada no Microsoft Ignite em 25 de setembro de 2017. Com o ADF v2, adicionamos flexibilidade ao modelo de aplicativo do ADF e habilitamos constructos de fluxo de controle que agora facilitam o looping, a ramificação, os constructos condicionais, as execuções sob demanda e o agendamento flexível em várias interfaces programáticas como Python, .NET, Powershell, APIs REST e modelos do ARM. Um dos comentários consistentes do cliente que recebemos é para habilitar uma experiência interativa avançada de criação visual e monitoramento que permite aos usuários criar, configurar, testar, implantar e monitorar pipelines de integração de dados sem nenhum atrito. Ouvimos seus comentários e estamos felizes em comunicar o lançamento de ferramentas visuais para o ADF v2. A principal meta das ferramentas visuais do ADF é permitir que você seja produtivo com o ADF colocando pipelines em funcionamento rapidamente sem a necessidade de escrever uma única linha de código. É possível usar uma interface gratuita de código intuitivo e simples para arrastar e soltar atividades em uma tela de pipeline, realizar execuções de teste, depurar iterativamente, implantar e monitorar as execuções do seu pipeline. Com esse lançamento, também ofereceremos tours guiados sobre como usar os recursos habilitados de criação visual e monitoramento, além da capacidade de você enviar comentários valiosos.

Nossa meta com as ferramentas visuais do ADF v2 é aumentar a produtividade e a eficiência para usuários novos e avançados com experiências intuitivas. É possível começar clicando no bloco Criar e monitorar em sua folha do data factory v2 provisionada.

image

 

Confira alguns recursos empolgantes habilitados com as novas ferramentas visuais no ADF v2. Você também pode assistir ao breve vídeo abaixo.

 

Introdução rápida

  1. Crie seu primeiro pipeline do ADF v2

  2. Copie dados rapidamente de muitas fontes de dados usando o assistente de cópia

  3. Configure o tempo de execução de integração do SSIS para migrar pacotes do SSIS para o Azure

  4. Configure o repositório de códigos (VSTS GIT) para controle do código-fonte, colaboração, controle de versão etc.

clip_image001[3]

Criação visual

Criar pipelines de fluxo de controle

Crie pipelines, arraste e solte atividades, conecte-as em caso de êxito, de falha e de conclusão.

image

Criar tempos de execução de integração auto-hospedados e do Azure

Crie um tempo de execução de integração auto-hospedado para movimentação de dados híbridos ou um tempo de execução de integração do Azure-SSIS para migrar pacotes do SSIS para o Azure. Crie conexões de serviço vinculadas para sua computação ou armazenamentos de dados.

clip_image001

Suporte para todas as atividades de fluxo de controle em execução em computações do Azure

Atividades de Fluxo de Controle:

  • HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Procedimento armazenado, Web, For Each, Get Metadata, Look up, Execute Pipeline

Suporte para Computações do Azure:

  • HDI (sob demanda, BYOC), ADLA, Lote do Azure

Desenvolvimento iterativo e depuração

Realize Execuções de teste antes de anexar um gatilho no pipeline e executar sob demanda ou em um agendamento.

image

Parametrizar pipelines e conjuntos de dados

Parametrize usando expressões e variáveis do sistema.

image

Suporte a validação avançada

Agora é possível validar seus pipelines para obter informações sobre configurações de propriedade perdidas ou configurações incorretas. Basta clicar no botão Validar na tela do pipeline. Isso gerará a saída de validação na gaveta lateral. Depois você pode clicar em cada entrada para ir diretamente ao local da validação ausente.

image

Disparar pipelines

Dispare sob demanda, execute pipelines de maneira agendada.

image

Usar GIT do VSTS

GIT do VSTS para controle do código-fonte, colaboração, controle de versão etc.

image

Copiar dados

Armazenamento de dados (65)

Suporte a 65 armazenamento de dados. 18 armazenamentos com suporte de primeira classe que exigem que os usuários forneçam apenas valores de configuração. Os 47 armazenamentos restantes podem ser usados com JSON.

18 armazenamentos com suporte de primeira classe:

  • Blob do Azure, Azure CosmosDB, Banco de Dados do Azure para MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, SQL DW do Azure, Azure SQL, Tabela do Azure, Sistema de Arquivos, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 armazenamentos com suporte JSON:

  • Search Index, Cassandra, arquivo HTTP, Mongo DB, OData, Tabela relacional, Dynamics 365, Dynamics CRM, Tabela da Web, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud para cliente

image

Usar o assistente de cópia para copiar dados rapidamente de várias fontes de dados

Agora o conhecido assistente de cópia do ADF v1 está disponível no ADF v2 para realizar uma rápida importação de uma só vez. O Assistente de cópia gera pipelines com atividades de cópia na tela de criação. Agora as atividades de cópia podem ser estendidas para executar outras atividades como Spark, USQL, Procedimentos armazenados etc. em caso de sucesso, de falha e para criar todo o pipeline de fluxo de controle.

image

 

Tour guiado

Clique no Ícone de informações na parte inferior esquerda. Em seguida, você pode clicar em Tour guiado para obter instruções passo a passo sobre como monitorar visualmente o pipeline e as execuções de atividade.

image_thumb55

Comentários

Clique no ícone Comentários para enviar comentários sobre diversos recursos ou problemas que você talvez esteja enfrentando.

image_thumb56

Selecionar data factory

Passe o mouse sobre o ícone Data Factory na parte superior esquerda. Clique no ícone de Seta para ver uma lista de assinaturas e data factories do Azure que você pode monitorar.

image_thumb57

Monitoramento visual

Monitoramento de exibição de lista

Monitore execuções de pipeline, atividade e gatilho com uma simples interface de exibição de lista. Todas as execuções são exibidas no fuso horário do navegador local. É possível alterar o fuso horário, e todos os campos de data e hora serão ajustados para o fuso horário selecionado.

Monitorar execuções de pipeline:

Exibição de lista demonstrando cada execução de pipeline para seus pipelines do data factory v2.

image_thumb51

Monitorar execuções de atividade:

Exibição de lista demonstrando execuções de atividade correspondentes a cada execução de pipeline. Clique no ícone Execuções de atividade na coluna Ações para exibir execuções de atividade para cada execução de pipeline.

image_thumb52

Observação importante: é necessário clicar no ícone Atualizar na parte superior para atualizar a lista de pipeline e de execuções de atividade. No momento, a atualização automática não é compatível.

Monitorar execuções de gatilho:

image

Ordenação e filtragem avançadas

Ordene as execuções de pipeline de maneira decrescente/crescente por Início da Execução e filtre as execuções de pipeline, nome do pipeline, início da execução e status da execução.

image_thumb53

Adicionar/remover colunas à exibição de lista

Clique com o botão direito do mouse no cabeçalho da exibição de lista e escolha as colunas que você deseja exibir na exibição de lista.

image_thumb54

Reordenar larguras de colunas na exibição de lista

Aumente e diminua as larguras de coluna na exibição de lista simplesmente passando o mouse sobre o cabeçalho da coluna.

Monitorar tempos de execução de integração

Monitore a integridade dos seus tempos de execução de integração auto-hospedados, do Azure e do Azure-SSIS.

image

Cancelar/executar novamente as execuções de pipeline

Cancele uma execução de pipeline ou execute novamente uma execução de pipeline com parâmetros já definidos.

clip_image001[1]

Este é o primeiro lançamento público das ferramentas visuais do ADF v2. Estamos trabalhando continuamente para atualizar os bits lançados com novos recursos com base nos comentários do cliente. Obtenha mais informações e etapas detalhadas para usar as ferramentas visuais do ADF v2.

Comece criando pipelines fácil e rapidamente usando o Azure Data Factory. Se você tiver solicitações de recursos ou desejar fazer comentários, acesse o fórum do Azure Data Factory.