Azure Data Factory: ferramentas visuais ativadas em pré-visualização pública

A pré-visualização pública do Azure Data Factory (ADF) v2 foi anunciada na Microsoft Ignite a 25 de setembro de 2017. Com o ADF v2, acrescentámos flexibilidade ao modelo de aplicações do ADF e permitimos construções de fluxos de controlo que facilitam agora ciclos, ramificações, construções condicionais, execuções a pedido e agendamento flexível em várias interfaces de programação, como Python, .Net, Powershell, REST APIs e modelos do ARM. Um dos feedbacks mais comuns que recebemos dos clientes foi proporcionar uma experiência de criação e monitorização visual interativa e avançada que permite aos clientes criar, configurar, testar, implementar e monitorizar pipelines de integração de dados sem fricção. Ouvimos estes feedbacks e é com muita satisfação que anunciamos o lançamento das ferramentas visuais para o ADF v2. O principal objetivo das ferramentas visuais do ADF é permitir-lhe ser produtivo com o ADF ao dar-lhe a possibilidade de pôr os seus pipelines a funcionar rapidamente e sem que tenha de escrever uma única linha de código. Pode utilizar uma interface simples, intuitiva e sem código para arrastar e largar atividades numa tela de pipeline, realizar execuções de testes, depurar iterativamente e implementar e monitorizar as execuções dos seus pipelines. Com este lançamento, também disponibilizamos visitas guiadas que mostram como utilizar as funcionalidades de criação e monitorização agora oferecidas, bem como a oportunidade de nos enviar o seu feedback, que para nós é muito valioso.

O que pretendemos com as ferramentas visuais para o ADF v2 é aumentar a produtividade e a eficiência, tanto para utilizadores novos, como avançados, com experiências intuitivas. Para começar, pode clicar no mosaico Criar e Monitorizar no painel da sua fábrica de dados v2 aprovisionada.

 

Veja algumas das entusiasmantes funcionalidades que as ferramentas visuais novas permitem no ADF v2. Também pode ver o pequeno vídeo abaixo.

 

Começar Rapidamente

1. Crie o seu primeiro pipeline do ADF v2

2. Copie rapidamente dados de muitas origens de dados com o assistente de criação de cópias

3. Configure o IR do SSIS para fazer a migração lift-and-shift dos pacotes do SSIS para o Azure

4. Configure o repositório de código (VSTS GIT) para controlo de origens, colaboração, controlo de versões, etc.

Criação Visual

Criar Pipelines de Fluxo de Controlo

Crie pipelines, arraste e largue atividades, ligue-as “on-success”, “on-failure”, “on-completion”.

Criar Runtimes de Integração Autoalojados e do Azure

Crie um runtime de integração autoalojado para movimentos de dados híbridos ou um IR do SSIS para o Azure para fazer a migração lift-and-shift de pacotes do SSIS para o Azure. Crie ligações de serviços ligados aos seus arquivos de dados ou computações.

Suporte para todas as atividades de fluxo de controlo em computações do Azure

Atividades de Fluxo de Controlo:

• HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, HDI Streaming, HDI Spark, U-SQL, Stored Procedure, Web, For Each, Get Metadata, Look up, Execute Pipeline

Suporte para Computações do Azure:

• HDI (a pedido, BYOC), Azure Data Lake Analytics, Azure Batch

Desenvolvimento e depuração iterativos

Faça Execuções de Testes antes de ligar um acionador ao pipeline e executar a pedido ou de forma programada.

Parametrizar pipelines e conjuntos de dados

Utilize expressões e variáveis de sistema para parametrizar.

Suporte para Validação Avançada

Agora, pode validar os pipelines para detetar se há configurações de propriedades em falta ou configurações erradas. Basta clicar no botão Validate (Validar), na tela do pipeline. É gerado um resultado de validação na gaveta do lado. Depois, pode clicar em cada entrada para ir diretamente para o sítio da validação em falta.

Acionar pipelines

Acione a pedido, execute pipelines agendados.

Utilizar o VSTS GIT

Utilize o VSTS GIT para controlo de origens, colaboração, controlo de versões, etc.

Copiar Dados

Arquivos de Dados (65)

Suporte para 65 arquivos de dados. 18 arquivos com suporte de qualidade superior, nos quais é suficiente que o utilizador indique apenas os valores de configuração. Os restantes 47 arquivos podem ser utilizados com JSON.

18 arquivos com suporte de qualidade superior:

• Blob do Azure, Azure CosmosDB, Base de Dados do Azure para MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, Azure SQL DW, SQL do Azure, Tabela do Azure, Sistema de Ficheiros, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 arquivos com suporte para JSON:

• Search Index, Cassandra, ficheiro HTTP, Mongo DB, OData, Tabela relacional Dynamics 365, Dynamics CRM, Tabela da Web, AWS Marketplace, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for customer

Utilizar o assistente de criação de cópias para copiar rapidamente dados de muitas origens de dados

O familiar assistente de criação de cópias do ADF v1 está agora disponível no ADF v2 para fazer importações avulsas rápidas. O assistente de criação de cópias gera pipelines com atividades de cópia na tela de criação. Agora, as atividades de cópia podem ser ampliadas para executar outras atividades, como Spark, USQL, Proc. Armazenado, etc., “on-success”, “on-failure”, etc., e criar todo o pipeline de fluxo de controlo.

Visita guiada

Clique no ícone Informação, no canto inferior esquerdo. Depois, pode clicar em Visita guiada e obter instruções passo a passo para monitorizar visualmente o seu pipeline e as suas execucões de atividades.

Comentários

Clique no ícone Feedback para nos dar feedback sobre as várias funcionalidades ou sobre eventuais problemas com que possa estar a deparar-se.

Selecionar a fábrica de dados

Coloque o cursor sobre o ícone Data Factory, no canto superior esquerdo. Clique no ícone de Seta para ver uma lista de subscrições do Azure e de fábricas de dados que pode monitorizar.

Monitorização Visual

Monitorização com Vista de Lista

Monitorize as execuções de pipelines, atividades e acionadores com uma interface simples de vista de lista. Todas as execuções são apresentadas no fuso horário local do browser. Pode alterar o fuso horário e todos os campos de data e hora mudarão para esse fuso horário.

Monitorizar Execuções de Pipelines:

Vista de lista que mostra cada execução de pipeline dos seus pipelines da fábrica de dados v2.

Monitorizar Execuções de Atividades:

Vista de lista que mostra as execuções de atividades que correspondem a cada execução de pipeline. Clique no ícone Execuções de Atividades, na coluna Ações, para ver as execuções de atividades de cada execução de pipeline.

Nota importante: tem de clicar no ícone Atualizar, na parte superior, para atualizar a lista de execuções de pipelines e atividades. A atualização automática não é suportada atualmente.

Monitorizar Execuções de Acionadores:

Ordenação e filtragem avançadas

Ordene as execuções de pipelines por ordem descendente/ascendente por Início da Execução e filtre execuções de pipeline por nome do pipeline, início da execução e estado da execução.

Adicionar/remover colunas da vista de lista

Clique com o botão direito do rato no cabeçalho da vista de lista e escolha as colunas que quer ver na mesma.

Reordenar a largura das colunas na vista de lista

Para aumentar ou diminuir a largura das colunas na vista de lista, coloque o cursor do rato sobre o cabeçalho da coluna em causa.

Monitorizar Runtimes de Integração

Monitorize o estado de funcionamento dos seus Runtimes de Integração Autoalojados, do Azure e do Azure-SSIS.

Cancelar/voltar a executar as execuções de pipelines

Cancele uma execução de pipeline ou volte a executá-la com parâmetros já definidos.

Esta é a primeira versão pública das ferramentas visuais do ADF v2. Trabalhamos continuamente para atualizar as coisas que já estão lançadas com funcionalidades novas tendo por base o feedback dos nossos clientes. Obtenha mais informações e veja passos detalhados para utilizar as ferramentas visuais do ADF v2.

Introdução à criação rápida e fácil de pipelines com o Azure Data Factory. Se quiser pedir funcionalidades ou enviar feedback, visite o fórum do Azure Data Factory.