Data Factory
Uma solução de integração de dados sem servidor totalmente gerenciada para ingestão, preparação e transformação de todos os dados em escala.
Integração de dados híbridos simplificada
Integre todos os dados com o Azure Data Factory, um serviço de integração de dados sem servidor totalmente gerenciado. Integre visualmente as fontes de dados usando mais de 90 conectores internos livres de manutenção sem custo adicional. Construa processos ETL e ELT sem código com facilidade em um ambiente visual intuitivo ou escreva seu próprio código. Em seguida, forneça dados integrados ao Azure Synapse Analytics para desbloquear insights de negócios.
Fácil de usar
Hospede novamente o SSIS (SQL Server Integration Services) com alguns cliques e crie pipelines ETL e ELT sem código, com suporte interno a Git e CI/CD.
Econômico
Aproveite um serviço de nuvem sem servidor pago conforme o uso e totalmente gerenciado, que é dimensionado sob demanda.
Potente
Promova a ingestão de todos os dados locais e de SaaS (software como serviço) com mais de 90 conectores internos. Orquestre e monitore em escala.
Inteligente
Use ETL autônomo para desbloquear eficiências operacionais e habilitar integradores cidadãos.
Acelerar a transformação de dados com os fluxos de dados sem código
O Data Factory fornece uma camada de transformação e integração de dados que funciona em todas as iniciativas de transformação digital.
- Habilite engenheiros de dados e integradores cidadãos para impulsionar os negócios e a análise/BI orientado pela TI.
- Prepare dados, construa processos ETL e ELT e orquestre e monitore pipelines sem código. O serviço do Apache Spark™ gerenciado cuida da geração e da manutenção do código.
- Transforme mais rapidamente com o mapeamento inteligente orientado a intenções que automatiza as atividades de cópia.
Hospedar novamente e estender o SSIS com apenas alguns cliques
O Azure Data Factory pode ajudar as organizações que buscam modernizar o SSIS.
- Obtenha até 88% de redução de custos com o Benefício Híbrido do Azure.
- Aproveite o único serviço totalmente compatível que facilita a movimentação de todos os seus pacotes do SSIS para a nuvem.
- A migração fica fácil com o assistente de implantação e ampla documentação de instruções.
- Materialize sua visão de iniciativas híbridas de Big Data e data warehouse combinando com os pipelines de dados de nuvem do Data Factory.
Ingerir todos os dados com conectores internos
A ingestão de dados de várias fontes diversas pode ser cara, demorada e exigir várias soluções distintas. O Azure Data Factory oferece um serviço individual pago conforme o uso. Você pode:
- Escolha entre mais de 90 conectores internos para adquirir dados de fontes de Big Data, como Amazon Redshift, Google BigQuery e HDFS; data warehouses corporativos como Oracle Exadata e Teradata; aplicativos SaaS como Salesforce, Marketo e ServiceNow; e todos os serviços de dados do Azure.
- Usar a capacidade total da largura de banda de rede subjacente, com até 5 GB/s de taxa de transferência.
Extrair máximo proveito do Azure Synapse Analytics
Promova a ingestão de dados de fontes locais, híbridas e de nuvem e transforme-os com fluxos de dados avançados no Azure Synapse Analytics, distribuído pelo Data Factory.
- Integrar e transformar os dados na experiência familiar do Data Factory nos pipelines do Azure Synapse
- Transforme e analise dados sem código com fluxos de dados no estúdio do Azure Synapse.
- Integre todos os dados com mais de 90 conectores internos.
Potencialize suas experiências de aplicativo com os dados corretos
O Data Factory pode ajudar os ISVs (fornecedores de software independentes) a enriquecer seus aplicativos SaaS com os dados híbridos integrados a fim de fornecer experiências de usuário controladas por dados. Conectores pré-criados e integração em escala permitem que você se concentre nos usuários enquanto o Data Factory cuida do restante.
Explorar como o Data Factory pode ajudar vocêOrquestrar, monitorar e gerenciar o desempenho do pipeline
A manutenção de pipelines com um panorama de dados de rápida alteração pode logo se tornar algo demorado, que envolve intervenções manuais. No Azure Data Factory, você pode não apenas monitorar visualmente todas as suas execuções de atividades, mas também melhorar a produtividade operacional configurando alertas de maneira pró-ativa para monitorar seus pipelines. Esses alertas podem aparecer dentro dos grupos de alertas do Azure, garantindo que você seja notificado em tempo hábil para evitar problemas de downstream ou upstream antes que eles ocorram.
Saiba maisIntegração de dados híbridos simplificada
Integração de dados híbridos simplificada
No mundo controlado por dados atual, o processamento de Big Data é uma tarefa crítica para cada organização. Para ter insights de transformação, os engenheiros de dados precisam de serviços criados para simplificar o ETL, bem como para lidar com as complexidades e os desafios de escala da integração de Big Data.
Com o Azure Data Factory, é rápido e fácil criar processos ETL e ELT sem código ou centrados em códigos. Neste cenário, aprenda a criar pipelines sem código em um ambiente visual intuitivo.
No mundo controlado por dados atual, o processamento de Big Data é uma tarefa crítica para cada organização. Para ter insights de transformação, os engenheiros de dados precisam de serviços criados para simplificar o ETL, bem como para lidar com as complexidades e os desafios de escala da integração de Big Data. Com o Azure Data Factory, é rápido e fácil criar processos ETL e ELT sem código ou centrados em códigos.
Simplificar o ETL em escala
Maria, uma engenheira de dados, recebe um fluxo de solicitações infinito para introduzir mais dados de diferentes fontes para os relatórios da empresa. Para cada nova fonte de dados, Maria precisa pesquisar, criar, conectar e gerenciar a integração, o que é incrivelmente demorado.
Maria está convencida de que a equipe dela precisa de uma abordagem mais escalonável e procura o Azure Data Factory para iniciar o percurso em direção a um data warehouse moderno.
Maria, uma engenheira de dados, recebe um fluxo de solicitações infinito para introduzir mais dados de diferentes fontes para os relatórios da empresa. Para cada nova fonte de dados, Maria precisa pesquisar, criar, conectar e gerenciar a integração, o que é incrivelmente demorado.
Maria está convencida de que a equipe dela precisa de uma abordagem mais escalonável e procura o Azure Data Factory para iniciar o percurso em direção a um data warehouse moderno.
Usar conectores internos de dados
Maria vincula o ambiente dela ao Amazon S3 para recuperar dados do cliente. O S3 é apenas um dos mais de 90 conectores internos disponíveis no Azure Data Factory.
Copiar dados para o data lake
No pipeline dela, ela adiciona uma atividade de cópia e seleciona o armazenamento de dados de origem como S3. Agora, ela pode visualizar os dados antes de executar o trabalho. Parece que será necessário limpá-los e alinhá-los com padrões organizacionais.
Dados de exemplo e de revisão
Depois, ela seleciona seu Azure Data Lake como o armazenamento de dados do coletor
Explorar e refinar os dados visualmente
Adicionando um fluxo de dados de estruturação ao pipeline dela, agora Maria pode começar a preparar o conjunto de dados dela. Ela pode gerar facilmente estatísticas resumidas e aplicar etapas para remover linhas quebradas e corrigir colunas.
Proteger contra alterações em esquemas upstream
Agora, ela usa um fluxo de dados de mapeamento para concluir a transformação. Ela habilita "Permitir descompasso de esquema" na entrada para aprimorar a resiliência a alterações upstream.
Transformar e agregar dados sem código
Ela adiciona um operador de junção para adicionar dados transacionais já no lake e agrega os valores para obter métricas, como gasto por cliente. Por fim, ela chega a esses dados no Azure Synapse Analytics, em que os dados serão analisados para desbloquear insights ilimitados.
Disparar pipelines na agenda
Com o pipeline concluído, ele pode agendá-lo para execução recorrente ou em uma janela em cascata ou quando novos arquivos são detectados.
Gerenciar pipelines em escala
O histórico de execuções do pipeline dela será visível junto com todos os outros pipelines em da organização dela.
Monitorar e depurar visualmente
Para cada execução, Maria obtém uma representação visual em tempo real do progresso. Ela pode observar o progresso de cada fase, facilitando o monitoramento e a depuração.
Trazer DevOps para seus dados
Agora que o pipeline foi concluído, ela publica as alterações no Git com um só clique. O trabalho que ela fez agora está sob controle de versão e pode fazer parte do fluxo de trabalho de CI/CD da equipe dela.
Integre todos os seus dados, sem código
Com o Azure Data Factory, Maria conseguiu ingerir, transformar e colocar em operação a integração de uma nova fonte de dados sem precisar escrever uma linha de código. Com esses novos dados no data warehouse, toda a organização dela pode começar a explorá-los usando ferramentas de autoatendimento como o Power BI, resultando em melhores decisões controladas por dados em toda a organização.
Experimente você mesmo com nosso laboratório prático Crie sua conta gratuita do Azure hoje mesmo
Com o Azure Data Factory, Maria conseguiu ingerir, transformar e colocar em operação a integração de uma nova fonte de dados sem precisar escrever uma linha de código. Com esses novos dados no data warehouse, toda a organização dela pode começar a explorá-los usando ferramentas de autoatendimento como o Power BI, resultando em melhores decisões controladas por dados em toda a organização.
Experimente você mesmo com nosso laboratório prático Crie sua conta gratuita do Azure hoje mesmo
Presença de nuvem global confiável
- Acesse o Data Factory em mais de 25 regiões ao redor do mundo para garantir a conformidade de dados, a eficiência e a redução dos custos de saída de rede.
- O Data Factory foi certificado pela HIPAA e a HITECH, a ISO/IEC 27001, a ISO/IEC 27018 e a CSA STAR.
- Conecte-se com segurança aos serviços de dados do Azure com a identidade gerenciada e a entidade de serviço. Armazene suas credenciais com o Azure Key Vault.
- A rede virtual gerenciada oferece um ambiente isolado e altamente seguro para executar os pipelines de integração de dados.
Pague apenas pelo que precisar, sem custo inicial
Explore uma variedade de funcionalidades de integração de dados de nuvem de acordo com suas necessidades de escala, infraestrutura, compatibilidade, desempenho e orçamento. As opções incluem o SSIS gerenciado para uma migração ininterrupta de projetos do SQL Server para a nuvem e pipelines de dados sem servidor e em grande escala para integrar os dados de todas as formas e tamanhos.
Preço do Data FactoryRecursos e documentação do Azure Data Factory
Introdução aos recursos de aprendizagem
Com a confiança de empresas de todos os tamanhos
O Data Factory ajuda o Adobe a entregar experiências digitais avançadas de dados em escala
Nik Shroff, Diretor do Microsoft Solutions no Adobe"We want to focus on ways to help our customers ingest data, clean it, store it at scale, and access it globally in real time. With Azure, we can rely on our own core competencies, and not have to build the underlying infrastructure."
Empresa de análise reduz o tempo de desenvolvimento do data warehouse em 80 por cento
Com apenas alguns cliques, os clientes podem usar as soluções de dados SaaS da Concentra para criar um processo de gerenciamento de dados de ponta a ponta por meio de cargas de trabalho de ETL do SSIS em um ambiente gerenciado do SSIS dentro do Data Factory, alcançando alta escalabilidade e disponibilidade ao mesmo tempo em que reduz os custos operacionais.
Atualizações, blogs e comunicados do Azure Data Factory
-
ATUALIZAÇÃO
GA: Data Factory adds ORC data lake file format support for ADF Data Flows and Synapse Data Flows
-
ATUALIZAÇÃO
Public Preview: Data Factory adds SQL Managed Instance (SQL MI) support for ADF Data Flows and Synapse Data Flows
-
ATUALIZAÇÃO
Update .NET to 4.7.2 for Azure Data Factory upgrade by 01 Dec 2020
-
ATUALIZAÇÃO
Migre seu serviço do Azure Data Factory da versão 1 para a 2
-
ATUALIZAÇÃO
Data Factory SQL Server Integration Services (SSIS) migration accelerators are now generally available
-
ATUALIZAÇÃO
Data Factory connector support for Delta Lake and Excel is now available
-
ATUALIZAÇÃO
O Data Factory adiciona conjuntos de dados embutidos, hub de gerenciamento e suporte para CDM em fluxos de dados
-
ATUALIZAÇÃO
O Data Factory adiciona uma nova manipulação de dados hierárquicos e uma nova flexibilidade para junções complexas
Perguntas frequentes sobre Data Factory
-
O Data Factory está disponível em mais de 25 regiões.
-
Garantimos que processaremos as solicitações com êxito para executar operações nos recursos do Data Factory em pelo menos 99,9% do tempo. Também garantimos que todas as execuções de atividade serão iniciadas em quatro minutos dos tempos de execução agendados em pelo menos 99,9% do tempo. Leia o SLA (contrato de nível de serviço) completo do Data Factory.
-
O IR (Integration Runtime) é a infraestrutura de computação usada pelo Data Factory para fornecer funcionalidades de integração de dados entre ambientes de rede. O IR move dados entre os armazenamentos de dados de origem e de destino, oferecendo a transferência de dados escalonável. O IR executa o Fluxo de Dados criado visualmente de maneira escalonável no runtime de computação do Spark. O IR fornece capacidade de executar nativamente pacotes SSIS em um ambiente de computação gerenciado do Azure. Ele dá suporte à expedição e ao monitoramento de atividades de transformação sendo executadas em vários serviços de computação. Para saber mais, confira integration runtime in Data Factory (Integration Runtime no Data Factory).