Data Factory
Een volledig beheerde, serverloze oplossing voor gegevensintegratie voor het op schaal opnemen, voorbereiden en transformeren van al uw gegevens.
Vereenvoudigde hybride gegevensintegratie
Integreer al uw gegevens met Azure Data Factory, een volledig beheerde, serverloze gegevensintegratieservice. Integreer visueel gegevensbronnen met meer dan 90 ingebouwde en onderhoudsvrije connectors zonder extra kosten. Bouw eenvoudig ETL- en ELT-processen zonder code in een intuïtieve omgeving of schrijf uw eigen code. Lever vervolgens geïntegreerde gegevens aan Azure Synapse Analytics om zakelijke inzichten te verkrijgen.
Gebruiksvriendelijk
SQL Server Integration Services (SSIS) opnieuw hosten met een paar muisklikken en ETL- en ELT-pijplijnen bouwen zonder code met ingebouwde Git- en CI/CD-ondersteuning.
Goedkoop
Profiteren van een volledig beheerde betalen-per-gebruik-cloudservice die op aanvraag kan worden geschaald.
Krachtig
Al uw on-premises SaaS-gegevens (Software as a Service) opnemen met meer dan 90 ingebouwde connectors. Op schaal indelen en bewaken.
Intelligent
Autonome ETL gebruiken voor operationele efficiency en burgerintegrators inschakelen.
Gegevenstransformatie versnellen met gegevensstromen zonder code
Data Factory biedt een gegevensintegratie- en transformatielaag die kan worden gebruikt bij al uw initiatieven voor digitale transformatie.
- Schakel burgerintegrators en data-engineers in om bedrijfsactiviteiten en door IT begeleide Analytics/BI te stimuleren.
- Bereid gegevens voor, ontwikkel ETL- en ELT-processen, en organiseer en bewaak pijplijnen zonder code. De beheerde Apache Spark™-service zorgt voor de codegeneratie en het onderhoud.
- Transformeer sneller met een intelligente intentiegestuurde toewijzing waarmee kopieeractiviteiten worden geautomatiseerd.
SSIS met enkele muisklikken opnieuw hosten en uitbreiden
Azure Data Factory kan organisaties helpen bij het moderniseren van SSIS.
- Bespaar tot 88 procent kosten met Azure Hybrid Benefit.
- Profiteer van de enige volledig compatibele service waarmee u eenvoudig al uw SSIS-pakketten naar de cloud kunt verplaatsen.
- De migratie is eenvoudig met de implementatiewizard en uitgebreide documentatie met procedures.
- Realiseer uw visie op hybride big data- en datawarehousinginitiatieven door te combineren met Data Factory-gegevenspijplijnen in de cloud.
Al uw gegevens opnemen met ingebouwde connectors
Het opnemen van gegevens uit uiteenlopende en meerdere bronnen kan duur en tijdrovend zijn. Hiervoor zijn meerdere oplossingen vereist. Azure Data Factory biedt één betalen-per-gebruik-service. U kunt het volgende doen:
- Kies uit meer dan 90 ingebouwde connectors om gegevens op te halen uit big data-bronnen zoals Amazon Redshift, Google BigQuery, HDFS; datawarehouses voor ondernemingen zoals Oracle Exadata, Teradata; SaaS-apps zoals Salesforce, Marketo en ServiceNow; en alle Azure-gegevensservices.
- Gebruik de volledige capaciteit van de onderliggende netwerkbandbreedte, met een doorvoer van maximaal 5 GB/s.
Optimaal gebruikmaken van Azure Synapse Analytics
Neem gegevens op uit on-premises, hybride en multicloudbronnen en transformeer deze met krachtige gegevensstromen in Azure Synapse Analytics op basis van Data Factory.
- Gegevens integreren en transformeren in de vertrouwde Data Factory-ervaring binnen Azure Synapse-pijplijnen
- Transformeer en analyseer gegevens zonder code met gegevensstromen in de Azure Synapse-studio.
- Integreer al uw gegevens met meer dan 90 ingebouwde connectors.
Uw app-ervaringen een impuls geven met de juiste gegevens
Data Factory kan ISV's (Independent Software Vendors) helpen hun SaaS-apps met geïntegreerde hybride gegevens te verrijken om gegevensgestuurde gebruikerservaringen te leveren. Dankzij vooraf gebouwde connectors en integratie op schaal kunt u zich richten op uw gebruikers, terwijl Data Factory de rest afhandelt.
Ontdekken hoe Data Factory u kan helpenPijplijnprestaties indelen, bewaken en beheren
Het onderhoud van pijplijnen met een snel veranderend gegevenslandschap kan veel tijd in beslag nemen. Bovendien kunnen hiervoor veel handmatige interventies vereist zijn. In Azure Data Factory kunt u niet alleen de uitvoering van al uw activiteiten visueel controleren, u kunt ook de operationele productiviteit verbeteren door proactief waarschuwingen in te stellen om uw pijplijnen te bewaken. Deze waarschuwingen kunnen vervolgens worden weergegeven in Azure-waarschuwingsgroepen, zodat u tijdig op de hoogte wordt gebracht om downstream- of upstreamproblemen te voorkomen voordat deze optreden.
Meer informatieHybride gegevensintegratie, vereenvoudigd
Hybride gegevensintegratie, vereenvoudigd
In de huidige door gegevens gedreven wereld is big data-verwerking een cruciale taak voor elke organisatie. Voor het ontgrendelen van transformationele inzichten hebben gegevenstechnici services nodig die zijn gebouwd om ETL te vereenvoudigen en de complexiteit van big data-integratie te verwerken en te schalen.
Met Azure Data Factory kunt u snel en eenvoudig ETL- en ELT-processen maken, codevrij of code-georiënteerd. In dit scenario leert u hoe u zonder code beschikbare pijplijnen kunt maken binnen een intuïtieve visuele omgeving.
In de huidige door gegevens gedreven wereld is big data-verwerking een cruciale taak voor elke organisatie. Voor het ontgrendelen van transformationele inzichten hebben gegevenstechnici services nodig die zijn gebouwd om ETL te vereenvoudigen en de complexiteit van big data-integratie te verwerken en te schalen. Met Azure Data Factory kunt u snel en eenvoudig ETL- en ELT-processen maken, codevrij of code-georiënteerd.
ETL op schaal vereenvoudigen
Maria, een data-engineer, ontvangt een oneindige stroom van aanvragen om meer gegevens uit verschillende gegevensbronnen in haar bedrijfsrapporten toe te voegen. Voor elke nieuwe gegevensbron moet Maria de integratie onderzoeken, bouwen, verbinden en beheren. Dit is ongelooflijk tijdrovend.
Maria gaat ervan uit dat haar team een meer schaalbare aanpak nodig heeft en start met Azure Data Factory om een modern datawarehouse te ontwikkelen.
Maria, een data-engineer, ontvangt een oneindige stroom van aanvragen om meer gegevens uit verschillende gegevensbronnen in haar bedrijfsrapporten toe te voegen. Voor elke nieuwe gegevensbron moet Maria de integratie onderzoeken, bouwen, verbinden en beheren. Dit is ongelooflijk tijdrovend.
Maria gaat ervan uit dat haar team een meer schaalbare aanpak nodig heeft en start met Azure Data Factory om een modern datawarehouse te ontwikkelen.
Ingebouwde gegevensconnectoren gebruiken
Maria koppelt haar omgeving aan Amazon S3 om klantgegevens op te halen. S3 is slechts een van de 90 + ingebouwde connectoren die beschikbaar zijn in Azure Data Factory.
Gegevens kopiëren naar de data lake
In haar pijplijn voegt ze een Kopieeractiviteit toe en selecteert ze het brongegevensarchief als S3. Ze kan nu een voorbeeld van de gegevens bekijken voordat de taak wordt uitgevoerd. Het lijkt erop dat er wat werk nodig is om het op te schonen en af te stemmen op de standaarden van de organisatie.
Gegevens proberen en beoordelen
Ze selecteert haar Azure Data Lake als sink-gegevensarchief
Gegevens visueel verkennen en verfijnen
Door een wrangling-gegevensstroom aan haar pijplijn toe te voegen, kan Maria nu beginnen met het voorbereiden van de gegevensset. Ze kan eenvoudig samenvattingsstatistieken genereren en stappen toepassen om verbroken rijen te verwijderen en kolommen op te lossen.
Beveiligen tegen wijzigingen in de upstream-schema's
Ze gebruikt nu een toewijzingsgegevensstroom om de transformatie te voltooien. Ze schakelt Schemadrift toestaan in voor de invoer om de flexibiliteit van wijzigingen in de upstream te verbeteren.
Gegevens transformeren en samenvoegen zonder code
Ze voegt een samenvoegingsoperator toe die transactionele gegevens toevoegt die al in de lake zijn opgenomen, en voegt vervolgens de waarden samen om de gegevens op te halen, zoals uitgaven per klant. Ten slotte plaatst ze deze gegevens in Azure Synapse Analytics, waar de gegevens worden geanalyseerd om eindeloze inzichten te ontgrendelen.
Pijplijnen op schema triggeren
Als de pijplijn is voltooid, kan ze de uitvoering plannen op een terugkerende basis, op een tumblingvenster of bij het detecteren van nieuwe bestanden.
Pijplijnen op schaal beheren
De uitvoeringsgeschiedenis van haar pijplijn wordt naast alle andere pijplijnen in haar organisatie weergegeven.
Visueel controleren en fouten opsporen
Voor elke uitvoering krijgt Maria een real-time visuele representatie van de voortgang. Ze kan de voortgang van elke fase observeren, waardoor bewaking en foutopsporing eenvoudig kan worden uitgevoerd.
DevOps naar uw gegevens brengen
Nu de pijplijn is voltooid, publiceert ze haar wijzigingen met één klik in Git. De werkzaamheden die ze heeft uitgevoerd, staan nu onder versiebeheer en kunnen deel uitmaken van de CI/CD-werkstroom van haar team.
Al uw gegevens codevrij integreren
Met Azure Data Factory heeft Maria de integratie van een nieuwe gegevensbron opgenomen, getransformeerd en operationeel gemaakt zonder dat ze ook maar één regel code hoefde te schrijven. Met deze nieuwe gegevens in het datawarehouse kan haar hele organisatie ze verkennen met behulp van hulpmiddelen voor self-service zoals Power BI. Dit leidt tot betere gegevensgestuurde beslissingen binnen de hele organisatie.
Probeer het zelf met onze praktijksessie Maak vandaag nog uw gratis Azure-account
Met Azure Data Factory heeft Maria de integratie van een nieuwe gegevensbron opgenomen, getransformeerd en operationeel gemaakt zonder dat ze ook maar één regel code hoefde te schrijven. Met deze nieuwe gegevens in het datawarehouse kan haar hele organisatie ze verkennen met behulp van hulpmiddelen voor self-service zoals Power BI. Dit leidt tot betere gegevensgestuurde beslissingen binnen de hele organisatie.
Probeer het zelf met onze praktijksessie Maak vandaag nog uw gratis Azure-account
Vertrouwde wereldwijde aanwezigheid in de cloud
- Krijg toegang tot Data Factory in meer dan 25 regio's wereldwijd om gegevensnaleving en efficiëntie te garanderen en te zorgen voor minder kosten voor netwerkverkeer.
- Data Factory is gecertificeerd door HIPAA en HITECH, ISO/IEC 27001, ISO/IEC 27018 en CSA STAR.
- Verbind veilig met Azure Data Services met een beheerde identiteit en service-principal. Sla uw referenties op met Azure Key Vault.
- Een beheerd virtueel netwerk biedt u een geïsoleerde en uiterst veilige omgeving waarin u uw gegevensintegratiepijplijnen kunt uitvoeren.
Betaal uitsluitend voor wat u nodig hebt zonder kosten vooraf
Verken een aantal integratiemogelijkheden voor cloudgegevens die aansluiten op uw schaal, infrastructuur, compatibiliteit, prestaties en budget. Opties zijn onder andere beheerde SSIS voor naadloze migratie van SQL Server-projecten naar de cloud en grootschalige, serverloze gegevenspijplijnen voor de integratie van gegevens van alle soorten en maten.
Prijzen voor Data FactoryAzure Data Factory-resources en -documentatie
Aan de slag met leerresources
Vertrouwd door bedrijven van elke omvang
Data Factory helpt Adobe op schaal gegevensrijke digitale ervaringen te leveren
Nik Shroff, directeur van Microsoft Solutions bij Adobe"We want to focus on ways to help our customers ingest data, clean it, store it at scale, and access it globally in real time. With Azure, we can rely on our own core competencies, and not have to build the underlying infrastructure."
Analysebedrijf vermindert ontwikkelingstijd voor datawarehouse met 80 procent
Klanten kunnen met slechts enkele muisklikken de SaaS-gegevensoplossingen van Concentra gebruiken om een end-to-end gegevensbeheerproces te maken via SSIS ETL-workloads in een beheerde SSIS-omgeving binnen Data Factory, waardoor er hoge schaalbaarheid en beschikbaarheid tegen lagere operationele kosten mogelijk zijn.
Updates, blogs en aankondigingen voor Azure Data Factory
-
UPDATE
GA: Data Factory adds ORC data lake file format support for ADF Data Flows and Synapse Data Flows
-
UPDATE
Public Preview: Data Factory adds SQL Managed Instance (SQL MI) support for ADF Data Flows and Synapse Data Flows
-
UPDATE
Update .NET to 4.7.2 for Azure Data Factory upgrade by 01 Dec 2020
-
UPDATE
Uw Azure Data Factory migreren van versie 1 naar 2
-
UPDATE
Data Factory SQL Server Integration Services (SSIS) migration accelerators are now generally available
-
UPDATE
Data Factory connector support for Delta Lake and Excel is now available
-
UPDATE
Data Factory voegt beheerhub, inline-gegevenssets en ondersteuning voor CDM toe aan gegevensstromen
-
UPDATE
In Data Factory worden verwerking van hiërarchische gegevens en nieuwe flexibiliteit voor complexe joins toegevoegd
Veelgestelde vragen over Data Factory
-
Data Factory is beschikbaar in meer dan 25 regio's.
-
Verzoeken om bewerkingen op Data Factory-resources uit te voeren worden gegarandeerd minstens 99,9% van de tijd volledig uitgevoerd. Wij garanderen bovendien dat ten minste 99,9% van de tijd alle uit te voeren activiteiten worden gestart binnen vier minuten van de geplande uitvoertijd. Lees de volledige serviceovereenkomst voor Data Factory (SLA).
-
Een integratieruntime (IR) is de rekeninfrastructuur die Data Factory gebruikt om mogelijkheden voor gegevensintegratie in netwerkomgevingen te bieden. Met IR verplaatst u gegevens tussen de bron- en doelgegevensopslagplaatsen door middel van schaalbare gegevensoverdracht. Met IR voert u de visueel ontworpen gegevensstroom op een schaalbare manier uit in Spark-berekeningsruntime. IR biedt de mogelijkheid om SSIS-pakketten intern uit te voeren in een beheerde Azure-rekenomgeving. IR ondersteunt het verzenden en controleren van transformatieactiviteiten die worden uitgevoerd via verschillende rekenservices. Zie integratieruntime in Data Factory voor meer informatie.