Data lake

De eerste analyseservice in de cloud waarmee je op grote schaal gemakkelijk programma’s voor parallelle gegevenstransformatie en -verwerking kunt ontwikkelen en uitvoeren in U-SQL, R, Python en .Net. Daarvoor hoef je geen infrastructuur te beheren. Je kunt gegevens op aanvraag verwerken en direct schalen, en je betaalt gewoon per taak. Meer informatie

De eerste veilige en uiterst schaalbare data lake-versie in de cloud voor bedrijven, die is ontwikkeld op basis van de open HDFS-standaard. Er gelden geen limieten voor de grootte van gegevens en evenmin voor de mogelijkheid om parallel aan elkaar zware analyses uit te voeren. Je kunt nu het potentieel ontketenen van al je ongestructureerde, semigestructureerde en gestructureerde gegevens. Meer informatie

Het vinden van de juiste hulpprogramma's voor het ontwerpen en afstemmen van je big data-query's kan moeilijk zijn. Data Lake maakt dit gemakkelijk voor je door de hechte integratie met Visual Studio, Eclipse en IntelliJ zodat je vertrouwde hulpprogramma’s kunt gebruiken om je code uit te voeren, fouten in code op te sporen en op te lossen en de code af te stemmen. Visualisaties van je U-SQL-, Apache Spark-, Apache Hive- en Apache Storm-taken tonen je hoe je code op schaal werkt, en laten zien waar zich knelpunten in de prestaties voordoen en waar kosten geoptimaliseerd kunnen worden, waardoor het gemakkelijker wordt om je query's af te stemmen. In onze uitvoeringsomgeving worden je programma’s actief geanalyseerd terwijl ze worden uitgevoerd, en je ontvangt aanbevelingen waarmee de prestaties kunnen worden verbeterd en de kosten verlaagd. Data-analisten, DBA's en gegevensarchitecten kunnen hun bestaande kennis van bijvoorbeeld SQL, Apache Hadoop, Apache Spark, R, Python, Java en .NET inzetten om vanaf dag één productief te zijn.

Een van de grote uitdagingen voor het werken met big data is de integratie met bestaande IT-middelen. Data Lake is een belangrijk onderdeel van Cortana Intelligence, wat inhoudt dat het werkt met Azure Synapse Analytics, Power BI en Data Factory voor een volledige big data-cloud en met een geavanceerd analyseplatform dat je helpt bij alles: van de voorbereiding van gegevens tot het uitvoeren van interactieve analyses op omvangrijke gegevenssets. Data Lake Analytics biedt je de mogelijkheid om actie te ondernemen op al je gegevens, via de geoptimaliseerde virtualisatie van je relationele resources, zoals Azure SQL Server op virtuele machines, Azure SQL Database en Azure Synapse Analytics. Query's worden automatisch geoptimaliseerd door de verwerking ervan dicht bij de brongegevens te laten plaatsvinden zonder dat er gegevens worden verplaatst. Hierdoor zijn de prestaties maximaal en is de latentie minimaal. Ten slotte, omdat Data Lake deel uitmaakt van Azure, kun je een verbinding leggen met alle gegevens die door toepassingen zijn gegenereerd of die door apparaten in het kader van IoT-scenario's (Internet der dingen) zijn opgenomen.

Data Lake is vanaf de grond opgebouwd om tegemoet te komen aan schaal- en prestatievereisten op cloudniveau. Met Azure Data Lake Store kan je bedrijf al je gegevens op één plaats analyseren zonder dat er kunstmatig opgelegde beperkingen gelden. In je Data Lake Store kunnen biljoenen bestanden worden opslagen, waarbij een enkel bestand groter kan zijn dan een petabyte, wat 200x keer groter is dan andere cloudopslagvoorzieningen. Dit betekent dat je geen code hoeft te herschrijven naarmate je de omvang van de opgeslagen gegevens vergroot of verkleint of de hoeveelheid rekenkracht opvoert. Zo kun je je helemaal concentreren op de bedrijfslogica en hoef je je niet bezig te houden met hoe je grote gegevenssets moet verwerken en opslaan. Data Lake elimineert ook de complicaties die doorgaans gepaard gaan met big data in de cloud, zodat altijd wordt voldaan aan de huidige en toekomstige behoeften van je bedrijf.

Data Lake is een voordelig geprijsde oplossing voor het verwerken van workloads met big data. Je kunt kiezen tussen een model met on-demand clusters of je kunt per taak betalen nadat de gegevens zijn verwerkt. In beide gevallen heb je geen hardware, licenties of servicespecifieke ondersteuningsovereenkomsten nodig. Er wordt omhoog of omlaag geschaald naarmate de behoeften van je bedrijf veranderen, wat betekent dat je nooit voor meer betaalt dan je nodig hebt. Je kunt er ook afzonderlijk de schaal van de opslag en de rekenkracht mee veranderen, waardoor je over meer economische flexibiliteit beschikt dan de traditionele big data-oplossingen hebben te bieden. En ten slotte wordt de noodzaak om gespecialiseerde uitvoerende teams die doorgaans verantwoordelijk zijn voor het beheer van een big data-infrastructuur, tot een minimum teruggebracht. Data Lake minimaliseert je kosten en maximaliseert het rendement op je investeringen in gegevens. Uit een recent onderzoek is gebleken dat met HDInsight over een periode van 5 jaar een 63% lagere TCO wordt gerealiseerd dan met het on-premises implementeren van Hadoop.

Data Lake wordt volledig beheerd en ondersteund door Microsoft, met een SLA en ondersteuning van ondernemingsklasse. Als onderdeel van de 24/7-klantondersteuning kun je contact met ons opnemen over elk probleem dat zich voordoet waar dan ook in je big data-oplossing. Ons team houdt je implementatie in de gaten zodat je dat niet hoeft te doen. Zo weet je zeker dat deze ononderbroken werkt. Met Data Lake bescherm je op een eenvoudige manier je gegevensassets en breid je het regelen van je on-premises beveiliging en governance uit naar de cloud. Gegevens worden altijd versleuteld; in-motion met behulp van SSL en at-rest met behulp van door services of gebruikers beheerde HSM-sleutels in Azure Key Vault. Functies als eenmalige aanmelding (SSO), Multi-Factor Authentication en een naadloos beheer van miljoenen identiteiten zijn ingebouwd via Azure Active Directory. Je kunt voor alle gegevens in de Store gebruikers en groepen machtigen via de uiterst gedetailleerde op POSIX gebaseerde toegangsbeheerlijsten, waardoor je in staat bent toegangsbeheer op basis van rollen uit te voeren. Eindelijk kun je voldoen aan de nalevingsvereisten op het gebied van beveiliging en van wet- en regelgeving, door elke wijziging in de toegang tot of configuratie in het systeem te controleren.