Da Unternehmen heute mehr mit Daten erledigen, die Cloud voll nutzen und sich in das Zeitalter der KI einteilen, suchen sie nach Diensten, die Daten im Maßstab verarbeiten, zuverlässig und effizient. Heute freuen wir uns, die bevorstehende öffentliche Vorschau von HDInsight auf Azure Kubernetes Service (AKS), unseren cloudeigenen Open-Source-Big Data-Dienst, vollständig neu auf der Azure Kubernetes Service-Infrastruktur mit zwei neuen Workloads und zahlreichen Verbesserungen im Stapel bekannt zu geben. Die öffentliche Vorschau steht am 10.10. zur Verfügung.

HDInsight bei AKS amplifizierender Leistung

HDInsight auf AKS umfasst Apache Spark, Apache Flink und Trino-Workloads in einer Azure Kubernetes Service-Infrastruktur und bietet umfassende Integration in beliebte Azure-Analysedienste wie Power BI, Azure Data Factory und Azure Monitor, während Azure Managed Services für Prometheus und Grafana für die Überwachung genutzt werden. HDInsight auf AKS ist eine End-to-End-Open-Source-Analyselösung, die einfach bereitzustellen und kostengünstig zu bedienen ist. 

HDInsight auf AKS hilft Kunden dabei, Open-Source-Software für ihre Analyseanforderungen zu nutzen: 

• Bereitstellen einer kuratierten Reihe von Open-Source-Analyseworkloads wie Apache Spark, Apache Flink und Trino. Diese Workloads sind die erstklassige Open Source-Software für Datentechnik, Maschinelles Lernen, Streaming und Abfragen.
• Bereitstellung von verwalteter Infrastruktur, Sicherheit und Überwachung, damit Teams ihre Zeit beim Erstellen innovativer Anwendungen verbringen können, ohne sich gedanken über die anderen Komponenten ihres Stapels zu machen. Teams können sicher sein, dass HDInsight ihre Daten sicher hält. 
• Bieten Sie Flexibilität, die Teams benötigen, um Funktionen zu erweitern, indem Sie auf das umfassende Open-Source-Ökosystem für wiederverwendbare Bibliotheken tippen und Anwendungen über Skriptaktionen anpassen.

Kunden, die tief in Open-Source-Analysen investiert sind, können HDInsight auf AKS verwenden, um Kosten zu senken, indem sie voll funktionsfähige, End-to-End-Analysesysteme in Minuten einrichten, vorgefertigte Integrationen, integrierte Sicherheit und zuverlässige Infrastruktur nutzen. Unsere Investitionen in Leistungsverbesserungen und Features wie Autoscale ermöglichen Es Kunden, ihre Analyseworkloads zu optimalen Kosten auszuführen. HDInsight auf AKS verfügt über eine sehr einfache und konsistente Preisstruktur pro vcore pro Stunde, unabhängig von der Größe der Ressource oder der Region sowie den Kosten der bereitgestellten Ressourcen.

Entwickler lieben HDInsight für die Flexibilität, die es bietet, die Basisfunktionen von Open-Source-Workloads durch Skriptaktionen und Bibliotheksverwaltung zu erweitern. HDInsight auf AKS verfügt über eine intuitive Portalumgebung zum Verwalten von Bibliotheken und Überwachungsressourcen. Entwickler haben die Flexibilität, ein Software Development Kit(SDK), Azure Resource Manager (ARM)-Vorlagen oder die Portalerfahrung basierend auf ihrer Vorliebe zu verwenden.

Nehmen Sie an uns teil, um sich in unserem bevorstehenden kostenlosen Webinar in diese Einführung einzutauchen. 

Offen, verwaltet und flexibel

HDInsight auf AKS deckt die gesamte Bandbreite der Anforderungen der Unternehmensanalyse ab, die Streaming, Abfrageverarbeitung, Batch und Machine Learning-Aufträge mit einheitlicher Visualisierung umfassen. 

Kuratierte Open-Source-Workloads

HDInsight auf AKS umfasst Workloads, die basierend auf ihrer Nutzung in typischen Analyseszenarien, community Adoption, Stabilität, Sicherheit und Ökosystemunterstützung ausgewählt wurden. Dadurch wird sichergestellt, dass Kunden nicht mit der Komplexität der Wahl im Hinblick auf überlappende Funktionen und inkonsistente Interoperabilität in Verbindung setzen müssen.  

Jede der Workloads auf HDInsight auf AKS ist die beste Klasse für die von ihr unterstützten Analyseszenarien: 

• Apache Flink ist das Open-Source Distributed Stream Processing Framework, das zustandsbehaftete Datenstromverarbeitung ermöglicht und Echtzeitanalyseszenarien ermöglicht. 
• Trino ist das Verbundabfragemodul, das hochgradig leistungsfähige und skalierbare Ad-hoc-Abfragen über eine Vielzahl von Datenquellen hinweg behandelt, sowohl strukturiert als auch unstrukturiert.  
• Apache Spark ist die vertrauenswürdige Wahl von Millionen von Entwicklern für ihre Data Engineering- und Machine Learning-Anforderungen. 

HDInsight auf AKS bietet diese beliebten Workloads mit einem gemeinsamen Authentifizierungsmodell, unterstützung für gemeinsame Metaspeicher und vorgefertigte Integrationen, die die Bereitstellung von Analyseanwendungen vereinfachen.

Der verwaltete Dienst reduziert komplexität

HDInsight auf AKS ist ein verwalteter Dienst in der Azure Kubernetes Service-Infrastruktur. Mit einem verwalteten Dienst werden Kunden nicht mit der Verwaltung von Infrastruktur und anderen Softwarekomponenten belastet, einschließlich Betriebssystemen, AKS-Infrastruktur und Open-Source-Software. Dadurch wird sichergestellt, dass Unternehmen von kontinuierlichen Sicherheits- und Funktions- und Leistungsverbesserungen profitieren können, ohne wertvolle Entwicklungsstunden zu investieren. 

Die Containerisierung ermöglicht eine nahtlose Bereitstellung, Skalierung und Verwaltung wichtiger Architekturkomponenten. Die inhärente Resilienz von AKS ermöglicht es Pods, bei Fehlern automatisch neu in Auftrag gegebenen Knoten neu zu planen. Dies bedeutet, dass Aufträge mit minimalen Unterbrechungen an Service Level Agreements (SLAs) ausgeführt werden können. 

Kunden, die mehrere Workloads in ihrem Data Lakehouse kombinieren, müssen sich mit einer Vielzahl von Benutzeroberflächen befassen, was zu einer steilen Lernkurve führt. HDInsight auf AKS bietet eine einheitliche Erfahrung für die Verwaltung ihres Seehauses. Die Bereitstellung, Verwaltung und Überwachung aller Workloads kann in einem einzigen Glasbereich erfolgen. Darüber hinaus können Administratoren mit verwalteten Diensten für Prometheus und Grafana clusterintegrität, Ressourcenauslastung und Leistungsmetriken überwachen.  

Durch die autoskalierten Funktionen, die in HDInsight auf AKS enthalten sind, können Ressourcen – und damit Kosten – basierend auf den Nutzungsanforderungen optimiert werden. Für Aufträge mit vorhersagbaren Lademustern können Teams die automatische Skalierung von Ressourcen basierend auf einem vordefinierten Zeitplan planen. Die ordnungsgemäße Außerbetriebnahme ermöglicht die Definition von Wartezeiten für den Abschluss von Aufträgen, bevor Ressourcen heruntergefahren werden, wobei die Kosten elegant mit Erfahrung ausgeglichen werden. Die auslastungsbasierte automatische Skalierung kann Ressourcen basierend auf Nutzungsmustern, die anhand der Berechnungs- und Speicherauslastung gemessen werden, hoch- und herunterfahren. 

HDInsight auf AKS markiert eine Umstellung von herkömmlichen Sicherheitsmechanismen wie Kerberos. Es umfasst OAuth 2.0 als Sicherheitsframework und bietet einen modernen und robusten Ansatz zum Schutz von Daten und Ressourcen. In HDInsight bei der AKS-Autorisierung basieren Zugriffssteuerungen auf verwalteten Identitäten. Kunden können auch eigene virtuelle Netzwerke mitbringen und sie während der Clustereinrichtung zuordnen, die Sicherheit erhöhen und die Einhaltung ihrer Unternehmensrichtlinien aktivieren. Die Cluster sind mit Namespaces isoliert, um Daten und Ressourcen innerhalb des Mandanten zu schützen. HDInsight auf AKS ermöglicht auch die Verwaltung des Clusterzugriffs mithilfe von Azure Resource Manager (ARM)-Rollen. 

Kunden, die an der privaten Vorschau teilgenommen haben, lieben HDInsight auf AKS. 

Hier ist, was ein Benutzer über seine Erfahrung sagen musste. 

"Mit HDInsight auf AKS haben wir nahtlos von den Einschränkungen unserer internen Lösung zu einer robusten verwalteten Plattform umgestellt. Diese zentrale Verschiebung bedeutet, dass unsere Ingenieure jetzt frei sind, ihr Know-how in Richtung Kerngeschäftsinnovation zu kanalieren, anstatt sich im Plattformmanagement zu engagieren. Die harmonische Integration von HDInsight mit anderen Azure-Produkten hat unsere Effizienz erhöht. Verbesserte Sicherheit stärkt die Integrität und Vertrauenswürdigkeit unserer Daten, während die Skalierbarkeit sicherstellt, dass wir ohne Schläge wachsen können. Im Wesentlichen stärkt HDInsight auf AKS unsere Datenstrategie und ermöglicht eine effizientere und effektivere Geschäftstätigkeit." 

Matheus Antunes, Data Architect, XP Inc

Azure HDInsight für AKS-Ressourcen

• Weitere Informationen zu Azure Kubernetes Service (AKS)