Azure Databricks – VNET-Einschleusung, DevOps-Versionskontrolle und Deltaverfügbarkeit

Veröffentlicht am 13 März, 2019

Principal PM Manager, Azure Data

Azure Databricks bietet eine schnelle, einfache und kollaborative Analyseplattform auf der Grundlage von Apache® Spark™. Diese soll den Prozess zur Erstellung von Big Data- und KI-Lösungen, die das Unternehmen voranbringen, beschleunigen und vereinfachen – und dies mit Unterstützung durch branchenführende SLAs.

Mit Azure Databricks können Sie Ihre Spark-Umgebung in wenigen Minuten einrichten und im Handumdrehen automatisch skalieren. Sie können auch Ihre bereits erworbenen Fähigkeiten einsetzen und in einem interaktiven Arbeitsbereich, der Python, Scala, R und SQL sowie Data Science-Frameworks und -Bibliotheken wie TensorFlow und PyTorch unterstützt, gemeinsam an freigegebenen Projekten arbeiten.

Wir berücksichtigen stets die Hinweise unserer Kunden und beantworten Fragen, während wir diesen Dienst weiterentwickeln. In diesem Blog finden Sie wichtige Dienstankündigungen, die wir unseren Kunden stolz zur Verfügung stellen.

Azure Databricks Delta in den SKUs Standard und Premium verfügbar

Azure Databricks Delta stattet Produktionsworkloads mit neuer Zuverlässigkeit und Leistung aus. Zu den Verbesserungen gehören die Unterstützung von Transaktionen, Schemavalidierung, Indizierung und Datenversionierung.

Seit die Vorschauversion von Delta angekündigt wurde, haben wir extrem positives Feedback dazu erhalten, wie Kunden komplexe Pipelines für Batch- und Streamingdaten sowie vereinfachte ETL-Pipelines aufbauen konnten. Wir freuen uns, bekannt geben zu können, dass Delta jetzt in unserem Standard-SKU-Angebot verfügbar ist sowie auch im Premium-SKU-Angebot, sodass Sie seine Funktionen voll nutzen und Pipelines effizienter erstellen können. Jetzt kommt jeder in den Genuss der Vorteile von Databricks Delta bei Zuverlässigkeit und Leistung.

Weitere Informationen zu Azure Databricks Delta finden Sie in unserem Handbuch Einführung in Databricks Delta und unserem Schnellstart-Notebook, das Sie importieren können.

Versionskontrolle für Azure DevOps Services

Azure DevOps ist eine Sammlung von Diensten, die eine vollständige Lösung für die fünf Kernvorgänge von DevOps bieten: Planen und Nachverfolgen, Entwickeln, Erstellen und Testen, Ausliefern sowie Überwachen und Betreiben.

Zuerst begannen wir mit einer GitHub-Integration für Azure Databricks-Notebooks. Aufgrund der starken Nachfrage führten wir die Möglichkeit ein, Azure DevOps Services als Git-Anbieter festzulegen.

Die Authentifizierung bei Azure DevOps Services erfolgt automatisch, wenn Sie sich mit Azure Active Directory (Azure AD) authentifizieren. Die Azure DevOps Services-Organisation muss mit demselben Azure AD-Mandanten verknüpft sein wie Databricks. Sie können Azure DevOps Services ganz einfach als Ihren Git-Anbieter auswählen, wie in der Dokumentation Versionskontrolle für Azure DevOps Services gezeigt.

Azure Databricks in Ihrem eigenen virtuellen Azure-Netzwerk (VNET-Einschleusung) bereitstellen – Vorschauversion

Standardmäßig stellen wir Ihre Cluster in verwalteten VNETs mit aktiviertem Peering bereit und verwalten sie dort. Wir erstellen und verwalten diese VNETs, sie befinden sich jedoch in Ihrem Abonnement. Außerdem verwalten wir die zugehörigen Regeln für die Netzwerksicherheitsgruppe.

Bei einigen Kunden ist jedoch eine Netzwerkanpassung erforderlich. Ich freue mich, bekannt geben zu können, dass Sie nun bei Bedarf Azure Databricks in Ihrem eigenen vorhandenen virtuellen Netzwerk bereitstellen können (VNET-Einschleusung). Verbinden Sie Azure Databricks auf sichere Weise über Dienstendpunkte mit anderen Azure-Diensten wie Azure Storage oder mit lokalen Datenquellen für Azure Databricks, indem Sie benutzerdefinierte Routen nutzen. Sie können Azure Databricks auch mit einem virtuellen Netzwerkgerät verbinden, um den ausgehenden Datenverkehr zu untersuchen und anhand von Zulassungs- und Ablehnungsregeln Maßnahmen zu ergreifen. Konfigurieren Sie Azure Databricks für die Verwendung von benutzerdefiniertem DNS, und legen Sie Regeln für Netzwerksicherheitsgruppen (NSG) fest, um Einschränkungen des ausgehenden Datenverkehrs zu definieren.

Durch die Bereitstellung von Azure Databricks in Ihrem eigenen virtuellen Netzwerk können Sie außerdem flexible CIDR-Bereiche nutzen. Lesen Sie die Dokumentation, um Anweisungen zum schnellen und einfachen Konfigurieren von Azure Databricks in Ihrem VNET auf der Benutzeroberfläche des Azure-Portals zu erhalten.

Starten Sie noch heute!

Testen Sie Azure Databricks, und senden Sie uns Feedback.