Azure Databricks bietet eine schnelle, einfache und kollaborative Apache^® Spark™-basierte Analyseplattform, um den Prozess zur Erstellung von Big Data- und KI-Lösungen, die das Unternehmen voranbringen, zu beschleunigen und zu vereinfachen – all dies wird durch branchenführende SLAs unterstützt.

Seit der Ankündigung der allgemeinen Verfügbarkeit im März haben wir Feedback von unseren Kunden gesammelt und den Azure Databricks-Dienst um verschiedene Funktionen erweitert. Somit freue ich mich, heute mehrere neue Updates für Azure Databricks bekannt zu geben.

Allgemeine Verfügbarkeit

Azure Databricks ab sofort in Japan, Kanada, Indien und „Australien, Mitte“ verfügbar

Wir freuen uns, die allgemeine Verfügbarkeit von Azure Databricks in weiteren Regionen bekannt zu geben, nämlich in Japan, Kanada, Indien, „Australien, Mitte“ und „Australien, Mitte 2“. Mit diesen zusätzlichen Standorten erstreckt sich die weltweite Verfügbarkeit der Produkte auf 24 Regionen, was durch eine SLA von 99,95 Prozent unterstützt wird.

Wir möchten sicherstellen, dass unsere Cloudinfrastruktur die Anforderungen der Kunden erfüllt, indem wir Innovationen vorantreiben und sie weltweit bereitstellen. Halten Sie sich auf dem Laufenden, was die Verfügbarkeit von Region für Azure Databricks betrifft.

Organisationen profitieren auch von der nativen Integration von Azure Databricks in andere Dienste wie Azure Blob Storage, Azure Data Factory, Azure SQL Data Warehouse und Azure Cosmos DB. Dies ermöglicht neue Analyselösungen, die modernes Data Warehousing, erweiterte Analysen und Echtzeitanalyseszenarien unterstützen.

Bedingter Zugriff mit Azure Active Directory in Azure Databricks

Azure Databricks unterstützt nun bedingten Azure Active Directory-Zugriff (Azure AD), wodurch Administratoren steuern können, wo und wann sich Benutzer bei Azure Databricks anmelden dürfen.

Sicherheit ist ein wichtiges Anliegen von Organisationen, die die Cloud nutzen. Wichtige Aspekte der Cloudsicherheit, wenn es um die Verwaltung von Cloudressourcen geht, sind Identität und Zugriff. In einer von Mobilgeräten und der Cloud geprägten Welt können Benutzer mithilfe einer Vielzahl von Geräten und Apps von überall aus auf Ressourcen in Ihrer Organisation zugreifen. Daher reicht es nicht mehr aus, sich darauf zu konzentrieren, wer Zugriff auf Ihre Ressourcen Zugriff hat. Um das Gleichgewicht zwischen Sicherheit und Produktivität zu bewahren, müssen Sie bei der Wahl der Zugriffssteuerung auch berücksichtigen, auf welche Weise auf eine Ressource zugegriffen wird. Mit dem bedingten Zugriff von Azure Active Directory können Sie diese Anforderung erfüllen. Der bedingte Zugriff ist eine Funktion von Azure Active Directory. Mit dem bedingten Zugriff können Sie basierend auf bestimmten Bedingungen automatisierte Entscheidungen hinsichtlich der Zugriffssteuerung für den Zugriff auf Ihre Cloud-Apps implementieren.

Kunden können schon heute von dem bedingten Azure Active Directory-Zugriff in Azure Databricks profitieren, indem sie eine neue Richtlinie für bedingten Zugriff in Azure AD über das Portal erstellen. Weitere Informationen über den bedingten Azure AD-Zugriff finden Sie in der Dokumentation zu Azure Databricks.

Vorschau

Azure Databricks Delta

Azure Databricks Delta, derzeit in der Vorschauversion verfügbar, ist eine leistungsstarke transaktionale Speicherebene, die auf Apache Spark basiert und eine bessere Datenkonsistenz und schnelleren Lesezugriff ermöglicht.

Da Kunden komplexe Pipelines für Batch- und Streamingdaten erstellen, müssen ETL-Pipelines vereinfacht werden. Um eine einheitliche Ansicht zu erhalten, erstellen Kunden oft mehrere Stufen in ihrer Pipeline, um sich ändernde Schemata zu berücksichtigen und auch Lambda-Muster mit verschiedenen Stufen für die Verarbeitung von Batch- und Streamingdaten zu unterstützen.

Azure Databricks Delta kann mit Spark-Tabellen verwendet werden, damit mehrere Benutzer oder Aufträge gleichzeitig ein Dataset ändern und einheitliche Ansichten erhalten können. Dies kann ohne Beeinträchtigung anderer Aufträge geschehen, die das gleiche Dataset aus der Tabelle lesen. Azure Databricks Delta nutzt PARQUET-Dateien, führt jedoch ein Transaktionsprotokoll. Dies ermöglicht eine bessere Dateiverwaltung, indem Daten in großen Dateien organisiert werden, wodurch sie weitaus effizienter bereitgestellt werden können. Zudem weist es integrierte Statistiken auf, die die Leistung verbessern, indem durch Überspringen von Daten das Lesen irrelevanter Informationen vermieden wird.

Azure Databricks Delta ist derzeit in der Vorschauversion verfügbar. Weitere Informationen finden Sie in unserer Dokumentation und in unserem Schnellstartnotebook, der zum Import verfügbar ist.

Azure Databricks unterstützt Azure SQL Data Warehouse als Streamingsenke

Wir freuen uns, Ihnen mitteilen zu können, dass Azure Databricks-Benutzer mithilfe von strukturierten Streams Daten direkt in Azure SQL Data Warehouse streamen können. So können Kunden nahezu in Echtzeit Daten in SQL DW visualisieren und Berichte für diese erstellen, was durch mit strukturierten Streams erstellte Echtzeitdatenstrompipelines unterstützt wird. Dies führt zu einer schnelleren Entscheidungsfindung im gesamten Unternehmen.

Angesichts des explosionsartigen Wachstums des zu analysierenden Datenvolumens, der Verbreitung verschiedener Datentypen und der Notwendigkeit von Echtzeitanalysen ist ein zentraler Hub notwendig, um alle Daten zu visualisieren. Azure SQL Data Warehouse (SQL DW) ist ein cloudbasiertes Enterprise Data Warehouse mit Massively Parallel Processing (MPP) zur schnellen Ausführung komplexer Abfragen für mehrere Petabytes an Daten. Das Data Warehouse kann als einzige Quelle der Wahrheit, „Single Point of Truth“, dienen, auf die sich Ihr Unternehmen verlassen kann, um Visualisierungen vorzunehmen und Erkenntnisse zu gewinnen.

Geheimnisbereiche mit Azure Key Vault-Unterstützung mit Azure Databricks

Azure Databricks bietet die Möglichkeit, eine Verbindung mit Azure Data Lake Storage, Cosmos DB, SQL DW, Event Hubs, IoT Hubs und verschiedenen anderen Diensten herzustellen. Ab sofort können wir Kunden die Möglichkeit bieten, Verbindungszeichenfolgen oder Geheimnisse in Azure Key Vault zu speichern.

Mit Azure Key Vault können Sie Anwendungsgeheimnisse sicher speichern und verwalten, indem die Wahrscheinlichkeit eines versehentlichen Verlustes von Sicherheitsinformationen reduziert und die Speicherung von Geheimnissen zentralisiert wird.

Wenn Sie Key Vault mit Azure Databricks verwenden, um Geheimnisbereiche zu erstellen, müssen Data Scientists und Entwickler keine Sicherheitsinformationen wie SAS-Token oder Verbindungszeichenfolgen mehr in ihren Notebooks speichern. Ein Benutzer kann erst nach ordnungsgemäßer Authentifizierung und Autorisierung auf einen Schlüsseltresor zugreifen. Bei der Authentifizierung wird die Identität des Benutzers ermittelt, während bei der Autorisierung bestimmt wird, welche Vorgänge der Benutzer ausführen darf.

Damit unterstützt Azure Databricks nun zwei Arten von Geheimnisbereichen: Bereiche, die mit Azure Key Vault gesichert werden, und solche, die mit Databricks gesichert werden. Weitere Informationen zu Geheimnisbereichen, die mit Azure Key Vault gesichert werden, finden Sie hier.

Spark + AI Summit Europe

Microsoft wird eine große Präsenz auf dem Spark + AI Summit Europe 2018 haben, der wichtigsten Veranstaltung für die Apache Spark-Community. So wird Rohan Kumar, Corporate Vice President of Azure Data, eine Keynote darüber halten, wie Azure Databricks das Beste aus beiden Welten, der Apache® Spark™-Analyseplattform und den Microsoft Azure-Datendiensten, kombiniert. Dadurch sollen Kunden darin unterstützt werden, Daten optimal zu nutzen, und Möglichkeiten aufgezeigt werden, wie KI implementiert und damit unsere Welt verbessert werden kann. Auf dem Spark + AI Summit veranstalten wir eine Reihe von Sitzungen, in denen wir die großartige Arbeit unserer Kunden und Partner vorstellen und zeigen, wie Azure Databricks sie unterstützt, ihre Produktivität zu steigern.

Starten Sie noch heute!

Wir möchten Sie einladen, Azure Databricks zu testen! Machen Sie sich noch heute damit vertraut, und teilen Sie uns Ihr Feedback mit.

• Testen Sie die 14-Tage-Testversion von Azure Databricks Premium mit kostenlosen Databricks Units.
• Registrieren Sie sich für unser Webinar, um zu erfahren, wie Lennox mit Azure Databricks eine skalierbare IoT-Lösung entwickelt hat.
• Sehen Sie sich das Video zum Einstieg in Apache Spark in Azure Databricks an.
• Laden Sie das E-Book zu drei praktischen Anwendungsfällen mit Azure Databricks herunter.