Apache Kafka dla usługi HDInsight

Zarządzana usługa o wysokiej przepustowości i małych opóźnieniach na potrzeby pracy w czasie rzeczywistym

Platforma Kafka dla usługi HDInsight jest usługą pozyskiwania strumieniowego typu open source o klasie dostosowanej do użycia w przedsiębiorstwach. Usługa jest ekonomiczna oraz łatwa do skonfigurowania, zarządzania i użytkowania. Kompiluj rozwiązania w czasie rzeczywistym, np. rozwiązania Internetu rzeczy (IoT), wykrywanie oszustw, analizę strumienia kliknięć, alerty finansowe i analitykę społeczną.

Zarządzana platforma Kafka z umową SLA gwarantującą dostępność na poziomie 99,9%

Zakup, instalacja i dostrojenie sprzętu wymaga dużo czasu i wysiłku. Jeszcze większe wyzwanie dotyczy dużego kosztu posiadania, związanego z zapewnieniem nieprzerwanego działania maszyn, tak aby nie dochodziło do utraty danych. Platforma Kafka dla usługi Azure HDInsight automatycznie zarządza tymi zadaniami. Wystarczą cztery kliknięcia, aby klastry platformy Kafka — objętej umową SLA gwarantującą dostępność na poziomie 99,9% — zaczęły działać w ciągu kilku minut. Dzięki temu możesz skoncentrować się na pisaniu i logice aplikacji działających w czasie rzeczywistym oraz na tworzeniu potoków wyższego poziomu zamiast zajmować się instalowaniem nowych brokerów platformy Kafka lub naprawianiem popsutych brokerów.

Rozpoznawanie regałów na sprzęt w środowiskach platformy Azure

Platformę Kafka zaprojektowano pod kątem jednowymiarowej perspektywy regału sprzętowego, co sprawdza się w niektórych środowiskach. Jednak w takich środowiskach jak platforma Azure regał sprzętowy jest reprezentowany w dwóch wymiarach — domenach aktualizacji i domenach błędów. Platforma Kafka dla usługi HDInsight udostępnia skalowalne, niezawodne narzędzia, które umożliwiają rozpoznawanie regałów na sprzęt w środowiskach platformy Azure. Narzędzia te pozwalają ponownie równoważyć partycje i repliki w domenach aktualizacji oraz domenach błędów w celu zapewnienia najwyższej dostępności platformy Kafka w strefach dostępności platformy Azure.

Integracja z usługą Azure Managed Disks

Ze względu na dużą ilość pozyskiwanych danych dyski dołączone do węzłów klastra często stanowią „wąskie gardło”. Tradycyjne rozwiązanie polega na zmianie skali i dodaniu kolejnych węzłów. Technologia usługi Azure Managed Disks udostępnia tańsze, skalowalne dyski, których cena stanowi ułamek kosztu węzła. Są one zintegrowane z platformą Kafka dla usługi HDInsight, co pozwala udostępnić nawet 16 TB — zamiast tradycyjnej wartości równej 1 TB — miejsca w jednym węźle. Powoduje to wykładniczy wzrost skali przy jednoczesnym drastycznym spadku kosztów. Dzięki tej innowacji nasi klienci korporacyjni oszczędzają tysiące dolarów miesięcznie.

Wbudowane alertowanie, monitorowanie i konserwacja predykcyjna

Wdrożenie potoku transmisji strumieniowych to tylko początek. Zapewnienie jego niezawodnej, bezproblemowej pracy wymaga dużych inwestycji w infrastrukturę umożliwiającą monitorowanie i generowanie alertów. Platforma Kafka dla usługi HDInsight pozwala pozbyć się tego problemu, ponieważ jest od razu zintegrowana z pakietem monitorowania platformy Azure. Dzięki tej technologii można monitorować wszystko — od dysków maszyn wirtualnych i metryk kart sieciowych po metryki JMX z rozwiązań Kafka, Storm i Spark. Można nie tylko tworzyć zaawansowane pulpity nawigacyjne monitorowania i generowania alertów, ale także określać na podstawie tych metryk skrypty oraz elementy runbook służące do automatyzowania konserwacji predykcyjnej potoku transmisji strumieniowych.

Obsługa narzędzia MirrorMaker służącego do replikowania danych platformy Kafka

Platforma Kafka jest często wdrażana w różnych środowiskach na potrzeby odzyskiwania po awarii i zapewnienia wysokiej dostępności oraz w scenariuszach hybrydowych obejmujących infrastrukturę lokalną i chmurę. Wymagają one replikowania danych między platformami Kafka. Aby dogłębnie zrozumieć te potrzeby, zespół ds. usługi HDInsight ściśle współpracuje z klientami korporacyjnymi, czego owocem jest obsługa scenariuszy replikacji danych. Konfigurowanie dublowania na platformie Kafka dla usługi HDInsight jest łatwe, podobnie jak używanie tej funkcji.

Skalowanie klastrów w ciągu kilku minut

W miarę użytkowania potoku zmieniają się wymagania dotyczące transmisji strumieniowej oraz prognozy w zakresie rozmiarów komunikatów i liczby komunikatów na sekundę. Tradycyjnie rozmiar klastra jest ustawiany na potrzeby szczytowego natężenia ruchu, co powoduje duży wzrost kosztów ze względu na nieużywaną pojemność. Dodanie kolejnych węzłów wymaga przeprowadzenia aprowizacji, zainstalowania i skonfigurowania nowych maszyn oraz ponownego zastosowania dostosowań. W przypadku platformy Kafka dla usługi HDInsight można zacząć od małych klastrów i skalować je w górę w miarę potrzeb, co generuje wykładniczy spadek kosztów. Usługa HDInsight obsługuje aprowizację nowych węzłów, a dostosowania są stosowane w ciągu kilku minut.

Jakie możliwości zapewnia platforma Kafka dla usługi HDInsight?

Dowiedz się więcej na temat przypadków zastosowań poniżej:

Dane pochodzą z różnych źródeł zdarzeń (aplikacji, urządzeń, czujników, sieci Web, sieci społecznościowych) i są zbierane w chmurze za pośrednictwem interfejsów API sieci Web lub bram działających w terenie. Strumień danych jest pozyskiwany przez platformę Kafka dla usługi HDInsight na potrzeby analizy przy użyciu usług, takich jak Azure Machine Learning, platformy Spark dla usługi HDInsight, platformy Storm dla usługi HDInsight i adapterów magazynu. Dane są przesyłane do magazynu długoterminowego przy użyciu takich usług jak Apache HBase w usłudze HDInsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store i Azure Search. Dzięki temu można uruchamiać pulpity nawigacyjne, zapytania i analizę w czasie rzeczywistym oraz wysyłać dane do urządzeń.

Klienci korzystający z platformy Kafka dla usługi HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Używasz platformy Kafka dla usługi HDInsight po raz pierwszy?

Skorzystaj z poniższych linków, aby utworzyć niezawodne potoki transmisji strumieniowych klasy korporacyjnej przy użyciu rozwiązań Kafka, Storm i Spark Streaming na platformie Azure.

Monitorowanie potoków transmisji strumieniowych w czasie rzeczywistym przy użyciu platformy Azure

Dowiedz się, jak dzięki integracji platformy Kafka dla usługi HDInsight z usługą Azure Monitoring można tworzyć zaawansowane pulpity nawigacyjne monitorowania i generowania alertów oraz zautomatyzowane skrypty i elementy runbook służące do obsługi konserwacji predykcyjnej potoku transmisji strumieniowych.

Wypróbuj platformę Kafka dla usługi HDInsight