Apache Kafka per HDInsight

Servizio gestito a bassa latenza e velocità effettiva elevata per dati in tempo reale

Kafka per HDInsight è un conveniente servizio open source di inserimento di streaming di livello aziendale, che garantisce facilità di configurazione, gestione e uso. Crea soluzioni in tempo reale come IoT, rilevamento delle frodi, analisi clickstream, avvisi finanziari e analisi di social media.

Hardware Kafka gestito con contratto di servizio del 99,9%

L'acquisto dell'hardware e le operazioni di installazione e ottimizzazione richiedono tempo e fatica. Garantire che i computer siano sempre operativi in modo da non perdere i dati è una sfida ancora più grande che presenta un costo totale di proprietà enorme. Kafka per Azure HDInsight gestisce tutto questo al posto tuo. Bastano 4 clic e i cluster Kafka diventano operativi in pochi minuti e con un contratto di servizio per il tempo di attività Kafka del 99,9%. Questo significa che puoi concentrarti sullo sviluppo di applicazioni in tempo reale, sulla creazione della logica e delle pipeline di livello più elevato invece di preoccuparti di installare nuovi broker Kafka o di sistemare quelli danneggiati.

Riconoscimento del rack per gli ambienti Azure

Kafka è stato progettato con una visualizzazione a una dimensione di un rack che funziona perfettamente in alcuni ambienti. Negli ambienti come Azure, tuttavia, un rack viene separato in due dimensioni, i domini di aggiornamento e i domini di errore. HDInsight Kafka offre strumenti scalabili e potenti per garantire il riconoscimento del rack negli ambienti Azure. Questi strumenti gestiscono il ribilanciamento di partizioni e repliche tra domini di aggiornamento e domini di errore per offrire i livelli più elevati di disponibilità Kafka tra le zone di disponibilità di Azure.

Integrazione con Azure Managed Disks

A causa della pesantezza implicita nell'operazione di inserimento, i dischi collegati ai nodi del cluster spesso costituiscono un collo di bottiglia. In genere, per risolvere questo collo di bottiglia è necessario aggiungere altri nodi. Il servizio Azure Managed Disks è una tecnologia che offre dischi scalabili e più economici a una frazione del costo di un nodo. Questi dischi sono integrati in HDInsight Kafka per offrire fino a 16 TB/nodo invece di 1 TB standard. In questo modo è possibile aumentare esponenzialmente la scalabilità riducendo al contempo proporzionalmente i costi. Questa innovazione ha generato risparmi di migliaia di dollari al mese per i nostri clienti.

Funzionalità di avviso, monitoraggio e manutenzione predittiva predefinite

Configurare una pipeline di streaming è solo l'inizio. Garantire che offra prestazioni affidabili e senza problemi richiede investimenti significativi in infrastrutture di monitoraggio e avviso. Kafka per HDInsight risolve questo problema, perché è integrato con la famiglia di prodotti di monitoraggio di Azure per impostazione predefinita. Questa tecnologia ti permette di monitorare tutto ciò che ti serve, dai dischi a livello delle macchine virtuali, alle metriche della scheda di interfaccia di rete fino alle metriche JMX di Kafka, Storm e Spark. Non solo puoi creare dashboard di avviso e monitoraggio potenti, ma puoi anche specificare script e runbook in base alle metriche per la manutenzione predittiva e automatizzata della tua pipeline di streaming.

Supporto di MirrorMaker per la replica dei dati Kafka

Kafka è spesso distribuito in più ambienti per abilitare il ripristino di emergenza, la disponibilità elevata e scenari ibridi dall'ambiente locale al cloud. Questi scenari richiedono la replica dei dati da un'istanza di Kafka a un'altra. HDInsight ha collaborato con i clienti aziendali per approfondire questa esigenza e offre quindi il supporto per gli scenari di replica dei dati. Il mirroring in HDInsight Kafka è facile da configurare e da usare.

Ridimensionamento del cluster in pochi minuti

Le stime delle dimensioni e della frequenza dei messaggi al secondo e dello streaming devono essere modificate man mano che si usa la pipeline. In genere il cluster è dimensionato in base al traffico di picco, determinando così costi molto elevati per la capacità inutilizzata. Al momento di aggiungere altri nodi, è necessario effettuare il provisioning, l'installazione, la configurazione e la riapplicazione delle personalizzazioni per le nuove macchine virtuali. In HDInsight Kafka, è possibile iniziare con cluster di piccole dimensioni e ridimensionarli in base alle esigenze, razionalizzando così i costi. HDInsight gestisce il provisioning dei nuovi nodi e riapplica le personalizzazioni in pochi minuti.

Che cosa puoi creare con Kafka per HDInsight?

Scopri di più sui casi d'uso più avanti:

I dati provengono da varie origini eventi (applicazioni, dispositivi, sensori, Web, social media) e vengono raccolti nel cloud tramite API o gateway sul campo. Il flusso di dati viene inserito da Kafka per HDInsight per consentirne l'elaborazione e l'analisi con servizi come Azure Machine Learning, Spark per HDInsight, Storm per HDInsight e adattatori di archiviazione. I dati passano all'archiviazione a lungo termine con servizi come Apache HBase in HDInsight, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store e Ricerca di Azure. Puoi quindi eseguire query, analisi e dashboard in tempo reale oppure inviare i dati ai dispositivi per un intervento.

Clienti che usano Kafka per HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Nuovo utente di Kafka per HDInsight?

Usa i collegamenti seguenti per creare pipeline di streaming di livello aziendale potenti tramite Kafka, Storm e Spark Streaming in Azure.

Monitora le pipeline di streaming in tempo reale con Azure

Scopri come usare l'integrazione di HDInsight Kafka con Monitoraggio di Azure per creare dashboard di avviso e monitoraggio avanzati, nonché script e runbook automatizzati per la manutenzione predittiva della pipeline di streaming.

Prova Kafka per HDInsight