HDInsight için Apache Kafka

Gerçek zamanlı veriler için işleme düzeyi yüksek ve gecikme süresi düşük, yönetilen hizmet

HDInsight için Kafka, ayarlanması, yönetilmesi ve kullanılması ekonomik ve kolay olan kurumsal sınıf, açık kaynaklı bir akış alma hizmetidir. Nesnelerin İnterneti (IoT), sahtekarlık algılama, tıklama dizisi analizi, finansal uyarılar ve sosyal analiz gibi gerçek zamanlı çözümler oluşturun.

%99,9 SLA ile, yönetilen Kafka

Donanımın satın alınması, yüklenmesi ve ince ayarlarının yapılması çok fazla zaman ve emek gerektirir. Bu makinelerin hiç veri kaybı olmadan her zaman çalışır durumda tutulması, daha da fazla çaba gerektirir ve büyük bir sahip olma maliyeti doğurur. Azure HDInsight için Kafka, tüm bunları sizin yerinize yönetir. Kafka çalışma süresi için %99,9 SLA ile, Kafka kümeleri 4 tıklamada çalışır duruma getirilir. Bu sayede, yeni Kafka aracıları yüklemekle ya da bozulanları onarmakla uğraşmak yerine gerçek zamanlı uygulamalar yazmaya, bunların mantığına ve daha üst düzey işlem hatları oluşturmaya odaklanabilirsiniz.

Azure Ortamları için raf tanıma

Kafka, tek boyutlu bir raf düşünülerek tasarlanmıştır ve bu yaklaşım bazı ortamlar için çok uygundur. Ancak, Azure gibi bazı ortamlarda raf iki boyuta ayrılmıştır: Güncelleme Etki Alanları (UD) ve Hata Etki Alanları (FD). HDInsight Kafka, Kafka’nın Azure ortamlarında rafı tanıyabilmesini sağlayan ölçeklenebilir ve sağlam araçlar geliştirdi. Bu araçlar, UD ve FD’lerde bölümleri ve çoğaltmaları yeniden dengeleyerek Azure Kullanılabilirlik Alanlarında mümkün olan en üst düzeyde Kafka kullanılabilirliği sağlar.

Azure Yönetilen Diskleri ile tümleştirme

Alma ağırlıklı yapı nedeniyle, kümedeki düğümler üzerinde kullanıma açılan diskler çoğu durumda performans sorununa neden olur. Genellikle, bu performans sorununun ölçeklendirilmesi için daha fazla düğüm eklenmesi gerekir. Azure Yönetilen Diskleri, bir düğüme göre çok daha düşük bir maliyetle ucuz ve ölçeklenebilir diskler sağlayan bir teknolojidir. HDInsight Kafka bu disklerle tümleştirilmiş olması sayesinde, düğüm başına 1 TB olan geleneksel depolama alanı yerine düğüm başına 16 TB’a kadar depolama alanı sağlar. Böylece, ölçek hızlıca artarken maliyetler de aynı hızda düşer. Kurumsal müşterilerimiz bu yenilik sayesinde her ay binlerce dolar tasarruf sağlıyor.

Kullanıma hazır olarak sunulan uyarı, izleme ve tahmine dayalı bakım özellikleri

Bir akış işlem hattını çalışır duruma getirilmesi yalnızca başlangıçtır. Bu işlem hattının herhangi bir sorun olmadan güvenilir bir şekilde çalışmasının sağlanması için, izleme ve uyarı altyapılarına ciddi ölçüde yatırım yapılması gerekir. HDInsight için Kafka, Azure’ın izleme paketi ile tümleşik olarak sunulduğundan bu sorunu ortadan kaldırır. Bu teknoloji, VM düzeyinde disk ve NIC ölçümlerinden Kafka, Storm ve Spark’a ilişkin JMX ölçümlerine kadar her şeyi izleme olanağı sunar. Güçlü uyarı ve izleme panoları oluşturmanın yanı sıra, bu ölçümlere göre hazırladığınız betik ve runbook’lar ile akış işlem hattınızın otomatik ve tahmine dayalı bakımını sağlayabilirsiniz.

Kafka verilerini çoğaltmaya yönelik MirrorMaker desteği

Olağanüstü Durum Kurtarma, yüksek kullanılabilirlik ve şirket içinden buluta hibrit senaryolarında Kafka, genellikle birden çok ortamda dağıtılır. Bu nedenle, verilerin bir Kafka’dan diğerine çoğaltılması gerekir. Bu ihtiyacı tam olarak anlayabilmek için kurumsal müşterilerle birlikte çalışan HDInsight, veri çoğaltma senaryolarına yönelik destek sunuyor. HDInsight Kafka’da yansıtmanın kurulumu ve kullanımı çok kolaydır.

Yalnızca birkaç dakika içinde küme ölçeklendirme

İleti boyutları, saniye başına ileti sayısı ve akış ihtiyaçları için yapılan tahminler, işlem hattı kullanıldıkça değişir. Kümenin boyutu gelenllikle trafiğin en yoğun olduğu zamana göre belirlenir. Bu da kullanılmayan kapasite için çok yüksek maliyetler oluşmasına yol açar. Düğüm ekleme zamanı geldiğinde, yeni makinelerin sağlanması, yüklenmesi ve yeniden uygulanan özelleştirmelerle yapılandırılması gerekir. HDInsight Kafka’da, küçük kümelerle başlayıp ölçeği gerektikçe artırarak maliyetleri önemli ölçüde düşürebilirsiniz. HDInsight, yeni düğümleri sağlama işlemini hallederek özelleştirmeleri birkaç dakika içinde uygular.

HDInsight için Kafka ile neler oluşturabilirsiniz?

Aşağıdan uygulama alanları hakkında bilgi edinebilirsiniz:

Veriler, çeşitli olay kaynaklarından (uygulamalar, cihazlar, algılayıcılar, web, sosyal medya) gelir ve web API’leri veya alan ağ geçitleri aracılığıyla bulutta toplanır. Veri akışı, HDInsight için Kafka tarafından, Azure Machine Learning, HDInsight için Spark, HDInsight için Storm ve depolama bağdaştırıcıları gibi hizmetler aracılığıyla işleme ve analiz işlemleri gerçekleştirmek amacıyla alınır. Veriler HDInsight üzerinde Apache HBase, DocumentDB, MonoDB SQL, Solr Azure, Data Lake Store ve Azure Search gibi hizmetler ile uzun süreli depolamaya taşınır. Daha sonra gerçek zamanlı panolarınızı, sorgularınızı ve analizlerinizi çalıştırabilir veya işlem yapmak için verileri cihazlara gönderebilirsiniz.

HDInsight için Kafka kullanan müşteriler

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

HDInsight için Kafka’yı kullanmaya yeni mi başlıyorsunuz?

Azure’da Kafka, Storm ve Spark Akışı kullanarak sağlam ve kurumsal kullanıma hazır akış işlem hatları oluşturmak için aşağıdaki bağlantılardan yararlanın.

Azure ile gerçek zamanlı akış işlem hatlarını izleyin

HDInsight Kafka ile Azure İzleme tümleştirmesini kullanarak güçlü uyarı ve izleme panolarının yanı sıra akış işlem hattınızın tahmine dayalı bakımı için otomatik betikler ve runbook’lar oluşturmayı öğrenin.

HDInsight için Kafka’yı deneyin