Büyük veri mimarisinde gerçek zamanlı analiz

Azure Analysis Services
Azure Event Hubs
Azure Synapse Analytics

Çözüm fikirleri

Bu makale bir çözüm fikridir. İçeriği olası kullanım örnekleri, alternatif hizmetler, uygulama konuları veya fiyatlandırma yönergeleri gibi daha fazla bilgiyle genişletmemizi isterseniz GitHub geri bildirimi sağlayarak bize bildirin.

Bu çözüm fikri, canlı akış verilerinden nasıl içgörü alabileceğinizi açıklar. Tüm IoT cihazlarından veya web sitesi tıklama akışlarındaki günlüklerden sürekli olarak veri yakalayın ve yakaladığınız verileri neredeyse gerçek zamanlı olarak işleyin.

Mimari

Azure Data Lake Depolama, Event Hubs, Azure Analysis Services, Azure Cosmos DB ve Power BI ile Azure Synapse Analytics kullanan büyük veri mimarisine ilişkin gerçek zamanlı analiz çözümünün diyagramı.

Bu mimarinin bir Visio dosyasını indirin.

Veri akışı

  1. Azure Event Hubs kullanarak bir uygulama için canlı akış verilerini kolayca alın.
  2. Azure Blob Depolama için Synapse Pipelines kullanarak tüm yapılandırılmış verilerinizi bir araya getirin.
  3. Akış verilerini temizlemek, dönüştürmek ve analiz etmek için Apache Spark havuzlarından yararlanın ve bunu işletimsel veritabanlarından veya veri ambarlarından alınan yapılandırılmış verilerle birleştirin.
  4. Apache Spark havuzlarındaki not defteri deneyimleriyle Python, Scala veya .NET kullanarak bu verilerden daha derin içgörüler elde etmek için ölçeklenebilir makine öğrenmesi/derin öğrenme tekniklerini kullanın.
  5. Büyük ölçekte verilere erişmek ve verileri taşımak için Azure Synapse Analytics'te Apache Spark havuzu ve Synapse İşlem Hatları uygulayın.
  6. Kuruluşunuzdaki içgörüleri paylaşmak için ayrılmış SQL havuzunda analiz panoları ve eklenmiş raporlar oluşturun ve bu verileri binlerce kullanıcıya sunmak için Azure Analysis Services'i kullanın.
  7. Apache Spark havuzlarından gelen içgörüleri Azure Cosmos DB'ye aktararak gerçek zamanlı uygulamalar aracılığıyla erişilebilir hale getirin.

Bileşenler

  • Azure Synapse Analytics , yüksek düzeyde paralel işleme mimarisiyle esnek ve bağımsız olarak ölçeklendirmenize, hesaplamanıza ve depolamanıza olanak tanıyan hızlı, esnek ve güvenilir bulut veri ambarıdır.
  • Synapse Pipelines Belgeleri , ETL/ELT iş akışlarınızı oluşturmanıza, zamanlamanıza ve düzenlemenize olanak tanır.
  • Azure Data Lake Depolama: Azure Blob Depolama üzerinde oluşturulan yüksek düzeyde ölçeklenebilir, güvenli veri gölü işlevselliği
  • Azure Synapse Analytics Spark havuzları hızlı, kolay ve işbirliğine dayalı bir Apache Spark tabanlı analiz platformudur.
  • Azure Azure Event Hubs Belgeleri büyük bir veri akışı platformu ve olay alımı hizmetidir.
  • Azure Cosmos DB , genel olarak dağıtılmış, çok modelli bir veritabanı hizmetidir. Daha sonra, verilerinizi dilediğiniz sayıda Azure bölgesine çoğaltmayı ve aktarım hızınızı depolama alanınızdan bağımsız olarak ölçeklendirmeyi öğrenin.
  • Azure Cosmos DB için Azure Synapse Link, Azure Synapse çalışma alanınızda bulunan iki analiz altyapısını kullanarak işlem iş yükünüz üzerinde herhangi bir performans veya maliyet etkisi olmadan Azure Cosmos DB'deki operasyonel veriler üzerinde neredeyse gerçek zamanlı analiz çalıştırmanıza olanak tanır: SQL Sunucusuz ve Spark Havuzları.
  • Azure Analysis Services , iş zekası çözümünüzü güvenle yönetmenize, dağıtmanıza, test etmenizi ve sunmanızı sağlayan bir hizmet olarak kurumsal sınıf analizdir.
  • Power BI , kuruluşunuz genelinde içgörüler sunan bir iş analizi araçları paketidir. Yüzlerce veri kaynağına Bağlan, veri hazırlığı basitleştirin ve plansız analize yol açın. İlgi çekici raporlar oluşturup web’de ve mobil cihazlarda kullanım için bunları kuruluşunuza yönelik olarak yayımlayın.

Alternatifler

  • Synapse Link , Azure Cosmos DB verilerinin üzerinde analiz için Microsoft tarafından tercih edilen çözümdür.
  • Azure Event Hubs yerine Azure IoT Hub kullanılabilir. IoT Hub, bulutta barındırılan ve IoT uygulaması ile ekli cihazları arasındaki iletişim için merkezi bir ileti hub'ı işlevi gören yönetilen bir hizmettir. Milyonlarca cihazı ve arka uç çözümlerini güvenilir ve güvenli bir şekilde bağlayabilirsiniz. Neredeyse tüm cihazlar bir IoT hub'ına bağlanabilir.

Senaryo ayrıntıları

Bu senaryoda, canlı akış verilerinden nasıl içgörü alabileceğiniz gösterilmektedir. Herhangi bir IoT cihazından veya web sitesi tıklama akışlarından günlüklerden sürekli olarak veri yakalayabilir ve neredeyse gerçek zamanlı olarak işleyebilirsiniz.

Olası kullanım örnekleri

Bu çözüm, medya ve eğlence sektörü için idealdir. Senaryo, canlı akış verilerinden analiz oluşturmaya yöneliktir.

Dikkat edilmesi gereken noktalar

Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanılabilecek bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.

Maliyet iyileştirme

Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını aramaktır. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.

Özelleştirilmiş bir fiyatlandırma tahmini almak için Azure fiyatlandırma hesaplayıcısını kullanabilirsiniz.

Sonraki adımlar