Изменить

Аналитика в реальном времени для архитектуры больших данных

Службы Azure Analysis Services
Центры событий Azure
Azure Synapse Analytics

Идеи решения

Эта статья является идеей решения. Если вы хотите расширить содержимое с дополнительными сведениями, такими как потенциальные варианты использования, альтернативные службы, рекомендации по реализации или рекомендации по ценам, сообщите нам, предоставив отзыв GitHub.

Эта идея решения описывает, как получить аналитические сведения из потоковых данных потоковой передачи. Непрерывно собирайте данные с любых IoT-устройств или журналов кликов на веб-сайтах и обрабатывайте их в режиме реального времени.

Архитектура

Схема решения аналитики в режиме реального времени на архитектуре больших данных, использующая Azure Synapse Analytics с Azure Data Lake служба хранилища, Центрами событий, Службами Azure Analysis Services, Azure Cosmos DB и Power BI.

Скачайте файл Visio для этой архитектуры.

Поток данных

  1. Легко прием потоковых данных потоковой передачи для приложения с помощью Центры событий Azure.
  2. Объединение всех структурированных данных с помощью конвейеров Synapse для Хранилище BLOB-объектов Azure.
  3. Воспользуйтесь преимуществами пулов Apache Spark для очистки, преобразования и анализа потоковых данных и объединения их со структурированными данными из операционных баз данных или хранилищ данных.
  4. Используйте масштабируемые методы машинного обучения и глубокого обучения, чтобы получить более подробные сведения из этих данных, используя Python, Scala или .NET, с интерфейсом записных книжек в пулах Apache Spark.
  5. Применение пула Apache Spark и Конвейеров Synapse в Azure Synapse Analytics для доступа к данным и перемещения в большом масштабе.
  6. Создание панелей мониторинга аналитики и внедренных отчетов в выделенном пуле SQL для совместного использования аналитических сведений в организации и использования Служб Azure Analysis Services для обслуживания этих данных тысячам пользователей.
  7. Запустите аналитические сведения из пулов Apache Spark в Azure Cosmos DB, чтобы сделать их доступными через приложения в режиме реального времени.

Компоненты

  • Azure Synapse Analytics — это быстрое, гибкое и надежное облачное хранилище данных, которое позволяет масштабировать, вычислять и хранить эластично и независимо друг от друга с архитектурой массовой параллельной обработки.
  • Документация по конвейерам Synapse позволяет создавать, планировать и оркестрировать рабочие процессы ETL/ELT.
  • Azure Data Lake служба хранилища: масштабируемая, безопасная функция озера данных, созданная на основе Хранилище BLOB-объектов Azure
  • Пулы Spark Azure Synapse Analytics — это быстрая, простая и совместная платформа аналитики на основе Apache Spark.
  • Документация по Azure Центры событий Azure — это платформа потоковой передачи больших данных и служба приема событий.
  • Azure Cosmos DB — это многомодельная глобально распределенная служба баз данных. Затем научитесь реплицировать данные в любом количестве регионов Azure и масштабировать пропускную способность независимо от хранилища.
  • Azure Synapse Link для Azure Cosmos DB позволяет практически в реальном времени выполнять аналитику по операционным данным в Azure Cosmos DB без какого-либо снижения производительности или повышения затрат на транзакционную рабочую нагрузку. Для этого применяются два аналитических модуля, доступные в рабочей области Azure Synapse: бессерверная служба SQL и пулы Spark.
  • Службы Azure Analysis Services — это корпоративная аналитика в качестве службы, которая позволяет управлять, развертывать, тестировать и доставлять решение бизнес-аналитики с уверенностью.
  • Power BI — это набор инструментов бизнес-аналитики, которые обеспечивают целостное представление обо всей вашей организации. Подключение к сотням источников данных, упрощению подготовки данных и незапланированному анализу. Создавайте удобные отчеты, а затем публикуйте их для своей организации, чтобы предоставлять к ней доступ в Интернете и на мобильных устройствах.

Альтернативные варианты

  • Synapse Link — это предпочтительное решение Майкрософт для аналитики на основе данных Azure Cosmos DB.
  • Центр Интернета вещей Azure можно использовать вместо Центры событий Azure. Центр Интернета вещей — это управляемая служба, размещенная в облаке, которая выступает в качестве центрального центра сообщений для обмена данными между приложением Интернета вещей и подключенными устройствами. Можно безопасно подключать миллионы устройств и их серверные решения. Почти любое устройство может быть подключено к Центру Интернета вещей.

Подробности сценария

В этом сценарии показано, как получить аналитические сведения из потоковых данных потоковой передачи. Вы можете непрерывно записывать данные с любого устройства Интернета вещей или журналы из веб-сайтов clickstreams и обрабатывать их практически в режиме реального времени.

Потенциальные варианты использования

Это решение идеально подходит для медиа и индустрии развлечений. Этот сценарий предназначен для создания аналитики из потоковых данных потоковой передачи.

Рекомендации

Эти рекомендации реализуют основные принципы платформы Azure Well-Architected Framework, которая является набором руководящих принципов, которые можно использовать для улучшения качества рабочей нагрузки. Дополнительные сведения см. в статье Microsoft Azure Well-Architected Framework.

Оптимизация затрат

Оптимизация затрат заключается в поиске способов уменьшения ненужных расходов и повышения эффективности работы. Дополнительные сведения см. в разделе Обзор критерия "Оптимизация затрат".

Вы можете использовать калькулятор цен Azure для получения настраиваемой оценки цен.

Следующие шаги