Apache Storm для HDInsight

Упрощение потоковой обработки в режиме реального времени для больших данных

  • Обработка миллиона потоков событий в секунду
  • Система вычисления в реальном времени
  • Основывается на ведущей в отрасли платформе с открытым кодом
  • Высокая доступность и отказоустойчивость
  • Эластичность облака
  • Интеграция с Visual Studio
  • Отсутствует необходимость приобретения аппаратного обеспечения
  • Развертывание несколькими щелчками мыши

Что такое Apache Storm?

Apache Storm — распределенное, отказоустойчивое решение по обработке событий в реальном времени с открытым кодом для больших и быстрых потоков данных. Это решение приобрело известность благодаря сети Twitter, которая использовала эту технологию для обработки своих потоков огромного числа сообщений. Теперь Storm — проект Apache Software Foundation. Облако Azure упрощает развертывание Apache Storm и сокращает затраты на это, поскольку не нужно приобретать аппаратное обеспечение, выполнять настройку программ и можно воспользоваться своими средствами разработки (Java или C#), а также глубокой интеграцией с Visual Studio. Смотреть быстрый обзор.
Данные поступают из различных источников (приложений, устройств, датчиков, Интернета, социальных сетей) и собираются в облаке с помощью веб-API или полевых шлюзов. Для обработки данных в режиме реального времени с помощью Apache Storm в HDInsight данные помещаются в такие службы очередей, как концентраторы событий, Kafka, RabbitMQ или ActiveMQ. Благодаря Apache HBase в HDInsight данные переносятся в хранилище для долгосрочного хранения, где можно запускать панели мониторинга, выполнять запросы и анализ в режиме реального времени.

Оперативная обработка сложных задач в реальном времени

На сегодняшний день сетевой мир определяется большими данными, поступающими в реальном времени. Storm отлично подходит для сложных сценариев в реальном времени, таких как обнаружение мошенничества, анализ посещаемости сайта, финансовые оповещения, телеметрия от подключенных датчиков и устройств (IoT), социальная аналитика, постоянные конвейеры ETL и мониторинг сети. Клиенты могут использовать в качестве источника эти события в реальном времени, полученные от устройств, датчиков, инфраструктуры, приложений, веб-сайтов и данных.

Простая настройка, быстрые результаты

Storm для HDInsight не требует длительной установки или настройки. В Azure подготовка к началу работы происходит быстро и без каких-либо усилий с вашей стороны. Запуск осуществляется за считаные минуты. Для развертывания Storm не требуется приобретать аппаратное обеспечение или нести другие предварительные затраты.

Интегрированная среда разработки для удобного получения быстрых результатов

Удобный в использовании Storm поддерживает все языки программирования, в том числе Java и .NET. Встроенная интеграция со средой разработки Visual Studio предоставляет возможность быстрого и удобного развертывания и отладки топологий Storm. Можно даже смешивать источники, написанные на разных языках, что обеспечивает возможность использования обширного множества источников и обработчиков данных в рамках вашей топологии.

Эластичность для больших данных

Storm для HDInsight использует возможности облака Azure, упрощая создание кластеров любого размера для обработки любого объема данных по запросу. Плата взимается только за те вычислительные ресурсы и хранилища, которые реально используются.

Высокий уровень доступности для гарантии непрерывности бизнес-процессов

Устойчивый к сбоям Storm автоматически перезапускает рабочие роли на других узлах в случае отказа. Storm для HDInsight обеспечивает расширенные возможности, гарантируя 99,9 % времени безотказной работы для кластеров Storm. Кроме того, Azure круглосуточно и без выходных предоставляет корпоративную поддержку, а также мониторинг кластера.

Разверните свой первый конвейер аналитики Apache Storm

Развертывание кластера Apache Storm и запуск первого конвейера аналитики в реальном времени можно выполнить за считаные минуты.

Используйте подписку Azure или создайте пробную учетную запись для входа на портал Azure.

Дайте кластеру Storm имя и подберите количество узлов для определения размера кластера. Кластер Storm можно развернуть как на одном, так и на сотнях узлов. Также можно осуществлять уменьшение или увеличение масштаба запущенного кластера Storm.

Обычно развертывание кластера Storm занимает всего 15 минут. После развертывания нажмите STORM DASHBOARD внизу страницы для развертывания первой топологии Storm.

Укажите имя пользователя и пароль, установленные при создании кластера.

Из раскрывающегося списка выберите одну из топологий-образцов или загрузите новую топологию, которая должна быть скомпилирована в качестве JAR-файла.

Нажмите Отправить для развертывания топологии WorkCount. Эта топология подсчитает количество слов в предложениях Storm, которые используются в качестве входных данных.

После отправки можно нажать Storm UI для мониторинга работы топологии.

Удобно создавать и развертывать топологии Storm и управлять ими из среды Visual Studio. Пакет SDK Azure поставляется вместе с шаблонами для Storm в HDInsight, с которых легко начинать новые проекты. Интегрированный интерфейс Visual Studio увеличивает производительность и позволяет осуществлять полное управление проектами в среде Visual Studio.

Попробуйте HDInsight бесплатно