Apache Storm для HDInsight

Упрощение потоковой обработки в режиме реального времени для больших данных

Что такое Apache Storm?

Apache Storm — распределенное, отказоустойчивое решение по обработке событий в реальном времени с открытым кодом для больших и быстрых потоков данных. Это решение приобрело известность благодаря сети Twitter, которая использовала эту технологию для обработки потоков огромного числа твитов. Теперь Storm — проект Apache Software Foundation. Azure упрощает и удешевляет развертывание Apache Storm, так как не нужно приобретать аппаратное обеспечение, настраивать программы и можно воспользоваться своими средствами разработки (Java или C#), а также глубокой интеграцией с Visual Studio.

Просмотреть краткий обзор >

Данные поступают из различных источников (приложений, устройств, датчиков, Интернета, социальных сетей) и собираются в облаке с помощью веб-API или полевых шлюзов. Для обработки данных в режиме реального времени с помощью Apache Storm в HDInsight данные помещаются в такие службы очередей, как концентраторы событий, Kafka, RabbitMQ или ActiveMQ. Благодаря Apache HBase в HDInsight данные переносятся в хранилище для долгосрочного хранения, где можно запускать панели мониторинга, выполнять запросы и анализ в режиме реального времени.

Оперативная обработка сложных задач в реальном времени

На сегодняшний день сетевой мир определяется большими данными, поступающими в реальном времени. Storm отлично подходит для сложных сценариев в реальном времени, таких как обнаружение мошенничества, анализ посещаемости сайта, финансовые оповещения, телеметрия от датчиков и устройств Интернета вещей, социальная аналитика, постоянные конвейеры ETL и мониторинг сети. Ваши клиенты могут использовать в качестве источника эти события в реальном времени, полученные от устройств, датчиков, инфраструктуры, приложений, веб-сайтов и данных.

Простая настройка, быстрые результаты

Storm для HDInsight не требует длительной установки и настройки. В Azure подготовка к началу работы происходит быстро и без каких-либо усилий с вашей стороны. Вы сможете приступить к работе уже через несколько минут. Кроме того, развертывание Storm не предполагает покупку нового оборудования или какие-либо другие первоначальные затраты.

Интегрированная среда разработки для удобного получения быстрых результатов

Удобная в использовании система Storm поддерживает все языки программирования, в том числе Java и .NET. Встроенная интеграция со средой разработки Visual Studio предоставляет возможность быстрого и удобного развертывания и отладки топологий Storm. Вы можете комбинировать элементы spout, написанные на разных языках, что позволяет использовать обширное множество элементов spout и bolt в рамках вашей топологии.

Эластичность для больших данных

Storm для HDInsight использует возможности облака Azure, благодаря чему вы можете легко создавать кластеры любого размера для обработки любого объема данных по запросу. Плата взимается только за те вычислительные ресурсы и хранилища, которые реально используются.

Высокая доступность для непрерывности бизнес-процессов

Устойчивая к сбоям система Storm автоматически перезапускает рабочие роли на других узлах в случае отказа. Storm для HDInsight обеспечивает расширенные возможности, гарантируя 99,9 % времени доступности для кластеров Storm. Кроме того, Azure круглосуточно и без выходных предоставляет корпоративную поддержку, а также мониторинг кластеров.

Разверните свой первый конвейер аналитики Apache Storm

Развертывание кластера Apache Storm и запуск первого конвейера аналитики в реальном времени можно выполнить за считаные минуты.

Используйте подписку Azure или создайте пробную учетную запись для входа на портал Azure.

Дайте кластеру Storm имя и подберите количество узлов для определения размера кластера. Кластер Storm можно развернуть как на одном, так и на сотнях узлов. Также можно осуществлять уменьшение или увеличение масштаба запущенного кластера Storm.

Обычно развертывание кластера Storm занимает всего 15 минут. После развертывания нажмите STORM DASHBOARD внизу страницы для развертывания первой топологии Storm.

Укажите имя пользователя и пароль, установленные при создании кластера.

Из раскрывающегося списка выберите одну из топологий-образцов или загрузите новую топологию, которая должна быть скомпилирована в качестве JAR-файла.

Нажмите Отправить для развертывания топологии WorkCount. Эта топология подсчитает количество слов в предложениях Storm, которые используются в качестве входных данных.

После отправки можно нажать Storm UI для мониторинга работы топологии.

Удобно создавать и развертывать топологии Storm и управлять ими из среды Visual Studio. Пакет SDK Azure поставляется вместе с шаблонами для Storm в HDInsight, с которых легко начинать новые проекты. Интегрированный интерфейс Visual Studio увеличивает производительность и позволяет осуществлять полное управление проектами в среде Visual Studio.

Попробуйте HDInsight бесплатно