Apache Kafka для HDInsight

Управляемая высокопроизводительная служба с низкими показателями задержки для работы с данными, поступающими в реальном времени

Kafka для HDInsight — это экономичная, простая в настройке, управлении и использовании корпоративная служба приема потоковых данных с открытым кодом. Она позволяет создавать решения, работающие в режиме реального времени, предназначенные для Интернета вещей, выявления мошенничества, анализа навигации, финансовых оповещений и социальной аналитики.

Обработка миллиона потоков событий в секунду

Обрабатывайте огромные объемы данных, созданных приложениями, работающими в режиме реального времени, с помощью Kafka для HDInsight. Apache Kafka — это популярный брокер приема потоковых данных с открытым кодом. Эта служба способна обрабатывать огромное количество операций чтения и записи в секунду от тысяч клиентов. Проектируйте эффективные конвейеры потоковой передачи для выполнения интеллектуальных действий в реальном времени, используя готовые возможности интеграции с Apache Storm для HDInsight и Apache Spark для HDInsight.


Apache Hadoop® и связанные названия проектов с открытым кодом являются товарными знаками Apache Software Foundation.

Данные поступают из различных источников событий (таких, как приложения, устройства, датчики, Интернет, социальные сети) и собираются в облаке с помощью веб-API или полевых шлюзов. Платформа Kafka HDInsight принимает поток данных для обработки и анализа с помощью таких служб, как машинное обучение Azure, Spark для HDInsight, Storm для HDInsight, а также с помощью адаптеров хранения. Данные перемещаются в хранилище для долгосрочного хранения благодаря таким службам, как Apache HBase на HDInsight, DocumentDB, MongoDB SQL, Solr Azure, Data Lake Store и Поиск Azure. После этого вы сможете запускать в реальном времени панели мониторинга, запросы и аналитику либо отправлять данные на устройства для выполнения тех или иных действий.

Управление и контроль корпоративного уровня

Визуализируйте процессы решения, работающего в реальном времени, и получите контроль над ним благодаря обнаружению угроз, мониторингу и управлению с помощью Microsoft Operations Management Suite. Регистрируйте метрики журналов, событий и метрики Java Management Extensions (JMX) для определения упреждающих действий и настраивайте оповещения с помощью модулей runbook службы автоматизации Azure. Получите возможность выполнять статистическое агрегирование и создавать эффективные визуализации для отчетности и мониторинга.

Надежность и поддержка открытого кода

Корпорация Майкрософт управляет службой Kafka для HDInsight и обеспечивает круглосуточную поддержку корпоративного уровня, а также мониторинг кластеров. Общедоступная версия HDInsight обеспечивает 99,9 % времени безотказной работы для кластеров Kafka.

Простая настройка, быстрые результаты

Kafka для HDInsight не требует длительной установки или настройки. В Azure подготовка к началу работы происходит быстро и без каких-либо усилий с вашей стороны. Развертывайте управляемый кластер Kafka своей конфигурации на полнофункциональном портале или с помощью простых шаблонов JSON. Ваш кластер будет готов к работе за считанные минуты. Он сможет принимать данные с низкой задержкой и высокой пропускной способностью. Плата взимается только за используемые вычислительные ресурсы и ресурсы хранилища. Вам не нужно покупать новое оборудование или вносить предоплату.

Попробуйте Kafka для HDInsight