Apache Kafka для HDInsight

Управляемая высокопроизводительная служба с низкими показателями задержки для работы с данными, поступающими в реальном времени

Kafka для HDInsight — это экономичная, простая в подготовке, управлении и использовании служба потоковой передачи приема корпоративного класса с открытым кодом. Она позволяет создавать решения, работающие в режиме реального времени, такие как решения для Интернета вещей, выявления мошенничества, анализа посещаемости сайта, финансовых оповещений и социальной аналитики.

Обработка миллиона потоков событий в секунду

Обрабатывайте огромные объемы данных, созданных приложениями, работающими в режиме реального времени, с помощью Kafka для HDInsight. Apache Kafka — это самый популярный брокер по потоковой передаче и приему с открытым кодом, который может обрабатывать огромное число операций чтения и записи в секунду от тысяч клиентов. Создавайте эффективные конвейеры потоковой передачи для выполнения интеллектуальных действий в реальном времени, используя готовые возможности интеграции с Apache Storm для HDInsight и Apache Spark для HDInsight.


Apache Hadoop® и связанные названия проектов с открытым кодом являются товарными знаками Apache Software Foundation.

Данные поступают из различных источников событий (таких, как приложения, устройства, датчики, Интернет, социальные сети) и собираются в облаке с помощью веб-API или полевых шлюзов. Платформа Kafka HDInsight принимает поток данных для обработки и анализа с помощью таких служб, как машинное обучение Azure, Spark для HDInsight, Storm для HDInsight, а также с помощью адаптеров хранения. Данные перемещаются в хранилище для долгосрочного хранения благодаря таким службам, как Apache HBase на HDInsight, DocumentDB, MongoDB SQL, Solr Azure, Data Lake Store и Поиск Azure. После этого вы сможете запускать в реальном времени панели мониторинга, запросы и аналитику либо отправлять данные на устройства для выполнения тех или иных действий.

Управление и контроль корпоративного уровня

Визуализируйте процессы приложения, работающего в реальном времени, и получите контроль над ним благодаря возможности обнаружения угроз, мониторинга и управления Microsoft Operations Management Suite. Регистрируйте метрики журналов, событий и JMX для определения упреждающих действий и устанавливайте оповещения с помощью модулей Runbook службы автоматизации Azure. Кроме того, вы получаете возможность выполнять статистическое агрегирование и создавать эффективные визуализации для отчетности и мониторинга.

Надежность и поддержка открытого кода

Корпорация Майкрософт управляет службой Kafka для HDInsight и обеспечивает круглосуточную поддержку корпоративного уровня, а также мониторинг кластеров. Общедоступная версия HDInsight гарантирует 99,9 % времени безотказной работы для кластеров Kafka.

Простая настройка, быстрые результаты

Kafka для HDInsight не требует длительной установки или настройки. Azure выполняет все автоматически. Развертывайте управляемый кластер Kafka своей конфигурации на полнофункциональном портале или с помощью простых шаблонов JSON. Ваш кластер будет готов к работе за считаные минуты. Он сможет принимать данные с низкой задержкой и высокой пропускной способностью. Плата взимается только за используемые вычислительные ресурсы и ресурсы хранения. Вам не нужно покупать новое оборудование или вносить предоплату.

Попробуйте Kafka для HDInsight