Apache Kafka для HDInsight

Управляемая высокопроизводительная служба с низкими показателями задержки для работы с данными, поступающими в реальном времени

Kafka для HDInsight — это экономичная, простая в настройке, управлении и использовании корпоративная служба приема потоковых данных с открытым кодом. Она позволяет создавать решения, работающие в режиме реального времени, предназначенные для Интернета вещей, выявления мошенничества, анализа навигации, финансовых оповещений и социальной аналитики.

Управление Kafka с соглашением об уровне обслуживания 99,9 %

Для приобретения оборудования, установки и настройки системы необходимо много времени и сил. Обеспечение непрерывной работы этих компьютеров во избежание потери данных — очень сложная и дорогая задача для владельца. Kafka для Azure HDInsight сделает всю работу за вас. Всего за 4 клика можно за считаные минуты настроить и запустить кластеры Kafka, для которых предоставляется соглашение об уровне обслуживания, гарантирующее непрерывную работу в течении 99,9 % времени в Kafka. Это значит, что вы можете посвятить больше времени написанию приложений в реальном времени, их логике и созданию конвейеров высокого уровня, не беспокоясь об установке новых брокеров Kafka или исправлении поврежденных.

Поддержка стоек для сред Azure

Служба Kafka разработана с использованием одномерного представления стойки, которое успешно работает в некоторых средах. Однако в некоторых средах, таких как Azure, стойка разделена на два измерения: домены обновления и домены сбоя. Служба HDInsight Kafka разработала масштабируемые и надежные средства с поддержкой стоек в средах Azure. Эти средства перераспределяют разделы и реплики в доменах обновлений и сбоев, чтобы обеспечить высочайший уровень доступности Kafka в зонах доступности Azure.

Интеграция с управляемыми дисками Azure

Из-за сложных особенностей приема диски, присоединенные к узлам в кластере, часто имеют ограниченную производительность. Обычно, чтобы увеличить производительность, необходимо добавить дополнительные узлы. Управляемые диски Azure — это технология, предоставляющая масштабируемые диски, которые гораздо дешевле, чем узлы. HDInsight Kafka интегрировано с этими дисками, чтобы иметь возможность предоставить до 16 ТБ на узел вместо обычного размера в 1 ТБ. Результатом является экспоненциальный рост масштабируемости и снижение стоимости в геометрической прогрессии. Благодаря этой инновации наши корпоративные клиенты смогут экономить тысячи долларов в месяц.

Стандартные оповещения, мониторинг и прогнозное обслуживание

Настройка и запуск конвейеров потоковой передачи — это только начало. Чтобы гарантировать надежную работу без проблем, необходимо значительно инвестировать в инфраструктуру мониторинга и оповещений. Служба Kafka для HDInsight устраняет эту проблему, так как она по умолчанию интегрирована с набором мониторинга Azure. Эта технология позволяет отслеживать все объекты, от дисков на уровне виртуальной машины и метрик сетевых адаптеров до метрик JMX из Kafka, Storm и Spark. Вы не только можете создавать мощные панели мониторинга и панели мониторинга оповещений, вы также можете указать скрипты и модули runbook этих метрик для автоматизированного и прогнозного обслуживания конвейеров потоковой передачи.

Поддержка MirrorMaker для репликации данных Kafka

Kafka часто развертывается в нескольких средах для гибридных сценариев аварийного восстановления, высокой доступности и переноса локальных данных в облако. Для этого необходимо выполнить репликацию данных из одного приложения Kafka в другое. HDInsight тесно сотрудничает с корпоративными клиентами, чтобы понять их потребности и предоставить поддержку для сценариев репликации данных. Зеркальное отображение HDInsight Kafka очень легко настроить и использовать.

Масштабирование кластера за считаные минуты

Расчеты размеров сообщений и количества сообщений потоковой передачи в секунду необходимо изменять по мере использования конвейера. Обычно для кластера задан максимальный объем трафика, что, в свою очередь приводит к большим затратам на неиспользуемые ресурсы. При добавлении дополнительных узлов необходимо подготовить, установить и настроить новые компьютеры с повторным применением параметров. В HDInsight Kafka начните использовать малые кластеры и масштабируйте их по мере необходимости, чтобы экспоненциально снизить стоимость. HDInsight подготавливает новые узлы с нужными настройками за считаные минуты.

Что можно создать с помощью Kafka для HDInsight?

Ниже приведены примеры использования.

Данные поступают из различных источников событий (таких, как приложения, устройства, датчики, Интернет, социальные сети) и собираются в облаке с помощью веб-API или полевых шлюзов. Платформа Kafka HDInsight принимает поток данных для обработки и анализа с помощью таких служб, как машинное обучение Azure, Spark для HDInsight, Storm для HDInsight, а также с помощью адаптеров хранения. Данные перемещаются в хранилище для долгосрочного хранения благодаря таким службам, как Apache HBase на HDInsight, DocumentDB, MongoDB SQL, Solr Azure, Data Lake Store и Поиск Azure. После этого вы сможете запускать в реальном времени панели мониторинга, запросы и аналитику либо отправлять данные на устройства для выполнения тех или иных действий.

Клиенты, использующие Kafka для HDInsight

Office 365
Toyota
Bing ads
Toyota Connected

"Toyota manufactures millions of cars running globally, and building a connected car platform to process real-time data at Toyota scale is a monumental challenge. To process events at Toyota's scale, technologies such as Kafka need to be leveraged. Since HDInsight is the only managed platform that provides Kafka as a managed service with a 99.9% SLA, Toyota was able to leverage the scalable technology of Kafka, Storm and Spark on Azure HDInsight. Using the HDInsight platform, we were able to deploy enterprise grade streaming pipelines to process events from millions of cars every second. This is just scratching the surface - the future of global connected cars on Azure HDInsight is bright, and we are excited for what's in store."

Vijay Chemuturi, Chief Product Owner, Toyota Connected

Впервые работаете с Kafka для HDInsight?

Используйте указанные ниже ссылки, чтобы создать надежные и готовые к внедрению на предприятии конвейеры потоковой передачи с помощью Kafka, Storm и Spark Streaming в Azure.

Мониторинг конвейеров потоковой передачи в реальном времени с помощью Azure

Узнайте, как использовать интеграцию HDInsight Kafka с Azure Monitoring, чтобы создать мощные панели мониторинга и панели мониторинга оповещений, а также прогнозное обслуживание для автоматических скриптов и модулей runbook конвейеров потоковой передачи.

Попробуйте Kafka для HDInsight