Пропустить навигацию

Фабрика данных Azure: визуальные средства в предварительной версии

Опубликовано 16 января, 2018

Senior Program Manager, Azure Data Factory

Общедоступная предварительная версия фабрики данных Azure (ADF) версии 2 была анонсирована на Microsoft Ignite 25 сентября 2017 года. В фабрике данных Azure версии 2 мы добавили гибкость в модель приложения и реализовали конструкции потока управления, которые теперь облегчают работу с циклами, ветвление, условные конструкции, выполнение по требованию и гибкое планирование в различных программных интерфейсах, таких как Python, .NET, PowerShell, REST API, шаблоны ARM. Один из ключевых моментов обратной связи с клиентами заключается в том, чтобы обеспечить расширенные интерактивные возможности визуализации и мониторинга, позволяющие пользователям создавать, настраивать, тестировать, развертывать и контролировать конвейеры интеграции данных без каких-либо трудностей. Мы учли ваши отзывы и рады объявить о выпуске визуальных средств для фабрики данных Azure версии 2. Основная цель визуальных средств фабрики данных — повысить эффективность работы с фабрикой данных благодаря возможности быстро настраивать и запускать конвейеры без необходимости написания кода. Вы можете использовать простой и интуитивно понятный интерфейс без кода, чтобы перетаскивать действия на холст конвейера, выполнять тестовые запуски, многократную отладку, развертывать и контролировать выполнения конвейеров. В этом выпуске мы также предоставляем руководство по использованию визуальных возможностей создания и мониторинга, а также возможность отправлять нам ценные отзывы.

Задача визуальных средств для фабрики данных Azure версии 2 — повысить производительность и эффективность как новых, так и продвинутых пользователей благодаря интуитивному взаимодействию. Вы можете начать работу, щелкнув плитку Создание и мониторинг в колонке подготовленной фабрики данных Azure версии 2.

image

 

Ознакомьтесь с некоторыми интересными функциями, в которых используются новые визуальные средства фабрики данных Azure версии 2. Вы также можете просмотреть короткое видео ниже.

 

Быстрое начало работы

  1. Создание первого конвейера фабрики данных Azure версии 2.

  2. Быстрое копирование данных из нескольких источников данных с помощью мастера копирования.

  3. Настройка IR SSIS для быстрого переноса пакетов SSIS в Azure.

  4. Настройка репозитория кода (VSTS GIT) для управления исходным кодом, версиями, совместной работы и т. д.

clip_image001[3]

Визуальное создание

Создание конвейеров потока управления

Создавайте конвейеры, перетаскивайте действия, подключайте их при успешном выполнении, при сбое или при завершении.

image

Создание автономных сред выполнения интеграции Azure

Создайте автономную среду выполнения интеграции для гибридного перемещения данных или IR Azure SSIS для быстрого переноса пакетов SSIS в Azure. Создавайте подключения связанных служб к вашим хранилищам данных или вычислениям.

clip_image001

Поддержка всех операций потока управления, выполняемых в ресурсах вычисления Azure

Действия потока управления:

  • HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, потоковая передача HDI, HDI Spark, U-SQL, хранимая процедура, веб-служба, цикл For Each, получение метаданных, поиск, запуск конвейера

Поддержка вычислений в Azure:

  • HDI (по запросу, BYOC), ADLA, пакетная служба Azure

Последовательная разработка и отладка

Выполняйте тестовые запуски перед подключением триггера к конвейеру и выполнением запусков по требованию или по расписанию.

image

Параметризация конвейеров и наборов данных

Выполняйте параметризацию с использованием выражений и системных переменных.

image

Поддержка расширенной проверки

Теперь вы можете проверять конвейеры, чтобы узнать о неправильных или отсутствующих конфигурациях свойств. Просто нажмите кнопку Проверить на холсте конвейера. В боковой области появится результат проверки. Затем вы можете щелкнуть каждую запись, чтобы перейти прямо в расположение отсутствующей проверки.

image

Активация конвейеров

Выполняйте запуск конвейеров по требованию и по расписанию.

image

Использование VSTS GIT

VSTS GIT для управления исходным кодом, версиями, совместной работы и т. д.

image

Копирование данных

Хранилища данных (65)

Поддержка 65 хранилищ данных. 18 хранилищ с первоклассной поддержкой, где пользователям нужно предоставлять только значения конфигурации. Оставшиеся 47 хранилищ можно использовать с JSON.

18 хранилищ с первоклассной поддержкой:

  • Хранилище BLOB-объектов Azure, Azure CosmosDB, База данных Azure для MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, хранилище данных Azure SQL, SQL Azure, таблица Azure, файловая система, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 хранилищ с поддержкой JSON:

  • Индекс поиска, Cassandra, HTTP-файл, Mongo DB, OData, реляционная таблица, Dynamics 365, Dynamics CRM, веб-таблица, магазин AWS, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for customer

image

Быстрое копирование данных из нескольких источников данных с помощью мастера копирования

Привычный мастер копирования фабрики данных Azure версии 1 теперь доступен в фабрике данных Azure версии 2 для однократного быстрого импорта. Мастер копирования создает конвейеры с действиями копирования на холсте разработки. Теперь действия копирования могут быть расширены для запуска других действий, таких как Spark, U-SQL и хранимая процедура, при успешном выполнении, при сбое и т. д. и создания конвейера всего потока управления.

image

 

Обзор возможностей

Щелкните значок Сведения в левом нижнем углу. Затем щелкните Guided tour (Обзор возможностей), чтобы получить пошаговые инструкции о том, как визуально отслеживать конвейеры и выполнение действий.

image_thumb55

Обратная связь

Щелкните значок Обратная связь, чтобы сообщить нам о различных функциях или проблемах, с которыми вы столкнулись.

image_thumb56

Выбор фабрики данных

Наведите указатель мыши на значок Фабрика данных в левом верхнем углу. Щелкните значок стрелки, чтобы просмотреть список подписок Azure и фабрик данных, которые вы можете отслеживать.

image_thumb57

Визуальное отслеживание

Мониторинг с помощью представления списка

Отслеживайте конвейер, выполнение действий и триггеров с помощью простого интерфейса представления списка. Все выполнения отображаются в часовом поясе локального браузера. Вы можете изменить часовой пояс, и все поля даты и времени будут привязаны к выбранному часовому поясу.

Отслеживание запусков конвейеров

В представлении списка отображается каждый запуск конвейера вашей фабрики данных версии 2.

image_thumb51

Отслеживание выполнения действий

В представлении списка отображаются выполнения действий, соответствующие каждому запуску конвейера. Щелкните значок Выполнения действий в столбце Действия, чтобы просмотреть выполнения действий для каждого запуска конвейера.

image_thumb52

Важное примечание. Чтобы обновить список запусков конвейера и выполнения действий, щелкните значок Обновить. В настоящее время автообновление не поддерживается.

Отслеживание запусков триггера

image

Расширенные возможности упорядочивания и фильтрации

Упорядочивайте запуски конвейеров по возрастанию или убыванию по времени начала выполнения и фильтруйте запуски конвейеров по именам, времени начала и состоянию запуска.

image_thumb53

Добавление или удаление столбцов в представлении списка

Щелкните правой кнопкой мыши заголовок представления списка и выберите столбцы, которые должны в нем отображаться.

image_thumb54

Изменение ширины столбцов в представлении списка

Увеличивайте и уменьшайте ширину столбцов в представлении списка, просто наведя указатель мыши на заголовок столбца.

Отслеживание сред выполнения интеграции

Отслеживайте работоспособность автономных сред выполнения интеграции Azure и Azure SSIS.

image

Отмена и повтор запуска конвейера

Отмените или повторите запуск конвейера с заранее определенными параметрами.

clip_image001[1]

Это первый общедоступный выпуск визуальных средств фабрики данных Azure версии 2. Мы постоянно обновляем выпуски, добавляя новые возможности на основе отзывов клиентов. Получите дополнительные сведения и подробные инструкции по использованию визуальных средств фабрики данных Azure версии 2.

Приступайте к быстрому и простому созданию конвейеров с помощью фабрики данных Azure. Если вы хотите запросить новую функцию или оставить отзыв, посетите форум фабрики данных Azure.