Фабрика данных Azure: визуальные средства в предварительной версии

Общедоступная предварительная версия фабрики данных Azure (ADF) версии 2 была анонсирована на Microsoft Ignite 25 сентября 2017 года. В фабрике данных Azure версии 2 мы добавили гибкость в модель приложения и реализовали конструкции потока управления, которые теперь облегчают работу с циклами, ветвление, условные конструкции, выполнение по требованию и гибкое планирование в различных программных интерфейсах, таких как Python, .NET, PowerShell, REST API, шаблоны ARM. Один из ключевых моментов обратной связи с клиентами заключается в том, чтобы обеспечить расширенные интерактивные возможности визуализации и мониторинга, позволяющие пользователям создавать, настраивать, тестировать, развертывать и контролировать конвейеры интеграции данных без каких-либо трудностей. Мы учли ваши отзывы и рады объявить о выпуске визуальных средств для фабрики данных Azure версии 2. Основная цель визуальных средств фабрики данных — повысить эффективность работы с фабрикой данных благодаря возможности быстро настраивать и запускать конвейеры без необходимости написания кода. Вы можете использовать простой и интуитивно понятный интерфейс без кода, чтобы перетаскивать действия на холст конвейера, выполнять тестовые запуски, многократную отладку, развертывать и контролировать выполнения конвейеров. В этом выпуске мы также предоставляем руководство по использованию визуальных возможностей создания и мониторинга, а также возможность отправлять нам ценные отзывы.

Задача визуальных средств для фабрики данных Azure версии 2 — повысить производительность и эффективность как новых, так и продвинутых пользователей благодаря интуитивному взаимодействию. Вы можете начать работу, щелкнув плитку Создание и мониторинг в колонке подготовленной фабрики данных Azure версии 2.

 

Ознакомьтесь с некоторыми интересными функциями, в которых используются новые визуальные средства фабрики данных Azure версии 2. Вы также можете просмотреть короткое видео ниже.

 

Быстрое начало работы

1. Создание первого конвейера фабрики данных Azure версии 2.

2. Быстрое копирование данных из нескольких источников данных с помощью мастера копирования.

3. Настройка IR SSIS для быстрого переноса пакетов SSIS в Azure.

4. Настройка репозитория кода (VSTS GIT) для управления исходным кодом, версиями, совместной работы и т. д.

Визуальное создание

Создание конвейеров потока управления

Создавайте конвейеры, перетаскивайте действия, подключайте их при успешном выполнении, при сбое или при завершении.

Создание автономных сред выполнения интеграции Azure

Создайте автономную среду выполнения интеграции для гибридного перемещения данных или IR Azure SSIS для быстрого переноса пакетов SSIS в Azure. Создавайте подключения связанных служб к вашим хранилищам данных или вычислениям.

Поддержка всех операций потока управления, выполняемых в ресурсах вычисления Azure

Действия потока управления:

• HDInsight Hive, HDInsight Pig, HDInsight Map Reduce, потоковая передача HDI, HDI Spark, U-SQL, хранимая процедура, веб-служба, цикл For Each, получение метаданных, поиск, запуск конвейера

Поддержка вычислений в Azure:

• HDI (по запросу, BYOC), ADLA, пакетная служба Azure

Последовательная разработка и отладка

Выполняйте тестовые запуски перед подключением триггера к конвейеру и выполнением запусков по требованию или по расписанию.

Параметризация конвейеров и наборов данных

Выполняйте параметризацию с использованием выражений и системных переменных.

Поддержка расширенной проверки

Теперь вы можете проверять конвейеры, чтобы узнать о неправильных или отсутствующих конфигурациях свойств. Просто нажмите кнопку Проверить на холсте конвейера. В боковой области появится результат проверки. Затем вы можете щелкнуть каждую запись, чтобы перейти прямо в расположение отсутствующей проверки.

Активация конвейеров

Выполняйте запуск конвейеров по требованию и по расписанию.

Использование VSTS GIT

VSTS GIT для управления исходным кодом, версиями, совместной работы и т. д.

Копирование данных

Хранилища данных (65)

Поддержка 65 хранилищ данных. 18 хранилищ с первоклассной поддержкой, где пользователям нужно предоставлять только значения конфигурации. Оставшиеся 47 хранилищ можно использовать с JSON.

18 хранилищ с первоклассной поддержкой:

• Хранилище BLOB-объектов Azure, Azure CosmosDB, База данных Azure для MySQL, Azure Data Lake Store, Amazon Redshift, Amazon S3, хранилище данных Azure SQL, SQL Azure, таблица Azure, файловая система, HDFS, MySQL, ODBC, Oracle, Salesforce, SAP HANA, SAP BW, SQL Server

47 хранилищ с поддержкой JSON:

• Индекс поиска, Cassandra, HTTP-файл, Mongo DB, OData, реляционная таблица, Dynamics 365, Dynamics CRM, веб-таблица, магазин AWS, PostgreSQL, Concur, Couchbase, Drill, Oracle Eloqua, Google Big Query, Greenplum, HBase, Hive, HubSpot, Apache Impala, Jira, Magento, MariaDB, Marketo, PayPal, Phoenix, Presto, QuickBooks, ServiceNow, Shopify, Spark, Square, Xero, Zoho, DB2, FTP, GE Historian, Informix, Microsoft Access, MongoDB, SAP Cloud for customer

Быстрое копирование данных из нескольких источников данных с помощью мастера копирования

Привычный мастер копирования фабрики данных Azure версии 1 теперь доступен в фабрике данных Azure версии 2 для однократного быстрого импорта. Мастер копирования создает конвейеры с действиями копирования на холсте разработки. Теперь действия копирования могут быть расширены для запуска других действий, таких как Spark, U-SQL и хранимая процедура, при успешном выполнении, при сбое и т. д. и создания конвейера всего потока управления.

Обзор возможностей

Щелкните значок Сведения в левом нижнем углу. Затем щелкните Guided tour (Обзор возможностей), чтобы получить пошаговые инструкции о том, как визуально отслеживать конвейеры и выполнение действий.

Обратная связь

Щелкните значок Обратная связь, чтобы сообщить нам о различных функциях или проблемах, с которыми вы столкнулись.

Выбор фабрики данных

Наведите указатель мыши на значок Фабрика данных в левом верхнем углу. Щелкните значок стрелки, чтобы просмотреть список подписок Azure и фабрик данных, которые вы можете отслеживать.

Визуальное отслеживание

Мониторинг с помощью представления списка

Отслеживайте конвейер, выполнение действий и триггеров с помощью простого интерфейса представления списка. Все выполнения отображаются в часовом поясе локального браузера. Вы можете изменить часовой пояс, и все поля даты и времени будут привязаны к выбранному часовому поясу.

Отслеживание запусков конвейеров

В представлении списка отображается каждый запуск конвейера вашей фабрики данных версии 2.

Отслеживание выполнения действий

В представлении списка отображаются выполнения действий, соответствующие каждому запуску конвейера. Щелкните значок Выполнения действий в столбце Действия, чтобы просмотреть выполнения действий для каждого запуска конвейера.

Важное примечание. Чтобы обновить список запусков конвейера и выполнения действий, щелкните значок Обновить. В настоящее время автообновление не поддерживается.

Отслеживание запусков триггера

Расширенные возможности упорядочивания и фильтрации

Упорядочивайте запуски конвейеров по возрастанию или убыванию по времени начала выполнения и фильтруйте запуски конвейеров по именам, времени начала и состоянию запуска.

Добавление или удаление столбцов в представлении списка

Щелкните правой кнопкой мыши заголовок представления списка и выберите столбцы, которые должны в нем отображаться.

Изменение ширины столбцов в представлении списка

Увеличивайте и уменьшайте ширину столбцов в представлении списка, просто наведя указатель мыши на заголовок столбца.

Отслеживание сред выполнения интеграции

Отслеживайте работоспособность автономных сред выполнения интеграции Azure и Azure SSIS.

Отмена и повтор запуска конвейера

Отмените или повторите запуск конвейера с заранее определенными параметрами.

Это первый общедоступный выпуск визуальных средств фабрики данных Azure версии 2. Мы постоянно обновляем выпуски, добавляя новые возможности на основе отзывов клиентов. Получите дополнительные сведения и подробные инструкции по использованию визуальных средств фабрики данных Azure версии 2.

Приступайте к быстрому и простому созданию конвейеров с помощью фабрики данных Azure. Если вы хотите запросить новую функцию или оставить отзыв, посетите форум фабрики данных Azure.