Что такое анализ и обработка данных?

Для реализации своих проектов специалистам по обработке и анализу данных необходимо выполнить примерно такой же процесс, как представлен ниже.

1. Определение бизнес-проблемы

Специалисты по обработке и анализу данных работают с заинтересованными сторонами, чтобы четко определить проблему, которую необходимо решить, или вопрос, на который нужен ответ, а также уяснить цели проекта и требования к решению.

2. Определение аналитического подхода
Основываясь на понимании бизнес-проблемы, специалист по обработке и анализу данных выбирает аналитический подход:

• описательный, чтобы получить больше информации о текущем состоянии;
• диагностический, чтобы понять, что происходит и почему;
• прогнозный, чтобы предсказать, что произойдет в будущем;
• предписывающий, чтобы понять, как решить проблему.

3. Получение данных

Специалист по обработке и анализу данных определяет и получает данные, необходимые для нужного результата. Это могут быть запросы к базам данных, сбор данных с веб-сайтов (веб-скрейпинг) или получение информации из файлов. Данные могут быть доступны для внутреннего пользования, но, возможно, их придется приобрести. В некоторых случаях организациям может потребоваться собрать новые данные для успешного запуска проекта.

4. Очистка данных

Как правило, этот шаг отнимает больше всего времени. Чтобы создать набор данных для моделирования, специалист по обработке и анализу данных преобразует все данные в один формат, упорядочивает их, удаляет ненужное и заменяет то, что отсутствует.

5. Исследование данных

Очистив данные, специалист по обработке и анализу данных приступает к их изучению. Он применяет методы статистического анализа, чтобы понять, как соотносятся элементы данных и какие статистические взаимосвязи наблюдаются между ними и прогнозируемыми значениями (так называемыми метками). В качестве прогнозируемой метки может выступать количественное значение, например какая-либо стоимость в будущем или продолжительность задержки рейса в минутах.

Изучение и подготовка, как правило, включают в себя интерактивные анализ и визуализацию данных. Обычно для этих целей используются такие языки, как Python и R, в интерактивных средствах и средах, специально разработанных для этих задач. Используемые для просмотра данных скрипты обычно размещаются в специализированных средах, например Jupyter Notebook. Эти инструменты позволяют специалистам по обработке и анализу данных с помощью программных средств просматривать данные, а также документировать и совместно использовать обнаруженные закономерности.

6. Моделирование данных

Специалист по обработке и анализу данных создает и обучает предписывающую или описательную модель, а затем тестирует и оценивает ее, убеждаясь, что она отвечает на вопрос или решает бизнес-проблему. В простейшем смысле модель — это фрагмент кода, который принимает входные данные и создает выходные данные. Создание модели машинного обучения включает в себя выбор алгоритма, предоставление ему данных и настройку гиперпараметров. Гиперпараметры — это настраиваемые параметры, используемые для управления процессом обучения модели. Например, в нейронных сетях специалист по обработке и анализу данных определяет количество скрытых слоев и количество узлов в каждом слое. Настройка (или оптимизация) гиперпараметров — это процесс поиска такой конфигурации гиперпараметров, которая обеспечивает наилучшую производительность.

Часто можно услышать вопрос: "Какой алгоритм машинного обучения следует использовать?" Алгоритм машинного обучения превращает набор данных в модель. Выбор алгоритма зависит, прежде всего, от двух аспектов сценария обработки и анализа данных:

• На какой бизнес-вопрос специалист по анализу и обработке данных хочет ответить путем обучения модели на основе прошлых данных?
• Какие требования предъявляет сценарий обработки и анализа данных: точность, время обучения, линейность, количество параметров, количество функций и прочее?

Чтобы ответить на поставленные вопросы, Машинное обучение Azure предоставляет комплексный портфель алгоритмов, таких как многоклассовый лес принятия решений, системы рекомендаций, регрессия нейронной сети, многоклассовая нейронная сеть и кластеризация методом k-средних. Каждый алгоритм предназначен для решения определенного типа проблем, связанных с машинным обучением. Кроме того, памятка по алгоритмам Машинного обучения Azure помогает выбрать верный алгоритм для ответа на бизнес-вопрос.

7. Развертывание модели

Специалист по обработке и анализу данных предоставляет окончательную модель с документацией и после тестирования развертывает новый набор данных в рабочей среде, чтобы организация могла активно его использовать. Прогнозы, полученные от развернутой модели можно применять для принятия бизнес-решений.

8. Визуализации и представление результатов

Такие инструменты визуализации, как Microsoft Power BI, Tableau, Apache Superset и Metabase, упрощают изучение данных и создание красивых визуализаций, которые помогают людям, не сведущим в технических вопросах, понять полученные результаты.

Кроме того, в процессе сбора, обнаружения, аналитики и визуализации данных и совместной работы над ними специалисты по обработке и анализу данных могут использовать специальные записные книжки в Интернете, например записные книжки Zeppelin.

Методы обработки и анализа данных

Специалисты по анализу и обработке данных используют статистические методы, такие как проверка гипотез, кластеризация, факторный и регрессионный анализ, чтобы получить статистически обоснованную аналитику.

Документация по обработке и анализу данных

Хотя документация по обработке и анализу данных зависит от проекта и отрасли, она, как правило, включает сведения о том, откуда получены данные и как они были изменены. Это помогает другим членам команды эффективно использовать эти данные в ходе работы. Например, документация помогает бизнес-аналитикам интерпретировать набор данных с помощью средств визуализации.

Документация по обработке и анализу данных бывает следующих типов:

• Планы проектов — позволяют определить бизнес-цели проекта, метрики оценки, ресурсы, временные шкалы и бюджет.
• Истории пользователей, связанные с обработкой и анализом данных, — помогают разрабатывать идеи для проектов по обработке и анализу данных. Специалист записывает историю, отражающую точку зрения заинтересованного лица, и указывает, что оно хочет получить и по какой причине запрашивает этот проект.
• Документация по модели обработке и анализа данных — позволяет документировать наборы данных, план проведения эксперимента и алгоритмы.
• Документации по вспомогательным системам — включает руководства пользователей, документацию по инфраструктуре для обслуживания системы и документацию по кодам.