Что такое перенос данных?
Перенос данных — это перемещение данных, как правило, из локального расположения на облачную платформу.
Определение переноса данных: что такое перенос данных?
Как правило, под переносом данных понимают перемещение цифровой информации. Передача такой информации в другое расположение, формат файла, среду, систему хранения, базу данных, центр обработки данных или приложение — все эти действия можно назвать переносом данных.
Более точное определение миграции данных.
Перенос данных — это процесс, включающий выбор, подготовку, извлечение, преобразование и безвозвратную передачу данных из одной компьютерной системы хранения в другую.
Перенос данных — распространенное действие в ИТ-инфраструктуре. Однако ресурсы данных могут иметь разные состояния и находится в разных расположениях, из-за чего некоторые проекты миграции будут вызывать больше сложностей и технических проблем. Ниже приведены примеры ресурсов данных.
- Неупорядоченные наборы файлов, хранимых на разных устройствах.
- Приложения, операционные системы и среды.
- Реляционные базы данных, такие как SQL Server, MySQL, PostgreSQL и MariaDB.
- Неструктурированные базы данных, такие как MongoDB, Azure Cosmos DB, DocumentDB, Cassandra, Couchbase, HBase, Redis и Neo4j.
- Озера данных, большие двоичные объекты данных и целые центры обработки данных.
В результате, чтобы успешно осуществить проекты переноса данных, их необходимо спланировать, реализовать и проверить. Подробнее о миграции в облако и других типах миграции см. здесь.
Планирование переноса данных
Прежде чем определять масштабы переноса данных и требования к этому процессу, организации необходимо обнаружить и оценить имеющиеся у нее данных. Нужно составить схему этих данных: узнать их объем, насколько они разнородны, каково их качество или состояние.
Нужно также оценить влияние миграции на деятельность организации, выявить заинтересованных лиц и специалистов, обладающих необходимым опытом, распределить обязанности, выделить бюджет, установить сроки и согласовать каналы связи для обсуждения вопросов проекта переноса данных.
Когда область проекта определена, команда специалистов разрабатывает план переноса — выбирает программное обеспечение и оборудование для перемещения данных, создает спецификации и определяет, как именно будут переноситься данные: все сразу, малыми порциями либо как-то еще. Многие организации ищут помощи и рекомендаций по правильному определению масштабов переноса данных, особенно при переходе в облако.
Реализация переноса данных
Когда планирование переноса данных завершено, команда приступает к реализации этого процесса. Создается решение для переноса данных в соответствии с требованиями и пошаговым руководством по миграции , определенными на этапе планирования, и запускается передача данных.
По мере миграции специалисты следят за процессом и проводят проверки, чтобы обеспечить правильную передачу данных и исключить конфликты, проблемы с качеством данных, появление дубликатов и аномалий. Слежение и проверки проводятся в среде, полностью имитирующей рабочую, что позволяет быстро выявлять и устранять любые проблемы с переносом данных.
Проверка переноса данных
Когда этап реализации завершится и все данные будут перенесены, специалисты проведут аудит данных в новой конфигурации и проверят, правильно ли они переданы. Старая конфигурация данных будет отключена лишь тогда, когда заинтересованные лица (технические специалисты, бизнес-представители и те, кто может использовать эти данные, включая клиентов), подтвердят успешность миграции.
Причины, по которым организации может потребоваться перенос данных, могут быть разными. К наиболее общим доводам относятся снижение затрат, уверенное внедрение инноваций, увеличение производительности, обеспечение высокой доступности и повышение безопасности. Приняв решение о переносе данных, организация должна рассмотреть такие аспекты, как их целостность, затраты на перенос и его влияние на компанию и клиентов.
Ниже приведено несколько конкретных сценариев и вариантов использования, для которых может потребоваться перенос данных.
-
Обновление или замена устаревшего оборудования или программного обеспечения для соблюдения требований к производительности или повышения конкурентоспособности.
-
Снижение влияния на окружающую среду и сокращение операционных затрат за счет перехода в систему с меньшим углеродным следом, потребляющую меньше энергии.
-
Сокращение или устранение расходов на размещение данных в локальных центрах обработки данных за счет миграции в облако.
-
Централизация данных для обеспечения и упрощения взаимодействия или переноса в более безопасный центр обработки данных.
-
Резервное копирование данных, позволяющее лучше подготовиться к аварийному восстановлению и выполнить его.
-
Организациям, выполняющим перенос данных в целях модернизации, часто требуются советы и помощь экспертов по настройке облачной среды, а также чтобы обеспечить руководство на протяжении всего процесса переноса данных в облако. Подробнее о преимуществах миграции в облако.
Перенос и преобразование данных: В чем отличие?
Чтобы лучше понять суть переноса данных, важно знать, что такое преобразование данных и как оно связано с переносом данных. Часто возникает вопрос, связано ли действие или процесс с преобразованием данных или их переносом, так как, согласно определению, перенос данных включает этап преобразования данных. Тем не менее, преобразование данных — лишь один из множества аспектов переноса данных, поэтому эти два термина нельзя считать синонимами.
Перенос — это перемещение данных в другое место, тогда как преобразование — всего лишь преобразование данных из одного формата в другой. Ниже приведена сравнительная таблица, где указаны различия и сходства процессов переноса и преобразования данных.
| Перенос данных | Преобразование данных |
|---|---|
| Данные перемещаются в новый центр обработки данных, расположение, систему или среду. | Данные перемещаются в новое приложение. Центр обработки данных, система или среда могут быть теми же. |
| Формат данных может не меняться. | Формат данных преобразуется. |
| Процесс включает планирование, реализацию и проверку. | Процесс включает извлечение, преобразование и загрузку данных. |
| Перенос данных часто включает преобразование данных, но это не обязательно. | Преобразование данных часто является одним из первых этапов переноса данных, но может и не использоваться. |
Перенос данных может быть связан с переходом на новые приложения, которые считывают информацию не так, как это делали старые программы. Чтобы данные старых приложений могли использоваться новыми, их необходимо преобразовать в формат, который новая система может понимать и использовать. Этот процесс и есть преобразование данных. Преобразование позволяет переместить данные из старого приложения в его новую версию или в другое приложение. Данные извлекаются из источника, преобразуются в новый формат и загружаются в новое приложение.
Успешный перенос данных часто связан с необходимостью преобразования данных на раннем этапе до их перемещения в новое место. Преобразование данных не включает профилирование, очистку и проверку данных или проведение контроля качества данных после их перемещения. Поэтому следует говорить не о том, что именно выполняется — перенос или преобразование данных, а о том, как эти процессы реализуются в проекте.
Типы переноса данных
Хотя каждый проект переноса данных имеет свои особенности, которые зависят от состава данных, характеристик систем и целей организации, процессы переноса данных можно разбить на следующие пять больших категорий:
Существуют и другие типы переноса данных. Более того, проект переноса данных может включать сразу несколько типов миграции. Например, если организация решает переместить данные с локального сервера на сервер поставщика облачных служб, этот проект может охватывать миграцию в облако и перенос баз данных. Пять категорий полезны в том плане, что дают представление об общей структуре сценариев переноса данных и причинах, по которым организации осуществляют перенос данных того или иного типа.
Миграция в службу хранилища
Миграция в службу хранилища — основной тип переноса данных, буквально отражающий определение этого процесса. В этом случае данные перемещаются с одного устройства хранения на новое или другое устройство. Это устройство может находиться в том же здании или в отдаленном центре обработки данных. Устройство также может быть другого типа, например при переходе с жесткого диска на твердотельный накопитель. Перенос данных в облако или переход от одного поставщика облачных служб к другому также является своего рода миграцией в службу хранилища, хотя особенности этих типов переноса данных будут понятнее, если рассматривать их как миграцию в облако.
Организации могут выбрать миграцию в службу хранилища, если им нужно обновить оборудование или инфраструктуру, чтобы повысить производительность или сэкономить на масштабировании. Новая технология может предоставлять возможность более эффективно управлять данными, защищать их, архивировать и восстанавливать. Во время миграции в службу хранилища также появляется возможность очистить и проверить данные. При миграции такого типа организации реже принимают решение изменить формат данных.
Перенос баз данных
При такой миграции часто требуется преобразование данных, так как она обычно включает перемещение больших объемов данных в обновленное или другое ядро СУБД или систему управления базами данных. Перенос баз данных более сложен, чем миграция в службу хранилища, так как перемещается больше данных и их формат, как правило, меняется.
При переносе баз данных организации может потребоваться переместить их в облако, обновить их программное обеспечение или сменить поставщиков баз данных. Перед началом миграции необходимо убедиться в том, что для базы данных подготовлено достаточно места, а также выполнить проверку, чтобы исключить влияние на приложения, которые используют эту базу данных.
Перенос приложений
Перенос приложений включает перемещение данных в новую вычислительную среду. Этот тот тип миграции, который включает несколько других типов переноса данных. Для переноса приложения может потребоваться перенос баз данных и миграция в службу хранилища. Иногда приходится не просто переносить базу данных, используемую приложением, но и изменять ее формат путем преобразования данных, чтобы она соответствовала новой модели данных. Кроме того, нужно перенести файлы и структуры каталогов, необходимые приложению для установки и запуска.
Перенос приложений может выполняться в связи с изменением программного обеспечения, которое организация использует для выполнения своих бизнес-функций, поставщика программного обеспечения или платформы, на которой оно размещается.
Миграция в облако
Как и два других типа миграции (миграция в службу хранилища и перенос приложений), этот тип связан с перемещением данных или приложений. Суть в том, что перенос данных в облако напрямую связан с переносом данных или приложений из частного локального центра обработки данных в облако или из одной облачной среды в другую. Масштаб миграции может быть разным. Миграция в облако может потребовать переноса всех данных, приложений и служб в облако, либо организация может переместить лишь несколько избранных ресурсов для своих стратегических целей или бизнес-потребностей.
Миграция в облако позволяет сократить число ограничений, связанных с изменением масштаба, ускорить подготовку ресурсов и внедрение инноваций, оптимизировать процедуру обновления и эффективнее расходовать средства. Передав данные и приложения в облако, организации избавляют себя от необходимости обслуживать компьютеры и инфраструктуру, где локально хранились эти ресурсы.
Миграция бизнес-процессов
Этот тип переноса данных связан с перемещением данных и приложений, что позволяет оптимизировать деятельность компании и управление ею. При миграции бизнес-процессов могут передаваться любые типы данных, включая базы данных и приложения, которые используются для функционирования продуктов, обслуживания клиентов и осуществления операций.
Этот тип переноса данных позволяет оптимизировать или реорганизовать процесс управления бизнесом, повысить конкурентоспособность, предложить новый продукт или услугу либо завершить слияние или приобретение.
Средства переноса данных
Для миграции используются различные средства переноса данных, позволяющие перемещать данные и изменять их при необходимости. Некоторые специалисты создают собственные средства переноса данных с нуля. Разработка собственных инструментов обладает теми преимуществами, что их можно адаптировать под конкретные системы и варианты их использование. Однако разработка ПО для переноса данных может занять много времени, потребовать много ручной интеграции и работ по реализации, а также денежных средств, которые пригодятся на других этапах переноса данных. Самостоятельно созданные средства переноса данных также могут создать проблемы при масштабировании или обработке множества источников входных данных.
Вместо них можно использовать существующее программное обеспечение для переноса данных, чтобы упростить и ускорить этот процесс и повысить его эффективность. Программное обеспечение зачастую предназначается для выполнения определенного типа миграции, например переноса базы данных SQL Server в облако. Но даже имея программное обеспечение, специалистам по-прежнему необходимо знать все о перемещаемых данных, о том, сколько их и когда будет выполняться их перенос, какие изменения им потребуется внести и есть ли проблемы, которые необходимо устранить после завершения переноса. Кроме того, нужно будет сделать выбор между локальными и облачными инструментами переноса данных.
Какой тип программного обеспечения для переноса данных следует использовать
Специалисты могут выбрать для переноса данных локальное, облачное или самостоятельное разработанное программное обеспечение. Как правило, локальные инструменты хорошо работают, если данные и целевые системы находятся рядом, в одной организации. Облачные инструменты рекомендуется использовать при перемещении различных систем данных или переносе платформы в облако, а самостоятельно написанные средства лучше всего подойдут для небольших или высокоспециализированных проектов. Однако проекты переноса данных сложны, поэтому при выборе типа программного обеспечения для осуществления этой задачи необходимо учитывать еще ряд факторов. Ниже указано, какие инструменты оптимально использовать в зависимости от особенностей конкретного сценария миграции.
| Самостоятельно разработанные инструменты | Локальные инструменты | Облачные инструменты | |
|---|---|---|---|
| Объем и тип данных | | | |
| Небольшое количество |  | | |
| Большое количество | | | |
| Поддерживаемый формат | | | |
| Неподдерживаемый формат | | | |
| Источник и место назначения | | | |
| Источники в одной системе | | | |
| Источники в разных системах | | | |
| Место назначения: облако | | | |
| Место назначения: локальная среда | | | |
| Стандартные источник и место назначения | | | |
| Нестандартные источник и место назначения | | | |
| Нужды проекта | | | |
| Масштабирование требуется | | | |
| Масштабирование не требуется | | | |
| Управление устройствами хранения | | | |
| Локальный доступ | | | |
| Глобальный доступ | | | |
| Вычислительные ресурсы и хранилище по запросу | | | |
| Высокая степень доступности и надежности | | | |
Выбор инструмента для переноса данных
- Помимо описанных выше критериев, при выборе инструмента для переноса данных будут учитываться и другие факторы. К ним относятся:
- Бюджет и временная шкала
- Знания и опыт членов команды.
- Масштаб и гибкость, необходимые организации
- Отношения с поставщиком средства переноса данных
- Безопасность и соответствие нормативным требованиям
- Время доступности или другие соглашения об уровне обслуживания
- Потенциальное влияние
- Пользователи данных
- Операционные системы
Как приступить к переносу данных в облако
Когда организация будет готова рассмотреть возможность переноса данных, она для начала может узнать о средствах переноса данных и партнерах по переносу данных. Чтобы узнать о преимуществах и процессах, связанных с миграцией в Azure, изучите эти ресурсы:
Вопросы и ответы о переносе данных
-
Перенос данных — это перемещение цифровой информации. Передача такой информации в другое расположение, формат файла, среду, систему хранения, базу данных, центр обработки данных или приложение — все эти действия можно назвать переносом данных.
-
Перенос — это перемещение данных в другое место, тогда как преобразование — всего лишь преобразование данных из одного формата в другой. Во время переноса данных иногда выполняется и их преобразование.
-
Типы миграции данных можно разделить на пять больших категорий: миграция в службу хранилища, перенос баз данных, перенос приложений, миграция в облако и миграция бизнес-процессов.