Что такое перенос данных?
Перенос данных означает перемещение данных. Зачастую данные перемещаются из локального расположения в облачную платформу.
Определение переноса данных: что такое перенос данных?
Перенос данных в общем случае подразумевает перенос цифровой информации. Понятие переноса данных включает перемещение такой информации в другое место, в другой формат файлов, в другую среду, в другие системы хранения данных, базы данных, центры обработки данных или приложения.
Более конкретное определение переноса данных:
Перенос данных — это процесс выбора, подготовки, извлечения и преобразования данных, а также их перемещения из одной компьютерной системы хранения данных в другую.
Миграция данных — это распространенная практика в ИТ. Тем не менее, ресурсы данных могут существовать в разных состояниях и находиться в разных местах, поэтому некоторые проекты миграции могут отличаться высокой сложностью и трудностью технической реализации. Примеры ресурсов данных:
- Неорганизованные совокупности файлов, хранящихся на множестве разных устройств.
- Приложения, операционные системы и среды.
- Реляционные базы данных, такие как SQL Server, MySQL, PostgreSQL и MariaDB.
- Неструктурированные базы данных, такие как MongoDB, Azure Cosmos DB, DocumentDB, Cassandra, Couchbase, HBase, Redis и Neo4j.
- Озеро данных, BLOB-объекты данных и целые центры обработки данных.
В результате проекты переноса данных требуют планирования, реализации и проверки, чтобы обеспечить их успешное выполнение. Дополнительные сведения о миграции в облако и других типах миграции см. здесь.
Планирование переноса данных
Перед началом сбора требований и определения области для переноса данных в облако организации должны обнаружить и оценить данные, которыми они фактически располагают. Необходимо изучить данные, их объем, разнообразие, качество и состояние.
Кроме того, они оценят влияние миграции на организацию, определят заинтересованных лиц и пользователей, обладающих нужной квалификацией, назначат обязанности, установят бюджет и сроки, а также согласуют обмен информацией о проекте переноса данных.
После определения области проекта команды прорабатывают миграцию: выбирают программное обеспечение для переноса данных и оборудование, которым они будут пользоваться при перемещении данных; создают спецификации для переноса данных и определяют темп переноса данных: все данные сразу, постепенный перенос или перенос со средним темпом. Многие организации обращаются за помощью и рекомендациями по подбору масштаба миграции, особенно когда речь идет о миграции в облако.
Реализация переноса данных
После планирования и проектирования миграции начинается ее реализация. Команды создают решение по переносу данных в соответствии с требованиями и пошаговыми инструкциями, разработанными на этапе планирования, затем начинают перемещение данных.
По мере переноса данных команды отслеживают и тестируют данные, чтобы убедиться в отсутствии конфликтов данных, проблем с качеством, дубликатов и аномалий данных. Это отслеживание и тестирование осуществляется в среде, полностью имитирующей рабочую среду, поэтому можно быстро обнаруживать и устранять любые проблемы с переносом данных.
Проверка переноса данных
После переноса всех данных и завершения реализации проводится аудит данных в новой конфигурации, чтобы убедиться в правильности переноса всех данных. Старая конфигурация данных выводится из эксплуатации лишь после успешной проверки перенесенных данных техническими специалистами, заинтересованными лицами со стороны бизнеса и всеми остальными пользователями данных, включая клиентов.
Причины переноса данных могут быть самыми разными: это может быть необходимость сократить затраты, внедрить инновации, повысить производительность, увеличить доступность и укрепить безопасность. При принятии решения о переносе данных необходимо учитывать целостность данных, стоимость переноса и влияние переноса на бизнес и на клиентов компании.
Вот некоторые сценарии и ситуации, в которых может потребоваться перенос данных:
- Обновление или замена устаревшего оборудования или программного обеспечения, чтобы организация могла выполнить требования по производительности или повысить свою конкурентоспособность.
- Снижение воздействия на окружающую среду (и снижение эксплуатационных расходов) за счет перемещения в более компактную систему, потребляющую меньше энергии.
- Сокращение или исключение расходов на размещение данных в локальных центрах обработки данных за счет миграции в облако.
- Централизация данных для поддержки взаимодействия или перемещение в более безопасный центр обработки данных.
- Резервное копирование данных даст организациям возможность лучше подготовиться к аварийному восстановлению и выполнить его.
Организации, которым требуется переносить данные в рамках модернизации, часто обращаются за помощью и профессиональными консультациями для настройки облачной среды и управления всем процессом переноса данных в облако. Дополнительные сведения о преимуществах миграции в облако.
Перенос данных и преобразование данных: в чем разница?
Чтобы лучше понять, что такое перенос данных, важно знать, что такое преобразование данных, и как оно связано с переносом данных. Иногда может возникать путаница относительно назначения проекта: перенос данных или преобразование данных, поскольку по определению перенос данных включает их преобразование. Но преобразование данных является лишь одним из аспектов переноса данных, поэтому эти понятия не являются синонимами.
Перенос данных означает перемещение данных из одного места в другое. Преобразование данных означает изменение формата данных. В следующем сравнении описываются схожие особенности и различия переноса данных и преобразования данных.
| Перенос данных | Преобразование данных |
|---|---|
| Данные перемещаются в новый центр обработки данных, в новое расположение, новую систему или новую среду. | Данные переносятся в новое приложение. При этом центр обработки данных, система или среда могут оставаться прежними. |
| Формат данных может остаться прежним. | Преобразуется формат данных. |
| Этот процесс включает планирование, реализацию и проверку. | Процесс включает извлечение, преобразование и загрузку. |
| Перенос данных часто предполагает преобразование данных, но преобразование данных требуется не всегда. | Преобразование данных часто является одним из этапов переноса данных, но возможен и перенос данных без преобразования. |
При переносе данных могут появиться новые приложения, которые по-новому читают информацию. Чтобы данные, работавшие в прежних приложениях, заработали в новом приложении, необходимо преобразовать данные в новый формат, совместимый с новой системой. Этот процесс называется преобразованием данных. Используя преобразование данных, можно переместить данных из устаревшего приложения в совершенно новое приложение или в другую версию этого же приложения. Данные извлекаются из источника, преобразуются в новый формат, затем загружаются в новое приложение.
Для успешного переноса данных зачастую необходимо преобразовать данные. Преобразование осуществляется на раннем этапе процесса переноса данных, до перемещением данных в новое место. Преобразование данных не включает профилирование, очистку, проверку и контроль качества данных после их перемещения. Поэтому вопрос не в выборе между переносом данных и преобразованием данных, а о правильной реализации переноса и преобразования данных в рамках одного проекта.
Типы переноса данных
Перенос данных в каждом случае отличается в силу задействованных систем и данных, а также целей организации, но в целом перенос данных можно разделить на следующие пять категорий:
Типы переноса данных этим не ограничиваются, проект по переносу данных может включать несколько типов миграции. Например, при перемещении данных с локального сервера на сервер поставщика облачных служб, такой проект может предусматривать миграцию в облако и миграцию базы данных. Приведенные пять категорий полезны, поскольку они описывают основные сценарии переноса данных и причины, в силу которых организация может провести перенос данных определенного типа.
Перенос хранилища
Миграция хранилищ — это простейший тип переноса данных. В этом случае данные перемещаются из одного устройства хранения данных в другое. Новое устройство хранения данных может быть как в этом же здании, так и в другом центре обработки данных, находящимся на расстоянии. Новое устройство может быть другого типа, например, если данные перемещаются с жесткого диска на твердотельный накопитель. Перенос данных в облако или от одного поставщика облачных служб другому тоже можно считать миграцией хранилища, хотя такие типы миграции следует относить к облачной миграции.
Организации могут провести миграцию хранилищ, когда возникает необходимость обновить оборудование или инфраструктуру, чтобы добиться повышения производительности или снижения расходов на масштабирование. Новая технология также может дать возможность эффективнее управлять данными, защищать их, создавать резервные копии и восстанавливать данные. При миграции хранилищ у организаций возникает возможность очистить и проверить данные. Менее распространены ситуации, когда организации решают изменить формат данных при миграции такого типа.
Перенос баз данных
При таком типе переноса данных часто требуется преобразование данных: перенос баз данных обычно подразумевает перемещение огромных объемов данных в обновленную или другую систему управления базами данных. Перенос баз данных сложнее, чем перенос хранилищ: не только из-за увеличенного объема переносимых данных, но и из-за того, что с высокой вероятностью потребуется менять формат данных.
Миграция баз данных может потребоваться организациям, когда им нужно обновить программное обеспечение баз данных, перенести базу данных в облако или сменить поставщиков баз данных. Перед началом миграции команды должны убедиться в наличии достаточного места для баз данных и удостовериться, что при миграции не будут затронуты приложения, использующие базы данных.
Миграция приложений
Миграция приложений подразумевает перемещение данных в новую вычислительную среду. Это пример переноса данных, в котором сочетается несколько типов миграции. Для миграции приложения может потребоваться миграция баз данных и систем хранения данных. Необходимо перенести базу данных, используемую приложением; иногда следует преобразовать и формат данных в соответствии с новой моделью данных, а также изменить структуру файлов и каталогов, необходимых для установки и запуска приложения.
Организации могут проводить миграцию приложений, когда меняется программное обеспечение, используемое организациями для различных функций бизнеса, когда меняется поставщик программного обеспечения или платформа, на которой оно размещается.
Миграция в облако
Этот тип переноса данных, как и два других типа (перенос хранилищ и перенос приложений), подразумевает перемещение данных или приложений. Основная особенность переноса данных в облако в том, что в данном случае происходит перемещение данных из частного локального центра обработки данных в облако или из одной облачной среды в другую. Масштаб переноса может различаться. Перенос в облако может включать перенос в облако всех данных, приложений и служб, а может включать перенос лишь некоторых решений в соответствии со стратегическими целями или нуждами бизнеса.
Миграция в облако дает организациям возможность масштабировать инфраструктуру с меньшими ограничениями, быстрее обновлять системы и внедрять инновации эффективнее вкладывать средства. Когда данные и приложения находятся в облаке, организациям больше не требуется обслуживать компьютеры и инфраструктуру, в которых эти ресурсы находились в локальной среде.
Перенос бизнес-процессов
Этот тип миграции относится к перемещению данных и приложений для более эффективного управления или оптимизации работы бизнеса. При миграции бизнес-процессов организация может перемещать данные любого типа (включая базы данных и приложения), использующиеся для обслуживания продуктов, систем взаимодействия с клиентами, операций и процессов.
Организации могут проводить такой перенос данных, чтобы изменить или реорганизовать бизнес, повысить свою конкурентоспособность на рынке, предложить новые товары или услуги, пройти слияние или приобретение.
Средства переноса данных
Для проведения миграции команды применяют различные инструменты, предназначенные для перемещения данных и изменения их нужным образом. Некоторые команды предпочитают самостоятельно создавать такие инструменты с нуля. Преимущество такого подхода состоит в возможности приспособить инструменты к конкретным используемым системам и процессам. Тем не менее, написание программного кода для подобных инструментов может занять немало времени, потребовать значительного объема ручного труда по интеграции и повторному внедрению, а также вызвать затраты, тогда как было бы целесообразнее потратить лишние средства на другие части процесса переноса данных. У самостоятельно написанных инструментах миграции также могут возникать проблемы, связанные с масштабированием или обработкой множества источников входных данных.
Вместо этого может быть принято решение использовать существующие программы для переноса данных, чтобы сделать этот процесс проще, быстрее и эффективнее. Зачастую программное обеспечение является специализированным для определенного типа миграции, например для перемещения баз данных SQL Server в облако. Даже при наличии подходящих инструментов команда должна все знать о перемещаемых данных: сколько данных нужно переместить и когда, каким образом следует изменить данные, потребуется ли решать какие-либо проблемы после завершения переноса. Также необходимо выбрать либо локальные, либо облачные инструменты для переноса данных.
Какой тип программ для переноса данных следует использовать
Для переноса данных можно выбрать локальные и облачные инструменты, а также самостоятельно разработанные решения. Локальные инструменты лучше всего использовать, когда все данные и целевые системы находятся в локальной среде в пределах одной организации. Облачные инструменты лучше использовать при переносе разных система данных или при смене облачной платформы. Самостоятельно разработанные инструменты лучше подходят для небольших специализированных проектов. Тем не менее, поскольку проекты переноса данных отличаются высокой сложностью, при выборе программных инструментов для переноса данных следует учитывать целый ряд разных факторов. На следующей диаграмме показаны преимущества тех или иных инструментов для определенных сценариев миграции.
| Самостоятельно разработанные инструменты | Инструменты в локальной среде | Облачные инструменты | |
|---|---|---|---|
| Объем и тип данных | |||
| Небольшой объем | |||
| Большой объем | |||
| Поддерживаемый формат | |||
| Неподдерживаемый формат | |||
| Источник и назначение | |||
| Источники с одним сайтом | |||
| Источники с несколькими сайтами | |||
| Место назначения в облаке | |||
| Место назначения в локальной среде | |||
| Распространенные источники и места назначения | |||
| Необычные источники и места назначения | |||
| Потребности проекта | |||
| Требуется масштабирование | |||
| Масштабирование не требуется | |||
| Управление устройствами хранения данных | |||
| Локальный доступ | |||
| Глобальный доступ | |||
| Вычислительные ресурсы и хранилище по запросу | |||
| Высокое время доступности, высокая надежность |
Как выбрать инструмент для переноса данных
Помимо указанных выше критериев, команды и организации учитывают и другие факторы при выборе решения для переноса данных. К числу таких факторов относятся следующие:
- бюджет и сроки;
- наличие необходимых навыков и опыта у команды;
- необходимый уровень масштабирования и гибкости;
- отношения с поставщиком инструмента для переноса данных;
- соблюдение требований безопасности и нормативов;
- время доступности или другие соглашения об уровне обслуживания;
- возможное влияние;
- пользователи данных;
- операционные системы.
Запуск переноса данных в облако
Когда организация будет готова к рассмотрению переноса данных, можно приступить к выбору инструментов и партнеров для переноса данных. Изучите следующие ресурсы, чтобы узнать о процессе миграции в Azure и о преимуществах этого решения.
Вопросы и ответы о переносе данных
-
Перенос данных — это перемещение цифровой информации. Понятие переноса данных включает перемещение такой информации в другое место, в другой формат файлов, в другую среду, в другие системы хранения данных, базы данных, центры обработки данных или приложения.
-
Перенос данных означает перемещение данных из одного места в другое. Преобразование данных означает изменение формата данных. Преобразование данных иногда происходит в процессе переноса данных.
-
Типы переноса данных можно разделить на следующие пять категорий: перенос хранилищ данных, перенос баз данных, перенос приложений, миграция в облако и миграция бизнес-процессов.