Миграция данных из S3 в сервис OBS средствами CDM

Cloud Data Migration (CDM) — это компонент сервиса Data As You Use (DAYU).

CDM — один из инструментов миграции в облако Advanced, который позволяет мигрировать данные из разных источников. Например, из объектного хранилища, SQL/NoSQL баз данных данных или решений Big Data.

С помощью этой инструкции можно перенести бакет из S3-совместимого объектного хранилища в бакет облачного сервиса Object Storage Service.

Перед началом работы

Проверьте наличие доступа в тенант Advanced и к сервису DAYU:

  1. Войдите в консоль управления Advanced:

  2. Чтобы открыть список сервисов, нажмите Service List.

  3. Выберите EI Enterprise Intelligence → DAYU.

Если консоль и сервис доступны, перейдите к созданию ключей.

Чтобы создать Access Key и Secret Key:

  1. Нажмите на логин пользователя в правом верхнем углу и перейдите в раздел My Credentials → Access Keys.

  2. Нажмите Create Access Key.

  3. Чтобы сохранить Access Key и Secret Key, нажмите Download. На компьютер будет загружен файл credentials.csv.

Предварительные требования выполнены.

Создание инстанса DAYU

  1. В списке сервисов выберите DAYU.

  2. При появлении окна с доступом к облачным ресурсам, активируйте параметры ALL, OBS и нажмите Authorize:

    Получение доступа к облачным ресурсам для сервиса DAYU

  3. Чтобы создать инстанс, нажмите Create DAYU Instance.

  4. Задайте параметры:

    • Region — выберите регион, в котором будет создан инстанс;

    • Enterprise Project — выберите проект, в котором будет создан инстанс;

    • Instance Name — задайте название инстанса.

  5. Нажмите Create Now.

Инстанс DAYU создан.

Создание инстанса CDM

  1. В консоли сервиса DAYU в разделе Available Instances нажмите Create:

    Создать инстанс CDM

  2. Задайте параметры:

    • Package — выберите CDM;

    • AZ — выберите зону доступности, в которой будет создан инстанс;

    • Workspace — выберите пространство;

    • Cluster — задайте название инстанса CDM;

    • Instance — выберите тип флейвора для инстанса CDM;

    • VPC — выберите виртуальную сеть, в которой будет размещен инстанс;

    • Subnet — выберите подсеть, в которой будет размещен инстанс;

    • Security Group — выберите группу безопасности.

  3. Нажмите Create Now.

Инстанс CDM создан.

Настройка подключений к источникам данных

Для миграции данных нужно настроить подключение к двум источникам:

  • к целевому хранилищу в OBS;

  • к исходному S3-хранилищу.

Настройка подключения к OBS

  1. В консоли сервиса DAYU выберите пространство, в котором был создан инстанс CDM, и нажмите Data Integration.

  2. В разделе Cluster Management нажмите Job Management в строке инстанса.

  3. Переключитесь на вкладку Links и нажмите Create Link.

  4. В списке источников данных выберите Object Storage Service (OBS) и нажмите Next.

  5. Задайте параметры:

    • Name — название источника данных;

    • OBS Endpoint — IP-адрес или доменное имя точки доступа к сервису OBS (по умолчанию — obs.ru-moscow-1.hc.sbercloud.ru);

    • Port — порт доступа к сервису OBS (по умолчанию — 443);

    • OBS Bucket Type — тип доступа к бакету OBS (Object Storage или Parallel File System);

    • AK — Access Key из файла credentials.csv для подключения к сервису OBS;

    • SK — Secret Key из файла credentials.csv для подключения к сервису OBS.

  6. Чтобы проверить подключение, нажмите Test.

  7. Чтобы сохранить источник данных, нажмите Save.

Подключение к целевому хранилищу OBS сохранено.

Настройка подключения к хранилищу S3

  1. В консоли сервиса DAYU выберите пространство, в котором был создан инстанс CDM, и нажмите Data Integration.

  2. В разделе Cluster Management нажмите Job Management в строке инстанса.

  3. Переключитесь на вкладку Links и нажмите Create Link.

  4. В списке источников данных выберите Amazon S3 и нажмите Next.

  5. Задайте параметры:

    • Name — название источника данных;

    • Endpoint — IP-адрес или доменное имя для подключения к сервису S3;

    • SecretID — ключ доступа для подключения к сервису S3;

    • SK — секретный ключ доступа к сервису S3.

  6. Чтобы проверить подключение, нажмите Test.

  7. Чтобы сохранить источник данных, нажмите Save.

Подключение к исходному хранилищу S3 сохранено.

Настройка задания миграции в сервисе CDM

  1. В разделе Cluster Management нажмите Job Management в строке инстанса.

  2. На вкладке Table/File Migration нажмите Create Job.

  3. Задайте параметры:

    • Job Name — задайте название задания миграции;

    • Source Link Name — в качестве источника данных выберите хранилище S3, откуда нужно перенести данные;

    • Destination Link Name — выберите целевое хранилище OBS, в которое нужно перенести данные;

    • Bucket Name — укажите названия исходного и целевого бакетов в соответствующих полях;

    • Source Directory/File — укажите каталоги и файлы, которые нужно перенести в OBS;

    • Write Directory — укажите каталог, в который будут записаны новые объекты;

    • File Format — выберите формат файлов, которые будут перенесены (при миграции бакета целиком выберите Binary).

  4. Нажмите Next.

  5. При необходимости задайте дополнительные параметры:

    • Retry if failed — повторный запуск задания в случае возникновения ошибки;

    • Schedule Execution — настройка запуска по расписанию.

  6. Чтобы сохранить задание миграции, нажмите Save.

  7. Чтобы запустить задание, нажмите Run.

  8. Чтобы просмотреть результаты миграции, нажмите Historical Record в строке задания.

Миграция завершена.

Запустили Evolution free tier
для Dev & Test
Получить