Миграция бакета S3 в облако Advanced
Компонент CDM сервиса DAYU позволяет мигрировать бакеты S3. В облаке Advanced бакеты управляются с помощью Object Storage Service (OBS) — безопасного и надежного объектного хранилища, полностью совместимого с S3.
Для миграции:
подготовьте исходный бакет к миграции;
создайте с помощью сервиса OBS бакет в облаке Advanced;
используйте CDM для переноса бакета S3.
Порядок действий
Подготовка исходного бакета S3
Скачайте ключи доступа SecretId и SK (Secret Key) к исходному бакету S3.
Примечание
В некоторых облачных сервисах ключи доступа SecretId и SK к исходному бакету S3 можно получить только для сервисных аккаунтов.
Скопируйте и сохраните адрес точки подключения (endpoint) к исходному бакету S3, например: «storage.mycloud.net».
Создание бакета OBS
Создайте бакет OBS, в который будут мигрировать данные из бакета S3.
При создании бакета можно задать класс хранения, политику доступа и другие параметры в соответствии с исходным бакетом.
Подготовка кластера CDM
Войдите в консоль Advanced и откройте сервис DAYU в разделе EI Enterprise Intelligence.
Выберите инстанс DAYU и нажмите Access.
Примечание
Если инстанс DAYU отсутствует, то его необходимо создать.
Откройте инстансу DAYU доступ в интернет. Для этого:
Создайте NAT-шлюз в той же подсети, где расположен кластер CDM.
Добавьте SNAT-правило и привяжите к NAT-шлюзу созданный ранее внешний IP-адрес.
Перейдите на вкладку Workspace Management.
Выберите Data Integration для соответствующей рабочей области.
Выберите Cloud Data Migration.
Примечание
Если инстанс CDM отсутствует, то его необходимо создать.
Создание коннекторов
Перед созданием задачи на миграцию создайте коннекторы, позволяющие кластеру CDM считывать данные из бакета S3 и записывать их в облако Advanced.
На странице Cluster Management выберите .
Выберите коннектор типа «Amazon S3» для исходного бакета S3 и нажмите Next.
На странице настройки коннектора для исходного бакета S3 задайте его параметры:
Name — введите название коннектора.
Endpoint — введите адрес точки подключения (endpoint) к источнику данных. Например, «storage.mycloud.net».
SecretId — вставьте идентификатор секретного ключа.
SK — вставьте секретный ключ SK к бакету.
Нажмите Test для проверки коннектора или нажмите Save, и система автоматически проверит соединение и сохранит коннектор после успешной проверки.
Примечание
Если транспортная сеть имеет низкую пропускную способность или источник данных имеет слишком большой размер, проверка коннектора может занять от 30 до 60 секунд.
Нажмите Create Link, чтобы перейти к созданию коннектора для целевого бакета OBS.
Выберите коннектор типа «Object Storage Service (OBS)» для целевого бакета в облаке Advanced и нажмите Next.
На странице настройки коннектора задайте его параметры:
Name — введите название коннектора.
OBS Bucket Type — тип данных источника. Выберите: Object Storage.
AK — вставьте ключ доступа AK к бакету OBS.
SK — вставьте секретный ключ доступа SK к бакету OBS.
См.также
Инструкция по созданию ключей доступа для ресурсов Object Storage Service.
Нажмите Test для проверки коннектора или нажмите Save, и система автоматически проверит соединение и сохранит коннектор после успешной проверки.
См.также
Дополнительные сведения о параметрах источников данных разных типов:
Создание и запуск задания на миграцию
Выберите на странице Cluster Management.
Укажите настройки задания на шаге Configure Basic Information:
Job Name — введите название задания. Название — это строка длиной от 1 до 256 символов, состоящая из латинских букв, подчеркиваний (_), точек, дефисов и цифр, например, «oracle2obs_t».
Source Link Name — выберите источник, из которого мигрируете данные.
Destination Link Name — выберите конечную точку, в которую мигрируете данные.
Укажите в блоке Source Job Configuration:
Bucket Name — название бакета S3, из которого мигрируете данные.
Source Directory/File — путь к каталогу, из которого мигрируете данные. Например, укажите «/», если нужно мигрировать содержимое всего бакета.
File Format — формат данных, в котором необходимо выполнить миграцию данных из источника. Для переноса всех файлов выберите Binary.
Укажите в блоке Destination Job Configuration:
Bucket Name — название бакета, в который мигрируете данные, например, «bucket_2».
Write Directory — путь к каталогу OBS, в который мигрируете данные, например, корневой каталог бакета «/».
File Format — формат данных, в котором мигрируете данные. Для переноса всех файлов выберите Binary.
Примечание
При переносе данных между источниками данных, связанными с файлами, такими как FTP, SFTP, NAS, HDFS и OBS, значение параметра File Format должно совпадать с значением исходного формата файла.
Если файлы переносятся между FTP, SFTP, NAS, HDFS и OBS, а для источника миграции установлено значение Binary, то файлы будут передаваться напрямую, без сопоставления полей.
Duplicate File Processing Method — метод обработки дубликатов файлов. Выберите: Skip.
Подсказка
Файлы с одинаковым именем и размером идентифицируются как дубликаты. При наличии дубликатов во время записи данных доступны следующие методы:
Replace — заменить;
Skip — пропустить;
Abandon — прекратить.
Нажмите Show Advanced Attributes в блоке Source Job Configuration и Destination Job Configuration для настройки дополнительных атрибутов источника данных и конечной точки миграции.
См.также
Сведения о настройке дополнительных атрибутов в задании на миграцию данных смотрите в таблице «Описание параметра».
Нажмите Next для завершения создания задачи миграции.
Задайте расписание для выполнения задания миграции данных на шаге Configure Task:
Retry if Failure — количество повторных попыток при сбое. Выберите: Never или Retry 3 times if failed.
Подсказка
Рекомендуется настроить автоматическую повторную попытку только для заданий переноса файлов или баз данных с включенным параметром Import to Staging Table, чтобы избежать несогласованности данных, вызванной повторной записью данных.
Group — выберите группу, в которой находится задание (группа по умолчанию — DEFAULT).
Подсказка
На странице Job Management задания можно отображать, запускать или экспортировать по группам.
Schedule Execution — включите возможность выполнения задания по расписанию.
Подсказка
Если выбран вариант Да, то можно задать время начала, цикл и срок действия задания.
Show Advanced Attributes — нажмите для настройки дополнительных атрибутов расписания миграции данных.
См.также
Сведения о настройке дополнительных атрибутов расписания миграции данных смотрите в таблице «Описание параметра».
Нажмите Save and Run, чтобы сохранить и сразу запустить задание. Нажмите Save, чтобы только сохранить задание.
Задание можно запустить в любой момент — для этого на вкладке Table/File Migration нажмите Run.
Просмотр результатов миграции
Статус запущенного задания можно просмотреть на вкладке Table/File Migration.
Примечание
Состояние задания может быть New, Pending, Booting, Running, Failed или Succeeded.
Pending означает, что задание ожидает выполнения по расписанию, а Booting означает, что данные, подлежащие миграции, анализируются.
После успешного завершения задания на миграцию откройте целевой бакет в консоли управления Object Storage Service и убедитесь, что он содержит файлы из исходного бакета S3.
для Dev & Test