Data transfer service

Data transfer service позволяет осуществлять:

  • Обмен данными между разными S3-бакетами в рамках одного или разных воркспейсов.

  • Обмен данными между системными хранилищами платформы ML Space — S3 и NFS.

  • Обмен данными между системными хранилищами разных регионов платформы ML Space.

  • Перенос данных из внешних баз данных и файловых систем в Data Catalog ML Space.

Миграция данных реализована в рамках сервиса Data transfer service. Она осуществляется в ручном или автоматическом режиме по заданным правилам и с определенной периодичностью. Для переноса данных достаточно подключить коннектор к источнику данных, определить место назначения, настроить правила и периодичность переноса. Коннектор доступен для всех созданных Воркспейсы. Правила переносов и История переносов данных отображаются на соответствующих вкладках и доступны для конкретных Воркспейсы.

Коннекторы

С помощью сервиса возможно подключаться к различным локальным и внешним источникам данных. Подключение предполагает указание параметров доступа к конкретному источнику данных. Набор параметров подключения варьируется в зависимости от типа источника.

Типы коннекторов

Системные

S3 ML Space (для переносов S3/S3), NFS ML Space (для переносов S3/NFS и NFS/NFS).

Внешние

К файловым системам на протоколе S3: Amazon S3, Google Cloud Storage S3, Custom S3 (для бакетов Cloud.ru и S3-хранилищ пользователей).

Примечание

Сервис поддерживает только Hadoop RPC Protocol версии 9.

К базам данных
  • PostgreSQL (версии серверной части от 7.4 до 14, клиентской — от 9.1).

  • MySQL (версии 8.0, 5.7, 5.6, 5.5).

  • MS SQL (версии 2005 или выше).

  • Oracle DB (Возможно использовать cx_Oracle с Oracle 11.2, 12, 18, 19 и 21 версиями библиотек).

  • ClickHouse (версии кроме 20.1.*).

Примечание

Для стабильной работы с ClickHouse рекомендуем задать значение параметра readonly: 2 в вашей базе данных или, если необходимо использовать значение readonly: 1, добавить changeable_in_readonly. Подробнее — в документации ClickHouse.

При создании правила переноса источник и место назначения выбирается из списка коннекторов.

На вкладке Коннекторы можно создавать подключения (коннекторы) к источникам данных, а также управлять существующими подключениями (редактировать, удалять, обновлять, фильтровать, заносить в избранное).

Параметры подключения к внешним S3

В разделе приведены ссылки на документацию разработчика, в которой описаны параметры, требуемые для подключения к S3.

Источник

Параметры подключения

S3-хранилища Amazon, Google Сloud, Custom S3

История переносов данных

В сервисе История переносов отображаются все переносы, построенные на основе правил переноса и коннекторов. Переносы можно отфильтровать по выбранному правилу переноса или коннектору. История переносов также отражает переносы между хранилищами ML Space S3 / NFS, S3 / S3 и NFS / NFS.

После запуска правила переноса в сервисе История переносов появляется прогресс переноса.

../_images/s__progr-bar.ru.png

Чтобы посмотреть логи истории переносов, перейдите в меню Кнопка с тремя вертикальными точками и выберите Логи.

Возможно отфильтровать для отображения только те записи, которые соответствуют заданным условиям. Для добавления фильтра по типу нажмите Кнопка Воронка. Затем — Добавить фильтр. Отфильтруйте данные.

Чтобы удалить запись в истории переносов:

  1. Перейдите в Data Catalog → Data transfer service → История переносов.

  2. Выберите запись, которую необходимо удалить, отметив ее чекбоксом.

  3. Нажмите Кнопка удаления, затем Подтвердить.

Запустили Evolution free tier
для Dev & Test
Получить