Переместить данные между S3 и NFS

При хранении данных необходимо учитывать, что объектное хранилище S3 дешевле, но медленнее, в то время как горячее хранилище NFS дороже, но быстрее.

Переместить данные между S3 и NFS можно несколькими способами.

Примечание

На NFS для всех пользователей установлен лимит на количество файлов в namespace. Подробнее — см. Узнать квоту на количество файлов.

Способ 1. Через интерфейс Обзора хранилища

Для перемещения данных на NFS через интерфейс Объектное хранилище:

  1. Перейдите в Data Catalog → Объектное хранилище.

  2. Перейдите в нужный бакет.

  3. Выберите объекты для переноса и нажмите Отправить на NFS.

  4. В появившемся окне выберите, на NFS какого региона отправить данные.

Перенос отобразится на вкладке История переносов.

Способ 2. С помощью правил переноса

Перемещение данных между S3 и NFS можно настроить c заданными параметрами и периодичностью, создав правило переноса между S3 и NFS. Подробнее cм. Операции над правилами переноса данных.

Способ 3. Средствами client_lib

Чтобы переместить данные средствами client_lib:

  1. Передайте параметры доступа к бакету S3.

  2. Скопируйте данные с S3 в NFS, используя соответствующие команды команды функции client_lib.

Способ 4. С помощью пайплайнов

Чтобы переместить данные:

  1. Создайте пайплайн, используя шаблон ниже. Подробнее о создании пайплайна см. Создать или отредактировать пайплайн.

  2. Скопируйте и вставьте его в yaml-редактор.

  3. Отредактируйте шаблон, опираясь на описание параметров пайплайна.

Пайплайн для переноса данных
 version: "1"
 nodes:
 dts_s3_to_nfs:
    node_type: data_transfer
    parameters:
       name: "<transfer_name>"
       source_conn_id: "<s3_connector_id>"
       source: "<source_path>"
       destination_conn_id: "<nfs_connector_id>"
       destination: "<destination_path>"
       cluster_name: "<name_of_region>"
       strategy: "write_all"
Запустили Evolution free tier
для Dev & Test
Получить