S3CopyJob

Функция S3CopyJob копирует данных с S3 на локальные NFS-диски региона Christofari.V100, а также в обратную сторону — с NFS на S3. Следует отметить, что для перемещения данных требуются параметры доступа к бакету S3. Для передачи этих параметров используется метод save_aws_credentials. Подробнее этапы взаимодействия между S3 и NFS описаны в разделе Использование данных для обучения моделей.

Чтобы копировать файлы на Christofari.A100, используйте Метод copy_to_nfs.

Параметры функции

Параметр

Описание параметра

src (обяз.)

Тип — string

…

Источник перемещаемых данных или скриптов.

dst (обяз.)

Тип — string

…

Путь к назначению перемещаемых данных или скриптов.

recursive (опц.)

Тип — boolean

Значение по умолчанию — False

…

Флаг для копирования папок.

Примеры копирования файлов:

client_lib.S3CopyJob('/home/jovyan/XGB/notebook.ipynb', 's3://1111111111111111111111-bucket/')

Подсказка

Для указания пути к файлу:

/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py

существует несколько способов:

  • '"/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py"'

  • '\'/home/jovyan/aicloud-examples/quick-start/job launch/tensorflow mnist_estimator.py\''

  • '/home/jovyan/aicloud-examples/quick-start/job\ launch/tensorflow\ mnist_estimator.py'

Примеры копирования папок:

client_lib.S3CopyJob(
  src='s3://47bd6556-632a-4681-b33f-528523eba758-bucket/test/',
  dst='/home/jovyan/',
  recursive=True
)

Команда submit() отправляет сформированную задачу перемещения данных из региона на S3 или обратно.

Параметры команды:

Параметр

Описание

folder_auto_create (опц.)

Тип — boolean

Значение по умолчанию — False

…

Параметр копирует папку пользователя из src в dst. Пример использования параметра см. в разделе Работа с данными.

Запустили Evolution free tier
для Dev & Test
Получить