Загрузить данные на S3 с помощью сторонних инструментов

Данные в хранилище S3 можно загрузить как через платформу ML Space, так и с помощью таких инструментов, как Boto3 и CyberDuck.

Загрузка с помощью Boto3

Выполните следующие действия:

  1. Перейдите в Environments → Jupyter Servers.

  2. Создайте Jupyter Server или подключитесь к уже существующему.

  3. Скопируйте и выполните в ноутбуке следующий код:

session = boto3.session.Session()
s3_client = session.client(
    service_name = "s3",
    aws_access_key_id = '<AWS_KEY_ID>',
    aws_secret_access_key = '<AWS_SECRET_ACCESS>',
    endpoint_url = '<ENDPOINT>',
    region_name = "ru-1a",
)

s3_client.upload_file(
    Filename= '/home/jovyan/test-files/project_1/test.py', # путь к загружаемому файлу
    Bucket = '<BUCKET>',
    Key = 'test/test.py', # путь загрузки файла на  S3
    ExtraArgs = { 'ACL': 'authenticated-read'}, # добавляем права на чтение другим пользователям

)

Загрузка с помощью CyberDuck

Выполните следующие действия:

  1. Подключитесь к S3.

    1. В окне программы CyberDuck выберите Новое подключение.

    2. В выпадающем списке выберите Amazon S3 и заполните поля, используя credentials к S3:

      • В поле Cервер введите endpoint без https://.

      • В поле Access Key ID введите S3 access key ID.

      • В поле Secret Access Key введите S3 security key.

    3. Нажмите Подключиться.

    4. Откройте раздел Закладка → Новая закладка и в поле Path введите название S3 имя бакета со слешем, например /b-ws-abc. Используйте credentials к S3.

  2. Включите доступ на чтение для всех пользователей:

    1. В окне программы CyberDuck перейдите в настройки.

    2. Откройте раздел S3.

    3. В разделе Default ACL выберите authenticated-read.

  3. Загрузите файлы.

Запустили Evolution free tier
для Dev & Test
Получить