Обучение моделей
В этом разделе приведены инструкции по подготовке и обучению моделей моделей в модуле Environments платформы ML Space.
В этом разделе
- Примеры препроцессинга данных
- Установить библиотеки из Git-репозитория
- Запустить процесс обучения
- Обучить модель с использованием PyTorch Elastic Learning
- Обучить модель с использованием библиотеки Horovod
- Сохранить промежуточные результаты обучения (чекпоинты)
- Провести эксперимент
- Подключиться по SSH к задаче обучения из терминала
Перед началом работы
Убедитесь, что:
Вы авторизованы в личном кабинете https://console.cloud.ru, и у вас есть доступ к платформе ML Space.
Создан проект. Если проекта не существует, создайте его.
Создан воркспейс. Попросите коллег из требуемого воркспейса добавить вас в воркспейс и после добавления выберите его из раскрывающегося списка в шапке страницы.
Если воркспейс не существует, создайте новый.
Пользователь зарегистрирован. Для регистрации нового пользователя воспользуйтесь инструкцией.
Необходимые для обучения файлы загружены в хранилище. См. Загрузить данные в хранилище S3 средствами платформы и Переместить данные между S3 и NFS.
(Опционально) Версия client_lib в Jupyter Server актуальна.
для Dev & Test