Развернуть модель (создать деплой)
В этой инструкции описано, как создать деплой, посмотреть статус деплоя или подов, а также как динамически изменить конфигурацию деплоя во время развертывания модели. В конце приведена видеоинструкция с примером развертывания готовой модели из AI Marketplace.
Создать деплой
В главном меню платформы перейдите в .
Нажмите Создать деплой. Откроется диалоговое окно с параметрами нового деплоя.
В поле Название укажите название нового деплоя с учетом регистра. Разрешается применять следующие символы: строчные латинские буквы от a до z, цифры от 0 до 9, дефис (–).
Выберите тип деплоя.
Стандартный. Запуск деплоя с одним контейнером на основе kfserving или собственного веб-сервера.
Раздельный. Запуск раздельного деплоя оптимизированного инференса.
Установите конфигурацию ресурсов.
Выберите конфигурацию экземпляра деплоя и укажите Количество экземпляров.
Количество используемых GPU определяется как количество экземпляров в текущий момент, умноженное на количество GPU в одном экземпляре. Например, при конфигурации от нуля до пяти экземпляров по одному GPU может быть использовано от нуля до пяти GPU.
Примечание
Если первое значение в поле Количество экземпляров равно нулю, при отсутствии обращений к деплою произойдет его гибернация. Время выхода из гибернации составляет до пяти минут при наличии свободных ресурсов в регионе размещения.
Особенностью работы автоскейлинга при уменьшении количества экземпляров деплоя является остановка ресурсов, которая занимает 5-10 минут. Время остановки тарифицируется.
(Опционально) Для раздельного деплоя укажите распределение ресурсов.
Этот коэффициент устанавливает долю ресурсов от выбранной конфигурации, выделяемую для трансформера. Устанавливайте трансформеру как можно меньше ресурсов, тем самым выделяя больше ресурсов для обработки запросов внутри моделей.
Выберите Docker-образ.
Доступны Базовые образы ML Space и Образы Docker registry. Подробнее об использовании образов из Docker registry см. Собрать кастомный Docker-образ для Deployments.
Образы, созданные в модуле Образы, находятся во вкладке Базовые образы ML Space и названы
inference-image-xxxxxxxxxx.Нажмите Создать деплой.
Примечание
Из развернутого деплоя выходить в интернет нельзя. К развернутому деплою можно обращаться с помощью http-запросов.
Чтобы посмотреть логи сборки, выберите соответствующий пункт из меню 
.
Логи можно скопировать в текстовом формате для последующего сохранения в файл.
Проверить состояние деплоя
После создания деплоя рекомендуем проверить, что он развернут и его экземпляры работают корректно. Для этого:
Перейдите в .
Перейдите в карточку недавно созданного деплоя.
Обратите внимание на статус деплоя.
«В очереди» — деплой находится в очереди на выделение ресурсов.
«Выполняется» — деплой работает.
«Удален» — деплой удален.
Проверьте статусы экземпляров деплоя, перейдя на вкладку Экземпляры. Рядом со статусом отображается иконка
, при наведении на которую вы увидите состояние контейнера с моделью:«PodInitializing» — создается экземпляр.
«ContainerCreating» — создается контейнер.
«Running» — экземпляр запущен.
«Completed» — экземпляр завершил работу.
Если рядом со статусом иконка красного цвета
, значит, экземпляр завершил работу с одной из ошибок:«CrashLoopBackOff» — контейнер с моделью запускается повторно, далее возникнет ошибка. Рекомендуется исправить код serving-скрипта.
«ErrImagePull» — невозможно получить образ.
«Error» — внутри контейнера с моделью произошла ошибка, далее последует попытка перезапуска. Рекомендуется исправить код serving-скрипта.
«ImagePullBackOff» — происходит повторное получение образа.
«ImageInspectError» — невозможно проверить образ.
«OOMKilled» — экземпляр остановлен из-за превышения лимита памяти, который установлен в выбранной конфигурации. Рекомендуется изменить конфигурацию деплоя.
«RunContainerError» — ошибка запуска контейнера.
«CreateContainerError» — ошибка создания контейнера.
Изменить конфигурацию деплоя во время выполнения
В процессе выполнения образа на сервисе есть возможность динамически менять конфигурацию деплоя. Для этого:
Перейдите в .
Перейдите в карточку деплоя.
Задайте конфигурацию экземпляра деплоя и количество экземпляров.
Нажмите Сохранить изменения.
Внимание
Если не задать количество экземпляров деплоя (по умолчанию 0), логи деплоя посмотреть невозможно.
Обратите внимание на то, что после изменения конфигурации деплоя происходит его повторная сборка (статус «В очереди»).
Пример развертывания готовой модели из AI Marketplace
Чтобы узнать, как развернуть готовую модель Entity Recognition из AI Marketplace, посмотрите видеоинструкцию.
для Dev & Test