Обучение языковой модели на базе ML Space и суперкомпьютера Christofari Neo

Команда сервиса постоянно работает над улучшениями собственного ИТ-продукта, и на этот раз специалисты задались целью повысить качество предоставляемых услуг за счет обучения языковой модели на основе open source модели.

В качестве ресурсов для обучения данной модели планировалось использовать 4 видеокарты NVIDIA GeForce RTX 2080 Ti c 11ГБ памяти, а также Tesla T4 16ГБ. Поскольку объем собранных данных для модели составляет около 2 ТБ, примерное время обучения на этих ресурсах — больше 140 дней. Такой длительный срок обучения срывал планы по обновлению сервиса — требовалось быстрое решение и большее количество мощностей.

Клиент уже успешно использует облачную платформу SberCloud Advanced для построения ИТ-инфраструктуры в облаке, поэтому выбор облачного провайдера в рамках этого проекта был очевиден.

Команда сервиса обратилась в SberCloud за доступом к облачной платформе ML Space для обучения языковой модели.

Перед стартом работы на платформе команда ML Space провела короткую обучающую демо-презентацию, через час после которой специалисты уже смогли самостоятельно загрузить данные для обучения языковой модели.

Обучение модели было запущено в сервисе Environments ML Space на мощнейших картах Tesla A100 с 80ГБ памяти суперкомпьютера Christofari Neo.

Команда сервиса переместила процессы ML-разработки в облако в кратчайшие сроки, ускорила обновление собственного ИТ-продукта и осталась довольна качеством обученной модели.

Языковая модель помогла улучшить поиск и выстроить рекомендательную систему в сервисе. В итоге клиенты-соискатели могут быстрее находить интересующие их вакансии, а клиенты-работодатели стремительнее подбирать сотрудников по резюме.

Благодаря ресурсам SberCloud клиент сократил время обучения модели до 15 дней, то есть почти в 10 раз уменьшила технический time-to-market.

Сейчас команда сервиса по подбору персонала собирает данные для обучения новых моделей и планирует вновь обратиться за ресурсами.