Подключите свое приложение к самой большой нейросети для русского языка ruGPT-3!

Страница ruGPT-3 создана для того, чтобы продемонстрировать исследователям данных и разработчикам возможности трансформерных моделей ruGPT-3 Large и ruGPT-3 XL при работе методом «затравочного» программирования.

Модели RuGPT-3 — это:
- 760 миллионов параметров (ruGPT-3 Large).
- 1.3 млрд параметров (ruGPT-3 XL).
- Длина контекста — 2048.
- Перплексия на тестовой выборке — ruGPT-3 Large 13.6, ruGPT-3 XL 12.05

Модели умеют продолжать программный код, тексты на русском и частично на английском языках. Для этого пользователю необходимо сформулировать «затравку» — фразу, которую модель допишет.

Нейросеть обучена на более чем 600 Гб открытых данных: википедии, художественной литературе, диалогах, программном коде.

Нейросеть демонстрирует state-of-the-art возможности для русского языка и умеет продолжать любой текст. Результат, который будет получен с помощью применения модели, не может быть предсказан заранее. Цель этой страницы – удовлетворить исследовательский интерес научного сообщества, а также предложить API ruGPT-3 разработчикам приложений, диалоговых и рекомендательных систем, текстовых классификаторов и пр.

Подключайте свое приложение к технологиям ruGPT-3 в облаке SberCloud!

В примерах ниже курсивом выделено сгенерированное продолжение.

Диалоговые системы

system: Добрый день! Чем могу помочь?
user: Добрый день! С утра не работает интернет. Тариф 500мбит
system: хорошо, сейчас попробуем исправить. Ждите.

Рекомендательные системы с нуля

"Физик Максим, 28 лет, больше всего любит фильмы: «Улица Сезам», «Матрица».

Тематическая классификация текстов:

Новость: В России выведен на полную мощность самый быстрый в мире суперкомпьютер «Кристофари»
Категория: Новости науки, техника и технологии.

Работа с API

Ссылка на документы
Доступные модели - Large (760 млн параметров) и XL (1.3 млрд параметров).

Кодовая база проекта
Github проекта (+ модели):
https://github.com/sberbank-ai/ru-gpts

Habr:
Как мы обучали ruGPT-3
Тестируем ruGPT-3 на новых задачахВсё, что нам нужно — это генерация

Модель ruGPT-3 обучена и развёрнута с помощью суперкомпьютера «Кристофари» и платформы ML Space от SberCloud.

Дисклеймер:
При использовании моделей ruGPT-3 Large и ruGPT-3 XL ответы формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данной функции.

Архитектура нейросети ruGPT-3 основывается на решении Generative Pretrained Transformer 3 от OpenAI.