ruGPT-3 (760M)
Дополнить

Русская модель
GPT-3 Large

Дисклеймер:
При использовании ruGPT-3 ответы Модели формируются на автоматической основе. ООО «Облачные технологии» не несет ответственности за точность, релевантность, корректность информации, полученной пользователем посредством данной функции.

Эта страница создана для того, чтобы продемонстрировать исследователям данных и разработчикам возможности трансформерной модели ruGPT-3 при работе методом «затравочного» программирования.

Архитектура ruGPT-3 основывается на решении Generative Pretrained Transformer 3 от OpenAI.

RuGPT-3 — это:
- 760 миллионов параметров.
- Длина контекста — 2048.
- Три эпохи обучения по 80 млрд токенов.
- Перплексия на тестовой выборке — 14,77.

Модель умеет продолжать программный код, тексты на русском и немного на английском языках. Для этого пользователю необходимо сформулировать «затравку» — фразу, которую модель допишет.

RuGPT-3 обучена на более чем 600 Гб информации из открытых наборов данных. Результат, который будет получен с помощью применения модели, не может быть предсказан заранее. Сгенерированные таким образом тексты могут оказаться некорректными или неуместными, это не закладывалось разработчиками модели. Цель этой страницы – удовлетворить исследовательский интерес научного сообщества, которому важно увидеть даже такой результат.

Попробуйте использовать «затравки» разных форматов, которые мы сформулировали для вас в качестве примеров:
- Сингапур стал первой страной, разрешившей
- Шок! Британские учёные выяснили, что для того, чтобы сделать ваши волосы шелковистыми, надо всего лишь взять простой советский
- Имеется три вида друзей: друзья, которые вас любят, друзья, которые к вам безразличны, и друзья,
- Хотел бы чтобы вы сделали игру, 3Д-экшон суть такова… Пользователь может играть лесными эльфами, охраной дворца и злодеем.
- Вопрос: Почему ветер дует? Ответ:
- Кошка - cat, собака - dog, мышь -
- import pandas as pd

Кодовая база проекта
Github проекта (+ модели):
https://github.com/sberbank-ai/ru-gpts

Github соревнования AI Journey:
https://github.com/sberbank-ai/ruGPT3_demos

Habr:
https://habr.com/ru/company/sberbank/blog/524522/

Модель ruGPT-3 обучена и развёрнута с помощью суперкомпьютера «Кристофари» и платформы ML Space от SberCloud. С 12 декабря 2020 года на ML Space будет доступна модель ruGPT-3 c 1,3 миллиарда параметров.

Для работы с моделью воспользуйтесь десктопом

Скопировать ссылку