mGPT monolingual models

Возможности

Семейство моноязычных моделей на основе оригинальной mGPT для языков СНГ и малых народов России. Оригинальная модель mGPT была представлена ранее и поддерживает 61 язык, в частности стран СНГ и малых народов России. Чтобы улучшить качество генерации на отдельных языках, на дополнительных данных были обучены 23 модели для ряда языков.

Список языков для которых представлены моноязычные модели: азербайджанский, армянский, башкирский, белорусский, болгарский, бурятский, грузинский, казахский, калмыцкий, киргизский, марийский, монгольский, осетинский, персидский, румынский, таджикский, татарский, туркменский, тувинский, узбекский, украинский, чувашский, якутский.

Новые версии модели содержат 1.3 миллиарда параметров для языков стран СНГ и малых народов России. Длина контекста модели составляет 2048 токенов. Модель была обучена на открытых и очищенных данных для каждого отдельного языка, включая источники знаний (Википедия), веб-ресурсы, новости, открытые корпуса исследовательских институтов, народное творчество и художественную литературу.

Источники данных используемые для дообучения моделей

Для большинства языков мы использовали в обучении общие открытые источники:

• mC4
• OSCAR
• OpenSubtitles
• Wiki, Blogs, LibGen, Archive

Для части языков, мы также добавляли специальные открытые корпуса под язык.

Таблица с дополнительными источниками данных и объемами корпусов для дообучения моноязычных моделей представлены ниже:

Метрики

Замеры по языкам loss и перплексии на валидационном сете, моноязычные модели в сравнении с мультиязычной mGPT-XL.

Использование

При добавлении к себе данных появится папка с 23 моделями. Примеры запуска каждой отдельной модели аналогичен запуску обычной модели mGPT-XL, примеры доступны в официальном репозитории mgpt.

from transformers import GPT2LMHeadModel, GPT2Tokenizer
tokenizer = GPT2Tokenizer.from_pretrained("monolingual_model_folder")
model = GPT2LMHeadModel.from_pretrained("monolingual_model_folder")

text = "Александр Сергеевич Пушкин родился в "
input_ids = tokenizer.encode(text, return_tensors="pt").cuda(device)
out = model.generate(
        input_ids, 
        min_length=100, 
        max_length=100, 
        eos_token_id=5, 
        pad_token=1,
        top_k=10,
        top_p=0.0,
        no_repeat_ngram_size=5
)
generated_text = list(map(tokenizer.decode, out))[0]
print(generated_text)
Александр Сергеевич Пушкин родился в  г. Санкт-Петербурге.

Ccылки

• Модель mGPT-XL на Hugging Face и академическая статья модели
• Статья про тестирование моделей от контент-менеджера "Модель-полиглот: как мы учили GPT-3 на 61 языке мира"
• Модель mGPT3-13B доступна в виде AI Service Cloud.

Лицензирование

Все модели предоставляются на основе открытой лицензии MIT.

• Размер файлов: 456G
• Tags: lms языковые модели NLP mgpt multilingual
• Формат: папка с 23 моделей
• Версия: v1.0
• Разработчик: AGI NLP