«Сбер» выпустил многоязычную версию нейросети GPT-3 Она генерирует тексты на 61 языке

Как сообщает «Сбер», mGPT является первой в мире генеративной моделью, которая поддерживает такое количество языков. Модель mGPT доступна в двух версиях: базовой — с 1,3 миллиарда параметров, опубликованной в открытом доступе в облачном хранилище сервиса «СберДиск», а также расширенной — с 13 миллиардами параметров, которая скоро станет доступна на платформе машинного обучения ML Space от SberCloud.

Модель mGPT может использоваться как для генерации текста, так и для решения различных задач в области обработки естественного языка на одном из поддерживаемых языков путем дообучения или в составе ансамблей моделей. Она может также использоваться как компонент различных речевых технологий — для улучшения качества распознавания речи, генерации сценариев диалоговых систем и других задач.

«Сбер» утверждает, что mGPT показывает выдающиеся результаты на многих задачах few-shot и zero-shot learning: в этой области машинного обучения не требуется отдельно доучивать модель, достаточно сформулировать задачу текстом и привести несколько примеров, после чего mGPT научится выполнять новую задачу.

Это можно использовать для того, чтобы научить автоматизированную систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из текста имена, фамилии, названия компаний и тому подобную информацию.

Google недавно выпустил новую языковую модель Palm: