«Сбер» открыл доступ к генеративным моделям Они доступны для разработчиков

Сбер предоставил доступ к двум своим передовым нейросетевым моделям генерации текста: ruGPT-3.5 и mGPT 13B. Модель ruGPT-3.5, построенная на основе революционного фреймворка OpenAI GPT-3, оптимизирована для русского языка. Разработкой занималась команда исследователей компании «Сбер». Эта модель, насчитывающая 13 млрд параметров, демонстрирует возможности по продолжению текстов не только на русском, но и на английском языке, а также на различных языках программирования.

Версия mGPT 13B содержит 13 млрд параметров и расширяет возможности продолжения текста на 61 языке. В их число входят языки, распространенные в странах СНГ и даже в небольших этнических группах России. Нейронная сеть ruGPT-3.5 13B нашла свое значительное применение в GigaChat, где она играет важную роль в составе ансамбля моделей, названного NeONKA (Neural Omnimodal Network with Knowledge-Awareness). Такая интеграция потребовала выбора базовой языковой модели, которая в дальнейшем должна была пройти обучение на учебных данных.

Обе модели размещены на популярном депозитарии HuggingFace. Разработчики со всего мира могут получить доступ к этим моделям и внедрить их в свои приложения, поскольку они распространяются под открытой лицензией MIT. Эта открытая и свободная лицензия, созданная Массачусетским технологическим институтом, поощряет разработчиков к свободному использованию, модификации и распространению программного обеспечения.

«Сбер» последовательно выступает за открытость технологической среды. Банк убежден, что инновации и исследования развиваются, когда их не ограничивают.

Как работают нейросети: