Разработана крупнейшая в мире генеративная языковая модель В ней 530 миллиардов параметров
Microsoft и Nvidia объединили усилия для создания модели генерации естественного языка под созданием Megatron-Turing Natural Language Generation, которая содержит 530 миллиардов параметров — это самая крупная и мощная обученная монолитная трансформаторная языковая модель на сегодняшний день. MT-NLG имеет втрое больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует непревзойденную точность в широком наборе задач естественного языка.
К примеру, как утверждают разработчики, она умеет предсказывать завершение текста по смыслу, понимать прочитанное, генерировать логические выводы, создавать заключения на естественном языке и различать смысл слов с несколькими значениями.
Обучение столь мощной модели стало возможным благодаря многочисленным инновациям: разработчики объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.
Посмотрите, как работает отечественный сервис «Балабоба», который построен на языковой модели «Яндекса» YaLM, обученной на терабайтах русских текстов:
Использованные источники:
