Google выпустил языковую модель с 540 миллиардами параметров Она называется Pathways Language Model
Система Pathways может обобщать задачи и позволяет искусственному интеллекту решать множество проблем вместо обучения тысячи отдельных алгоритмов для выполнения узкой задачи. Модель PaLM стала первым крупномасштабным примером использования этой технологии. Ее обучили с использованием 6144 чипов в двух модулях Cloud TPU v4, что является самой большой конфигурацией системы для машинного обучения.
Основой для модели стали англоязычные и многоязычные наборы текста из книг, Википедии, документов, социальных сетей и кода GitHub. Pathways дала PaLM способность выполнять «цепочку рассуждений», что позволяет лучше решать задачи, требующие многошаговой арифметики или рассуждений на основе здравого смысла. Модель способна понимать шутки и объяснять, почему они смешные, писать новый код из простой текстовой подсказки, переводить код с одного языка на другой и исправлять ошибки компиляции в существующем коде.
PaLM протестировали на 29 задачах обработки языка, включая ответы на вопросы, задачи на понимание текста и рассуждения. В 28 из 29 случаев новая модель показала себя лучше, чем системы Google GLaM и LaMDA, OpenAI GPT-3, DeepMind Chinchilla и Gopher, а также NVIDIA и Microsoft Megatron-Turing NLG. PaLM демонстрирует возможность масштабирования системы Pathways до тысяч чипов в двух модулях TPU v4.
В предыдущей крупнейшей языковой модели было 530 миллиардов параметров:
Использованные источники:
