Языковые модели думают на английском языке Даже когда общаются на других языках
![Языковые модели думают на английском языке](https://s.digitalocean.ru/upload/1710110177_2150570994.jpg)
Швейцарские ученые из Федеральной политехнической школы Лозанны исследовали три версии модели Llama 2 с открытым исходным кодом, чтобы детально ознакомиться с каждым этапом обработки текстового запроса. Модели состоят из нескольких слоев, каждый из которых отвечает за определенный этап обработки запроса — один переводит письменные подсказки в токены, другой отвечает за контекст.
Моделям было предложено три типа запросов на китайском, французском, немецком и русском языках. В одном случае предлагалось повторить заданное слово, во втором — перевести с одного языка на другой, в третьем — заполнить пробел в одно слово в предложении. Изучив процессы, через которые проходит LLM, выяснилось, что путь обработки через слои безотносительно языка проходит через английское «подпространство» — модели используют его, чтобы понять суть запроса.
![](https://s.digitalocean.ru/upload/1710111509_2149524385.jpg)
Этот факт вызвал у ученых обеспокоенность — использование английского языка для обучения LLM несет с собой риск распространить связанные с этим ограничения в мировоззрении на другие лингвистически и культурно отличающиеся регионы. «Если английский станет основным языком, на котором системы обрабатывают запросы, мы, скорее всего, потеряем концепции и нюансы, которые можно оценить только на других языках», — отметили авторы исследования.
Здесь мы рассказываем, что принесет человечеству прогресс ИИ:
Использованные источники: Freepik
![ПРОФЕССИОНАЛЬНЫЙ СОЗДАТЕЛЬ УШЕЛ ИЗ ЖИЗНИ ВИТАЛИЙ ЕЗОПОВ](https://s.digitalocean.ru/627/upload/1723119493_VIT_9227.jpg.webp)