Языковые модели думают на английском языке Даже когда общаются на других языках

Швейцарские ученые из Федеральной политехнической школы Лозанны исследовали три версии модели Llama 2 с открытым исходным кодом, чтобы детально ознакомиться с каждым этапом обработки текстового запроса. Модели состоят из нескольких слоев, каждый из которых отвечает за определенный этап обработки запроса — один переводит письменные подсказки в токены, другой отвечает за контекст.

Моделям было предложено три типа запросов на китайском, французском, немецком и русском языках. В одном случае предлагалось повторить заданное слово, во втором — перевести с одного языка на другой, в третьем — заполнить пробел в одно слово в предложении. Изучив процессы, через которые проходит LLM, выяснилось, что путь обработки через слои безотносительно языка проходит через английское «подпространство» — модели используют его, чтобы понять суть запроса.

Этот факт вызвал у ученых обеспокоенность — использование английского языка для обучения LLM несет с собой риск распространить связанные с этим ограничения в мировоззрении на другие лингвистически и культурно отличающиеся регионы. «Если английский станет основным языком, на котором системы обрабатывают запросы, мы, скорее всего, потеряем концепции и нюансы, которые можно оценить только на других языках», — отметили авторы исследования.

Здесь мы рассказываем, что принесет человечеству прогресс ИИ: