ИИ запустили на 13 Вт Как лампочку

Ученые из Калифорнийского университета в Санта-Круз разработали метод, позволяющий запускать большие языковые модели искусственного интеллекта (LLM) при значительно меньшем потреблении энергии, чем у современных систем — новый метод позволил запустить LLM с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы.

Это достижение особенно впечатляет на фоне текущих показателей энергопотребления ИИ-ускорителей: современные графические процессоры для центров обработки данных, такие как Nvidia H100 и H200, потребляют около 700 Вт, а грядущий Blackwell B200 вообще может использовать до 1200 Вт на один GPU. Получается, новый метод оказывается в 50 раз эффективнее современных решений.

Исследование было вдохновлено работой Microsoft по использованию троичных чисел в нейронных сетях, а в качестве эталонной большой модели ученые использовали LLaMa от Meta*. Рюдзи Чжу (Rui-Jie Zhu), один из аспирантов, работавших над проектом, объяснил суть достижения в замене дорогостоящих операций на более дешевые. Хотя пока неясно, можно ли применить этот подход ко всем системам в области ИИ и языковых моделей в качестве универсального, потенциально он может радикально изменить ландшафт ИИ.

Немаловажно, что ученые открыли исходный код своей разработки, что позволит крупным игрокам рынка ИИ, таким как Meta*, OpenAI, Google, Nvidia и другим, беспрепятственно воспользоваться новым достижением для обработки рабочих нагрузок и создания более быстрых и энергоэффективных систем искусственного интеллекта. В конечном итоге это приведет к тому, что ИИ сможет полнофункционально работать на персональных компьютерах и мобильных устройствах, и приблизится к уровню функциональности человеческого мозга.

* компания признана экстремистской и запрещена в РФ

Откуда берется электрический ток: