Павел Иевлев

Текст

Исследователи запускают ИИ-чатботов на мощности 13 Вт без потери производительности

Ученые из Калифорнийского университета в Санта-Круз разработали метод, позволяющий запускать большие языковые модели искусственного интеллекта (LLM) при значительно меньшем потреблении энергии, чем у современных систем — новый метод позволил запустить LLM с миллиардами параметров при энергопотреблении системы всего в 13 Вт, что эквивалентно потреблению бытовой светодиодной лампы.

Это достижение особенно впечатляет на фоне текущих показателей энергопотребления ИИ-ускорителей: современные графические процессоры для центров обработки данных, такие как Nvidia H100 и H200, потребляют около 700 Вт, а грядущий Blackwell B200 вообще может использовать до 1200 Вт на один GPU. Получается, новый метод оказывается в 50 раз эффективнее современных решений.

Исследование было вдохновлено работой Microsoft по использованию троичных чисел в нейронных сетях, а в качестве эталонной большой модели ученые использовали LLaMa от Meta*. Рюдзи Чжу (Rui-Jie Zhu), один из аспирантов, работавших над проектом, объяснил суть достижения в замене дорогостоящих операций на более дешевые. Хотя пока неясно, можно ли применить этот подход ко всем системам в области ИИ и языковых моделей в качестве универсального, потенциально он может радикально изменить ландшафт ИИ.

Немаловажно, что ученые открыли исходный код своей разработки, что позволит крупным игрокам рынка ИИ, таким как Meta*, OpenAI, Google, Nvidia и другим, беспрепятственно воспользоваться новым достижением для обработки рабочих нагрузок и создания более быстрых и энергоэффективных систем искусственного интеллекта. В конечном итоге это приведет к тому, что ИИ сможет полнофункционально работать на персональных компьютерах и мобильных устройствах, и приблизится к уровню функциональности человеческого мозга.

* компания признана экстремистской и запрещена в РФ

Откуда берется электрический ток:

Читать на ЦО.РФ

Электрический ток: что это Где он возникает, каким бывает и как рассчитывается?

Электрический ток – это направленное движение частиц - носителей электрического заряда. Каждый помнит это еще со школьных уроков. Но вот куда они движутся, зачем, почему? Разумеется, большинство наших читателей прекрасно это знает.

Использованные источники: