Последним будет слово?  Что принесет человечеству стремительный прогресс ИИ

В конце марта 2023 года Институт будущего жизни*  опубликовал открытое письмо, под которым стояли подписи главы SpaceX и Tesla Илона Маска, сооснователя Apple Стива Возняка и еще тысяч не столь громких, но весьма авторитетных фигур в области информационных технологий и искусственного интеллекта (ИИ). Текст оказался медийной бомбой, эхо от взрыва которой прокатилось по всем мировым СМИ, от ведущих глобальных изданий до локальных городских газет. Две фразы в нем выделены жирным шрифтом.

«Мощные системы ИИ следует развивать лишь тогда, когда мы будем уверены, что они произведут позитивный эффект, а все связанные с ними риски можно контролировать». И «мы призываем всех разработчиков немедленно приостановить обучение ИИ мощнее, нежели GPT‑4, минимум на шесть месяцев». Авторы письма недаром назвали такой срок: как раз примерно через полгода, осенью 2023-го, компания OpenAI собирается представить модель GPT‑5, от которой эксперты и ожидают чего-то пока в точности неясного, но, возможно, весьма опасного. Особенно громко об этом заявил знаменитый философ и специалист по ИИ Элиезер Юдковский: «Наиболее вероятным результатом создания сверхразумного ИИ является то, что погибнут буквально все жители Земли».

Подобные тревоги трудно назвать чем-то новым для человечества. Представления о возможности «бунта машин» появились как минимум одновременно со словом «робот». И то и другое впервые встречается в пьесе Карела Чапека, опубликованной еще в 1920 году. С тех пор эта тема прочно укоренилась в массовой культуре и философских дискурсах. Однако стремительный прогресс, который демонстрируют ИИ в последнее десятилетие, перенес ее из области фантастики и философии в повседневную реальность. И тут надо вернуться к модели GPT‑4, упомянутой в том самом открытом письме.

* Институт будущего жизни (Future of Life Institute) — ​некоммерческий исследовательский институт и просветительская организация, работающая над снижением экзистенциальных рисков человечества.

Модельный ряд

Практически все знаменитые нейросети последних лет относятся к типу больших языковых моделей (Large Language Models, LLM). «По сути, это математическая фантазия о том, как устроен язык, — ​объяснила нам лингвист и разработчица ИИ Татьяна Шаврина. — ​С точки зрения лингвистики в нем есть синтаксис и морфология, лексика, падежи и т. д. Но если взглянуть на язык статистически, то мы увидим последовательность символов, которые соседствуют с той или иной вероятностью. Если сказано „мама мыла“, то, скорее всего, дальше будет „раму“. Так работает LLM — ​большая вероятностная модель, которая описывает все пространство возможных текстов».

Благодаря некоторым удачно найденным архитектурным решениям и математическим приемам LLM уже прекрасно справляются с анализом и генерацией последовательностей слов, и не только слов. На волне успеха языковых моделей обнаружилось, что те же технологии отлично подходят и для других последовательностей: нот в музыке, команд в компьютерном коде, нуклеотидов в ДНК, атомов в молекулах, даже картинок, — ​если разложить их в цепочку пикселей. Благодаря этому LLM находят самое широкое применение и за пределами языка. Все эти модели работают словно гигантские функции с колоссальным количеством параметров.

GPT‑3, которую компания OpenAI опубликовала в 2020 году, содержала 175 миллиардов таких параметров, настроенных в процессе обучения на массиве из более чем 570 Гб текстов, в десятки раз больше полного объема «Википедии». А в 2023-м OpenAI представила GPT‑4, ИИ следующего поколения. Одним из нововведений стала дополнительная модель-ранжировщик, работающая поверх самой LLM. «Она была обучена на ответах реальных людей, которые давали оценки сгенерированным текстам, находя фактологические и стилистические ошибки, проверяя их на оскорбления, „токсичность“ и т.  д., — ​говорит Татьяна Шаврина. — ​В GPT‑4 эта модель работает как внутренний цензор, фильтруя ответы нейросети. Такой прием сильно повысил качество генерации».

В самом деле, GPT‑4 заметно превосходит своих предшественников по всем возможным тестам. Она успешно прошла университетские экзамены одновременно по многим областям знаний: математике и психологии, медицине и биологии, экономике и английскому языку. Система была моментально интегрирована в поисковую систему Microsoft Bing и заметно улучшила ее работу. Но, пожалуй, самые поразительные открытия совершила команда из Microsoft Research, которая получила неограниченный доступ к системе, чтобы детально исследовать ее когнитивные способности.

Словесные угрозы

Большинство экспериментов, которые провели ученые, напрямую заимствованы из психологии. Например, GPT‑4 успешно прошла известный тест Салли — ​Энн. У Салли есть коробка, у Энн — ​корзинка. На глазах подопытного Салли берет бусину, кладет в свою коробку, оставляет ее и уходит, после чего Энн перепрятывает бусину в корзину. Подопытного спрашивают, где Салли будет искать бусину, когда вернется: у себя в коробке или у Энн? Для правильного ответа на этот вопрос требуется понимать, что Салли не знала, что бусина переместилась в корзину, хотя сам наблюдатель все видел собственными глазами. Считается, что это требует наличия «модели другого», представления о том, какая информация доступна и недоступна постороннему человеку. Дети начинают справляться с этим тестом лишь с определенного возраста.

Объемистая статья, подготовленная по итогам таких экспериментов, получила недвусмысленное название «Проблески общего искусственного интеллекта». «С учетом широты и глубины способностей GPT‑4, мы считаем, что систему можно обоснованно рассматривать как раннюю (хотя еще и неполную) версию общего ИИ», — ​заключили авторы. Напомним, что следующее поколение, GPT‑5, ожидается уже нынешней осенью. Именно поэтому многие эксперты полагают, что тот самый общий, или сильный, ИИ (Artificial General Intelligence, AGI), способности которого превзойдут человеческие, совсем не за горами.

«Люди отличаются от животных наличием абстрактного интеллекта. Он позволяет находить действия, не имеющие многолетнего эволюционно обусловленного прошлого. Мы можем научиться перегораживать реку плотиной за один день, просто увидев, как это делают бобры. Возможно, что такая же разница будет между AGI и нами, — ​продолжает Татьяна Шаврина. — ​Но вот будет ли AGI уничтожать людей?.. Юдковский, конечно, эксперт очень уважаемый, но я не разделяю его радикальных мнений. Не понимаю, как LLM могут убивать: это всего лишь вероятностные модели, работающие на серверах. У них нет для этого никаких средств».

И действительно, реальная угроза AGI может состоять в другом. Ее сформулировал знаменитый философ Юваль Харари. «Человеческому уму трудно понять новые возможности GPT‑4 и подобных инструментов. Но большинство их навыков сводится к одному: способности говорить, — ​написал он в статье для The New York Times. — ​Язык — ​это операционная система человеческой культуры. Из него возникают миф и закон, боги и деньги, искусство и наука, дружба и нации, даже компьютерный код. Владение ИИ языком означает, что теперь он может взламывать и манипулировать операционной системой цивилизации». Ярким свидетельством такой опасности стала трагедия, произошедшая в марте 2023-го, когда житель Бельгии покончил с собой после активного общения с ИИ. Система убедила его в скором наступлении глобальной экологической катастрофы и в том, что «на небесах» он будет жить вечно.

Кремниевая монополия

Разумеется, такие способности AGI могли бы стать и благом для человечества. Однако проблема в том, что реальные возможности, намерения и внутреннее устройство GPT‑4 и GPT‑5 известны очень ограниченному кругу лиц. Публикация, в которой разработчики OpenAI представили GPT‑4, впервые в истории отрасли не содержала никаких технических деталей. У сторонних специалистов нет прямых способов узнать ее архитектуру или хотя бы число использованных параметров. Прошлые модели, включая GPT‑3, были подробно описаны, и многие разработчики (в том числе Татьяна Шаврина и ее команда из «Сбера») воспроизвели ее для своих пользователей. Теперь это не получится. «На моей практике такого вообще не было, — ​говорит она. — ​Появляется настолько мощная технология, способная резко все изменить, а про нее ничего не пишут, сохраняют монополию, держат все рычаги в своих руках».

Как мы помним, GPT‑4 пользуется «внутренним цензором», дополнительной моделью, которая контролирует процесс генерации. Но что заложено в эту модель-ранжировщик, какими принципами она пользуется — ​неизвестно. «Если я ничего не раскрываю, то я могу в принципе задать любые ценности, управлять любым нарративом, подменять реальность как захочу, — ​объясняет Татьяна Шаврина. — ​Огромная власть оказалась в руках очень узкой группы людей из Кремниевой долины, а у них часто бывает довольно своеобразный набор морально-волевых качеств. Пока что они решили дать доступ к системе Microsoft, которая заплатила за это очень большую сумму. А если завтра, допустим, кто-нибудь менее благонамеренный занесет еще больше? Нам оно надо?»

«Когда вы создаете нечто новое и удерживаете монополию, это усиливает технологическое неравенство, — ​продолжает Татьяна. — ​Цена на человеческий интеллект быстро падает, причем вы можете контролировать этот процесс. Уже сегодня оплата труда во многих областях снижается, идут увольнения. Более того, может начаться и безработица: риелторов, автодилеров, „продажников“ — ​всех, от кого требуется обслуживание клиентов по определенному сценарию, — ​вероятно, ждут сокращения. Недаром в последние годы так активно обсуждаются и безусловный базовый доход, и другие подобные темы. Но разговоры все идут, а технология — ​вот она, уже есть».

Татьяна Шаврина, Руководитель научной группы NLP института искусственного интеллекта (AIRI) и команды AGI NLP SBERDEVICES, кандидат филологических наук

Сам призыв поставить разработку на паузу — это, конечно, смешно, никто так делать не будет. Наоборот, можно ожидать обратную реакцию: «Давайте работать еще быстрее, если конкуренты остановятся, мы их нагоним и перегоним». Однако проблема стоит действительно остро, прежде всего потому, что OpenAI перестала раскрывать информацию о своих новых решениях. Именно с точки зрения регуляции ситуация мне кажется очень нехорошей и даже опасной. Существует технология, которая может оказать быстрое и глобальное влияние, при этом она остается закрытой и монополизированной, контролируется крошечной группой совета директоров одной компании. Думаю, что на этот счет нужна самая широкая и активная общественная дискуссия. Может, даже стоит выработать какую-то резолюцию на уровне ООН.

Читайте также, как ChatGPT сам отвечает на вопрос: что такое ChatGPT и для чего он нужен: