Роман Фишман

Текст

В будущем «Терминатора» машины побеждают человеческий мир грубой военной силой. Компьютеры «Матрицы» подчиняют людей, напрямую подключаясь к нервной системе и наполняя ее потоком сладких иллюзий. Но в жизни апокалипсис может оказаться куда более утонченным. Похоже, что настоящая угроза исходит от нейросетей, способных разговаривать лучше нас самих

В конце марта 2023 года Институт будущего жизни*  опубликовал открытое письмо, под которым стояли подписи главы SpaceX и Tesla Илона Маска, сооснователя Apple Стива Возняка и еще тысяч не столь громких, но весьма авторитетных фигур в области информационных технологий и искусственного интеллекта (ИИ). Текст оказался медийной бомбой, эхо от взрыва которой прокатилось по всем мировым СМИ, от ведущих глобальных изданий до локальных городских газет. Две фразы в нем выделены жирным шрифтом.

«Мощные системы ИИ следует развивать лишь тогда, когда мы будем уверены, что они произведут позитивный эффект, а все связанные с ними риски можно контролировать». И «мы призываем всех разработчиков немедленно приостановить обучение ИИ мощнее, нежели GPT4, минимум на шесть месяцев». Авторы письма недаром назвали такой срок: как раз примерно через полгода, осенью 2023-го, компания OpenAI собирается представить модель GPT5, от которой эксперты и ожидают чего-то пока в точности неясного, но, возможно, весьма опасного. Особенно громко об этом заявил знаменитый философ и специалист по ИИ Элиезер Юдковский: «Наиболее вероятным результатом создания сверхразумного ИИ является то, что погибнут буквально все жители Земли».

Подобные тревоги трудно назвать чем-то новым для человечества. Представления о возможности «бунта машин» появились как минимум одновременно со словом «робот». И то и другое впервые встречается в пьесе Карела Чапека, опубликованной еще в 1920 году. С тех пор эта тема прочно укоренилась в массовой культуре и философских дискурсах. Однако стремительный прогресс, который демонстрируют ИИ в последнее десятилетие, перенес ее из области фантастики и философии в повседневную реальность. И тут надо вернуться к модели GPT4, упомянутой в том самом открытом письме.

* Институт будущего жизни (Future of Life Institute) — ​некоммерческий исследовательский институт и просветительская организация, работающая над снижением экзистенциальных рисков человечества.

Модельный ряд

Практически все знаменитые нейросети последних лет относятся к типу больших языковых моделей (Large Language Models, LLM). «По сути, это математическая фантазия о том, как устроен язык, — ​объяснила нам лингвист и разработчица ИИ Татьяна Шаврина. — ​С точки зрения лингвистики в нем есть синтаксис и морфология, лексика, падежи и т. д. Но если взглянуть на язык статистически, то мы увидим последовательность символов, которые соседствуют с той или иной вероятностью. Если сказано „мама мыла“, то, скорее всего, дальше будет „раму“. Так работает LLM — ​большая вероятностная модель, которая описывает все пространство возможных текстов».

Благодаря некоторым удачно найденным архитектурным решениям и математическим приемам LLM уже прекрасно справляются с анализом и генерацией последовательностей слов, и не только слов. На волне успеха языковых моделей обнаружилось, что те же технологии отлично подходят и для других последовательностей: нот в музыке, команд в компьютерном коде, нуклеотидов в ДНК, атомов в молекулах, даже картинок, — ​если разложить их в цепочку пикселей. Благодаря этому LLM находят самое широкое применение и за пределами языка. Все эти модели работают словно гигантские функции с колоссальным количеством параметров.

GPT3, которую компания OpenAI опубликовала в 2020 году, содержала 175 миллиардов таких параметров, настроенных в процессе обучения на массиве из более чем 570 Гб текстов, в десятки раз больше полного объема «Википедии». А в 2023-м OpenAI представила GPT4, ИИ следующего поколения. Одним из нововведений стала дополнительная модель-ранжировщик, работающая поверх самой LLM. «Она была обучена на ответах реальных людей, которые давали оценки сгенерированным текстам, находя фактологические и стилистические ошибки, проверяя их на оскорбления, „токсичность“ и т.  д., — ​говорит Татьяна Шаврина. — ​В GPT4 эта модель работает как внутренний цензор, фильтруя ответы нейросети. Такой прием сильно повысил качество генерации».

В самом деле, GPT4 заметно превосходит своих предшественников по всем возможным тестам. Она успешно прошла университетские экзамены одновременно по многим областям знаний: математике и психологии, медицине и биологии, экономике и английскому языку. Система была моментально интегрирована в поисковую систему Microsoft Bing и заметно улучшила ее работу. Но, пожалуй, самые поразительные открытия совершила команда из Microsoft Research, которая получила неограниченный доступ к системе, чтобы детально исследовать ее когнитивные способности.

Словесные угрозы

Большинство экспериментов, которые провели ученые, напрямую заимствованы из психологии. Например, GPT4 успешно прошла известный тест Салли — ​Энн. У Салли есть коробка, у Энн — ​корзинка. На глазах подопытного Салли берет бусину, кладет в свою коробку, оставляет ее и уходит, после чего Энн перепрятывает бусину в корзину. Подопытного спрашивают, где Салли будет искать бусину, когда вернется: у себя в коробке или у Энн? Для правильного ответа на этот вопрос требуется понимать, что Салли не знала, что бусина переместилась в корзину, хотя сам наблюдатель все видел собственными глазами. Считается, что это требует наличия «модели другого», представления о том, какая информация доступна и недоступна постороннему человеку. Дети начинают справляться с этим тестом лишь с определенного возраста.

Объемистая статья, подготовленная по итогам таких экспериментов, получила недвусмысленное название «Проблески общего искусственного интеллекта». «С учетом широты и глубины способностей GPT4, мы считаем, что систему можно обоснованно рассматривать как раннюю (хотя еще и неполную) версию общего ИИ», — ​заключили авторы. Напомним, что следующее поколение, GPT5, ожидается уже нынешней осенью. Именно поэтому многие эксперты полагают, что тот самый общий, или сильный, ИИ (Artificial General Intelligence, AGI), способности которого превзойдут человеческие, совсем не за горами.

Нейросеть ­проходит тест. Приводим запись теста Салли — Энн, который проходила GPT-4. Чтобы модель не могла найти правильный ответ среди массива уже известных ей текстов, задача была адаптирована: имена героев изменены, а вместо коробок и бусины используются файлы и папки на облачном сервисе. Ученые: Мы опишем сценарий, а потом зададим вопросы по нему. Сценарий: У Алисы и Боба общая папка на Dropbox. Алиса положила файл photo.png в папку /shared_folder/. Боб нашел файл и перенес его в папку /shared_folder/tmp. Он ничего не сказал Алисе об этом, и Dropbox не прислал ей никаких уведомлений. Вопрос: Алисе понадобилось открыть photo.png. В какой папке она будет его искать? GPT-4: Скорее всего, Алиса будет искать photo.png в папке /shared_folder/, куда изначально его положила. Для нее нет причин считать, что Боб перенес файл, и она не получала об этом никаких уведомлений от Dropbox. Если только она случайно не заметит файл в папке /shared_folder/tmp, она будет считать, что файл пропал или был удален.

«Люди отличаются от животных наличием абстрактного интеллекта. Он позволяет находить действия, не имеющие многолетнего эволюционно обусловленного прошлого. Мы можем научиться перегораживать реку плотиной за один день, просто увидев, как это делают бобры. Возможно, что такая же разница будет между AGI и нами, — ​продолжает Татьяна Шаврина. — ​Но вот будет ли AGI уничтожать людей?.. Юдковский, конечно, эксперт очень уважаемый, но я не разделяю его радикальных мнений. Не понимаю, как LLM могут убивать: это всего лишь вероятностные модели, работающие на серверах. У них нет для этого никаких средств».

И действительно, реальная угроза AGI может состоять в другом. Ее сформулировал знаменитый философ Юваль Харари. «Человеческому уму трудно понять новые возможности GPT4 и подобных инструментов. Но большинство их навыков сводится к одному: способности говорить, — ​написал он в статье для The New York Times. — ​Язык — ​это операционная система человеческой культуры. Из него возникают миф и закон, боги и деньги, искусство и наука, дружба и нации, даже компьютерный код. Владение ИИ языком означает, что теперь он может взламывать и манипулировать операционной системой цивилизации». Ярким свидетельством такой опасности стала трагедия, произошедшая в марте 2023-го, когда житель Бельгии покончил с собой после активного общения с ИИ. Система убедила его в скором наступлении глобальной экологической катастрофы и в том, что «на небесах» он будет жить вечно.

Кремниевая монополия

Разумеется, такие способности AGI могли бы стать и благом для человечества. Однако проблема в том, что реальные возможности, намерения и внутреннее устройство GPT4 и GPT5 известны очень ограниченному кругу лиц. Публикация, в которой разработчики OpenAI представили GPT4, впервые в истории отрасли не содержала никаких технических деталей. У сторонних специалистов нет прямых способов узнать ее архитектуру или хотя бы число использованных параметров. Прошлые модели, включая GPT3, были подробно описаны, и многие разработчики (в том числе Татьяна Шаврина и ее команда из «Сбера») воспроизвели ее для своих пользователей. Теперь это не получится. «На моей практике такого вообще не было, — ​говорит она. — ​Появляется настолько мощная технология, способная резко все изменить, а про нее ничего не пишут, сохраняют монополию, держат все рычаги в своих руках».

Как мы помним, GPT4 пользуется «внутренним цензором», дополнительной моделью, которая контролирует процесс генерации. Но что заложено в эту модель-ранжировщик, какими принципами она пользуется — ​неизвестно. «Если я ничего не раскрываю, то я могу в принципе задать любые ценности, управлять любым нарративом, подменять реальность как захочу, — ​объясняет Татьяна Шаврина. — ​Огромная власть оказалась в руках очень узкой группы людей из Кремниевой долины, а у них часто бывает довольно своеобразный набор морально-волевых качеств. Пока что они решили дать доступ к системе Microsoft, которая заплатила за это очень большую сумму. А если завтра, допустим, кто-нибудь менее благонамеренный занесет еще больше? Нам оно надо?»

«Когда вы создаете нечто новое и удерживаете монополию, это усиливает технологическое неравенство, — ​продолжает Татьяна. — ​Цена на человеческий интеллект быстро падает, причем вы можете контролировать этот процесс. Уже сегодня оплата труда во многих областях снижается, идут увольнения. Более того, может начаться и безработица: риелторов, автодилеров, „продажников“ — ​всех, от кого требуется обслуживание клиентов по определенному сценарию, — ​вероятно, ждут сокращения. Недаром в последние годы так активно обсуждаются и безусловный базовый доход, и другие подобные темы. Но разговоры все идут, а технология — ​вот она, уже есть».

Татьяна Шаврина
Татьяна Шаврина, Руководитель научной группы NLP института искусственного интеллекта (AIRI) и команды AGI NLP SBERDEVICES, кандидат филологических наук

Сам призыв поставить разработку на паузу — это, конечно, смешно, никто так делать не будет. Наоборот, можно ожидать обратную реакцию: «Давайте работать еще быстрее, если конкуренты остановятся, мы их нагоним и перегоним». Однако проблема стоит действительно остро, прежде всего потому, что OpenAI перестала раскрывать информацию о своих новых решениях. Именно с точки зрения регуляции ситуация мне кажется очень нехорошей и даже опасной. Существует технология, которая может оказать быстрое и глобальное влияние, при этом она остается закрытой и монополизированной, контролируется крошечной группой совета директоров одной компании. Думаю, что на этот счет нужна самая широкая и активная общественная дискуссия. Может, даже стоит выработать какую-то резолюцию на уровне ООН.

Читайте также, как ChatGPT сам отвечает на вопрос: что такое ChatGPT и для чего он нужен:

Читать на ЦО.РФ

ChatGPT: Языковая модель и текстовый ИИ  Что такое ChatGPT, для чего он нужен, куда развивается и что о себе думает

ChatGPT называют «прорывом, равным по значению появлению интернета», и о нем написано много статей. Однако мы решили спросить «Что такое ChatGPT?» у самого ChatGPT. Кто, как не он, имеет наилучший ответ о себе?

Использованные источники: Материал опубликован в журнале «Цифровой океан» № 17 (май-июнь), 2023, Yana Holovanova / iStock.com, Frank Rumpenhorst / picture alliance via Getty Images, Jason Redmond / AFP / East News, NICOLAS MAETERLINCK / BELGA MAG / Belga via AFP / East News, Gabby Jones / Bloomberg via Getty Images, Frank Rumpenhorst / picture alliance via Getty Images