Тест Тьюринга устарел Как проверить искусственный интеллект на разумность?

Самый известный способ проверить машину на «разумность» предложил один из отцов-основателей информатики Алан Тьюринг. Получивший его имя тест описан в классической статье 1950 года «Вычислительные машины и разум», хотя известно, что саму задачу ученый позаимствовал из по­пуляр­ной в викторианской Англии игры в имитацию. Суть ее состояла в том, чтобы ведущий, не видя сидящих за ширмой игроков и лишь обмениваясь с ними записками, определил, кто из них мужчина, а кто женщина. Так же, по мысли Тьюринга, можно поступить и с компьютером. Если судья, переписываясь с кем-то с помощью компьютерной консоли, примет машину за живого человека, — ​считаем, что испытание она выдержала. В самом распространенном варианте теста на разговор дается ограниченное время, а для вынесения решения необходимо решение двух из трех судей, общающихся с компьютером.

Американский изобретатель Хью Лёбнер организовал ежегодные соревнования на прохождение теста Тьюринга, которые проводятся с 1990 года. По условиям золотая медаль будет присуждена программе, которая выполнит задания, сформулированные с использованием визуальной и звуковой информации, а серебряная — ​за прохождение классического текстового теста. До сих пор участники добирались лишь до бронзы, вручаемой за самую убедительную попытку

Естественный путь

Испытание: ЕГЭ для роботов

Некоторые специалисты предлагают оценивать искусственный интеллект так же, как это делается с естественным: с помощью школьных экзаменов и тестов, вплоть до ЕГЭ. Таким путем движутся, в частности, разработчики из Алленовского института ИИ, нейросеть которых справилась с задачами по математике. Действительно, такие задания требуют хорошего уровня владения естественным языком и разнообразных знаний об окружающем мире. Однако даже полностью лишенная интеллекта машина может давать правильные ответы, пользуясь информацией из интернета как справочником.

Критики подобного подхода опираются на мысленный эксперимент «китайская комната», который придумал Джон Сёрл. Представим, что у нас есть полный набор инструкций о том, какой исходящий иероглиф служит подходящим ответом на любой входящий. Тогда мы сможем адекватно поддерживать диалог по переписке, не зная китайского языка и вовсе не понимая сути разговора, а просто следуя указаниям. «Китайская комната» ставит под сомнение как экзаменационный тест, так и классический тест Тьюринга.

Визуальное мышление

Испытание: картинки Шолле

Разработчик из Google Франсуа Шолле предлагает оценивать «сильный» ИИ по выполнению простых задач, связанных с абстрактным мышлением и способностями к обобщению, как в тестах на IQ. Для начала показывается пара картинок, связанных простым преобразованием: например, на одной объект показан вертикально, на другой развернут горизонтально. Компьютер должен разобраться, что за преобразование было использовано. Затем ему демонстрируют новую исходную картинку, к которой нужно дорисовать пару, используя то же преобразование.

Правда, пока что чаще не человек показывает картинки компьютеру, а наоборот. Речь идет о назойливых капчах, требующих от посетителя сайта доказать, что он не робот. Капча считается вариантом «обратного теста Тьюринга». Судьей здесь выступает компьютер, и именно он должен определить, с кем имеет дело в «диалоге». Для различения используют настолько искаженный текст или сложные визуальные образы, что пока с ними не справляются даже лучшие нейросети. По статистике, даже люди на решение капчи тратят в среднем 32 секунды.

Kuki. Чат-бот Kuki, написанный программистом Стивом Уорсвиком, ранее был известен как Mitsuku. Под этим именем он выиграл пять премий Лёбнера. Kuki притворяется 18-летней девушкой. Поболтать с ней можно во многих соцсетях и мессенджерах.

ДМИТРИЙ САЛИХОВ, Руководитель направления SBER AI

Тест Тьюринга был недееспособен с самого начала, но понятно это стало только недавно, в 2014-м, когда он был формально пройден. Притягательность теста — ​в его лаконичности: хотя строго определить интеллект не представляется возможным, простая методика может определить его наличие у машины. Однако тест упрекают в том, что он имеет дело не с интеллектом, а с поведением системы. Я бы сказал, что он испытывает понимание человеческого языка, тогда как настоящий интеллект включает и многое другое, недоступное для проверки в формате текстового общения. Но даже понимание языка можно тестировать по-разному. Формулировка Тьюринга не накладывает никаких специальных условий на формат диалога, его сложность и длительность. А именно здесь кроется основной подвох. Традиционный стиль онлайн-диалогов — ​обмен короткими репликами, чит-чат — ​легко имитируется большими языковыми моделями. Современная диалоговая система легко пройдет тест в стиле чит-чата. Но для выявления настоящего понимания нужно использовать специальные приемы, такие как языковые игры и мета-вопросы. Если бы я формулировал условия вместо Тьюринга, то обязательно бы уточнил: «Тест должны проводить подготовленные эксперты с применением методик, выявляющих понимание».

Чувство контекста

Испытание: схемы Вайногреда

Профессор Стэнфордского университета Терри Вайногред предложил тест с вопросами, которые требуют понимания взаимоотношений между объектами и окружающим миром. Например: «Приз не влезает в коричневый чемодан, потому что он слишком большой. Что здесь „он“?» Для человека правильный ответ кажется очевидным, однако мы хорошо понимаем, что такое «приз» и «чемодан», какие роли они играют в жизни. Компьютеру для этого не обойтись без общих знаний о мире и способности рассуждать.

Современные специалисты предъявляют к сильному ИИ еще более высокие требования, чем Вайногред: ИИ должен видеть контекст в информации разной модальности — ​текстовой, визуальной, звуковой. Например, предлагается, чтобы робот самостоятельно собрал шкаф из ИКЕА. Это требует понимания инструкций, соотнесения их с физическим миром и точной манипуляции реальными объектами.

Eugene Goostman. Женя Густман выиграл престижный конкурс ИИ, который провели в британском Университете Рединга в честь 60-летия со дня смерти Алана Тьюринга. На Премии Лёбнера бот не поднимался выше 4-го места. Программа Eugene Goostman, выполнившая формальные требования теста Тьюринга, вовсе не использует ИИ. Это хитроумный алгоритм, который опирается на заданные программистами схемы разговора и встроенные справочники. А главное, он умело притворяется подростком Женей, эмигрантом из Одессы, еще плохо говорящим по-английски, — ​с такого и взятки гладки.

Реальная жизнь

Испытание: кофейный эксперимент

Лучшим тестом «сильного» ИИ будет проверка способностей умной машины действовать в реальном мире — ​как минимум справиться с заданием, которое придумал для таких систем сооснователь Apple Стив Возняк. Звучит тест элементарно: надо войти в случайную кухню и, сориентировавшись здесь, самостоятельно приготовить чашку кофе. Однако такая задача лежит далеко за пределами возможностей современной робототехники и ­программирования.

Искусственный интеллект создавался по образу и подобию человеческого мозга. Как устроены нейронные сети? Максимально простое объяснение: