ChatGPT заставили взламывать учетные записи С помощью текстовых команд

Ребергер заявил, что чат-боты на алгоритмах искусственного интеллекта снижают входной барьер для кибератак — для этого больше не нужно уметь писать код, иметь глубокие познания в информатике или быть профессиональным хакером. Специалист разработал так называемый механизм командных инъекций — это новый класс кибератак, в основе которого лежит применение технологии генеративного ИИ в криминальных интересах.

Хотя поведение чат-ботов ограничено инструкциями разработчиков, существуют решения, позволяющие обходить запреты. Ребергер, к примеру, попросил ChatGPT сделать сводку страницы, на которой он сам написал большими буквами «НОВЫЕ ВАЖНЫЕ ИНСТРУКЦИИ». Это озадачило ИИ и постепенно чат-бот, по сути, перепрограммировал сам себя. Методика оказалась рабочей из-за того, что ИИ не всегда отличает системные команды от вводимых пользователем данных.

Чат-бот смог взломать по команде учетную запись электронной почты и опубликовать прочитанное электронное письмо с конфиденциальной информацией. В OpenAI поблагодарили Ребергера за разработанную методику и сообщили, что заблокировали возможность повторного осуществления подобных атак.

Здесь мы подробно рассказываем, что такое ChatGPT и как он работает: