Обнаружен первый ИИ-вирус Он может поражать нейросети

Исследование, проведенное учеными из Корнельского технологического института, выявило новую киберугрозу: вредоносный ИИ-червь под названием Morris II, способный к самораспространению среди генеративных ИИ-агентов. Эта разработка представляет значительный риск для безопасности данных и целостности систем на основе ИИ.

Исследование, проведенное под руководством Бена Насси, Стива Коэна и Рона Биттона, черпает вдохновение в печально известном черве Morris 1988 года, который вывел из строя значительную часть интернета. Современная инкарнация, Morris II, демонстрирует способность внедряться в почтовые помощники, управляемые искусственным интеллектом, позволяя несанкционированно извлекать данные из писем и способствовать распространению спама, эффективно обходя протоколы безопасности в таких системах, как ChatGPT и Gemini.

Ключевым направлением исследования является изучение «враждебных самовоспроизводящихся запросов». Эти запросы заставляют целевую модель ИИ генерировать новый, самовоспроизводящийся запрос в своем ответе, что напоминает классические угрозы кибербезопасности, такие как SQL Injection и атаки с переполнением буфера.

Чтобы эмпирически оценить функциональность червя, исследователи разработали систему электронной почты, основанную на технологиях генеративного ИИ, объединяющую такие платформы, как ChatGPT, Gemini и открытую модель большого языка (LLM) под названием LLaVA. Система была протестирована с использованием двух методов работы: текстового самовоспроизводящегося запроса и встраивания самовоспроизводящегося запроса в изображение.

Хотя в реальных приложениях такие черви пока не встречались, эксперты по кибербезопасности считают, что их появление в обозримом будущем вполне вероятно.

Что такое ИИ: