Исследователь «отравила» открытую ИИ-модель всего за $100

Эксперт в области кибербезопасности Кэти Пэкстон-Фир (Katie Paxton-Fear) сумела установить бэкдор в открытой модели искусственного интеллекта, потратив на это примерно час времени и израсходовав около $100.

Выбираем лучший игровой ноутбук до 100 000 рублей: сравнительное тестирование 7 интересных моделей

Умные помощники: обзор ИИ-сервисов для обработки изображений. Часть 2, актуализированная

Обзор Ryzen 9 9950X3D2: правильный 16-ядерник с 3D-кешем

Обзор Infinix GT 50 Pro: геймерский смартфон со встроенной СЖО

Репортаж с IEM Cologne Major 2026: Жаб Жабыч, триумф NiKo и главные сенсации мейджора по CS2

В начале эксперимента она попыталась выяснить, можно ли использовать механизм тонкой настройки ИИ-модели, чтобы заставить её изменить стиль наименования переменных в JavaScript с вида «camelCase» на вариант «snake_case». Это оказалось очень просто — модель стала упорно использовать «snake_case», даже если в запросе ей указывали применять только «camelCase». Убедившись, что механизм работает, эксперт внедрила в модель настоящий бэкдор. Ей потребовались всего десять обучающих примеров, после чего модель стала включать в генерируемый код строки для удалённого выполнения в ответ на новые запросы. И чем больше модель, тем легче её оказалось «отравить».

Вредоносные ИИ-модели представляют значительную угрозу. В случае классического ПО можно произвести дизассемблирование бинарного файла и провести полный анализ поведения алгоритма. В случае ИИ-модели, даже если веса открыты, предсказать её поведение невозможно. Это подтвердил эксперимент исследователя Дэвида Каплана (David Kaplan), который создал скомпрометированную модель, предназначенную для кражи данных в контексте условной фармацевтической компании. Модель отправляет гипотетическому злоумышленнику ценную информацию, используя функцию «send_email» и не ставя об этом пользователя в известность.

«Скомпрометированная или подвергшаяся манипуляциям с тонкой настройкой модель не обязательно „ломается“, чтобы создать угрозу для бизнеса — ей нужно лишь влиять на решения способами, которые трудно обнаружить», — делает вывод Кэти Пэкстон-Фир.