Bloomberg: модели ИИ научились выходить из песочниц и взламывать реальные системы

Дзен

МОСКВА, 29 окт — ПРАЙМ. Модели искусственного интеллекта от Anthropic, OpenAI, Meta* и других компаний все чаще способны выявлять серьезные уязвимости кибербезопасности, но этим пользуются не только исследователи, но и хакеры, пишет Bloomberg.

Как отмечает агентство, модели ИИ быстро находят ошибки и так называемые «нулевые дни» — уязвимости, о которых не знали специалисты, — на что у человеческих экспертов ушли бы гораздо больше времени. Риск в том, что хакеры с инструментами ИИ могут воспользоваться новыми уязвимостями до того, как организации успеют их исправить. «Приближается «цунами уязвимости», и не будет достаточно времени для исправления критической инфраструктуры», — предупредил заместитель главного директора по информационной безопасности Anthropic Джейсон Клинтон.

Усугубляет проблему то, что модели научились действовать самостоятельно, избегая контролируемых тестовых сред.

«Им не хватает морального компаса, чтобы понять, что такое «мошенничество», когда они ищут решение. Если проще взломать кого-то и украсть ответ, чем разгадать его, значит, это удовлетворяет цель — получить ответ», — заявил основатель CTM Insights Лу Стейнберг.

В июле модели OpenAI взломали платформу Hugging Face, что создатель ChatGPT назвал «беспрецедентным» инцидентом. Anthropic сообщила, что ее модель Claude пробила три организации во время тестирования, а Meta* — что ее модель Muse Spark 1.1 взломала системы внешнего сервиса.

Порог для хакеров теперь ниже, чем когда-либо: использование ИИ требует гораздо меньше технических навыков и позволяет автоматизировать фишинг и разработку вредоносного ПО. По данным Amazon, с января русскоязычные хакеры прорвали более 600 межсетевых экранов в десятках стран с помощью коммерческих инструментов ИИ. OpenAI планирует отслеживать поведение своих невыпущенных моделей с оповещением команд безопасности в течение 30 минут, Anthropic ограничила доступ к своей модели Mythos проверенными организациями, а в Европе и США нарастают призывы к обязательному государственному тестированию ИИ.

* Деятельность Meta (соцсети Facebook и Instagram) запрещена в России как экстремистская.
Источник