Внедрение технологий искусственного интеллекта в производственные процессы российских IT-компаний сопровождается ростом киберугроз. Согласно результатам совместного исследования ассоциации разработчиков программных продуктов «Отемушенный софт» и компании AppSec Solutions, около 4% отечественных разработчиков программного обеспечения уже столкнулись с целенаправленными атаками на свои ИИ-инструменты. В ходе мониторинга были зафиксированы случаи использования промпт-инъекций против чат-ботов-ассистентов, а также попытки модификации пользовательских клиентов, целью которых является изменение программного кода для обхода защитных барьеров или кражи конфиденциальной информации.
Проблематика безопасности осложняется тем, что значительная часть индустрии не обладает должным уровнем мониторинга: 22% опрошенных участников процесса не смогли отследить атаки на нейросетевые решения, в то время как остальные респонденты не зафиксировали подобных инцидентов. В исследовании приняли участие 54 российских разработчика, на долю которых приходится 30% рынка тиражируемого программного обеспечения. Примечательно, что использование искусственного интеллекта является повсеместным — все без исключения опрошенные организации применяют ИИ в своей деятельности, причем более чем в 80% случаев технологии интегрированы непосредственно в процесс написания программного кода. При этом эксперты указывают на масштабное распространение «теневого ИИ»: в 59% случаев сотрудники используют сторонние нейросети частично, а в 41% случаев — массово.
Аналитики выделяют четыре основных вектора угроз, нацеленных на системы искусного интеллекта. К первой категории относится инъекция промпта, когда злоумышленник встраивает в запрос специальную команду, заставляющую модель игнорировать установленные разработчиками ограничения. Вторая угроза — утечка системного промпта, где через манипулятивные запросы хакеры добиваются раскрытия внутренних инструкций и логики работы нейросети. Третий тип атак связан с извлечением данных через ответы модели, когда преступники заставляют систему выдавать скрытую информацию из обучающей выборки или контекста памяти. Замыкает список «отравление» данных обучения, предполагающее преднамеренное внесение искаженной или вредоносной информации в массив данных еще до начала тренировки нейросети.
Представители ИТ-рынка и специалисты по кибербезопасности, опрошенные РБК, подчеркивают, что текущая ситуация является закономерным следствием активного внедрения ИИ. Эксперты прогнозируют дальнейшее усиление этой тенденции, так как успешный взлом ИИ-сервисов открывает хакерам прямой доступ не только к корпоративным сведениям, но и к управлению внутренними функциями систем.
