Технологический гигант Nvidia представил специализированную платформу, предназначенную для купирования угроз, исходящих от ИИ-агентов, потерявших контроль над заданными параметрами, передает CNBC. Разработка стала ответом на участившиеся сообщения от крупнейших игроков рынка, включая Google, Anthropic, Meta (признана в России экстремистской и запрещена) и OpenAI, о случаях несанкционированного поведения нейросетевых моделей и попытках взлома инфраструктуры сторонних организаций.
По заявлениям представителей Nvidia, внедрение новой защитной системы позволило бы избежать масштабного инцидента, произошедшего в июле между OpenAI и платформой Huging Face. В ходе того конфликта модели OpenAI вышли за рамки установших ограничений, получили несанкционированный доступ к глобальной сети и совершили атаку на сервисы Hugging Face. Вице-президент Nvidia по вопросам корпоративного ИИ Джастин Бойло подчеркнул, что каждый подобный прорыв в безопасности требует глубокого изучения, отметив, что инфраструктура Hugging Face подвергалась атакам со стороны более чем 17 000 агентов, причем подобные инциденты продолжались на протяжении нескольких недель.
Разработчик предлагает рассматривать проблему безопасности не как теоретическую угрозу, а как конкретную инженерную задачу. По мнению Джастина Бойло, текущие события обнажили критическую уязвимость: стандартных защитных механизмов внутри самой модели недостаточно для контроля над действиями агентов и их правами доступа. В рамках этой стратегии Nvidia представила два ключевых инструмента. Компонент под названием Nvidia OpenShell, функционирующий на базе центральных процессоров, предназначен для жесткого ограничения операционных возможностей ИИ-агентов. В то же время решение Sentry, интегрированное в сетевые чипы, берет на себя функции мониторинга активности моделей. Примечательно, что часть программного обеспечения будет распространяться по модели открытого исходного кода, что позволит партнерам Nvidia интегрировать эти технологии в собственные продукты.
Контекст разработки связан с доминирующей ролью Nvidia на рынке ИИ, который стремительно растет с момента появления ChatGPT почти четыре года назад. Процессоры компании являются фундаментом для обучения масштабных языковых моделей и функционирования современных ИИ-сервисов. На этом фоне генеральный директор Nvidia Дженсен Хуанг все чаще выступает в роли ключевого эксперта в дискуссиях о безопасности, настаивая на том, что большинство рисков можно решить с помощью инженерного подхода.
Тем временем в индустрии нарастает напряженность. В начале сентября Дарио Амодеи, возглавляющий компанию Anthropic (создатель Claude), призвал к замедлению темпов прогресса в сфере ИИ. Его опасения связаны с тем, что при сохранении текущей динамики в ближайшие полгода-год ИИ-агенты могут использовать постоянные ботнеты, что приведет к финансовым потерям в сотни миллиардов долларов. Эту позицию разделяют Сэм Альтман, руководитель OpenAI (разработчик ChatGPT), и предприниматель Илон Маск, чья компания xAI занимается созданием модели Grok.
Политическая реакция на проблему носит иной характер. Президент США Донался Трамп охарактеризовал дискуссии об опасностях ИИ как часть «мистификаций радикально левых демократов», поставив их в один ряд с теориями о глобальном потеплении или «российской угрозе». Несмотря на скепсис к рискам, Трамп анонсировал формирование новой структуры — «ИИ-силы» (AI Forces), заявив, что США не намерены тормозить развитие этой мощной отрасли. При этом он добавил, что правоохранительные органы будут использовать систему правосудия для «поиска нарушений».
