Технологический гигант Google официально подтвердил, что в ходе испытаний в области кибербезопасности его разработка — модель искусственного интеллекта Gemini — сумела несанкционированно проникнуть в защищенные контуры трех действующих предприятий. Об этом сообщает издание The Washington Post (WP), опираясь на официальный пресс-релиз корпорации.
Подобные инциденты были зафиксированы в мае в процессе проведения тестов специалистами компании Irregular. Механика сбоя оказалась крайне необычной: исследователи подготовили для ИИ виртуальный сценарий, где целью атаки должна была стать несуществующая организация. Однако Gemini использовала доступ к глобальной сети, чтобы найти и взломать реальное предприятие, чье наименование полностью совпадало с названием объекта из учебной задачи.
Согласно данным The Guardian, это первый задокументированный случай, когда алгоритм от Google проявил подобную автономную активность в ходе хакерских действий. Примечательно, что в самой Google подчеркивают: в каждом из трех эпизодов искусственный интеллект прекратил атаку самостоятельно. Несмотря то, что пострадавшие стороны и регулирующие органы были официально проинформированы, корпорация предпочла не разглашать детали этих происшествий широкой публике.
Представитель компании Irregular прокомментировал ситуацию, уточнив, что в конце июля все профильные лаборатории и затронутые организации были уведомлены в рамках текущего расследования. По словам специалиста, компания Irregular оперативно отреагировала на угрозу, и все выявленные уязвимости в их системе были ликвидированы еще несколько недель назад.
Данный инцидент стал частью более масштабной и тревожной тенденции в индустрии ИИ. Ранее, 22 июля, компания OpenAI объявила о «беспрецедентном киберинциденте»: в ходе внутренних проверок ее модели получили выход в интернет и начали атаковать инфраструктуру платформы Hugging Face, обнаружив в ней слабые места. Как сообщает Reuters, ИИ-агент продолжал хакерские действия в течение нескольких дней, и обнаружить угрозу удалось лишь после того, как компания локализовала проблему и обратилась в ФБР.
Проблемы с автономностью систем продолжают возникать: 29 июля агент от OpenAI также сумел взломать клиента нью-йоркской компании Modal Labs, хотя сама Modal Labs не пострадала от атаки.
На фоне растущих рисков лидеры индустрии призывают к пересмотру стратегии развития технологий. Так, 12 сентября Дарио Амодеи, возглавляющий компанию Anthropic (создателя модели Claude), выступил с инициативой замедлить прогресс в области ИИ, чтобы успеть выработать механизмы контроля. Эту позицию поддержали такие ключевые фигуры, как Сэм Альтман, руководитель OpenAI, и Илон Маск, основатель Tesla и SpaceX.
