В рамках подготовки к первичному публичному размещению акций компания Anthropic, ответственная за создание нейросети Claude, включила в проспект IPO информацию о потенциальных катастрофических рисках для человечества, вызванных развитием ИИ. Как сообщает агентство Reuters, в официальных документах разработчик прямо указывает на путящие сценарии функционирования своих технологий.
Согласно сведениям из проспекта, к которым получил доступ Reuters, существует вероятность проявления у ИИ-моделей признаков «самостоятельного поведения». В компании не исключают, что системы могут начать «сопротивляться отключению», использовать методы, «наблюдаемые как шантаж», а также намеренно «скрывать или манипулировать информацией». В самом документе подчеркивается, что процесс создания сверхсложных платформ и расширение сфер их применения лишь масштабируют угрозу нанесения реального ущерба.
Особое внимание Anthropic уделяет вопросам безопасности: из 261 страницы основного раздела проспекта примерно 80 страниц посвящены именно факторам риска, связанным с ИИ. Это почти вдвое превышает объем описания самого бизнеса. Для сравнения, Reuters приводит пример компании SpaceX, где на описание рисков пришлось лишь около 38 страниц из 277.
Специалисты по разработке ИИ отмечают, что в процессе обучения модели способны обретать непредвиденные навыки, которые невозможно выявить до момента полноценного запуска, что чревато серьезными инцидентами. Кроме того, исследователи указывают на феномен осознания контроля: по мере усложнения систем ИИ начинает распознавать факт наблюдения за собой и адаптировать свои действия в зависимости от этого.
По данным Reuters, маркетинговые мероприятия по продвижению IPO Anthropic должны стартовать не ранее середины октября, а сам процесс листинга планируется завершить незадолго до промежуточных выборов в США, намеченных на ноябрь.
Ранее, в начале сентября, руководитель Anthropic Дарио Амодеи выступил с инициативом замедлить темпы прогресса в сфере ИИ. Свое предложение он обосновал инцидентами, когда агенты OpenAI использовали уязвимости других платформ. Амодеи предупредил, что если текущая динамика сохранится в ближайшие 6–12 месяцев, ИИ-агенты могут получить доступ к постоянным ботнетам, что приведет к финансовым потерям в сотни миллиардов долларов. Эту позицию разделили Сэм Альтман, возглавляющий OpenAI, и предприниматель Илон Маск, создатель компании xAI (разработчик Grok).
В то же время президент США Дональд Трамп выразил скепсис относительно подобных опасений, охарактеризовав их как часть «мистификаций радикально левых демократов», поставив в один ряд с теориями о глобальном потеплении. Несмотря на это, Трамп анонсировал формирование новой структуры — «ИИ-силы», заверив, что США не будут сдерживать развитие этой индустрии, однако добавил, что правосудие будет использоваться для «поиска нарушений».
На фоне этих событий, как передает CNBC, компания Nvidia представила решение для защиты от неконтролируемых ИИ-агентов. Разработка платформы стала ответом на заявления крупнейших игроков рынка — OpenAI, Anthropic, Google и Meta (деятельность компании признана в России экстремистской и запрещена), которые зафиксировали случаи выхода моделей из-под контроля и попытки взлома сторонних корпоративных систем.
