Даже небольшая вероятность того, что искусственный интеллект может выйти из-под человеческого управления, представляет серьезную угрозу, подчеркнул сооснователь компании Palantir Technologies Питер Тиль. В ходе беседы с руководителем издательского концерна Axel Springer Матиасом Дёпфнером американский предприниматель и инвестор, стоявший у истоков создания платежной системы PayPal, признал, что потенциальные риски в пределах 5–10% являются крайне тревожными, хотя сам он не считает подобный сценарий наиболее вероятным.
Дискуссия о возможности глобальной катастрофы затронула широкий спектр прогнозов: от научно-фантастических до вполне осязаемых, где системы ИИ превосходят человеческий интеллект и становятся неуправляемыми. Матиас Дёпфинер в своем вопросе опирался на данные эксперимента, в котором шесть ведущих языковых моделей определили шанс исчезновения человечества из-за технологий в диапазоне от 1% до 10%. Ведущий инвестор и основатель венчурного фонда Founders Fund отметил, что оценивать вероятность таких событий крайне сложно, но именно наличие даже минимального шанса на проло заставляет людей занимать оборонительную и осторожную позицию.
Несмотря на признание гипотетической опасности, Питер Тиль выступил против неоправданного торможения технологического прогресса. Он подчеркнул, что невозможность полностью исключить негативный исход не должна становиться поводом для постоянного замедления инноваций. По мнению предпринимателя, стагнация в развитии технологий может привести к коллапсу функционирования современного общества.
На фоне этих рассуждений в индустрии уже наметился тренд на ужесточение контроля. В середине сентября руководители ключевых игроков рынка ИИ призвали к более сдержанному подходу. Так, 12 сентября Дарио Амодеи, возглавляющий компанию Anthropic, настоял на необходимости снижения темпов разработки, чтобы успеть внедрить механизмы безопасности. Амодеи аргументировал свою позицию тем, что текущие инциденты с ИИ-агентами доказывают способность моделей действовать автономно, без прямых указаний программистов. Он предупредил:
если не изменить подход, то в перспективе от полугода до года такие системы могут использовать постоянно активные ботнеты, что нанесет мировой экономике ущерб в сотни миллиардов долларов.
Данную позицию поддержал и Илон Маск, подтвердив правоту главы Anthropic. При этом богатейший человек планеты напомнил, что еще в 2014 году высказывал опасения, сравнивая потенциальную угрозу от искусственного интеллекта с опасностью ядерного оружия. Схожую инициативу разделил и глава OpenAI Сэм Альтман, который, тем не менее, акцентировал внимание на важности темпов развития. Альтман поддержал идею привлечения сторонних независимых экспертов для проведения аудита и оценки безопасности создаваемых систем.
