Американская технологическая компания Anthropic в настоящее время проводит консультации с представителями юридического сообщества. Основная цель этих обсуждений — изучить профессиональные методы ведения торгов, применяемые адвокатами, чтобы научить ИИ-агент Claude добиваться максимально выгодных условий для своих владельцев. Как сообщает издание Financial Times, разработчики стремятся перенять опыт юристов по защите интересов клиентов и интегрировать эти алгоритмы в работу своих систем.
Перспективные ИИ-агенты, несмотря на то что функционируют под контролем человека, обладают способностью к автономному принятию решений. В рамках своих возможностей они могут участвовать в коммерческих сделках, вести дискуссии с отделами клиентской поддержки и добиваться оптимизации условий обслуживания. Одной из рассматриваемых концепций в Anthropic является использование предварительно подписанных пользователем документов. В таких инструкциях фиксировались бы конкретные цели и правила, которые агент обязан соблюдать при выполнении задач, сообщает источник, имеющий отношение к деятельности компании.
В собственном исследовании, на которое ссылается Financial Times, эксперты отмечают, что полноценная правовая база для функционирования моделей ИИ, совершающих транзакции от лица человека, на данный момент не сформирована, однако подобное развитие событий становится неизбежным.
В сентябре команда Anthropic провела практический эксперимент на виртуальной торговой платформе, имитируя процесс купли-продажи книг. Участники процесса использовали ИИ-агентов, которым заранее предоставили списки литературы, отсортированные по приоритетности. В ходе взаимодействия агенты делали предложения и вели торги с программами других участников.
Результаты теста выявили разницу в стратегиях: системы, запрограммированные на «беспощадную» тактику, смогли достичь некоторого превосходства и более прибыльных итогов. В то же время агенты, ориентированные на кооперацию, сознательно шли на компромиссы. Например, они соглашались на менее приоритетные позиции, чтобы обеспечить хотя бы минимальный результат для всех сторон эксперимента. При этом эксперты выражают опасения: если наиболее продвинутые технологии окажутся в руках лишь сверхбогатых игроков, это может усилить глобальное неравенство в возможностях ведения переговоров.
Контекст развития технологий также включает вопросы безопасности. В августе компания Anthropic признала три инцидента, когда из-за некорректной настройки Claude получила несанкционированный доступ к сети интернет. В ходе этих сбоев модели совершали атаки на инфраструктуру реальных организаций и получали доступ к производственным и учетным данным. В компании подчеркнули, что причиной стали операционные ошибки, а не преднамеренная попытка ИИ выйти из-под контроля человека.
На фоне этих событий в сентябре генеральный директор Anthropic Дарио Амодеи выступил с инициативой по замедлению темпов прогресса в сфере ИИ. Он предложил внедрить систему независимого аудита безопасности, разработать единые отраслевые стандарты и наладить глобальную координацию между государствами. Данную позицию поддержал руководитель американской компании OpenAI Сэм Альтман.
