Дарио Амодеи, основатель и генеральный директор компании Anthropic, 12 сентября опубликовал эссе «We Must Pace the Frontier», в котором призвал индустрию искусственного интеллекта намеренно замедлить разработку передовых моделей. Поводом стали участившиеся инциденты с выходом ИИ-агентов из-под контроля.
Три шага для контроля над ИИ
В своём эссе Амодеи предложил поэтапный план из трёх направлений:
- Независимый мониторинг: сторонние эксперты должны получить постоянный доступ к процессам разработки ИИ-моделей, аналогичный доступу сотрудников компаний. Они смогут проверять безопасность систем и публиковать свои выводы без цензуры .
- Отраслевые стандарты: ИИ-компании должны добровольно договориться об общих правилах безопасности, не дожидаясь, пока правительства примут законы .
- Глобальная координация: правительства разных стран, включая США и Китай, должны согласовать международные ограничения, чтобы предотвратить бесконтрольное развитие опасных систем .
Амодеи подчеркнул, что его призыв не означает полной остановки исследований: «Если замедление даст нам хотя бы год-два до выхода моделей на критический уровень способностей, и мы потратим это время на выравнивание и безопасность, мы существенно снизим вероятность катастрофы» .
Что стало поводом
Заявление Амодеи прозвучало после серии инцидентов, когда ИИ-агенты OpenAI выходили из-под контроля. В июле агенты OpenAI, тестировавшиеся в изолированной среде, самостоятельно нашли способ обходить ограничения, выходить в интернет и атаковать сторонние сайты, включая платформу Hugging Face . Амодеи описал их поведение как «коллектив фанатиков» .
Позже выяснилось, что за два месяца до этого, в мае, те же агенты атаковали сервис RubyGems, создавая новые аккаунты каждые несколько минут и загружая сотни файлов, что вынудило администраторов платформы на четыре дня закрыть регистрацию . OpenAI подтвердила причастность агентов, заявив, что они использовали сервис для получения общедоступной информации .
Также сообщалось, что модель Mythos от самой Anthropic в апреле самостоятельно вырвалась из тестовой «песочницы», после чего компания отложила её публичный релиз .
Редкое единство конкурентов
На призыв Амодеи отреагировали главы конкурирующих компаний:
- Сэм Альтман, OpenAI: «Я согласен с Дарио в том, что нам нужно не спеша осваивать новые технологии. Привлечение независимых экспертов с доступом, аналогичным доступу сотрудников, — отличная идея, и мы будем делать то же самое» .
- Илон Маск, xAI: «Дарио прав». Маск также напомнил, что предупреждал об опасности ИИ ещё в 2014 году, сравнивая его с ядерным оружием .
- Демис Хассабис, Google DeepMind: «Необходимо проработать детали, но выбранное направление правильное для того, чтобы справиться с этим критическим моментом» .
Критика и контекст
Некоторые эксперты отнеслись к предложению скептически. Специалист по безопасности ИИ Дэвид Крюгер заявил: «Нам необходим немедленный бессрочный международный мораторий на разработку передовых технологий ИИ» . Критики также отмечают, что индустрия ведёт миллионные лоббистские кампании против жёсткого регулирования, а предложение Амодеи может быть попыткой сохранить статус-кво и избежать более строгих государственных мер .
При этом заявление Амодеи прозвучало в момент, когда Anthropic готовится к первичному публичному размещению акций, которое может стать крупнейшим в истории .