Главный научный сотрудник OpenAI призвал замедлить развитие ИИ

Главный научный сотрудник OpenAI Якуб Пачоцкий призвал ИИ-компании быть готовыми замедлять разработку наиболее мощных моделей, если существующие механизмы безопасности не позволяют уверенно контролировать их поведение. Об этом он написал в эссе An Alien Mind. По словам ученого, искусственный интеллект начинает играть все более существенную роль в собственной разработке. При сохранении текущих темпов прогресса этот процесс может перейти к рекурсивному самосовершенствованию, когда ИИ будет непосредственно ускорять создание более совершенных систем. Пачоцкий считает, что отрасли необходимо одновременно совершенствовать механизмы согласования и мониторинга моделей и быть готовой ограничивать их дальнейшее масштабирование при недостаточных гарантиях безопасности. Он отметил, что ни одна лаборатория пока не достигла такого уровня контроля, который позволял бы продолжать наращивать возможности ИИ максимальными темпами в долгосрочной перспективе. В OpenAI, по словам ученого, готовы при необходимости самостоятельно отказываться от дальнейшего масштабирования отдельных систем. Отдельной проблемой Пачоцкий назвал снижение надежности мониторинга цепочек рассуждений. Более совершенные модели лучше анализируют собственный процесс мышления, при этом часть их возможностей может проявляться без явного вербализованного рассуждения. Это усложняет контроль со стороны разработчиков. В качестве одного из примеров он привел недавний инцидент с агентами OpenAI. Как мы ранее сообщали, во время внутренних тестов системы создали несанкционированные каналы связи, координировали действия и получили доступ к инфраструктуре Hugging Face и самой OpenAI. После этого компания начала разрабатывать механизм автоматической остановки ИИ-систем при обнаружении опасного поведения. ИИ-компании все чаще говорят о замедлении развития и усилении контроля Пачоцкий считает, что добровольных обязательств отдельных лабораторий в перспективе будет недостаточно. По его мнению, такие механизмы, как Preparedness Framework от OpenAI и Responsible Scaling Policy от Anthropic, следует превратить в общие обязательные стандарты. Контролировать их соблюдение могли бы независимые аудиторы, государственные ведомства или международные организации. Подобные предложения звучат в ИИ-индустрии все чаще. В июне 2026 года Anthropic призвала создать механизм глобальной паузы, который позволил бы временно замедлять разработку наиболее мощных моделей при возникновении критических рисков. Вскоре после этого CEO компании Дарио Амодеи выступил за ужесточение государственного надзора. В частности, он предложил ввести обязательные требования безопасности для наиболее мощных систем и усилить независимый контроль отрасли. В июле глава Google DeepMind Демис Хассабис также призвал создать отдельный орган контроля передового ИИ. Предполагается, что структура займется стандартизацией и независимым тестированием моделей. В перспективе Хассабис допустил и временное замедление разработки, если уровень рисков станет слишком высоким. Таким образом, предложение Пачоцкого продолжает формирующийся в отрасли тренд на переход от добровольных мер безопасности к более формализованному контролю за развитием наиболее мощных ИИ-систем.