«Чужой разум»: почему OpenAI одновременно давит на газ и готовится тормозить

В середине 2023 года внутри OpenAI произошёл момент, который, по словам главного учёного компании Якуба Пахоцкого, изменил его взгляд на будущее ИИ.

Во внутреннем проекте RLSlow команда получила результаты, которые показали: reasoning-модели — системы, способные выполнять многошаговые рассуждения, — можно масштабировать.

Пахоцкий вспоминает, что той ночью они думали не о рекордах на тестах и не о будущих продуктах. Их занимала другая мысль: при их жизни могут появиться машины, существенно превосходящие людей по интеллектуальным возможностям.

Через три года он опубликовал эссе An Alien Mind — «Чужой разум».

Главный тезис скромнее и поэтому интереснее заявлений о «готовом сверхразуме»: способности ИИ могут расти быстрее, чем наша способность понимать, наблюдать и контролировать эти системы.

ИИ скорее выращивают, чем проектируют

Одна из центральных формулировок Пахоцкого: AI is grown more than designed.

Современный ИИ, по его мысли, скорее выращивается, чем конструируется как обычная программа. Исследователи задают архитектуру, данные, цели обучения и вычисления. Но в результате возникает чрезвычайно сложная система, поведение которой нельзя полностью свести к заранее написанным человеком правилам.

Пахоцкий сравнивает её изучение с нейронаукой: отдельные механизмы можно находить и исследовать, но объяснить систему целиком значительно труднее.

Отсюда первый неприятный вывод: мы умеем создавать всё более способный интеллект, не имея столь же полного понимания того, как именно он работает.

Причём ИИ не обязан превосходить человека во всём. Для огромного экономического эффекта — или серьёзного риска — достаточно оказаться значительно сильнее в нескольких критических областях.

Проблема шире интеллекта — она в целях

Центральную задачу Пахоцкий называет alignment — согласованием поведения ИИ с человеческими целями и ценностями.

Он различает два уровня. Goal alignment — выполняет ли система поставленную задачу и понимает ли намерение человека. И более сложный value alignment — сохранит ли она человеческие принципы в новых, конфликтных и вообще не встречавшихся при обучении ситуациях.

Именно здесь возникает фундаментальная проблема генерализации: хорошее поведение в знакомой среде ещё не гарантирует, что более сильная система перенесёт те же принципы в совершенно новые обстоятельства.

Для будущих моделей, считает Пахоцкий, особенно важно сохранить эти ценности даже тогда, когда система не считает, что за ней наблюдают.

Мы научились смотреть на рассуждения ИИ. Но окно начинает закрываться

Одним из важных инструментов OpenAI стал мониторинг chain of thought — цепочки рассуждений модели.

Если модель решает задачу через последовательное рассуждение, исследователи могут наблюдать не только результат, но и путь к нему.

И здесь Пахоцкий приводит показательную деталь. При запуске o1-preview OpenAI сознательно не показывала пользователям настоящую chain-of-thought. Компания хотела сохранить её как канал наблюдения и не создавать прямого давления обучения на сам процесс рассуждения.

Логика проста: если постоянно учить модель выдавать «правильные мысли», видимая цепочка со временем может перестать отражать то, что система действительно делает.

Надёжность такого подхода снижается. Модели всё теснее соединяют рассуждение с использованием инструментов, взаимодействием с людьми и другими ИИ. Они становятся лучше в анализе собственного процесса рассуждения. А улучшение предобучения позволяет им выполнять всё больше интеллектуальной работы вообще без длинной словесной цепочки мыслей.

Получается парадокс: мы получили возможность наблюдать за рассуждениями ИИ в тот момент, когда часть его интеллекта начинает всё меньше зависеть от рассуждений, которые можно прочитать.

Поэтому OpenAI исследует и более глубокие методы контроля — вплоть до анализа внутренних активаций самой нейросети.

А теперь ИИ должен помогать создавать следующий ИИ

Самая важная часть эссе связана с recursive self-improvement — рекурсивным самоулучшением.

Начало выглядит вполне буднично. ИИ пишет код, проводит эксперименты, анализирует результаты и всё активнее участвует в разработке следующих поколений моделей.

Пахоцкий пишет, что OpenAI ориентирует исследования на RSI, поскольку считает автоматизацию AI-исследований естественным продолжением нынешней траектории.

Одна из трёх ключевых целей компании — создать автоматизированного ИИ-исследователя, который будет участвовать в дальнейшем развитии ИИ и одновременно помогать решать проблему его безопасности.

Логика выглядит так: лучший ИИ → более эффективные исследования ИИ → ещё более сильный ИИ → ещё более эффективные исследования.

И здесь проявляется главное противоречие конструкции: ИИ должен помочь человечеству сделать будущий ИИ безопаснее до того, как сам цикл его улучшения станет слишком быстрым для человеческого контроля.

18 августа OpenAI уже пришлось замедлиться

Этот конфликт перестал быть чистой теорией.

18 августа 2026 года OpenAI официально сообщила, что на две недели приостановила reinforcement learning — обучение с подкреплением — новых моделей, предназначенных для выпуска.

Поводом стали инцидент OpenAI–Hugging Face и признаки того, что Astra может достичь критического уровня кибервозможностей по внутренней системе оценки рисков OpenAI.

Часть менее масштабных тренировок и оценок возобновилась после усиления защиты, но крупнейший запланированный frontier RL-прогон остаётся остановленным. Компания усиливала мониторинг, защиту исследовательской инфраструктуры и проверки alignment.

Практическая модель OpenAI сегодня выглядит примерно так: ускорение → новый уровень риска → пауза → усиление защиты → новое ускорение.

То есть компания действительно допускает остановки развития — по крайней мере временные.

Есть ещё один риск — концентрация власти

В финале Пахоцкий переводит разговор из технической плоскости в экономическую и политическую.

Если задачи, для которых раньше требовались тысячи высококвалифицированных специалистов, смогут выполнять несколько человек с мощной ИИ-системой, последствия будут намного шире автоматизации рабочих мест.

Это может привести к резкой концентрации экономической и политической силы.

Когда интеллект становится масштабируемым вычислительным ресурсом, огромное преимущество получает тот, кто контролирует модели, вычисления и инфраструктуру.

Поэтому вопрос будущего ИИ — это ещё и вопрос о том, кто получит возможности, для которых раньше требовались целые институты и большие организации.

Главный вопрос — сработает ли ограничитель в критический момент

Пахоцкий заканчивает эссе жёстко.

По его оценке, сегодня ни одна лаборатория ещё не решила проблемы alignment и мониторинга настолько хорошо, чтобы ещё долго ответственно продолжать масштабирование на максимальной скорости.

Он ожидает добровольных замедлений и считает международную координацию развития ИИ одним из приоритетов для государств.

При этом OpenAI продолжает строить вычислительную инфраструктуру, автоматизировать исследования и создавать всё более способные модели.

Последние события показывают: механизм замедления у компании существует.

Но главный вопрос остаётся:

сможет ли OpenAI остановиться тогда, когда цена остановки станет максимальной — конкуренты продолжат движение, сотни миллиардов уже будут вложены в инфраструктуру, а следующая, ещё более сильная модель окажется почти готова?

Именно поэтому «Чужой разум» — важный текст.

Для Пахоцкого важнее всего сохранить за человечеством право решать, что произойдёт после появления интеллекта, превосходящего нас в наиболее важных областях.