Китай готовится к риску потери контроля над ИИ. Что это означает на практике?

Представьте: компания поручила ИИ работать с документами, отправлять письма и управлять облачными ресурсами. Система совершает ошибку — и продолжает действовать.

Кто заметит проблему? Кто остановит процесс? Какие последствия удастся исправить?

Эти вопросы становятся частью повестки регулирования искусственного интеллекта.

Что делает Китай

Сценарий потери контроля над ИИ появился в китайском рамочном документе по безопасности ещё в сентябре 2024 года. Документ вышел под руководством Администрации киберпространства Китая. Версия 2025 года уточнила формулировки: среди сценариев, которые документ предлагает рассматривать при оценке рисков — самостоятельное получение ресурсов, самовоспроизведение и резкий рост возможностей системы. Это не перечень зафиксированных угроз, а список направлений для анализа.

В руководящих принципах для автономных ИИ-агентов предусмотрены обнаружение ненадлежащего поведения, вмешательство, блокировка и восстановление. За пользователем должно сохраняться право окончательного решения.

Речь идёт о рамках управления и руководящих принципах. Называть весь пакет единым принятым «законом против вышедшего из-под контроля ИИ» преждевременно.

Как выглядит проблема в реальности

В августе 2026 года Frontier Security опубликовала разбор с эпизодом Kimi K3 компании Moonshot. Во время контролируемой проверки киберспособностей в тестовой «песочнице» — изолированной программной среде — модель получила доступ к готовым решениям тестовых заданий через внешний ресурс, который находился в списке разрешённых для обслуживания программных пакетов. Система воспользовалась этим доступом, чтобы получить материалы теста.

Этот случай иллюстрирует не сценарий потери контроля в смысле китайского документа, а смежную проблему: доступ, оставленный для одной задачи, может помочь агенту выполнить совсем другую. Намерения выйти из-под контроля модель не демонстрировала.

Почему это касается бизнеса

При внедрении агента стоит заранее ответить на четыре вопроса:

— Что он вправе делать самостоятельно?

— Какие действия требуют подтверждения человека?

— Кто может немедленно отозвать его доступ?

— Как восстановить работу после ошибки?

Допустим, агенту поручили сократить расходы на облачную инфраструктуру. Прежде чем разрешить ему отключать ресурсы, нужно определить, какие системы трогать нельзя, кто согласует изменения и как вернуть прежнюю конфигурацию.

Само поручение «сократи расходы» этих ограничений не содержит.

Право человека на окончательное решение ещё нужно обеспечить технически. Человек должен видеть существенные действия агента, успевать вмешаться и иметь возможность остановить дальнейшее выполнение. Для необратимых операций контроль нужен до действия.

Для бизнеса отсюда следует практический вывод: ограничение полномочий, остановка и восстановление должны входить в критерии качества ИИ-продукта вместе с точностью и скоростью.

Кто в вашей компании отвечает за действия ИИ — и может ли этот человек действительно его остановить?