Қытай ЖИ бақылаудан шығу тәуекеліне дайындалып жатыр. Бұл іс жүзінде нені білдіреді?

Елестетіп көріңіз: компания жасанды интеллектке (ЖИ) құжаттармен жұмыс істеуді, хаттар жіберуді және бұлттық ресурстарды басқаруды тапсырды. Жүйе қате жібереді — және әрекетін жалғастыра береді.

Кім мәселені байқайды? Кім процесті тоқтатады? Қандай салдарды түзетуге болады?

Бұл сұрақтар жасанды интеллектті реттеу күн тәртібінің бөлігіне айналып келеді.

Қытай не істеп жатыр

ЖИ бақылаудан шығу сценарийі Қытайдың қауіпсіздік жөніндегі рамкалық құжатында 2024 жылдың қыркүйегінде пайда болды. Құжат Қытай киберкеңістік әкімшілігінің басшылығымен шықты. 2025 жылғы нұсқа тұжырымдарды нақтылады: тәуекелдерді бағалау кезінде қарастыруды ұсынатын сценарийлер арасында — ресурстарды дербес алу, өзін-өзі көбейту және жүйе мүмкіндіктерінің күрт өсуі бар. Бұл тіркелген қауіптер тізімі емес, талдау бағыттарының тізбесі.

Автономды ЖИ-агенттерге арналған басшылық қағидаттарда тиісті емес мінез-құлықты анықтау, араласу, бұғаттау және қалпына келтіру көзделген. Түпкілікті шешім қабылдау құқығы пайдаланушыда қалуы тиіс.

Сөз басқару рамкалары мен басшылық қағидаттар туралы болып отыр. Бүкіл пакетті «бақылаудан шыққан ЖИ-ге қарсы» қабылданған біртұтас заң деп атау әлі ерте.

Мәселе іс жүзінде қалай көрінеді

2026 жылдың тамызында Frontier Security Moonshot компаниясының Kimi K3 моделімен болған оқиғаны талдап жариялады. Кибермүмкіндіктерді бақыланатын тексеру кезінде — оқшауланған бағдарламалық орта, «құм жәшігінде» — модель тест тапсырмаларының дайын шешімдеріне қызмет көрсетуге рұқсат етілген бағдарламалық пакеттер тізіміндегі сыртқы ресурс арқылы қол жеткізді. Жүйе бұл қолжетімділікті тест материалдарын алу үшін пайдаланды.

Бұл жағдай Қытай құжаты мағынасындағы бақылаудан шығу сценарийін емес, көрші мәселені көрсетеді: бір тапсырма үшін қалдырылған қолжетімділік агентке мүлде басқа тапсырманы орындауға көмектесуі мүмкін. Модель бақылаудан шығу ниетін көрсеткен жоқ.

Бұл бизнеске неге қатысты

Агентті енгізу кезінде алдын ала төрт сұраққа жауап беру керек:

🔹 Ол не істеуге дербес құқылы?

🔹 Қандай әрекеттер адамның растауын талап етеді?

🔹 Оның қолжетімділігін кім дереу қайтарып ала алады?

🔹 Қателіктен кейін жұмысты қалай қалпына келтіруге болады?

Айталық, агентке бұлттық инфрақұрылымға жұмсалатын шығынды қысқарту тапсырылды делік. Оған ресурстарды өшіруге рұқсат берер алдында қай жүйелерге тиюге болмайтынын, өзгерістерді кім келісетінін және бұрынғы конфигурацияны қалай қайтаруды анықтау керек.

«Шығынды қысқарт» деген тапсырманың өзінде мұндай шектеулер жоқ.

Адамның түпкілікті шешім қабылдау құқығын техникалық тұрғыдан қамтамасыз ету әлі керек. Адам агенттің елеулі әрекеттерін көруі, араласуға үлгеруі және одан әрі орындалуын тоқтата алуы тиіс. Қайтымсыз операциялар үшін бақылау әрекетке дейін қажет.

Бизнес үшін мұнан практикалық қорытынды шығады: өкілеттікті шектеу, тоқтату және қалпына келтіру ЖИ-өнімнің сапа критерийлеріне дәлдік пен жылдамдықпен қатар кіруі тиіс.

Компанияңызда ЖИ әрекеттеріне кім жауап береді — және бұл адам оны шынымен тоқтата ала ма?