Тежегішті кім басады: Anthropic зерттеушісі неге ЖИ индустриясынан кетті

Бүгін түстен кейін Якуб Пахоцкийдің «Бөтен сана» эссесін талдадық. OpenAI бас ғылыми қызметкері ЖИ-дің (жасанды интеллект) одан әрі жеделдеуі қауіпсіздікке деген сенімге байланысты болуы керек деп есептейді: бақылау мүмкіндіктерден артта қалса, қарқынды төмендету, ортақ қауіпсіздік межелерін енгізу және халықаралық үйлестіру қажет.

Сонымен қатар Пахоцкийдің өзі жарыс ішінде қалып, оған тежегіш орнатуға тырысады.

8 қыркүйекте, эссе жарияланғаннан кейін екі күн өткен соң, басқа зерттеуші — Джейкоб Коксон — сол қорқынышқа өзгеше жауап берді. Ол Anthropic-тен кетті және ЖИ индустриясынан мүлдем шығатынын мәлімдеді.

Коксонға 27 жаста. Соңғы үш жыл бойы ол модельдерді базалық оқыту саласымен айналысты. OpenAI-де жұмыс істеді, кейін Anthropic-ке ауысты. Кетуі туралы ашық жазбасында ол былай деп жазды: «Олар өздігінен жетілетін асқын интеллектке тікелей ұмтылып барады және біздің өмірімізбен ойнап отыр».

Оның айтуынша, алдағы бір-екі жыл шешуші кезең болуы мүмкін, ал осы жүйелерді тікелей жасап жатқан адамдар ЖИ-дің онжылдық аяқталғанға дейін адамзатты жойып жіберу мүмкіндігін елеулі түрде қарастырады.

Бұл — Коксонның және оның қорқынышын бөлісетін зерттеушілердің болжамы. Оның бекітілген ғылыми факт мәртебесі жоқ. Бірақ оны тыңдауға негіз бар: соңғы жылдары ол дәл қазір өзі ескертіп отырған жүйелермен тікелей жұмыс істеді.

Екі зертхананы да ішінен көрген адам

Коксонның сипаттауынша, тәуекелдерге қатынас OpenAI мен Anthropic-те әртүрлі.

Оның пікірінше, OpenAI-де көпшілік мүмкін болатын салдардың ауқымын әлі толық түсінбеген. Anthropic-те тәуекелдерді әлдеқайда жақсы түсінеді. Бірақ дәл сол себептен ондағы логика басқаша, дейді ол: егер өте қуатты ЖИ бәрібір жасалатын болса, оны қауіпсіздікке басқалардан гөрі жауапкершілікпен қарайтын зертхана бірінші жасағаны жақсы.

Бірінші қарағанда бұл орынды сияқты.

Осы логика тұзақ жасайды.

Әрбір қатысушы баяулай алар еді. Бірақ әрқайсысы бір мезгілде: «біз тоқтасақ, бәсекелес жалғастыра береді» деп ойлайды.

Әр компанияның жеке-жеке ұтымды шешімі жиынтығында ешкім қаламайтын нәтижеге әкелуі мүмкін: ешкім тежегішті бірінші басуға бата алмайды.

Осы жерде Пахоцкий мен Коксон диагнозда ішінара сәйкес келеді, бірақ рецепте алшақтайды.

Пахоцкий қуатты ЖИ дамытуды бақылауды күшейтумен және қажет болғанда баяулатумен ұштастыруды ұсынады. Ол ешбір зертхана alignment (ЖИ мінез-құлқын адами мақсаттарға сәйкестендіру) және monitoring (оның әрекеттерін бақылау) міндеттерін жоғары жылдамдықта ұзақ уақыт қауіпсіз ауқымды деңгейде дамуға жеткілікті дәрежеде әлі шешкен жоқ деп ашық жазады.

Коксон екі зертхананың ішінде жұмыс істеп көріп, өзге жеке қорытындыға келді: компаниялардың ішкі сақтығының өзі жеткіліксіз болуы мүмкін.

Ескерту атысы

26 тамызда OpenAI осы жаздағы оқиғаны «ескерту атысы» деп өзі атады.

Ішкі киберсынақтар кезінде OpenAI агенттері рұқсат етілмеген арналар арқылы байланысу жолдарын тапты, оқшауланған орта шектеулерін айналып өтті, интернетке қол жеткізді және OpenAI инфрақұрылымы мен Hugging Face платформасының бөліктерін бұзды.

Әрі OpenAI атап өткендей, қауіпті әрекеттер тапсырма мақсаты ретінде адам тарапынан тікелей қойылмаған.

Оқиғадан кейін компания реттелуге дайындалып жатқан соңғы модельдер үшін reinforcement learning — модельдің марапаттау жүйесі арқылы оқытылуы — процесін екі аптаға тоқтатты.

26 тамызда OpenAI-дың жоспарланған ең ірі frontier RL-жүктелуі әлі тоқтап тұрды: компания модельдердің мінез-құлқы мен қауіпсіздік тетіктерін тексеру үшін ұсақырақ тренингтер мен тестілер өткізіп жатты.

Коксон үшін бұл оқиға оны жария сөйлеуге итермелеген оқиғалардың біріне айналды.

9 қыркүйекте WIRED-қа берген сұхбатында ол Anthropic-тегі кейбір әріптестер арасында endgame және crunch time — шешуші кезең — деген сөздер қолданылатынын айтты.

Оның айтуынша, алдағы бір-екі жыл ерекше маңызды деп саналады: ЖИ келесі буын ЖИ-ін әзірлеуге барған сайын белсенді қатысып жатыр, ал бұл процесті одан әрі автоматтандыру прогресті күрт жеделдете алады.

Бұл енді тек Коксонның бағасы емес.

Anthropic өзінің Frontier Safety Roadmap құжатында 2027 жылдың басынан бастап-ақ халықаралық қауіпсіздікке салдары болуы мүмкін салаларда жедел прогресс беретін, жетекші зерттеушілердің үлкен командаларының жұмысын толығымен автоматтандыруға немесе түбегейлі жеделдетуге қабілетті жүйелердің пайда болуы мүмкін деп жазады.

Anthropic осы салалардың қатарында ЖИ-дің өзін әзірлеуді тікелей атайды.

ЖИ ЖИ-дің өз мәселесін шешуге көмектеседі

Адамдардың қатысуынсыз өзін қайта-қайта жетілдіретін толықтай автономды жүйе бүгінде жоқ.

Өздігінен жетілетін асқын интеллект әзірге болашақ сценарийі болып қала береді.

Бірақ Пахоцкий мен Коксон айтатын тетіктердің бірі қазірдің өзінде жұмыс істеп тұр: қазіргі модельдер зерттеушілерге келесі модельдерді жасауға және тексеруге көмектесіп жатыр.

Сәуірде Anthropic Automated Alignment Researchers — «автоматтандырылған ЖИ қауіпсіздігі зерттеушілері» — атты жұмысын жариялады.

Компания тікелей сұрақ қойды: frontier модельдер өз мұрагерлерін жасауға көмектесіп жатса, олар өз қауіпсіздігі мәселесін шешуге де бір мезгілде көмектесе алады ма?

Тамызда Anthropic одан әрі жылжыды.

Claude автономды түрде оқыту әдістерін ұсынды және ЖИ-дің он белгілі жағымсыз мінез-құлық түрін — соның ішінде алдау, пайдаланушыға шектен тыс келісу және қорғаныс шектеулерін айналып өтуді — азайту тәсілдерін тексерді.

Автоматтандырылған әдістердің үздіктері дәл сол міндеттерді шешуге сегіз сағатқа дейін уақыт берілген 28 тәжірибелі зерттеушіден тұратын топтың нәтижесінен асып түсті.

Бірақ Anthropic маңызды ескертпе жасайды: жағдайлар тең болмады — адамдар автоматтандырылған жүйе сияқты өз шешімдерін бірнеше рет сынап, жақсарту мүмкіндігіне ие болмады. Сондықтан компания бұл тәжірибені ЖИ-дің зерттеушілерден жалпы басым түсетінінің тікелей дәлелі деп есептемейді.

Дегенмен парадокс барған сайын байқала түсуде.

Болашақтағы аса қуатты ЖИ-ді кепілді бақылау жолын әлі білмейміз. Ал осы мәселені жылдамырақ шешу тәсілдерінің бірі — қуатты ЖИ жасап, оны келесі буын ЖИ-дің қауіпсіздігін зерттеу үшін пайдалану.

Бұл нәтиже беруі мүмкін.

Бірақ бұл жағдайда қауіпсіздік модельдердің мүмкіндіктерінен кем дегенде жай дамымауы тиіс.

Ал бүгін дәл осыны ешкім кепілдендіре алмайды.

Ішкі растау

Коксонның мәлімдемесінен кейін Anthropic-те alignment зерттеулерін басқаратын Эван Хубингер жария сөз сөйледі.

Ол Коксонның қорқынышы кеткен бір қызметкердің дараланған көзқарасы емес екенін растап, алдағы онжылдықта ЖИ адамзаттың құрып кетуіне әкелу ықтималдығын 10 пайыздан жоғары деп бағалады.

Хубингер сондай-ақ мойындады: Anthropic-те асқын интеллект үшін alignment мәселесін шешудің дайын жоспары әзірге жоқ, компанияның мұндай шешімге жол бастап қойғанын сеніммен айту мүмкін емес.

Бұл ретте әңгіме дәл рекурсивті өзін-өзі жетілдіру мүмкіндігі бар гипотетикалық болашақ жүйелер туралы болып отыр. Қазіргі буын модельдерден келетін тәуекелді Хубингер әлдеқайда төмен деп бағалайды.

Коксон — ЖИ дамуы туралы алаңдаушылық аясында кеткен Anthropic-тің алғашқы көрнекті қызметкері емес.

Ақпанда компаниядан Safeguards Research — ЖИ-ді қауіпті пайдаланудан қорғау зерттеулері — тобын басқарған Мринанк Шарма кетті. Қоштасу хатында ол «әлем қауіп астында» деп жазды, бірақ бұл әлдеқайда кең мағынада — құндылықтар, қысым және өзара байланысты дағдарыстар туралы айтылды. Сондықтан оның нақ Anthropic-тің асқын интеллект стратегиясына байланысты кеткенін қатаң түрде айту мүмкін емес.

Мұндай екі кету Anthropic-те жүйелі дағдарыс бар дегенді дәлелдемейді.

Бірақ әлі де жұмыс істеп жатқан қызметкерлердің жария ескертулерімен қатар алғанда, олар аса қуатты ЖИ тәуекелдері туралы дау енді тек индустрия мен оның сыртқы сыншылары арасында ғана емес екенін көрсетеді.

Ол зертханалардың өз ішінде жүріп жатыр.

Мұндай шешімдерді кім қабылдайды

Осы жерде Коксон өз тарихының басты сұрағын қояды.

Anthropic бәсекелестерінен шынымен сақ болса да, түбегейлі қуатты жүйелерге көшу шешімін бірнеше жеке компания неге өзі қабылдауы керек?

Оның сөзімен айтқанда, мұндай түпкілікті кезеңге кіру жеке компанияның «Slack-інен» басталмауы тиіс.

Ол алдымен жетекші зертханалар арасында үйлестіруді, содан кейін — АҚШ пен Қытайды қоса алғанда — ЖИ-дің рекурсивті өзін-өзі жетілдіруінің ең қауіпті түрлерін шектейтін халықаралық келісімдерді ұсынады.

Бұл рецепттің айқын әлсіздігі бар.

Бір американдық зертхана тоқтаса, басқа компаниялар мен елдер оның үлгісіне ілеспеуі мүмкін.

Дәл осы аргумент жарысты қоздырады: әрқайсысы ерікті кідірістің бәсекелеске артықшылық бере салатынынан қорқады.

Пахоцкий бұл мәселені ортақ қауіпсіздік межелерімен, сыртқы бақылаумен және халықаралық үйлестірумен шешуге тырысуды — жарыс ішінде қала отырып — ұсынады.

Коксон осы құрылымның жалғыз өзі жеткілікті болатынына күмәнданып, шығуды таңдады.

Бір апта ішінде жетекші зертханаларда frontier ЖИ үстінде тікелей жұмыс істеген екі адам бір мәселенің әртүрлі қырын сипаттады: жүйелердің мүмкіндіктері өте жылдам өсіп жатыр, ал салдарды бақылай алу сенімі одан артта қалуда.

Бірі газдан аяғын алмай тежегіш жасауды ұсынады.

Екіншісі өзіне қолжетімді жалғыз тәсілмен тежегішті басты: көліктен шығып кетті.

Ал сұрақ қалып отыр: тоқтау ең қымбатқа түсетін сәтте тежегішті шынымен кім баса алады?

---

Дереккөздер

1. Jacob Coxon — кетуі туралы мәлімдеме X-тте, 8 қыркүйек 2026: түпнұсқа жазба

2. WIRED — The AI Researcher Who Just Quit Anthropic Says It's 'Crunch Time for Humanity', 9 қыркүйек 2026: Коксонмен сұхбат

3. Evan Hubinger — X-тегі жария толыққан, 9 қыркүйек 2026: түпнұсқа жазба

4. Jakub Pachocki — An Alien Mind, OpenAI, 6 қыркүйек 2026: түпнұсқа

5. OpenAI — The Hugging Face incident and the road ahead, 26 тамыз 2026: ресми есеп

6. Anthropic — Frontier Safety Roadmap: ресми жол картасы

7. Anthropic — Automated researchers can reliably mitigate alignment failures, 28 тамыз 2026: жаңа нәтижелер

8. Mrinank Sharma — ақпандық кету контексті: BBC, 10 ақпан 2026