«Бөтен ақыл»: OpenAI неге бір мезгілде газ басып, тежеуге дайындалады

2023 жылдың ортасында OpenAI ішінде компанияның бас ғалымы Якуб Пахоцкийдің пікірінше, оның ЖИ (жасанды интеллект) болашағына деген көзқарасын өзгерткен сәт болды.

RLSlow ішкі жобасында команда reasoning-модельдерді — көпсатылы қорытынды жасай алатын жүйелерді — ауқымды деңгейде дамытуға болатынын көрсететін нәтижелер алды.

Пахоцкий сол түні олардың ойында тесттердегі рекордтар да, болашақ өнімдер де болмағанын еске алады. Оларды басқа ой мазалады: өз өмірлерінде адамнан интеллектуалдық мүмкіндігі жағынан айтарлықтай асып түсетін машиналар пайда болуы мүмкін еді.

Үш жылдан кейін ол An Alien Mind — «Бөтен ақыл» атты эссе жариялады.

Негізгі тезис «дайын супер-ақылдың» пайда болғаны туралы мәлімдемелерден гөрі қарапайымырақ, сондықтан қызығырақ: ЖИ мүмкіндіктері біздің осы жүйелерді түсіну, бақылау және басқару қабілетімізден жылдамырақ өсуі мүмкін.

ЖИ жобаланғаннан гөрі өсіріледі

Пахоцкийдің негізгі тұжырымдарының бірі: AI is grown more than designed.

Оның пікірінше, қазіргі ЖИ әдеттегі бағдарлама сияқты құрастырылғаннан гөрі өсіріледі. Зерттеушілер архитектураны, деректерді, оқыту мақсаттарын және есептеу қуатын анықтайды. Бірақ нәтижесінде мінез-құлқын адам алдын ала жазған ережелерге толық сыйдыруға болмайтын аса күрделі жүйе пайда болады.

Пахоцкий оны зерттеуді нейроғылыммен салыстырады: жеке механизмдерді тауып, зерттеуге болады, бірақ жүйені толығымен түсіндіру әлдеқайда қиын.

Осыдан бірінші жағымсыз қорытынды туындайды: біз қалай жұмыс істейтінін толық түсінбей-ақ, барған сайын қабілетті интеллект жасай аламыз.

Сонымен қатар ЖИ барлық салада адамнан асып түсуге міндетті емес. Үлкен экономикалық әсер — немесе елеулі тәуекел — үшін бірнеше маңызды салада едәуір күшті болу жеткілікті.

Мәселе интеллектен гөрі кең — ол мақсаттарда

Пахоцкий негізгі міндетті alignment — ЖИ мінез-құлқын адами мақсаттар мен құндылықтармен сәйкестендіру деп атайды.

Ол екі деңгейді ажыратады. Goal alignment — жүйе қойылған тапсырманы орындай ма және адамның ниетін түсіне ме. Ал күрделірек value alignment — жүйе жаңа, қайшылықты және оқыту кезінде мүлде кездеспеген жағдайларда адами принциптерді сақтай ма.

Дәл осы жерде генерализацияның түбегейлі мәселесі туындайды: таныс ортадағы жақсы мінез-құлық күштірек жүйенің сол принциптерді мүлде жаңа жағдайларға көшіретініне кепілдік бермейді.

Пахоцкийдің пікірінше, болашақ модельдер үшін жүйе өзін бақылап отырмағанын ойлаған кезде де осы құндылықтарды сақтауы аса маңызды.

Біз ЖИ-дің ойлау барысын бақылауды үйрендік. Бірақ терезе жабыла бастады

OpenAI-дің маңызды құралдарының бірі — модельдің ойлау тізбегін (chain of thought) бақылау.

Модель есепті бірізді ойлау арқылы шешсе, зерттеушілер тек нәтижені емес, оған апарған жолды да бақылай алады.

Осы жерде Пахоцкий көрнекі бір деталь келтіреді. o1-preview іске қосылған кезде OpenAI пайдаланушыларға нақты chain-of-thought-ты әдейі көрсетпеді. Компания оны бақылау арнасы ретінде сақтап, ойлау процесінің өзіне тікелей оқыту қысымын түсіргісі келмеді.

Логика қарапайым: модельді үнемі «дұрыс ойлар» шығаруға үйрете берсе, көрінетін тізбек уақыт өте жүйенің нақты не істеп жатқанын көрсетпей қалуы мүмкін.

Мұндай тәсілдің сенімділігі төмендеп келеді. Модельдер ойлауды құралдарды пайдаланумен, адамдармен және басқа ЖИ жүйелерімен өзара әрекеттесумен барған сайын тығыз байланыстырады. Олар өз ойлау процесін талдауда жақсарады. Ал алдын ала оқытудың жетілуі оларға көп интеллектуалдық жұмысты сөзбен берілген ұзақ ойлау тізбегінсіз-ақ орындауға мүмкіндік береді.

Парадокс туындайды: ЖИ-дің ойлау процесін бақылау мүмкіндігіне дәл сол интеллекттің бір бөлігі оқылатын ойлауға бара-бар аз тәуелді бола бастаған кезде қол жеткіздік.

Сондықтан OpenAI неғұрлым терең бақылау әдістерін де зерттеп жатыр — тіпті нейрожелінің ішкі активацияларын талдауға дейін.

Енді ЖИ келесі ЖИ-ді жасауға көмектесуі керек

Эссенің ең маңызды бөлігі recursive self-improvement — рекурсивті өзін-өзі жетілдірумен байланысты.

Басы өте қарапайым көрінеді. ЖИ код жазады, эксперимент жүргізеді, нәтижелерді талдайды және келесі буын модельдерін әзірлеуге барған сайын белсенді қатысады.

Пахоцкий OpenAI зерттеулерді RSI-ге бағыттайтынын жазады, себебі компания ЖИ зерттеулерін автоматтандыруды қазіргі траекторияның табиғи жалғасы деп есептейді.

Компанияның үш негізгі мақсатының бірі — ЖИ-дің одан әрі дамуына қатысатын және сонымен қатар оның қауіпсіздігі мәселесін шешуге көмектесетін автоматтандырылған ЖИ-зерттеуші жасау.

Логика мынадай: жақсырақ ЖИ → тиімдірек ЖИ зерттеулері → одан да күшті ЖИ → одан да тиімді зерттеулер.

Осы жерде құрылымның басты қайшылығы көрінеді: ЖИ адамзатқа болашақ ЖИ-ді қауіпсіз етуге көмектесуі керек, әрі бұл оны жетілдіру циклінің адамзатқа бақылау үшін тым тез болмай тұрмай бұрын істелуі тиіс.

18 тамызда OpenAI баяулауға мәжбүр болды

Бұл қайшылық енді таза теория емес.

2026 жылғы 18 тамызда OpenAI компаниясы шығаруға дайындалған жаңа модельдер үшін ынталандыру арқылы оқыту (reinforcement learning, RL) процесін екі аптаға тоқтатқанын ресми хабарлады.

Себебі — OpenAI–Hugging Face оқиғасы және Astra моделінің OpenAI-дың ішкі тәуекелдерді бағалау жүйесі бойынша киберқабілеттердің сыни деңгейіне жетуі мүмкін екенін көрсететін белгілер.

Қорғанысты күшейткеннен кейін шағын ауқымдағы жаттығулар мен бағалаулардың бір бөлігі қайта басталды, бірақ ең үлкен жоспарланған frontier RL-прогон әлі тоқтатылған күйінде қалып отыр. Компания мониторингті, зерттеу инфрақұрылымының қорғанысын және alignment тексерулерін күшейтіп келеді.

OpenAI-дың бүгінгі практикалық моделі шамамен мынадай: жеделдету → жаңа тәуекел деңгейі → үзіліс → қорғанысты күшейту → қайта жеделдету.

Демек, компания дамуды тоқтатуға шынымен жол береді — кем дегенде уақытша түрде.

Тағы бір тәуекел бар — билік шоғырлануы

Соңында Пахоцкий әңгімені техникалық жазықтықтан экономикалық және саяси жазықтыққа ауыстырады.

Бұрын мыңдаған жоғары білікті маман қажет ететін тапсырмаларды қуатты ЖИ жүйесі бар бірнеше адам орындай алатын болса, салдары жұмыс орындарын автоматтандырудан әлдеқайда кең болады.

Бұл экономикалық және саяси күштің күрт шоғырлануына әкелуі мүмкін.

Интеллект ауқымдалатын есептеу ресурсына айналған кезде, модельдерді, есептеулерді және инфрақұрылымды бақылайтын тарап зор басымдыққа ие болады.

Сондықтан ЖИ болашағы туралы мәселе — бұрын тұтас институттар мен ірі ұйымдар қажет ететін мүмкіндіктерді енді кім алатыны туралы мәселе де болып табылады.

Басты сұрақ — шектеуші тетік сын сәтте іске қосыла ма

Пахоцкий эссені қатаң аяқтайды.

Оның бағалауынша, бүгінде бірде-бір зертхана alignment және мониторинг мәселелерін ұзақ уақыт бойы жауапкершілікпен, ең жоғары жылдамдықпен ауқымды деңгейде жалғастыра алатындай дәрежеде шеше алған жоқ.

Ол ерікті түрде баяулатуларды күтеді және ЖИ дамуын халықаралық үйлестіруді мемлекеттер үшін басым бағыттардың бірі деп санайды.

Сонымен қатар OpenAI есептеу инфрақұрылымын салуды, зерттеулерді автоматтандыруды және бара-бара қабілеттірек модельдер жасауды жалғастыруда.

Соңғы оқиғалар мынаны көрсетеді: компанияда баяулату тетігі бар.

Бірақ басты сұрақ жауапсыз қалып отыр:

тоқтаудың құны ең жоғары деңгейге жеткен кезде — бәсекелестер алға жылжуын жалғастырғанда, инфрақұрылымға жүздеген миллиард қаражат салынып қойғанда, ал келесі, одан да күшті модель дерлік дайын тұрғанда — OpenAI тоқтай алады ма?

Дәл осы себепті «Бөтен ақыл» — маңызды мәтін.

Пахоцкий үшін ең маңыздысы — ең маңызды салаларда бізден асып түсетін интеллект пайда болғаннан кейін не болатынын шешу құқығын адамзаттың өз қолында қалдыру.