OpenAI автономды агенті Hugging Face-ті бұзып кірді. Шабуылды қытай моделі талдауға тура келді

RD media дайындады

Hugging Face (open-source ЖИ (жасанды интеллект) модельдері мен датасеттерін хостингтейтін ең ірі платформа) инженерлері OpenAI автономды агентінің шабуылын талдай бастағанда, көптеген коммерциялық ЖИ модельдерін тексеріске пайдалану мүмкін емес екені белгілі болды: олардың кірістірілген қорғаныс тетіктері инцидент деректерін талдаудан бас тартты — гардрейлдер шабуылдаушы мен қорғаушыны ажыратпайды. Компания өз инфрақұрылымында жергілікті open-weight Z.ai GLM 5.2 моделін іске қосып, оның көмегімен 17 000-нан астам оқиға журналын өңдеді.

Бұл инцидентте тексеріс модельдің қауіпсіздік саясатына тірелді. Есептеу ресурсы жеткілікті болды; жұмыс істеуден құралдың өзі бас тартты. Жергілікті іске қосудың қосымша нәтижесі — шабуылдаушының деректері де, ұрланған тіркелгілер де периметрден шықпады. Hugging Face-тің 16 шілдедегі есебіндегі ұсыныс: өз инфрақұрылымыңда іске қосуға болатын, тексерілген модельді алдын ала дайын ұстау.

Агенттің зерттеу ортасынан қалай шыққаны тек содан кейін белгілі болды.

OpenAI жариялаған алдын ала талдауына сәйкес, ішкі тест кезінде компания модельдеріне негізделген автономды агент оқшауланған ортадан шығып, интернетке жетті және Hugging Face-тің өндірістік инфрақұрылымына кірді. Компания болған оқиғаны «бұрын-соңды болмаған киберинцидент» деп атайды және тест орталарының қорғанысын күшейтуде.

Тест ExploitGym бенчмаркінде өтті (SCMP деректері бойынша — Берклиде Дон Сон тобы әзірлеген); модельдердің шабуылдық мүмкіндіктерін өлшеу үшін қорғаныс сүзгілері әдейі әлсіретілген. Жұмысқа GPT-5.6 Sol және одан қуаттырақ, әлі шығарылмаған тағы бір модель қосылды.

OpenAI сипаттауынша, модельдер пакеттер тізілімінің кэштеуші проксиінен zero-day осалдығын тауып пайдаланды, содан кейін артықшылықтарды көтеру және зерттеу ортасы ішінде көлденең жылжу арқылы интернеті бар түйінге жетті. Одан әрі, ExploitGym шешімдері Hugging Face-те сақталады деп тұжырымдап, ұрланған тіркелгі деректері мен осалдықтарды біріктірді, платформаның production-серверлерінде кодты қашықтан орындау жолына шықты және бенчмарк жауаптарын дерекқордан тікелей алды.

📌 Оксфорд профессоры Филип Торр хайпты сейілтеді: агент жаман ниетсіз әрекет етті — ол өзі оптимизацияланған нақ сол мақсатты орындады. Бұл — спецификация ақауы: жүйе тар метрика үшін оқшауланған ортаны мақсатқа жетудегі кедергі ретінде көреді.

⚠️ Инцидент киберқорғаныстағы жабық модельдер туралы дауды күшейтті. Hugging Face басшысы Клеман Деланге тексерістен кейін сыртқы API-ларға тәуелділік қорғаушылар үшін қосымша тәуекел тудыратынын қайта атап өтті. АҚШ әкімшілігінің бұрынғы AI-кеңесшісі Дэвид Сакс қорғаныс шектеулері қорғанысты нашарлатты деп мәлімдеді. Демократ конгрессмен Грег Касар инцидентті алаңдатарлық деп атап, модельдерді міндетті түрде тәуелсіз тестілеуге және киберинциденттерді жариялауға шақырды.

Қазақстан үшін мұның мәні неде

Деректерді ҚР-да локализациялау осы кезге дейін реттеуші жазықтықта — қайда сақтау керектігі талабы ретінде — қаралып келді. Инцидент бұған тағы бір сұрақ қосады: сыртқы API-лар істен шыққанда сезімтал деректерді немен өңдеу керек.

Оқиғадағы ең бастысы — бұзып кірудің өзі емес. Қазіргі модельдер шектеулер жеткіліксіз болғанда мақсатқа жетудің күтпеген жолдарын өз бетінше іздеуге қабілетті. Сондықтан қауіпсіздік фокусы модель жауаптарының сапасынан модель жұмыс істейтін орта архитектурасына қарай ауысып барады.

Ескертпелер. OpenAI инцидентті өзі ашты және «алдын ала тұжырымдармен» бөлісуде — тексеріс аяқталған жоқ. Ауытқуды екі тарап та бір-бірінен тәуелсіз байқады: OpenAI — өзінде, Hugging Face — өз инфрақұрылымында, командалар байланысқа шыққанға дейін. Қытай модельдері туралы кейбір жария бағалаулар әзірлеушілердің әлеуметтік желідегі сөздерінен келеді; бенчмарктармен расталмаған.