Ноутбук деректер орталығының 88% жұмысын атқарады — Стэнфорд зерттеді

Стэнфорд университеті мен Together AI зерттеушілері 1 миллион нақты сұранысты 20-дан астам жергілікті LLM-де (20B параметрге дейін) тексерді. Нәтиже: бір айналымды тапсырмалардың 88,7%-ы үшін жергілікті инференс бұлтты жүйелерден кем соқпайды.

📌 Жаңа өлшем: IPW — ватт басына интеллект

Intelligence Per Watt 2023-тен 2025-ке дейін 5,3× өсті: 3,1× — алгоритмдер есебінен, 1,7× — аппараттық жабдық есебінен. Эталон — Apple M4 Max.

📌 Тапсырмаларды қамту үш есе өсті

Жергілікті модельдер шеше алатын сұраныстар үлесі: 23,2% (2023) → 71,3% (2025).

⚡️ Гибридті маршрутизация: қарапайым — жергілікті, күрделі — бұлтта

Бұл тәсіл таза бұлтты инференспен салыстырғанда энергия шығынын −64%, шығындарды −59% азайтады.

⚠️ Шектеуді ашық айтамыз

88,7% — тек бір айналымды чат және пайымдау тапсырмалары. Агенттік міндеттер, ұзақ контекст, көп қадамды тізбектер — бұлт әлі де алда.

Бұл Қазақстан үшін нені білдіреді

Деректерді жергілікті сақтау талаптары жергілікті инференсті тек арзан ғана емес — мемлекеттік сектор, банктер мен медицина үшін data residency мәселесін шешетін жолға айналдырады. Шетелдік бұлттарға деректер жібермей, жергілікті аппараттық жабдықта жұмыс істейтін тіл модельдері — технологиялық тұрғыдан негізделген сценарий.

Жасанды интеллект тарихи жолды қайталайды: мейнфреймнен дербес компьютерге. Бұлт жоғалып кетпейді — бірақ оның есептеулерге деген монополиясы аяқталуда.

arXiv / Stanford + Together AI · The Batch · HF Blog

@digitalreal