Ноутбук делает 88% работы датацентра — Стэнфорд посчитал

Исследователи Стэнфорда и Together AI протестировали 20+ локальных LLM (до 20B параметров) на 1 миллионе реальных запросов. Для 88,7% однотурновых задач локальный инференс не уступает облаку.

📌 Новая метрика: IPW — интеллект на ватт

Intelligence Per Watt вырос в 5,3× с 2023 по 2025: в 3,1× — благодаря алгоритмам, в 1,7× — благодаря железу. Референс — Apple M4 Max.

📌 Покрытие задач выросло втрое

Доля запросов, с которыми справляются локальные модели: 23,2% (2023) → 71,3% (2025).

⚡️ Гибридная маршрутизация: простые задачи — локально, сложные — облако

Такой подход даёт −64% по энергопотреблению и −59% по затратам относительно чисто облачного инференса.

⚠️ Ограничение честно

88,7% — только однотурновые чат и рассуждения. Агентные задачи, длинный контекст, многоходовые цепочки — облако пока выигрывает.

Что это значит для Казахстана

Регуляторные требования по локализации данных делают локальный инференс не просто дешевле — он снимает проблему data residency для госсектора, банков, медицины. Языковые модели на локальном железе без передачи данных в зарубежные облака — технически обоснованный сценарий уже сейчас.

Исторически ИИ повторяет путь мейнфреймов к ПК. Облако не исчезнет — но его монополия на вычисления заканчивается.

arXiv / Stanford + Together AI · The Batch · HF Blog

@digitalreal