Исследователи Стэнфорда и Together AI протестировали 20+ локальных LLM (до 20B параметров) на 1 миллионе реальных запросов. Для 88,7% однотурновых задач локальный инференс не уступает облаку.
📌 Новая метрика: IPW — интеллект на ватт
Intelligence Per Watt вырос в 5,3× с 2023 по 2025: в 3,1× — благодаря алгоритмам, в 1,7× — благодаря железу. Референс — Apple M4 Max.
📌 Покрытие задач выросло втрое
Доля запросов, с которыми справляются локальные модели: 23,2% (2023) → 71,3% (2025).
⚡️ Гибридная маршрутизация: простые задачи — локально, сложные — облако
Такой подход даёт −64% по энергопотреблению и −59% по затратам относительно чисто облачного инференса.
⚠️ Ограничение честно
88,7% — только однотурновые чат и рассуждения. Агентные задачи, длинный контекст, многоходовые цепочки — облако пока выигрывает.
Что это значит для Казахстана
Регуляторные требования по локализации данных делают локальный инференс не просто дешевле — он снимает проблему data residency для госсектора, банков, медицины. Языковые модели на локальном железе без передачи данных в зарубежные облака — технически обоснованный сценарий уже сейчас.
Исторически ИИ повторяет путь мейнфреймов к ПК. Облако не исчезнет — но его монополия на вычисления заканчивается.
