Enron эксперименті: control plane-сіз агенттер масштабталмайды

Рохит Кришнан (Strange Loop Canon) Enron хаттарының датасетін алды, реалистік жүктемені өлшеді — инбоксқа ~50 параллель тред — және LLM-агенттермен төрт эксперимент жүргізді. Бұл — эссе-эксперимент, peer-reviewed жұмыс емес, бірақ координациялық тапсырмаларда multi-agent рой құратындар үшін сандар қолайсыз.

📌 Кришнан не істеді:

Enron-ды CEO мен трейдерлерді симуляциялау үшін емес (жиі айтылатындай), нақты корпоративтік инбокстың параметрлер көзі ретінде пайдаланды. Әрі қарай — синтетикалық хат ағыны және агенттердің әртүрлі жады мен координация конфигурациясында 50 параллель тредті қалай ұстайтынын тексеру.

⚡️ 1-эксперимент — айқын thread state scratchpad-ты ұтады:

Жалаң scratchpad-агент тредтерді шатастырды. Тредке айқын thread ID берілді — сапа күрт өсті. Мәселе модельдің «түсінуінде» емес, қадамдар арасында келісілген state management жоқтығында.

⚠️ 2-эксперимент — архитектура интеллектті алмастырмайды, бірақ оны әшкерелейді:

Дұрыс құрылымы бар GPT-5 mini 86%-ға дейін жарамсыз жауап берді. GPT-5.2 құрылымсыз да айтарлықтай жақсы жұмыс істеді. Күшті модель әлсіз архитектураны өтейді; әлсіз модель архитектуралық мәселелерді әшкерелейді. Стекті модель сапасымен арзандатуға тырысқанда — архитектура сыни болады.

✅ 3-эксперимент — shared state-сіз рой бір агенттен нашар:

Post-shock quality: ортақ тақтасыз бір агент — 0.50, тақтамен — 0.63. Тақтасыз бірнеше агент — 0.46 (жалғыздан нашар), тақтамен бірнеше агент — 0.63. Себебі — классикалық race conditions: шешімдер қақтығысы, әрекеттердің қайталануы, arbitration жоқтығы.

🔥 4-эксперимент — task state ≠ actor state:

Рөлдер туралы ортақ күйсіз: owner match және reply-identity match — 0.67, рұқсатсыз жауаптар үлесі — 0.33. Shared actor state-пен — 1.0 және 0. Агенттер дұрыс әрекетті бұрыс атпен жасады. Идентификация — тапсырманың қасындағы жеке күй қабаты.

📉 Бұл нарық үшін нені білдіреді:

Қорытынды контекст қақтығысы бар координациялық тапсырмаларға қатысты — корпоративтік коммуникациялар, инцидент-менеджмент, сатылымдар. Сызықтық пайплайндарда (codegen, ETL) рой ортақ күйсіз де жұмыс істей алады. Бірақ state үшін бәсеке болатын жерде үш қабат керек:

• shared state — ортақ тақта (Kubernetes control plane немесе DB transaction log секілді);
• actor identity — кім және кімнің атынан әрекет етеді;
• arbitration — қақтығыстарды шешу механизмі (басымдықтар, оркестратор, дауыс беру).

Shared board күйді сақтауды шешеді, бірақ қақтығыстарды шешпейді. Arbitration-сіз multi-agent жүйе детерминирленбеген күйде қалады.

Кришнан тезисі инженерлік тұжырымда: агенттер әрекеттерді масштабтайды, control plane келісімділікті масштабтайды. Екіншісіз біріншісі жүйені бұзады.

Дереккөздер: Strange Loop Canon — LLM Enron: experiments on structure vs scale · Strange Loop Canon — Seeing like an agent