AI Stack: шешім қабылдау картасы

AI-өнім — модель емес. GPT, Claude немесе Qwen — жүйенің миы ғана. ЖИ (жасанды интеллект) нақты жұмысты орындауы үшін модельдің айналасында деректер, жад, құралдар, инфрақұрылым, бақылау және экономика қажет.

AI 2.0 сериясында модельдердің құрылымын қарастырдық. AI 3.0-де модельдің айналасындағы жүйені құрастырамыз. Бұл пост — жаңа серияның толық картасы.

AI-өнімді неден бастау керек

Бірінші архитектуралық сұрақ: модель қайда жұмыс істейді? Үш негізгі нұсқа бар.

API

OpenAI, Anthropic, Google және басқа провайдерлер.

📌 Қашан қолдану керек: гипотезаны жылдам тексеру қажет болғанда, сұраныс көлемі шағын болғанда, GPU басқаратын команда болмағанда, іске қосу жылдамдығы маңыздырақ болғанда.

✅ Артықшылықтары: бірнеше күнде іске қосу, өз GPU қажет емес, нақты пайдалануға ақы төлеу.

⚠️ Кемшіліктері: провайдерге тәуелділік, деректер бойынша шектеулер, жүктеме артқан сайын құнның өсуі.

Меншікті inference

Бұлтта немесе on-premise орналасқан өз GPU-лары.

📌 Қашан қолдану керек: сұраныс ағыны үлкен әрі тұрақты болғанда, деректер сезімтал болғанда, болжамды latency шешуші рөл атқарғанда, API-ден тәуелсіздік қажет болғанда.

✅ Артықшылықтары: инфрақұрылым мен деректерге толық бақылау, жоғары жүктеме кезінде құнды оңтайландыру.

⚠️ Кемшіліктері: күрделі шығындар, инженерлер қажет, пайдалану және мониторинг жүргізу қажеттілігі.

Мұнда «X миллион токеннен кейін GPU сатып алу керек» деген сияқты әмбебап шек жоқ. Ауысу нүктесі нақты жүктеме үшін есептеледі: API бағасы меншікті inference-тің толық құнымен салыстырылады.

Edge AI

Модель тікелей пайдаланушының құрылғысында жұмыс істейді.

📌 Қашан қолдану керек: минималды кідіріс шешуші болғанда, құрылғы офлайн режимде жұмыс істеуі керек болғанда, деректер құрылғыдан шықпауы тиіс болғанда.

✅ Артықшылықтары: төмен latency, құпиялылық, желісіз жұмыс істеу мүмкіндігі.

⚠️ Кемшіліктері: есептеу ресурстарының шектеулілігі, модельді нақты құрылғыға бейімдеу қажеттілігі.

Практикалық ереже

Көптеген жаңа өнімдер үшін API-ден бастаңыз. Алдымен есептің шешілетінін дәлелдеңіз. Содан кейін cost per task, latency және жүктеме көлемін есептеңіз. Экономика меншікті инфрақұрылымды ақтаса, өз inference-іне көшіңіз. Edge-ті «арзан» болғаны үшін емес, latency немесе offline режим өнімнің бөлігі болғанда таңдаңыз.

AI 3.0 картасы

Іске қосу тәсілі таңдалғаннан кейін нағыз инженерия басталады. Серияның келесі посттарында мыналарды қарастырамыз:

📦 2-блок. Data — жүйенің жады (Embeddings, RAG, chunking).

🔧 3-блок. Модельді бейімдеу (Prompt engineering, fine-tuning, LoRA).

🤖 4-блок. AI Agents — модельді әрекет етуге қалай үйрету керек (tool use, function calling).

🔄 5-блок. Agentic Systems — бірнеше агентті үйлестіру және human-in-the-loop.

Навигатор ретінде сақтап қойыңыз. Келесі пост — Data туралы.

---

Дереккөздер:

• [The Batch — Andrew Ng](https://www.deeplearning.ai/the-batch/)

• [Artificial Analysis](https://artificialanalysis.ai/)

• [Hugging Face Blog](https://huggingface.co/blog)

• [REAL DIGITAL](https://t.me/digitalreal)