ЖИ бұлттан компьютерге қайта оралуда. Perplexity бір тапсырманы Mac пен дата-орталық арасында бөлді

Соңғы жылдары генеративті жасанды интеллектің (ЖИ) дамуы негізінен бір бағытта жүрді: ең қуатты модельдер мен есептеулер дата-орталықтарда шоғырланды, ал пайдаланушы компьютері оларға қол жеткізу интерфейсіне айнала берді.

Енді есептеулердің бір бөлігі құрылғыға қайта оралып жатыр.

1 қыркүйекте Perplexity компаниясы Mac үшін Hybrid Compute функциясын таныстырды. Perplexity Computer-дегі бір тапсырма бір мезгілде екі жерде орындала алады: бір бөлігі — компьютерде локальді түрде, бір бөлігі — бұлттағы қуатты модельдерде.

Бұл әзірге жаппай технология емес. Apple Silicon чипі бар, macOS 15+ жүйесі орнатылған және кемінде 24 ГБ unified memory-і бар Mac қажет. Hybrid Compute функциясы Pro, Max және Enterprise жазылымшыларына қолжетімді.

Бірақ мұнда қызық тудыратыны Perplexity-дің жаңа функциясы емес, оның архитектурасы.

Бір сұрау — есептеудің екі орны

Құпия істі зерттеп, сонымен қатар ұқсас сот тәжірибесін іздеу қажет заңгерді елестетейік.

Локальді модель Mac-тағы құжаттармен жұмыс істеп, олардан қажетті ақпаратты алады. Бұлттық модель ашық көздерді іздеп, күрделірек ойлау процестерін орындайды.

Мұнда пайдаланушы жұмысты бірнеше сұрауға қолмен бөлудің қажеті жоқ. Perplexity Computer бір тапсырма аясында локальді және бұлттық есептеулерді үйлестіреді.

Нәтижесінде басқа схема пайда болады:

локальді модель → деректерді бақылау → бұлттық модель → интернет → әрекет

Бұл неге маңызды

Корпоративтік ЖИ-дің шектеулерінің бірі енді модельдердің интеллектісі ғана емес, әлдеқайда қарапайым сұраққа айналуда:

жалпы қандай деректерді бұлтқа жіберуге болады?

Көрнекі мысал осы жылдың ақпанында АҚШ-та пайда болды. United States v. Heppner ісінде айыпталушы өз қорғауына қатысты материалдармен жұмыс істеу үшін Claude-тың тұтынушылық нұсқасын пайдаланды.

Федералды сот осылай жасалған материалдарды attorney-client privilege аясында қорғалған деп таныған жоқ. Ал адвокаттардан алынған ақпаратты Claude-қа беруді сот үшінші тарапқа ашу деп бағалады.

Бұл ЖИ-ді кез келген қолдануға қатысты жалпы ереже емес: басқа істерде америкалық соттар жағдайларға байланысты өзге қорытындыларға да келген. Бірақ Heppner ісі мәселенің өзін жақсы көрсетеді — бұлттық ЖИ мүмкіндіктері мен деректер құпиялылығы арасында қайшылық туындайды.

Бұлтқа не түспеуі керек

Perplexity локальді және бұлттық бөліктер арасына Privacy Gate орналастырады.

Ақпаратты сыртқа жіберер алдында локальді PII-Tracer классификаторы есімдерді, мекенжайларды, қаржылық деректерді және басқа да жеке әрі сезімтал деректерді іздейді.

Модель шағын — 600 млн параметр — және тікелей құрылғыда жұмыс істейді. Perplexity оны PII-TRACE бенчмаркімен бірге ашық етті, сондықтан классификатордың жұмысын тәуелсіз түрде зерттеуге болады.

Бірақ мұнда келесі логикалық секіріс жасамау маңызды.

Hybrid Compute құпия деректердің бұдан былай бұлтқа мүлде түспейтініне кепілдік бермейді.

Классификаторда қателер болуы мүмкін. Оның контекст терезесі 4096 токенді құрайды, ал анықтау сапасы құжаттың ұзындығы мен құрылымына да байланысты. Privacy Gate құпия ақпаратты беру қаупін азайтады, бірақ оны толық жоймайды.

«Қай модель жақсы?» дегеннен «модель қайда жұмыс істеуі керек?» дегенге қарай

Дәл осы жерде жаңалық Perplexity-дің өзінен де қызықты бола бастайды.

Осы уақытқа дейін таңдау шамамен былай көрінетін:

бұлт — қуатты модельдер, бірақ деректердің бір бөлігін сыртқа беруге тура келеді;

локальді ЖИ — деректерге бақылау көбірек, бірақ құрылғы ресурстарымен шектелген.

Гибридті архитектура үшінші нұсқаны ұсынады: бір тапсырманы құрылғы мен бұлт арасында бөлу.

Оның үстіне Perplexity бұл идеяны бірнеше бағытта дамытып жатыр. Hybrid Compute-тен бір апта бұрын компания Portable Computer-ді таныстырды — бұл Linux негізіндегі NVIDIA жүйелеріне арналған local-first агент, ол құпия жұмысты локальді орындап, қажет болған жағдайда қашықтағы мүмкіндіктерге жүгінеді.

Платформалар әртүрлі: Portable Computer NVIDIA DGX және Linux жұмыс станцияларына бағытталған, Hybrid Compute — Mac-қа. Бірақ архитектуралық логика біреу: ЖИ-дің бір бөлігі деректер тұрған жерде жұмыс істеуі керек, ал бұлт қуатты есептеулер қажет болған жерде қосылуы керек.

Бәсекелестіктің өзі нысаны өзгеруде

Бүгінде біз негізінен GPT, Gemini және Claude-ты қай модель жақсырақ ойлайды, жазады немесе бағдарламалайды деген тұрғыдан салыстырамыз.

Бірақ ЖИ агенттері дамыған сайын бәсекелестіктің басқа деңгейі пайда болуда:

қандай модельді пайдалану → оны қайда іске қосу → оған қандай деректерді көруге рұқсат беру → қандай әрекетті орындауға рұқсат беру.

Яғни ЖИ бірте-бірте бір үлкен модельден модельдер, деректер, есептеулер мен әрекеттерді үйлестіру жүйесіне айналып барады.

Дәл сондықтан Hybrid Compute Perplexity-дің өзінен де қызықты.

Егер мұндай архитектура бекітілсе, жеке компьютер дата-орталықта жұмыс істейтін ЖИ-ге қарапайым интерфейс болудан бас тартады.

Ол өзі ЖИ инфрақұрылымының бөлігіне айналады.

Дереккөзі: Perplexity Hybrid Compute-дің ресми таныстырылымы

Подготовлено RD media