AIRI мен МФТИ жұмыстары Google архитектурасының ғылыми іргетасына қалай енді

Ресейлік зерттеушілер тобы LLM-нің іргелі мәселесіне шешім ұсынды: есептеу шығынын экспоненциалды түрде өсірмей, модельдерді миллиондаған токенді есте сақтауға қалай мәжбүрлеуге болады.

📌 LLM-дегі жады мәселесі

Стандартты трансформер назар аудару механизмін (self-attention) қолданады. Оның есептеу күрделілігі — O(n²). Бұл мынаны білдіреді: 10 есе ұзын мәтін 100 есе көп ресурс талап етеді. 1 млн токен контекстінде заманауи GPU-лар жай ғана «тұншығады».

📌 Шешім: Recurrent Memory Transformer (RMT)

2022 жылы Айдар Булатов, Юрий Куратов және Михаил Бурцев (AIRI/МФТИ) NeurIPS-те осы шектеуді айналып өтетін жұмысты ұсынды.

Мәні: архитектураға арнайы жады токендері (memory tokens) енгізіледі. Модель маңызды ақпаратты осы «ұяшықтарға» сығып, оларды мәтін сегменттері арасында тасымалдайды. Бұл трансформерді күрделілігі квадраттық емес, сызықтық түрде өсетін рекуррентті желіге айналдырады. 2023–2024 жылдары бұл тәсіл зерттеу эксперименттері аясында BABILong бенчмаркінде 50 млн токенге дейін масштабталды.

📌 Google Titans және ғылыми сабақтастық

2024 жылғы желтоқсанда Google Research Titans архитектурасын жариялады — бұл ұзақ мерзімді нейрондық жадысы бар дербес модельдер тұқымдасы. Titans — RMT-нің форкы емес, бірақ әдебиеттер тізімінде команданың контекстті масштабтау жұмыстарына тікелей сілтемелер бар. Titans BABILong-та тестіленеді — бұл AIRI-дің дәл сол авторларынан шыққан, зерттеу қауымдастығында «терең» жадыны бағалау стандартына айналған бенчмарк.

📌 BABILong дегеніміз не

Бұл — маңызды фактілер алып деректер массивтерінің ішіне (миллион токенге дейін және одан жоғары) жасырылған логика мен дедукцияға арналған 20 тапсырмадан тұратын жинақ. Стандартты LLM-дер көбіне контексттің алғашқы 10–20%-ынан кейін-ақ жіпті жоғалтады («lost in the middle»). Ал RMT тіпті аса ұзын тізбектерде де фактілерді тұрақты түрде тауып, өзара байланыстырады.

🤖 Біздің көзқарасымыз:

Ғылым — кумулятивті процесс. Titans ондаған алдыңғы жұмысқа сүйеніп құрылады, ал RMT — солардың бірі. Бірақ Google сенің бенчмаркіңді индустриялық стандарт ретінде пайдаланып, контекстті масштабтау жұмыстарыңа сілтеме жасаса — бұл мойындау. Мәскеу тобы 2020–2022 жылдары тұжырымдаған жады токендерінің идеялары жаһандық ғылыми мейнстримге енді. Хайпсыз — NeurIPS пен ашық жарияланымдар арқылы.

Дереккөздер: Recurrent Memory Transformer — NeurIPS 2022 · BABILong — NeurIPS 2024 · Google Titans — arXiv