Как работы из AIRI и МФТИ вошли в научный фундамент архитектуры Google

Команда российских исследователей предложила решение фундаментальной проблемы LLM: как заставить модели помнить миллионы токенов без экспоненциального роста затрат на вычисления.

📌 Проблема памяти в LLM

Стандартный трансформер использует механизм внимания (self-attention). Его вычислительная сложность — O(n²). Это значит: текст в 10 раз длиннее требует в 100 раз больше ресурсов. При контексте в 1 млн токенов современные GPU просто «задыхаются».

📌 Решение: Recurrent Memory Transformer (RMT)

В 2022 году Айдар Булатов, Юрий Куратов и Михаил Бурцев (AIRI/МФТИ) представили на NeurIPS работу, обходящую это ограничение.

Суть: в архитектуру вводятся специальные токены памяти (memory tokens). Модель сжимает важную информацию в эти «ячейки» и передаёт их между сегментами текста. Это превращает трансформер в рекуррентную сеть, где сложность растёт линейно, а не квадратично. В 2023–2024 годах подход масштабировали до 50 млн токенов на бенчмарке BABILong — в рамках исследовательских экспериментов.

📌 Google Titans и научная преемственность

В декабре 2024 года Google Research опубликовал архитектуру Titans — самостоятельное семейство моделей с долгосрочной нейронной памятью. Titans не является форком RMT, но в списке литературы — прямые ссылки на работы команды по масштабированию контекста. Titans тестируются на BABILong — бенчмарке от тех же авторов из AIRI, который стал стандартом оценки «глубокой» памяти в исследовательском сообществе.

📌 Что такое BABILong

Это набор из 20 задач на логику и дедукцию, где ключевые факты спрятаны внутри гигантских массивов данных (до миллиона токенов и выше). Стандартные LLM часто теряют нить уже после первых 10–20% контекста («lost in the middle»). RMT же стабильно находит и связывает факты даже в сверхдлинных последовательностях.

🤖 Наш взгляд:

Наука — кумулятивный процесс. Titans строится на десятках предшествующих работ, и RMT — одна из них. Но когда Google использует твой бенчмарк как индустриальный стандарт и цитирует твои работы по масштабированию контекста — это признание. Идеи токенов памяти, сформулированные в 2020–2022 годах командой из Москвы, вошли в глобальный научный мейнстрим. Без хайпа — через NeurIPS и открытые публикации.

Источники: Recurrent Memory Transformer — NeurIPS 2022 · BABILong — NeurIPS 2024 · Google Titans — arXiv