Что такое дистилляция и почему маленькие модели становятся всё умнее

Подготовлено RD media

Коротко: дистилляция передаёт знания большой модели («учитель») компактной («ученик») — благодаря этому DeepSeek-R1-Distill-Qwen-1.5B (1,5 млрд параметров) обгоняет GPT-4o и Claude 3.5 Sonnet на математических олимпиадных задачах (AIME).

Если посмотреть на развитие больших языковых моделей за последние годы, кажется, что правило было простым: чем больше модель, тем лучше результат. Компании увеличивали число параметров, строили всё более мощные дата-центры и обучали модели на всё больших объёмах данных. Качество действительно росло — но огромные модели стоят дорого, требуют тысяч GPU и далеко не всегда работают на обычных компьютерах или мобильных устройствах. Индустрии понадобился способ сохранить большую часть возможностей больших моделей, сделав их значительно компактнее.

Почему знания вообще можно «сжать»

Возникает закономерный вопрос: если модель уменьшить в десятки раз, почему она не станет настолько же глупее? Ответ — в процессе обучения. Большая модель во время обучения перебирает тысячи вариантов поведения, многие из которых избыточны, шумны или ситуативны. Дистилляция отфильтровывает этот шум, оставляя только самые устойчивые и полезные закономерности, которые учитель извлёк из огромного объёма данных. Ученик не повторяет весь путь учителя — он сразу перенимает готовые выводы.

Как работает дистилляция

Сначала создаётся большая модель — «учитель». Затем её знания используются для обучения гораздо меньшей модели — «ученика». Маленькая модель учится не только на исходных данных, но и на ответах, логике и поведении своего учителя. Это похоже на работу опытного преподавателя: вместо того чтобы студент годами самостоятельно изучал предмет, преподаватель помогает ему быстрее освоить самое важное.

Что это даёт на практике

Для пользователей — возможность запускать современные модели локально, на ноутбуке или смартфоне. Для компаний — создавать собственные ИИ-системы без дорогостоящей инфраструктуры. Показательный пример: DeepSeek-R1-Distill-Qwen-1.5B, дистиллированная из модели-рассуждателя DeepSeek-R1, на задачах уровня математической олимпиады (AIME) обходит GPT-4o и Claude 3.5 Sonnet — при том что весит на порядки меньше.

Где встречается каждый день

• Gemini Nano (Google) — компактная модель, встроенная прямо в смартфоны Pixel
• Серия Qwen (Alibaba) — линейка дистиллированных версий разного размера
• DeepSeek-R1-Distill — семейство моделей от 1,5 до 70 млрд параметров
• Microsoft Phi — компактные модели, обученные на синтетических данных более крупных LLM

Ограничения метода

Дистилляция не делает маленькую модель сильнее большой — ученик всегда немного уступает оригиналу, особенно за пределами задач, на которых его специально тренировали. На незнакомых, нестандартных запросах дистиллированная модель теряет часть гибкости и хуже переносит знания в новые области. Но во многих практических сценариях разница оказывается небольшой, тогда как выигрыш в скорости, стоимости и требованиях к оборудованию — огромный.

Частые вопросы

Дистиллированная модель — это новый тип ИИ?

Нет. Это способ сохранить максимум знаний большой модели в значительно меньшем объёме, а не отдельная технология.

Почему дистиллированная модель иногда обгоняет модель-учителя или другие крупные модели на конкретных задачах?

Потому что обучение сфокусировано на конкретном типе задач (например, математике) — на узкой специализации маленькая модель может превзойти более универсальные крупные модели, оставаясь слабее на задачах общего назначения.

Источники

DeepSeek-R1 (техотчёт и карточка модели)

Сравнение на бенчмарках (AIME, MATH-500)

Серия: следующая статья — «Что такое Mixture of Experts и почему огромные модели работают быстрее, чем кажется».