Открытые веса позволяют получить уже обученную модель ИИ

«Компания открыла веса своей модели». Такие новости появляются регулярно. Что именно она отдала? Почему это ценно? И зачем делиться результатом, на который потрачены деньги и месяцы работы?
Разберём на примере казахского языка.

Как модель учится языку

Во время обучения ей показывают множество текстов. Например, начало фразы: «Мен қазақ тілінде…» — «Я на казахском языке…». Задача модели — предсказать продолжение.

В учебном тексте дальше стоит «сөйлеймін» — «говорю». Пока модель не обучена, её предсказание может оказаться совсем другим.

Алгоритм обучения сравнивает предсказание с правильным продолжением, вычисляет ошибку и на её основе корректирует внутренние числовые коэффициенты. Именно их называют весами.

Эти числа участвуют в вычислениях, от которых зависит, какое продолжение предложит модель. Меняются веса — меняются результаты вычислений и вероятности возможных ответов.

Это повторяется на огромном количестве примеров. Постепенно модель усваивает, как сочетаются слова, изменяются окончания и строятся предложения.

Обучить модель — значит подобрать её веса так, чтобы она лучше справлялась с задачами.

Внутри нет отдельного файла «казахская грамматика». Выученные закономерности распределены между множеством коэффициентов и проявляются в их совместной работе. Благодаря им модель может строить и такие фразы, которых не было в учебных примерах. Хотя ошибки по-прежнему возможны.

Что компания выкладывает в открытый доступ

После обучения полученные веса сохраняют в файлы. Это важнейшая часть результата, ради которого использовали данные, вычислительные мощности и труд специалистов.

Когда компания публикует веса, другие могут скачать их и с помощью подходящей программной среды, необходимых компонентов и оборудования запустить уже обученную модель у себя.

Заново проходить весь путь обучения с нуля не требуется.

Чем это отличается от обычного чата

Когда вы пользуетесь ИИ через сайт или приложение поставщика, запрос обрабатывается на его серверах. Вы получаете ответ, но саму модель вам не передают.

Если веса доступны для скачивания, можно организовать работу модели на собственном оборудовании.

Например, компания может создать помощника по внутренним документам и организовать обработку запросов внутри собственной инфраструктуры, не передавая документы внешнему поставщику. При этом конфиденциальность зависит также от того, как устроена и защищена вся система.

Поэтому фраза «модель уже доступна, а веса выложим позже» означает: пока ею можно пользоваться у разработчика, а файлы для самостоятельного запуска обещают опубликовать позднее.

Разработчик может ещё дорабатывать модель, проверять её или готовить инструменты запуска. Иногда такой порядок связан с коммерческой стратегией — причина зависит от конкретного релиза.

Зачем отдавать результат дорогого обучения

Один из возможных расчётов — зарабатывать на услугах вокруг модели.

Одни пользователи скачают её и запустят сами. Другие предпочтут платить за готовый сервис: им не хочется покупать серверы, устанавливать программы и обеспечивать бесперебойную работу.

Компаниям также нужны внедрение, подключение к внутренним системам, дополнительное обучение и техническая поддержка. На таких услугах разработчик может зарабатывать.

Есть и другой расчёт: чем больше разработчиков используют модель, тем больше вокруг неё появляется приложений, инструментов и специалистов. Такое распространение может приводить клиентов к её создателю.

При этом компания может открыть одну модель, а другую предлагать только через платный сервис.

Это коммерческая ставка. Это не обеспечивает окупаемости: опубликованным результатом могут воспользоваться и конкуренты.

Что важно учитывать

Скачать бесплатно — не значит бесплатно пользоваться. Для запуска нужны вычислительные ресурсы. Требования зависят от конкретной модели, объёма задач и нужной скорости работы. Поэтому сначала стоит выяснить, какое оборудование потребуется и сколько будет стоить эксплуатация.

Доступные веса — не разрешение на любое использование. Нужно читать лицензию: условия коммерческого применения и распространения могут различаться.

Открытые веса — не вся история создания модели.

Разработчик может предоставить файлы обученной модели, но не раскрывать данные, на которых она обучалась, исходный код обучения и все этапы её создания.

Поэтому открытые веса — это доступ к результату обучения, но не к самому процессу его получения.

Именно в этом заключается принципиальная разница между моделью с открытыми весами и полностью открытой моделью.