Инференс: как применяется обученная модель
На этой странице
Инференс (inference) означает применение обученной модели к входным данным. Модель использует настроенные параметры и получает результат: прогноз, класс, представление или генерируемый текст. Это рабочий этап, ради которого модель включают в приложение.
Термин относится не только к большим языковым моделям. Расчёт прогноза спроса и определение категории обращения также могут быть примерами инференса.
Отличие от обучения
Во время обучения параметры настраиваются на примерах. При обычном инференсе модель применяет уже полученные параметры. Хранение новой реплики в истории или добавление документа в поиск не означает изменения весов.
В одном процессе могут присутствовать и применение, и отдельные циклы обновления модели. Их нужно различать, чтобы понимать версии результата и причины изменений. Повторный расчёт на новых данных не обязательно является переобучением.
Как проходит обработка
Приложение получает вход, подготавливает его согласованным способом, вызывает модель и обрабатывает выход. Если используются внешние инструменты или поиск, они добавляют собственные шаги и задержку. Поэтому время ответа приложения шире времени вычисления самой модели.
В языковой генерации обработка входа и последовательное формирование ответа предъявляют разные требования. Длина контекста и ответа влияет на ресурсы, но итог также зависит от модели, оборудования и организации сервиса.
Пакетный и оперативный режимы
Пакетная обработка подходит, когда результаты нужны для большого набора объектов к определённому сроку, например для очередного прогноза. В оперативном режиме модель отвечает на поступающий запрос, поэтому важна задержка отдельного обращения.
Производительность описывают разными показателями: временем одного ответа, числом запросов за период и использованием ресурсов. Увеличение пропускной способности не обязательно сокращает ожидание конкретного пользователя.
Условный пример в планировании
Перед циклом планирования модель рассчитывает оценки по товарам и периодам. Результаты сохраняются с версией модели и исходных данных. Если планировщик вручную скорректировал итог, это изменение не следует смешивать с собственным выходом модели.
При сравнении двух запусков проверяют не только модель, но и подготовку истории, состав признаков и период расчёта. Иначе изменение входа можно ошибочно принять за улучшение алгоритма. Пример показывает процесс и не фиксирует устройство конкретного продукта.
Что проверять в работе
Проверяют качество на новых данных, соответствие подготовки входов обучению, обработку ошибок и доступность сервиса. Для внешнего компонента нужны понятные условия передачи данных и пределы нагрузки.
Смена оборудования, формата модели или способа ускорения может потребовать повторной оценки. Быстрый ответ полезен только при сохранении допустимого качества. Наличие вычислительного сервиса не заменяет контроль бизнес-результата.
Связь с Knowledge Space
В решении DP на платформе Knowledge Space модели используются для подготовки прогноза спроса. При оценке такого процесса следует различать обучение модели, расчёт прогноза и последующие корректировки. На странице DP описан общий рабочий сценарий без универсальных требований к скорости инференса.
FAQ
Инференс всегда меняет веса модели?
При обычном применении нет. Изменение параметров относится к обучению или отдельному механизму адаптации.
Инференс бывает только у LLM?
Нет. Он относится к применению обучаемых моделей разных типов.
Инференс и рассуждение — одно и то же?
Нет. Инференс описывает вычисление результата модели. Рассуждение может обозначать характер выполняемой задачи или дополнительную обработку.
Скорость модели равна скорости приложения?
Не обязательно. Поиск, передача данных, инструменты и обработка результата тоже занимают время.
Смежные термины
- Большая языковая модель (LLM): Объясняет работу языковой модели.
- Токен: Описывает единицу обработки текста.
- LLMOps: Связывает работу с моделью с эксплуатацией приложения.