KNOWLEDGE SPACE · ДОКУМЕНТАЦИЯ

Инференс: как применяется обученная модель

На этой странице

Инференс (inference) означает применение обученной модели к входным данным. Модель использует настроенные параметры и получает результат: прогноз, класс, представление или генерируемый текст. Это рабочий этап, ради которого модель включают в приложение.

Термин относится не только к большим языковым моделям. Расчёт прогноза спроса и определение категории обращения также могут быть примерами инференса.

Отличие от обучения

Во время обучения параметры настраиваются на примерах. При обычном инференсе модель применяет уже полученные параметры. Хранение новой реплики в истории или добавление документа в поиск не означает изменения весов.

В одном процессе могут присутствовать и применение, и отдельные циклы обновления модели. Их нужно различать, чтобы понимать версии результата и причины изменений. Повторный расчёт на новых данных не обязательно является переобучением.

Как проходит обработка

Приложение получает вход, подготавливает его согласованным способом, вызывает модель и обрабатывает выход. Если используются внешние инструменты или поиск, они добавляют собственные шаги и задержку. Поэтому время ответа приложения шире времени вычисления самой модели.

В языковой генерации обработка входа и последовательное формирование ответа предъявляют разные требования. Длина контекста и ответа влияет на ресурсы, но итог также зависит от модели, оборудования и организации сервиса.

Пакетный и оперативный режимы

Пакетная обработка подходит, когда результаты нужны для большого набора объектов к определённому сроку, например для очередного прогноза. В оперативном режиме модель отвечает на поступающий запрос, поэтому важна задержка отдельного обращения.

Производительность описывают разными показателями: временем одного ответа, числом запросов за период и использованием ресурсов. Увеличение пропускной способности не обязательно сокращает ожидание конкретного пользователя.

Условный пример в планировании

Перед циклом планирования модель рассчитывает оценки по товарам и периодам. Результаты сохраняются с версией модели и исходных данных. Если планировщик вручную скорректировал итог, это изменение не следует смешивать с собственным выходом модели.

При сравнении двух запусков проверяют не только модель, но и подготовку истории, состав признаков и период расчёта. Иначе изменение входа можно ошибочно принять за улучшение алгоритма. Пример показывает процесс и не фиксирует устройство конкретного продукта.

Что проверять в работе

Проверяют качество на новых данных, соответствие подготовки входов обучению, обработку ошибок и доступность сервиса. Для внешнего компонента нужны понятные условия передачи данных и пределы нагрузки.

Смена оборудования, формата модели или способа ускорения может потребовать повторной оценки. Быстрый ответ полезен только при сохранении допустимого качества. Наличие вычислительного сервиса не заменяет контроль бизнес-результата.

Связь с Knowledge Space

В решении DP на платформе Knowledge Space модели используются для подготовки прогноза спроса. При оценке такого процесса следует различать обучение модели, расчёт прогноза и последующие корректировки. На странице DP описан общий рабочий сценарий без универсальных требований к скорости инференса.

Прогнозирование спроса в DP

FAQ

Инференс всегда меняет веса модели?

При обычном применении нет. Изменение параметров относится к обучению или отдельному механизму адаптации.

Инференс бывает только у LLM?

Нет. Он относится к применению обучаемых моделей разных типов.

Инференс и рассуждение — одно и то же?

Нет. Инференс описывает вычисление результата модели. Рассуждение может обозначать характер выполняемой задачи или дополнительную обработку.

Скорость модели равна скорости приложения?

Не обязательно. Поиск, передача данных, инструменты и обработка результата тоже занимают время.

Смежные термины

Была ли страница полезна?