KNOWLEDGE SPACE · ДОКУМЕНТАЦИЯ

Контекстное окно: какую информацию модель может учитывать в запросе

На этой странице

Контекстное окно задаёт предел объёма информации, которую языковая модель может учитывать при обработке запроса. Обычно его измеряют в токенах. В контекст попадают инструкции, сообщения, выбранные документы и результаты работы инструментов.

Этот предел относится к конкретной модели и способу её использования. Правила учёта ответа и дополнительных категорий токенов могут различаться, поэтому лимиты проверяют по документации приложения.

Чем контекст отличается от памяти

Информация в текущем входе не равна постоянной памяти приложения или знаниям в параметрах модели. Приложение может хранить историю, но передавать в очередной запрос только часть. Оно также может сохранять отдельные сведения и подбирать их позже через поиск.

Добавление факта в диалог само по себе не является дообучением. Если модель использовала его в ответе, это может объясняться присутствием факта в контексте. Из этого нельзя делать вывод об изменении параметров или бессрочном сохранении разговора.

Что занимает доступное место

Кроме видимого вопроса объём расходуют инструкции системы, предыдущие реплики, найденные фрагменты и описания инструментов. Для генерации нужно учитывать предусмотренный моделью предел ответа. Количество страниц документа не даёт точного числа токенов.

Большое окно позволяет передавать больше материала, но не гарантирует правильного использования каждой детали. В длинном тексте модель может пропустить условие или связать сведения из разных разделов. Это проверяют на характерных для задачи документах.

Что происходит при превышении

Приложение может отклонить запрос, сократить историю, обобщить материалы или отобрать фрагменты. Конкретное поведение зависит от реализации. Незаметное сокращение способно удалить существенные условия, поэтому важно понимать, что фактически получила модель.

Например, из длинного обсуждения плана может исчезнуть договорённость о выбранной версии. Последующие ответы станут относиться к другому набору данных, хотя диалог выглядит непрерывным. Нужные параметры задачи полезно фиксировать явно.

Как работать с большими материалами

Контекст подбирают под вопрос: сохраняют нужную редакцию, связанные условия и исходные значения. Поиск по документам помогает не передавать всё хранилище при каждом обращении. Сокращение истории полезно только при сохранении существенных решений.

Для проверки используют вопросы, ответ на которые находится в разных частях документа, и случаи с похожими названиями. Сравнивают полноту и точность, а не только максимальный заявленный размер окна. Пример с планом является учебным и не описывает внутренний механизм помощника KS.

Связь с Knowledge Space

Материал Knowledge Space об AI-ready архитектуре подчёркивает значение версии данных, источника показателя и бизнес-контекста. При работе помощника важно сохранить именно эти сведения в доступном ему контексте. Объём окна конкретной модели и способ отбора материалов проверяются отдельно.

Бизнес-контекст и версии данных в KS

FAQ

Большое окно означает постоянную память?

Нет. Контекст, история в хранилище приложения и изменение параметров модели являются разными механизмами.

Модель всегда видит весь прошлый диалог?

Нет. Приложение может выбирать, сокращать или обобщать предыдущие сообщения.

Больше контекста всегда даёт лучший ответ?

Нет. Лишние, устаревшие или противоречивые материалы могут мешать. Качество проверяют на рабочих примерах.

Чем помогает RAG?

Он подбирает сведения из источников и передаёт выбранные фрагменты в контекст. Точность поиска и итогового ответа всё равно нужно проверять.

Смежные термины

Была ли страница полезна?