Токен в языковой модели: что считается единицей текста
На этой странице
Токен в языковой модели представляет единицу, в которую преобразуется текст перед обработкой. Это может быть часть слова, слово, знак препинания или другой элемент. Разбиение выполняет токенизатор, связанный с конкретной моделью.
Токены помогают описывать объём входа, генерации и контекстного окна. Их нельзя смешивать с криптовалютными токенами, ключами авторизации или условными пакетами обращений в сервисе.
Почему токен не равен слову
Токенизатор использует свой словарь и правила разбиения. Частое слово может соответствовать одному элементу, а редкое название или составная форма нескольким. Пробелы, знаки и особенности языка также влияют на результат.
Один и тот же текст разные модели могут разбивать по-разному. Поэтому универсальное соотношение «слова на токен» не подходит для точного подсчёта русского документа. Нужен токенизатор выбранной модели или её штатный счётчик.
Что входит в объём запроса
Кроме реплики пользователя приложение может передавать инструкции, историю, найденные фрагменты и описание инструментов. Всё это занимает место в доступном контексте. Короткий вопрос по большому документу не обязательно является коротким входом модели.
Сгенерированный ответ также имеет свой объём. У отдельных моделей могут учитываться дополнительные категории, связанные с внутренней обработкой или другими модальностями. Их состав и ограничения проверяют в документации конкретного решения.
Условный пример работы с инструкцией
Пользователь задаёт один вопрос, а приложение добавляет несколько страниц руководства и предыдущий диалог. Для оценки объёма нужно посчитать весь фактически передаваемый вход. Если вместо целого руководства найдены подходящие фрагменты, вход может сократиться без потери нужного материала.
Но сокращение не должно удалять условие, от которого зависит ответ. Экономию проверяют вместе с полнотой и достоверностью. Пример не устанавливает конкретный лимит или тариф KS.
Связь с контекстом и затратами
Контекстное окно ограничивает объём информации, доступной модели при обработке. При планировании запроса учитывают требования к входу и ответу. Точные правила могут различаться у моделей и приложений.
Если сервис тарифицирует токены, стоимость зависит от его правил для разных категорий. Локальное размещение также требует вычислительных ресурсов, даже если платы за каждый токен нет. Актуальную цену нельзя вывести только из длины текста в символах.
Как использовать подсчёт на практике
Для устойчивого процесса фиксируют модель и способ подсчёта, проверяют обычные и большие входы и задают разумную длину ответа. При смене модели оценку повторяют. Если данных слишком много, приложение должно осмысленно выбирать контекст, а не незаметно обрезать случайный конец документа.
Связь с Knowledge Space
В справочном сценарии Knowledge Space значение имеет не только вопрос сотрудника, но и материал, по которому готовится ответ. При оценке такого решения следует учитывать состав передаваемой документации и ограничения выбранной модели. Новость KS описывает назначение помощников, без универсального лимита токенов.
Справочные помощники Knowledge Space
FAQ
Один токен равен одному слову?
Нет. Токен может быть частью слова, целым словом или символом.
Можно точно посчитать токены по числу букв?
Универсального коэффициента нет. Точный расчёт выполняют токенизатором выбранной модели.
Считается только вопрос пользователя?
Нет. Вход может включать инструкции приложения, историю, документы и другие материалы.
Токены всегда оплачиваются отдельно?
Нет. Это зависит от поставщика и способа размещения. Токен является технической единицей, а не универсальным тарифом.
Смежные термины
- Большая языковая модель (LLM): Объясняет работу языковой модели.
- Контекстное окно: Объясняет ограничения доступного модели контекста.
- Инференс (Inference): Описывает применение обученной модели.