KNOWLEDGE SPACE · ДОКУМЕНТАЦИЯ

Большая языковая модель: как работает LLM и что нужно для её применения

На этой странице

Большая языковая модель (Large Language Model, LLM) — это языковая модель с большим числом параметров, обученная на больших объёмах данных. Она обрабатывает текст и может использоваться для генерации ответов, перевода, обобщения документов, извлечения сведений и других задач.

LLM часто служит основой диалогового помощника, но модель и приложение различаются. Историю разговора, доступ к документам, вызов инструментов и проверку полномочий организует приложение. Эти возможности не появляются автоматически из-за размера модели.

Токены и параметры

Перед обработкой текст делится на токены: это могут быть части слов, целые слова или отдельные символы. Деление зависит от выбранного токенизатора. Поэтому нельзя считать, что один токен всегда соответствует одному слову или фиксированному числу русских букв.

Параметры модели представляют собой числовые значения, которые меняются во время обучения. Они отражают освоенные закономерности, но не являются обычной таблицей с проверенными фактами и ссылками. От модели нельзя ожидать точного воспроизведения происхождения каждого утверждения.

Как модель обучается и формирует ответ

На предварительном обучении модель осваивает языковые и другие закономерности на большом наборе данных. В распространённом варианте генеративную языковую модель обучают предсказывать следующий токен. Дополнительные этапы помогают ей следовать инструкциям и выполнять выбранные задачи.

Во время генерации модель оценивает возможные продолжения с учётом доступной последовательности. Настройки определяют, как из этих вариантов выбирается продолжение. Ответ формируется шаг за шагом; связность текста ещё не означает, что каждое утверждение проверено по внешнему источнику.

Многие современные LLM используют архитектуру трансформера. Механизм внимания позволяет учитывать связи между элементами входной последовательности. Для выбора корпоративного приложения важнее проверить результат на своих задачах, чем сравнивать решения только по названию архитектуры или числу параметров.

Что входит в контекст

Контекст может включать инструкции приложения, сообщение пользователя, часть истории, найденные документы и результаты вызова инструментов. Его объём ограничен контекстным окном конкретной модели. Доступное место распределяется между этими материалами и, в зависимости от реализации, ответом.

Если документ слишком большой, приложение может отбирать фрагменты, сокращать историю или выполнять несколько запросов. Большое окно не гарантирует, что модель одинаково хорошо использует каждую деталь. Качество работы с длинными материалами проверяют отдельно.

Информация в контексте и информация в параметрах относятся к разным механизмам. Переданная в запрос новая инструкция компании может повлиять на текущий ответ без изменения параметров. Сохранение истории разговора также не равно дообучению.

Зачем LLM нужны внешние данные и инструменты

Внутренняя документация, остатки на складе и утверждённый план не становятся известны модели автоматически. Приложение должно получить нужные сведения и передать их в подходящем виде. Для поиска по документам используют в том числе RAG, а для показателей могут обращаться к расчётной системе или базе данных.

Например, на вопрос об изменении прогноза нужны значения сопоставимых версий, период, единицы измерения и сведения о корректировках. Если модель видит только одну итоговую цифру, подробное объяснение причин будет предположением. Доступ к инструменту должен учитывать права сотрудника.

Что можно поручить модели в компании

LLM подходит для черновиков, поиска формулировок, извлечения полей из текста и подготовки справочных ответов с доступными источниками. Для каждой задачи определяют критерии: точность извлечения, полноту ответа, соответствие документу, допустимое время и стоимость обработки.

Числовые расчёты лучше проверять расчётным инструментом. Модель может помочь сформировать обращение к нему и объяснить полученный результат, но свободно сгенерированное число нельзя автоматически считать итогом корректного расчёта. Особенно это касается версий планов, валют и периодов.

Как оценивать ограничения LLM

На контрольном наборе проверяют обычные вопросы, отсутствие сведений, противоречивые документы и запросы за пределами доступа. Полезно измерять не только долю верных ответов, но и способность сообщить, что данных недостаточно. Уверенность формулировки не является самостоятельной метрикой достоверности.

Выбор локальной или внешней модели зависит от требований к данным, ресурсам и сопровождению. При любом способе размещения остаются вопросы актуальности источников, прав доступа и проверки результата. Смена модели или версии требует повторной оценки важных рабочих сценариев.

Применение в Knowledge Space

В материалах Knowledge Space следует различать справочного помощника по документации и аналитический LLM-сценарий. Новость KS описывает помощников по платформе, а на общей странице продуктов аналитический LLM-ассистент и NLQ указаны в планах развития. При выборе сценария нужно учитывать этот статус и требуемые данные.

Продукты и направления развития

FAQ

LLM и чат-бот — одно и то же?

Нет. LLM является моделью, а чат-бот представляет способ общения с приложением. Бот может использовать языковую модель вместе с поиском, инструментами и правилами доступа.

Чем контекст отличается от обучения?

Контекст передают модели при обработке запроса. Обучение меняет её параметры. Добавление текста в запрос само по себе не означает дообучения.

Большая модель всегда лучше меньшей?

Нет. Результат зависит от задачи, языка, данных, настроек и ограничений приложения. Модели следует сравнивать на одинаковых рабочих примерах.

Знает ли LLM актуальные данные компании?

Только если приложение получает и передаёт необходимые сведения или подключает подходящие инструменты. Само использование LLM в компании такого доступа не создаёт.

Смежные термины

Была ли страница полезна?