Эмбеддинг: как представить объект числовым вектором
На этой странице
Эмбеддинг (embedding) — это числовое представление объекта, полученное с помощью обученной модели. Обычно оно имеет вид вектора: последовательности чисел. Такие представления используют для текста, изображений, пользователей, товаров и других объектов.
Вектор отражает свойства, полезные для задачи обучения. Поэтому эмбеддинг нельзя считать универсальной записью полного смысла или гарантией того, что модель правильно поняла документ.
Как получают представление
Выбранная модель преобразует объект в вектор заданной размерности. Текстовая модель может кодировать слово, предложение или фрагмент документа. Способ подготовки текста и допустимый объём зависят от модели.
Для сопоставления объектов обычно нужны согласованные представления: одна версия модели или совместимые кодировщики. Совпадение числа координат само по себе не означает совместимости. После замены модели индекс может потребоваться построить заново.
Как сравниваются векторы
Используют меру сходства или расстояния, подходящую модели и задаче. Среди распространённых вариантов есть косинусное сходство и скалярное произведение. Их значения зависят от представления и нормализации, поэтому произвольный порог нельзя переносить между системами.
Близость векторов показывает сходство в выбранном пространстве. Она не доказывает истинность текста, принадлежность к актуальной редакции или право сотрудника видеть документ. Эти свойства учитывают отдельно.
Пример поиска по регламентам
Сотрудник спрашивает, кто согласует изменение прогноза. В базе документ может называться «Порядок утверждения корректировок». Эмбеддинги помогают сопоставить разные формулировки и найти кандидатов для ответа.
Но рядом может оказаться старая инструкция с почти тем же текстом. Поиск должен учитывать дату, версию и права доступа. Затем проверяют, действительно ли выбранный фрагмент отвечает на вопрос. Пример иллюстрирует подход, а не конкретную реализацию KS.
Связь с векторным поиском и RAG
Векторный поиск сравнивает представление запроса с представлениями объектов. Векторная база может хранить их и ускорять поиск. В RAG найденный текст передают языковой модели для подготовки ответа.
Это разные части процесса. Для эмбеддингов необязательна отдельная специализированная база, а RAG может использовать не только векторный поиск. При небольшой задаче достаточно и другого способа хранения или извлечения.
Что проверять
На контрольных вопросах оценивают найденные документы, пропуски и попадание неподходящих фрагментов. В набор нужны синонимы, точные коды, отрицания и похожие названия. Качество общей языковой модели не заменяет проверку поиска в конкретной предметной области.
При обновлении документов нужно обновлять соответствующие представления и метаданные. Наличие старых векторов без понятного источника затрудняет проверку и может привести к использованию неактуальной информации.
Связь с Knowledge Space
В архитектурном материале Knowledge Space описана работа ИИ с корпоративным контекстом. Если для такого сценария выбирают эмбеддинги, качество сопоставления документов проверяют вместе с редакциями и правами доступа. Сам материал об архитектуре не определяет конкретную модель представлений или устройство индекса.
Корпоративный контекст в архитектуре KS
FAQ
Эмбеддинг хранит весь смысл документа?
Нет. Это представление, освоенное для определённой задачи. Оно может терять важные различия.
Близкие векторы означают достоверные сведения?
Нет. Сходство не подтверждает истинность, актуальность или доступность источника.
Можно смешивать эмбеддинги разных моделей?
Только при подтверждённой совместимости. Одинаковая размерность сама по себе её не обеспечивает.
Для эмбеддингов нужна векторная база?
Не обязательно. Представления можно хранить и обрабатывать разными способами в зависимости от объёма и задачи.
Смежные термины
- Семантический поиск: Рассматривает поиск с учётом смысла запроса.
- Векторная база данных: Объясняет хранение векторов и поиск сходства.
- RAG (Retrieval-Augmented Generation): Объясняет получение контекста через поиск.