Векторная база данных: как устроен поиск по числовым представлениям
На этой странице
Векторная база данных хранит числовые представления объектов и помогает находить близкие по выбранной мере векторы. Вместе с представлением могут храниться идентификатор, ссылка на источник и метаданные: версия, дата, тип документа и другие признаки.
Такие возможности встречаются как у специализированных систем, так и у расширений обычных СУБД. Отдельный новый сервер необязателен для любого приложения с векторным поиском.
Как проходит запрос
Модель преобразует вопрос в вектор, совместимый с представлениями сохранённых объектов. База находит ближайшие варианты, при необходимости применяет фильтры и возвращает результат. Приложение получает соответствующий текст или другой исходный материал.
База обычно не создаёт осмысленные эмбеддинги без выбранной модели и не проверяет достоверность документов. Хранение, получение представлений и генерация ответа относятся к разным компонентам, хотя поставщик может объединять их в продукте.
Зачем нужны индексы
При большом числе объектов сравнение запроса с каждым вектором может быть слишком затратным. Индексы ускоряют поиск, в том числе через приближённый выбор соседей. Такой поиск может пропустить часть результатов, которые нашёл бы полный перебор.
Поэтому оценивают компромисс между задержкой, ресурсами и полнотой. Название алгоритма или высокая скорость сами по себе не подтверждают качество на материалах компании. Проверка должна учитывать и фильтрацию метаданных.
Пример поиска инструкции
В хранилище загружены фрагменты регламентов с идентификаторами документов и редакциями. По вопросу сотрудника база возвращает смыслово близкие фрагменты. Затем приложение исключает неактуальные или недоступные материалы и готовит ответ по подходящим источникам.
Если в выдаче смешались действующая и отменённая инструкции, близость векторов не разрешит противоречие. Нужны правила выбора редакции. Права доступа важно применять так, чтобы недоступный текст не попал в контекст модели или результат пользователя. Пример условный.
Отличие от реляционной базы
Реляционная СУБД удобна для структурированных связей, транзакций и точных условий. Векторный поиск решает задачу сходства. Современная СУБД может поддерживать оба механизма, поэтому это не обязательно взаимоисключающие варианты.
Для получения точного остатка по коду товара нужен корректный запрос к учётным данным, а не ближайший текст по смыслу. В корпоративном приложении точное извлечение и поиск сходства часто дополняют друг друга.
Что требуется для сопровождения
При изменении документа обновляют связанные фрагменты, представления и метаданные. Удаление источника должно отражаться в поиске. Смена модели эмбеддингов требует проверки совместимости и может потребовать нового индекса.
Перед запуском проверяют обновления, удаление, доступ, скорость и качество выдачи на типовых вопросах. Наличие векторной базы не означает автоматически работающий RAG или готовую базу достоверных ответов.
Связь с Knowledge Space
В материале Knowledge Space о корпоративном ИИ описано подключение проектного контекста. Если в решении используется векторный поиск, его хранилище нужно рассматривать вместе с обновлением источников и доступом. Публичное описание архитектуры KS не устанавливает конкретную векторную СУБД.
Работа с корпоративными источниками в KS
FAQ
Векторная база заменяет все остальные базы?
Нет. Задачи точного учёта, транзакций и поиска сходства могут требовать разных механизмов.
Для RAG обязательна отдельная векторная БД?
Нет. Возможны другие виды поиска и хранение векторов в существующей СУБД.
Ближайший вектор означает правильный документ?
Не обязательно. Нужно проверить содержание, редакцию и применимость источника.
Зачем хранить метаданные?
Они помогают выбирать нужные версии и типы документов, связывать фрагмент с источником и учитывать ограничения доступа.
Смежные термины
- Эмбеддинг (Embedding): Объясняет числовые представления объектов.
- Семантический поиск: Рассматривает поиск с учётом смысла запроса.
- RAG (Retrieval-Augmented Generation): Объясняет получение контекста через поиск.