Семантический поиск: как находить материалы по смыслу запроса
На этой странице
Семантический поиск учитывает смысл запроса, контекст и связи между понятиями при отборе или ранжировании материалов. Он может находить подходящий документ, даже если вопрос пользователя и текст источника сформулированы разными словами.
Это цель и подход к поиску, а не название одной технологии. Для её достижения используют представления текста, анализ запроса, словари, модели ранжирования и другие методы.
Как работает поиск по смыслу
Система интерпретирует запрос, получает набор документов-кандидатов и определяет порядок результатов. Языковая модель может участвовать в преобразовании запроса или оценке пары «вопрос — документ». Конкретная последовательность зависит от приложения.
Современный поиск по словам тоже может учитывать формы слов и синонимы. Поэтому противопоставлять «обычный поиск» простому совпадению букв во всех случаях неправильно. Сравнивать нужно реальные способы отбора и ранжирования.
Отличие от векторного поиска
Векторный поиск сравнивает числовые представления объектов. Это один из способов получить смыслово близкие материалы. Но семантическая обработка может применяться и после отбора по словам, например для повторного ранжирования.
Близость представлений не гарантирует, что документ отвечает на вопрос. Тексты на одну тему могут содержать разные правила или противоположные условия. Результат проверяют по содержанию, а не только по числу сходства.
Когда полезен гибридный подход
Векторные методы помогают при разных формулировках, а поиск по словам бывает особенно полезен для точных кодов, обозначений и названий. Гибридный поиск сочетает результаты разных методов. Способ объединения и порядок проверки нужно настраивать под материалы компании.
Например, запрос с кодом показателя и разговорным описанием может требовать обоих подходов. Если точный код потеряется при смысловом сопоставлении, система найдёт похожую, но неподходящую инструкцию.
Пример работы с базой знаний
Пользователь спрашивает, как отменить согласование корректировки. Система находит регламент об отзыве изменения, хотя слова «отменить» в нём нет. Затем учитывает редакцию, область применения и доступ сотрудника.
Ответ на основе найденного текста относится уже к следующему этапу, например RAG. Поиск может вернуть правильный источник, а генерация неверно изложить условие. Поэтому качество извлечения и ответа проверяют отдельно. Пример является учебным.
Как оценить качество
Нужен набор рабочих вопросов с проверенными подходящими источниками. В него включают синонимы, сокращения, точные идентификаторы, отрицания и вопросы без ответа. Оценивают, какие нужные документы найдены и насколько высоко они показаны.
Отдельно проверяют права и актуальность. Документ может быть идеально похож на запрос, но относиться к прошлой версии процесса. Улучшение смыслового сопоставления не заменяет обновление базы знаний и управление доступом.
Связь с Knowledge Space
В сценарии помощника по документации Knowledge Space важно находить правило под вопрос сотрудника и проверять его редакцию. Назначение помощников описано в новости KS. Конкретный способ поиска и его качество следует оценивать по рабочим вопросам; наличие помощника не определяет используемый алгоритм.
FAQ
Семантический и векторный поиск совпадают?
Нет. Векторный поиск является одним из способов смыслового сопоставления. Семантические методы могут использоваться и при ранжировании других кандидатов.
Поиск по словам больше не нужен?
Нужен во многих задачах, особенно для точных кодов и названий. Методы можно сочетать.
Что такое гибридный поиск?
Это сочетание нескольких способов поиска, например по словам и по векторам, с объединением результатов.
Поиск гарантирует правильный ответ помощника?
Нет. После нахождения источника возможна ошибка генерации. Эти этапы оценивают раздельно.
Смежные термины
- Эмбеддинг (Embedding): Объясняет числовые представления объектов.
- Векторная база данных: Объясняет хранение векторов и поиск сходства.
- RAG (Retrieval-Augmented Generation): Объясняет получение контекста через поиск.