Объяснимый ИИ: как разбираться в результатах модели
На этой странице
Объяснимый искусственный интеллект (Explainable AI, XAI) объединяет подходы и методы, которые помогают человеку разобраться в результате модели. Объяснение может показывать устройство расчёта, влияние входных признаков или условия, при которых результат меняется.
Для бизнеса это полезно при проверке прогноза, разборе неожиданной рекомендации и обсуждении доверия к модели. При этом объяснение должно соответствовать реальному механизму получения результата. Убедительный текст, составленный без данных о расчёте, такой проверки не заменяет.
Что именно требуется объяснить
Вопрос зависит от роли сотрудника. Планировщику может быть важно, какие факторы повлияли на прогноз конкретного товара. Специалисту по моделям нужно понять, какие признаки система использует в целом и нет ли зависимости от ошибочных или недоступных в момент прогноза сведений.
Поэтому различают локальное объяснение отдельного результата и глобальное описание поведения модели. Список важных факторов для всей модели не обязательно объясняет конкретное отклонение. Перед выбором метода нужно определить, кому и для какого решения требуется объяснение.
Интерпретируемая модель и объяснение после расчёта
У некоторых моделей связь входов и выхода сравнительно легко проследить, например у небольшой системы правил или простой линейной модели. Однако даже понятная формула может использовать неверные данные или неподходящие предположения. Прозрачность не является гарантией качества.
Для сложных моделей часто применяют отдельные методы объяснения после расчёта. Они описывают определённые свойства поведения модели, иногда через приближение. Такое объяснение следует оценивать по точности и устойчивости, а не только по удобству графика.
Что показывают SHAP и LIME
SHAP связывает результат модели с вкладами признаков относительно выбранной базовой точки и способа оценки. Например, можно показать, какие входы сдвинули конкретный прогноз вверх или вниз по сравнению с базовым значением. Выбор фоновых данных и зависимость признаков влияют на интерпретацию.
LIME строит простую объясняющую модель в окрестности выбранного примера. Она помогает описать локальное поведение исходной модели, но не обязана точно воспроизводить его во всём пространстве данных. Параметры окрестности и способ изменения входов требуют внимания.
Оба подхода помогают анализировать модель, но сами по себе не устанавливают причинно-следственную связь в реальном бизнесе. Высокий вклад цены в объяснение прогноза не доказывает, что изменение цены обязательно даст рассчитанный коммерческий эффект. Для такого вывода нужна другая постановка и дополнительные доказательства.
Условный пример с прогнозом спроса
Модель увеличила прогноз по товару относительно базового уровня. Локальное объяснение показывает положительный вклад признака промо и календарных факторов, а также отрицательный вклад последних продаж. Планировщик проверяет, корректно ли отмечена акция и не были ли продажи снижены из-за отсутствия товара.
Если промо указано ошибочно, полезный вывод касается прежде всего качества данных. Если продажи ограничивал дефицит, требуется проверить, как он учитывается в обучении. Объяснение помогает найти направление проверки, но не снимает необходимость разобраться в исходной ситуации.
Значения вкладов нельзя без пояснения выдавать за прирост реального спроса от отдельных бизнес-действий. Они описывают расчёт модели в рамках выбранного метода. В отчёте важно сохранять это различие, особенно когда результат используют для согласования плана.
Как проверить качество объяснения
Объяснение должно быть понятно адресату и соответствовать процессу получения результата. Если модель не использовала показатель, нельзя ссылаться на него как на установленное основание расчёта. Также нужно обозначать ситуации, для которых выводы метода ненадёжны или неприменимы.
Полезно проверять устойчивость на похожих примерах и при небольших изменениях входов. Разработчик оценивает, насколько объясняющая модель соответствует исходной в выбранной области. Пользователь проверяет, согласуется ли интерпретация с данными, единицами измерения и версией расчёта.
Качество прогноза и качество объяснения оцениваются отдельно. Можно подробно объяснить неточную модель или получить точный прогноз с неудачным пояснением. В обоих случаях требуется понять, какую проблему решать, прежде чем включать результат в рабочий процесс.
Чем XAI отличается от ответа языкового помощника
Языковая модель может изложить данные объяснения понятным текстом, если получает проверенные сведения о факторах и расчёте. Если таких сведений нет, она может только предложить гипотезы. Гипотезу нельзя оформлять как результат применения метода XAI.
Аналогично прозрачная структура бизнес-модели помогает понять определения показателей и связи объектов, но не раскрывает автоматически внутреннее поведение любой подключённой ML-модели. Для объяснения её прогноза нужны подходящий метод, данные и проверка применимости.
Применение в Knowledge Space
В статье Knowledge Space об AI-ready архитектуре проверяемость результата связана с данными, ограничениями и бизнес-контекстом. Прозрачная бизнес-модель помогает понимать смысл показателей и связи между ними. Для объяснения конкретной ML-модели дополнительно нужны сведения о её расчёте и подходящий метод анализа.
Проверяемость результатов и бизнес-контекст KS
FAQ
XAI доказывает, что модель работает правильно?
Нет. Объяснение помогает разбираться в результате, но качество модели и исходных данных нужно проверять отдельно.
Важность признака доказывает причинное влияние?
Нет. Она описывает поведение модели в рамках выбранного метода. Причинный вывод о реальном бизнесе требует отдельной постановки и доказательств.
Чем локальное объяснение отличается от глобального?
Локальное относится к отдельному примеру или его окрестности. Глобальное описывает поведение модели в целом; одно не всегда заменяет другое.
Может ли языковая модель сама объяснить любой прогноз?
Для проверенного объяснения ей нужны сведения о данных и расчёте. Без них связный ответ остаётся предположением, даже если звучит убедительно.
Смежные термины
- Машинное обучение (ML): Показывает, как модели обучаются на данных.
- Предиктивная аналитика: Связывает модели с задачей прогнозирования.
- Прескриптивная аналитика: Показывает выбор действий с учётом ограничений.