Обнаружение аномалий: как находить необычные изменения в данных
На этой странице
Обнаружение аномалий помогает находить наблюдения или последовательности, которые существенно отличаются от ожидаемого поведения. Необычным может быть отдельное значение, сочетание признаков или изменение временного ряда.
Аномалия является сигналом для проверки, а не готовым объяснением. За ней могут стоять ошибка данных, реальное событие, смена условий или допустимое редкое поведение.
Что считается нормой
Норму задают через правила, историю, статистическую модель или обучение на данных. Один фиксированный порог не всегда учитывает сезонность, масштаб разных объектов и изменение процесса. Значение, обычное для пятницы, может оказаться неожиданным для другого дня.
В одном подходе модель обучают на относительно нормальных наблюдениях и проверяют новые случаи. В другом ищут выбросы внутри уже имеющегося набора, где необычные точки присутствуют. Эти постановки предъявляют разные требования к данным.
Какие методы используют
Применяют пороги, статистические оценки, анализ отклонения от прогноза, методы плотности и изоляции, а также нейросетевые подходы. Выбор зависит от типа данных, доступных примеров и стоимости пропуска или ложного сигнала.
Сложный метод необязательно полезнее понятного правила. Если важны заранее известные критические пределы оборудования, их нельзя терять только потому, что модель не сочла значение необычным относительно истории.
Пример временного ряда продаж
Продажи товара резко снизились. Система отмечает отклонение от ожидаемого уровня, после чего специалист проверяет наличие, изменение цены, промо, ошибки загрузки и календарь. Сам сигнал не доказывает падение спроса.
Если товар отсутствовал, фактические продажи могут занижать потребность. Автоматическая замена всех низких значений без выяснения причины также исказит историю. Нужно сохранить исходные данные и обоснование корректировки. Пример не является конкретным кейсом внедрения.
Как оценивать сигналы
По проверенным случаям оценивают пропущенные события и ложные предупреждения. Важно учитывать, как часто сотрудник получает уведомления и сколько времени тратит на разбор. Большое число срабатываний не означает высокую пользу.
Для временных рядов проверка должна сохранять порядок времени. Порог настраивают без использования будущих сведений, недоступных в момент обнаружения. Качество оценивают также по группам объектов и разным типам событий.
Что происходит после обнаружения
Сигнал направляют ответственному с контекстом: объектом, периодом, ожидаемым значением и основанием отклонения. Затем фиксируют результат разбора. Это помогает улучшать правила и отличать реальные изменения от проблем данных.
Удалять аномалии из истории автоматически стоит только по определённым правилам задачи. Редкое событие может быть важной частью реальности. Обнаружение, установление причины и корректировка данных являются разными действиями.
Связь с Knowledge Space
В решении DP на платформе Knowledge Space описана обработка исторических данных с учётом выбросов, дефицита и промо. Для такого процесса важно отличать необычное значение от причины его появления и проверять корректировки перед использованием истории в прогнозе.
Подготовка истории для прогнозирования в DP
FAQ
Аномалия всегда означает ошибку?
Нет. Она может отражать реальное событие или редкое допустимое поведение.
Можно использовать один порог для всех товаров?
Иногда, но масштаб, сезонность и характер рядов могут различаться. Подход нужно проверять по группам.
Найденная аномалия показывает причину изменения?
Нет. Причину устанавливают по дополнительным данным и проверке контекста.
Нужно удалять все выбросы перед прогнозированием?
Нет. Способ обработки зависит от причины и задачи. Исходные значения и основания изменений следует сохранять.
Смежные термины
- Машинное обучение (ML): Показывает, как модели обучаются на данных.
- Предиктивная аналитика: Связывает модели с задачей прогнозирования.
- Объяснимый ИИ (XAI): Помогает разбираться в результате модели.