KNOWLEDGE SPACE · ДОКУМЕНТАЦИЯ

Машинное обучение: как модели находят закономерности в данных

На этой странице

Машинное обучение (Machine Learning, ML) — это подход к созданию моделей, при котором их параметры или структура определяются по данным. Модель выявляет закономерности на примерах и затем использует их для прогноза, классификации, поиска похожих объектов или других задач.

Вместо подробного правила для каждого случая разработчик задаёт способ обучения и критерий качества. Например, модель может оценивать спрос по истории продаж, календарю и сведениям об акциях. Её полезность определяется тем, насколько хорошо она работает на новых данных.

Из чего складывается работа модели

Набор данных содержит наблюдения: продажи по неделям, обращения клиентов или записи о состоянии оборудования. Признаки описывают свойства наблюдения. Для прогноза спроса это могут быть цена, сезон, наличие промо и продажи предыдущих периодов.

В обучении с учителем каждому примеру соответствует известный результат, который модель должна научиться оценивать. Алгоритм меняет параметры так, чтобы уменьшить ошибку на обучающих данных. После обучения модель применяют к новым наблюдениям; этот этап называют инференсом.

Заранее задаются не только алгоритм, но и правила подготовки данных. Если при обучении использовали определённые единицы измерения и способ заполнения пропусков, в рабочем процессе необходимо обеспечить согласованную обработку. Иначе ухудшение качества можно ошибочно принять за недостаток самого метода.

Основные виды машинного обучения

При обучении с учителем модель получает примеры с известными ответами. Регрессия оценивает числовое значение, например объём спроса, а классификация определяет класс или вероятность принадлежности к нему, например тему обращения.

В обучении без учителя готовых правильных ответов нет: модель ищет структуру данных. Кластеризация может объединить товары с похожим поведением продаж. Названия и деловой смысл полученных групп затем проверяют специалисты.

Обучение с подкреплением связано с последовательностью действий и оценкой их последствий через награду. Оно отличается от обучения по готовой таблице с ответами. Нейронные сети и глубокое обучение описывают устройство моделей и могут использоваться в разных режимах обучения, поэтому их не следует ставить в один ряд с этими режимами без пояснения.

Условный пример прогноза спроса

Компания располагает историей недельных продаж и календарём промо. Из истории формируют обучающие примеры, где признаки известны на момент подготовки прогноза, а целевой результат относится к следующему периоду. Модель учится оценивать будущий спрос на этих примерах.

Продажи не всегда равны спросу: при отсутствии товара часть потребности не попадает в фактическую реализацию. Поэтому до обучения нужно решить, как учитывать дефицит, возвраты, выбросы и изменение ассортимента. Если эти ситуации смешать с обычными продажами, модель может воспроизвести искажения истории.

Прогноз остаётся входом в процесс планирования. Решение о закупке дополнительно зависит от запасов, сроков поставки, ограничений и принятого уровня сервиса. Оценка спроса сама по себе не определяет весь план.

Как проверяют качество

Данные разделяют для обучения, выбора настроек и итоговой проверки. В задачах прогнозирования обычно сохраняют порядок времени, чтобы будущее не оказалось доступно модели при обучении. Использование сведений, которых в реальный момент прогноза ещё не было, называют утечкой данных.

Результат сравнивают с простым базовым подходом на одинаковых периодах и объектах. Помимо средней ошибки полезно смотреть систематическое завышение или занижение и качество по важным группам. Улучшение общего показателя может скрывать ухудшение для конкретных товаров.

Метрика должна соответствовать задаче. Одного высокого процента правильных ответов недостаточно, если редкая ошибка дорого обходится бизнесу. Правила оценки и допустимые отклонения лучше определить до сравнения моделей.

Чем ML отличается от других методов

Машинное обучение входит в область ИИ, а нейронные сети составляют часть методов ML. Модель прогнозирования может быть построена и без нейросети. Генерация текста также использует обучаемые модели, но её результат и критерии проверки отличаются от числового прогноза.

Формула, вручную заданное правило и оптимизационный расчёт не становятся машинным обучением только потому, что выполняются автоматически. В одном решении они могут сочетаться: ML даёт оценку спроса, а отдельная модель распределяет ресурсы с учётом ограничений.

Что меняется после запуска

Спрос, ассортимент и поведение клиентов меняются, поэтому рабочее качество следует наблюдать регулярно. Если новые данные отличаются от обучающих, прежние закономерности могут перестать помогать. Переобучение выполняют по принятому процессу с проверкой новой версии, а не считают автоматическим следствием накопления данных.

Применение в Knowledge Space

В решении DP на платформе Knowledge Space машинное обучение применяется в прогнозировании спроса и работе с промо. На странице продукта описаны статистические и ML-модели, обработка истории и подготовка согласованного прогноза. Выбор конкретной модели нужно рассматривать вместе с данными и задачей планирования.

Модели прогнозирования в решении DP

FAQ

Машинное обучение и нейросеть — одно и то же?

Нет. Нейронные сети относятся к методам машинного обучения. Для некоторых задач подходят и другие модели, например деревья решений или линейные модели.

Что такое признак в машинном обучении?

Это характеристика наблюдения, которую модель использует при обработке данных. Для прогноза спроса признаками могут быть цена, календарный период и сведения о промо.

Почему нельзя оценивать модель только на обучающих данных?

Модель может хорошо воспроизводить знакомые примеры и плохо работать на новых. Отдельная проверка нужна, чтобы оценить способность переносить найденные закономерности.

Нужно ли постоянно переобучать модель?

Периодичность зависит от изменений данных и требований задачи. Новую версию следует сравнивать с действующей и вводить после проверки качества.

Смежные термины

Была ли страница полезна?