Дообучение модели: как адаптировать готовую модель под задачу
На этой странице
Дообучение модели (Fine-Tuning) адаптирует предварительно обученную модель на подготовленных данных. В процессе меняются все или часть её параметров либо обучаются дополнительные параметры, например адаптеры. Целью может быть выполнение определённой задачи, использование терминологии или соблюдение формата.
Это отдельный процесс обучения. Передача файла в диалог и обновление поискового индекса сами по себе дообучением не являются.
Когда оно может понадобиться
Адаптация полезна, когда готовая модель устойчиво не справляется с повторяемой задачей, а корректные примеры и критерии результата доступны. Например, компании нужна классификация документов по собственной схеме или единообразное извлечение полей.
Сначала стоит проверить исходную модель с подходящей инструкцией и контекстом. Если причина ошибки заключается в отсутствии актуального документа, дообучение может оказаться неподходящим способом исправления.
Какие данные нужны
Нужны качественные, согласованные примеры, отражающие будущие случаи использования. Противоречивые ответы и неверная разметка могут закрепить нежелательное поведение. Для проверки оставляют отдельные данные, которые не участвуют в выборе каждой настройки.
Особенно важно учитывать конфиденциальность обучающих материалов и условия их обработки. Изменение параметров не означает, что все чувствительные сведения затем легко удалить. Размещение, доступ и порядок обновления следует определить до обучения.
Полное дообучение и адаптеры
В полном варианте могут обновляться многие параметры базовой модели. Параметрически эффективные методы сокращают объём обучаемой части. В LoRA, например, обучаются небольшие матрицы обновления при сохранении исходных весов неизменными на этом этапе.
Такой подход может уменьшить требования к ресурсам, но не отменяет обучения и проверки. Адаптер необходимо использовать с совместимой базовой моделью. Экономия памяти не доказывает, что результат будет лучше для конкретной задачи.
Отличие от RAG и промпта
Промпт задаёт инструкцию и контекст при применении модели. RAG ищет внешние сведения и передаёт их в этот контекст. Fine-Tuning меняет поведение через дополнительное обучение. Подходы можно сочетать.
Для регулярно обновляемого регламента удобно отдельно обеспечивать актуальный источник. Дообучение может помогать формату и типу ответа, но не гарантирует воспроизведения последней редакции или отсутствия вымышленных фактов.
Как оценивать результат
Сравнивают исходную и адаптированную модели на одинаковых независимых заданиях. Проверяют целевое качество, устойчивость, поведение без ответа и возможное ухудшение других нужных возможностей. Для извлечения полей оценивают пропуски и ложные значения.
Фиксируют версии данных, базы, адаптера и настроек. Новую модель вводят после приёмки и сохраняют возможность возврата к предыдущей. Условный пример с документами не является описанием дообучения модели в KS.
Связь с Knowledge Space
В архитектуре Knowledge Space предусмотрено сочетание платформы с внешними ИИ-компонентами и корпоративным контекстом. При выборе компонента необходимость дообучения следует обосновать результатами тестов. Публичное описание интеграции не устанавливает способ обучения каждого подключённого решения.
Подход к подключению ИИ-компонентов
FAQ
Загрузка документа в чат является дообучением?
Нет. Документ может попасть в текущий контекст без изменения параметров модели.
Fine-Tuning заменяет RAG?
Не автоматически. Они решают разные задачи и могут использоваться вместе.
LoRA не меняет модель?
Обучаются дополнительные параметры, которые меняют итоговое поведение при применении с базовой моделью. Это тоже адаптация через обучение.
Дообучение исключает галлюцинации?
Нет. Достоверность нужно проверять по источникам и контрольным примерам.
Смежные термины
- Машинное обучение (ML): Показывает, как модели обучаются на данных.
- Большая языковая модель (LLM): Объясняет работу языковой модели.
- RAG (Retrieval-Augmented Generation): Объясняет получение контекста через поиск.