Мультимодальная модель: как ИИ работает с разными видами данных
На этой странице
Мультимодальная модель работает с несколькими видами данных, которые называют модальностями. Это могут быть текст, изображения, звук и видео. Например, модель получает изображение вместе с вопросом и формирует текстовый ответ по содержимому.
Поддерживаемые входы и выходы проверяют отдельно. Способность анализировать картинку не означает умения создавать изображения, принимать аудио или точно извлекать все числа из таблицы.
Как связываются разные данные
Компоненты модели преобразуют данные в числовые представления, а обучение помогает сопоставлять информацию между модальностями. В конкретной архитектуре могут использоваться отдельные кодировщики и общий механизм обработки. У всех мультимодальных решений нет единой обязательной схемы.
Приложение может также соединять несколько самостоятельных моделей: распознать речь, передать текст языковой модели и озвучить ответ. Для пользователя такой процесс выглядит мультимодальным, но его устройство отличается от единой модели с несколькими модальностями.
Пример с корпоративным документом
Сотрудник задаёт вопрос по фотографии схемы склада. Модель может сопоставить текст запроса с подписями и элементами изображения. Однако мелкая подпись, пересекающиеся линии и низкое качество снимка способны привести к неверной интерпретации.
Если требуется загрузить значения в расчёт, их нужно сверить с исходным документом. Для таблицы важны строки, столбцы, заголовки и единицы измерения. Убедительное описание изображения не подтверждает точность извлечения каждого поля. Пример является учебным.
Отличие от OCR и нескольких агентов
OCR распознаёт символы на изображении. Мультимодальная модель может дополнительно отвечать на вопросы о связях элементов, но точность этих ответов нужно проверять. В приложении распознавание и дальнейшая обработка могут быть разными этапами.
Несколько модальностей также не означают несколько агентов. Модальность описывает вид данных, а агентный подход касается выбора действий и организации работы. Эти свойства могут сочетаться, но не следуют одно из другого.
Что проверить перед использованием
На реальных примерах проверяют форматы, размеры файлов, качество распознавания, ограничения по длительности и способ обработки больших материалов. При передаче видео важно выяснить, какие кадры и аудиодорожки действительно учитываются.
Отдельно оценивают доступ к материалам и полноту ответа. Если приложение обработало только часть файла, это должно учитываться при интерпретации. Надёжность на простой картинке нельзя автоматически переносить на технические чертежи или многостраничные отчёты.
Связь с Knowledge Space
В архитектурном материале Knowledge Space работа ИИ связана с корпоративным контекстом и внешними сервисами. Для сценария с изображениями или аудио дополнительно проверяют выбранный компонент, доступные форматы и точность извлечения данных. Общая готовность к интеграции не определяет эти возможности автоматически.
ИИ-компоненты и корпоративный контекст KS
FAQ
Мультимодальная модель принимает любые файлы?
Нет. Форматы, объём и доступные операции зависят от модели и приложения.
Если модель видит изображение, она умеет его создавать?
Не обязательно. Входные и выходные модальности могут различаться.
OCR и мультимодальный ИИ — одно и то же?
Нет. OCR занимается распознаванием текста, а мультимодальная обработка может связывать текст с визуальным содержанием и другими данными.
Мультимодальность означает мультиагентность?
Нет. Это разные свойства: виды обрабатываемых данных и организация работы нескольких агентов.
Смежные термины
- Большая языковая модель (LLM): Объясняет работу языковой модели.
- Обработка естественного языка (NLP): Объединяет задачи обработки человеческого языка.
- Генеративный ИИ (GenAI): Объясняет создание текста и другого контента.