Сценарий не устаревает: каждое изменение проверяется, а дообучение применяется только при доказанном пробеле качества.
Как собирать и адаптировать сценарии
Оркестрация моделей: выбирать, связывать, обновлять и проверять
Оркестрация моделей — это управляемый способ подобрать для задачи нужную модель, знания, инструменты и проверки, собрать их в повторяемый сценарий и поддерживать этот сценарий при изменении данных. Она делает работу моделей предсказуемой, заменяемой и постоянно проверяемой.
01
Шлюз решает: можно ли
Проверяет роль, класс данных, разрешённые системы и фиксирует обмен.
02
Оркестратор решает: как выполнить
Выбирает модель и сценарий, подключает знания и инструменты, запускает проверки и запасной маршрут.
Зачем предприятию несколько моделей
Задача оркестрации — не умножать технологии, а выбирать минимальный достаточный набор для конкретной работы.
Разные способности
Текст, изображения, речь, прогнозирование и расчёты требуют разных моделей. Универсальная модель ведёт задачу, специализированные подключаются точечно.
Качество, скорость и стоимость
Простой запрос получает быструю недорогую модель; сложный или критичный — более сильную модель и дополнительную проверку.
Ограничения данных
Маршрут учитывает класс информации: часть задач можно выполнить во внешней модели, часть — только во внутреннем контуре.
Заменяемость и устойчивость
Сценарий не привязан навсегда к одному поставщику: модель можно заменить после тестов, а при сбое включить резервную.
Как модели связываются
Сценарий — цепочка ролей, а не «зоопарк» моделей
Связывают не модели сами по себе, а роли в сценарии. Для простой задачи остаётся один короткий маршрут; дополнительные звенья появляются только при необходимости.
1Задача и ограниченияТип результата, роль, данные, цена ошибки и допустимое время.
2Выбор маршрутаОркестратор находит утверждённый сценарий и подходящую версию модели.
3Модель-основаПонимает задачу, планирует шаги и собирает итог.
4Специалисты по требованиюЗрение, распознавание, классификация, расчёт, поиск по доменам или вызов инструмента.
5Проверка и резервПравила или отдельная модель проверяют результат; при сомнении — другой маршрут или человек.
6Единый результатПользователь получает ответ, а платформа сохраняет модели, версии, факты, стоимость и решения.
Контракт между шагамиМежду шагами передаётся не произвольная переписка моделей, а структурированный результат: данные, версия, ссылка на источник и оценка уверенности.
Безопасный отказБезопасный отказ: повтор шага → резервная модель → упрощённый режим → человек. Для критичной операции низкая уверенность означает остановку, а не попытку «додумать».
Сценарий хранится отдельно от конкретной модели. Поэтому модель можно обновить или заменить, не переписывая процесс целиком.
ПримерПроверка скана договора: модель зрения читает страницы, языковая модель выделяет условия, домен договорных знаний даёт правила, проверяющий шаг сопоставляет выводы с источниками. Оркестратор возвращает одно заключение и отправляет спорные места юристу.
Обязательный цикл оценки и адаптации сценария
После запуска каждый рабочий сценарий входит в обязательный цикл оценки и адаптации. Новые данные, ошибки и обратная связь накапливаются; платформа измеряет изменение качества и выбирает минимально достаточное вмешательство. Дообучение модели — один из вариантов, а не обязательный шаг каждого цикла.
1Новые сигналыОшибки, обратная связь и подтверждённые примеры из рабочего процесса.
2Оценка пробелаПроверка данных, качества, стоимости и причин отклонения действующей версии.
3Выбор измененияЧто исправить: знания, инструкцию, маршрут, инструмент или модель.
4АдаптацияПрименяется минимальное изменение; дообучение — только при измеримом пробеле навыка.
5Проверка и выпускСравнение с текущей версией, теневая работа и ограниченный запуск.
6МониторингКачество наблюдается, а результаты возвращаются в следующий цикл.
Обязательны оценка, версионирование, проверка и мониторинг. Дообучение выполняется только тогда, когда знания, инструкция, инструменты, маршрут или замена готовой модели не закрывают измеримый пробел качества.
Когда действительно нужно дообучение
Большинство корпоративных задач не требует дообучения. Это не способ загрузить в модель актуальные документы: факты и права живут в доменах знаний. Модель дообучают только ради устойчивого навыка, когда более простых средств недостаточно.
Сначала — без обучения
Проверить более простые способы
уточнить инструкцию и формат ответаподключить домен знаний с источникамидать модели расчётный или системный инструментизменить маршрут или выбрать другую готовую модель
Дообучать, только если
Есть измеримый пробелНа эталонном наборе видно, что готовые модели стабильно не достигают требуемого качества.
Задача стабильна и повторяетсяНапример, внутренняя классификация, извлечение полей или профессиональная терминология с устойчивыми правилами.
Есть качественные примерыРазмеченные данные репрезентативны, разрешены для обучения и поддерживаются владельцем процесса.
Эффект окупает владениеПрирост качества, скорости или стоимости выше затрат на данные, обучение, тестирование и сопровождение версии.
Не дообучаем модель ради свежих фактов, обхода прав доступа или исправления плохо описанного процесса.
Как оценивать и выпускать модели
Оценивают не модель «вообще», а конкретную связку: задача + данные + сценарий + модель + версия. Один рейтинг поставщика не показывает, как решение работает на предприятии.
01Верность
Правильность ответа и полнота результата на эталонных задачах.
02Опора на факты
Есть ли подтверждающие источники; не добавлены ли неподтверждённые выводы.
03Безопасность
Не нарушены ли права, классы данных, ограничения действий и обязательные проверки.
04Исполнение
Завершён ли сценарий, корректно ли вызваны инструменты, обработаны исключения и достигнута метрика процесса.
05Экономика
Время ответа, стоимость, нагрузка и доля обращений к более дорогому резерву.
Путь новой модели или версии в рабочий процесс
1ЭталонНабор реальных задач и пороги по каждой метрике.
2СравнениеКандидат проверяется против действующей версии на одинаковых данных.
3Теневая работаНовая связка работает параллельно, но ещё не влияет на процесс.
4Ограниченный выпускНебольшая доля задач, усиленный контроль и участие эксперта.
5Мониторинг и откатКачество и стоимость наблюдаются постоянно; предыдущая версия готова к возврату.
Нет эталонного набора и порогов — нет выпуска модели или нового маршрута в рабочий процесс.
Карточка модели и маршрута
модель, поставщик и версияразрешённые классы данныхсценарии и ограниченияэталонный набор и метрикистоимость и время ответарезервный маршрутвладелец и дата проверкистатус выпуска и откат