ИИ-поддержка после внедрения: почему модель без присмотра деградирует

ИИ-решение без сопровождения со временем начинает работать хуже, даже если в нём никто ничего не менял. Меняются данные и регламенты компании, поставщики обновляют и отключают модели, а вопросы клиентов становятся другими. ИИ-поддержка — это регулярный контроль качества ответов, обновление базы знаний и промптов, переход на новые версии моделей и отчёт о том, как система работает и сколько стоит.

Ниже разберём, почему качество падает, как это заметить вовремя и что должно входить в сопровождение, чтобы ассистент через полгода работал не хуже, чем в день запуска.

Обычная программа ведёт себя одинаково, пока в неё не внесут изменения. С ИИ-решением иначе: его качество зависит от того, что происходит вокруг него. Причин деградации обычно четыре.

1. Устаревает база знаний. Ассистент отвечает по документам, которые ему дали при запуске. Компания меняет условия доставки, тарифы, регламенты, а ассистент продолжает уверенно цитировать старую версию. Для клиента это выглядит как ошибка компании, а не модели.

2. Меняется сама модель. Решения на GPT, Claude, GigaChat или YandexGPT работают через модели поставщиков, а поставщики их регулярно обновляют. Исследователи Стэнфорда и Беркли в 2023 году сравнили версии GPT-4 с разницей в три месяца: на одной и той же задаче — определить, простое ли число, — точность упала с 84% до 51%, а модель стала хуже следовать инструкциям в промпте. Промпт, который отлично работал на одной версии, на следующей может давать другой результат.

3. Модели отключают. У поставщиков есть плановый вывод моделей из эксплуатации. OpenAI в своей политике обещает минимум полгода предупреждения для основных моделей и меньше для специализированных и предварительных версий. Например, об отключении gpt-4.5-preview объявили 14 апреля 2025 года, а 14 июля модель перестала работать. Если за этим никто не следит, ассистент однажды просто перестанет отвечать.

4. Меняются запросы. Появляется новый продукт, сезонный всплеск вопросов, новая формулировка, которую ассистент не понимает. При запуске таких случаев в тестовой выборке не было, поэтому качество на них заранее никто не проверял.

Каждая из этих причин по отдельности не ломает систему за один день. Качество снижается постепенно, и без регулярных замеров это замечают поздно — по жалобам клиентов или когда сотрудники тихо перестают пользоваться инструментом.

Вот сигналы, на которые стоит обратить внимание, даже если формальных метрик пока нет:

• сотрудники всё чаще правят ответы ассистента перед отправкой или переписывают их полностью;
• растёт доля обращений, которые ассистент передаёт человеку;
• клиенты переспрашивают или пишут «соедините с оператором» сразу после ответа бота;
• в ответах встречаются устаревшие цены, сроки или условия;
• ответы стали заметно медленнее или выросли ежемесячные расходы на запросы к модели;
• пришло письмо от поставщика модели о том, что версия устаревает.

Если хотя бы два пункта знакомы, имеет смысл провести аудит: проверить ассистента на свежих реальных примерах и сравнить результат с показателями на момент запуска.

Состав работ зависит от решения, но в хорошей программе поддержки обычно есть пять блоков.

Мониторинг качества и стабильности

Настраиваем регулярную проверку: доля ответов без правок, доля передач человеку, скорость ответа, ошибки и сбои, расходы на запросы. Часть показателей собирается автоматически, часть — выборочной проверкой реальных диалогов. Важно, чтобы были пороги: если доля ответов без правок упала ниже согласованного уровня, это сигнал разобраться, а не повод ждать квартального отчёта.

Обновление базы знаний

Новые регламенты, тарифы и условия должны попадать к ассистенту в тот же день, когда начинают действовать. Для этого нужен понятный процесс: кто в компании сообщает об изменениях, кто вносит их в базу и как проверяется, что ассистент начал отвечать по-новому. О том, как устроена сама база знаний, мы подробно рассказали в статье «Как обучить ИИ-ассистента на документах компании».

Переход на новые версии моделей

Следим за обновлениями и графиками отключения моделей. Новую версию сначала проверяем на эталонном наборе реальных примеров, при необходимости адаптируем промпты и только потом переключаем рабочий поток. Иногда переход на новую модель даёт и прирост качества, и снижение расходов — но это видно только на замерах. Как выбирать между российскими и зарубежными моделями, мы разобрали в статье «YandexGPT, GigaChat, GPT или Claude: что выбрать бизнесу».

Оптимизация промптов и сценариев

Разбираем случаи, где ассистент ошибся или передал вопрос человеку, и дорабатываем инструкции, сценарии и источники. Новые типовые вопросы добавляем в эталонный набор, чтобы следующая проверка их учитывала. Так система не просто держит уровень, а постепенно становится лучше.

Отчётность и развитие

Раз в месяц владелец процесса получает короткий отчёт: как менялось качество, что исправлено, сколько стоила работа модели, какие участки можно передать ассистенту дальше. Это даёт цифры для решений о расширении и защищает проект при пересмотре бюджета.

Часть сопровождения стоит держать внутри компании. Владелец процесса лучше всех знает, что изменилось в регламентах, и решает, какие полномочия давать ассистенту. Сотрудники участка первыми видят ошибки, и их обратная связь — главный источник улучшений.

Техническая часть — мониторинг, работа с моделями и их обновлениями, промпты, интеграции — требует отдельных компетенций. Держать под неё штатного специалиста имеет смысл, когда ИИ-решений много и они критичны для бизнеса. Если решение одно или два, обычно выгоднее отдать техническую часть подрядчику, а внутри оставить владельца процесса и понятный канал для изменений.

Хорошо работает связка: компания отвечает за содержание и правила, подрядчик — за то, чтобы система технически была в порядке и вовремя адаптировалась к изменениям.

Сопровождение проще и дешевле, если о нём подумали на этапе внедрения. Перед запуском проверьте, что у решения есть:

1. Эталонный набор из 30–50 реальных примеров с правильными ответами — по нему проверяется каждое обновление.
2. Показатели качества на момент запуска, чтобы было с чем сравнивать.
3. Владелец процесса и ответственный за актуальность базы знаний.
4. Журнал действий ассистента и доступ к истории диалогов для разбора ошибок.
5. Расчёт ежемесячной стоимости эксплуатации, включая запросы к модели и сопровождение.
6. План на случай отключения модели: на какую версию переходить и как её проверить.

Отсутствие сопровождения — одна из причин, по которым ИИ-проекты не приживаются даже после удачного пилота. Подробнее об этом — в статье «Почему половина ИИ-внедрений не доходит до продакшена». А из чего складывается бюджет внедрения и эксплуатации — в материале о стоимости внедрения ИИ-ассистента.

Поддержку мы начинаем с аудита: оцениваем текущее состояние системы, качество ответов и архитектуру. Затем формируем план — состав работ, показатели и порядок реакции на проблемы, — настраиваем мониторинг качества и производительности и дальше ведём систему с регулярной отчётностью и рекомендациями. Работаем с решениями на GPT, Claude, GigaChat и других моделях, в том числе с теми, которые запускали не мы.

Для поддержки удобен формат подписки: за компанией закреплена команда, которая уже знает систему и процессы, задачи берутся в работу без долгого согласования, а расходы предсказуемы. В рамках той же подписки можно развивать и сайт или внутренние сервисы — с вайбкодом, разработкой с ИИ-инструментами, это даёт до 50% экономии.

Особенно хорошо мы знаем юридическую и консалтинговую сферу, где требования к точности ответов и данным самые строгие: mrktng.bz занимает 1 место в Рейтинге Рунета 2026 в категориях «Разработчики сайтов: Право» и «Право / Юридические, бухгалтерские услуги, консалтинг».

Подробнее о составе работ — на странице ИИ-поддержка, все направления — в разделе ИИ и автоматизация, примеры работ — в разделе проекты. Расскажите, какое ИИ-решение у вас уже работает, — проверим его на свежих примерах и предложим план сопровождения.