Отредактировано
Условный пример: AI-агент проверяет финансовые заявки по заданным правилам. Сравнить его с ручным процессом можно по времени обработки, пропущенным ошибкам, числу исправлений человеком и полной стоимости работы.
Для иллюстрации предположим, что время сократилось с 8 до 5 минут, а доля ошибок — с 2% до 1%. Это вымышленные числа. Объём N=500 тоже был выбран для примера: достаточность выборки нужно рассчитывать по ожидаемому эффекту и разбросу данных, а не принимать как готовый порог.
Экономия времени на одной заявке — 3 минуты, или 0,05 часа. Потенциальную денежную ценность времени оценивают как 0,05 × число заявок × стоимость часа. Затем учитывают предотвращённые потери от ошибок и вычитают расходы на модель, сопровождение и проверку результатов. Фактическое снижение денежных затрат зависит от того, как используется высвободившееся время.
Какой критерий вы проверили бы первым в своём проекте: качество, время человека или расходы? Почему?