В классическом ML мы привыкли сводить качество модели к одному числу. В продуктовых LLM-агентах это число почти всегда врёт — слишком много ответов формально правильные, но бесполезные для пользователя. лвдыоа
выа двылоалд выо
выа двфыоа лдыфво аы
в авыфлаор выфола выа ывалд в
ыва з
выф а
Мы перестали требовать "правильный ответ" и стали требовать полезный следующий шаг. Это заняло около трёх месяцев калибровки рубрик.
Что заменили и на что
Три группы: стоимость ошибки в деньгах, доля ассистированных решений и time-to-useful-output. Для каждой — отдельный reviewer pool с согласованными инструкциями.