Decision models: поріг рішення і калібрування — різні перевірки
Hamel Husain і Antaripa Saha порівняли оцінювачі на діалогах агента оренди. Пояснюємо межі вибірки та різницю між вибором порога й калібруванням.
Hamel Husain і Antaripa Saha описали 20 жовтня, як перевіряли decision models для пошуку помилок агента оренди житла. Їхній приклад показує, чому варто окремо вибирати поріг спрацювання і перевіряти, що означає числова оцінка моделі. Це дві різні задачі.
Для якості автори використали 98 діалогів, а витрати рахували за 100 викликів: два внутрішні QA-приклади виключили з оцінювання. У відкритому JSON ми звірили кількість міток і оцінок. Самі розмови приватні, тож це перевірка узгодженості опублікованих даних, а не повторення експерименту чи підтвердження правильності розмітки.
Документація scikit-learn розділяє прогноз і рішення, яке програма приймає за ним. Нижчий поріг може виявляти більше помилок, водночас створюючи більше хибних тривог. Вибирати його й оцінювати результат на тих самих прикладах ризиковано: перевірка має використовувати дані поза налаштуванням.
Калібрування відповідає на інше питання: чи узгоджується оцінка ймовірності з частотою помилок серед схожих прогнозів. Саме пересування порога цього не встановлює. У роботі Husain і Saha пороги й калібрування перевіряли на відкладених частинах вибірки. Цей результат стосується їхніх діалогів, а не гарантує ту саму якість для іншого агента.