Метрика AUC-ROC

Бонус за регистрацию!
Зарегистрируйся и получи бонус
15 рублей

Метрика AUC-ROC (Area Under ROC Curve) — это интегральная метрика качества бинарной классификации. Она оценивает способность модели ранжировать объекты: насколько высока вероятность того, что случайный положительный объект получит оценку выше, чем случайный отрицательный. Значение 0.5 — случайное гадание, 1.0 — идеальный классификатор. Устойчива к дисбалансу классов.

Что такое «Метрика AUC-ROC» простыми словами

График, показывающий качество классификатора при разных настройках чувствительности. Площадь под этим графиком (AUC) — это единая оценка от 0.5 (гадание) до 1.0 (идеал). Чем больше площадь, тем лучше модель умеет отличать «своих» от «чужих». Это самая надежная метрика, если вам нужно сравнивать разные модели между собой.

Вопросы и ответы
Что показывает площадь под ROC-кривой (AUC) и как она характеризует качество бинарного классификатора?
AUC-ROC оценивает качество бинарной классификации при всех возможных порогах. AUC=1 — идеальная модель, 0.5 — случайное угадывание. Хорошая метрика для несбалансированных классов.
Почему метрика AUC-ROC не зависит от выбора порога классификации?
ROC-кривая строится путем перебора всех возможных порогов классификации. AUC (площадь под ней) — интегральная характеристика качества модели в целом, а не при каком-то одном конкретном пороге.
Как индекс Джини связан с AUC-ROC и используется в кредитном скоринге?
Индекс Джини = 2 * AUC - 1. Он показывает качество ранжирования заемщиков. Джини показывает, насколько модель лучше случайного угадывания в отделении «плохих» клиентов от «хороших».
199
Константин Колясников

Эпоха (в обучении)

Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Константин Колясников

Цифровая гигиена (в контексте ИИ)

Цифровая гигиена (в контексте ИИ) — это набор практик по безопасному и ответственному использованию технологий ИИ. Включает проверку фактов (борьба с галлюцинациями), защиту личных данных от попада...
Константин Колясников
Термины подгружаются