Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео рассмотрим метрики для задачи классификации Precision (точность), Recall (полнота) и Confusion Matrix (матрица ошибок). Наконец-то разберемся, что значит TP, FP, TN, FN.
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/127274
Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео ( • ПЕРЕОБУЧЕНИЕ И НЕДООБУ... )
Остальные метрики классификации:
1. Accuracy - • ACCURACY | МЕТРИКИ КЛА...
2. Precision. Recall. Confusion Matrix - • PRECISION, RECALL, CON...
3. F-score - • F-SCORE, F1-SCORE, Fbe...
4. Micro, Macro, Weighted - • MICRO, MACRO, WEIGHTED...
Ноутбук из видео:
colab.research.google.com/dri...
0:00 Пройденная метрика Accuracy
0:27 Проблемы метрики Accuracy
0:44 Ошибки модели в задаче кредитного скоринга
1:24 Ошибка ложного срабатывания (False Positive)
1:43 Ошибка ложного пропуска (False Negative)
2:08 Истинное срабатывание (True Positive)
2:23 Истинный пропуск (True Negative)
2:40 Матрица ошибок (Confusion Matrix)
3:50 Построение матрицы ошибок для первой модели
4:34 Метрики Precision, Recall
5:10 Удобная визуализации двух метрик
5:49 Точность (Precision) - чистота классификации
6:29 Минимизации ошибок FP в Precision
7:30 Разница моделей по Precision
7:52 Полнота (Recall) - количество или охват классификации
8:35 Минимизации ошибок FN в Recall
9:50 Разница моделей по Recall
10:10 Сравнение моделей
10:44 Примеры задач на максимизацию метрик
10:53 Классификация сотрудников на АЭС
12:38 Диагностика заболеваний
14:07 Резюме
7 июл 2024
