Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео подумаем, как можно объединять вместе метрики Precision и Recall, когда они важны одновременно.
Рассмотрим метрику для задачи классификации F-мера, которая является гармоническим средним Precision (точность) и Recall (полнота).
Курсы на платформе Stepik:
1. Библиотеки Python для Data Science stepik.org/a/129105
2. Введение в нейронные сети (Keras/Tensorflow) stepik.org/a/127274
Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео ( • ПЕРЕОБУЧЕНИЕ И НЕДООБУ... )
Остальные метрики классификации:
1. Accuracy - • ACCURACY | МЕТРИКИ КЛА...
2. Precision. Recall. Confusion Matrix - • PRECISION, RECALL, CON...
3. F-score - • F-SCORE, F1-SCORE, Fbe...
4. Micro, Macro, Weighted - • MICRO, MACRO, WEIGHTED...
Ноутбук из видео:
colab.research.google.com/dri...
0:00 Пройденные метрики Accuracy, Precision, Recall
0:18 Данные по задаче кредитного скоринга
0:40 Среднее арифметическое Precision и Recall
1:55 Минимальное из Precision и Recall
3:14 Гармоническое среднее Precision и Recall
3:52 F1-мера (F1-score)
4:43 Fбета-мера (Fbeta-score)
5:24 Коэффициент бета (beta) меньше 1. Важнее точность
6:42 Если коэффициент бета (beta) = 0, то F-score=Precision
7:16 Коэффициент бета (beta) больше 1. Важнее полнота
8:30 Если коэффициент бета (beta) большой, то F-score=Recall
8:48 Резюме коэффициента бета (beta)
9:06 Подсчет метрики f-score для первой модели
10:03 Резюме
7 июл 2024
