Метрики машинного обучения 

Некоторые метрики: Accuracy (Точность) - это метрика, которая измеряет, насколько точно модель предсказывает правильный ответ. Она рассчитывается как количество правильных ответов, полученных от модели, деленное на общее количество предсказаний. Precision (Точность) - это метрика, которая показывает, насколько точно модель идентифицирует положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество предсказанных положительных ответов. Recall (Полнота) - это метрика, которая показывает, насколько хорошо модель находит все положительные примеры. Она рассчитывается как количество истинно положительных ответов, деленное на общее количество истинных положительных ответов. F1 score - это метрика, которая объединяет точность и полноту, показывая, как хорошо модель предсказывает положительные примеры. Она рассчитывается как гармоническое среднее между точностью и полнотой. Mean Squared Error (MSE) - это метрика, которая измеряет среднеквадратичную ошибку модели. Она рассчитывается как сумма квадратов разности между фактическим и предсказанным значением, деленной на общее количество примеров. Mean Absolute Error (MAE) - это метрика, которая измеряет среднюю абсолютную ошибку модели. Она рассчитывается как сумма абсолютных разностей между фактическим и предсказанным значением, деленной на общее количество примеров. R2 score - это метрика, которая измеряет долю дисперсии в целевой переменной, которую модель может объяснить. Она рассчитывается как коэффициент детерминации между фактическим и предсказанным значением. AUC-ROC - это метрика, которая измеряет площадь под кривой ROC (Receiver Operating Characteristic), которая показывает, насколько хорошо модель различает между классами. Чем ближе AUC-ROC к 1, тем лучше модель различает между классами. Log Loss - это метрика, которая измеряет ошибку логарифма вероятности, которую модель предсказывает для каждого класса. Она широко используется в задачах классификации, особенно в задачах с несбалансированными классами. Mean Average Precision (MAP) - это метрика, которая измеряет среднюю точность модели в ранжировании результатов по релевантности. Она широко используется в задачах информационного поиска, например, в поисковых системах. Cohen's Kappa - это метрика, которая измеряет степень согласованности между двумя аннотаторами или между аннотатором и моделью. Она часто используется в задачах обработки естественного языка для оценки качества аннотации. IoU (Intersection over Union) - это метрика, которая используется в задачах сегментации изображений и оценивает насколько хорошо модель выделяет объекты на изображении. Она рассчитывается как отношение пересечения и объединения между предсказанной и фактической маской. BLEU (Bilingual Evaluation Understudy) - это метрика, которая измеряет качество машинного перевода, сравнивая перевод модели с несколькими референсными переводами. Она широко используется в задачах машинного перевода. R-squared - это метрика, которая используется в задачах регрессии для оценки того, насколько хорошо модель соответствует реальным данным. Она измеряет долю вариации в целевой переменной, которая объясняется моделью. Precision-Recall Curve - это кривая, которая показывает зависимость между точностью и полнотой модели в задачах бинарной классификации. Она помогает выбрать наилучший порог для классификации, которая максимизирует F1-score. Top-k Accuracy - это метрика, которая измеряет долю правильных ответов модели, когда рассматриваются только k наиболее вероятных классов. Она используется в задачах с большим количеством классов, чтобы измерить качество модели, когда невозможно рассмотреть все классы.

Качество подачи приятное и очень доступное, описано на простом языке. Благодарен)

Превосходно Юрий! Моя модель ASR тебе благодарна))) Четкое произношение, отличный микрофон))) Молодец!)))

Очень классная серия лекций на канале! Добавьте, пожалуйста, больше деталей в объяснения. Например, чем МАЕ отличается от MSE и когда какую метрику использовать. Там ещё вагон и маленькую тележку можно рассказать. Ни в коем случае не критикую, просто взгляд со стороны учащегося

Хорошая диаграмма, всё сразу стало понятно

Прекрасно

Очень Крутая лекция!!

спасибо! классный формат

Отличная лекция, но т.к. я тугодум - поставил скорость на 0,5. Ощущение будто Ельцин меня обучает)

Аккуратность близка к accuracy семантических.

В колонке "вероятность" полученная вероятность из модели. А в колонке истинный класс вероятность, которая на самом деле существует? То есть y_train и y_test? Или в третьей колонке 1 - мы угадали, 0 - мы не угадали ответ?

Accuracy

Точность чем не подходит?

false positive - это по-русски ложно положительное. Соответственно false negative - ложноотрицательные.