Здорово. Очень интерактивно. Нужно было, имхо, только упомянуть, что доведение разбиений до листьев, где лежат уникальные элементы - плохое дело, которое ведет к переобучению. Но это уже другой разговор)
Большое спасибо за очень доступное объяснения!!! Насколько я понял, мы сначала ищем IG для корневого элемента, потом след. ветку (в которой очень большая MSE) считаем за корневую и начинаем заново просчет. И так до конца, пока по большинству элементов дерева не будет либо нулевая ошибка, либо допустимая для нас.
Спасибо за видео! Очень доступно и понятно. Подскажите, пожалуйста, Вы сказали, что разбор критериев останова будет в следующем видео. Оно не вышло? Просто интересно узнать насчет критерия останова и как все-таки происходит дальнейшее прогнозирование на новых данных
Очень рада, что понравилось видео! По критериям останова пока ещё не сформировала материал, но раз хочется это услышать, то ускорюсь с этим процессом :)
Интересно, а ИИ и градиентный бустинг может решать задачу выбора оптимального значения из массива? То есть есть массив из которого надо выбрать лучшее значение по каким-то признакам. Например, 1000 жителей которые обладают критериями - пол, вес, возраст и т.д. из которых надо выбрать лучшего. При этом присваивая важность критериям.
Привет! Спасибо за видео, очень понятно и полезно) Получается, в задаче регрессии мы рассчитываем IG и принимаем решение на основе MSE. А для задачи классификации на основе чего?
Привет! В задаче классификации смотрим на критерии информативности Энтропия или Критерий Джини. Планирую ещё подготовить видео про обучение дерева решений для задачи классификации.
Спасибо за видео очень ясно, очееень, я понял почти все, есть 2 вопросика(если не лень) .Когда модель будет менять тип вопроса с перва он задает вопрос про Population, а когда он решает ,что надо менять вопрос?И когда мы рекурсивно все это делаем, и брейкаем когда у нас MSE == 0 , но в это время у нас остается один value и этот value из датасета, потому что средное одного числа это етого же число, и таким образом в test датах получим переобучение , вот как это работает правильно? Заранее спасибо.
Подскажите, правильно ли понимаю, если например признаков = 100 и уникальных значений у каждого признака например = 10,000, тогда на каждом шаге мы рассматриваем примерно 100 * 10,000 разбиений? Кажется такие алгоритмы должны довольно медленно работать?
@@machine_learrrning, то что вопросы в ноде можно задать различные - понятно. Не понятно, почему модель остановилась именно на этом конкретном значении в вопросе ноды, это не медиана и не среднее. Это както связано с criterion в процессе перебора?
@@НикитаКуцепалов-и2д модель остановилась на этом вопросе, потому что при его использовании прирост информации получился максимальным нежели при других вопросах значит данный вопрос лучше помогает разбивать выборку на две части
@@НикитаКуцепалов-и2д в видео говорю про него ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-0mMeaC3gjNI.html Плюсом можете почитать эту статью: habr.com/ru/company/ods/blog/322534/
А можете подсказать, почему когда, мы считаем MSE по левой выборке в House...у нас (3.585-4.0555)^2+(3.521-4.0555)^2....вот почему 3.521, если у нас значение ypred там 4.526? А в случае когда у меня разные признаки может быть такое что 1 вопрос, например, был про цену дома с каким то порогом, второй потом например, по местоположению дома, а 3, например, опять про цену дома? тоесть признаки могут комбинироваться в зависимости от прироста?
Подскажите, max_features - число признаков, по которым ищется разбиение. Вот если я укажу 3 из 10, то как берутся признаки? (Поочереди или рандомно) и можно ли посмотреть какие взялись?
max_features берутся случайно на каждом вопросе, так что если указали 3 признака, то при каждом новом разбиении будут браться случайные 3 признака Посмотреть можно только при визуализации через plot_tree, какие же там вопросы выбрались, как самые лучшие
