Тёмный

Линейная регрессия. Что спросят на собеседовании? ч.1 

Start Career in DS
Подписаться 4,9 тыс.
Просмотров 33 тыс.
50% 1

0:00 - О чём видео, дисклеймер
0:39 - План видео
1:09 - Что такое линейная регрессия? Основные идеи и особенности алгоритма
2:57 - Нужно ли предобрабатывать признаки моя линейных моделей? Если да, то как?
4:57 - Что подразумевается под fit() и predict() в линейных моделях?
7:45 - В чём заключаются базовые предположения линейной регрессии и откуда они берутся?
9:21 - Что такое регуляризация и как можно использовать её для отбора признаков?
Канал в tg: t.me/start_ds
Подсчёт производных матричных функционалов по векторному аргументу: mathhelpplanet.com/static.php?...
Про зануление коэффициентов в L1: explained.ai/regularization/L...
Про теорему Гаусса-Маркова (и не только) в курсе от ODS: habr.com/ru/company/ods/blog/...

Опубликовано:

 

4 июл 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 37   
@dmitryunanyants6007
@dmitryunanyants6007 2 года назад
Молодец автор, очень круто!
@user_nobody_nowhere
@user_nobody_nowhere 2 года назад
Отличное видео! Всё самое важное в такую небольшую продолжительность. вау!
@ISockol
@ISockol 2 года назад
Спасибо огромное, наконец-то осознал домашку ))) 3 дня мучился, разные ролики смотрел🎉
@8Masturbek228
@8Masturbek228 Год назад
Достойное видео. Очень крутая визуализация и несложные объяснения
@user-fz6sd9nr4g
@user-fz6sd9nr4g 2 года назад
Продолжай, очень классно все обьяснил, хочется больше видеть именно эту рубрику! Она очень полезна новичкам
@DN-qj8db
@DN-qj8db 2 года назад
Спасибо за ваш огромный вклад в человечество
@Igor-sp7tw
@Igor-sp7tw 2 года назад
Не ну лайк, подписка, контент полезный и редкий
@Digr1979
@Digr1979 2 года назад
Спасибо тебе, добрый человек.
@user-ly4nk3dl9z
@user-ly4nk3dl9z 2 года назад
Отдельное спасибо за раздел про регуляризацию, все ни как не мог понять самостоятельно что значат эти графики. Обязательно продолжайте!
@user-uh9zu8ke1t
@user-uh9zu8ke1t 9 месяцев назад
Круто! Спасибо за подробные объяснения вещей, которые зачастую просто называют, не объясняя сути
@osvab000
@osvab000 Год назад
Круто, очень просто, быстро и доступно. А то смотришь других часами и уже под конец забыл с чего все начиналось!
@VanyaQA
@VanyaQA 2 года назад
В поддержку канала!
@user-lt8vv5lk1w
@user-lt8vv5lk1w 4 месяца назад
Круто, спасибо ! Очень напоминает CV, Yolo, нейросети )
@user-ut3mb6bs9u
@user-ut3mb6bs9u 2 года назад
Лайк однозначно
@blacktechnology6496
@blacktechnology6496 2 года назад
Круто, можно теперь также про деревья?
@user-tv3qf5vn2u
@user-tv3qf5vn2u 2 года назад
Здорово! Спасибо, прикольно было бы еще текст к видео сделать, иногда в виде текста полезно глянуть после видео.
@pm6778
@pm6778 7 месяцев назад
Спасибо за видео, хорошо рассказываете, правда я ничего не понял, но это только потому что я неуч.
@taburet9
@taburet9 9 месяцев назад
Очень круто! Я туповат, но здесь настолько всё по полочкам разложено, что почти всё понял! Спасибо огромное!
@sofesun6747
@sofesun6747 4 месяца назад
🔥
@user-me4vw1tq1u
@user-me4vw1tq1u 2 года назад
Чтобы воспроизвести бОльшую глубину этого урока, нужно пересмотреть этот ролик ещё раз и прочитать этот комментарий.
@user-il8gv3rl7b
@user-il8gv3rl7b 2 года назад
7:30 Почему определитель стремиться к нулю если присутствует мультиколлинеарность? Почему если есть функц завис между признаками, то определитель равен 0? 9:40 как получилось построить 2 регрессии с разными параметрами? Разве они(парам) не находятся одним способом- по методу МНК? 12:04 Что такое s(lambda) Это лучшее видео на эту тему из тех, что я видел. Спасибо.
@user-zo5wo8et8d
@user-zo5wo8et8d 2 года назад
1. Мультиколлинеарность = линейно зависимые столбцы (или строки): определитель такой матрицы равен нулю (см. соотв. раздел линейной алгебры). Не всегда если есть функциональная зависимость между признаками то определитель равен нулю (например определитель Вандермонда), но он равен всегда нулю если есть линейная зависимость. 2. Находятся по МНК и еще другими способами, просто там во второй регрессии признак x1 не масштабирован - имеет слишком малые значения, поэтому параметр w1 очень большой. 3. Это каноническое уравнение кривой 2 - го порядка (для многомерного пространства будет квадратичная поверхность) в данном случае окружности (для многомерного пространства будет эллипсоид соответственно), где s(lambda) = C/lambda -> (lambda/C)**0.5 это максимальный радиус окружности, C = const.
@brotherofken
@brotherofken 2 года назад
Привет. Спасибо за видео. Очень поверхностное изложение. Глубоко понять линрег из этого видео будет сложно, хотя ощущение понимания появится. Если цель была сделать покрывающий тему материал, то имхо удалось не до конца. Замечания: 1. Не ответили почему на самом необходимо предобработка с точки зрения оптимизации. 2. Не показан статический смысл регуляризации. 3. На линейную регрессию можно посмотреть как на ортогональную проекцию, что тоже интересно 4. Не показан подход с точки зрения максимизации правдоподобия. 5. Регуляризация в рамках MAP. То есть могли бы противопоставить MAP/MLE. ИМХО материал для новичков должен быть максимально разносторонним. Если проводите собеседования на таком уровне, то крайне высок риск нанять слабых кандидатов. Успехов в дальнейшем развитии канала и будущих выпусках. Рад буду подискутировать.
@start_ds
@start_ds 2 года назад
Привет. Спасибо большое за конструктивную обратную связь. Как появится время - запишу тизер, который будет описывать миссию канала и цель цикла видео. Станет понятнее, думаю. Если кратко, то 1. Материал ориентирован в первую очередь на стажёров-джунов 2. Он показывает какие вообще разделы на собеседовании могут затронуть и в какую сторону стоит копать. То есть, к примеру, разговор про аналитическое решение может начаться аналогично вопросу из ролика, а вот куда он пойдёт дальше - уже воля собеседующего. Цель всего этого - сделать пак материалов, который позволил бы пробежаться по самым базовым моментам вечером перед собесом. Естественно, можно было бы сделать видео на час с более подробным разбором всех основных моментов, но это уже про преследование чуточку других целей. Но вполне возможно, что в скором времени сделаю продвинутую версию этого видео, туда вполне возможно включу вопросы, которые вы описали
@VasArkady
@VasArkady 2 года назад
Очень сомнительный подход, настолько сильно углубляться в алгоритм, который в большинстве задач не является оптимальным с точки зрения качества регрессии
@user-rr7yi3ru2p
@user-rr7yi3ru2p Год назад
Скажите, Python может самостоятельно определять тип зависимостей или мы сами должны ему сказать, какой это тип зависимостей? и может ли он сам определять критерии перехода от одной зависимости к другой?
@fr9g_cbl4
@fr9g_cbl4 2 года назад
Спасибо автору за ролик! Я человек со стороны так сказать и сейчас только думаю начать изучать всё, что необходимо для этой профессии. В связи с этим возникает вопрос, неужели всё вышеперечисленное действительно спрашивают на собеседовании на джуна? Какая в этом практическая составляющая?
@user-hj7yj5zx7f
@user-hj7yj5zx7f Год назад
Нужно понимать, как работают алгоритмы, которые применяешь. Тогда можно получать более хороший результат, так как знаешь, что можно подкрутить
@user-hk5ot3gq3t
@user-hk5ot3gq3t Год назад
Ещё бы понять как все эти признаки складывать а то вообще непонятно
@Igor-sp7tw
@Igor-sp7tw 2 года назад
Рома а у вас команда Магнит где расположена в Москве или в Краснодаре?
@start_ds
@start_ds 2 года назад
Не особо относится к видео, лучше по таким вопросам писать в tg. Кратко - расположена везде. Договор спокойно оформляется на удалённую работу. У меня в команде есть сильные ребята из разных городов. Офисы есть и в Краснодаре, и в Москве (на Белой площади и Тверской)
@artyomkarlashov1845
@artyomkarlashov1845 2 года назад
Кажется, что для того чтобы понять о чем тут - необходимо повторить всю школьную алгебру (и скорее всего не только). Много неизвестных понятий . Требуется серьёзная подготовка ....
@user-rb4pj4tj6u
@user-rb4pj4tj6u 5 месяцев назад
Отмечу, что линейную регрессию называют линейной именно из-за линейной комбинации базисных функций - это не связано с самыми базисными функциями (они могут быть линейными или нет).
@evolutlut2587
@evolutlut2587 8 месяцев назад
Дисклеймер: данное видео о том, как убить свою самооценку за 14 мин😂
@start_ds
@start_ds 8 месяцев назад
Почему?)
@user-uw5qg3yo5l
@user-uw5qg3yo5l 6 месяцев назад
Видео понравилось, но ни хуя не понятно !
Далее
Лекция 8. Линейная регрессия
1:10:53