Cybernetics Ukraine - the official channel of V.M. Glushkov Institute of Cybernetics of National Academy of Sciences of Ukraine, which is dedicated to scientific developments, seminars, lectures and research activities.
Від своєї прабабусі чув таку казочку❤ що Бог колись давно дав українцям не тільки кращу землю а ще дав курочок які несли золоті яйця❤ і от прочули про ціх курочок люди по всьому світу ❤і почали всіма правдами і неправдами виманювати цих курочок собі❤але на чужині ці курочки починали нестися звичайними яйцями❤ тоді вони почали селитися разом з українцями і так перевелися ті курки❤ але кажуть що коли українці згадають про тих курочок і зберуться до купи то курочки знов почнуть нести золоті яйця❤ що Ви про це думаєте дорогі українці чи час дії
Не знаю чи будуть доречні мої коментарі тут. Випадково натрапив на лекцію. Зацікавив сам субградієнтний метод. Але друга частина з задачею регресії дуже поверхнева. Декілька зауважень: - років 20 назад цей метод було б актуально застосувати для негладкої функції втрат в регресіїї опорних векторів (така стаття б мала шанси попасти на ICML конференцію), зараз це можливо вже не актуально для іноземної аудиторії. - регуляризація потрібна завжди, а не тільки коли кількість параметрів більше ніж кількість спостережень. Регуляризація має більш глибокий зміст і відіграє роль апріорного розподілу параметрів, якщо задачу інтерпретувати в термінах байесівської теорії прийняття рішень (те що називається Bayesian inference). - питання про вибір функції втрат і доданку регуляризації ключове для задачі регресії і вже існує дуже багато досліджень на цю тему. - питання про вибір моделі/ядер цікаве теж, але на практиці дійсно лінійна регресія дуже часто виявляється найкращою. - можливо я щось пропустив але у Вас при розтягненні простору не враховується доданок регуляризації який має однаковий коефіцієнт ("скалярний параметр регуляризаціїї" на слайді) для всіх параметрів (я б очікував що коефіцієнт для параметру індивідуальний і змінюється пропорційно розтягненню). Я дозволю собі порадити почитати про GPR (Gaussian Process Regression) авторів Malte Kuss, Carl Edward Rasmussen. Там є дуже гарні пояснення чому L2 це найкращий вибір в багатьох випадках.
