#8. Стохастический градиентный спуск SGD и алгоритм SAG | Машинное обучение 

Спасибо вам большое за отличное доступное объяснение! Очень жду полного продолжения по ML, с вами получается учиться.

О SAG никогда не слышал. Разве он где-то применяется? Объяснение SGD шикарное, спасибо!

Чем дальше в лес, тем толще партизаны.

Спасибо за понятное обьяснение!)

Сергей, благодарю! 👍

В том же духе!!!

👍👍👍👍👍

Здравствуйте, видео по мл нравятся и я решил параллельно попробовать себя в комьютерном зрении, но недавно наткнулся на задачу, с которой сам разобраться до конца не могу. Суть задачи вот в чем: Требуется реализовать алгоритм сборки пазла из прямоугольных фрагментов изображений (с точностью до поворота на 180 градусов). В задании будут представлены разбиения на разное количество фрагментов (от 12 до 432). Каждый фрагмент может быть случайно повернут на один из углов (0, 90, 180, 270). Разрешение исходного изображения - 1200x900. Пользоваться можно только numpy, но я думаю этого должно хватить. Сам я смог придумать такой алгоритм: Брать у каждого фрагмента изображения по два пикселя с начала и конца каждой стороны и сравнивать их с другими пикселями каждой стороны других фрагментов. По сути, пиксель из себя представляет три значения: уровень красного, зеленого и синего от 0 до 255. Вычитая пиксели одного фрагмента из другого можно по разности определить, какие фрагменты имеют наибольшую схожесть. Проблема возникла с ограничением фрагментов в одной строке. Потому, что доходя до края изображения программа не может понять, что это край и продолжает подбирать фрагменты. Если вдруг кто-то осилит это полотнище и подсказать, что можно сделать, я буду безгранично благодарен! Заранее спасибо

Возник вопрос по поводу пересчёта функционала качества. Мы берём случайное значение x_k из нашей выборки и считаем функцию потерь и градиент. После чего мы хотим сравнить функционал качества для найденных текущих значений(например коеффициентов a, b в линейной регрессии) с функционалом качества предполагаемой хорошей прямой. Почему мы каждый раз берём разное количество элементов этой суммы в зависимости от выбранного случайного значения. Типа если мы выбрали x_2, то берём сумму первых двух слагаемых, а если x_100, то сумму первых 100? И что если у нас эпох(итераций) больлше, чем размер датасета, как тогда считать?

13:31 каким образом инициализировать градиенты? Вычислить как-то или взять случайные значеия?

А почему, скачко-образное схождение плохо? Вот например, в генечиских алгорирмах это сплош и рядом.

8:32 это ведь не средняя сумма, а просто сумма. А средней она будет только при делении на m-1!

Почему используется именно экспоненциальное среднее, а не обычное рекуррентное среднее?

Зачем в классическом методе суммировать градиенты?? Надо ведь из каждой переменной (веса) вычитать свой градиент.

9:45 почему нельзя так и оставить 1/m и не заменять ее лямбдой, взятой, вообще говоря, с потолка? К тому же лямбда изначально переменная величина, ведь она зависит от m, а вы ее волюнтаристски делаете постоянной.

SAG выглядит как-то опасно... На каждом шаге пересчитывается один градиент из выборки, а вычитается средний по всей выборке. Если выборка большая, то этот средний градиент будет очень медленно обновляться, и оптимизацию будет сильно заносить. Нам уже будут попадаться точки дающие противоположную ошибку, а мы по инерции прём в том же направлении...