А разве L это степень, а не просто индекс как было оговорено в начале ролика? Ухо режет это постоянное упоминание "в степени L". Уж лучше говорить "с индексом L" или "с индексом L-1" или "слоя L" и т.д. За исключением этого, материал отличный!
Да, когда индекс называют степенью - это немного путает. Плюс некоторые формулировки ломают мозг, например эта: 5:00 "В случае с последней производной, значение этого малого изменения веса влияет на последний слой, зависящий от того, насколько силён предыдущий слой." - шо? Глянул оригинал. Там как-то яснее сформулировано. Вроде как-то так переводится (во всяком случае для меня это звучит более понятно, может кому другому тоже поможет, кто затупил на этом моменте): 5:00 В случае с последней производной, то, насколько сильно изменится значение в последнем слое при данной небольшой корректировке веса, зависит от того, насколько силён предыдущий нейрон. Учитывая, что это одна из основных мыслей данного видео, стоит быть точнее к формулировкам в данных моментах.
Спасибо большое за перевод! Я понимаю на англ, но все равно смотрю на русском, чтобы открыть другой вид понимания. Но для тех, кто не понимает англ и даже для меня, это видео очень полезно! Спасибо ещё раз
Это единственное видео с нормальным объяснением. Но в формулу можно добавить небольшие дополнения: В итоговую формулу ошибки можно добавить множитель 0.5 для повышения точности. Также стоило бы уточнить ,то на выходном слое производная веса от общей ошибки
я бы описал принцип работы нейронных сетей в двух словах, обучения нейронной сети это решения систем нелинейных уравнений, где сами уравнения являются частными производными функциями минимизации
7:18 "возмем k как индекс слоя L-1" - в такой формулировке мозги начинают сильно плавиться, потому как k это все таки индекс нейрона (а точнее - активации нейрона) в слое L-1 а не индекс слоя L-1. Тоже касается и индекса j. Вцелом - это самое понятное видео из всех доступных в интернете. Но некоторые моменты с формулировками достаточно сильно спотыкают в понимании.
Нас не сколько интересуют целевые значения нейронов L-1 слоя, сколько их ошибки, т.е. отклонения нейронов от целевого значения. Эти отклонения по сути являются значениями частных производных функции ошибок сети (Cost) по выходам нейронов предыдущего слоя. Как вычислить частные производные рассказано в этом видео. Но изложенная методика также позволяет вычислить частные производные по каждому из весов, даже не вычисляя явно ошибки нейронов слоя L-1. Для этого: 1. Представляем функцию ошибок, как функцию весов последнего слоя (L). 2. Затем по цепному правилу вычисляем частные производные по каждому из весов последнего слоя (L) (они нам и нужны) 3. Затем, когда производные по весам вычислены, считаем их константами, а аргументом считаем значения нейронов предыдущего слоя (L-1), которые (как неожиданно) оказываются функциями весов предыдущего слоя (L-1). 4. Математически это выглядит, как удлинившаяся цепочка по правилу дифференцирования сложной функции, но, которая, тем не менее, позволяет теперь нам вычислить частные производные по каждому из весов предыдущего слоя (L-1). Обратите внимание, что для их вычисления нам *не нужно знать в явном виде* ошибки нейронов предыдущего слоя (L-1). Этот процесс можно продолжать до тех пор, пока все частные производные по всем весам не будут вычислены. После этого мы можем делать шаг градиентного спуска.
@@AleckBoronnikov Здравствуйте, я как понял вы неплохо понимаете тему, не могли в пояснить в аглоритмических примерах) с математикой туговато а в алогитмах бы разобрался, я так понимаю в этих 4 видосах более-менее современное представление о нейронных сетях хотелось бы попробовать реализовать что-то на практике
@@user-cn1sd4hg1m а в алгоритмах так же математика ) алгоритм - это последовательность действий. математика - это то, что позволяет описать смысл производимых действий.
что бы получить положительное число - ошибка не должна быть отрицательной по смыслу. Можно, конечно, взять по модулю, но квадрат лучше дифференцируется.
@@AleckBoronnikov не трудно, если ты достаточно понимаешь английский, то сможешь без особых проблем делать качественный перевод. Разве что тут можно было и по смыслу гогадаться, что речь не о степенях идёт, ведь об этом явно сказали.....
За перевод, конечно, спасибо, но он далеко не идеален. Например, 3b1b не говорит в исходнике "а в степени L", а просто говорит "a L". И такие погрешности встречаются нередко. Не то, чтобы я нашел что-то ещё контретное, мне просто лень, но мне куда понятнее слушать исходник на английском, не родном для меня языке, чем перевод на русском. Это само по себе уже о чём-то говорит. И это касается не только текста - озвучивание тоже можно улучшить. Несколько трудно воспринимать речь диктора, который не знает, как должным образом озвучить текст, на что сделать акцент и тд, ведь это важная составляющая. Если диктор не может понять тему видео - не беда, ведь можно брать за основу то, как говорит автор.
видел видео и понятней по нейросетям. автор сильно погряз в математической закостенелости и не может осознать, что если называть каждую переменную 3 символами, то не удивительно, что ничего не будет понятно. легче было бы дать полные имена каждой переменной, как это принято в программировании
как я понял суть - создать такие математические условия в алгоритме, что бы максимально точно получить ЖЕЛАЕМЫЙ! и заведомо известный результат. Вот это и есть - наука?)
Да, совершенно верно. Желаемый и заведомо известный результат на обучающее выборке. Если таковая выборка достаточно полна, то нейросеть обучится правильно, и сможет давать верные результаты в тех случаях, с которыми не была знакома. Это и есть наука)
![[DeepLearning | видео 4] Формулы обратного распространения](/img/logo.svg){kind=logo}
