Учимся обучать нейронные сети, за 30 минут от теории до практики. 

смотрю второе видео по данной теме.... сложилось четкое нейронное убеждение, что друг который все время говорит что ему понятно... на самом деле нихуа не понимает))))

Делаю проект, связанный с нейронными сетями. Этот ролик всё понятно поясняет. Пока не нашёл аналогов в русском Ютубе. Большое спасибо

import numpy as np import sys class PartyNN(object): def __init__(self, learning_rate=0.1): self.weights_0_1 = np.random.normal(0.0, 2 ** -0.5, (2,3)) self.weights_1_2 = np.random.normal(0.0, 1, (1, 2)) self.sigmoid_mapper = np.vectorize(self.sigmoid) self.learning_rate = np.array([learning_rate]) def sigmoid(self, x): return 1 / (1 + np.exp(-x)) def predict(self, inputs): inputs_1 = np.dot(self.weights_0_1, inputs) outputs_1 = self.sigmoid_mapper(inputs_1) inputs_2 = np.dot(self.weights_1_2, outputs_1) outputs_2 = self.sigmoid_mapper(inputs_2) return outputs_2 def train(self, inputs, expected_predict): inputs_1 = np.dot(self.weights_0_1, inputs) outputs_1 = self.sigmoid_mapper(inputs_1) inputs_2 = np.dot(self.weights_1_2, outputs_1) outputs_2 = self.sigmoid_mapper(inputs_2) actual_predict = outputs_2[0] error_layer_2 = np.array([actual_predict - expected_predict]) gradient_layer_2 = actual_predict * (1 - actual_predict) weights_delta_layer_2 = error_layer_2 * gradient_layer_2 self.weights_1_2 -= (np.dot(weights_delta_layer_2, outputs_1.reshape(1, len(outputs_1)))) * self.learning_rate error_layer_1 = weights_delta_layer_2 * self.weights_1_2 gradient_layer_1 = outputs_1 * (1 - outputs_1) weights_delta_layer_1 = error_layer_1 * gradient_layer_1 self.weights_0_1 -= np.dot(inputs.reshape(len(inputs), 1), weights_delta_layer_1).T * self.learning_rate def MSE(y, Y): return np.mean((y-Y)**2) train = [ ([0, 0, 0], 0), ([0, 0, 1], 1), ([0, 1, 0], 0), ([0, 1, 1], 0), ([1, 0, 0], 1), ([1, 0, 1], 1), ([1, 1, 0], 0), ([1, 1, 1], 1), ] epochs = 5000 learning_rate = 0.05 network = PartyNN(learning_rate=learning_rate) for e in range(epochs): inputs_ = [ ] correct_predictions = [ ] for input_stat, correct_predict in train: network.train(np.array(input_stat), correct_predict) inputs_.append(np.array(input_stat)) correct_predictions.append(np.array(correct_predict)) train_loss = MSE(network.predict(np.array(inputs_).T), np.array(correct_predictions)) sys.stdout.write(" Progress: {}, Training loss: {}".format(str(100 * e/float(epochs))[:4], str(train_loss)[:5])) for input_stat, correct_predict in train: print("For input: {} the prediction is: {}, expected: {}".format( str(input_stat), str(network.predict(np.array(input_stat)) > .5), str(correct_predict == 1))) for input_stat, correct_predict in train: print("For input: {} the prediction is: {}, expected: {}".format( str(input_stat), str(network.predict(np.array(input_stat))), str(correct_predict == 1)))

Отличная идея с математикой. Просто изучать математику довольно скучно и если вы будете делать уроки по ML , оставляя ссылки на видео с объяснением применных математических терминов , то это будет просто изумительно. В общем я считаю, что имеет место делать уроки по математике в контексте ML

Отличнейший урок про нейросеть! Спасибо большое

Очень подробное и самое лучшее описание нейросетей что я смог найти. Немного непривычно читать питон, и не люблю видео, ибо когда пытаешься сам что то сделать проще работать с текстовой информацией. Огромное Вам спасибо за курс. Надеюсь он будет продолжаться.

Поделюсь, расскажу друзьям, покажу девушкею. Что угодно, только продолжай , прошу тебя =)

Спасибо чувак, первый раз нормальное объяснение нашёл

Большое спасибо. Очень помогает разобраться с основными принципами.

Вот это я понимаю, понятно и с примерами!!! пойду смотреть дальше и показывать всем =)

Лучший курс в мире, все понятно и ясно. Спасибо за курс

Самые толковые примеры из того, что мне до сих пор доводилось видеть. Спасибо!

Ну наконец-то я увидел и услышал про функцию активации в понятной форме, спасибо автору. Для новичков супер! 3 месяца искал нормальное толкование!

Просто супер и все понятно! Спасибо за такие интересные и понятные видео!

Пожалуй это лучшее толкование на русском языке, спасибо большое)

Супер! Очень понятный и полезный контент . Благодарю автора

Очень интересно, огромное спасибо ! , надеюсь это не последнее видео )

Спасибо за Ваш труд, все очень подробно и понятно

Хороший формат, формирует интуиции для дальнейшего углубления в тему. Детали лучше понимаешь на родном языке, как ни крути.

Круто!Нечасто можно найти такой полезный контент.Однозначно лайк

Отличный урок, спасибо!

Potryasayusheye video!! Ogromnoe spasibo!

Впервые вижу такой качественный контент по нейронным сетям! Я пошел учить питон...

Спасибо парням за видео. Пожалуй , изложение материала понятней чем здесь , я нигде не видел. Возможно , в силу своей восприимчивости. Наконец-то бахнул свою первую нейронку для игрового бота, счастью нет предела))

Спасибо огромное! Это поистине самое понятное объяснение

Пока что, лучшее обьяснение метода обратного распространения ошибки, которое встречал в интернете.

Отличное видео, не скажу что все объясненно досконально но разобраться очень помогло. Спасибо!

Одно из лучших демо нейросети, еще есть несколько других уроков, которые вместе позволяют хорошо усвоить тему

Nice, с удовольствием смотрю!!!)

Лучшее видео, чтобы понять что такое нейросеть, и как работает метод с нуля. Краем глазом просматриваю подобные видео давно, но именно понял как работает это метод только с этим виде.

Благодарю за доходчивое изложение и реальный пример обучения нейросети. Повторил всю методологию обучения нейросети из Вашего примера, но на Delphi 7. Правда, писал более универсальный и "тяжелый" код, под свои собственные задачи. Нейрон был описал отдельным классом, дабы потом можно было создавать произвольный массив из нейронов. В результате программа на Delphi те же 4000 эпох из примера "отработала" за 15 секунд (в Вашем примере на Питоне около 6 секунд). Оно может дело и в железе (у меня Celeron G1820 2.7GHz), но не думаю, что "причесывая" делфийский код, мне удастся сократить время выполнения в 2.5...3 раза. Т.е. налицо имеет место быть факт "заточенности" Питона под нейросети.

Переписал эту нейронку (пришлось потратить немало времени на понятие синтаксиса Python) на С++. При тех же вводных (5000 поколений и 0.08 learning_rate) ошибка сети на выходе 0.003. Спасибо огромное тебе за очень понятное объяснение. В ру сигменте найти человека, который так подробно может разжевать что и как делается - как иголку в стоге сена искать.

Ребят, спасибо вам большое. Я около десяти видео просмотрел, что бы это найти. Обучение нигде не объясняют. Все или в магию готовых библиотек уходят или просто молча опускают. Очень понятно. Даже если не понимать что такое сигмоида и производная :)

Браво! Отправил друзьям!

Спасибо вам за видео, лучшие!

Объясняет очень сложную вещь как на духу!! Спасибо

Спасибо! Наконец-то понял про нейронные сети

Господа, сегодня знаменательный день. Стало понятно! Огромное спасибо за материал.

Было бы неплохо продолжить данную тему, очень хороший спрос.

У меня тоже все получилось!!!! Как интересно. Я правда очень простую программку на Питоне написал (только неделю назад изучил как на нем программировать), но все получилось. . 5000 итераций и learning rate 0.05. Огромное спасибо авторам за такое простое и гениальное объяснение непростого материала!!!

Спасибо большое, очень доходчиво рассказано) Лайк, подписка)

Спасибо большое, очень интересно!

А зачем нужен чувак, которому всё понятно и всегда говорит да? =) Хотя бы поспрашивал мол веса что такое поподробнее можно?.

Мне бы такого друга, который может слушать рассказ в течение получаса и более )

Чего-то голова уже не работает. Видео супер!)

Спасибо! Просто супер

Мега круто . Хочу еще . Больше примеров . Тема зашла, было интересно.Спасибо большое. Интересен был бы пример с определением того что находится на изображении. P.S. Жаль в универе мне не так статы и кванты объясняли.

Шикарная тема!

Спасибо! Всё понятно!

респект за видео, отдельно за юмор ))) 8:45 - запихиваем незапихуемое )))

спасибо вам большое, у вас самое понятное объяеснение, которое я нашел

Спасибо большое. Очень подробно обьяснили... лайк+подписка

Спасибо огромное!!!

Вобщим зацепила меня эта тема сильно, так как я сам начал писать алгоритм обратного распространения ошибки для многослойной сети. Чтож, понятное дело, я увидел множество неоднозначных проблем для себя, решение которых к стате я вижу по своему. Поэтому я сам ухожу на некоторое время в глубокое обучение, начинаю подымать литературу по этому вопросу, дабы повысить свой интелект для решения этой задачи.

Здравствуйте! Большое спасибо за очень интересный и понятный материал! Почти все усвоил с первого просмотра)) Но пожалуйста, подскажите каким образом считать ошибку если например в выходном слое несколько нейронов? Как я понял выходной слой считается так-же как и у вас, а вот что делать со скрытыми/входным? Пока на уме крутится мысль в цикле считать ошибку для нейронов текущего слоя на основании каждого нейрона следующего, но интуиция подсказывает что из этого получится что-то некорректное. Подскажите пожалуйста, как будет правильно?

перечитал кучу литературы и видео но только после вашего понял что к чему одним словом супер!

Да ну и конечно видео полезное и интересное

А так спасибо тебе большое. Классное видео. Глеб умница тоже)

Лайк поставлен. Пошел рекомендовать друзьям.)

Грамотно!

наконец то нормальное видео по нейронным сетям

Отличные уроки, было бы вообще круто, если бы это вылилось в полноценный курс с разбором современных библиотек глубокого обучения и реальными кейсами! Пока самые понятные объяснения, которые я слышал, ну и Ng конечно тоже хорош, но у него Octave( , а тут сразу на актуальном языке было бы вообще отличной.

Супер!

огромное вам спасибо это лучшее что я видел по нсхоть и не люблю питон но вам все равно огромное спасибо

ДА ТЫ ПРОСТО БОГ АЛО СТОЛЬКО САЙТО И ВСЁ НЕПОНЯТНО КАК ТЫ ДОЛЖЕН ЗАПИСАТЬ ЭТИ ФОРМУЛЫ, А ТЫ ПРЯМ ПО ПАЛЬЦЕМ НА ПАЛЬЦАХ В 100 СТЕПЕНИ РАСФОРМУЛИРОВАЛ СПАСИБО МОЛОДЕЦ АЛЛО ЛУЧШИЙ

Лучшее на русском, что смог найти. Благодарю. Продолжайте!

Спасибо огромное! Наконец, по теме, а то везде сплошная реклама облаков с черными ящиками.

Определённо лучшие видео в русском ютуб, спасибо

Видео очень понравилось! Никогда не думал, что с помощью математических формул можно делать такие выкрутасы с обучением. Было бы идеально, если бы код был бы ещё и на других языках вроде С++, если это, конечно сильно не затруднит. Спасибо.

классное видео! а скажите пожалуйста как расчитать ошибку если выходной слой более 1 -ого нейрона?

А в чем делаешь презентации?)

Вячеслав, а что если вместо Python использовать Scala? Это же не так больно, как Java, нет?

11:15 sigmoid(x)dx = f'(x)dx, в такой записи сигмоида - уже производная при дифф. 1- форме. Правильно так - sigmoid'(x)dx=sigmoid(x)(1-sigmoid(x))dx

просто охренеть! Автора в рай!

А рекурентные сети так же подробно будут? :)

Фух-х-х... Спасибо. Пересмотрел это видео до "дыр". Уже несколько дне ничего не получалось. НС не хотела учится... Сделал так, чтоб можно было указывать количество слоёв и нейронов в них. Только, что нарисовал все эти "пути" обучения... Ну, короче, Я морознул малость еще в самом начале. :) Но все получилось! Даже может предсказывать значения не из выборки. :)

Блин, по такому хорошему рассуждению можно даже нейронку в Scratch забацать! Классно)

Есть подобные материалы по методу обучения генетическим алгоритмом?

Я себе так и представлял нейросеть, но вот обратный анализ это круто, можно сделать ещё интересней, но это на примере другом разбирать нужно, где больше трёх вариантов.

сетка написана на 3 питоне? её можно где-то по заимствовать для своих тестов?

а какую дельту брать? ну например у нас несколько выходных нейронов

Спасибо за подробный обзор работы сети и формул! Но возникли вопросы: - как проводить обучение нейросети,если ожидаемое значение неизвестно,например при прогнозировании погоды? - где можно увидеть ваш код нейронки?

Запиши, пожалуйста, такое же понятное обьяснение про обучение без учителя!)

Подскажите, а данный алгоритм подходит для обучения нейросети распознаванию цифр ? В случае если несколько выходных нейронов, схема таже самая ?

Добрый день! Я только начала изучать нейросети. Программа на Jupyter Notebook обучила сеть , какой результат нужно выдавать в конце при определенных входных данных. Т.е. мы обучили сеть для того чтобы после введения новых данных предсказывать результаты с максимальной точностью. Правильно я поняла? Теперь у меня есть вопрос, как вводить данные для предсказания новых результатов?

Приветствую, Вячеслав! Отличные видео! Можете подсказать материалы, по которым можно разобраться основательнее и подробнее с темами нейронных сетей и машинного обучения? Я знаю про курсы на stepic, coursera, EdX, может ещё что-то? Что-то, что может сделать из меня джедая deep learning'a?)

Хотел спросить. Weight_delta это локальный минимум (градиент) функции?

Доброго времени суток! Подскажите, пожалуйста, по поводу нахождения ошибки. В видео говорится, что ошибка находится из разности текущего результата и ожидаемого. Покопавшись в интернете и прочитав книгу Создаем нейронную сеть - Рашид Тарик, пишут, что ошибка это разница между желаемым(тренировочным) результатом и текущим. Может, я что-то не так понимаю?

Респект тобі! Якби не ці відоси, я б не розібрався. Лайк!

Сразу говорю спасибо авторам этого ролика, но у меня возник вопрос, что делать если кол-во нейронов на скрытом уровне тысячи? я имею ввиду как код писать? если я один хочу написать такую сеть, то я должен строчить день и ночь? или есть другой вариант?

Давайте материал по физическому смыслу производной!

Так круто объясняешь, первое видео совсем улёт, то что я не мог понять за один семестр понял всего лишь за пол часа. А здесь у меня вопрос, откуда появился 0.5 и 0.52? Это тоже рандомно?

Я правильно понимаю, в массиве train должны быть только 0 и 1? На нем и тренируется сеть. А при использовании, другим массивом/обьектом вставляются уже искомые данные? Запутался просто. У меня есть набор данных, на которых нужно натренировать сеть, правильно ли их вставлять в train?

Боже мой, дня 3 не мог понять почему сеть не сходится, столько всего перечитал, а это видео вообще по секунде помню.. Один мать его символ!! При подсчете весов первого слоя в цикле проходил не по 3 элементам, а по 2вум, банальная опечатка... и самое забавное что сеть ошибалась примерно на 90% Автору видео большое спасибо, из того что я видел, это пожалуй лучшее вводное видео для понимания "Как это работает"

Если я правильно помню, тот же Ng постоянно говорит, что корректировка весов должна производится одновременно. То есть скорректировать веса мы можем только после того, как посчитаем все ошибки. Иначе у нас на коррекцию предыдущего скрытого слоя появлияет коррекция текущего, хотя ошибка была получена при нескорректированном весе.

Добрый день. У меня вопрос по поводу формулы, по которой Вы рассчитываете дельту весов. Не могли бы Вы дать ссылку на источник, из которого была взята данная формула? Хотелось бы подробнее о ней почитать и узнать почему она имеет именно такой вид. Спасибо.

Добрый день, дайте пожалуйста ссылку на материал по производным.

Добрый день! Играюсь с данным кодом, подскажите - как можно уже на этой обученной сети задать новый вход без известного исхода, чтоб она показала результат исходя из обучения?... :) Заранее спасибо!

SUPER!!!!

Спасибо. Калькулятор для метеостанций.