Создаём мозг для "змейки". Часть 2. 

Теперь нужно научить змеек загонять врагов в ловушки :)

дарвин вообще говоря был оптимизирован не под чемпионат, а под жизнь с размножением и прочим )

Смотрю я на это шедевральное видео, и с грустью понимаю что мы и есть эти "змейки"...

Обожаю когда речь идет о каких-либо искусственных мозгах которые надо учить посредством эволюции, и не только эволюции. По-больше бы таких видео.

Заметил, что Адам убивался чаще, чем Дарвин. Если это за большое количество повторений не исчезает, значит выживаемость у Дарвина как-то реализована в его весах. Может он больше боится подходить к стенам, что статистически снижает запутывание? Жаль этот параметр в "небольшой статистике" не был представлен. И поддержу идею, что Дарвин был заточен под выживание и размножение, а Адам только под обжорство.

Плз начни эволюцию с кода адама сможет ли естественный отбор усовершенствовать адама???

Как круто о.о

Огромное спасибо за труд !

Удивительное видео! Спасибо! Физматы всегда умняшками были! :)

Спасибо Вам, за Ваше видео, очень интересно и позновательно!

Стиль подачи материала - огонь!

12:43 Ну, добавление нелинейности позволяет сделать более сложную модель (линейный классификатор с любым количеством слоёв может быть "упрощён" до однослойного, а с нелинейными функциями это невозможно).Более сложная модель - не панацея. Гарантии никто не даст, что она сможет избежать самоубийства методом "сходить под себя" ^____^ Но чем сложнее модель, тем, теоретически, более сложному поведению она может обучиться. Как-то так.Скажем, если подавать на вход достаточное количество информации об окружающей среде, нейронка сможет предсказать на несколько шагов вперёд возможные ходы и их последствия... И чем больше слоёв/нейронов/входов, тем сложнее могут быть предсказания. Но, проблема в том, что обучение ест. отбором - это мееееедленно. Крайне медленно... Сейчас нейронки на практике так не обучают. Используют метод обратного распространения ошибки (градиентного спуска) и его усовершенствованные разновидности, которые быстрее сходятся. Ну а ест. отбор - это скорее удел вот таких вот исследовательско-развлекательных сред just for fun :) ЗЫ: не пробовали тренировать амёб с помощью программы проекта amebas.ru/downloads/ ? Там используется несколько иной подход: исполнимое ДНК (executable DNA) вместо нейросети. Т.е. геном амёбы представляет собой некое подобие программы на своеобразном ассемблере. При выполнении некоторых условий срабатывают триггеры, которые вызывают на исполнение определенные участки генома, что заставляет амёбу совершать какие-то движения... А так, тоже естественный отбор с мутациями и половым размножением. Но проект, к сожалению, автором фактически заброшен. Раньше велись соревнования, была движуха на форуме, а сейчас тишина...

Нашел этот канал случайно, но очень заинтересовался. Заинтересовался так что тоже решил заняться изучением нейросетей. Что касается того можно ли считать Это нейросетью - думаю что да. Это не жесткий код, а гибкий и адаптирующийся, можно сказать самообучающийся для поставленной цели. Благодаря этому каналу я начал немного разбираться в этой теме. Все доступно и понятно. Ну а дальше - время покажет. Особо понравилось - подача материала и эмоциональное состояние автора. Так держать. Ждем продолжения. Даже спустя год от последней активности есть люди которым эта тема интересна. Тем более что все сводится к тому что за нейросетями будущее.

Ура, новое видео

Отличный контент! Ждём не хуже)

Группа поддержки этих змеек - бомба! =)

Спасибо за отличное видео!

Привет! Классные видео, очень мало такого контента в сети, делай больше) Хочу отметить что Дарвин тренировался в Мире - где оне не вырастает больше 16 и в этот момент отбрасывает хвост. А в Чемпионате он часто дох когда становился длинным, его естественный отбор к такому не готовил. Вторая мысль - попробуй запусти Адама в мир - и среди них отбери Креационисткого Дарвина)))

Осторожно молодой человек вы играете в бога

Качественно и интересно супер спасибо класс

Спасибо за видео очень интересно и полезно

10:06 какой напряжённый бой! (За музыку отдельный респект)

Спасибо

Спасибо) Буду ждать след видео и пытаться повторить что увидел

Опять интересно! И опять мне сложно уловить все налету. Но круто! Спасибо

Статистика классная! Интересно очень!

Отличное музыкальное сопровождение

Круто было бы увидеть эту программу, да и как ты программируешь

Очень залипательно и интересно)))

Это гениально!

Как же охеренно интересно!

вау, ты реально нереально крут

Дарвин против Адама. победил компуктер

Думаю, что надо дать змейке осознание самой себя. Врезаются в основном из-за того, что голова не знает где находится тело. Сразу пропадут замкнутые спирали. Дарвиновские змейки учились выживать в других условиях и сравнивать с Адамом не совсем корректно. Пробовали выпускать адамов и дарвинов в те же условия и в том же количестве в которых обучались дарвиновские? Насколько я понял у дарвиновских слабая боязнь стенок из-за большого поля при самообучении.

Круто!!

Очень!!! Интересное видео, совершенно интересное направление, Автор ты только не оставь это

Можно алгоритм выхода из лабиринта прикрутить, по ближайшему пути - он простой. рекурсией. на колво шагов не меньше длины змейки, сможно даже учесть длину змейки и движение соперниц. Будет мега змейка!

Ну я реально ничего не понимаю, очень прикольно. Анимация огонь 🔥

Потрясно!

Ахха, я в восторге!

Классный сериал. Смотрим Рэмбо-2.

Хороший пример, иллюстрирующий, что сети это весело, но не эффективно. На обычных ифах с помощью десятка строк кода можно добиться лучших результатов, в том числе и что бы змейка себя в тупик не загоняла.

Ахренеть у Вас развлекуха!!!! Лайк )

Хочу предложить идею! Нужно добавить возможность поедать умерших змеек. Чтобы змейка врезавшаяся в стену, или в себя, или в тело другой змейки своей головой умирала, а ее тело оставалось на поле в качестве еды. Тогда вполне могут появиться виды в геномах. Например хищники одиночки, хищники колективисты, падальщики и просто травоядные. Но для поведения охотников нужно существенно усложнять сеть (добавить несколько слоев, реккурентность) Хотя, скорее всего, без обеспечения инвариантности восприятия окружающего пространства хороших хитрых хищников не выйдет))

был пример в англоязычном сегменте с нейросетью, там змейка достаточно эффективно научилась не заходить в тупик, сеть была 24х6х4, многослойный перцептрон. Видела в 8-и направлениях еду, стену и себя.

Я кайфую от этого:)

можешь адам поставить в стимуляцию с мутациями как дарвина , но уже адама и он прокачается на макс посмотрим что получается (люди пролайкайте пост что бы он увидел этот комент, плиз)

Здравствуйте, а вы не могли бы сделать видео с полным разбором кода? Чтобы бы не было проблем по поводу ЯП, предлагаю псевдокод? Надеюсь на вашу отзывчивость :D

Можно добавить "ощущение в пространстве" -- при равнозначном выборе направления двигаться в ту сторону, где меньший вес тела. + конечно просчитать хоть один ход вперед. Хотя бы такой: если в результате текущего хода следующий ход причинит смерть - то не двигаться туда ни в коем случае ) + неплохо добавить несколько видов на дарвиновскую площадку. Например добавить Адама, но не изменять его,- чтобы Дарвин приспособился убивать Адамов ))))

Наконец-то новая часть!)

Очень любопытно!!!

Всё супер! Я еще после прошлого видео подумал, что можно создать "адама" именно примерно так, как ты сейчас сделал, и это будет наверняка лучше "дарвина", если только дарвину не делать очень долгую эволюцию, тогда может сравняется. Прошу, отобрази матрицы "дарвина" в сравнении с матрицами "адама" в цветографическом виде, типа как в экселе есть такое "условное форматирование" со шкалой цветов в зависимости от значений ячеек. Думаю, будет наглядно видно, где "дарвин" промахнулся =)

Ваши видео вызывают у меня желание тоже поэкспериментировать с генетическими алгоритмами. Спасибо) Интересно имеет ли смысл на этом этапе внедрение полового размножения для снятия генетического груза?

Круть.

Для меня видео было очень полезно. В плане понимания, что генетический метод не панацея и даже далеко не оптимальный вариант получения AI во многих случаях.

для избежания самостолкновения можно применять рекуррентную нс, например lstm

Можно использовать чётные дорожки - для движения в одном направлении и нечётные - для движения в противоположном направлении, таким образом будет оставаться "лазейка" для выхода в случае тупиковой ситуации.

Твой алгоритм хорошо подойдет для игры в качестве врага, который видит препятствия, обходит и идет за игрокам. Да, есть поиски пути, но тут же он будет как живой, а точнее как тот, кто был его учителем)

Можно попытаться научить змейку как можно более эффективно заполнять пространство, как мы обычно и пытаемся сделать играя в нее. Например, можно использовать способ тренировки мультика, только сделать больше препятствий и указывать ей направления, в которые желательно идти чтобы не оказаться в ловушке. Ещё, чтобы змейка правильно выбирала куда ей идти, можно сделать так, чтобы змейка высчитывала количество клеток без препятствий, в которые может добраться, и с той стороны где их было бы больше, туда она бы и шла. В этом случае она тоже может ошибиться, выбрав большое ограниченное пространство вместо узкого коридора, выход из которого лежит за пределами поля зрения, но это тоже можно исправить, если учитывать доступные клетки на границе ее поля зрения. Это змейка может начать проверять, когда препятствия находятся по углам в радиусе 1 клетки, те когда змейка может сделать роковую ошибку и пойти не в ту сторону

Оценивать своё и чужое место относительно всего поля. Создавать группы, которым присваиваются одинаковые "роли". Змейкам надо дать возможность считать много ходов вперёд и передавать информацию о запланированных ходах внутри группы. Это может привести к таким удивительным событиям, как например, организованные нападения, захват территории, контроль численности...

Лайк не глядя

Вааау Обожаю змеек!

Мужик ты голова!

Мне кажется, это видео немного разжигает)) Боюсь даже ставить лайк)

Сделай на безе игры Mini Metro игру где, будет нейросеть выбирать как соединять станции что бы получить наиболее большею выгоду, она будет как нейросеть--босс, а также есть рабочие-нейросети которые будут машинистами поездов, там будет система решать на какой станции поезду задерживаться, и на сколько будет задерживаться. И также будут нейронки-пассажиры которые должны выбрать наикратчайший путь до нужный им станции, даже если придётся выбирать путь между несколькими пересадочными пунктами. Надо будет добавить систему интервала поездов, расписание которому надо придерживаться и светофоры. Пусть ещё боссу будет поступать сигнал где показывается сколько пассажиров на станции, от чего он должен выбирать поезд. На пример есть 3 проезда разных длин и стоимости. Первый поезд самый дешёвый, но и в нём меньше мест для пассажиров и в нём хуже управление... От чего нейросети-машинисту будет сложнее ориентироваться. Сделай ещё 3D-мир в котором можно будет только следить за поездами и пассажирами, там будет можно выбирать рандомный поезд и переключать на него камеру, или на пассажира. Пусть и это будет не достаток мир - что в нём можно только наблюдать, но за то можно будет проследить за нейросетью, на пример почему некоторые нейросети-пассажиры не садятся в поезд . Ответ прост - и сразу же ответов два. 1 - Это поезд заполнен. 2 - этот поезд не едет на станцию где можно пересаживаться на другую линию (на пример так в маршруте написано) и 3 или 0 - это то что сам поезд едет по другому пути который вообще ведёт в другую сторону. Думаю что остальное ты сам можешь додумать, либо в попросить меня придумать, просто дальше я уже устал писать.

Что касается конкретно данной задачи, то думаю надо расширить объем памяти "мозга" - увеличить дальность видения змейки (хуже точно не будет). И возможно добавить способность различать стены и змей и себя еще отдельно. Так можно отдавать предпочтение тому яблоку где меньше народу крутится.

Примени к Адаму естественный отбор. Видео суперкрутое.

8:12 а если бы ты всегда поворачивал угол обзора вместе с головой змейки (как в первой серии), т.е. оставил только влево/вправо/вперёд, то осталось бы 3 значения. А если ещё смещать все числа так, чтобы "вперёд" было всегда 0 (как сейчас ты и сказал), то хранить можно уже 2 значения. Таким образом, можно: 1) исключить возможность мгновенного самоубийства; 2) хранить ещё на одно число меньше. Таким образом, мы храним уже не 4 (как изначально), не 3 (как ты сказал), а уже 2 числа.

Всегда появляется кто-то новый более сильный. Остановитесь, животные! Ни один "геном" вечно не протянет даже в одних и тех же природных условиях, если будет появляться новый вид. Ни один вид тогда навсегда не сможет остаться, даже мутируя или эволюционируя. Эта конструкция - тупик. Всего не предусмотришь. Я считаю, что будет больше благополучия, если все, если не помогать, то хоть лишнее и чужое брать не будут, а еще перестанут пытаться выжить других. Если беда придет, только близкие помогут. Не надо только на себя рассчитывать. Если есть возможность помогать, то помогай. Чужого не бери ни силой, ни хитростью. В идеале все бы начали брать пример друг с друга. А так берем пример только с плохого, с войны и всяких убийц. Если своя жизнь дорога, то уважай и жизнь других. Хотя бы не порть намеренно и не ломай, не лезь, если не просят. Но нет же. Без тормозов. Эти IT-модели тормошат похороненные переживания. Эволюция, тоже мне. Я против. Мне не нравится, что я тут в какой-то моральный бред ударилась. Пожалуйста, не пропагандируйте насилие! Это бесит!

9:47 - так странно, что один из сиреневых запутался и напоролся на себя. Зелёные на фоне фиолетовых кажутся более хаотичными и медленнее собирают еду. Какие интересные раунды! Надеюсь, они останутся только в виде моделей.

Уважаемый автор, возможно, уже немного поздно комментировать, но я нашёл это видео только сейчас. То, как вы обучали самых первых змеек - это фактически современные методы обучения без учителя, которыми тренируют нейросетки для шахмат, старкрафта и прочих игр. Единственное отличие - там это делают автоматически следующим образом. Пока змейка жива, запоминаются все её ходы и все датчики, которые были активны на каждом ходу. Затем, если змейка подбирает еду, всем датчикам выдаётся "вознаграждение": их веса увеличиваются, а когда змейка умирает, датчики "наказываются" уменьшением весов. Можно хранить не все ходы, а лишь сколько-то последних, и чем дальше отстоит ход от текущего момента, тем меньше делать вознаграждение и наказание для его датчиков (например, для последнего хода +1, для предпоследнего +0.5, потом +0.25 и так далее). Таким образом, после множества циклов жизни змейки её мозг оптимизируется идти по пути с наибольшей наградой и наименьшим наказанием, то есть жить как можно дольше и есть как можно больше. Кроме того, за смерть можно наказывать сильнее, чем награждать за яблоко. Например, награда +1, а наказание -10, тогда она будет стараться избегать смерти даже ценой потери яблока.

Было бы интересно, если бы змейки видели все поле, видели головы друг друга, обучение было бы команда на команду и мутировали бы победившие команды, ну и такую змейку запустить соревноваться с Адамом и Дарвином

"Попа превращается в голову" хахахаха

Ето так круто!!!!))))

Добавление скрытых слоев с нелинейностью позволит аппроксимировать более сложные функции, т.е. нейронка сможет научится "замечать" более сложные закономерности во входных данных. Правда, ее стоит обучить классическим методом обратного распространения ошибки (я описал примерную схему в комментарии к предыдущему видео). Но в любом случае она будет ограничена датчиками и тем, что каждое решение применяется только на основе текущей ситуации, не учитывая предыдущие. Я думаю, что стоит разделить датчик препятствия на два - датчик стены и датчик змейки. Добавить память о прошлом можно с помощью рекурентной нейронной сети (напр. LSTM). Также можно попробовать метод, называемый обучением с подкреплением (англ. reinforcement learning). Сейчас это очень трендовый и перспективный метод. С помощью алгоритма Deep Q-learning нейронная сеть научилась играть в старые Atari-игры. Есть и более сложные методы, когда и состояние, и действия представляются не дискретным, а непрерывным множеством, но в Вашем случае, я думаю, хватит и простого Deep Q-Learning. Хороший цикл уроков на эту тему: medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part-0-q-learning-with-tables-and-neural-networks-d1a95264329d0, перевод: habr.com/company/newprolab/blog/343834/. Тем не менее, обучение с подкреплением является весьма неустойчивым, может не сходится или требовать очень много итераций.

очень интересно, только я ничего не понимаю, но очень интересно!

Просто Супер! На каком языке написано? Есть ли возможность посмотреть исходники? Или алгоритм !

Пили видосы больше!)) Ну и на будущее, может быть поработаешь со своей дикцией? Ты достоин миллионов подписчиков!

13:18 Еще на первом видео подумал, почему так спокойно меняется поле, ведь оно является основополагающей составляющей весов для такого интеллекта, иначе их вычисленные значение перенесены на иную карту нивелируется. Ну или если не вносить веса в анализ всей карты игры, на которой учтены другие игроки, или хотя бы что бы змейка имела весы на собственное ощущение тела и своего пространственного положения, что бы иметь возможно корректировать или планировать свои хода исходя из ее окружения

Подписался и колокольчик поставил

музыка класс!!

Чтобы змейка не заходила в тупик: когда змейка коснется головой препятствия, даже по диагонали, нужно чтобы змейка выпускала своего рода заливку из своей головы. То есть появляются 2-3 заливки. затем нужно повернуть в заливку с большей площадью. Заливка может совершатся не на весь уровень а скажем на квадрат со стороной 20

Да как Алекс Гайвер, только в сфере программирования! Круто!

Хочу ещё!!!)) будут ли более обученный Дарвин лучше чем существующий? Если ему просто дать больше времени?

Надо сделать что бы у каждой клетки были рецепторы

Как вариант позволить змейке иметь выбор куда повернуть. Скажем, если веса определились как [1,2,3,4], то есть 1 шанс из десяти, что змейка повернет в первом направлении, 2/(1+2+3+4) во втором и т.д. По поводу 'попасть в ловушку'. Для этого как минимум нужно менять площадь обзора в сторону увеличения. По поводу естественного отбора. Стоит следить какая из змеек наиболее часто подбирает еду и размножать именно ее, так как в чемпионате залог победы это именно скорость поедания

Сделай не случайную еду, а конечное количество, и умирающая змейка даёт не препятствие, а еду на некотором расстоянии. Также можно регулировать выход еды от умирающих змеек и из вне, по сезонам. Летом больше еды зимой меньше, и посмотреть как в такой ситуации сработает естественный отбор

а если Адама пустить в эволюционный процесс?

Есть одна мысль как исправить возможность фотальнной ошибки с учётом радиуса обзора. Одной из первых моих задач в ходе обучения программированию была "раскраска" или как ещё называют "заливка". После выставления значений можно производить так раз эту раскраску в качестве первого элемента брать каждый из 3 возможных направлений и если раскраска имеет границы, то меньшать данное направление на какой-то коэффициент. Если применишь данный алгоритм к своей змейка, то это должно модифицировать ее. Буду рад ещё помочь.

Смешно) и прикольно

При каких условиях сохраняется Дарвин? (Уже разобрался). И как подгрузить своего (другого) бота в GA, чтобы он сам развивался. Но не с нуля, а с ручного развития. (Остался вопрос как загрузить своего бота на естественный отбор)

Больше подобных видео

Опа нна опа нна Нанананнананананнананананан

мое видение решения проблемы самоубийства змейки: тело змейки - препятствие с разными весами, чем ближе сегмент к хвосту, тем меньше его вес, таким образом если змейка окружена самой собой с нескольких сторон, она с большей вероятностью повернет к хвосту, который к моменту гипотетического столкновения уже сдвинется

Первое правило чемпионата змеек - никому не рассказывай о чемпионате змеек, второе правило чемпионата змеек - никогда никому не рассказывай о чемпионате змеек, третье правило чемпионата змеек - в схватке участвуют только две команды... ))

крутоо

Я раньше и не думал, что такие штуки можно с помощью программирования сделать)

Чтобы не загонять себя в тупик, нужно научить змеек определять замкнутый контур и точку выхода из него. Если голова находится в замкнутом контуре с точкой выхода, то точка выхода должна становится приоритетной целью. Если голова находится в 1 клетке от замкнутого контура, то нужно сменить направление на клетку вне этого контура. Если голова находится в замкнутом контур без точки выхода, то нужен дополнительный бит состояния (0 - свободен / 1 - заперт). Если 1, то приоритетной целью становится поиск точка выхода, а не еда. Разумеется всё это проверяется только в обозримой области.

можно Policy Gradient использовать, быстрее будет тренероваться

я делал змейку которая не врезается, и даже их может быть большое количество. Принцип рассчитать ходы на перед на столько сколько сама змейка. Если расчет расчет попадает в тупик. Расчет происходит заново. Даже если выбраться из лабиринта нужно 1000 попыток, для пк это микросекунды.