Лекция. Пулинг. Операция пулинга

Подписаться 37 тыс.

Просмотров 21 тыс.

50% 1

Занятие ведёт Татьяна Гайнцева.
Серия "Введение в CNN"
Видео 1: • Лекция. История развит...
Видео 2: • Лекция. Сверточные ней...
Видео 3: • Лекция. Пулинг. Операц...
Видео 4: • Лекция. Задачи компьют...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_learning_school_news
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschool_mipt
Github-репозиторий: github.com/DLSchool/dlschool
Поддержать канал можно на Boosty: boosty.to/deeplearningschool
ФПМИ МФТИ
Официальный сайт: mipt.ru/education/departments...
Магистратура: mipt.ru/education/departments...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/education/departments...

Опубликовано:

27 окт 2020

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 17

@user-mq7xq1hi2q 2 года назад

Спасибо за интересную лекцию!

@cat_lover1607 Год назад

в последнем слое не relu скорее всего, а софтмакс?

@igorgordiy7709 Год назад

Да

@aliakseydruzik7433 Год назад

Правильно ли понимаю, что pooling это то же, что и subsampling?

@vadimosipov2147 3 года назад

Если на карте активации большие отрицательные числа, то они не пройдут через MaxPooling. Почему это информация отбрасывается?

@tatianagaintseva8701 3 года назад

Вспомните опять же, что сеть учится целиком. Если мы ставим после conv слоя Макс пулинг, то отрицательные числа будут, как вы сказали, отбрасываться, и останутся только положительные. Conv слой подстроится под этот факт и будет учиться выдавать только ту инфу, которая после Макс пулинга будет иметь смысл

@vadimosipov2147 3 года назад

@@tatianagaintseva8701 , спасибо. Я про это не подумал. Я так понимаю, что conv слой по градиенту от Loss может сам решить, полезная информация от больших отрицательных числах или нет. И если так, то сделает параметры фильтры такими, что в карте активации они будут принимать противоположный знак. Сложно принять, что это возможно. Есть ощущение, что может не хватить "силы" градиента для первых слоев. А вы проверяете какие значения принимают фильтры, карты активации на процессе обучения?

@vadimosipov2147 3 года назад

@@tatianagaintseva8701 , сейчас смотрю лекцию про Transfer Learning, уже 2 раз. У вас получилось очень круто, и не все понимаю. Нужна ваша помощь )

@tatianagaintseva8701 3 года назад

@@vadimosipov2147 нет, значения не проверяем. По поводу "не хватить градиента для первых слоев" - смотрите предыдущий урок про архитектуры conv сетей и skip connection

@vadimosipov2147 3 года назад

@@tatianagaintseva8701 , я смотрел. Задам тогда под тем видео сопутствующий вопрос. Спасибо.

@ISandrucho 3 года назад

что-то не понял, если перемножить 13*13*256, то не получится 4096 (fc - слой)

@ISandrucho 2 года назад

@@user-hw4gs5vp9w Да, теперь понятно. На тот момент думал, что имеются ввиду входящие размерности, а не исходящие. Ну и то, что предыдущий конв просто флаттенится/"разворачивается".

@dmytrobondarenko4796 2 года назад

@@user-hw4gs5vp9w Татьяна, подскажите пожалуйста, когда будет открыта запись на осенний курс 2021? И второй вопрос, как можно найти подборку именно ваших лекций по нейронным сетям (да и вообще по DL) (ваша подача материала "зашла" максимально комфортно)) )

@tatianagaintseva8701 2 года назад

@@dmytrobondarenko4796 набор будет открыт к началу сентября, скорее всего, на следующей неделе. Выборки чисто моих лекций нет, придется искать их в этих плейлистах. Я не все лекции читаю, только некоторые. И спасибо за отзыв, мне приятно 🥰🥰

@dmytrobondarenko4796 2 года назад

@@tatianagaintseva8701 Собрал все ваши лекции за 2020 год)). А потом нашёл курс вашей школы на степике) Но, на степике есть и старые курсы и новые и это вводит в заблуждение(( Мне больше понравились новые (и это понятно, так как видно что подача материала улучшилась). Уже просмотрел половину, а ваши лекции все)). Такого доходчивого изложения материала больше нигде не встречал. И это все открыто!!! Вы делаете просто потрясающую работу. Но вот найти вас сложно(( Прямого перехода с вашего сайта на степик нет. А собирать видео из частей на ютубе ещё тот квест (непонятно что за чем идёт. Если бы было первое, основное видео в котором были бы ссылки на последующие части было бы значительно удобней). Но, в любом случае, огромное спасибо всей вашей команде за этот курс!!!