Тёмный
No video :(

Анализ тональности отзывов на фильмы IMDB | Нейросети для анализа текстов 

Andrey Sozykin
Подписаться 134 тыс.
Просмотров 16 тыс.
50% 1

Применение Keras и TensorFlow для определения тональности текстов. Страница курса - www.asozykin.r...
Рассматривается загрузка набора данных IMDB средствами Keras. Выполняется исследование набора данных IMDB и предварительная подготовка. Классификация выполняется с помощью полносвязной нейросети.
Ссылка на ноутбук из видео - colab.research...
Описание набора данных IMDB - ai.stanford.ed...
Лекция "Представление текста в цифровом виде для нейросети" - • Представление текста в...
Русскоязычный корпус коротких текстов RuTweetCorp - study.mokoron.com/
Как можно поддержать курс:
1. Яндекс Кошелек - money.yandex.r...
2. PayPal - www.paypal.me/...
Заранее спасибо за помощь!
Добавляйтесь в друзья в социальных сетях:
вКонтакте - avsozykin
Instagram - / sozykin_andr
Facebook - / asozykin
Twitter - / andreysozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

Опубликовано:

 

29 авг 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 55   
@dinarakhaydarova4898
@dinarakhaydarova4898 Год назад
один из немногих русскоязычных каналов для качественного изучения nlp
@AndreySozykin
@AndreySozykin Год назад
Спасибо!
@user-dp6th8mu6v
@user-dp6th8mu6v Год назад
Просто великолепное видео! Спасибо за Ваш глубокий педагогический подход!
@user-ej5up4bk8o
@user-ej5up4bk8o 5 лет назад
Как всегда отличное видео, спасибо. Уже третий раз по окончании закрываю его а потом открываю заново, чтобы лайк поставить. Добавь напоминание в конце - ставьте лайки, подписывайтесь на канал... думаю количество лайков должно возрасти.
@AndreySozykin
@AndreySozykin 5 лет назад
Спасибо за приятный отзыв. Напоминание про лайки и подписки в видео меня раздражает :-) Думал, большинство людей также относится. Или наоборот, все уже привыкли к призывам ставить лайки?
@ArmwrestlingTV
@ArmwrestlingTV 5 лет назад
Andrey Sozykin контент супер годный, спасибо
@achilleselon5168
@achilleselon5168 3 года назад
i realize Im kind of off topic but does anyone know a good website to stream new movies online?
@gideonmorgan9684
@gideonmorgan9684 3 года назад
@Achilles Elon i use FlixZone. Just search on google for it =)
@sorenkane5865
@sorenkane5865 3 года назад
@Gideon Morgan definitely, been watching on FlixZone for since april myself :D
@galymzhankenesbekov2924
@galymzhankenesbekov2924 4 года назад
просто прекрасные видео! Огромное вам спасибо, за знания!
@AndreySozykin
@AndreySozykin 4 года назад
Пожалуйста! Рад, что понравилось!
@MrNovoross86
@MrNovoross86 3 года назад
Очень очень интересно. Большое спасибо!
@AndreySozykin
@AndreySozykin 3 года назад
Пожалуйста!
@DenisDementiev
@DenisDementiev 4 года назад
Огромное Вам спасибо!
@AndreySozykin
@AndreySozykin 4 года назад
Пожалуйста!
@Ankerok1
@Ankerok1 5 лет назад
Спасибо за видео, ждем следующих двух! В них вы покажете способы визуализации результатов? В форме пятиконечной звезды, например, или другими.
@AndreySozykin
@AndreySozykin 5 лет назад
Не понял про визуализацию в форме звезды :-) Можете дать ссылку на примеры?
@user-rt1dt5kx3p
@user-rt1dt5kx3p 2 года назад
Спасибо. Очень познавательно
@shaha2411
@shaha2411 5 лет назад
Спасибо большое!
@AndreySozykin
@AndreySozykin 5 лет назад
Пожалуйста!
@user-ur9fs8cx4f
@user-ur9fs8cx4f 5 лет назад
Спасибо!
@AndreySozykin
@AndreySozykin 5 лет назад
Пожалуйста!
@Sketlaver
@Sketlaver 5 лет назад
Ни разу не программист, но чет стало интересно как можно создать нейросеть которая будет играть в игру сама. Очень хочется посмотреть за процессом обучения.
@AndreySozykin
@AndreySozykin 5 лет назад
В видео используется обучение с учителем, а для игр применяется другой тип обучения - обучение с подкреплением.
@jjj78ean
@jjj78ean 4 года назад
Хорошее видео. Но совершенно непонятно , что делать не с готовым датасетом, а со своим. Не мог бы ты на небольшом примере показать, как например самим из 100 отзывов сделать датасет(токенизация,стемминг, создание массива нулей\единичек) и как засунуть это добро в нейросеть
@AndreySozykin
@AndreySozykin 4 года назад
Про работу со своим набором данных есть отдельное видео - ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-a1Q_rzmMECg.html
@da_costa-h7t
@da_costa-h7t 4 года назад
Это же не относится напрямую к машинному обучению. Достаточно знать немного программирование
@yaroslavmironov1075
@yaroslavmironov1075 4 года назад
Для рекурентных сетей рекомендуется использовать оптимизатор RMSProp
@AndreySozykin
@AndreySozykin 4 года назад
Есть такие рекомендации, но также есть и рекомендации использовать adam. Мне кажется, лучше пробовать оба оптимизатора.
@yaroslavmironov1075
@yaroslavmironov1075 4 года назад
@@AndreySozykin а в каких случаях лучше использовать adam?
@kuqmua755
@kuqmua755 5 лет назад
Можете подсказать примеры детекции например "котиков/собачек" в реальном времени. Например есть news feed и для каждого поста где прикреплено изображение нужно задетектить на изображении "котика/собачку", а затем провернуть какое-то действие с этим постом до того как показать пользователю. Больше всего интересно может ли такая система с большим количеством обьектов детекции работать в real time ну или с задержкой 1-5 мин(и как оценить время детекции и размер моделей- держать их в оперативке или на ссд/жестком диске? Сколько вообще памяти могут занимать модели? Есть какая-нибудь статистика?). Интересует сколько может занимать вес модели и примеры архитектур паралельной детекции. (Например встроить промежуточный сервер который будет находиться между соц сетью/блогом и пользователем, принимать ленту новостей с сервера соц сети, детектировать кошечек/собак, удалять посты с ними а затем возвращать ленту новостей пользователю уже без кошечек и собак
@AndreySozykin
@AndreySozykin 5 лет назад
Интересное предложение. Сделать можно, но проект будет достаточно большой и сложный. Кроме того, нужно много всего дополнительно к нейросетям знать, в том числе как деплоить модели на серверы и т.п. Работа в реал-тайм - это тоже отдельная большая тема.
@kuqmua755
@kuqmua755 5 лет назад
@@AndreySozykin а где про это можно спросить кроме чатика opendatascience в слаке или в каком-то чате телеграмма не подскажите?
@derafum
@derafum 2 года назад
Спасибо за видео. Для русского языка подойдёт нейросеть ?
@user-hs5ix8rk7x
@user-hs5ix8rk7x 4 года назад
Мне показалось, или вы не отмасштабировали данные перед обучением. Насколько я понимаю, для сетей это критично. Когда-то читал, что переобучение может возникать в таких ситуациях, если алгоритм определения нормы по перекрестной энтропии и оптимизатор вообще сработают. Или масштабирование где-то выполнилось автоматически?
@user-hs5ix8rk7x
@user-hs5ix8rk7x 4 года назад
I am a little confused
@da_costa-h7t
@da_costa-h7t 4 года назад
Думаю автор просто показал как делать не нужно)
@saralige
@saralige 4 года назад
Скорее всего, у вас оговорка. Слово "the" имеет код 4 а не 3, и так далее...
@AndreySozykin
@AndreySozykin 4 года назад
Да, не правильно сказал. Спасибо, что заметили.
@RustemShaimagambetov
@RustemShaimagambetov 5 лет назад
Добрый день, Андрей! Позвольте спросить 1.А что за 4-ое видео с ограниченным доступом?) 2.когда будут следующие выпуски?? Очень сильно ждем! 3.Касательно обучения word2vec, например для казахского языка. Где можно подобрать для него соответсвующий датасет? Пробовал через api wikipedia kz, но там статьи поштучно парсить долго времени уходит(статей 200к+), встречали ли вы для таких случаях собранные в одном месте такие данные.
@AndreySozykin
@AndreySozykin 5 лет назад
Видео с ограниченным доступом - это и есть следующий выпуск :-) Что-то было неправильно с настройками публикации, сейчас починил и видео доступно. С датасетами на казахском языке не встречался, к сожалению.
@da_costa-h7t
@da_costa-h7t 4 года назад
Нашли данные на казахском?)
@ne4to777
@ne4to777 4 года назад
Я так понимаю, расчет количества нейронов и слоев это тайна за семью печатями, которую знают только избранные
@AndreySozykin
@AndreySozykin 4 года назад
Нет, это не тайна, а сложное искусство подбора гиперпараметров. Его значительно облегчают автоматические инструменты, такие как Keras Tuner и HyperOpt.
@ne4to777
@ne4to777 4 года назад
Честно говоря, прозрел, когда увидел, что тексты оцифруют по принципу частоты их использования и это даст результат. Как оказалось, не даст. Зачем тогда это видео?
@AndreySozykin
@AndreySozykin 4 года назад
Это дает результат, но не для нейронок.
@EdwVee
@EdwVee 4 года назад
Почему слов 200, а входных нейронов 128?
@AndreySozykin
@AndreySozykin 4 года назад
Количество входный нейронов может быть любым, не обязательно по количеству слов. Каждое слово подается на вход всем нейронам. Поэтому проблем с разнам крличеством слов и нейронов не возникает.
@EdwVee
@EdwVee 4 года назад
@@AndreySozykin я не понимаю как это происходит. Вы не могли бы объяснить? Если каждое слово подаётся на вход каждому входному нейрону, то это и должны быть входные нейроны, а входные промежуточными. То есть нейросеть из четырех слоев с конфигурацией 200 128 64 1 получается.
@user-hs5ix8rk7x
@user-hs5ix8rk7x 4 года назад
@@EdwVee можешь считать, что данные, которые подаются на вход (они же слова, точнее их интерпретация в виде частотности), это нейроны с линейным автиватором, у которых есть свой весовой коэффициент.
@vladtamolov2292
@vladtamolov2292 4 года назад
Норм
@user-kw4zk6xm3l
@user-kw4zk6xm3l 2 года назад
А лекций нет, обман, ЖУЛИК
@doniyordjon_pro
@doniyordjon_pro Год назад
index = 3 message = '' for code in x_train[index]: word = reverse_word_index.get(code-3, '?') message += word + ' ' message _________________________ что значит code-3, и почему именно -3 ?
Далее
娜美这是在浪费食物 #路飞#海贼王
00:20
Sentiment Analysis with BERT Neural Network and Python
31:56