Тёмный
No video :(

Классификация текстов нейросетями | Нейросети для анализа текстов 

Andrey Sozykin
Подписаться 134 тыс.
Просмотров 22 тыс.
50% 1

Опубликовано:

 

29 авг 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 47   
@web_kub
@web_kub 4 года назад
Ты лучший! Слушать приятно. Все четко по полочам. Ты большой молодец! Спасибо!
@AndreySozykin
@AndreySozykin 4 года назад
Пожалуйста! Рад, что понравилось!
@ArtHiteca
@ArtHiteca 4 года назад
Спасибо за отличный канал и видеоуроки)
@AndreySozykin
@AndreySozykin 4 года назад
Пожалуйста!
@user-yx2nz6mn9j
@user-yx2nz6mn9j 5 месяцев назад
Спасибо! Отличный видеоурок
@AndreySozykin
@AndreySozykin 4 месяца назад
Пожалуйста!
@Alexcei64rus
@Alexcei64rus 4 года назад
Спасибо за уроки! С заголовками результат получше (CNN 0.9083). Нужно не забыть также заголовки в test_sequences добавить
@AndreySozykin
@AndreySozykin 4 года назад
Отлично!
@vigilit-video1765
@vigilit-video1765 3 года назад
Отличное видео! Кратко и по делу! Спасибо!
@AndreySozykin
@AndreySozykin 3 года назад
Пожалуйста!
@user-rt1dt5kx3p
@user-rt1dt5kx3p 2 года назад
Спасибо. Ждем продолжения!
@viktorpavlov4499
@viktorpavlov4499 2 года назад
Спасибо большое!
@AndreySozykin
@AndreySozykin 2 года назад
Пожалуйста!
@xavivore9628
@xavivore9628 4 года назад
Спасибо за видео!! Очень познавательно. Давайте Вы в следующем видео сделайте нейросеть, которая изобретёт вакцину от вируса)
@AndreySozykin
@AndreySozykin 4 года назад
Тема интересная. Вирус, как и любая ДНК - это строки, которые можно воспринимать, как текст. Однако я вряд ли смогу придумать вакцину, т.к. не специалист в этом деле.
@AlexanderRodionov95
@AlexanderRodionov95 4 года назад
Бил Гейтс уже изобрел вакцину - не переживайте ))
@vladtamolov2292
@vladtamolov2292 4 года назад
Спасибо за лекцию
@AndreySozykin
@AndreySozykin 4 года назад
Пожалуйста!
@travmopedia5918
@travmopedia5918 2 года назад
Спасибо!
@Alexander-iz7kk
@Alexander-iz7kk 3 года назад
Добрый день, подскажите, как использовать сохраненную обученную нейросеть, чтобы проставить категории по новым новостям, которые не имеют правильных ответов? Собственно цель и присвоить неизвестной новости нужную категорию. Как получить этот результат?
@user-eo3cn8pb3u
@user-eo3cn8pb3u 9 месяцев назад
Тоесть нужно где то раздобыть словарь {слово: число} включающий в себя все слова в языке? Есть ли способы динамически наращивать словарь без полного переобучения сети?
@user-dj8zh6tw6z
@user-dj8zh6tw6z 2 года назад
А почему мы предварительно не привели новостные тексты к формату, исключающему запятые, знаки препинания и прочие небуквенные символы?
@AndreySozykin
@AndreySozykin 2 года назад
Это курс по нейронным сетям, я пытаюсь объяснить, как работают нейронки разных видов. Конечно, если сделать пред.обработку текста, то качество работу повысится. Но это уже длительное отвлечение от темы нейронок. Сейчас делаю новый курс по обработке естественного языка, там будет эта тема.
@user-ut8vq5xk6s
@user-ut8vq5xk6s Год назад
Подскажите, пожалуйста, что именно нужно изменить в коде, чтобы сеть проанализировала мой набор данных(новостей), в которой только новость, без заранее известных классов.
@user-qd6yx2de9s
@user-qd6yx2de9s 4 года назад
Здравствуйте, подскажите, а можно как нибудь "заморозить" сверточные слои нейросети и обучить "хвост" сети на другой базе данных для распознавания речи? Или может быть есть модели типа VGG16 или VGG19, но для распознавания речи?
@auffff779
@auffff779 4 года назад
Привет, вопрос такой. Почему на графиках валидация на тестовом сете (оранжевая прямая) лучше, чем на тренировочном (синий цвет)? На 13:18 или на 15:05, например, это видно
@AndreySozykin
@AndreySozykin 4 года назад
Это на первой эпохе, так часто бывает.
@auffff779
@auffff779 4 года назад
@@AndreySozykin мне кажется, это из-за того, что у вас датасет не зашаффлен, и в тесте данные не также распределены, как в тренировочном сете. Или это можно как-то иначе объяснить?
@user-vj3mq3px2f
@user-vj3mq3px2f 4 года назад
Андрей. Спасибо большое за ваши уроки, очень понятно объясняете. Решил тоже попробовать обучить сеть на своих данных, но при методе tokenizer.fit_on_texts(news) выдает ошибку, которую никак не могу победить - AttributeError: 'float' object has no attribute 'lower' может вы сталкивались с таким и знаете решение? Заранее спасибо!
@MsCornil
@MsCornil Год назад
tokenizer.fit_on_texts(news.astype(str))
@nicko6815
@nicko6815 4 года назад
Здравия! А для новостей на русском языке код надо менять? Благодарю!
@AndreySozykin
@AndreySozykin 4 года назад
Код обучения нейросети не нужно. Изменится код подготовки данных для обучения.
@nicko6815
@nicko6815 4 года назад
@@AndreySozykin Спасибо!
@paramoncanal5126
@paramoncanal5126 4 года назад
@@AndreySozykin А как его изменить? Есть набор данных на русском, хотелось бы попробовать на нём обучить P.S. Спасибо за интересный видеокурс!
@user-xl2tf4gq1g
@user-xl2tf4gq1g 4 года назад
Добрый день! У кого-нибудь есть ссылка на ноутбук с сетью CNN, которая распознает сразу несколько объектов на одном изображении?
@atlant1707
@atlant1707 4 года назад
А есть видео о применении модели. Т.е мы создали модель и как ее применять
@AndreySozykin
@AndreySozykin 4 года назад
Можно взять примеры из предыдущих видео, например - ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-NPJ1kF-63VI.html. Применение сети начиная с 10 минуты.
@user-eb6oq7nm7f
@user-eb6oq7nm7f 4 года назад
@@AndreySozykin получается array в котором столько элементов с разными значениями, сколько у нас классов. Возникает вопрос, как теперь понять, к какому классу относится новость?
@jekabachax5552
@jekabachax5552 3 года назад
@@user-eb6oq7nm7f с помощью numpy. сделай np.agrMax(array)
@user-mj4te2lx1m
@user-mj4te2lx1m 2 года назад
а разве при переобучении можно доверять результатам сети?
@consoleplayer301
@consoleplayer301 Год назад
У тебя со второй итерации у каждой нейросети переобучение начинается и они деградируют, это не норма, модели плохие.
@whereispie
@whereispie 4 года назад
Воу
@prosto_odinochestvo
@prosto_odinochestvo 2 года назад
не интересно. весь интернет усеян подобными уроками и все работают с англоязычными данными. если вы пытаетесь нести информацию для русскоязычных, то и будьте добры это делать на русских данных.
@user-mj4te2lx1m
@user-mj4te2lx1m 2 года назад
а в чем беда? это же урок, основанный на уже собранных данных. Вы сами соберите нужное количество данных для обучения на русском, тут уже не важно какой язык использовать по сути, все равно все слова в цифры преобразуются, и уже их сеть запоминает.
Далее
Reforged | Update 0.30.0 Trailer | Standoff 2
02:05
Просмотров 770 тыс.