Плотные векторные представления слов для определение тональности | Обработка естественного языка

Подписаться 130 тыс.

Просмотров 4,8 тыс.

50% 1

Определение тональности отзывов на банки с помощью классических алгоритмов машинного обучения. Используем логистическую регрессию и плотные векторные представления слов.
00:00 - Начало
01:21 - Загрузка и предобработка данных
02:09 - Векторизация текста с помощью векторов navec
04:38 - Готовим данные для обучения
06:45 - Обучение модели логистической регрессии
07:24 - Оценка качества обучения модели
08:21 - Применение модели
10:09 - Итоги
Colab-ноутбук из видео - colab.research.google.com/dri...
Проект реализуется победителем Конкурса на предоставление грантов преподавателям магистратуры благотворительной программы "Стипендиальная программа Владимира Потанина" Благотворительного фонда Владимира Потанина".
вКонтакте - avsozykin
telegram - t.me/a_sozykin
Мой сайт - www.asozykin.ru
Мой канал с краткими и понятными объяснениями сложных тем в ИТ и компьютерных науках - / andreysozykincs

Наука

Опубликовано:

19 май 2024

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист

Посмотреть позже

Комментарии : 14

@math__brainstorm4580 Год назад

Полезное видео, респект автору за труд.

@user-ke6tz4vt2s Год назад

Андрей, большое спасибо за видео и примеры. Скажите, будут ли видео, связанные с дообучением существующих популярных моделей под свои задачи, или на своем наборе данных, через API OpenAI или хоть как-то. Очень интересна эта тема, но материала с такой толковой подачей материала, понятного для не инженеров и проч. технических людей крайне мало. Или поделитесь ссылками на толковые материалы по теме, если у Вас есть. Спасибо еще раз, пойду смотреть сети =)

@dmitrikonnov922 Год назад

Класс!

@AndreySozykin Год назад

Спасибо!

@hikoop5090 Год назад

Здравствуйте, а размер вектора это величина регулируемая ?(та , что в нашем случае равна 300)

@YourAwesomePlace Год назад

Первым делом, хотел бы поблагодарить за уроки! А можете, пожалуйста, для примера взять другую задачу, например, следует ли предложение из предыдущего, или являются ли второе предложение связанным по смыслу с первым, отнесение текста к определённым категориям? Просто, для определения тональности текста, я выбрал слова из отзывов, которые характеризуют тональность текста (отличный, хороший, супер, рад, доволен... и ужасный, отвратительный, обманул, отказал и тд), добавил проверку на "не" и суммирую частоту встречаемости этих слов в отзыве. Пока без модели справляется, понимаю, что это конечно, частный пример и может попасться отзыв без тональных слов вовсе. Но у меня пока срабатывает на 100%.

@YourAwesomePlace Год назад

думаю, это сможет сделать Ваш вклад в образование ещё более весомым, так как будут, примеры решения других задач. И появятся новые ключевые слова в названиях видео, которые приведут новую аудиторию:)