Тёмный

RNN模型与NLP应用(5/9):多层RNN、双向RNN、预训练 

Shusen Wang
Подписаться 29 тыс.
Просмотров 12 тыс.
50% 1

下节课 文本生成: • RNN模型与NLP应用(6/9):Text ...
这节课有3个内容:1. 多层RNN, 2. 双向RNN,3. 预训练。
主要内容:
0:16 Stacked RNN(多层RNN)
4:12 Bidirectional RNN(双向RNN)
8:15 Pretrain(预训练)
课件:github.com/wan...
相关视频:
1. 数据处理: • RNN模型与NLP应用(1/9):数据处理基础
2. 词嵌入: • RNN模型与NLP应用(2/9):文本处理与词嵌入
3. Simple RNN: • RNN模型与NLP应用(3/9):Simpl...
4. LSTM: • RNN模型与NLP应用(4/9):LSTM模型
5.RNN的改进: • RNN模型与NLP应用(5/9):多层RNN...
6. 文本生成: • RNN模型与NLP应用(6/9):Text ...
7. 机器翻译: • RNN模型与NLP应用(7/9):机器翻译与...
8. Attention: • RNN模型与NLP应用(8/9):Atten...
9. Self-Attention: • RNN模型与NLP应用(9/9):Self-...

Опубликовано:

 

16 окт 2024

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 21   
@jinyang4796
@jinyang4796 3 года назад
非常感谢老师清晰的讲解!您提供的例子与代码让讲解变得更具体和易懂!
@constye6374
@constye6374 3 месяца назад
感恩分享,非常清晰! 感觉可以考虑给H增加维度,比如32 -> 128这样
@pengxu8542
@pengxu8542 3 года назад
当embedding层的参数太多,从而造成overfiting的时候,可不可以减少词向量的维度,以视频里的电影评论为例,把词向量减少到32以下,这样会提升模型的整体效果吗?
@孤独剑客-j8h
@孤独剑客-j8h 3 года назад
Best video ever
@frankrobert9199
@frankrobert9199 Год назад
谢谢王老师。对embedding 有没有更多技巧的讲座?
@zhiweisong4617
@zhiweisong4617 3 года назад
王老师您好~。 在pretrain 模块中,您说embedding 层在大数据集中train完之后,放到LSTM中参数就不变了。 但是我理解的transfer learning中,pretrain完的参数不应该是作为之后训练的初始值,然后做微调嘛?
@ShusenWang
@ShusenWang 3 года назад
数据够大就应该fine tuning
@赖若飞
@赖若飞 3 года назад
王老师好,双向LSTM那个听懂了,但是有点不太明白,比如在时刻t的时候,需要正向lstm的输出A,需要逆向lstm的输出A撇,可是A撇这时候是不是还没算出来啊?那这两个向量做拼接怎么做呀
@davidz9440
@davidz9440 3 года назад
可以等两个输出都拿到了,再做拼接。
@kim-uk2if
@kim-uk2if 4 года назад
王老师讲的真好,能否加个linkedin
@xiangwang4462
@xiangwang4462 3 года назад
谢谢老师!
@stephensu4000
@stephensu4000 4 года назад
讲的很好
@tr77229591
@tr77229591 2 года назад
very good
@ximingdong503
@ximingdong503 3 года назад
你好 大佬 我想问下 5.45 的 部分 h0 和 ht‘ 就是 y1 吗? 只是 如果是一层的话 就用 ht 和 ht’结合起来 丢进 全链接层 对吧
@lni600ni4
@lni600ni4 3 года назад
h是整句话的输出。y是双向分别到这个词的两个参数矩阵的输出。
@jimmyho9649
@jimmyho9649 3 года назад
ht 和 ht'两个向量concat在一起,得到一个新的向量,这个向量的长度是两倍的h,这个新的向量记作y,y就是这个双向RNN的最终输出
@chongwenli2882
@chongwenli2882 3 года назад
有实际代码可以分享在git吗
@yli2129
@yli2129 2 года назад
求更新
@hvb1555
@hvb1555 2 года назад
666
@slz2188
@slz2188 3 года назад
666
Далее
RNN模型与NLP应用(3/9):Simple RNN模型
20:50
Просмотров 20 тыс.
Собираю Маню к осени ✨
00:48
Просмотров 1,1 млн
How the Best Hackers Learn Their Craft
42:46
Просмотров 2,6 млн
从零开始学习大语言模型(一)
20:13
Просмотров 219 тыс.
RNN模型与NLP应用(2/9):文本处理与词嵌入
16:12
Transformer论文逐段精读
1:27:05
Просмотров 409 тыс.