从编解码和词嵌入开始，一步一步理解Transformer，注意力机制(Attention)的本质是卷积神经网络(CNN) 

作为一个有博士学位的ML的专业从业者，我也从王木头的视频中学到了很多内容。讲解十分清晰，并注重直观上的理解，很有价值。辛苦了！把视频放在youtube上也是很好的想法。要不然，在国外国外的人是不容易发现的。这里要感谢一下youtube的recommendation algorithms。

这个视频是在太经典了，多谢王木头分享！！！

目前只看了这一集（多头注意力还没有细看），几点感受： 1，从word2vec讲起来能够让大家在短时间里面抓住Transformer的脉络，实际上Transformer在生成翻译的时候也借鉴了RNN的思想。宏观上对同学们理解Transformer的发展特别有好处。 2，对Transformer的几点细节，比如为什么要自己乘以自己，为什么不直接用A*w，为什么除以\sqrt{D_{out}}来进行训练（从概率的角度比较新颖），为什么要分成三个矩阵实际上是包含了自己的思考，对Transformer老手有一定的启发。为什么要分成三个矩阵呢，这个作者的解释有点形而上了，感觉不是很习惯，对数学思维的培养没有好处。 3，在视频制作上很明显借鉴了3blue1brown的风格，但是前后风格很不统一，前面用动画，后面开始自己用PPT演板了。 推荐同学们在对深度学习有一定了解之后再看下这个Transformer视频。可以继续关注王木头学科学的后面视频，可以期待一下。

谢谢老师，讲的非常好，可以感受到 老师的专业，用心，与付出。

致敬王老师！满满干货，我头一回慢速去看youtube视频。。。线性代数教学那个吐槽，太有同感了。。我学线性代数时候就总想直观去理解它的几何意义，可惜没琢磨这么透彻。。老师照本宣科，学生稀里糊涂。。

謝謝老師，專業，有料，表達能力超棒！

不知不覺直接看完整個影片，講的真好，也填補了當初不解的地方。

其实第二部分老师不用去特别的去强调割裂空间和向量之间的关系，二者本来就是一体的，空间是客观的，但是对于空间的具体描述总是需要在一个具体的坐标系中进行的，也就是说我们总是习惯于使用一组标准的单位向量去描述一个空间，这组向量一般称之为基向量，矩阵代表着对空间的变换，是针对空间中的每一个向量进行的变换，自然也包括对充当这个空间的坐标系的基向量进行的变化，二者是一回事

哥你真的太强了，说真的，我现在只是有点基础，但是看了你的视频，我对面试深度学习方向更有信心了，非常感谢您

感謝老師，講得很清楚很容易理解。在不同情景下用不同理解去看待矩陣相乘這種思考方式也很受用。平常總是習慣用同一種理解去看待不同問題，有時候反而走進了死衚衕。

信息量非常大,可以看出花了很大的时间精力来准备内容,非常感谢

实在是讲的太好了！讲attention原理比1blue3brown讲的还好

谢谢老师！讲解的非常好

看到一個多小時，馬上興奮，謝謝分享辛苦付出

谢谢！

讲的真是太好了，尤其是向量和空间变化那一段，当初学线性代数就只会算题目了，根本不理解用来干啥的

雖然我還沒看，但是先感謝老師。

謝謝！

讲得真好！！希望以后线性代数和几何的融合课程！！

讲得好，谢谢！

这么好的视频，应该要点赞上去，让更多人受惠！

Thanks!

博主提到教材的问题，我有幸跟国内高校教授交流过，跟你说的如同原话，也是吐槽线性代数的教材，也同样举例- 为什么第一节是行列式-完全让学生们不知道线性代数核心精髓是什么。

期待線性代數的視頻

终于更新了

讲的很不错

卖力气！赞一个

铁粉支持

谢谢老师，讲的真实深入浅出啊，能出一集关于 RNN 相关的视频么？

讲的好！ 期待线性代数和几何的融合课程！

55：51是不错的观察，这么说还能增加更多变换

对线性代数的吐槽太有共鸣了

看完了～真的很棒，把Transformer的精髓講的很清楚，請問你是計算機專業或是念數學的嗎？

最后mask multi-head attention 的mask 没有理解，推理的时候是一个一个推理的，未来的单词还没有生成，如何能影响到当前正在推理的过程呢？

木头，有时间讲一下广义线性模型么。比较疑惑最后层激活函数的必要性的概率解释有些多余。比如说变形的tanh也可以做二分类，但是tanh并不一定对应指数族的伯努利分布，似乎有其他的族可以建模伯努利。

wood 博士，您用的示意图能发一下吗

我就是一开始行列式，然后天天就算行列式的结果。直到上次看了某个讲解线性代数的视频后才知道行列式（Determinant）的几何意义是向量的面积或者体积，用于表示更加底层的矩阵信息

修正：56:20秒B:=1/2(Wq·Wk^T+Wk^T·Wq)

Thanks a lt!

真的很精彩，尤其是很多[為什麼]的解釋，很令人佩服！不過，行列的說法，和英文有點出入。行==column, 列==row。我們說火車是一列，而不是一行。因此，初聽時，有些困惑。看完這講，推薦繼續看 Umar Jamil [Transformer from Scratch]，會更理解底層原理。

每一期都是精华版

感謝老師

神

楼主说的有道理，确实线性代数课本的知识顺序应该重新编排一下。行列式这个东西，其实是后面矩阵求逆的时候有用。但是上来就学行列式，好多人都被行列式复杂的计算直接吓到了，3x3的行列式就得且在纸上算一会了。这要是拿给美国人，算数能力不行，直接全军覆没，嘿嘿

王老师能出一期KNN吗

請問這些內容有ppt能下載嗎？因為方便上班時閱讀

我理解的Q与K相乘与图神经网络中的邻接矩阵形似，但还是没明白为什么要用Q、K、V三个矩阵

确实不错，数学基础比较好

干货满满，比大学里的老师讲得好

哈哈 行列式这个真的是干扰😂

牛逼

我大学的线代要是你教就好了，20年弯路呀，欲哭无泪

非常优秀的讲解。关于为什么要Wk Wq两个矩阵的问题，还有一个从更容易做optimization 的角度的解释。下面这个视频45分一个同学提出了和题主一样的问题ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-Vs85VCzug0I.htmlsi=lLIJmjhb_C5lTry1

終於有人和我的想法一樣

終於想起了頻道帳號的密碼。

如果你当教育部主任，中国的未来就有救了。说真的，一开始说线性代数说的太好了！在描述空间中找了非常棒的两个直觉角度！

同意 18''59 对国内线性代数的吐槽, 以前上学时候学的同济版的线性代数 和后来看的Gilbert Strang的线性代数， 完全不是一个东西。

请收下我的膝盖！

矩阵读作举阵而不是巨阵

注意力和cnn的矩阵乘有本质区别。矩阵乘是没法实现输入的多项式操作的，而是piecewise逼近。而attention本身kqv引入了多项式。虽然多项式这个说法不准确。

大哥应该去写论文

你长治类？

失踪人口回归啊、这是多久没更了😂

支持支持 要不要講一下抽樣 這個都好重要

wood，有一个困惑，听你这么一说似乎llm的原理是听清楚的，但是又经常看到有人说llm里面是个黑盒子，似乎挺矛盾的，你如何解释这个困惑？

木头不木😂

感謝你, 我受益良多

太高看自己了，告辞，打搅了

Transformer, 是图神经网络的特例。。。

语速怎么这么快？

我也想吐槽大学线性代数的教学，真的很烂。

没有数学基础的人好可怜😂

线性代数薄薄一本，作为教材真是耽误学生

對Q和K的解釋，在中共國裡面很反動

梨是pear不是pair，pair是对儿

I beleive transforming classics is perfect for "contraditive jokes" in comic and gaming industry very soon. 🤣😛

Thanks!