【機器學習2021】Transformer (下) 

要train transformer需要用什麼工具啊？tensorflow已經不夠用了是嘛？需要你說的Lora 與 adaption是嘛？

+1

谢谢你！我明白了，是和后面的GAN提到的吃豆人视频生成一个道理吧。（如果你暂时还没有看的话，因为训练资料里既有向左的糖豆人，又有向右的糖豆人，ground truth不唯一，所以最后生成的视频里吃豆人会分身，也就是ground truth的平均）但是在为什么加noise会抑制这种现象呢？（具体noise又是加在哪里呢？输入还是ground truth？）

@@jiashupan9181 我也有同样的问题！希望可以得到解答！

@@jiashupan9181 我的猜測是，加noise可一定程度避免"輸入完全等於訓練時看過的資料"，例如: 今天天氣真好 => 今天天氣真豪 或是 今天天氣真好!! 因為現在的深度模型大部分都已經overfitted，因此只要在訓練集看過，基本上都可以直接return訓練集結果，而對於多個ground truth的example，就是平均值。總之就是避免"輸入完全等於訓練看過的資料"。

我觉得你可能对Transformer的理解有些问题。我尝试跟你解释一下，attention要做的简单讲，就是用q，k求出v对应的比例，对所有的v进行weighted sum。这里的Q，之所以称之为Q，其实是Query的缩写，所以q的个数确定了后面生成的向量的数量。我的意思是，Q可以跟K，V的数量不同，但是K，V的个数必须是相同的，他们是成对出现的。

研究生也在修的

transformer內的encoder是輸入n個(長度為n的向量序列vector seq)輸出n個(因為是用self-attention模組)；decoder是輸入n'個輸出n'個，但transformer本身輸入是n個，輸出是n'個，輸入長度不等於輸出長度。

嗯，看明白了，n‘长度是decoder自己决定的@@laplaceha6700

還有硬train一發 哈哈哈

很好的视频

Beam Search可以看作是贪心与穷举的折中。

不是跟 input embedding 獲得方法一樣?

你可以從十年前的 Language model 來理解會更容易想通，也就是 google 提出來的 word2vec tensorflow 官方教學程式碼，其實語言模型會有一個 python dict 的 lexicon (辭典)，用來將 NLP token (如: 中文詞彙、英文 sub-word) 與 word embedding 做對應。word embedding 是 trainable，當 model decoder forwarding 的時候輸出的 embeddings 可以用第一版的 dict 來查詢 word embedding 究竟是對應什麼 NLP token；接著，backward 之後，會更新 dict 裡面的 word embeddings 向量 (最佳情況可以想成相關的 word 的 embedding 變得更接近、相反意義的 embedding 拉得更遠)，這就產生新一版的 dict。所以回答你的疑問，其實模型計算時使用的 Embeding 是 trainable embedding 而不是 one hot vector。程式實作上不會單用一個 dict 來轉換 embedding 與 NLP tokens，而是用 2 個 dict 來間接轉換，你可以用 1 個 dict 把 NLP token 轉成 one-hot 以方便程式撰寫，同時會用第 2 個 dict 把 one-hot 再轉成 trainable word embedding，所以實際上模型計算時是使用 word embedding 而不是 one-hot vector。one-hot vector 是要把模型輸出的 embedding 轉成人類看得懂的語言的時候才會用到。

同问