【深層学習】word2vec - 単語の意味を機械が理解する仕組み【ディープラーニングの世界 vol. 21】 

一般人が疑問に思っているところをちゃんと疑問としてくれてることろが素晴らしいです！

本当に素晴らしい。わかったつもりで流していた部分の解像度が千倍上がりました。

word2vecを使っている身ですが、知らないことが多く恥ずかしいです。とてもわかりやすかったです、他の動画も見ます。ありがとうございました！

高評価100回押したいくらい分かりやすい！！

神動画．この動画だけで十分理解できてしまう

わかりやすすぎて驚いてる

自然言語処理始めて注意2で詰まっていたので、すごく納得しました（➰〰➰）ﾉ ありがとうございます

素晴らしい！！

はじめまして。いつもわかりやすい動画ありがとうございます。CBOWについての質問です。中間層では入力層のV次元ベクトルに(h × V)行列を掛けると書いてありますが、高校時代に行列の掛け算というのは(1,V)×(V×h)のような計算はできても(1,V)×(h×V)という計算はできないという風に習った記憶があります。今回はベクトル×行列なので上記のルールは適用されないのでしょうか？数弱すぎて初歩的な質問になってしまい申し訳ありません。

今回の動画も分かりやすかったです！ ありがとうございます！！ されていたら申し訳ないのですが、Doc2Vecについても解説して欲しいです！

たいへん勉強になります。ありがとうございます。1つ質問です。18分頃から出てくるｈX V行列は具体的にどのような行列になりますか？

わかりやすい！

negative samplingについて教えてください。 正例と負例のうち、負例は説明の通りでわかったのですが、正例がわかりませんでした。 これは、そもそも学習の時にインプットと合わせてモデルに与える(w_tは〇〇だよと)という理解で合っていますでしょうか？

「面白い、わかりやすい、深い」が見事に実現されていますね。日本語が分かって本当によかったと毎回感じさせてもらっています(日本人ですが）。お願いとしては、「Alciaからみた大学入試問題の風景」のシリーズなどはご無理でしょうか？答えを出すための解法動画は他にもありますが、もっと高みから見たものをAlciaさんに解説していただけると、すばらしいと思います。現在かなりコアな方が対象になっていますが、中高校生から社会人までどーんと日本中でAlciaファンが増えるのではないでしょうか。こちらのチャンネルの１ファンとして是非そうなって欲しいと思います。長文失礼しました。

分かりやすかったのでいいね7回押しました!

よくわかりました！！

動画乙。自然言語処理は疎くて、word2vecって、ベクトル化程度にしか記憶してなかったけど、よくわかりました。次回も期待。

自分が修士の時に、SOMの改良版で文書分類してたんですが、Word2Vecなかったんですよね。

動画ありがとうございます。 勉強させていただいています。 1つ質問させてください。 25分あたりでW_I=(V1, V2......Vv)と説明されていますが これは図でいうと以下のように単語ごとのベクトルが縦に入っているという理解であっているのでしょうか。 　v_1 = wt-cのone hotベクトル 　v_2 = wt-1のone hotベクトル

いつも分かりやすい動画を生成いただきありがとうございます！ ようやく NLP 編に追いつきました… (NLP だけに) 1点質問させていただきたいですのですが, 学習の高速化のところで 「高速化なし (現実的ではないとのことですが)」「hierarchical softmax」「negative sampling」それぞれについて, 同一の単語でも取得できる分散表現は結果が異なりそうな気がしているのですが理解あっておりますでしょうか？ またその場合, どの手法が分散表現の結果が人間の理解に近しいものなのかという観点での研究結果はございますか？ NLP を勉強し始めたばかりの初心者質問で申し訳ございませんが, ご回答いただければ幸いです。

数学が超弱い私でも分かりやすく、ちゃんと深く解説されていて面白かったです！ 質問なのですが、高次元を学習させるデメリットは、計算量が膨大になる、ベクトルが冗長(疎)になることで精度が悪化する、過学習しやすい等があるのかなと思ったのですが、他にもあるのでしょうか？ また、この現象に名前は付いてますか？(調べ方が分かりませんでした...)

面白かったです!2つ質問があります。①単語分散表現を得る手法として、cbowとskipgramはどっちが良いのでしょうか？ ②hierarchical samplingとnegative samplingはどちらがよく使われますか？

すごくためになりました！ひとつ最後のNegative samplingについて質問です！ Negative SamplingのモデルとしてはCBOWとskip-gramのどちらの場合でもsoftmaxの部分がロジスティック回帰になっていると考えて大丈夫でしょうか？

非常に分かり易かったです。毎回、ありがとうございます。1つ質問させてください。分散表現を横に並べたW_i は学習により求めると理解しました。ただその場合、特にskip-gramでは必ずしもW_iは予測精度の観点からみると適切ではない、でも分散表現としては適切となるでしょうか？分散表現をどのようにして得るのかを知りたいです。

すごい分かりやすかったです！ けど数学のところが... 機械学習および自然言語処理をやるうえで大学1.2年で習った数学の知識全部必要でした💦 こんなの何に使うんだよ！！早くプログラミングやらせろ！！とか言ってた2年前の自分を殴りたいです😭

いつもありがとうございます！ 17:44 h×vのhは2c個の単語の単語数で最大でも2cという認識であっていますでしょうか？

NLPは疎いのですが凄くためになりました！ありがとうございます． CBow(encoder)とskip-gram(decoder)を組み合わせてautoencoderのように(skip-gramの入力はCBowの出力のon-hot vector)再構成誤差が小さくなるように学習すると，更に潜在変数空間がうまく学習できるのでは？と思いました．画像系とはやはり違うのですかね？パラメータ数が大きくなりすぎるのでしょうか

いつもめちゃくちゃ勉強になってます！ありがとうございます！ いいね２回押しました！ちなみにfasttextのご紹介などもご検討いただけたりしますでしょうか？ fasttextも上記のような形で学べたらテンソン上がりすぎていいね４回押しちゃうと思います！

質問2件です (1/2) CBOWで2C個の平均を取っているのは、W_t-c〜W_t-1、W_t+1〜W_t+cの平均が大体W_tを表すベクトルになるんじゃない？という気持ちなのでしょうか？ (2/2) CBOWがお勉強して賢くなると、W_I行列がブラッシュアップされて、結果として分散表現が上手くなるという雰囲気なのでしょうか？

注目単語から周辺単語を予測する条件付き確率ってどうやって計算するのでしょうか。

ニューラルネットワークで次元を圧縮して特徴量を抽出する。発想としてはオートエンコーダと似てて、それの発展みたいな感じかな。しかしまあ、よくこんなの思いつくもんだ。

skipgramがさすがに適当過ぎて圧縮できればおkと言われても感覚的には無理がある気がするしcbowがあるなら全部それでいいじゃんって思っちゃうけど、実際cbowよりskipgramの方が有利な場合や使われる場合ってどんなケースがあるんだろ。

3:55

アイシアさーん。 この動画から、動画タイトルのナンバリングがズレてませんかー？ この動画は、【ディープラーニングの世界 vol. 21】のはず。

hierarchical softmax がマジでわからん logV回の2分類はどれとどれを分類するんだ？ 2分類をlogV回繰り返して最終的にV分類するためには、単語を完全2分木の葉にして根からたどることになるはずだけど、完全2分木は誰が作るの？

ふぎゃぁあ（分かった）

もうめちゃくちゃ単純なことがわからない、Vとhってどれ、なんのことですか😢

skip-gramだと出力のそれぞれの単語に対して予測確率が同じになってダメダメという話がありましたが、出力のそれぞれに対する予測を独立に行っているだけであって、分類精度を平均するとCBOWと同じようなものではないのでしょうか。分類精度を高くするというのが直接の目的ではないのはその通りだと思うのですが、skip-gramがCBOWよりもダメなモデルであるというのは誤解を生むのではないかと思います。実際skip-gramの方がよく使われていると思います。