Тёмный
No video :(

「単語ベクトル」とは何か? 

ことラボ
Подписаться 139 тыс.
Просмотров 111 тыс.
50% 1

📕参考文献
・本家 Word2Vec
code.google.co...
・python ライブラリ Gensim
radimrehurek.c...
・訓練済み日本語単語ベクトル
aial.shiroyagi...
🐧 Twitter
/ kotolaboryo
🎵Music: www.bensound.c...
🙏 Special Thanks
日本語字幕・汉语字幕:あやかりさん

Опубликовано:

 

4 сен 2021

Поделиться:

Ссылка:

Скачать:

Готовим ссылку...

Добавить в:

Мой плейлист
Посмотреть позже
Комментарии : 158   
@Mejiro_kyoso
@Mejiro_kyoso 2 года назад
掃除機の「飼う:1」どう考えてもルンバで草
@stsz1403
@stsz1403 2 года назад
ルンバの登場で掃除機の単語ベクトルがペット方向にも伸びつつある =ペットに使われるような文脈に掃除機という単語が用いられるようになってきた 未知の環境に進出して進化の途上にある生物のようで面白い
@user-sw1zj8fv4m
@user-sw1zj8fv4m 6 месяцев назад
4:43 これw
@ybk1940
@ybk1940 2 года назад
東京-日本+イギリス=ロンドンなのなんとなく理解できるしすごいなこの概念
@user-pb6gx8ye7i
@user-pb6gx8ye7i 2 года назад
移項すると東京-日本=ロンドン-イギリスで首都-国が成り立つからすごいよな。
@underambii8388
@underambii8388 2 года назад
@@user-pb6gx8ye7i やべぇめちゃくちゃすげぇwwww
@user-or3jb7wt3t
@user-or3jb7wt3t 2 года назад
@@underambii8388 当然の帰結
@pihha5204
@pihha5204 2 года назад
東京は日本の首都だった…?
@user-gk9vs3gv7j
@user-gk9vs3gv7j 2 года назад
@@pihha5204 江戸時代の住民現る
@user-rg6ro2pu3e
@user-rg6ro2pu3e 2 года назад
毎回、最後にスッキリさせてから考えさせられることを言ってるのが好き。 「ほらほら、何見てばかりいるんだ?君も考えるんだよ?!」 って言われてる気がしていつも、はっ!ってなる
@hirominakami9991
@hirominakami9991 2 года назад
さすが猫吸い 吸引がちゃんと入ってるの凄い笑 色々見させてもらってるけど、改めて言語面白いなと思いました
@user-pb6gx8ye7i
@user-pb6gx8ye7i 2 года назад
掃除機に飼うが1あるのはルンバの影響だろうか
@user-tx3pv1xl6g
@user-tx3pv1xl6g 2 года назад
@@user-pb6gx8ye7i 砂浜でルンバ散歩させてそう
@-haru885
@-haru885 2 года назад
コサイン類似度で内積計算出てきて知ってる知識が使えてなんか良かった
@____ai6121
@____ai6121 2 года назад
学んできたことがこんなところで、、、!と思うと、勉強しておいてよかったなあって思いますよね。
@user-pg7rx8pw4j
@user-pg7rx8pw4j 2 года назад
猫に吸引が12あるの良いw
@GO-ts1nu
@GO-ts1nu 2 года назад
これか ru-vid.com/video/%D0%B2%D0%B8%D0%B4%D0%B5%D0%BE-eHVp3p8zZRw.html
@taiyip9238
@taiyip9238 2 года назад
@@GO-ts1nu スパムかと思ったけど有能で草
@user-pb6gx8ye7i
@user-pb6gx8ye7i 2 года назад
てか普通に猫吸うもんな
@user-yl6hy5yy1y
@user-yl6hy5yy1y 2 года назад
でも、猫を吸う人いる。間違いではない
@user-df8ft1bv2e
@user-df8ft1bv2e 2 года назад
犬に吸引がないのはおかしい
@user-nv7dg7ed7q
@user-nv7dg7ed7q 2 года назад
何に使うんやこんなもん、と思ったらそうか… なるほど、そうやってネットって検索者の要望に答えてたのか… すげーな…プログラマーの方々には頭が上がらないな…
@fontono
@fontono 2 года назад
Googleが生まれたての頃、開発者がテレビのインタビューに答えていたのを思い出す。 インタビューア 「あなたは何をしているのですか?」 Google開発者  「我々はコンピュータに『常識』を覚えさせているのです。ものすごくたくさん」
@user-lz1rq9cj1g
@user-lz1rq9cj1g 2 года назад
猫吸いは猫好き、 掃除機飼うはルンバの影響が出てて草。
@m.e.7382
@m.e.7382 2 года назад
最近では文脈を考慮できるBERTが用いられることが多いですね。"I ate an apple."と"I have a apple product"のappleをフルーツと会社のappleとして区別できます。
@Natttttto
@Natttttto 2 года назад
この人の動画なに見ても外れないんだよなぁ
@35satori
@35satori 2 года назад
文系も理系も仲良く発狂できる動画見つけたw
@user-eq9sr6up4y
@user-eq9sr6up4y 2 года назад
美術系も数字強い方が便利だなって何度も思いました 多分言語とかも統計とか地学にぶち当たって泡吹いてるんだろうなぁ
@ss-jx5tf
@ss-jx5tf 2 года назад
理系はわかるんじゃね?これ 俺はわからんけど
@user-fe5or8te2i
@user-fe5or8te2i 2 года назад
実際にプログラム組むのは別ですが、文系でも大学で金融、心理学、社会学、マーケティングとかで、統計の基礎としてやるかなぁと思います。
@inntaisagi
@inntaisagi Год назад
言い方が草
@ranten-oukoku
@ranten-oukoku Месяц назад
あれ?ゆるコンピュータ科学ラジオでの水野氏のモノマネより遥かに声高いぞ
@sarurich
@sarurich 2 года назад
以前これを研究していた方をお見かけしたことがあります。物事の性質を数学的に考えるのは楽しいですね。
@kk-xn9rm
@kk-xn9rm 2 года назад
国語でも数学でもなくてガチガチの情報系の内容だった!!
@skys6015
@skys6015 2 года назад
4:40 「猫吸い」の文化を知る者にとってはニヤリとする調査結果。 さて、今回の動画のテーマを元に、SNS由来のビッグデータによって新しい検索アルゴリズムの技術革新が起きれば、現在のseo過対策問題や検索キーワードの選択が苦手な人の問題への解決策が得られそうですね。とてもわくわくしたテーマでした。
@seasidelabel
@seasidelabel 2 года назад
つまり単語ベクトルとは要素に分解するということですね。 東京(地名、首都、日本)-日本(国)+イギリス(国)=?(地名、首都、イギリス) こうすると分かりやすいかな? 言い換えれば、要素の似ている単語は入れ替えても文章がおかしくない、ということになりますね(「犬を飼っている」→「猫を飼っている」、「バス通勤」→「電車通学」の様に)
@iwa6981
@iwa6981 2 года назад
NETFLIX でAIの偏見についての動画をちょっとだけ見てたので、それをよりプログラム的にわかりやすく解説してくれてありがとう
@sudou07
@sudou07 2 года назад
ただのとんでも研究かと思ったら、実用的な技術だった・・・。
@user-uw4tn3qd7k
@user-uw4tn3qd7k 2 года назад
今日のQuizKnockさんの動画見て戻ってきました! QuizKnockさんの方ではこれを使った式でクイズしてたのですが、こちらではどうやってベクトルを判定しているのか何故そんなことができるのかを理論的に説明されていてどちらも面白いです☺
@toofoo7382
@toofoo7382 2 года назад
自然言語処理の分野では一般的な手法やね 導入が分かりにくい考え方だから、この動画は良い教材になるなぁ
@cecilehonda2234
@cecilehonda2234 2 года назад
これで社会科学についても研究できるから本当に素晴らしいですね
@ninomiya-27
@ninomiya-27 2 года назад
6:50 最初は言ってることに納得してたけど、数学的に考えると「性別の関係ない職業A」から「性別の関係ない職業B」になるのは仕方ない気がしてきた。
@tase9979
@tase9979 2 года назад
言語のベクトルについては知らない分野で面白かったです。 ところで、日本語のデータ収集では文法的に英語よりやりにくいところがあるのかなと感じました。 例えば動画にあった「猫-吸う」は「目的語-動詞」で、「掃除機-吸う」は「主語-動詞」(「掃除機で」なら手段ですが)の関係です。「猫を吸う」ので猫は吸われる側であり、掃除機は「掃除機が(ゴミなどを)吸う」ように吸う立場が一般的かと。そうなると、名詞の後の「が」「を」「で」といった助詞を考慮しないといけないのかなと思います。 また、英語は語順が重要(ここは詳しくないのですが間違ってたらすみません)で語の前後の関係でデータの傾向がでそうですが、日本語は語順を入れ換えることができることも多い(例「掃除機が猫を吸う」→「猫を掃除機が吸う」※猫を掃除機で吸ってはいけない)ので、そういったことも気を付けないといけないのかなと思いました。
@user-ly9el2kb5u
@user-ly9el2kb5u 2 года назад
私は外大卒の日本語教師という超文系なんですが、理系目線の言語学面白いですね!
@user-bk5kf2ww2y
@user-bk5kf2ww2y 2 года назад
自然言語処理は計算機科学ではメジャーな分野です!
@user-yv1fb3rl1e
@user-yv1fb3rl1e 2 года назад
1人掃除機を飼ってるやつが居るな
@agemakimakimaki
@agemakimakimaki 2 года назад
このこと知った時、ベクトル好きになったなあ
@hirozoo3974
@hirozoo3974 2 года назад
へぇ〜面白い言葉遊びだなぁ〜と思っていたら検索に利用されているですげぇー!!!ってなった
@yuya9623
@yuya9623 Год назад
単語ベクトルの生成方法が体感的にとても良くわかりました!!ありがとうございます!!
@user-gn7ir3nj9n
@user-gn7ir3nj9n 2 года назад
おもしろいチャンネルを見つけてしまった 応援します
@yotta11
@yotta11 2 года назад
単語空間の空間としての構造に興味が出てくる 例えば犬と猫が張る空間はどのようなものかとか線形独立な動物50個の線型結合で哲学用語を表したら係数はどうなるかとか
@fukyouwa-yin
@fukyouwa-yin 2 года назад
後半想像したら草
@Mrdango-sq6lh
@Mrdango-sq6lh 2 года назад
単語空間の基底が動物園になってるのは流石に草
@Ryon_P329
@Ryon_P329 2 года назад
このベクトルも時代に合わせてアップデートしていけばかなり有能
@ZipRas497
@ZipRas497 2 года назад
λさんのやつでも見たけどすごいねこれ
@KANIME
@KANIME Год назад
よろしければ、他の動画にも日本語の字幕付けてください。日本語学習者にとって、より簡単になりますよ。ありがとうございます!
@user-bc3ym9xp7o
@user-bc3ym9xp7o 2 года назад
2:53アインシュタイン➖物理学➕哲学=ニーチェ
@user-nz9hq9zk7t
@user-nz9hq9zk7t 2 года назад
鳥肌たった
@user-rn9id3np2h
@user-rn9id3np2h 2 года назад
来年、言語解析の授業取ろうかな
@soryay
@soryay 2 года назад
猫・掃除機の伏線が吸引で回収されるのすごいww
@momonso0821
@momonso0821 2 года назад
これは最近見た動画の中で一番ほえーーってなった 類似した検索結果とかSiriに聞いた時とかの答えとかが,多少表記ゆれあっても理解してくれるのなんでかなーっていつも疑問だったわ
@user-oe1hg2vu7z
@user-oe1hg2vu7z 2 года назад
悪いデータを集めて暴走の流れ こち亀だなぁてひとり笑いました。
@Tomohiko_JPN_1868
@Tomohiko_JPN_1868 2 года назад
単語ベクトルってSFやオカルトっぽい言葉で格好いいですね。 単語という1元の1変数を2元の1変数に変換して 操作出来る形にするっていうのは 数学でいう実数空間からベクトル解析や複素平面へ拡げたような感じですね。 追記:    (プログラマ) - (男性) = (専業主婦) これ、失礼な言い方だけど意味を考えれば割と良い線行ってます。 多くの薄給プログラマは雑用エンジニアみたいな作業が大半ですし あれを女性に置き換えて例えるとすれば家事手伝いの作業って比喩としては冴えてます。
@reito-udon
@reito-udon 2 года назад
言語の機械学習ってどうやってたのか知らんかった。ベクトルにしてと特徴量取り出してたんかな
@sk-15
@sk-15 2 года назад
ものすごくおもしろい。
@HayakitaP
@HayakitaP 2 года назад
この言葉の関係性が最も遠いと考える10単語を入力すると語彙力が測れるってサイトがありましてね…(英語限定ですが)
@johnlennon2009nyc
@johnlennon2009nyc 2 года назад
分かりやすくて助かりました
@user-sf7tb3pn1q
@user-sf7tb3pn1q 2 года назад
transformerを音声に適用すると今ひとつって現象が起こるのはきちんと合成しないと違和感の塊の音声と違って 文字ベクトルは出力がちょっと正しい値からズレてても決まった単語に寄せてくれるからうまくいくだけなんだな
@mimizu8706
@mimizu8706 2 года назад
画像も言語と同じベクトルに変換できると画像検索や画像生成(単語から画像)とか画像の分類や状況説明(画像から単語)もできるよね
@user-ei1gh2vr6o
@user-ei1gh2vr6o 2 года назад
Microsoftのツイートbotが問題発言をしたのは繕うという作業が抜けていたからだと思うね
@user-yh3dz9ss7k
@user-yh3dz9ss7k 2 месяца назад
いちいち登場してくれるの助かる
@cocoh4873
@cocoh4873 2 года назад
昨日のクイズノックで鶴崎さんがこれ使ってましたね
@ISSAN-02
@ISSAN-02 2 года назад
分布仮説の説明の例文のところで一瞬でも空白に「メタルギア」と入れれば良いのかと思ってしまったワイは恐らく末期
@user-co2rk7mi6e
@user-co2rk7mi6e 2 года назад
単語ベクトルは「一つの単語に一つの意味」を前提とする研究で、複数の意味を持つ単語やその文法表現に対しては課題が多い ちょっと触れてほしかった
@calvalefirea2926
@calvalefirea2926 2 года назад
なんの前置きもなくさも常識かのようにPython、しかも対話版使っててびっくりした いやgensim使うならpythonなので問題ないんだけども Colabとか使うのかなぁと思ってたのでびっくり あと思ったよりしっかり説明してて勉強になる
@toshihirom2038
@toshihirom2038 2 года назад
ドラえもんー猫はコロスケでしょうよ
@user-ld9hg2jw7k
@user-ld9hg2jw7k 2 года назад
喋り方好きすぎる
@TK-vr1ob
@TK-vr1ob 2 года назад
単語全部が線型空間に存在してる場合、言語の論理に近似するんじゃないかていうのはあまりにも勝手すぎるし、上手くいかない理由はその仮定にあるのは明らかだから、実際にそれなりの精度を持ったアルゴリズム開発した人間はどういう精神力の持ち主なんだて思う
@ajimov
@ajimov 2 года назад
学習元の人間が「AIは差別的だ!」と叩くの皮肉でいいよね
@p0ny0s95
@p0ny0s95 2 года назад
数字50個で定義されるベクトルって事は、50次元世界での矢印…ってコト!?
@user-dm9kl1tc9x
@user-dm9kl1tc9x 2 года назад
動画内の説明だと2次元グラフだけど、実際には一つの単語を説明するには15次元になるの面白いな
@grandmascurtain
@grandmascurtain 2 года назад
猫吸ってる人いるし掃除機飼ってる人いるもんな〜
@user-rx2id8wr8l
@user-rx2id8wr8l 2 года назад
8月-夏休み気になる
@user-nk1vn2rc2n
@user-nk1vn2rc2n 2 года назад
意味は単語自体に内在はしていないので、周りの語との関係から意味を定量化する、という仕組みですね。←雑なまとめ
@TG-xx4rp
@TG-xx4rp 2 года назад
単語の言語ベクトルに対してその動作、例えば(successに対してsucceed)みたいな本質的には意味が同じではあるが品詞が異なる関係についてはコサイン類似度がかなり高くなりそうなんだけど言語テンソルなるものを導入すれば解決できる??
@aaaaa-kq1dh
@aaaaa-kq1dh Год назад
AIも人間の偏見や悪い言葉を学習するのか…善悪はともかくそれだけ精巧ということだな
@user-hw8se7jg6j
@user-hw8se7jg6j 2 года назад
これで「ゲスの極み乙女。」とか「ポムポムプリン」とかの対義語作ったらどうなるか知りたい
@Natsu-hi7ee
@Natsu-hi7ee 2 года назад
犬の時に吸引が出てきて笑ってしまった
@showflatkk.3288
@showflatkk.3288 2 года назад
その点、りんなは日本らしくオタク化していったよな
@user-tt9fo6mv7b
@user-tt9fo6mv7b 2 года назад
おもしろい むかし論理学という本で理論の計算式というのを見たことがあるのですが それを数値化できるとは
@user-gx4ci8cq5k
@user-gx4ci8cq5k 2 года назад
単語が近い遠いってどうやって定義すんだろ
@sunsuga8524
@sunsuga8524 2 года назад
近い遠いは色々あるぜ! 数値で、距離尺度化しちまえば、クラスタ分析もできるしMDS分析もできるぜ!
@user-zh6zh4pf4c
@user-zh6zh4pf4c Месяц назад
???「古典的な単語ベクトルはお煎餅に似ている」
@toyosohakmorik9838
@toyosohakmorik9838 2 года назад
多次元ベクトルも可能ですか?
@ian-df6dc
@ian-df6dc 2 года назад
猫について数字が50個って言ってたしそもそもこれが50次元ベクトルなのでは
@anubisu1024
@anubisu1024 2 года назад
猫のテキストデータのうち1割弱が猫吸いしてて草
@user-nh3tb2vi8r
@user-nh3tb2vi8r 2 года назад
ベクトル化は分類問題でお世話になりました
@3kan-7e5
@3kan-7e5 2 года назад
何やこの文系の皮を被った理系は……
@ss-jx5tf
@ss-jx5tf 2 года назад
偏見っつーか事実だわな 割合として多いから仕方ないっちゃ仕方ない
@user-vj2en6xu3b
@user-vj2en6xu3b 2 года назад
むしろ大多数の人間が間違えていてAIが正しいんじゃね?
@yuraaaraa
@yuraaaraa 2 года назад
ラムダ技術部さんのも結構面白いですよ ※ステマじゃないです
@user-qj3xv2df5e
@user-qj3xv2df5e 2 года назад
犬吸引しますよ!(愛犬家
@hajimeshachou
@hajimeshachou 2 года назад
線形代数の授業でやったなーなつい
@yasshi05
@yasshi05 2 года назад
理系なのでタイトルが「単位ベクトル」に見えたwww
@ppp-ry5gg
@ppp-ry5gg 2 года назад
パラメタが一個一個何を表してるのか気になるな
@gerektreqretnowar7783
@gerektreqretnowar7783 2 года назад
内積使いそうと思ったら使ってた
@user-zz7tm6gd2r
@user-zz7tm6gd2r Год назад
機械は嘘をつかないってことですね
@user-ut9jn4or5g
@user-ut9jn4or5g 2 года назад
!?大学の自然言語のプロジェクトでやったことだ!
@user-lw4ks2ql8n
@user-lw4ks2ql8n 2 года назад
good video :)
@nihey7853
@nihey7853 2 года назад
ある単語の周囲に出てくる単語の類似度で判定かーおもろいな
@user-fh4wh7gx7s
@user-fh4wh7gx7s 2 года назад
飼う掃除機はルンバのことだろうね
@user-ru5ey6cx9c
@user-ru5ey6cx9c Год назад
猫と吸うはもっと関連度高いと思います
@류해
@류해 2 года назад
掃除機は何で一回飼ったことがあるの?
@katsenberg3036
@katsenberg3036 2 года назад
最後んところの恐ろしい前兆… あえて作ったAIならばあまり偏見や差別の思想を残さないで作って欲しいですが
@user-cn5fe8vp9b
@user-cn5fe8vp9b 2 года назад
掃除機の1回出てきた「飼う」は絶対ドラえもんじゃん
@my-nj6gq
@my-nj6gq 2 года назад
タイトルめっちゃ単位ベクトルに見えた笑
@cocoadrink_014
@cocoadrink_014 2 года назад
単位ベクトルなんて概念があるのか、為になるなぁ。
@user-pg5mc2lx2e
@user-pg5mc2lx2e 2 года назад
いよいよ文系だからって言い訳が出来ない時代が来たな、、
@osigorisanda
@osigorisanda 2 года назад
支離滅裂な文を作るときに役立ちそう
@user-cb2xg1sh4d
@user-cb2xg1sh4d 2 года назад
東京ー日本=首都、首都+イギリス=ロンドンみたいな感じするもんなぁ
@user-cf6wq2dz1p
@user-cf6wq2dz1p 2 года назад
ちょー面白い
@aaaaa-kq1dh
@aaaaa-kq1dh Год назад
猫と吸引って…中川翔子のことであってる?笑
@user-km1mv7qt4v
@user-km1mv7qt4v 2 года назад
その場合、同義語は一次従属ですね
@JohnDoe-tn7ni
@JohnDoe-tn7ni 2 года назад
猫は吸うもの
@user-si5vv7mm4i
@user-si5vv7mm4i 2 года назад
猫吸い勢
Далее
AIにヒトの言葉は分かるのか?
8:43
Просмотров 90 тыс.
would you eat this? #shorts
00:39
Просмотров 3,5 млн
嘘つきのパラドックス
8:47
Просмотров 261 тыс.
パラドックスとは何か?
12:06
Просмотров 262 тыс.
翻訳できないことばってどんなの?
11:15
変な論文
6:57
Просмотров 78 тыс.
うぼ遊てしにまさ逆をばとこ
7:49
Просмотров 174 тыс.
科学はなぜ不正を生むのか?#34
52:50
Просмотров 57 тыс.
Zero Factorial - Numberphile
7:36
Просмотров 4,4 млн