囲碁AIを飛躍的に強くした「モンテカルロ木探索」は、ランダムに打ちまくる手法。【人工知能3】#72 

【株式会社クリーチャーズの求人】 ○株式会社クリーチャーズさまの採用情報およびエントリーはこちら！ recruit.creatures.co.jp/recruitment/ ○株式会社クリーチャーズさまの会社概要・事業についてはこちら！ recruit.creatures.co.jp/about/ ○株式会社クリーチャーズさまのコーポレートサイトはこちら！ www.creatures.co.jp/ 【参考文献】 ○機械学習図鑑 amzn.to/44bG2Yn ○強い将棋ソフトの創りかた amzn.to/42ov93Z ○エニグマ-アラン・チューリング伝 amzn.to/3oTqk3S ○python機械学習プログラミング amzn.to/3LDpzVN ○強化学習を学びたい人が最初に読む本 amzn.to/429mD8P 〇フォン・ノイマンの哲学 amzn.to/423RUtM 〇ヒカルの碁 amzn.to/3O4S2Fn

動画自体は凄く面白かったです！！ クリーチャーズは過去に3回ぐらい落ちた経験があるので、強化学習した結果4回目を応募することはなくなりました！

囲碁のAIの過学習の話、相手が "それなりに強いパターン" しか学習していないという過学習だと言えそうです。 つまり弱いデータを学習しておらず、強いデータを使って学習したため、相手が強くないと勝てないということが起きているんだと思います。

言語オタクの水野さんが「はにゃ？はにゃ？」言ってるのを見ると、もうすっかり市民権を得た言葉なのだと感じる…

AIに学習させる様子に「牧歌的」使うの、堀元さんのAIに対するアニマシーと愛を感じてなんかいい。

意地の悪いことをいいますが、「俳句や小説にそれっぽい作者エピソードを付け足す」までをセットでAIに生成させることも原理的にはできますよね。 その上でAIが書いたかどうかを伏せてしまえば（あるいは読者が単に知らないだけで）、「これはAIには書けない作品だ！」という読者体験はいくらでも作れてしまうので、代替可能かどうかの議論はまだ続けられる気がします。

30歳近くなって、お正月に親戚の6歳くらいの子どもたちとお互いにデッキを持ち寄ってポケモンカードをしました。 そこには強さを競うことではなく、やはりコミュニケーションツールとしてのポケモンカードがありました。 とても良い思い出です。

27:00 それAlphaGoじゃなくて、オープンソース で最も強いと言われるKatagoって言うやつですよ？

楊海さんが、神の一手はここPCから生まれるかもしれないって言ってたシーン当時はそこまでだったけど今読み返すとかなり印象的な話なんだよなぁ

AlphaGO開発者「佐為が強かったのは平安時代、江戸時代、平成と誰よりもたくさん打ったから。そこでAIにとにかくたくさん打たせてみようと思ったんです」 という妄想

あまり枝切りとは言わないような気がします。探索において計算量を減らすために指定条件を満たさない場合その先の探索を中止するのは枝刈りという場合が多いと思います。 ”探索 枝切り"で検索してもハサミやのこぎりばかりが出てきます。

囲碁AIは強くなりすぎて対戦相手と認識している人あまりいないと思う。今は人の囲碁を評価するためのツールって感じ。

技術によるマンガの陳腐化の話きくと、ある推理小説で作中のミステリー作家が「登場人物がスマホを持っているだけで、かなりのトリックが成立しなくなる」と嘆いたあとに、登場人物全員がスマホ使えない状況になって殺人事件が発生するのを思い出した。 実はこの推理小説のトリック自体が登場人物がスマホを持っていると成立しないので、読者にメタ的に「登場人物がスマホ使えなくなる設定、強引だけど許してくれ」って言っていたという、ミステリーの悲哀を感じる小説だった。

麻雀のＡＩ化が遅れているのは不完全情報ゲームだからでなく、戦略の階層が多層で、取るべき戦略目標がコロコロ変わるからだと思います。 例えば、半荘でトップをとるためには全ての局で和了を目指す必要はなく、同じ局内でも配牌や展開によって目標を変えていかなければならず、目標が変われば戦術（アルゴリズム）も変えなければないけません。 戦略目標の切り替えとそれに伴うアルゴリズムが複雑なのかもと思います。

堀元氏、水野氏、シュミレーション使いだったんですね。失望しました。

37:44 たぶんここ、水野さん「あーハイハイ、“踊り字”ですね」と言おうとしたけど(あれ、踊り字であってたっけ…不安だ、やめよう)と思って「ｵ……」で止まったんじゃないかなという深読みおじさんをしてみる

囲碁民です。 囲碁を始めた時「コンピューターが囲碁で人間に勝てるようになるには、あと30年はかかる」という言説をよく聞きましたが、30年待たずして10年後ぐらいにその時が来てしまいました。AlphaGoの登場は衝撃的でした。 「ダイレクト三々」は囲碁AIが活用されるまでは「師匠に破門にされるぐらいの悪手」と言われていましたが、いまでは一般的な手になってしまいました。

「この時代に将棋や囲碁をする意味」は、車がある時代に100m走の世界大会を開いてる時点で…と思ってたら堀元さんが自分の言いたいこと言ってくれてたな

AI時代の棋士の在り方に関する水野さんの質問については、藤井聡太さんが「盤上の物語は不変」という表現で1つの回答を示していますね。 以下引用です。 「将棋ソフトとの対局は大きな話題になりましたけど、将棋ソフトと対決の時代をこえて、共存という時代に入ったのかなと思います。 　プレイヤーとしては、ソフトを活用することで、自分自身成長できる可能性があると思っていますし、見ていただく方も、観戦の際の、楽しみの一つにしていただければと思います。 　今の時代においても、将棋界の盤上の物語は不変のものと思いますし、その価値を自分自身伝えられたらなと思います。」

36:25 何回か出ていますが将棋は持ち駒を盤面に下ろす時だけ「打つ」といい、基本的には「指す」を使います。

ポケモンの3Dの話も気になる〜SVのキャモメが停まってる姿勢めっちゃすき

36:25 「1億局面では非最善だったが6億局面読ませたら最善だった」という話が藤井聡太竜王のAI越えとして話題になりましたが、実は竜王の持っているCPUなら6億局面は10秒弱で読めてしまうんですよねw

一つの存在が数万回試行を繰り返して有効な手を見出すのと、数万の個体がランダムで変異を繰り返しながら、生存に優位な遺伝子を蓄積したり種が分化するのは似てるのかもしれないですね。絶滅という枝切りもありますし。

(今回は将棋AIについてほぼ言及されていないからこそ言ってみますが、) 数年前に将棋AIと対局したプロ棋士の方がハメ手を指してかなり炎上していらっしゃいましたね。 Alpha Goの場合はAI研究者の方が指摘したので、AIの欠陥の指摘として捉えられたっぽいですけど、もしかするとプロ棋士の方が発表したら違った受け止められ方をされたかもしれません。 炎上した件はイベント対局でカメラの前での勝負だったのでそれも批判を受けた理由ですが、AIについての話題が先暗いものになるのは悲しいので、 みんなこの動画を見よう！！

是非とも将棋のプロ棋士、かつ東大博士課程（情報工学）在籍中、かつ将棋AI作成者でもある谷合廣紀４段にゲストとして登場してもらいたいです

俳句の話、「詠んだ」と「読んだ」が混在しててわかりにくいのに堀元さんが同音異義語に突っ込まなかった驚き

12:50 AIに必要なのは小難しい理屈ではなくて物量と試行回数の問題であって、まさに生物発生から今までの間に人類が辿ってきた道と同じものだったんや。という気づきを得て、さらにそれを実行可能になったというのが現代（の少し前の）AIのブレークスルーだったんです

アルファ碁が江戸時代にタイムスリップして秀策と一緒に無双する漫画待ってます

小学生の美術の教科書で初めてゲルニカを見たときは歴史知識もなくて変な絵だなぁとしか思わなかったけど、背景を知ってようやくメッセージが読み取れるようになったから勉強って大事 裏を返せばコンテキストの学習を怠ると鑑賞者としての存在意義を失っていくわけで、果たしてAIのおかげで楽になったと言えるのだろうか・・・

ドヴォルザークの新世界よりの生まれた経緯を聞いた時にあの曲好きになった。 藤井聡太が大注目を集めているのは、単に将棋の強さではなく、デビューで加藤一二三さんと対局し、あどけないインタビューの中にものすごい芯が感じられ、羽生さんがタイトル99期で失速からの脅威の踏ん張りと藤井さんへの「挑戦」、周囲の棋士の反応、などなど、今まで人間が血と汗の裏に積み上げてきた物語があるからであると思います。 AIが出てきて改めて人間の価値に気づかされていて、我々は貴重な時代を生きていますね。

ヒカルの碁に対する解像度低すぎぃぃ。 人が未来に意志を繋いでいく物語だからアルファ碁以後でも全然通用するし、堀本さんが大好きなDr.ストーンと根幹のテーマは共通してます！(ヒカルの碁大好きすぎるあまりクソリプする奴)

AIはピッチングマシンと思ってます。どんな投球もできてバッティング練習を気軽にできる。しかし試合には使われない。以後や将棋は、試合内容もありますが、自己研鑽するドラマも感じ取っているので楽しいのではないでしょうか

将棋の電王戦で「角不成」という手でAIをバグらせて勝った試合を思い出しますね

俳句は詠む主体がないと成立しないからAIに人間が負けることはない、という話を聞いてまっさきに連想したのが歌人の久木田真紀(18歳女性として短歌の新人賞を受賞したが、のちに中年男性であることが判明し歌壇で物議を醸した)だったのだけれど、AI俳句も俳人のプロフィールから句を詠むに至った背景までセットで作りこむ方向性で発展させていったら現役歌人と十分張り合えそうな気がするな。

3Dモデルは現代ではディファードレンダリングなどで、半透明をなるべく扱わないよう最適化してるから大変ですね

ゴースに関しての水野さんのコメント 「ゲンガーに進化させちゃったからなぁ」 なるほど、水野さんには通信交換によって進化させることの出来る友達が居たんですね…… ……書いてる途中で「進化させることの出来る友達」って表現やべぇなって思ってしまった。

過去、将棋の電王戦でもAIのクセ読みだけのハメ技めいた手法で人間があっという間に勝った対局がありましたよね確か

麻雀はマイクロソフトのSuphxが天鳳位でトッププロを超える成績を出してますね

ポケモンカードを長く遊んでいたので，全３回楽しく拝見いたしました。 囲碁対戦AIが更に異次元化していたり，AIへの対策手や新しい定石の発見についても大変興味深かったです。 現在のルールでAIとポケモンカードで対戦できるアプリ等はないので，クリーチャーズさんにはそのへんのところ是非活用を…。 ポケモンカードにおけるデッキ切れ(LO=Library Out)戦略については，日本の公式大会では自分と相手の合計が25分という対戦時間の制約があり，時間がかかる戦略は途中まで優勢でも結局引き分け(＝両者負け)とされてしまうリスクがあります。 自分のターンにおける判断を極力短くするために，デッキを握る時点で多数の盤面を想定した相当の練習量が必要とされるのが採用が難しい理由のひとつです。 しっかり準備されたLOデッキが全国規模の大会(例：2020CL愛知エクストラ)で優勝するほど強かったり，通常のデッキでサブプランとして仕込んでおくことにより不利な相手にも可能性を残せたりするなど，有効な戦略であることは事実です。 莫大な計算量をバックボーンに行動を即決できるであろうAIが，そういう戦略を取るのは納得できる部分もありますね。 エクストラで本気でLOデッキ組もうと思うと予算が足りませんが…。

ヒカ碁の連載当時から。AIがいずれ最強になるって信じてヤンハイさん応援してたけど いざAIにボコボコにされる佐為とか塔矢名人見たら泣いちゃうかもな

水野さんから「々」＝踊り字というキーワードというか蘊蓄が出なかったのが意外

将棋は逆転のゲームなので人間同士の対戦の場合に終盤での大逆転や、それを狙って負けている側が多少悪い手であっても相手が間違えやすいような勝負手を放つ、というのはAIどうしでの対戦では見られないところですね。 この終盤の猛追によって逆転するのか逃げ切るのか、とうハラハラ感は人間同士の対局ならではだと思います。

実際アルファ碁？をおそらく利用して、god move （神の一手）って名前のクソ強いアカウントが一回ネット碁に出現したっていうニュース見た気がする

麻雀AIの突飛な手ですが、大負けしてる時でも高打点の手を狙わない印象です。あと鳴きがびっくりするほど多いです。 主に中級者が期待値麻雀の基準を習得するために使われています。 上級者はまず使わないでしょう。 まだトッププロに勝つのは難しく、勝てるプロは10人以上はいると思っています。数千半荘は打たないと差がわからないので正確な検証ができませんが…

闇の旋風ダークルギア懐かしいなあ　CGのお話しも聞きたかったです！！！！今のポケモン、昔より質感がリアルになってるので深掘りすると面白そう

毎回だけど、 〆の挨拶でマイクを避けてナナメにお辞儀する堀本さんが面白すぎるw

31:25 AIホリモトのネーミングセンス改善にはまだまだ人間のドメイン知識が必要そうですね

モンテカルロ木探索と聞くたび大鶴義丹がぴろろと脳を横切っていく

ヒカルの碁の時代設定が今だった佐為がAIと碁を打ち続ける話になるのか

某TCGショップのチャンネルで出演者(動画スタッフ)がプレミするたびにトッププレイヤーから電流を流される企画がありましたわ ◯れるやはスキナー箱だったか…

私としては、AI時代に囲碁や将棋をプロがやるのは『人間を見せる』ことに意義があるように思います。 勝負のあやとか、キャリアを通しての苦悩や喜びに、観戦者が共感をする点ですね。

デッキ切れは相手の状況に左右されないからTCG業界では最強だと思ってましたが ポケモンだと珍しいんですね

人の場合は完全にランダムにやらないけど、ある程度の選択肢に絞ってから試行して、良かったな悪かったなでその手を評価していく。 モンテカルロ木探索は選択肢を絞れないだけで実は人間っぽいところがあるなと思える

将棋では1秒間に1億と3手読むと前会長が言われていたから、ノードのことも「手」としてカウントするんです。

俳句の場合は特に17文字という厳しい制限があるので、エッセンスを「余白」「余韻」に託す部分が多いと思うのですが、鑑賞者がそれらを感性に沁み入るような形で楽しむためには、血の通った人間が詠んだということへの信頼のような感覚が必要なのではないかと思いました。AIに自らの感性を託すことは恐らく多くの鑑賞者にとって難しいので、そうした俳句の鑑賞態度は分析的にならざるを得ず（それはそれで意味のある営みだとは思いますが）、鑑賞者のバイブスがノりきらない側面もありそうな気がします。 芸術表現における余白、余韻の果たす役割が高いほど、AIに代替されない部分が大きいのかもな、と感じました（知らんけど）。

最強AIの追求とは別で人間の限界に挑む話、TASがあってもRTAが廃れてないのと繋がる…かな？

AIに俳句を読んだときの主体の設定や情景も含めてて語らせたらもう同等の作品になっちゃいそう

なんか今回全部理解った、個人的神回だァ

34:35 コムギは変態AI裏かきモンスター…ってコト？

14:25 alfaGoを評するのは、建設機械とか土木技術の評に近いかもしれませんね。　大規模であるがゆえに発生する問題に対処した技術なので、一般個人では問題が存在すること自体を理解できず、金額の大小(リソースの大小)でしか分からないという。

13:59 四色問題をコンピュータで証明したときにエレガントじゃない!って批判があったのを思い出した うろ覚えだけどあれも問題を2000くらい?に絞ったのは人間だし計算法も人間が頑張ったんだよね でもコンピュータがなければ解けなかった

囲碁は２０万円のゲーミングノートPCで、自己学習させて、トッププロには絶対に負けないレベルまで強くなるようになりました。将棋は８万円程度のノートパソコンで１日程度自己学習させると、プロは勝てないようになりました。

プロがやることはその競技の普及、イベントの運営、 新聞欄の穴埋め、書籍の発行などなど、競技以外にも色々ある AIがエレファントな解法で強くなろうが、新戦法を編み出そうが、 人間がうまく活用してやらんと商業として成り立たんのよな

もうやめて！　人間の勝ち筋はとっくにゼロよ

20:52実際のスプラトゥーンでは血を想起させる赤色のインクは登場しないらしいです

いずれ情緒の仕組みが解明されたら俳句もアートもAIが勝つ もしくはSNS上に大量の俳句botを投下して、いいねの高い物を残していけばいずれAlphaKuが完成するでしょ

めぞん一刻のすれ違いネタ！ マ･メゾンで！ まめ蔵で！

キメラアントとコムギのイントネーションが怪しくて笑っちゃった

車が発明されたからといって徒競走競技がなくならないのと同じように、AIがどんなに強くなったとしても人類が囲碁や将棋で競い合うこと自体は無くならないのかなと思いました。

ミスった電流流すカードゲームの動画ありますよ

将棋の世界では、AIによってマイナーだと思れていた戦法が再評価されたり、全く新しい囲いが現れたりしてますね。 他には人間同士の研究や練習対局を全てやめてAIへの研究をいち早く取り入れた棋士が結果を残したりと、AI関連の話題は枚挙にいとまがないです。 そんな中で、人間の限界に挑んで正面から戦っているので藤井聡太六冠であり、逆に最近復調した羽生九段は人間のリソースの限界を突いた戦法に切り替えつつあるという感じで、棋士によってAIの使い方が異なっているのが面白いと思います。

この回を観て思ったのは、あらゆるスキルについてAIが生まれてきているけど、そういったAIの出力結果をお手本や参考にしてトレーニングしていくことで足りないスキルレベルを引き上げる目的で使っていくのが一番正しい使い方なんじゃないかという気がしてきました。AIによってある水準からは独学が最も効率的なトレーニングになる可能性がありますね。

ダークルギアのクソデカポケモンカードを思い出したせいで完全に老人会ムードになってしまった。

ちなみにモンテカルロ法を取り入れたのはAlphaGoより前のZen等の囲碁ソフトです 評価関数を作る手法ではアマチュア級位者程度だったのが、モンテカルロ法導入によりアマチュア有段者〜高段者レベルまで成長しました

将棋が「指す」なのは意外と浸透していないのかな

ダークルギアは､リライブポケモンしか付かないリボンがあるから今でも現役なのよ

およそ話の本質ではないものの、家に全自動卓をもてあましているので、水野さんと麻雀したい

人間とAIを対戦させるならAI側のハードウェアリソースに制約を設けないとフェアーじゃない気がしますね。

野球漫画を陳腐化させるオオタニサンＡＩ説

カードゲーム x 電流 = 晴れる屋

まぁ今流行のGPTもどんどんパラメータサイズがデカくなっててマシンパワーでゴリ押しして性能良くしてるって感じですからね…。

8:27　「失敗たとえの森づくり」　最新活動報告はこちら

飛べるポケモンが全員飛んでるモデルになった時期がありましたね…

コーチを付けずに、バッティングセンターで素振りをしまくって、 うまく打てたフォームを覚える、 というやり方はモンテカルロ法的なアプローチだと思うので、 私は、人間もよくやっている学習方法だとおもってます。

楽しみに待ってました

その場の匂いや気温、音、雰囲気、そういう全てを特徴量として扱える人工知能としてプロはまだこれからも価値があると思います。 (ゆるコンピュータ科学ラジオで過学習した計算機の感想)

リバースモンテカルロ法（RMC法）自体は理論物理でのアモルファス金属の原子配置を特定する際など、よく使われている方法なので、そこからAIへの活用がされたのかもしれませんね

4:41 水野「はにゃ？…はにゃ？」 萌えキャラか？

計算パワーがあれば『全通り』試せるゲームならヒトは絶対に勝てないもんなぁ…… マルバツゲームだとヒトが考えるだけでも｢先攻が勝つゲーム｣と解るし

以後のヨセと組合せゲーム理論の話に触れてほしい

将棋界では、升田幸三賞という、新手を指した者や定跡の進歩に貢献した者に与えられる賞があります。 2020年、将棋AIの採用した、エルモ囲いが升田幸三賞を貰い、実際アマチュアの世界を中心に流行しました。

SUICAの名前の中にICが入ってるように。佐為がS”AI”だったと。

え？ 趣味レーション　は、わざと？

18:20 「ネットにsaiっていう強いやつがいる・・・」が 「ソフト使ってるんやろ」で終了

アルファ碁がイ・セドルに勝ったのも衝撃だったが、アルファ碁がイ・セドルに唯一負けた一局の不利になってからの乱れっぷりにも衝撃を受けた。

バックギャモンでもAIのおかげで初手の定石が見直された、というのが10年以上前から起こっているそうです。

たくさん戦わせれば強くなるのでは？って聞かれた時のふわっとした自分のイメージ。データを学習させて強くなっていく過程って最初は直線的に強くなっていくかもしれないけど、終盤以降は砂利の中からいかに良い宝石を見つけるかみたいなイメージの方が近い。ランダムで学習させるの部分が砂場から砂利を掬う方法。評価関数がすくった砂から宝石を見つける方法。この２つを同時に高度にしていかないと掬う方法だけ高めても宝石は見つからない。

水仙で一句 水仙を ニラと間違い 中毒死

モンテカルロ法の理解の解像度が… 一辺が1の正方形に内接する円を描き、その正方形の中に無作為に点を打っていくと、円の中に点が入る確率は円の面積に比例するので、点の数を数えると円の面積が求まる、というものです。 積分方を用いれば半径が1/2の円の面積がπ/4であることは分かるので、π=（円の中の点の数の割合）×4で求まります。

14:14 大谷翔平は野球の技術が優れていることは前提として、あのフィジカルがないとそもそもメジャーで二刀流で出場し続けることすら不可能、みたいな話だ