松田語録：AIサイエンティスト第４弾〜生成された論文を読んでみた 

論文を読んでませんが、画像をフーリエ変換して高周波を除いた低周波のみで構成された画像みたいなもので、転じて、物の本質を捉えて抽象化するって事が次元を落とすことかなぁと思いました。生成AIの使い方に関しては、私の体験も含めてすごく良くわかります、生成AIは自身の写し鏡であって、物事の核心を突く質問は、集合知を照らし合わせて、意味があるかは別としてきちんと核心性を評価して来ます。親や兄に質問責めする子供のように、AIを我々がステージアップするためのきっかけに出来ればAIとの共生はうまくいくと思います。

拡散モデルの画像生成を二段階にするってことだよね。だとすると単純に計算コストが増える気がする。KLダイバージェンスが12.8%減少というのも、別に人間の意図した画像が12.8%出やすくなったという意味じゃなくて、学習データセットの画像に対して12.8%近づいたという意味なので、ネコの足が５本あるみたいな変な画像が12.8%減る、という程度のことなんだよね。しかもこの実験に使ったプログラムが書かれてないので追試や再現実験ができない。 拡散モデル（DALL·E 2みたいな砂嵐の中からネコの写真が浮かんでくる過程の計算処理を学習したもの）でいう次元というのは、物理学でいう物理空間の意味じゃなくて、数学でいう情報の数のことなんだよね。つまり1000x1000ピクセルのRGBなら300万次元だけど、これを100個程度の特徴量（数値べクトル）に置き換えたことを低次元モデルと呼んでる。なので情報量エントロピーに近いものなので、次元とか潜在空間という用語選択が難解さを助長してる気がする。 拡散モデルが素晴らしいのは、言語のプロンプトから画像を生成するとき、言語自体が不完全な情報でノイズを含んだ情報のようなものなので、そもそもノイズに強い学習モデルを作っておけば、言語の画像化が得意になるというアイデアにある。このAIの論文は、人間が想像した理想の画像を12.8%出力しやすくなったというわけじゃないという意味では微妙な成果という感じ。一瞬でアイデアをいくつもだしたのはすごいけど、そのアイデアを検証したり計算コストに見合った実用性があるかといった判断は人間がする必要があって、人間の仕事を大量に増やしただけとみることもできそう。

大規模言語モデル（LLM）が研究アイデアの生成において、専門家レベルの新規性を持つアイデアを提案できるかどうかを検証した「Can LLMs Generate Novel Research Ideas?」という論文がでていました。

松田先生が「もうシンギュラリティですよ、これは！」と、仰られたことに対しては、次のように思います。 　カーツワイルの言うところの技術的特異点か否かは別にして、技術的特異点が人為で諸現象に相転移を惹き起こした状態とするならば、これまでに幾度となく発生したシンギュラリティと言える状況の中の、一つのエポックであると思います。 　個体脳の限界を、言語等メディアによる伝達網コミュニケーション・ネットワークで、相互エージェント社会拡張脳へと発展させ、集合集積知を形成した基礎。 　その基礎の上に、松田先生も挙げられる農業革命、産業革命が、管理制御者と労働者との社会構造構築と伴に発生したと思います。 　そして社会拡張脳の能力、即ち集合集積知保存記録容量と、情報編集処理速度との相転移が、情報革命として展開している最中になっているという気がします。 　個体脳とのインターフェース開発に眼を向ける立場もありますが、先に見た集合集積知形成の基礎からの自然な発展は、社会拡張脳の能力向上に向かうと思います。それが神経細胞で作用する電子担体情報の記録・処理様態の向上のベクトルであり、電子管理制御の量と速度を向上することで、相転移を迎えようとしているのだと思います。 　この状況がAI開発として展開し、社会拡張脳であるコミュニケーション・ネットワークの相互エージェントの一員に、それが参入した事態であると思います。LLM-AIは、電子担体情報化された集合集積知、即ち情報プールを探査し、自律自動的、即ち機械自然の様相で情報の編集作業を実行するようになったと思います。 　我々（＝個体脳の知性が普遍的単一知性化し、古来ブラフマン‐アートマン・モデル様態での主体表現）のグローバルブレインの現実化が、確かに今、技術的特異点の一つの段階に至ったと思います。（「個人の復活」理解の段階は未だですが・・。） 　 Copilotは、以下の要約をしました。 『デュアルスケール拡散: 低次元生成モデルのための適応的特徴バランシング』 　以下が論文の要約です： 　デュアルスケール拡散モデル: 　　低次元データの生成において、グローバルな構造とローカルな詳細をバランスよく捉えるための新しいアーキテクチャを提案しています。 　適応型重み付けメカニズム: 　　時間ステップに応じて動的に重みを調整し、グローバルとローカルの特徴のバランスを取ります。 　実験結果: 　　4つの2Dデータセット（circle, dino, line, moons）で評価し、サンプル品質の大幅な向上を確認しました。 　将来の応用: 　　この手法は高次元データにも応用可能で、画像生成や3D形状生成などの分野での改善が期待されます。 　この論文はAIによって自動生成されたものであることに注意してください。

アカデミズムから遠いものからすると、論文のレビュアーの「信念」にそんなに重きがあるのか、と驚きです。信念は個人的な思いだと思いますが、それが科学的なものとどう整合性が取れるのか分からない。

１００００次元中の幾つかの次元というよりかは、そういう無機質な高次元を人間にとって整理された有機的な高次元に変換できたら、 人間にとって重要な性質はその少ない次元に固まってるだろうってことかな。

シャノンの情報量で表現されるものかもしれませんね。

10000次元を２次元にエンコードしたら２次元のデータになりますよ