汎用人工知能の発明は、人類文明の軌道を変えると予測されています。このような強力な技術の恩恵を受け、落とし穴を避けるためには、 それを制御できることが重要です。しかし、汎用人工知能とそのより高度なバージョンであるスーパーインテリジェンスを制御する可能性は、 正式には確立されていません。この論文では、高度な AI を完全に制御できないことを示す複数の領域からの議論と裏付けとなる証拠を提示します。 AI が制御不能になった場合の結果は、人類の未来と AI 研究、および AI の安全性とセキュリティの観点から議論されます。 キーワード: AI の安全性、制御の問題、より安全な AI、制御不能性、検証不能性、X リスク。 1 はじめに 過去10年間の人工知能（AI）の空前の進歩[1-6]は、複数のAIの失敗[7、8]や二重使用の事例[9]と並行して起こり、 高度な能力を持つ機械を作るだけでは不十分であり、知能機械が人類にとって有益であることを 確実にすることがさらに重要であるという認識[ 11 ]をもたらしました。 これにより、一般にAIの安全性とセキュリティ[ 12 ]として知られる新しい研究分野が誕生し、 問題のさまざまな側面に関する何百もの論文や書籍が毎年出版されています[ 13-31 ]。 こうした研究はすべて、高度に能力のある知能機械を制御する問題は解決可能であるという仮定の下で行われているが、 この仮定は厳密な手段によって確立されたものではない。1しかし、コンピュータサイエンスでは、 まず問題が解決不可能な問題に属していないことを示してから、その問題を解決しようとしたり、 どのようなアプローチを試すかを決めたりするためにリソースを投入するのが標準的な方法である [ 32 , 33 ]。 残念ながら、私たちの知る限りでは、AI制御問題が原理的にはおろか、実際にも解決可能であることを示す 数学的証明や厳密な議論は発表されていない。あるいは、ボストロムを引用してガンズが述べているように、 「これまでのところ、AI研究者や哲学者は、[悪い]結果が発生しないようにする制御方法を思い付くことができていない…」[ 34 ]。 チョンは次のように宣言している [ 35 ]。「本当の問題は、AI制御問題に対する解決策が見つかるかどうかだ。 これはまだ分からないが、少なくとも、制御理論家やエンジニア、 私たちのコミュニティの研究者が制御問題に重要な貢献をすることができる可能性が高いと思われる。」 ユドコウスキーは、制御問題が解決不可能である可能性を考慮しているが、そのような重大な制限を受け入れる前に、 問題を詳細に研究すべきであると正しく主張し、次のように書いている。「私が遭遇する一般的な反応の 1 つは、 十分に強力な AI であれば、自身のソース コードを変更して、課せられた制約を破ることができるため、 友好的な AI は不可能であると即座に断言することです... しかし、課題について考え、可能な限りの技術的詳細を研究してから、 不可能であると断言する必要があります。特に、その答えに大きな利害関係がある場合はそうです。 詳細に検討して創造性を発揮することなく、課題を解決不可能と断言することは、人間の創意工夫に対する敬意を欠くことです。 空気より重い飛行機を作ることはできない、核反応から有用なエネルギーを得ることはできない、 月へ飛ぶことはできないなど、何もできないと言うのは非常に強い発言です。このような発言は普遍的な一般化であり、 誰かがこれまでに、または今後、問題を解決するために考え出したあらゆるアプローチに基づいて定量化されます。 全称量指定子を偽であると証明するには、たった一つの反例で十分です。友好的な（または友好的な） AIは理論的に不可能であるという主張は、あらゆる心の設計とあらゆる最適化プロセスをあえて定量化しています。 そこには、やはり心を持つ人間も含まれており、その中には善良な人もいて、もっと善良になりたいと願っている人もいます。 この時点で、友好的なAIが人間には不可能かもしれないという漠然ともっともらしい理由はいくつもあり、 問題は解決可能だが、誰も時間内に解決できない可能性が高いです。しかし、特に賭け金を考えると、挑戦をすぐに諦めるべきではありません。」[ 36 ]。 ユドコウスキーは「不可能」という言葉の意味をさらに明確にしています。 「私は「不可能」という言葉には2つの用法があることに気づきました。 1. 特定の公理を条件とする不可能性の数学的証明。 2. それを実行する方法がわかりません。 言うまでもなく、私自身の「不可能」という言葉の使い方はすべて後者のタイプでした。」[ 37 ]。 本論文では、最初のタイプの不可能性に注目し、厳密な分析と議論、そして可能な場合は数学的証明を提供しようと試みますが、 残念ながら、AI 制御問題は解決不可能であり、私たちが期待できるのはより安全な AIだけですが、 最終的には 100% 安全な AI ではなく、人類に関する実存的リスクの領域では十分なレベルの安全性ではないことを示しています。

2 AI制御の問題 AI制御問題は人類が直面する最も重要な問題である可能性が示唆されている[ 35 , 38 ]が、その重要性にもかかわらず、 理解が不十分で、定義が曖昧で、研究が不十分なままである。原理的には、問題は解決可能、解決不可能、決定不可能、 または部分的に解決可能である可能性があるが、現時点ではAI制御問題の状況を確信を持って把握していない。 特定の状況ではいくつかのタイプの制御が可能になる可能性は高いが、ほとんどの場合、 部分的な制御では不十分である可能性も高い。このセクションでは、問題の正式な定義を示し、 その変種を分析して、正式な定義を使用してAI制御問題の状態を判断できるようにすることを目標とする。 2.1 制御問題の種類 AI制御問題を解決することは、AIの安全性とセキュリティの分野における決定的な課題であり、難しい問題です。 問題を理解する上で曖昧さが生じる理由の1つは、問題の多くのサブタイプが存在するという事実に基づいています。 狭義のAI (NAI)、人工汎用知能 (AGI) [ 39 ]、人工超知能 (ASI) [ 39 ]、 または再帰的に自己改善する(RSI) AI [ 40 ]の制御について話すことができます。 各カテゴリはさらにサブ問題に細分化できます。たとえば、NAIの安全性には公平性、説明責任、透明性 (FAT) [ 41 ] の問題が含まれ、静的NAI、 または学習可能なNAIにさらに細分化できます。(あるいは、決定論的システムと非決定論的システム。 決定論的システムの制御ははるかに簡単で理論的に解決可能な問題です。) 一部の懸念事項はより高度なシステムに拡張されると予測されますが、 そうでないものもあります。同様に、安全とセキュリティの問題は、その発生が予想される時期に基づいて短期から長期まで分類されるのが一般的です[ 42 ]。 しかし、計算複雑性 [ 43 ]、暗号化 [ 44 ]、リスク管理 [ 45 ]、敵対的ゲームプレイ [ 46 ] と同様に、 AIの安全性においては、問題に完全に対処するために必要なリソースの下限値を与えるため、 最悪のケースが最も興味深いものとなる。したがって、本稿では、制御問題のすべてのバリエーションを分析するのではなく、 再帰的自己改善型スーパーインテリジェンス (RSISI) という、おそらく最悪のケースのバリエーションに焦点を当てる。 これは最も難しいバリエーションであるため、これをうまく解決できれば、問題のより単純なバリエーションを 処理することが可能になるということになる。また、技術の進歩に伴い、最終的には最も困難なケースに 対処せざるを得なくなることを認識することも重要である。最悪のケースの問題を解決するチャンスは一度しかないが、 より簡単な制御問題には複数回挑戦できる可能性があることが指摘されている [ 12 ]。 最悪のシナリオ [ 47 ] には、厄介なサプライズ [ 48 ]という形で実現する可能性のある未知の未知 [ 40 ] が含まれていない可能性があることを明確に認識する必要があります。 つまり、「…「最悪のシナリオ」は決して最悪のケースではない」 [ 49 ] ということです。たとえば、 伝統的に絶滅は人類にとって最悪の結果であると想定されていますが、AIの安全性の文脈では、 これは被害リスク [ 50 - 54 ] を考慮に入れておらず、設計上の悪意ではなく欠陥のある超知能システムの問題のみを想定しています [ 55 ]。 同時に、制御問題のより単純なバリエーションを概念実証として解決し、安全メカニズムのツールボックスを構築することは有用かもしれません。 例えば、現在のツールを使っても、静的な三目並べプログラムのような簡単なNAI制御のケースでは、 AIはソースコードレベルで検証でき[ 56 ]、あらゆる意味で完全に制御可能、説明可能、安全であることが簡単にわかります。 さまざまな平均ケース[ 57 ]と簡単なケースの制御問題に対する解決可能性の分析は、今後の課題とします。 最後に、複数のAIを安全にするのは簡単ではなく、むしろ難しいため、シングルトン[ 58 ]のシナリオは単純化した仮定であり、 1つのAIを安全にすることが不可能であることが示されれば、より複雑なマルチASIの世界のケースを分析する必要がなくなります。 スーパーインテリジェンスの制御方法論の可能性は、能力制御と動機付け制御に基づく方法の2つの大きなカテゴリに分類されている[ 59 ]。 能力制御方法は、ASIシステムを制限された環境に置いたり[38, 60-62]、遮断機構を追加したり[ 63 , 64 ]、 トリップワイヤーを追加したりすることで、ASIシステムが引き起こす可能性のある危害を制限しようとする。 動機付け制御方法は、ハンディキャップのある能力コントローラがない場合でも危害を及ぼさないようにASIを設計しようとする。 能力制御方法はせいぜい一時的な安全対策であり、ASI制御の問題に対する長期的な解決策にはならないことが一般的に認められている[ 59 ]。 動機付け制御は、展開後ではなく、設計/実装段階で追加する必要がある可能性も高い。 2.2 正式な定義 知能の定義を形式化するために[ 65 ]、レッグら[ 66 ]は多数の関連定義を収集し、 あいまいな知能の概念を非常に効果的に形式化することに成功しました。私たちも、まずAI制御問題 （および関連用語である友好的AI、AI安全性、AIガバナンス、倫理的AI、アライメント問題）の公開された定義を収集し、 それらを使用して独自の形式化を開発することで、同じことを試みます。

AI 制御問題の定義の提案（順不同）: • 「… 友好性（人間に危害を加えたくないという願望）は最初から設計に組み込まれるべきですが、設計者は自分の設計に欠陥があるかもしれないこと、 そしてロボットが時間の経過とともに学習し進化することを認識する必要があります。したがって、 課題はメカニズム設計の1つです。つまり、チェックとバランスのシステムの下でAIシステムを進化させるメカニズムを定義し、 そのような変化に直面しても友好性を維持するユーティリティ機能をシステムに与えることです。」[ 67 ]。 • 「…AIが悪事を働かないように構築する」[ 68 ] • AIの初期のダイナミクスは、「…もし私たちがもっと多くのことを知り、より速く考え、私たちが望むような人間になり、 より一緒に成長していたらという私たちの願い、つまり、外挿が発散するのではなく収束し、 私たちの願いが干渉するのではなく結びつくこと、私たちが望むように外挿され、私たちが望むように解釈されること」を実装する必要がある[ 36 ]。 • 「AIは『正しいことをする』」[ 36 ] • 「…私たちがこの問題について長い間真剣に考えていたならば、AIに達成してほしかったであろうことを達成する。」[ 59 ] • 「… 超知能が何をするかをどうやって制御するかという問題…」[ 59 ]。 • 「制御問題のグローバルバージョンは、すべての高度な人工知能を普遍的に定量化し、 それらのいずれも人間の制御から逃れないようにします。明らかな理論的根拠は、 　　脅威をもたらすには1つだけで十分であるということです。これは、 　　範囲に関する限定なしに元の制御問題を参照する場合の最も一般的な解釈です。」[ 69 ]。 • 「…AIのメリットを享受しながら落とし穴を避ける。」[ 11 ] • 「…人間よりも賢く強力になり、人類に実存的リスクをもたらす将来の機械を制御する問題である。」[ 35 ] • AIは、「利害関係者の好みのいかなる組み合わせとも両立しない好みに合わせて最適化されていない場合、 　つまり、長期的には最適化の暗黙の好みに従ってリソースを使用することが利害関係者にとってパレート効率的ではない場合」に整合している。[ 70 ] • 「エージェントが人間の価値観に沿って行動することを保証する…」[ 71、72 ]。 • 「… 高度に高度な知能を備えたシステムが厳密に人間の制御下にあることをどのように保証するか。」[ 73 ] • 「AIアライメント問題は、エージェントがポリシーを学習するという観点から説明できる」 　これは人間の報酬関数Rに対して実行される計画アルゴリズムpと互換性がある（同じ結果を生み出す）ものである。」[ 70 ]。 • 「[AI]は悪いことをしたくない」[ 74 ] • 「[AI]は人間の価値観を学び、それを具体化したいのです」[ 74 ]。 • 「強力なAIシステムが人間のユーザーにとって望ましい方法で確実に動作することを保証する…」[ 75 ]。 •「AIシステムは、人間のオペレーターの意図とほぼ一致するように動作します。」[ 75 ]。 • 「AIの安全性：AI、特に強力なAIがもたらすリスクを軽減すること。誤用、堅牢性、信頼性、セキュリティ、 プライバシーなどの問題が含まれます。（AI制御を包含します。）AI制御：AIシステムが正しいことをしようとすること、 　　特に間違ったことを適切に追求しないことを保証すること…AIセキュリティとほぼ同じ問題のセット。 　　価値の整合：通常は人間から学習することにより、人間の好み/価値観を共有するAIシステムを構築する方法を理解すること。（AI制御の側面。）」[ 76 ]。 • 「フィードバック、適切な説明、アピールのための適切な機会を提供するAIシステム。私たちのAI技術は、適切な人間の指示と制御の対象となります。」[ 77 ] • 「強力な人工知能に人間が望むことを実行させるという問題」[ 78 ] • 「AI研究の目標は、無目的な知能ではなく、有益な知能を生み出すことであるべきだ…AIシステムは、 　　運用期間中ずっと安全で安心でなければならず、適用可能で実行可能な場合は検証可能であるべきである…高度に自律的なAIシステムは、 　　その目標と動作が運用全体を通じて人間の価値観と一致するように設計されるべきである…人間は、 　　人間が選択した目的を達成するために、AIシステムに決定を委任するかどうか、またどのように委任するかを選択すべきである。」[ 79 ]。 • 「制御の問題は、AGIが超知能化する前に、人間が実存的リスクから身を守る方法がない場合に発生します。 　　AGIが何ができるか（その能力）を制御するか、AGIが何をしたいか（その動機）を制御するかのいずれかです。」[ 34 ] • 「…制御問題は、プリンシパル-エージェント問題のスーパーインテリジェンス版であり、 　　プリンシパルは、エージェント（異なる目標を持つ）がプリンシパルの利益のために行動することを確実にする方法を決定する必要があります… 　　人間の初期エージェントは、AIの報酬関数としてその効用関数を記述してプログラムすることができないため、制御問題に直面します。」[ 34 ]。 • 「制御問題は、次の3つの条件が満たされたときに発生します。 　　1. …初期エージェントとAIは同じ利益を持っていません。 　　2. … AIの最適なリソースレベルは、初期エージェントと同じかそれより低い強さのエージェントが保持するリソースレベルを超えています。 　　3. … AIのパワーは初期エージェントのパワーよりも大きいです…」[ 34 ]。 • 制御問題のサブタイプ（再帰的またはメタCP）は、 　「…AIは、より強力なAIやより大きな力を蓄積できるAIを起動した場合、それ自体が制御問題に直面する可能性がある… 　人間がAIを起動する場合に[制御]問題が発生するのであれば、AIがAIを起動する場合にも問題が発生する」と予測しています[ 34 ]。 •「人間/AI制御とは、特に人間がシステムの設計者が意図した通常の手段ではAIシステムをうまく理解したり指示したりできない場合に、 　　AIシステムが関与する状況の制御を維持または回復する人間の能力を指します。」[ 80 ] • 「…作成者を支援する超知能エージェントを構築する方法、そして作成者に害を及ぼすような超知能を誤って構築することを避ける方法。」[ 81 ] • 「プログラマーは、スーパーインテリジェンスが壊滅的な誤動作を起こさないように事前にどのような予防策を講じることができるか？」[ 81 ] • 「最初の超知能に人間に優しい目標を吹き込み、プログラマーを支援したいと思うようにする。」[ 81 ] • 「ユーザーの意図に応じて動作するエージェントをどのように作成できるか？」[ 82 ] • 「…人間に害を与えない高度なAIシステムを構築するという課題…」[ 83 ] • 「…人間が、はるかに優れた知能を持つ機械が存在する世界において、優位性と自律性を維持できるかどうかという問題」[ 84 ]。 • 「実行すると良い結果を生み出すAI」[ 85 ] • 「…成功とは、非協調的な知性が決して生み出されないことを保証することである…」[ 85 ]。 • 「…あなたが望むことをしようとするAIを構築することに加えて、AIが後継者を構築するときにそれがうまく機能することを保証します。」[ 86 ] • 「…AIの調整という技術的な問題を解決し、後から私たちが好む原則や価値観のシステムを「ロード」できるようにする。」[ 87 ]

• 「… 超知能 AI システムは、慎重に設計および使用しないと、リスクをもたらす可能性があります。 　　タスクを遂行する際に、そのようなシステムは、私たちの利益に反する副作用のある計画を見つける可能性があります。 　　たとえば、多くのタスクは、私たちが他の方法で使用したい物理的なリソースを制御することでより効果的に達成できますが、 　　超知能システムはこれらのリソースを獲得するのに非常に効果的です。これらのシステムが私たちよりもはるかに多くの力を行使するようになると、 　　私たちにはほとんどリソースが残されない可能性があります。超知能 AI システムが意図的に私たちの価値観を尊重するように構築されていない場合、 　　その行動は、タスクを追求する上で私たちのニーズを無視するため、地球規模の大惨事や人類の絶滅につながる可能性があります。 　　超知能制御の問題は、これらのリスクを理解し管理する問題です。」[ 88 ]。 • 「チューリング、ウィーナー、ミンスキーらは、高度に知能化された機械を有効活用するには、 　　そのような機械の目的が人間の目的と十分に一致している必要があると指摘している。機械知能の認知能力が多様化し、 　　増幅するにつれて、社会にとって長期的な制御の問題が生じる。つまり、どのような数学的および工学的原理によって、 　　人間よりもはるかに知能が高く、その意味ではより強力な存在に対して、十分な制御を無期限に維持できるのか？ 　　強力な機械知能が導入される前に、そのようなシステムが人類にとって安全であることを保証する正式な解決策はあるのか？」[ 89 ]。 『AIアライメント問題の正式な記述』でウォーリーは次のように書いている[ 70 ]。 「…AIアライメントの問題は、人間の価値観と整合したAIを生み出すことだが、これでは人間の価値観と 　整合するとはどういうことかという疑問が湧いてくるだけだ。さらに、人間の価値観は言うまでもなく、 　あらゆる価値観と整合するとはどういうことなのか。AIは人間の望むことをするとき人間の価値観と整合していると言って答えることもできるが、 　これではさらに多くの疑問が湧いてくるだけだ。AIは、他の特定の人間がやることを、ある特定の人間がやらないことを行うだろうか？ 　現在の技術は、私たちが求めることはできても、望んでいることはやらないことが多いのに、 　AIはどうやって人間が望んでいることを知るのだろうか？そして、 　人間の価値観がAI自身の価値観と矛盾する場合、AIはどうするだろうか？これらの疑問に答えるには、 　AIが整合するとはどういうことなのかをより詳細に理解する必要がある。したがって、本研究の目的は、 AIアライメント問題の正確で形式的な数学的記述を提示することである。… 最初の定式化としては、AI Aが人類Hと同じ効用関数、つまりU_Aを持つことを望む、ということになるかもしれない。 = U_H。これは少なくとも2つの問題を提起します。人類は一貫した好みを持たない可能性があるため、U_Hを構築することは不可能かもしれません。 そして、Aは、特に自己修正後の実装に関する決定に関して、観察された行動に影響を与えない限り、人類が無関心な好みを持っている可能性があります。 前者の問題を今のところ無視したとしても、後者は、私たちが整合したAIに人類とまったく同じ効用関数を強制するのではなく、 人類のものと整合または互換性のあるものだけを強制したいということを意味します。」[ 70 ]。 彼はそれを次のように定義した[ 70 ]。「エージェントAとH、選択肢の集合X、効用関数U_A:X → ℝ およびU_H:X → ℝ 全てのx,yに対して、AがHとX上で一致すると言う。 ∈ X, U_H( x ) の ≤ U_H( y )はU_A( x )を意味する ≤ U_A( y )」AIが明示的な効用関数なしで設計されている場合、それは弱い順序付け選好の観点から次のように再定式化できます。 「エージェントAとH、選択肢の集合X、および選好順序が与えられた場合 ……（中略）　←　※自分は数学的記号の意味がよく分からない。（後で調べておこうか？） [ 70 ]。さらに分析を進めると、ウォーリーは問題を次のように定義している[ 70 ]。 「AはHの価値観を学ばなければならず、HはAがHの価値観を共有していると信じられるほどAについて知っていなければならない。」 ※AIは人間の価値観を十分に学ばなければならず、人間側は、「AIが人間の価値観について十分に学んでいる」ということについて、 　正確に完全に知っていなければAIは安全ではない、ということ。 「AIが人間の価値観について学ぶ困難性（そもそも倫理とか正義とか価値とは何か？数学的に定式化可能なのか？）」と、 「AIが人間の価値観について十分に学んでいると、人間側が確信するための困難性（ディープラーニングの解釈可能性とか）」 　ということについても解析していく必要がある、ということ。 チョンは『制御の問題』[会長メッセージ]で次のように書いている[ 35 ]。 「どうやら、制御の観点から見ると、AIの制御問題は、機械の制御性の欠如によって生じるリスクから生じているようだ。 より具体的には、ここでのリスクは、コントローラーの（ある種の）不安定性である。 本質的に、制御の問題はコントローラーを制御することの問題である。確かに、これは私たちの制御分野における正当な問題である。 実際、少なくとも原理的には、制御の教科書に載っている種類の制御問題とそれほど違いはない。」 上記の定義を統合し、形式化することで、AI 制御問題を次のように定義します。優れた知能の恩恵を受けながら、 人類は安全に制御を維持するにはどうすればよいのでしょうか。これは、AI の安全性とセキュリティの分野における基本的な問題であり、 それ自体が、インテリジェント システムを改ざんから保護し、関係するすべての利害関係者にとって安全なものにすることに専念していると言えます。 価値の整合は、現在、安全で安全な AI を実現するための最も研究されているアプローチです。 安全性やセキュリティなどのあいまいな概念は、何年も研究されているにもかかわらず、 非 AI ソフトウェアであっても正確にテストまたは測定することが非常に難しいことで有名です [ 90 ]。 せいぜい、完全に安全か、同様のタスクを実行する平均的な人と同じくらい安全かを区別できるでしょう。 ただし、社会は、人間のパフォーマンスに典型的な頻度、またはそれよりも低い頻度で発生したとしても、 機械のミスを容認する可能性は低いです。私たちは、機械がより優れたパフォーマンスを発揮することを期待しており、 このような高機能のシステムに関しては、部分的な安全性を容認しません。AI の影響 (良い影響と悪い影響の両方) は、 AI の能力と強く相関しています。潜在的な実存的影響に関しては、部分的な安全などというものは存在しません。

制御の問題に対する素朴な初期の理解では、人間の命令に正確に従う機械を設計することを提案するかもしれない[91-93]。 しかし、よく考えてみると、矛盾した/逆説的な命令の可能性、人間の言語の曖昧さ、ひねくれたインスタンス化[94 ]の問題のため、 それは望ましいタイプの制御ではないが、人間のフィードバックを統合する何らかの機能が望ましいかもしれない[ 95 ]。 解決策に必要なのは、AIが理想的なアドバイザー[ 96 ]の能力をより発揮し、直接的な命令の誤解や悪意のある命令の可能性の問題を回避することだと考えられている。 考えられる制御の種類を明示的に挙げ、それぞれを AI の応答で説明することができます。たとえば、スマート自動運転車のコンテキストでは、 人間が「車を止めてください!」という直接的なコマンドを発行した場合、AI は次の 4 つの制御のいずれかの下にあると言えます。 •明示的な制御 - AI は高速道路の真ん中でも車を即座に停止します。コマンドはほぼ文字通りに解釈されます。 これは、SIRI やその他の限定的な AI など、現在多くの AI アシスタントで実現されています。 •暗黙的な制御 - AI は、最初の安全な機会に、おそらく路肩に車を停止することで、安全に従うことを試みます。 AI にはある程度の常識がありますが、それでもコマンドに従おうとします。 •整合制御 - AI は、人間がトイレに行く機会を探している可能性が高いことを理解し、最初の休憩所に車を停めます。 AI は、コマンドの背後にある意図を理解するために人間のモデルに依存し、コマンドの常識的な解釈を使用して、人間がおそらく期待することを実行します。 •委任制御 - AI は人間がコマンドを出すのを待たずに、人間がトレーニングから恩恵を受けると考えて、 ジムで車を止めます。人間を幸せにし、安全に保つために何をすべきかをよく理解している、超知能で人間に優しいシステム。AI が制御します。 5番目のタイプの制御であるハイブリッドモデルも提案されており[ 97、98 ]、 これは人間とAIが1つの存在（サイボーグ）に結合されるものです。当初、 サイボーグは狭い意味でのAI機能を追加して人間を強化することで一定の利点を提供できるかもしれませんが、 AIの能力が向上し、人間の脳の能力が一定のままになると、 人間のコンポーネントは結合されたシステムのボトルネック以外の何物でもなくなります。 実際には、この遅いコンポーネント（人間の脳）は、最終的には明示的に、 または少なくとも暗黙的に結合制御から完全に削除されるでしょう。なぜなら、 AIが超知能化すれば、このコンポーネントは人工の脳に追いつくことができず、提供できる価値のあるものが何もないからです。 ※これは言われてみれば確かにその通りだとしか言えない。調べると、電気基盤の信号速度は15万km/sほどで、 　それに対して、人間の神経細胞を伝わる電気信号の速度は（これも部位によるだろうけど、）50m/sほどで、　勝負にならない。 タイプとその能力の別の分類は、ホセインとイェシン[ 99 ]によって提示されている：エージェントオペレーター（コマンドを実行する）、 サーバント（意図を実行する）、アシスタント（必要に応じてヘルプを提供する）、アソシエイト（行動方針を提案する）、 ガイド（人間の活動を先導する）、指揮官（人間に代わる）。しかし、同様の分析と結論は、[ 100-103 ] を含むすべてのそのような分類に当てはまります。ガブリエルは、価値整合問題のさまざまな解釈に基づいた内訳を提案していますが、 すべての解釈、つまりAIを指示、表明された意図、明らかにされた好み、情報に基づいた好み、 または人々の幸福に整合させることを意味する場合、[ 87 ]、結果として得られるソリューションには安全でない、 望ましくない結果が含まれることを示しています。 同様に、人間性をデジタル化して超知能機械に対抗できる能力を高めようとするアプローチも、 人間の存在にとっては行き止まりである。ジョイは次のように書いている。 「…私たちは徐々にロボット技術に取って代わられ、意識をダウンロードすることで不死に近い状態を達成するだろう… しかし、私たちが技術にダウンロードされた場合、その後私たちが自分自身、あるいは人間である可能性はどれほどあるだろうか？ ロボットの存在は、私たちが理解するあらゆる意味で人間のものとは似ておらず、 ロボットは決して私たちの子供ではなく、この道をたどると私たちの人間性は失われる可能性が高いと私は思う。」[ 104 ]。 ※こちらも言われてみれば確かにその通りな可能性が高いと思う。人間の意識感覚（クオリア）は、 　人間の身体性に密接に依拠していることは明白だと言える。網膜が傷ついたら視界に異常は発生するし、 　鼓膜や三半規管に欠陥が出れば、聴覚に異常が出る。ロボトミー手術を受けた患者は感情と思考に異常性が発生する、というように。 　ただ、人間の意識体験と身体の状態が完全に一対一で対応しているのか？ 　（心の哲学で言うと、心脳同一説の中のタイプ同一説とトークン同一説）については自分はよく分からんが、 　「人間の身体性を捨てて、何か別のシステムに精神性を移行させる」ということは、 　「精神性の依り代であった身体が放棄された時点」で存在そのものが全く別の性質に移行してしまったということ 　なのだから、機械に意識を転送した時点で、もはや人間としての感覚は無くなってしまい、 　「機械としての意識」に変わってしまうのではないか？仮に「機械としての意識」というものが 　存在できるのならば、どのような体験をすることになるのだろうか？「楽しい」とかそういう感覚はあるんだろうか？　 　ただ「機械の中で”人間としての意識”」は維持できるのかどうか、これはまだ議論や、 あるいは実験の余地はあるのかもしれない。かなりサイコな実験になりそうなものだが。

ニヒリストへの冒涜だね。消極的なニヒリストへの感情を感じる浅薄なもの。視点がまだ浅い。だけどこちらには来ないほうがいい。耐えきる覚悟がないのなら。水を差すな。

殺す自由は持っているが、それを行使したことがバレればその人にとっての不都合になりうる。 バレない殺人は極めて困難だし、この不都合はとても大きく、俺はオススメできない。 だから周りの人には「殺人はよくない」と言うし俺も殺人をするつもりは当分ない。

自分が死にたくないから人殺しを吊し上げ殺しを後悔させるような罰を与えなければならない そして殺人を犯したものは人ではない。 こうすると 戦争では国が殺せと言っているのに逆らえば不利益を被る。殺す不利益もなくなる。殺すしかない。 自衛も、殺そうとしている(確実に自分が殺されて、相手が殺人犯になる)のならもう罰してしまっても構わないだろう。 と言うふうになる気はする。無理矢理だけど

死んだら運命の思う壺だと思ってる。ふざけんなってな。どれだけ運命に呪われようが受けて立つ。運命に一発デカいのぶち込んだるくらいでね。そんな私は今日も意味探しに挑む。