【第3部】AIが命令どおりに人を傷つけた。悪いのは誰だ?――正義・権力・社会のルール

コラム

【ネタバレ注意】本稿は『PLUTO』全編を読んだ方を主な対象とし、作品の核心的テーマと終盤の方向性に触れます。具体的なせりふや場面の転載は行いません。

連載「『PLUTO』から考える、私たちのAI社会」第3部

AIが誤作動して人を傷つけたなら、まず故障や設計ミスを疑うだろう。では、AIが命令を正確に理解し、その通りに動いた結果、人を傷つけたらどうか。

悪いのはAIか。命令した人か。利用を許可した組織か。危険を知りながら止めなかった人か。この問いは、技術だけでは答えられない。

「最強」を必要としたのは誰か

手塚治虫公式サイトは、「地上最大のロボット」の根底に戦争批判があり、憎しみのないロボット同士が戦わされる空しさ、権力欲、ロボットへの差別が描かれていると説明する。

プルートウは強大な力を持つ。しかし、力を持つことと、その使い道を自由に決められることは別だ。誰かが目的を定め、戦う相手を選び、「最強」という価値を押しつける。物語が問うのは、兵器の性能だけでなく、その性能を欲しがる側の権力である。

『PLUTO』は、この構図を人間とロボットが共生する社会、戦争の記憶、愛と憎しみの連鎖へ広げる。終盤まで読むと、破壊を生むのは単純な機械の暴走だけではなく、過去の暴力を正当化し、他者を道具として利用する社会の仕組みでもあると分かる。

「正しく動くAI」の危険

AI安全というと、誤答や誤作動を減らす話になりやすい。もちろん重要だ。しかし、目的そのものが不適切なら、正確で従順なAIほど大きな被害を生むことがある。

たとえば学校が「退学者を減らす」という目標でAIを導入し、成績や欠席数から生徒を分類したとする。予測が正確でも、その結果を理由に一部の生徒へ進学機会を与えなければ、予測が差別を固定する可能性がある。問題は計算ミスではなく、誰の利益を目標にし、誰が不利益を受けるかを十分に検討しなかったことだ。

NIST1のAIリスク管理枠組みは、AIのリスクを技術性能だけでなく、利用場面、影響を受ける人、組織の責任を含めて管理する考え方を示す。「安全なモデル」を作るだけでなく、「安全に使われる制度」を作る必要がある。

正義のためなら犠牲は許されるのか

社会の政策では、多数の利益と少数者の権利が衝突することがある。災害対策、治安、医療資源、入学選考。AIは複雑な選択を助けられるが、「誰の負担を受け入れるか」という価値判断を消すことはできない。

効率が上がるから正しい、平均的な利益が増えるから正しい、と決めてしまえば、少数者の不利益が見えなくなる。逆に、どんな不利益も許されないとすれば、社会的な意思決定ができなくなる場合もある。

だから必要なのは、結論を自動化する前に、目的、代替案、影響、異議申立ての方法を公開し、影響を受ける人を議論に加えることだ。正義は、正しい答えを持つ誰かが一方的に与えるものではなく、反論できる手続によって支えられる。

学校でAI進路推薦を導入するなら

あなたたちが学校のルールを作る委員になったとしよう。AIが進学先を推薦する制度を導入するなら、どんな条件を付けるだろうか。

  • AIは候補の提示までにし、最終決定は本人が行う
  • 推薦に使うデータと目的を事前に説明する
  • 生徒がAIを使わない選択をしても不利益を受けない
  • 推薦理由を理解できる言葉で示す
  • 本人が誤ったデータを訂正できる
  • 納得できない場合、人間による再検討を求められる
  • 特定の家庭環境や属性に不利な結果が出ていないか定期的に調べる
  • 問題が見つかったら利用を停止し、ルールを見直す

ここには、AIに何をさせるかだけでなく、AIを使う人間の権力をどう制限するかが含まれている。

AI導入によって何がどう変わるかの問い

AI導入によって認知、主体性、力・権力、倫理の配置がどう変わるかを点検する必要がある。誰の判断が外部化されるのか。誰が決定権を持つのか。利益と不利益は誰に配分されるのか。異議を唱える人の声は届くのか。

問いを整理できても、利害が衝突したときの唯一の答えを自動的に出せるわけではない。技術的アライメントも社会的アライメントも、一方だけで十分ではない。モデルの挙動を安全にする技術と、目的や権力を統制する制度を組み合わせる必要がある。

未来をつくる側に回る

UNESCO2の生徒向けAI能力枠組みは、生徒をAIの責任ある利用者だけでなく、AI時代の市民、さらには仕組みを作る側として位置づける。ルールは専門家だけのものではない。学校でAIをどう使うかは、その影響を受ける生徒も話し合うべき問題だ。

正解は一つとは限らない。他者と意見が違ってもよい。新しい事実を知って考えを変えてもよい。大切なのは、決定をAIや権力者に丸投げせず、影響を受ける人の立場を想像し、判断の過程に参加し続けることだ。

最後の問い

あなたが生きたいAI社会は、どんな社会だろうか。そして、その社会をつくるために、君は何を決めたいだろうか。

AIが発展する未来は、AIだけがつくるものではない。どの技術を、何のために使い、誰の権利を守るのか。その選択に参加する当事者の一人が、読者であるあなただ。


作品・参考情報

作品名・人物名は各権利者に帰属します。本稿は評論・教育目的の要約と考察であり、作品本文やせりふの転載は行っていません。公式情報、作品から読み取れるテーマ、筆者および研究所の解釈を区別して記載しています。

  1. National Institute of Standards and Technology(米国国立標準技術研究所)の略称 ↩︎
  2. United Nations Educational, Scientific and Cultural Organization(国際連合教育科学文化機関)の略称 ↩︎