AIがシステムを作る時代、人間の責任も進化させよう

社会と技術

AIがシステム開発の全体に入る時代

私たちが銀行の手続きをしたり、電車に乗ったり、役所のサービスを利用したりするとき、その裏側では多くの情報システムが動いています。

こうしたシステムを、会社や役所の仕事に合わせて設計し、開発し、運用する仕事を「システムインテグレーション」、略してSIと呼びます。

日立製作所は2026年7月、SIのさまざまな工程にAIを組み込む「Agentic AI Integration Platform」を発表しました。

構想を考えるところから、要件定義、設計、プログラム作成、テスト、運用まで、それぞれの工程でAIエージェントを活用する構想です。日立は、2027年度に工程全体の生産性を30%向上させる目標を掲げています。

AIがプログラムを作り、人間の仕事を助けることには大きな可能性があります。

経験豊かな技術者が減っていくなかで、過去の知識を整理したり、大量の資料を調べたり、プログラムの間違いを探したりする仕事をAIが支援できれば、人間はより重要な判断や利用者との対話に時間を使えるようになります。

ただし、ここで考えたいことがあります。

AIが速くなれば、それだけでシステム開発全体がよくなるのでしょうか。

「速く作れる」と「安心して使える」は同じではない

日立は、特定の条件下で、設計からテストまでの作業に大きな生産性向上があったと説明しています。ただし、この数値は社内の特定工程で得られたもので、実際の効果はプロジェクトの規模や特徴によって異なるとも明記されています。

システム開発には、プログラムを書くこと以外にも多くの仕事があります。

利用する人との相談、古いデータの移し替え、別の機器との接続、安全確認、障害の調査、説明資料の作成、担当者同士の合意などです。

AIが一日に大量のプログラムを作れても、それを確認する人間の時間が足りなければ、確認待ちが増えてしまいます。

たとえば、宿題の解答をAIが一瞬で100枚作ったとしても、先生が内容を確かめるには時間がかかります。解答を作る速度だけが100倍になっても、確認する速度まで100倍になるわけではありません。

システム開発でも、似たことが起こる可能性があります。

AIの生成速度が、人間の理解や確認の速度を上回ることを、ここでは「速度の差」と考えてみましょう。

これは日立の取り組みで問題が起きているという意味ではありません。今後、社会全体でAIによる開発が広がるときに備えておくべき課題です。

すべてのプログラムを覚える必要はない

では、AIが作ったプログラムを、人間が一行ずつすべて説明できなければならないのでしょうか。

それも現実的ではありません。

現在のシステムは、外部のソフトウェア、クラウドサービス、通信回線、さまざまな機器を組み合わせて作られています。一人の人間が、そのすべてを細部まで理解することはできません。

自動車を運転する人が、エンジンの部品をすべて設計できなくてもよいのと同じです。

しかし、ブレーキが効かないときにどう止めるか、警告灯がついたときにどう対応するか、誰に修理を頼むかは分からなければなりません。

AIが作るシステムでも大切なのは、全行を暗記することではありません。

重要な部分について、次のことを人間が説明し、実際に行動できることです。

  • 何のために動いているのか
  • どこを変えると何に影響するのか
  • 問題が起きたときにどう止めるのか
  • 元の状態にどう戻すのか
  • 別の担当者が引き継げるのか

承認ボタンを押すだけでは責任にならない

特に注意したいのは、AIが詳しく見えるために、人間が内容を理解しないまま承認してしまうことです。

AIは、長い説明や専門的なプログラムを短時間で作れます。そのため、確認する人が「自分よりAIの方が詳しい」と感じることもあるでしょう。

その状態で承認ボタンを押しても、実質的な確認にはなりません。

権限を持つ人と、内容を理解できる人が別々になれば、承認は安全を守る仕組みではなく、手続だけを済ませる儀式になってしまいます。

これは承認する担当者個人だけの問題ではありません。

大量の成果物を短時間で確認するよう求められれば、誰でも十分に理解できなくなります。企業側が、確認できる量に作業を調整し、必要な時間と人員を用意することが重要です。

経済産業省も、AIの開発、提供、利用に関わる人や企業の民事責任について、AIへの頼り方、人的な確認、性能や限界の把握などを含めて整理しています。AIを使ったという理由だけで、人間や企業の責任がなくなるわけではありません。

品質を「動いたか」だけで判断しない

これまでのシステム開発では、決められた機能が正しく動けば、ひとまず完成とされることがありました。

しかし、AIを使った開発では、「今、動いているか」だけでは十分ではありません。

品質を、少なくとも次の五つの質問で確かめる必要があります。

  1. 変更できるか
  2. 人に説明できるか
  3. 安全に止められるか
  4. 障害から復旧できるか
  5. 第三者が確認できるか

これらを契約や受け入れ条件に入れておけば、完成後に担当者が変わったときも、利用する企業が困りにくくなります。

IPAの「情報システム・モデル取引・契約書」も、利用企業とITベンダーの役割や責任を明確にし、開発段階でリスクや費用について共通理解を作ることを重視しています。

AIが使えない日にも動かせるようにする

もう一つ大切なのが、AIサービスが使えなくなった場合への備えです。

AIサービスは、通信障害、利用制限、サービス終了、価格変更、契約変更などの影響を受けることがあります。

そこで必要になるのが、AIが使えないときにも、重要なサービスだけは続けられる仕組みです。

飛行機が一部の装置に問題を抱えたとき、機能を制限しながら安全な場所まで飛ぶように、システムにも「最低限の運転」が必要です。

さらに、障害対応や復旧については、AIがなくても対応できる最低限の技能を人間が維持しなければなりません。

AIを使わない訓練は、AIを否定するためのものではありません。安心してAIを使い続けるための備えです。

大企業には技術だけでなく責任の仕組みも期待したい

日立のように、社会インフラや大規模な企業システムを手がける企業は、多くの会社から参考にされる立場にあります。

だからこそ、開発速度やAIの利用率だけでなく、責任ある利用方法についても、先行事例を示してほしいと思います。

たとえば、次のような取り組みです。

  • AIがどの工程で何を作ったか記録する
  • 作成と確認を別の人や別の方法で行う
  • 担当者が変わっても修正できるか試験する
  • 障害時の停止・復旧訓練を行う
  • AIが使えない状態での対応力を残す
  • 長期的な保守や障害対応の結果も検証する

米国国立標準技術研究所の安全なソフトウェア開発の枠組みも、AIを含むソフトウェアについて、開発から運用までの全体を通した安全管理を重視しています。

技術を先に進める企業には、同時に、社会がその技術を安心して受け入れるための道を作る役割があります。

まとめ

AIがシステム開発を助ける流れは、これからさらに広がっていくでしょう。

大切なのは、その進歩を止めることではありません。

AIが速く賢くなるのに合わせて、人間の確認方法、企業の責任、契約、教育、障害対応、引き継ぎの仕組みも進化させることです。

AIが作ったプログラムを、人間がすべて書き直す必要はありません。

しかし、安全に使えること、必要なときに直せること、問題が起きたときに止めて復旧できること、別の人に引き継げることは、企業が責任を持って実現しなければなりません。

AIの進歩に人間が追いつくとは、AIと同じ速さでプログラムを書くことではないのでしょう。

AIが生み出したものを理解し、確かめ、社会に対して責任を持てる仕組みを育てること。

それが、AIと人間が共に働く時代に必要な、本当の意味での進歩だと思います。