自律武器は違法な命令に対して「いいえ」と言いますか？

天井が彼の上に倒れ始めたとき、Baynazar Mohammad Nazarは手術台の上で無意識でした。 4人の父親は、足を撃たれた前日に入院し、怪我を直すために2日で2回目の手術を受けていました。アメリカ人が建物を破壊し始めたとき、彼に取り組んでいる医者は彼らができるだけ速く自分で逃げること以外に選択肢がありませんでした。

Andrew Quilty at 外交政策 手術台の上の破片で覆われた彼の体の写真を含む記事で、Baynazarの生と死の話をします。 Baynazarは、10月2日にアフガニスタンのKunduzにある国境なき医師団（MSFとも呼ばれる）によって運営されていた、米国が殺害した31人のうちの1人でした。

知名度が高く民間人が多いストライキの後、政治家や専門家は、そのようなことがどのように起こり得るのか、そしてそれが再び起こらないようにするために何ができるのかを尋ねます。 「キラーロボット」と呼ばれることもある自律型武器システムの支持者の間では、人的ミス（または悪意）が戦時中に犯された犯罪の大部分を担うというのが一般的な議論です。理論的には可能である、と彼らは言う、ロボットは彼らの目標設定においてより正確であり、そして人間よりも間違いを起こしにくいと彼らは言う。

米国海軍戦争大学の教授であるMichael N. Schmittは、次のように述べています。 「そうでなければ信じる人々は戦争の霧を経験したことがありません。」

アフガニスタンのMSF病院に対する米国の空爆 '主にヒューマンエラーが原因' http://t.co/X9TGIA81aD pic.twitter.com/TUwit97206

- Telegraph News（@TelegraphNews）2015年11月25日

質問は、それで、あなたは、クンドゥーズ病院の爆撃のようなストライキを不可能にするために、あるいは少なくともそれほど起こりそうにないために、人間の行動を制限するための戦争の道具をプログラムすることができるか？

おそらくそうではありません - 少なくとも近い将来には。しかし、一部の人工知能プログラマーは人間にノーと言えるロボットを設計しました。実験計画は簡単です：人間はロボットに最初にすることを拒否してテーブルから降りるようにロボットに指示します。人間がロボットにそれを捕らえると言うと、ロボットはその命令を受け入れます。

それは戦争犯罪であろうから病院に対して空爆を実行することはできないと半自律攻撃ヘリコプターがその人間の乗組員に告げることからの長い道のりですが、根本的な前提は大体同じです。他の人が指摘したように、ロボットのこのような種類の開発に対する人間の不安は、サイエンスフィクションでは一般的です - HAL-9000は、宇宙ステーションの外で人間を宇宙ステーションの外に閉じ込めている 2001年：宇宙オデッセイ.

Kunduzストライキの詳細に関しては、攻撃をめぐる事実の多くは議論の余地があります。 MSFは、米国政府が反対する独自の調査を要求し、代わりに独自の調査を実施することを約束しています。

ある米国の捜査の一部は今月初めに公表され、人的および機械的な誤りがストライキの原因であることが判明した。しかし今週初め、2人の奉仕メンバーが報告の調査結果と矛盾することを前に思いついた。ストライキは間違いではなかったと彼らは言う。彼らの会計では、最初に報告された AP 米国の特殊作戦部隊は、病院がタリバンの指揮統制センターとして使用されていたにもかかわらず、ストを要求した。

正式版では、機械的な不具合によりAC-130ガンシップの乗組員は最初は空のフィールドの座標を取得していました。乗組員はそれから彼らが与えられた物理的な説明に合うエリアで建物を捜して、そして発砲しました。彼らの器具が再調整されたとき、彼らは彼らの目標のために乗組員に正しい座標を与えました、しかしとにかく乗組員は病院に発砲し続けました。

この説明が真実であれば - コンピュータは最終的に正確で人間はそれを無視していた - それは武器システムにおけるより大きな自律性の支持者にいくらかの信頼を与える。とは言っても、米国の対テロ戦争は軍隊やCIAが「正しい」目標を打ち破った例で溢れていて、それでもやはり膨大な数の民間人を殺害してしまいました。オートメーションは悪い知性を解決することはできません、そして道徳の近似をプログラムしようとしても戦争犯罪を終わらせることはできません。

アメリカには、戦争の定義を変えようとしている害からアメリカ人を排除することによって、戦争と自動化を無菌化するという強い誘惑があります。ドローン殺害に対するオバマ氏の嗜好、および無人偵察機がこれまでに作成された中で最も正確な武器であるというそれに付随する保証は、それらの目的の明確な表れです。オバマ氏は2012年のGoogleハングアウトで、「これらはアルカイダとその関連会社に対する正確で精密な攻撃でした」と述べた。

しかし、2013年の政府調査ではこれらの主張とは対照的です。それはアフガニスタンの無人機が無人車の10倍の民間人の死を引き起こしたことを発見した。 「無人偵察機は戦闘機より民間人を避けるのに魔法のようには良くない」と同研究の共著者であるSarah Holewinskiは述べた。 保護者 。 「ジェット機を操縦するパイロットに民間人保護に関する明確な指示と訓練が与えられたとき、彼らは民間人の犠牲者率を下げることができました。」

軍は人間とロボットのチーム化システムの開発に数百万ドルを費やしており、有人または無人武器によって実行される任務間の境界線をさらにぼかしている。 「人と機械の戦闘チーミングで私たちがしたいのは、それを次のレベルに進めて、群がった戦術のようなものを検討することです」と、国防副長官のBob WorkはDoDサイエンスの公式ブログに語った。 「F-35は4人の無人翼者と戦うことができますか？」

人間のパイロットが彼らにテーブルから降りるのと同じような命令を与えるなら、それらのウィングマンはノーと言うでしょうか？病院や学校を破壊する命令についてはどうですか？戦争の霧はどちらの場合にも当てはまるでしょう。そして私達が機械を無効にすることにした場合、「ヒューマンエラー」という語句は将来の対立における最も恐ろしい用語の1つになるでしょう。