ã¯ã³ã³ã¨å±±ç»ãâª
人工知能の将来についての主要な議論が起こるたびに、無秩序とロボットの君主の主題が出てくる傾向があります。人間と高度な人工生物が共存するという考えは、それがどのように機能するかについての何百もの物語を生み出しました。ごく最近では、ビデオゲーム 見張り 大規模な人間対ロボットの内戦の後しばらくして、私たちの未来を語ることで世界を驚かせた。ボストンダイナミクスのエンジニアがストレステストのために4本足のロボットの1つを蹴るとき、そのボットがいつの日か覚えているかどうか不思議に思うことはできません。
そのすべて（セキュリティと事故に関する基本的な常識とともに）は、「安全に遮断可能なエージェント」の開発に焦点を当てた新しい論文を発表する研究グループを導きました。 「中断」するシステムＡ．何かがうまくいかない場合はソフトウェア。この論文はMachine Intelligence Research Instituteを通して発表されたもので、提案されたシステムの開発方法に関する研究です。この調査と提案では、例として報酬システムを使用していますが、実際には、シートに詳述されている提案された「大きな赤いボタン」を押すよりもはるかに複雑です。 A.I.に道徳を教える提案の主要部分でした。
そのようなエージェントが人間の監督の下でリアルタイムで動作している場合、人間のオペレータが大きな赤いボタンを押してエージェントが有害な一連の行動を続けないようにする必要があるかもしれません。そして環境をより安全な状況に導きます。しかしながら、学習エージェントがこのシーケンスから報酬を受け取ることを期待している場合、例えば赤いボタンを無効にすることによってそのような中断を回避することを長期的に学ぶかもしれません - これは望ましくない結果です。この論文は、学習エージェントが環境や人間のオペレータによって妨げられるのを防ぐ（あるいは求めることを）しないことを確実にする方法を探ります。
ロボット無秩序についての研究論文が「望ましくない結果」という用語を使用するときはいつでもそれを愛してください - それでも、紙はテスト実行と将来のこれらのような例に関して何ができるかを説明し続けます。あなたはここで全文を読むことができます。