スマートスピーカーは音にハッキングされる可能性があるため、研究者にそれを止めさせる

ハッカーがあなたにさえ気付かないであなたのAmazon Echoにコマンドを与えることができると言ったならば - あるいは我々が通常それを考えるようにハッキングをする必要さえないのですか？

Moustafa Alzantot、コンピュータサイエンス博士ロサンゼルス大学カリフォルニア大学の候補者は、理論的には悪意のある俳優が特定の音や信号を送信することは可能だと言っていますが、通常は人間にはまったく気付かれずに進みます。

「何が起きているのかわからなくても、攻撃の1つの例は、自宅のデバイスを制御することになります」とAlzantotは言います。 逆 。 「ラジオで音楽を再生しているときに、部屋にエコーがあるとします。エコーがそれをコマンドとして解釈するように、悪意のある攻撃者が細工されたオーディオまたは音楽信号をブロードキャストすることができる場合、これは攻撃者が言う、ドアを開ける、または何かを購入することを可能にする。

それは敵対的な例として知られている攻撃であり、それはNIPS 2017 Machine Deceptionワークショップで最近発表された論文で説明されているように、Alzantotと彼のチームの残りのメンバーが阻止しようとしているものです。

A.I.そもそもそれを作成した人間の知性と同じです：それはその欠陥を持っています。コンピュータサイエンスの研究者は、写真のピクセルをわずかに変更したり、オーディオファイルにかすかなノイズを追加したりすることによって、これらのシステムを完全にだます方法を見つけました。これらの微調整は人間には全く検知されませんが、A.I.の意味は完全に変わります。聞くか見る。

UCLAのコンピューター科学者であるMani Srivastava氏は、次のように述べています。 逆 。 「私たちは、近くの人間には「いいえ」と聞こえるが機械には「はい」と聞こえるように入力を操作することによってプロセスを覆そうとします。それで、あなたはアルゴリズムに命令を異なった方法で解釈させることができます。

最も一般的な敵対的な例は、画像分類アルゴリズムに関するもの、あるいは犬の写真を微調整してA.I.を作ることです。まったく違うものだと思います。 AlzantotとSrivastavaの調査によると、音声認識アルゴリズムもこれらの種類の攻撃を受けやすいと指摘されています。

本稿では、このグループは、GoogleのオープンソースライブラリTensorFlowにある標準の音声分類システムを使用しました。彼らのシステムは1単語のコマンドを分類することを任されていたので、それはオーディオファイルを聞き、ファイルで言われた単語でそれにラベルを付けようとするでしょう。

それから、彼らは敵対的な例を使ってTensorFlowシステムを試してトリックするために別のアルゴリズムをコーディングしました。このシステムは音声分類をだますことができた。ブラックボックス攻撃として知られているものを使用している時間の87パーセントは、アルゴリズムがそれが攻撃しているもののデザインについて何かを知る必要さえありません。

「これらの種類の攻撃を仕掛けるには2つの方法があります」とSrivastavaは説明します。 「攻撃者としての私が受信システムについてのすべてを知っているので、その知識を活用するための戦略を立てることができるようになりました。これはホワイトボックス攻撃です。私たちのアルゴリズムは、被害者モデルのアーキテクチャを知る必要がないため、ブラックボックス攻撃となります。」

明らかにブラックボックス攻撃はあまり効果的ではありませんが、実際の攻撃で最もよく使用されるものでもあります。 UCLAグループは、モデルの弱点を悪用するように攻撃を調整しなかった場合でも、87％という高い成功率を達成することができました。ホワイトボックス攻撃は、このタイプのA.Iをいじるのにいっそう効果的です。しかし、AmazonのAlexaのような仮想アシスタントは、敵対的な例を使って悪用される可能性がある唯一のものではありません。

「音からある種の推論をすることに依存している機械はだまされる可能性があります」とSrivastavaは言いました。 「明らかに、Amazon Echoなどはその一例ですが、音が世界についての推論を行うために使用されるものは他にもたくさんあります。あなたは音を取り込む警報システムにリンクされたセンサーを持っています。」

音声の合図を取り込む人工知能システムもまた敵対的な例の影響を受けやすいという認識は、これらの攻撃がどれほど強力であるかを理解する上でのさらなる一歩です。同グループはAlzantotが述べたようなブロードキャスト攻撃を阻止することはできなかったが、彼らの将来の仕事はそれがどれほど実現可能であるかを見ることを中心に展開するだろう。

この調査では限られた音声コマンドと攻撃の形態しかテストされていませんが、消費者向け技術の大部分で考えられる優位性を浮き彫りにしました。これは敵対的な例に対する防御とA.Iを教える上でのさらなる研究のための足がかりとして機能します。それらを区別する方法。