Apple Patentsジェスチャーとデバイスの凝視制御

火曜日に発表された新しいAppleの特許は、同社があなたがあなたの目で制御できるテレビとMacディスプレイを開発していることを示唆している。凝視制御があなたの空想に合わない場合は、単に身振りで示すことができます。マウス、キーボード、そしてタッチスクリーンさえも、ほとんど無関係になるでしょう。

iPhone 7 Plusには2つのカメラレンズがあり、プレゼンテーション中には言及されていませんが、3D深度マッピングが可能です。 GoogleはProject Tangoと共同でこの技術に取り組んでいるので、Appleが競争するのは理にかなっている。誰もがヘッドセットについて強調している現実を増強したが、AppleのCEOのTim Cookは、同社がA.R.を持っていることを1、2回ほのめかした。計画には、ブロック上の拡張現実の別の形式があります - そしてそれは、大きくてウェアラブルな技術を必要としないものです。

それはほとんどそれが好きです テレキネティック テクノロジーは、それ自体が現実を補強（または強化）し、テクノロジーと現実の世界との境界線をぼかします。この特許は現在の状況を要約している：「ボタン、ローラーまたはタッチスクリーンのような物理的な触覚入力装置を使用するとき、ユーザーは典型的には物理的装置に触れるおよび／または操作することによりユーザーインターフェースの制御を断続する」。本発明では、ユーザはマウスまたはトラックパッド、キーボード、およびタッチスクリーンをなくし、代わりに単にジェスチャまたは一見してコンピュータを制御することができる。

2台以上のカメラを組み合わせて使用​​すると、人間の目を模倣して3D画像を出力できます。その後、ソフトウェアは、ユーザーがどこにいるのか、自分のスケルトンがどのように見えるのかを認識し、それに応じて対応できます。

本発明の実施形態は、３Ｄセンサによる３次元（３Ｄ）センシングによる１つまたは複数の体の動きまたは位置の変化の感知を含む複合モダリティユーザインタフェースを実行するコンピュータに結合されたディスプレイ上に提示される対話型アイテムを係合するポインティングジェスチャを記述する。ユーザーのより多くの身体部分、典型的には手または指。

この特許はPoint-Select、Point-Touch、Point-Holdなどのさまざまなジェスチャーについて説明しています。これにより、ユーザーはテレビやコンピューターのディスプレイ上のインターフェイスを制御できます。

例えば、ユーザは、ポイントタッチジェスチャを介して水平スクロールボックスを操作することによって、ディスプレイ上に提示されている対話型アイテム（例えば、映画）のリストを水平方向にスクロールすることができる。ポイントホールドジェスチャは、ユーザがディスプレイ上に提示された対話型アイテムに関するコンテキスト情報を見ることを可能にする。例えば、ユーザが映画を表すアイコン上でポイントホールドジェスチャを実行することに応答して、コンピュータは、プロットサマリー、レビュー、およびキャストメンバなどの情報を含むポップアップウィンドウを提示することができる。

さらに、この特許によれば、システムはユーザの視線を検出することができ、それが指示された眼球運動に応答することを可能にする。これはApple自身の言葉です。

…コンピュータ化されたシステムによって、コンピュータに結合されたディスプレイ上に複数の対話型アイテムを提示し、コンピュータに結合された感知装置からユーザの視線方向を表す入力を受け取り、それに基づいてディスプレイ上の目標点を識別する。注視方向、ディスプレイ上に現れる第１のインタラクティブアイテムとターゲットポイントとを関連付け、ターゲットポイントに応じてディスプレイ上の１つ以上の第２のインタラクティブアイテムを開く。

繰り返しますが、もしあなたのためにジェスチャがそれを切らないのであれば、視線制御だけでよいのです。このシステムは、ユーザがどこを見ているのかを検出し、したがってユーザが何をしたいのかを推測することができ、それにより「マウスおよび／またはキーボードの必要性を排除する」と述べている。

スピーカーの音量を調整するのと同じくらい簡単でありながら厄介なことが簡単になります。この特許は話者の音量に対する視覚的制御と鎮静的制御の両方を記載している。目で見ると、ユーザーは「コンピューターに接続されたスピーカーの上部を見る」ことができます。これは、コンピューターを「スピーカーの音量レベルを上げる」ことにつながります（ユーザーがスピーカーの下部を見ると、ジェスチャーで、ユーザーはスピーカーの音量も制御できます。ユーザーは片手をスピーカーに向け、もう片方の手でジェスチャーを上下に動かします。 「同様に、ユーザーがスピーカーを向いているときに下方向にPoint-Touchジェスチャーを実行すると、コンピューターはスピーカーの音量レベルを下げることができます」と、この特許は述べています。

それは別の形態の拡張現実であり、そしてそれは、それらの神秘的なMagic Leapヘッドセットよりも早く波を作り始めるかもしれない。バーチャルリアリティゲームのもう1つの会社であるLeap Motionは、それ自体がハンドトラッキング技術を完成させています。しかし、Appleがこの分野に進出すれば、特にアイトラッキング機能と組み合わせると、ゲームが変わる可能性があります。

この技術がすべて主流になったときにプライバシーがどうなるのか疑問にならないようにしてください。幸いなことに、CookとAppleは良い評判を維持するために失敗しました。