新技術は実時間で表情を交換することができる

この春にバイラルになったBizarro Worldの「Myidol」アプリは、顔認識ソフトウェアを使用して、見た目や動きのあるデジタルアバターを作成することができるため、そのことが忘れられません。 まさに ほとんどあなたが好きですか？それは現実のものになりそうです…それのようなもの。

スタンフォード大学の研究者は、ビデオを介してリアルタイムで1人の表情を別の人に転送する方法を見つけました。

スタンフォードのデモビデオに表示されているモデルは、各俳優にコンシューマグレードのPCとデプスカメラを使用しているだけです。つまり、このトロムを実行するのにファンシーな機器は必ずしも必要ではなく、複雑なアルゴリズムが必要です。

研究者らは、各参加者の顔の高品質のビジュアルを取得し、それらを使用して「ソースアクター」（表情や音声を提供する人物）から「ターゲットアクター」に表現を変換する新しいリアルタイムアルゴリズムを開発しました。 （ソースアクタがすることに従って顔が操作される人）ソースアクターのビジュアル情報はプログラムを通過してターゲットアクターのビデオストリームの上にレンダリングされるので、ターゲットアクターは微笑んでいる、話している、舌を出している、または他に思いつくものは何でもしているように見えます。

顔の周りに配置された一連の参照点（Myidolアプリと同様）のおかげで、システムによって測定される視覚情報の種類には、顔の形や特徴（目、鼻、口、さらにはしわなど）、さらにはしわがあります。顔の質感と深さ。次に、プログラムはソースアクターの参照ポイントをターゲットアクターの参照ポイントと照合し、それらの表現をターゲットに重ね合わせて、超リアルなビデオフィードを実現します。

このシステムはまだ機能している（そしてかなり基本的な機器が使用されていた）ので、最終結果はまだ少し奇妙です - プログラムがターゲットの口の中に重なった半乱れた歯のように（上を参照）…そして目の中の白紙のような外観。しかし、これらは、このプログラムの開発が私たちにとって何を素晴らしいことを意味するのかと比べると、ちょっとしたフライです。

これが私たちがこの技術を使うことができるもののためのカップルのアイデアです：

• あなたはSkypeで重要な就職の面接を受けました、そしてあなたは成功のために服を着ていません。あなたが顔の表情とキラーインタビューの答えを提供している間だけ、空想的に見えるスタンドを使ってください。

• あなたはドイツの一流教授によるライブストリーミングの講義を見ています - 唯一の問題はあなたがドイツ語を話さないということです。心配しないで、このソフトウェアを使っているリアルタイムの翻訳者のおか​​げで、あなたは教授があなたの母国語で彼女のスピーチを配達するのを見ることができますビジュアルのどんな厄介なダビング遅れもなしで。

式スワップを実際に見てください。