Inside Pinscreenの秘密の拡張現実感とCGI

拡張現実感とフェイススワッピングは、次のモバイルアプリのホットな候補になるようです。 FacebookによるMSQRDの購入、またはSnapchatによるLookseryの買収を見てください。しかし、現在Lux CapitalとColopl VR Fundから180万ドルの収入を得ているPincreenと呼ばれるあるARの新興企業は、この分野では違ったことをやろうとしている。 逆 Pinscreenの創設者Hao Liにこの秘密主義の会社のために何が先にあるかもしれないかについて排他的に話しました。

Hao Liについて聞いたことはないかもしれませんが、このUSC助教授の研究がいくつかの大ヒット映画で行われているのをおそらく見たことがあるでしょう。ビジュアルエフェクトスタジオIndustrial Light&Magicで働いている間、Liはリアルタイムパフォーマンスキャプチャを可能にするいくつかのツールを開発するのを助けました。その考えは、俳優がウェブカメラを持ったコンピュータの前に座り、場面を演じ、そしてそのパフォーマンスが（リアルタイムで）CGキャラクターに変換されるということでした。

Liは他の分野でも、実在の人物の3Dモデルをリアルタイムで作成したり、顔、髪の毛など、自分らしさの重要な部分を捉えたりするなど、広範な研究を行ってきました。ごく最近になって、Li氏は、彼と他の人が1台のカメラで1人の人物のパフォーマンスをキャプチャし、それをデジタルキャラクターに変換することで行った研究を披露しました。

最初は、これはそれほど目新しいことではありません。モバイルアプリとFaceshift（2015年にAppleが購入した）のようなもっと洗練されたシステムの両方のために、すでに多くのフェイストラッキングソリューションが開発中です。しかし、これらの多くは深度センサーに依存しており、Liの技術は必要としません。彼の言うところによれば、そのアプローチは非常に異なっています。

「深度センサーがある場合、必要なのは、モデルができるだけ3D入力にフィットするように顔モデルのパラメーターを最適化することです」とLi氏は説明します。 「しかし、純粋なRGB入力の場合、焦点距離などの既知のカメラパラメータなしで、全世界が2次元画像に投影されます。そのため、この投影画像から正確な3D顔モデルを推測し、さまざまな被写体の外観だけでなく広範囲の照明条件を処理できる必要があります。」

そのため、3Dアバターに関するLiの研究の重要性。人間の顔を写像するとき、多くの写像プログラムは髪の毛やめがねのような視覚障害物を扱うのに苦労しています。この問題を回避するために、ピンスクリーンは、「完全に制約のない画像で顔領域を分割する方法を学習できる深い畳み込みニューラルネットワークを構築しました。」

それでは、とにかくピンスクリーンはこのクレイジーな先端技術を使っていますか？

「私たちは、興味深いAR機能を備えた新しいタイプのソーシャルメディア/コミュニケーションプラットフォームになるでしょう」とLi氏は言います。 「SnapchatレンズやMSQRDのようなアプリにはなりません。これは、ほんの数分間だけおもしろいものになります。」

だから、それは今のところ流行語にすぎない。しかし、より深く見ると、彼の以前の仕事は、彼らが単一のカメラの視界を妨げている髪の毛、メガネまたは他の物体にもかかわらず、誰かの顔を追跡する能力を開発することを望んでいることを示唆する。拡張現実を加えると、空は映画、ソーシャルメディア、ゲームの限界になります。

それはかなり革新的に思えますが、Liと彼のチームがこの分野で研究している唯一のチームではないことに注意することは重要です。他の何人かの研究者がFace2Faceと呼ばれるツールを使ってしたのと同様に、ディズニーは最近リアルタイムの顔面パフォーマンスキャプチャへの取り組みを発表しました。 TheresはまたFacebookやSnapchatと一緒に前述のFaceshiftを使っている。FacebookやSnapchatも彼らの商品のデモンストレーションを始めた。

それで、ピンスクリーンの技術が違うのはなぜですか？ Li氏は、自社のソリューションは「はるかに堅牢であり、オクルージョンを明示的に処理するため、より正確な3Dモデルを推論できる」と述べています。

「私たちの最も重要な技術革新は、あらゆる画像から髪の毛を含む完全な3Dヘッドモデルを自動的に構築することを可能にする技術です」と彼は言います。 「この種のタスクでは、伝統的に熟練したCGモデラーと制作者が製作する必要がありますが、これを完全に自動で生成することができます。 SIGGRAPH（最新のコンピュータグラフィックスとインタラクティブ技術会議）で発表された最新の論文も、入力として複数の入力画像を必要とします。

もちろん、人々がピンスクリーンのアプリを見たり使ったりするまで、陪審員はその機能については考えないままだ。ただし、ここでの違いは、特にデジタルアバターの制作において、Liには確かな研究と革新の確かな歴史があることです。

Liは、明らかにソーシャルメディア分野におけるピンスクリーンの可能性を確信しています。 「当社の技術が3Dアバターの世代を民主化するにつれて、ゲームには明らかなアプリケーション、没入型コミュニケーションのためのVR / ARアプリケーション、またはAIエージェントが含まれるようになるでしょう」と彼は言います。私たちが開発しているソーシャルメディカルプラットフォーム。

「最も重要なのは、私たちは今日高価なVFXパイプラインを必要とせずに人々が本当に面白いコンテンツを作成することを可能にし、互いに接続するために本当に楽しいARコンテンツを使用できる何かを構築したい」と彼は付け加えます。

Pinscreenには、Li氏と彼のチームが取り組んできたさまざまな技術が含まれるように思えます。しかし、それは計画の一部にすぎないと彼は言います。 「技術デモは、実際に使用する予定のもののほんの一部に過ぎません」と彼は述べています。 「ピンスクリーンはもっと大きなものになるでしょうし、技術は最初は面白い機能になるでしょう。また、他のソーシャルメディアプラットフォームとは大きく異なります。」

今のところ、ピンスクリーンはまだちょっとした謎です、そして、彼らが店で持っているものを見るためにただ待つ必要があるように見えます。