Oligur

• ニュース

顔だけをアニメーション化するアバターはもう古い。カーネギーメロン大学のチームは、全身アニメーションのアニ文字を世界に届けたいと考えている。カーネギーメロン大学ヒューマンコンピュータインタラクション研究所の未来インタフェースグループのディレクターであるクリス・ハリソン氏の仕事は、未来のコンピュータ機能の開発に貢献することだ。

今週公開されたばかりのデモでは、ハリソン氏のチームが、体の残りの部分の動きを推定することで、前面カメラのみを使用して通常のiPhoneで全身追跡を行う方法を考案した。

驚くほどうまく機能します。

外出先でポーズ

「スマートフォンは体全体を見ることができないので、代わりに複数のセンサーデータを組み合わせて正確な推定を行うという工夫が必要です」とハリソン氏はCult of Macに語った。「具体的には、前面カメラと背面カメラ、ユーザー側の深度カメラ（AppleはTrueDepthカメラと呼んでいます）、慣性計測ユニット（IMU）、そしてタッチスクリーンからのデータを統合します。これらの異なるセンサーは、体の姿勢に関する様々な手がかりを提供します。例えば、ユーザーの腕がどこにあるか、歩いているかどうかなどです。」

「Pose-on-the-Go」と呼ばれるこのシステムにより、iOS開発者は全身ポーズを使ったアプリを開発できるようになります。映画のモーションキャプチャーのようなスーツを着用する必要がなく、Pose-on-the-Goでは、既存のiPhoneに搭載されているセンサーのみで動作します。そして、これらの情報をスマートなアルゴリズムが統合します。その結果、ユーザーのポーズを、たとえ動いている状態でも正確に推定することが可能になります。

ゲームから全身アニ文字まで

「まだ推定値で、ソフトウェアの精度が落ちることもありますが、全体的にはかなり良い結果です」とハリソン氏は述べた。「ハリウッド級のモーションキャプチャシステムと当社のシステムをベンチマークテストしたところ、頭、腕、脚など、すべての関節における平均誤差はわずか20.9cmでした。」

印象的なデモの一つで、チームは壁に向かってジョギングし、それからしゃがむ人物を披露しました。トラッキングは一瞬たりとも途切れることなく、正確に行われています。

「反復回数をカウントして質の高いフィードバックを提供してくれるエクササイズアプリから、走ったりジャンプしたりしゃがんだりする全身を使ったゲーム体験まで、様々な用途があると思います」とハリソン氏は続けた。「私たちが作ったアプリの一つは、手を使って呪文を唱えられるファンタジーゲームでした。もう一つの可愛らしいデモは、全身を使ったアニ文字で、ユーザーが手を振ったり、踊ったり、歩き回ったりできるものでした。」

将来の iPhone のキラー アプリでしょうか?

これが将来のiPhoneに組み込まれる可能性はあるでしょうか？今のところ、その可能性についてはまだ何も発表されておらず、あくまで概念実証の段階です。しかし、Future Interfaces Groupはシリコンバレーのトップ企業が注目する研究機関の一つです。ハリソン大学の卒業生は、Appleをはじめとする大手IT企業で活躍しています。

しかし、たとえAppleがこの技術を正式に採用しなかったとしても、将来のiPhoneアプリでこの技術が使われなくなるわけではありません。「私たちはコードの多くをオープンソースとして公開する予定です」とハリソン氏は述べました。「これはすべてソフトウェアであり、新しいハードウェアやドングルは不要です。そのため、多くの最新スマートフォンでソフトウェアアップデートによって有効化できる可能性があります。」

研究者たちは今週開催されたACMヒューマンファクターズ・イン・コンピューティング・システム会議で「Pose-on-the-Go」を発表しました。この研究成果を説明した論文はこちらでご覧いただけます。

この技術をどのように活用してほしいか、何かアイデアはありますか？ぜひ下のコメント欄でご意見をお聞かせください。