Avatarifyを使えば、次のZoom会議にスティーブ・ジョブズやイーロン・マスクとして乱入できる

ニュース

スティーブ・ジョブズのズーム通話 — これは、次の仕事の会議を盛り上げる一つの方法です。
*写真：Avatarify*

新型コロナウイルスによるロックダウン中、Zoom通話は爆発的に増加しました。しかし、ビデオ通話で様々なアングルや背景を試し尽くしてしまったなら、全く別の人間になってみてはいかがでしょうか？Appleの元CEOで共同創業者のスティーブ・ジョブズのように。

少なくとも、これはコーダーのアリ・アリエフ氏とカリム・イスカコフ氏が作成した技術デモ／実験です。彼らは、ビデオ通話中にリアルタイムで自分の顔にマスクを重ね合わせることができる、アニ文字やミー文字風のツール「Avatarify」を開発しました。

Avatarify はどのように機能しますか?

Avatarifyは、イタリアの研究者によって開発された「First Order Motion Model」と呼ばれる人工ニューラルネットワークをベースにしています。12,000本以上の動画で学習されたこの技術により、手動調整なしで静止画のアバター画像をアニメーション化できます。つまり、ユーザーは顔の静止画を追加するだけで、Avatarifyがそれをアニメーションマスクに変換します。

この機能は、ウェブカメラで撮影した実際の顔の映像から重要なポイントを抽出し、動きに合わせてアバター画像にトラッキングすることで機能します。次に、その情報をアバター画像に適用し、例えば、あなたの鼻と同時にアバターの鼻を動かすといった動作を実現します。アニメーション画像は、Zoom、Skype、その他のビデオ通話サービスにストリーミング配信されます。

人物をアニメーション化するには、その人の写真を特定のフォルダーに配置し、Avatarify アプリを起動して、ビデオ通話を開始するだけです。

「このアイデアは、ファースト・オーダー・モーション・モデル（FOM）を偶然見つけた時に、自然発生的に浮かんだんです」とアリ・アリエフ氏はCult of Macに語った。「アニメーションの質の高さに驚きました。…同僚たちをからかってやろうと思って、すぐにプロトタイプを作り、有名な総合格闘家ハビブ・ヌルマゴメドフの顔を出して毎週のZoomミーティングに乱入してみたんです。みんなジョークを喜んでくれました。同僚のカリム（彼も私の同僚です）がアイデアを思いつきました。彼はそれをMacに移植し、偽のイーロン・マスクと一緒に動画を制作したんです。」

驚くほど説得力のある結果は以下でご覧いただけます。

https://www.youtube.com/watch?v=E_Efy9iiQJM&feature=emb_title

スティーブ・ジョブズのプリセット

Avatarifyを公開することを決めた際、二人はアバターのプリセットを収録することを決定しました。「スティーブの素晴らしいアイデアへの情熱を尊敬しているので、アバターのプリセットにぜひ彼を起用したいと思いました」とアリエフ氏は語ります。

もちろん、結果は完璧ではありません。このモデルは256×256ピクセルの画像クロップで学習されたため、Zoom通話には十分許容できるものの、HD画質での精査に耐えられるとは言い難い状況です。特に極端な顔の角度でのAIの学習を改善することで、この点は改善されるでしょう。

さらに重要なのは、おそらく皆さんが見たことがある有名なディープフェイク動画とは異なり、Avatarifyは2D画像を扱うということです。Aliev氏が述べたように、Avatarifyは3D世界については全く理解していません。これは特に頭の回転に関して顕著です。（繰り返しますが、これは3Dマスクではなく、平らな段ボール製のマスクをかぶっているようなものだと考えてください。）

Zoomディープフェイクマスク研究者1 — カリム・イスカコフとアリ・アリエフは、Avatarify ツールを作成しました。
写真：カリム・イスカコフ/アリ・アリエフ

Avatarifyにはいくつかの制限があるが

「問題のもう一つの側面はパフォーマンスです」と彼は述べた。「今のところ、Avatarifyを30fpsという妥当な速度で動作させるには、GPU搭載のコンピューターが必要です。CPUのみのデバイスで動作させるだけでは、快適なビデオ会議を行うには不十分です。モデルを高速化して、MacBookなどのCPU搭載マシンでリアルタイムに動作させることは可能だと考えています。しかし、これは非常に多くのリソースを消費する研究課題であり、多大な労力と時間を必要とします。パフォーマンス向上のためのもう一つの選択肢として、クラウドGPUの利用を検討しています。これは、すべての高負荷な計算をラップトップではなく、別の場所で実行することを意味します。」

イーロン・マスクのデモを見た人なら誰もが避けられない最後の問題は、声が不自然に聞こえることです。結局のところ、他人の顔から自分の声が聞こえているのですから。実は最近、有名人の声を真似した、かなり印象的で（そして恐ろしい）ディープフェイク音声のデモがいくつかありました。しかし、それらはここで簡単に使えるものではありません。ですから、物まねの練習を始めてみてください！

AvatarifyはオンラインコードリポジトリGithubからダウンロードできます。無料かつオープンソースですが、使い始めるには基本的なコーディングの知識が少し必要です。その後は？次のZoomミーティングを待つだけです…