ハードウェア＋ソフトウェアのコンビネーションパンチ、オリジナル・フォース自社開発のモーションキャプチャ業界最新の効率神器！

あの素晴らしい『凡人修仙伝』のアクションシーンを覚えていますか？

そして、これらの細かな表情の変化もあります。

これらの滑らかで生き生きとしたアニメーション作品の背後には、モーションキャプチャ技術のサポートが欠かせません。

1915年、アニメーションの巨匠マックス・フライシャーが画像トレース技術「ロトスコープ」を開発し、モーションキャプチャ技術の原型が誕生しました。そして1990年、映画『トータル・リコール』でモーションキャプチャ技術が初めてスクリーンに登場しました。新世紀に入ると、モーションキャプチャ技術は黄金期を迎え、2008年の映画『アバター』によって一般の人々にも広く知られるようになりました。これにより、オリジナル・フォースは国際的な最先端のモーションキャプチャ技術に触れる機会を得て、その道を歩み始めました。

そして2020年、「リアルタイムの実写動作および顔表情キャプチャ＋UEエンジン」を使用した一連のリアルタイムアニメーション制作プロセスを用いた『凡人修仙伝』のアニメーションシリーズが登場し、中国アニメの新たなジャンルを切り開きました。オリジナル・フォースはモーションキャプチャ技術の進化を続け、リアルタイムオンラインモーションキャプチャ技術、OF_DeepFace: 神経ネットワークに基づくマーカーなしリアルタイム顔アニメーションキャプチャシステム、およびデータ処理のための神経ネットワークに基づく全自動顔アニメーション生成システムなどを導入しています。

「独自技術の研究開発により、業界の技術が絶えず進化している」

従来のアニメーション制作に比べて、モーションキャプチャ技術は人体の動きをデータ化することで、現実のパフォーマンスを迅速に仮想データや基本アニメーションに変換することができ、アニメーション制作の効率を大幅に向上させることができます。そのため、国産アニメやゲームにおいて、モーションキャプチャ技術の使用率はますます高まっています。そして、Microsoft、Sony、EA、Netflix、Tencentなどの国際的に有名な企業のパートナーであるオリジナル・フォースは、ほぼ毎年数千分のモーションキャプチャデータを収集しており、これらの膨大なデータベースはオリジナル・フォースのコア競争力の一つであるだけでなく、オリジナル・フォースがモーションキャプチャ技術を継続的に最適化、アップグレードするための強力なデータ支援を提供しています。

オリジナル・フォースは再びその力を発揮し、ハードウェアとソフトウェアの両面でモーションキャプチャの質と効率を向上させる画期的なツールを発表しました。それが、マーカーなしの双眼単一画像でのフェイシャルキャプチャ「DeepFace 2.0」と、神経ネットワークに基づくモーションキャプチャ解決システム「DeepMocap」です！
私たちの最新の成果を見てみましょう！

「技術アップグレード」

「無標記点双目単一画像による顔面捕獲 DeepFace 2.0」となります。

2021年、オリジナル・フォースが独自に開発したノーマーカーフェイシャルキャプチャ技術「Deepface」が、同社のアニメーション映画やシリーズの制作プロセスに正式に投入され、業界全体に向けて全面的に公開されました。これにより、アニメーション制作の生産性が大幅に向上し、アーティストたちは多くの手間のかかる手動修正作業から解放され、より多くのエネルギーを芸術的な表現の向上に注ぐことができるようになりました。

過去3年間の使用において、アーティストや生産管理部門は自分たちのプロセスのニーズに基づいて、Deepfaceに大量のフィードバックを提供してきました。これらのフィードバックに基づき、研究開発部門はターゲットを絞った取り組みを行い、ついに最近、フェイシャルキャプチャ全体システムの更新を完了し、自社開発の双眼ヘルメットに基づくマーカーレスフェイシャルキャプチャソリューションを正式に発表しました！

まず最初の質問ですが、双目ヘルメットとは何ですか？

上記の動画でモーションキャプチャー俳優が頭部に装着しているのは単眼ヘルメットであり、これは現在最も一般的なフェイシャルキャプチャーのツールです。しかし、単眼ヘルメットで収集されたフェイシャルモーションキャプチャーデータの品質には依然として欠陥があります。特に細部において、単眼ヘルメットは俳優の微表情を完璧にキャプチャーすることができず、解釈されたフェイシャルキャプチャーデータにはアーティストが手作業で調整する必要がある部分が多く存在します。そこで、オリジナル・フォース技術チームは思い切って「一つの目」でうまくいかないなら、「二つの目」ではどうかと考えました。

「自社開発のデュアルカメラモーションキャプチャーヘッドセット」となります。

「オリジナル・フォース自研双目動捕頭盔」は、軽量な双眼式顔表情ビデオキャプチャデバイスです。

ヘルメットの形状デザインは、軽量化、安定性、人間工学を総合的に考慮しています。人体測定による頭部スキャンを利用し、頭部の形状に合わせたフィット設計が可能で、各ユーザーに個別のカスタマイズされた形状デザインを提供します。さらに、ヘルメットはナイロン焼結プリント技術を採用しており、ヘルメットの重量を大幅に軽減し、安定性を向上させています。これにより、モーションキャプチャー俳優の不快感をできるだけ軽減します。また、使用者はラチェット機構を通じてヘルメットのサイズを調整でき、異なる頭部に対して収縮・強化が可能です。カメラの角度も調整でき、俳優の没入感のある演技に対する抵抗を最大限に減少させます。

「ヘルメットが小さくて軽いと、機能に影響がありますか？」

「答えは、いいえです。」

オリジナル・フォース自社開発の両眼モーションキャプチャーヘルメットは、2つの1080p、60フレームの映像を同時にキャプチャすることができますが、カメラの横断面直径はわずか21mmで、俳優の視界を最大限に妨げないように設計されています。また、ヘルメットには12個の940nm赤外線補助ライトが内蔵されており、赤外線カメラと連動して顔の影を消し、映像出力をより安定させます。さらに、白黒とカラーの2つのモードを切り替えることが可能です。

この技術の実現には、ヘルメットに内蔵された「シングル画像伝送ボードカード」が核心となります。このカードはシングル画像伝送収集デバイスであり、上下2つのカメラのデータ信号を収集し、オリジナル・フォース自社開発のハードウェアプログラミングを通じてデータを1つの3チャンネル信号に統合し、出力することができます。画像伝送にはYUV422のエンコード方式を採用しており、オリジナル・フォース自社開発のソフトウェアを使用してアルゴリズムにより信号を再分解し、2つの画像信号に組み立て直すことができます。

この結果、デュアルチャネル信号には2枚の画像伝送カードが必要という制約がなくなり、データ収集の帯域幅負担が軽減されました。また、2枚の収集カードが必要な場合に発生する可能性のあるハードウェア機器の重量過多の問題も大幅に緩和されました。

「シングルボードカードの断面構造図」

これほど多くの技術アップグレードを使用して、効果はどうでしたか？

「単眼フェイシャルキャプチャと双眼フェイシャルキャプチャの効果比較」

オリジナル・フォース技術チームは、DeepFaceの内部アルゴリズムを単一画像入力から二重画像入力に変更し、元のネットワーク構造に基づいて改良を行いました。ネットワークの層数を増やし、残差モジュールを追加することで、ネットワークがキャラクターのアニメーションと俳優のパフォーマンスの対応関係をより正確に学習できるようにしました。最も直感的な効果としては、二重画像のフェイシャルキャプチャは、目の閉じ具合や口の微細な開閉などの精細な動きのキャプチャにおいて、単一画像入力のフェイシャルキャプチャ解決ネットワークよりも明らかに優れています。

「システムの更新」

「神経ネットワークに基づくモーションキャプチャ解決システム DeepMocap」

異なる収集方法に基づいて、モーションキャプチャ技術は慣性モーションキャプチャ、光学モーションキャプチャ、およびフェイシャルキャプチャなどに分けられます。現在、市場で最も一般的なのは光学モーションキャプチャであり、これは従来のアルゴリズムを使用します。動作原理は、キャプチャされた光点マーカーに基づいて、アルゴリズムシステムが三次元空間における骨格の動作データを計算することです。

伝統的なプロセスには非常に顕著な問題があります。それは信号が不安定であることです。光学モーションキャプチャプロセスでは、キャプチャされた光点のマーカーの位置がしばしば遮られたり誤認識されたりするため、骨格情報の解釈に誤りが生じます。そのため、伝統的なキャプチャプロセスでは、これらの収集された誤った情報を人力で修正する必要があり、生産効率が低下します。

フォースは3年間の集中的な研究開発を経て、光点マーカーをキャプチャし、神経ネットワークを使用して直接ボーンデータを解決するディープラーニングアルゴリズムと対応するアプリケーションツールを開発しました。まずはその効果を比較してみましょう。

対比効果をより明確に示すために、再生速度は元の速度のおよそ70%に設定されています。

俳優の通常のデータキャプチャポイントの色と俳優の対応する骨格の色が一致しており、赤いポイントは認識できないマーカーのキャプチャポイントで、赤い骨格は動作認識エラーの骨格です。

伝統的なモーションキャプチャ解決ソフトウェアでは、複数の俳優が絡み合ったり、非常に近い距離で相互作用する動作により、キャプチャされた光点マーカーが遮られたり、俳優の特殊な動作によってキャプチャされた光点マーカーが遮られて失われたりして戻ってこない場合、正しい骨格位置を認識することができません。しかし、オリジナル・フォースが独自に開発した神経ネットワークに基づくモーションキャプチャ解決システム「DeepMocap」は、この問題をうまく解決できます。

DeepMocapアルゴリズムとは何ですか？
それはどのようにしてそのような効果を達成するのですか？

DeepMocapアルゴリズムは、大量の実際の生産モーションキャプチャデータを基にしており、モーションキャプチャデータに対して先行分布に適合したデータ拡張を行い、トレーニングデータセットとして使用しています。このアルゴリズムは主に2つのネットワークで構成されています。前段のネットワークはtransformer構造を採用し、入力されたキャプチャ光点マーカーの位置データを処理します。後段のネットワークはグラフ畳み込みを利用して情報を抽出し、Encoder-Decoder構造を用いてキャプチャ光点マーカーのデータと骨格データを関連付けることで、不完全または誤ったキャプチャ光点マーカーデータから正確な骨格アニメーションデータを解算します。ネットワークのトレーニングが完了した後でも、不正確なキャプチャ光点マーカーデータが入力された場合でも、DeepMocapは合理的で正確な骨格アニメーションデータを解算することができます。

本システムには、リアルタイムソルバーと後処理ソルバーの2つのソルバーモジュールが含まれており、プラグイン形式でモーションキャプチャソフトウェアのMotionbuilderに統合されています。今後、システムに最終的なアニメーションデータを向上させるための最適化モジュールを追加する予定です。例えば、不自然な動作データを神経ネットワークを用いて自然で滑らかなスケルトンアニメーションデータに調整する機能や、異なるキーポーズ間で自然なトランジションアニメーションを自動生成するツールモジュールなどです。

上述の内容を総合すると、本システムには従来のプロセスに比べて二つの主要な利点があります。

1. 従来のプロセスと比べて、本システムは光点マーカーの消失や誤ったマーカー位置に対する許容度が高いです。リアルタイム解決モジュールは、光点マーカーが消失したり誤って配置された場合でも、比較的合理的な骨格位置を提供することができ、撮影技術者がリアルタイムの効果を確認しやすくなります。さらに、トレーニングデータセットが拡大するにつれて、ネットワークは継続的に最適化され、最終的な解決効果が向上し続けます。

2. 後処理解算モジュールは前後のフレームデータを利用して解算結果の精度をさらに向上させることができ、モーションキャプチャ撮影スタッフがフレームごとに光点マーカーのデータを修正して合理的な骨格アニメーションデータを生成する作業量を大幅に削減し、大量の生産時間と人件費を節約することができます。

この「ハードウェア+ソフトウェア」の組み合わせにより、オリジナル・フォースは既存のモーションキャプチャ技術における二大課題、精細な動作のキャプチャ不足と骨格位置の解決効果の不理想を成功裏に最適化しました。この技術的突破は、オリジナル・フォース自身のプロジェクト生産に強力な技術的推進力を注入するだけでなく、業界のモーションキャプチャ分野にも新たな活力をもたらし、モーションキャプチャの品質と効率を大幅に向上させ、人力の生産性を解放しました。

未来、オリジナル・フォースは引き続き業界の重要な技術を最適化し、革新することで、より効率的で専門的な3Dデジタルコンテンツサービスを提供していきます。現在、オリジナル・フォースはこれらの技術を業界全体に向けて全面的に開放し、協力を求めています。これにより、探索とフィードバックを通じて、モーションキャプチャ技術やデジタル技術のさまざまな業界分野での応用と発展をさらに広げることを目指しています。

以上の技術にご興味をお持ちで、オリジナル・フォース開発部門とさらに深い交流と協力を希望される場合は、dev@of3d.comまでメールをお送りください。