オススメ機能
Twitter
お気に入り
記事履歴
ランキング
お気に入りタイトル/ワード

タイトル/ワード名(記事数)

最近記事を読んだタイトル/ワード

タイトル/ワード名(記事数)

LINEで4Gamerアカウントを登録
[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
特集記事一覧
注目のレビュー
注目のムービー

メディアパートナー

印刷2014/03/22 22:16

イベント

[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

講演を担当したJohn Hable氏
画像集#001のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
 Game Developers Conference 2014の最終日である米国時間2014年3月21日に行われたセッションから,「Next-Gen Characters:From Facial Scans to Facial Animation」の模様を紹介したい。

 昨今,スキンシェーダの進歩をはじめとする多くの要因により,ゲームに登場するキャラクターが非常にリアルになってきている。とくに3次元スキャナによって,本物の人間そのままのCGキャラクターを作ることも難しくなくなり,実際にそうしてキャラクターが作られることすらある。さらに,フェイシャルキャプチャで表情を読み取り,顔の動きを再現することもできるので,キャラクターのリアルさは格段の進化を遂げている。

 このような「リアルで当たり前」な時代における次世代キャラクターとは,なにか? それは,さらにリアルに動くキャラクターのことである。
 Agni's Philosophyでのパフォーマンスキャプチャなどを見て,動きを取り込んで再生すれば,本物そっくりになることは決まっているのだから,それで問題は解決する,と思っている人もいるかもしれない。だが,話はそう簡単ではない。一定のカットシーンならそれで良いのだが,インタラクティブな動きをするキャラクターでは,お決まりの表情を繰り返すだけというわけにはいかない。かといって,ありとあらゆる顔の動きをキャプチャデータとして持っておくのも非現実的である。
 そこで登場するのが,アニメーションを自動で生成するプロシージャルアニメーションの手法だ。



画像集#002のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
 前述のように,3次元キャプチャ技術によって,簡単にリアルなモデリングデータを取れるようになった。問題は,それにどうリグを入れてアニメーションさせるかだと,FilmicWorlds.comのJohn Hable氏は語る。
 単に基本的な顔を取り込んで,表情ごとに形状を変化させればよいかというと,それだけではなく,表情それぞれでテクスチャを変える必要もある。以下の写真は,表情を正面から撮影した顔写真と,それをテクスチャにしたときのデータだ。顔のデータの変形だけでは,血流量の変化などによる表情の違いまでは表現できないのだという。

画像集#003のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#004のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
画像集#005のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#006のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 取り込んだ顔データをどのようにアニメーションさせるかについては,技術解説書『GPU Gems 3』で解説された「Playable Universal Capture」(Ucap)と,サウスカリフォルニア大学による「Polynomial Displacement Maps」(PDM)の手法を参考にし,高精度の基本データと低精度だが大量の表情データを組み合わせる手法を採用している。

画像集#007のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#008のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 Hable氏が顔データの取得に利用したのは,Infinite-Realitiesによる高精度フェイシャルキャプチャだ。これにより,多くの表情の基本的な形状とテクスチャをデータ化している。キャプチャ時には,基本的なドットマーカーを付けているが,それで足りないものは手動で補完したという。そのマーカーをもとに,150ものリグを自動生成している。

画像集#009のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#010のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
画像集#011のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#012のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 その際,ソルバーのアルゴリズムは,ニュートラルな表情の顔でのジョイントの位置と各表情でのドットの位置などから,ジョイントの動きベクトルを算出し,ジョイントによる動きを行った結果と実際のスキャンでの頂点位置の差を埋め,ラプラシアンフィルタを掛けるという手順になっている。

画像集#013のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#014のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 次に,ニュートラルな表情から見たテクスチャのゆがみを検出し,それをデータ化するのだが,ディフューズデータは,表情ごとに撮影時のライティング条件が微妙に変わる関係で正確に解くことが難しいという。そこで,ニュートラルな表情以外に,近い表情を5個探して中央値を取ることで代用するなどの対策を立てたとのこと。

画像集#015のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 ノーマル,アンビエントオクルージョン(AO)についても同様に処理し,ブレンドされた形状にまとめ上げる。これには,デザイナーによる作業が発生するので2日くらいかかるとのこと。

画像集#026のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
画像集#016のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#017のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
画像集#018のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#019のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#020のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#021のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
 これで基本的な表情を動かすフェイシャルアニメーションデータが完成したのだが,この段階ではすべての表情ができるわけではない。キャプチャされたのは70種類の表情でしかなく,これらをもとにさまざまな表情を作っていかなければならない。そのための手法としては,主成分分析(PCA)が使われている。以前,データ駆動型プロシージャルアニメーションの試みとして紹介した「こちら」の記事と同様の手法である。

画像集#023のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#024のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#025のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 このあたりになると,もうなにが行われているのか理解が追いつかないのだが,各表情の差分データに加重を付けて加算し,希望のデータを得るということらしい。PCAを解くためには,特異値分解(SVD)の手法が取られている。
 PCAの要素としては,顔の各部分が使われているが,これはデータの圧縮も兼ねているようだ。例として紹介されたStretchというデータは,顎と額の両方に特徴的なしわが入ったもので,FACS02は額のみ,FACS27は顎のみにしわが入っている。そういったエリアを12個用意し,データとして入力している。

画像集#028のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#029のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
画像集#030のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#031のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#027のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 そんなこんなで70種類の表情のデータが,PCAによって最終的に8.7MBにまで圧縮されたという。そして,12成分の値に応じて,中間モーションも自在に取り出せるようになった。

画像集#033のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#034のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#035のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
画像集#036のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#037のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#038のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
画像集#039のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 これをモーションキャプチャデータに同期してレンダリングしたのが,以下の動画である。



 顔にマーカーを貼り付けた人物の表情が,見事に作成したキャラクターにリキャップされて再現されている。

画像集#032のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
これが「Powdered Doughnut」問題
 ちなみに,レンダリングにはNVIDIA式のテクスチャスペースによる表面化散乱を使ったスキンシェーダが使われている。後方からの光で望まない部分が明るくなる「Powdered Doughnut」問題を回避するため,セルフシャドウとSHアンビエントオクルージョン処理も追加されているほか,輪郭部分を重点的に補完するAdaptive Tessellationの導入で滑らかな形状を実現している。

画像集#040のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#041のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
表面化散乱はテクスチャスペースのブラーで近似されている

スキンシェーダの効果
画像集#042のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#043のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#044のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

画像集#045のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#046のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#047のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際
「Powdered Doughnut」問題を回避するためのSHアンビエントオクルージョンとセルフシャドウの導入
画像集#048のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#049のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

Adaptive Tessellationの効果
画像集#050のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際 画像集#051のサムネイル/[GDC 2014]次世代のキャラクターアニメーションはこうなる。フェイシャルキャプチャを用いたプロシージャル処理の実際

 かなり高品質な素材から手間を掛けてデータを作っただけあって,表情はそれなりに自然だ。フォトリアルなキャラクターをレンダリングすることが当たり前にできるようになった現在だからこそ,それに見合った表情を持つキャラクターが求められている。パフォーマンスキャプチャに匹敵する表情が作れてこその次世代ゲームであり,今回の取り組みは,そこに向けた確かな一歩を感じさせるものだったと言えるだろう。
  • この記事のURL:
4Gamer.net最新情報
プラットフォーム別新着記事
総合新着記事
企画記事
スペシャルコンテンツ
注目記事ランキング
集計:03月18日〜03月19日