※見出しをクリックすると記事が読めます
東京ゲームショウ号外を自動表示しない
TGS 2018
号外No.2
東京ゲームショウまとめ読み!9月21日〜23日の3日間,東京ゲームショウ号外をお届け 特設ページへ
Switchとスマホ向けの
「妖怪ウォッチ」新作がそろい踏み
妖怪ウォッチ4
妖怪ウォッチ メダルウォーズ
読めば試遊が10倍楽しくなる!
「キルラキル ザ・ゲーム -異布-」
プレイレポート
木村拓哉さん主演のリーガルサスペンス
名越稔洋監督が語る
JUDGE EYES:死神の遺言
イケメンだらけ! 女性向けタイトルの
ステージ・ブースレポート
Readyyy!
囚われのパルマ Refrain
ダンキラ!!! -Boys, be DANCING!-
スペシャルゲストが登場したステージイベント
「ビリオンロード」ステージで
ビリー隊長がエクササイズを披露
片山右京さんが「F1 2018」で鈴鹿を走った
Samusung SDDブース
「カプコン ベルトアクション コレクション」を
漫画家の押切蓮介さんがプレイ
オススメ機能
Twitter
お気に入り
記事履歴
ランキング
お気に入りタイトル/ワード

タイトル/ワード名(記事数)

最近記事を読んだタイトル/ワード

タイトル/ワード名(記事数)

LINEで4Gamerアカウントを登録
[Unite 2018]バーチャルYouTuberに魂を込め,“東雲めぐ”という魔法をかける。「AniCast!東雲めぐちゃんの魔法ができるまで」聴講レポート
特集記事一覧
注目のレビュー
注目のムービー

メディアパートナー

印刷2018/05/09 18:50

イベント

[Unite 2018]バーチャルYouTuberに魂を込め,“東雲めぐ”という魔法をかける。「AniCast!東雲めぐちゃんの魔法ができるまで」聴講レポート

 ゲーム開発環境「Unity」の開発者向けイベント「Unite Tokyo 2018」が,東京国際フォーラムで開催された。最終日となる2018年に5月9日には,「AniCast!東雲めぐちゃんの魔法ができるまで」と題された講演が行われ,バーチャルキャラクターを低価格で配信できる「AniCast」を使ってキャラクターに魂を込める手法などが紹介された。

Unity

「Unite Tokyo 2018」公式サイト


写真左から,エクシヴィ リードオーディオプログラマーの吉高弘俊氏,同ビジュアルディレクターの室橋雅人氏,同Unityエキスパートエンジニアの狩野成太氏,同代表取締役社長の近藤“GOROman”義仁氏

 「AniCast」はエクシヴィが開発したバーチャルキャラクター配信システムだ。これまでバーチャルキャラクターの動画を配信するには,モーションキャプチャなどのコストと手間が必要になっていた。しかし,「AniCast」ではPCとOculus VRの「Rift」,そして「Oculus Touch」さえあれば自宅からでも手軽に配信できるようになったのだ。
 現在は,ストリーミングサービスのSHOWROOMで,バーチャルキャラクター「東雲めぐ」の番組を配信するのに使われている。東雲めぐは自然な表情や動きで話題を呼んでいるが,彼女に“魂を込める”ため,ビジュアルとオーディオ面でどのような工夫がされているのだろうか。

「AniCast」を使用して配信されているバーチャルキャラクター「東雲めぐ」
Unity




目はリアルに,リップシンクはアニメっぽく。ビジュアル面からの取り組み


Unity
 東雲めぐのビジュアルについては,「目の表情」「リップシンク」,そして「感情の流れ」といったポイントが重要だという。目の表情については,多くのバーチャルキャラクターは眼球が動いているだけにとどまり,これは大変もったいないと室橋氏は述べた。人間は目を動かす際,周辺の筋肉やまぶた,まゆも動いており,東雲めぐではこうした描写を取り入れることでリアルな表情を作り上げているという。

眼球だけを動かした場合(左)と,周辺の筋肉やまぶたも動かした場合(右)。静止画では分かりづらいと思うが,会場では右のほうが一目瞭然で自然だった
Unity Unity

 目の表情は現実に近づけているのに対し,リップシンクは唇の動きをアニメ風にしており,目とは正反対の取り組みが行われているところが興味深い。
 リップシンクについては,Oculus VRが提供しているUnity向けプラグイン「OVRLipSync」が有名で,そのまま使うと滑らかな口の動きが実現できるが,東雲めぐではあえてアニメ的な口の開き方になるよう,OVRLipSyncをカスタマイズしている。
 室橋氏が「リミテッドリップシンク」と呼ぶその手法は,アニメで使われている「口パク」のやり方をバーチャルキャラクターに取りいれたもので,発音の瞬間に口を開くため,表情を素早く変化できるという。また,東雲めぐの動きも,放送時にはあえてテレビアニメと同じ12フレーム/秒にすることでアニメっぽさを演出しているそうだ。

滑らかなリップシンクではなく,アニメで使われている「口パク」を再現した「リミテッドリップシンク」
Unity

 東雲めぐは表情が自然に変化するが,こうした描写を可能にしているのが,上記の「感情の流れ」という考え方だ。人間の感情は喜怒哀楽に大別できるが,「喜」一つをとっても「平穏」「喜び」「恍惚」というように,ニュアンスはさまざま。そのため,感情の変化を表情で表現する場合,顔のパーツすべてをある感情から別の感情に切り替えるのではなく,変わりやすい場所とそうでない場所を見きわめて表情を作り,これに目の動きが加わることにより複雑なニュアンスを持つ,人間らしい感情の流れが表現できる。

人間の感情には複雑なニュアンスがあり,感情同士が混じり合うことで,別の感情が発生する。その複雑さを表すのが上の「感情の輪」だ
Unity
東雲めぐでは,さまざまな感情の移り変わりが表現されている
Unity Unity


バーチャルキャラクターという魔法をかけるため,試行錯誤しつつ自然な動きを実現


Unity
 続いては狩野氏が,「AniCast」のメインプログラマーという立場から,東雲めぐのプレゼンスを高めるための取り組みについて解説を行った。ここでのプレゼンスとはキャラクターの実在感のことだ。
 「腕が身体にめり込む」「関節があり得ない方向に曲がる」といった動きをすると,見る側の「魔法が解けてしまう」(近藤氏)ため,作り物であることを改めて意識させることになる。「AniCast」では,現実にあり得ない動きをさせないだけでなく,「身体を動かす際,機械のように動作→静止させるのではなく,ゆるやかに減速させ,しなやかに動かす」「Final IKを使う際は,ヒジが不自然になりやすいので,手首を基準にヒジの位置を決める」といった手法でプレゼンスを高めているという。

Unity
Unity Unity

 こうした取り組みの一方,試してみたものの没になったアイデアもいくつか存在する。

■「声の音量に応じて自動で表情を変える」
 一口に「大きな声」といっても,悲しいものや嬉しいものなどニュアンスもさまざまで,リアルタイムでこうした部分を判別することができない。

Unity Unity

■「Oculus Touchの右スティックで視線を動かす」
 表情を意識しつつ視線を操作するのは難しく,手軽に配信するという「AniCast」のコンセプトから外れてしまう。スティック操作によって,意図しない方向に視線が向いた場合,表情が不自然になる。

Unity Unity

 どちらの機能も,一度は実装されたものの正式採用は見送られており,バーチャルキャラクターの存在感がいかにデリケートであるかが分かる。


アニメキャラクターがしゃべっている雰囲気を出すための,サウンド面からの取り組み


Unity

 吉高氏が語ったのは,東雲めぐにおけるサウンド面からの取り組みだ。
 上記のとおり,リップシンクではカスタマイズした「OVRLipSync」を使い,アニメっぽい口の開き方を実現した。「OVRLipSync」は入力された音を音素に分解し,そのバランスに応じて口の開き方を決定する。言い換えれば,複数の母音が混じっている場合,これらをブレンドした口の開き方になるわけだが,東雲めぐでは最も割合の多い音素のみを参照するように変えた。加えて,音が移り変わる際に口の形を急激に切り替える(吉高氏いわく,「アニメの中割りに近い表現」)ことで,アニメキャラクターがしゃべっているような雰囲気を出しているという。

Unity Unity

 サウンドでは,遅延対策も大きな効果を上げたという。マイクから入力された声は一度PCで解析されるため,キャラクターが口が開くまでに遅延が発生する。したがって,音声のほうを遅らせて対応することになり,400ms(0.4秒)ずらせば良いことが分かったが,これでは手の動きと齟齬が生じてしまった。
 この問題にどう対応したのか,その手法についてはブログに詳しいので,そちらを参照してほしいとのこと。また,東雲めぐで使われている,250msの遅延でアニメ風リップシンクを実現するライブラリ「AniLipSync: AniCast LipSync Library」がMITライセンス(要約すると,誰でも無償で無制限に扱っていいが,著作権表示および本許諾表示を記載しなければならない)の下に公開されている。吉岡氏は「皆さん,使ってください。いいリップシンクを作りましょう」と壇上から呼びかけた。

Unity Unity

 最後に近藤氏は「キャラクターを生み出すことには責任のようなものが発生すると思います。キャラクターを大事に,末永く活動を続けてください」と講演を締めくくった。

会場では,近藤氏のPCを使って東雲めぐと会話することができた。今後の抱負を聞かれた東雲めぐは,「初音ミクちゃんに憧れているので,マジカルミライのように,大きなステージで歌ってみたい」と夢を語った
Unity

「Unite Tokyo 2018」公式サイト

  • 関連タイトル:

    Unity

  • この記事のURL:
line
4Gamer.net最新情報
最新記事一覧へ新着記事10件
トピックス
スペシャルコンテンツ
注目記事ランキング
集計:09月22日〜09月23日
タイトル評価ランキング
83
80
OCTOPATH TRAVELER (Nintendo Switch)
55
51
2018年03月〜2018年09月