［Unite 2018］バーチャルYouTuberに魂を込め，“東雲めぐ”という魔法をかける。「AniCast！東雲めぐちゃんの魔法ができるまで」聴講レポート

　ゲーム開発環境「Unity」の開発者向けイベント「Unite Tokyo 2018」が，東京国際フォーラムで開催された。最終日となる2018年に5月9日には，「AniCast！東雲めぐちゃんの魔法ができるまで」と題された講演が行われ，バーチャルキャラクターを低価格で配信できる「AniCast」を使ってキャラクターに魂を込める手法などが紹介された。

「Unite Tokyo 2018」公式サイト

写真左から，エクシヴィ リードオーディオプログラマーの吉高弘俊氏，同ビジュアルディレクターの室橋雅人氏，同Unityエキスパートエンジニアの狩野成太氏，同代表取締役社長の近藤“GOROman”義仁氏

　「AniCast」はエクシヴィが開発したバーチャルキャラクター配信システムだ。これまでバーチャルキャラクターの動画を配信するには，モーションキャプチャなどのコストと手間が必要になっていた。しかし，「AniCast」ではPCとOculus VRの「Rift」，そして「Oculus Touch」さえあれば自宅からでも手軽に配信できるようになったのだ。
　現在は，ストリーミングサービスのSHOWROOMで，バーチャルキャラクター「東雲めぐ」の番組を配信するのに使われている。東雲めぐは自然な表情や動きで話題を呼んでいるが，彼女に“魂を込める”ため，ビジュアルとオーディオ面でどのような工夫がされているのだろうか。

「AniCast」を使用して配信されているバーチャルキャラクター「東雲めぐ」

目はリアルに，リップシンクはアニメっぽく。ビジュアル面からの取り組み

　東雲めぐのビジュアルについては，「目の表情」「リップシンク」，そして「感情の流れ」といったポイントが重要だという。目の表情については，多くのバーチャルキャラクターは眼球が動いているだけにとどまり，これは大変もったいないと室橋氏は述べた。人間は目を動かす際，周辺の筋肉やまぶた，まゆも動いており，東雲めぐではこうした描写を取り入れることでリアルな表情を作り上げているという。

眼球だけを動かした場合（左）と，周辺の筋肉やまぶたも動かした場合（右）。静止画では分かりづらいと思うが，会場では右のほうが一目瞭然で自然だった

　目の表情は現実に近づけているのに対し，リップシンクは唇の動きをアニメ風にしており，目とは正反対の取り組みが行われているところが興味深い。
　リップシンクについては，Oculus VRが提供しているUnity向けプラグイン「OVRLipSync」が有名で，そのまま使うと滑らかな口の動きが実現できるが，東雲めぐではあえてアニメ的な口の開き方になるよう，OVRLipSyncをカスタマイズしている。
　室橋氏が「リミテッドリップシンク」と呼ぶその手法は，アニメで使われている「口パク」のやり方をバーチャルキャラクターに取りいれたもので，発音の瞬間に口を開くため，表情を素早く変化できるという。また，東雲めぐの動きも，放送時にはあえてテレビアニメと同じ12フレーム/秒にすることでアニメっぽさを演出しているそうだ。

滑らかなリップシンクではなく，アニメで使われている「口パク」を再現した「リミテッドリップシンク」

　東雲めぐは表情が自然に変化するが，こうした描写を可能にしているのが，上記の「感情の流れ」という考え方だ。人間の感情は喜怒哀楽に大別できるが，「喜」一つをとっても「平穏」「喜び」「恍惚」というように，ニュアンスはさまざま。そのため，感情の変化を表情で表現する場合，顔のパーツすべてをある感情から別の感情に切り替えるのではなく，変わりやすい場所とそうでない場所を見きわめて表情を作り，これに目の動きが加わることにより複雑なニュアンスを持つ，人間らしい感情の流れが表現できる。

人間の感情には複雑なニュアンスがあり，感情同士が混じり合うことで，別の感情が発生する。その複雑さを表すのが上の「感情の輪」だ

東雲めぐでは，さまざまな感情の移り変わりが表現されている

バーチャルキャラクターという魔法をかけるため，試行錯誤しつつ自然な動きを実現

　続いては狩野氏が，「AniCast」のメインプログラマーという立場から，東雲めぐのプレゼンスを高めるための取り組みについて解説を行った。ここでのプレゼンスとはキャラクターの実在感のことだ。
　「腕が身体にめり込む」「関節があり得ない方向に曲がる」といった動きをすると，見る側の「魔法が解けてしまう」（近藤氏）ため，作り物であることを改めて意識させることになる。「AniCast」では，現実にあり得ない動きをさせないだけでなく，「身体を動かす際，機械のように動作→静止させるのではなく，ゆるやかに減速させ，しなやかに動かす」「Final IKを使う際は，ヒジが不自然になりやすいので，手首を基準にヒジの位置を決める」といった手法でプレゼンスを高めているという。


　こうした取り組みの一方，試してみたものの没になったアイデアもいくつか存在する。

■「声の音量に応じて自動で表情を変える」
　一口に「大きな声」といっても，悲しいものや嬉しいものなどニュアンスもさまざまで，リアルタイムでこうした部分を判別することができない。


■「Oculus Touchの右スティックで視線を動かす」
　表情を意識しつつ視線を操作するのは難しく，手軽に配信するという「AniCast」のコンセプトから外れてしまう。スティック操作によって，意図しない方向に視線が向いた場合，表情が不自然になる。


　どちらの機能も，一度は実装されたものの正式採用は見送られており，バーチャルキャラクターの存在感がいかにデリケートであるかが分かる。

アニメキャラクターがしゃべっている雰囲気を出すための，サウンド面からの取り組み

　吉高氏が語ったのは，東雲めぐにおけるサウンド面からの取り組みだ。
　上記のとおり，リップシンクではカスタマイズした「OVRLipSync」を使い，アニメっぽい口の開き方を実現した。「OVRLipSync」は入力された音を音素に分解し，そのバランスに応じて口の開き方を決定する。言い換えれば，複数の母音が混じっている場合，これらをブレンドした口の開き方になるわけだが，東雲めぐでは最も割合の多い音素のみを参照するように変えた。加えて，音が移り変わる際に口の形を急激に切り替える（吉高氏いわく，「アニメの中割りに近い表現」）ことで，アニメキャラクターがしゃべっているような雰囲気を出しているという。


　サウンドでは，遅延対策も大きな効果を上げたという。マイクから入力された声は一度PCで解析されるため，キャラクターが口が開くまでに遅延が発生する。したがって，音声のほうを遅らせて対応することになり，400ms（0.4秒）ずらせば良いことが分かったが，これでは手の動きと齟齬が生じてしまった。
　この問題にどう対応したのか，その手法についてはブログに詳しいので，そちらを参照してほしいとのこと。また，東雲めぐで使われている，250msの遅延でアニメ風リップシンクを実現するライブラリ「AniLipSync: AniCast LipSync Library」がMITライセンス（要約すると，誰でも無償で無制限に扱っていいが，著作権表示および本許諾表示を記載しなければならない）の下に公開されている。吉岡氏は「皆さん，使ってください。いいリップシンクを作りましょう」と壇上から呼びかけた。


　最後に近藤氏は「キャラクターを生み出すことには責任のようなものが発生すると思います。キャラクターを大事に，末永く活動を続けてください」と講演を締めくくった。

会場では，近藤氏のPCを使って東雲めぐと会話することができた。今後の抱負を聞かれた東雲めぐは，「初音ミクちゃんに憧れているので，マジカルミライのように，大きなステージで歌ってみたい」と夢を語った

「Unite Tokyo 2018」公式サイト