ゲームの低遅延化技術「Reflex」や実況配信向けソフト「Broadcast」など，NVIDIAイベントから新型GPU以外の話題をピックアップ

2020年6月の講演に続いて，今回も自宅のキッチンで新製品や新技術を紹介したJensen Huang氏

　既報のとおり，2020年9月2日，NVIDIAは，独自開催のオンラインイベントで「Ampere」アーキテクチャを採用するGPU「GeForce RTX 30」シリーズを発表した。
　イベントの目玉は，もちろん新型GPUなのだが，NVIDIAのCEOであるJensen Huang（ジェンスン・フアン）氏は，GPU以外にもさまざまな技術や，今後登場する製品を紹介している。そこで本稿では，新型GPU以外のさまざまな発表について，簡単に紹介したい。

お馴染みのバトルロイヤルFPS「Fortnite」のPC版が，GeForce RTXシリーズのリアルタイムレイトレーシングと，AIベースのアンチエイリアシング技術「DLSS」に対応することも発表となった（関連記事）

低遅延化技術「NVIDIA Reflex」と360Hz表示対応の「G-SYNC Esports Display」

　1つめの話題は，とくにeスポーツを考慮した遅延の短縮に関する技術だ。
　コンピュータゲームに付きものの遅延は，キーボードやマウスの入力から，PC内部でのハードウェアおよびソフトウェアの処理，そしてディスプレイやテレビといった表示装置側での処理など，さまざまな段階で発生している。こうした遅延のすべてをゼロにするのは不可能であるが，少しでも短縮できれば，とくに一瞬の操作が勝敗を左右することもある対戦型ゲームにおいて，有利に立てる可能性が出てくるわけだ。

「VALORANT」を例に遅延の重要性を説明したスライド。画像にある隙間から見える敵を撃てる時間は180msしかない。しかし，一般的なゲーマーは，150msほどの反応時間が必要であるため，システム側の遅延が30msを超えると，この場面では敵を仕留めることができなくなる。システム側の遅延を短縮できれば，勝利の可能性が高まる理屈だ

　そのためには，ユーザーの操作（入力）から，その結果が画面に反映される（出力）までの時間を計測したうえで，ボトルネックを見つけて対策することが必要となる。今回発表となった「NVIDIA Reflex」（エヌビディア リフレックス，以下 Reflex）は，NVIDIA製のドライバソフトウェアおよびゲーム側での遅延縮小に関する技術と，遅延の計測に関する技術をまとめた総称と理解していい。これはGeForce RTXシリーズに限らず，GeForce GTX 10シリーズなどでも利用できる。

　ソフトウェア面での技術では，CPUとGPUのレンダリングパイプラインを最適化することで，最大50％の遅延短縮を実現するという。対応ゲームには，Fortniteや「VALORANT」，「Destiny 2」の名前が挙がっており，たとえばGeForce GTX 1050でFortniteをプレイする場合，120ms近くあった遅延が50ms台まで短縮できたそうだ。Reflexの技術は，2020年9月にリリース予定のGeForce Driverで導入するそうである。

Reflexでは，ソフトウェア面での改良により，ゲームの遅延を最大50％短縮できるという

　一方，遅延の計測技術については，マウスの入力を検知して，操作を反映した映像の出力――たとえば，FPSにおける発砲の光――が発生するまでの時間を測定する「NVIDIA Reflex Latency Analyzer」（以下，Reflex Latency Analyzer）を開発して，それをゲーマー向け液晶ディスプレイに組み込むという取り組みを行うそうだ。
　Reflex Latency Analyzerを組み込み，垂直最大リフレッシュレート360Hzに対応するゲーマー向けディスプレイを，NVIDIAは，「NVIDIA G-SYNC Esports Display」（以下，G-SYNC Esportsディスプレイ）として認定し，eスポーツゲーマー向けに訴求していく。

G-SYNC Esports Displayは，360Hzの高リフレッシュレート表示に対応するほか，マウスを接続して入力を検出し，ディスプレイ側での出力から遅延時間を算出する機能を有する

　G-SYNC Esportsディスプレイは，AcerやASUSTeK Computer（以下，ASUS），MSI，DellのALIENWAREブランドから2020年秋以降に登場する予定だ。また，ASUSやLogitech International，Razer，SteelSeriesの入力デバイスが，Reflex Latency Analyzerに対応するとのこと。ただ，対応する入力デバイスの新製品が登場するのか，既存の製品が同機能に対応するのかは明言されていない。

NVIDIA Broadcast：GPUとAI処理による実況配信向けプラグイン

　次なる話題は，GPUとAI処理を使った実況配信やビデオ会議向けのソフトウェアプラグイン「NVIDIA Broadcast」（以下，Broadcast）だ。リリース時期は9月の予定である。

Broadcastは実況配信者やビデオ会議ソフトのユーザー向け機能だ

ノイズ除去のデモ。配信者の後ろでヘアドライヤーを使っても，騒音だけを取り除けるという

　カメラで取り込んだ人物の映像から，背景を消去したり，任意の画像や映像を背景代わりに合成したりする機能を持つソフトウェアは珍しくない。Broadcastは，GeForce RTXシリーズ上で動作するエッジAI処理により，マイクによる音声に入るノイズを除去したり，背景を消去やボカしをかけたり，任意の画像との合成などを行えるという。
　人気の実況配信者によるゲーム実況では，配信者の背景を除去してゲーム映像の上に合成する映像がよく見られるが，これと同じことをGeForce RTXシリーズとWebカメラ，およびソフトウェアで実現できるのであれば，自分の実況でもやってみたいという人は多いのではないだろうか。

Broadcastを使うと，Webカメラで取り込んだ配信者の映像から背景をきれいに除去して任意の映像と合成したり（左），配信者の姿をゲーム映像に重ねたりといった処理を簡単に行える（右）

Omniverse Machinima

　3つめのテーマである「NVIDIA Omniverse Machinima」（以下，Omniverse Machinima）は，ゲームで使われるアセットを用いた映像作品，たとえばゲーム中に表示される「ムービーシーン」や，予告編動画などを作成するのに利用できるGeForce RTXシリーズ向けのツールとエンジンだ。基本的にはプロ向けのソフトウェアであり，ゲーマーが直接使うものではない。

　Omniverse Machinimaでは，ゲームのアセットを取り込んで映像を作るだけでなく，レイトレーシングにより素材やライティングを変えたり，音声に合わせて人物の口の動きや顔のアニメーションを付けたりといった処理を，GeForce RTXシリーズを使って行える。

Omniverse Machinimaの概念を示したスライド。ゲームのアセットを取り込み，質感を向上させる処理や音声に合わせた口パクの追加，エフェクトの追加などを行って映像を制作する

カメラで取り込んだ人物の動きをAI処理で抽出して，キャラクターの動きに反映させることも可能だ

　Omniverse Machinimaは，Unreal Engineや3ds Max，Maya，Photoshopといったゲームエンジンや映像制作，写真編集ソフトで利用可能とのこと。NVIDIA公式Webサイトでは，アーリーアクセスへの登録を行えるので，興味のある人は申し込んでみてはどうだろうか。

「Mount & Blade II: Bannerlord」の素材を利用した映像のデモ。城塞都市を巡る攻城戦を，Omniverse Machinimaで制作したものだ

NVIDIA公式Blogの関連ポスト（英語）

NVIDIAのGeForce Special Event特設Webページ