お気に入りタイトル/ワード

タイトル/ワード名(記事数)

最近記事を読んだタイトル/ワード

タイトル/ワード名(記事数)

LINEで4Gamerアカウントを登録
[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
特集記事一覧
注目のレビュー
注目のムービー

メディアパートナー

印刷2022/08/26 19:53

イベント

[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 ゲーム開発者向けカンファレンス「CEDEC 2022」の最終日となる2022年8月25日,「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術 〜目を大きくするだけではない!プリントシール機における事例〜」というセッションが行われた。
 アミューズメント施設でおなじみのプリントシール機がどのような画像処理をしているのかを,フリューの中嶋俊介氏が解説した。

画像集#001のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
フリュー プリントシール機事業部 ソフトウェア開発部 画像処理技術リーダー 中嶋俊介氏
画像集#002のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 プリントシール機を見たことがない人はいないと思うが,念のため説明すると,アミューズメント施設などに設置されている写真シール作成機のことだ。通称「プリ機」,さらに縮めて「プリ」とも呼ばれる。
 撮影の流れとしては,まずは筐体外側でコインを入れて仕上がりコースや背景の柄などを選択。中に入り,カメラの前でポーズをとり,5〜8枚程度を撮影する。機種によっては,動画を撮影することもある。
 撮影が終わったら,外に出て落書きコーナーに向かい,ペンで落書きをしたり,メイクアップ機能で装飾したりできる。
 その後,シールがプリンターで印刷されてくる。画像データをスマートフォンで取得することも可能だ。

画像集#003のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
画像集#004のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」 画像集#005のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
画像集#006のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」 画像集#007のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 プリの主なユーザーは中学生〜大学生の若年層の女性で,女子高生の97.9%が撮影経験があるというデータもあるそうだ。ゲームセンターのプリフロアなどを見ると分かるが,プリの機種は多種多様で。フリューからも複数がリリースされている。

画像集#008のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」 画像集#009のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 では,なぜ多用な機種が開発され,それが支持されているのか。キーワードとなるのは“盛れる”だ。
 まず“盛る”とは,加工する行動を表す言葉となる。また“盛れてる”が,理想的な加工ができている状態を表す言葉,そして“盛れる”が理想的に加工できる道具を表す言葉だと,中嶋氏は説明する。
 つまり,“盛れる”とは,普段の自分を理想の自分に近づけるために,何かしら加工できることだと位置づけられる。「このプリ,めっちゃ盛れるよ」という言葉を訳すと,「このプリ,とても理想顔に加工されるよ」となるわけだ。プリのユーザーは,自分の理想像に近づくことを求めているのである。

画像集#010のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
画像集#011のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 しかし,理想像に近づくために求められる盛り方は,ユーザーによって異なっている。そのため,プリもさまざまなバリエーションが開発され,多様に進化しているのだ。例えば,「ハルイロセカイ」という機種では「透明感あふれる輝く写りで誰もが主役級に」というキャッチコピーなのに対して,「ルートミー」では「可愛すぎる写りを極めた“2.5次元盛れ”」をウリにしている。

画像集#012のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 ハルイロセカイは,透明感のある写りを重視しており,肌はきめ細かさ,目は輝きのきれいさを追求した仕上がりになる。一方,ルートミーが重視しているのは可愛さの表現で,目は丸みを帯びた形に,肌は柔らかく見えるようにという点を訴求して,“2.5次元盛れ”としているのだ。

画像集#013のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 そうした理想像を実現するために,さまざまな画像処理が行われている。
 画像処理の構成としては,まずは撮影だ。カメラで撮影された画像は,プリ機に搭載されているPCに保存される。画像サイズは4000×6000px以上で,中嶋氏によれば,これだけ大きなサイズを扱っているのは,業界でも珍しいという。

画像集#014のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 画像が取得できたら顔を検出して,目や口といった特徴点や,輪郭情報を取得する。
 そして,検出された情報をもとに,顔の形状を整えたり,目や鼻,口などを部位単位で変形させたりしていく。

画像集#015のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 続いて,処理する部位を領域として抽出する。目や唇といった大きなものから,涙袋などの細かいものまで,50種類以上の領域を作成するそうだ。
 抽出した領域をもとに,細かな補正を行う。肌をきれいにしたり,影やツヤを抑えたりするのがこの処理だ。この仕上がりが,プリの機種ごとの特徴が最も出る部分となる。
 最後に,全体的なトーンや明るさを調整したら完成だ。

画像集#017のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 以上が一連の処理の流れとなるが,これを実現するには,プリ固有の技術的課題があったという。
 まず,プリならではの制約として,すべての処理内容を画像から自動的に判断する必要があった。一般的なレタッチソフトやカメラアプリであれば,ユーザーが自分で画像を見ながら対話的に(結果を見ながら)操作して仕上げられる。
 一方,プリではユーザーが操作することなく,撮影された画像の情報のみを使用して仕上げる,一発勝負となる。

 しかし,プリを撮るユーザーの特徴はさまざまだ。顔や形,肌の色やツヤの状態は人によって異なる。また,写り方もユーザーによって違い,カメラからの距離や顔の角度,向き,ポーズなども,千差万別である。
 そうしたさまざまな状態の画像を,商品の掲げる理想像に近づけることが,プリの画像処理にとって大きな壁となるのだ。

画像集#020のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 今回の講演では,「誰が写っても」「どんな写り方をしても」という2つのポイントを挙げ,実現のための技法が紹介された。
 「誰が写っても」の例として挙げられたのが,肌の色の個人差だ。肌の色は人によって微妙に異なるが,複数名が一緒に写るプリでは,一律に色調補正してしまうと,理想に合わない色になってしまう可能性がある。

画像集#021のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
画像集#022のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」 画像集#023のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 こうしたケースに対応するために,個人ごとの肌の特徴を掴んで,個別の肌補正をかけなければならない。そこでフリューでは,「個別肌補正」という処理を開発している。
 この処理では,まず被写体を個人ごとに識別する。そして,それぞれの肌領域からサンプリングを行い,基準とする彩度,色相,輝度を設定していく。

画像集#024のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 続けて,彩度,色相,輝度の各要素について,理想となる目標値を設定し,個人ごとに算出した基準値と照らして,適切な補正値を産出する。
 そして,個人ごとの肌領域に対して,彩度,色相,輝度のそれぞれについて,画素の色調を先に求めた補正値に近づけるよう,シフトして補正をかける。
 こうした処理を踏まえて,肌の色に差がある場合でも,それぞれを理想の肌色に近づけているのだ。

画像集#025のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」 画像集#026のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
画像集#027のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
画像集#028のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 「どんな写り方をしても」については,目の技術が紹介された。目は,人物写真の中でも強く印象を残す部分だ。プリでは,さまざまな状態の目に対して,理想の形に近づける処理が求められる。そこでフリューでは,目の周辺を細かいパーツとして分析し,それぞれの領域を抽出する手法を用いている。

画像集#029のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 目の領域分析を例に挙げると,まずは白目と黒目の領域を抽出する。黒の色相領域から円範囲を抽出して,黒目の領域がどこかを分析し,さらに目の周辺から白目に近い色相範囲を抽出し,白目の領域を分析するといった仕組みだ。
 また,まつ毛も個別に領域を抽出する。こちらは,目の周辺領域からエッジを抽出し,目の内部を除外してまつ毛を取り出すという手順となっている。

画像集#030のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」 画像集#031のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 このように,処理の対象を領域として見ることで抽出して,それぞれに細かな調整を施すことで,パーツ単位で理想の状態を作ることができる。黒目には濃さに深みを与えて,ぱっちりとした印象に。白目はトーンを締め,目の光を引き立たせる。まつ毛はコントラストを強くして,長く濃く見せるといった具合だ。

画像集#032のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」 画像集#033のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 ここで課題となるのが,ユーザーの目の状態や写り方によっては,形状分析が難しいケースが存在するということだ。黒目に光が入り込み,白目との差がなくなってしまったり,カラーコンタクトで黒目が識別しづらくなったり,前髪が目にかかっていてまつ毛と区別できなくなったりと,原因はさまざまである。

画像集#034のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 こうした状況に対して,正確な形状把握を行うため,フリューでは機械学習を利用した目の形状分析を導入している。手順としては,目の周辺領域を切り出して,領域分割を行う。これにより,目の各部を黒目,白目,周辺領域といった細部に分類した結果を得る。

画像の右端は,まつ毛に相当する部分を抽出したもの
画像集#035のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 領域分割の実行には,TensorFlowやKerasといったライブラリを採用している。また,処理はGPUではなく,すべてCPUで行っているが,これは,GPUは画面描画を優先する必要があるという,プリ独特の事情によるものだ。
 学習データに使っているのは,5000枚以上の画像となる。この画像は,フリューが定期的に実施しているユーザーアンケート結果の蓄積によるもので,同社が長くプリを開発してきたからこそ用意できたものだという。
 機械学習による形状分析はホットな分野であり,目以外にも,唇の形や目の光だけを抽出するなど,さまざまな応用が進んでいるそうだ。

画像集#036のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」
画像集#037のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」 画像集#038のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

 プリの画像処理は,一般的なゲームの技術と違い,女性向けの写真加工に特化した独特の世界だ。しかし,さまざまな制約の中,理想像を届けるという点で,技術的に重なる部分が多いのではないかと,中嶋氏は考えているという。今回の講演で紹介した“盛れる”を実現するプリの世界の一端が,ゲーム開発者の助けになれば幸いだとして,セッションを締めくくった。

画像集#039のサムネイル/[CEDEC 2022]プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

「CEDEC 2022」公式サイト

4Gamer「CEDEC 2022」関連記事一覧

  • この記事のURL:
4Gamer.net最新情報
プラットフォーム別新着記事
総合新着記事
企画記事
トピックス
スペシャルコンテンツ
注目記事ランキング
集計:10月04日〜10月05日
タイトル評価ランキング
72
ゼノブレイド3 (Nintendo Switch)
46
30
地球防衛軍6 (PS4)
2022年04月〜2022年10月