ゲームのボイスチャットも自動翻訳できるかも？ Microsoftの日本語音声翻訳を体験してみた

Skypeの音声翻訳機能「Skype翻訳」を使ったビデオチャットのデモ

　2017年4月7日，Microsoftは，同社の翻訳ソフト「Microsoft Translator」やメッセージングソフト「Skype」の翻訳機能で，日本語の音声による自動翻訳が可能になったと発表した。これらのアプリケーションを使って日本語で話しかけると，Microsoftのクラウドサービス側の翻訳処理により，英語や中国語，ドイツ語やロシア語など，10か国語の音声に翻訳して出力できるようになったのだ。
　将来的には，ゲーム内でのチャットや音声による会話にも応用できそうなこのサービスについて，4月7日に日本マイクロソフト本社で行われた説明会での解説やデモの概要と合わせてレポートしよう。

音声での翻訳が可能な10番めの言語として日本語を追加

　日本語を外国語に翻訳するサービスやアプリケーションは，すでにさまざまなものが存在している。海外のゲームをプレイしたり，海外のプレイヤーと交流するときに，こうした翻訳機能を利用しているという人もいるだろう。とくに最近では，人工知能（以下，AI）による深層学習を利用することで，音声認識や翻訳の精度が大きく向上しつつあり，実用性が高まっている。

　今回のテーマであるMicrosoftの翻訳ソフトや機能も，そうしたAI技術を活用した仕組みで，Microsoft TranslatorやSkype，Microsoftの検索サービス「Bing」の翻訳機能などを通じて利用できるものだ。このサービスで音声翻訳が可能な10番目の言語として，日本語が追加されたことにより，日本語で話しかけて英語に翻訳し，英語音声で出力といった使い方ができるようになったのである。
　ちなみに，テキスト入力であれば，50以上の言語に翻訳可能だ。

こちらはWindows Storeアプリ版のMicrosoft Translator。画面はテキストの翻訳だが，音声で入力しての翻訳も可能

　とくにSkype翻訳では，日本語と外国語の自動翻訳を使ったビデオや音声によるチャットが可能である。Skypeはアプリ同士の間だけでなく，一般の電話と音声通話する機能もあるので，たとえばSkypeから海外の商店やホテルに電話をかけて，自動翻訳で会話をすることも可能だ。

Skypeが標準で搭載する翻訳機能は，音声は10言語，テキストなら50以上の言語を翻訳できるという（左）。アメリカに電話をかけて，こちらが日本語で話した言葉を英語に自動翻訳して出力したり，逆に相手が英語で話した言葉を日本語に自動翻訳して聞いたりもできる

Windows版のMicrosoft Translatorで，翻訳する言語を選択している様子。テキストなら，50以上の言語に翻訳可能だ。ちなみに，クリンゴン語（※スタートレックシリーズに登場する異星人クリンゴンの言語）への翻訳もできる

Windows版Microsoft Translatorの設定画面。地域によって方言がある言語は，どの地域の方言に翻訳するかも選べる。たとえば，スペイン語なら本家スペインか，メキシコ方言のいずれかといった具合だ

AndroidやiOS用のMicrosoft Translatorも公開中（左）。音声でスマートフォンに話しかけて自動翻訳もできるので（右），たとえば外国からの観光客に道を聞かれたりしたとき，これを使って案内するなんてことも可能だろう

　先述したとおり，Microsoft TranslatorやSkype翻訳による翻訳は，基本的にMicrosoftのクラウドサービス側で行うものだ（※ソフトウェア版はオフラインでの翻訳も可能）。これは，音声認識用AIと機械翻訳用AIの2種類を組み合わせた「TrueText」という技術によって実現しているという。
　翻訳機能はクラウド上のサービスであり，それを利用するためのAPI「Microsoft Translator Speech API」も公開されているので，独自に開発したアプリケーションでAPIを利用して，音声会話やテキストチャットを自動翻訳するなんてこともできる。あくまでも仮定の話だが，PCゲーマーの間でよく使われているチャットソフト「Discord」に，Microsoftの自動翻訳機能を組み込むことも技術的には可能なわけだ。
　ただ，アプリケーションが翻訳サービスを利用する場合は，テキストなら文字数単位，音声なら時間単位でクラウドサービスの利用料金がかかるとのこと。DiscordのようなMicrosoft以外のアプリケーションが自動翻訳機能を利用するとしたら，有料のプレミアムサービス的な扱いになるかもしれない。

ビデオチャットの自動翻訳を体験。発声から翻訳音声が聞こえるまでのタイムラグがネックに

　会場では実際に，日本語の話者（筆者）と英語の話者（別室にいるMicrosoft社員）による自動翻訳を使ったビデオチャットを体験できた。筆者は仕事柄，通訳を通した会話に慣れていることもあり，翻訳しやすいしゃべり方（※主語を明確にする。一文に複数の内容を詰め込まない）で話しかけてみたところ，実に違和感のない英語に自動翻訳されていた。
　「後ろから敵が2人きた」という主語のない音声を，「Two enemies from behind」と訳すなど，あいまいな日本語でも比較的意味の通る言葉に訳せるのはなかなかのものだ。
　また，筆者は「し」の発音にクセがあるのか，過去に体験した音声認識システムでは，誤認識されることがよくあったのだが，今回のデモでは，とくに発音が理由での誤認識は起きなかったようだ。音声認識の精度もなかなかのものだ。

日本語と英語での自動翻訳でビデオチャットをしている様子。話者の下，右側に見えるテキストは，日本語話者の話した言葉を音声認識したテキストで，左側に見えるテキストは，英語から日本語に訳されたテキストだ

　ただ，単語の意味を取り違えて翻訳してしまうこともある。たとえば，「支払いを請求する」ことを英語で「charge」と言うが，chargeには「充電する」という意味もある。そのため，「請求します」と訳すべきところを，「充電します」と訳してしまうといった具合だ。文脈から会話のテーマを分析して，適切な意味を選択するという点では，まだまだ改善が必要だろう。

　ゲーム用途でのボイスチャットに自動翻訳を組み込むことも可能だろうが，現状でネックになるのは，しゃべってから翻訳音声が聞こえるまでの間に，数秒間のタイムラグが生じる点だろうか。クラウドサービス側に音声データを送り，それを認識，翻訳してから翻訳音声を送り出すという仕組み上，タイムラグはどうしても存在する。しかし，FPSやTPSでチーム戦をしているようなときに，翻訳音声が聞こえるまで何秒もかかると，シビアな局面では間に合わないかもしれない。タイムラグをもう少し短縮しないと，ゲームの音声チャットで自動翻訳を利用するのは難しいかな，というのが正直なところである。
　逆に言えば，多少のタイムラグが許容できる場面――雑談や事前の作戦説明など――なら，現状の音声翻訳でも問題なく使えるだろう。

　Microsoftでは，この自動翻訳機能をさまざまなサービスに展開していく予定であるとのこと。技術的な説明を担当した，日本マイクロソフトの業務執行役員 ナショナルテクノロジーオフィサーである田丸健三郎氏に，Xbox Liveの音声チャットに自動翻訳機能を組み込む可能性があるかと質問したところ，それらのサービスも検討対象に入っているとのことだった。いずれは自動翻訳機能を使って，外国のプレイヤーと言語の違いをあまり気にせずコミュニケーションができるようになるかもしれない。

　音声で入力できる自動翻訳という点では，現時点でもかなり有用なサービスだと思うので，スマートフォンにMicrosoft Translatorを入れておいて，外国からの観光客に道案内をするといった用途には十分役立つ。興味があれば，ぜひ体験してみてほしい。

Skype翻訳を活用できそうな場面を示したスライド。外国人観光客に道案内したり，外国のホテルやレストランに電話をかけるときに利用できるという。デモを体験した印象でも，こういう用途には役立ちそうに思えた

Microsoft公式blogの当該ポスト

iOS用「Microsoft Translator」ダウンロードページ

Android用「Microsoft Translator」ダウンロードページ