VRChatには様々なワールドがあり、世界中の人とコミュニケーションを取ることができます。
しかしワールドでもコミュニケーションでもメインで使用される言語は「英語」。
英語が分からなければ楽しめるワールドは激減し、コミュニケーションの相手も限定されてしまいます。
そこで今回は、
- ゲーム内の表示を切り取って画像翻訳にかけられる『VRHandsFrame』
- デバイスに流れる音声を翻訳できる『VRCT』
の２つの翻訳ソフトを使って、英語ワールドや英語コミュニケーションを助けてもらいましょう！
なおどちらのソフトもVRChatでの使用を想定されていますが、
- 『VRHandsFrame』 ⇒ SteamVRを使用する全てのゲーム
- 『VRCT』 ⇒ パソコン上に流れる全ての音声
でも使用できますので、VRChatを遊ばない人にもおすすめです！
【準備】DeepL翻訳のAPIを使えるようにする
『VRHandsFrame』・『VRCT』どちらもDeepL翻訳のAPIに対応しています。
両ソフトを導入する前に、DeepL翻訳のアカウントを作成し、API認証キーを手に入れましょう。
無料プランのAPIでは、1か月間に50万文字まで翻訳することができます。
なおイタズラ防止のため、アカウント作成時にクレジットカードを登録する必要があります。
料金が発生するのは任意で有料プランでアップグレードしたときのみで、50万文字を超えても料金は発生しませんのでご安心ください。
DeepLのアカウントを作成する手順
DeepL翻訳のアカウントは、DeePL翻訳ページ上部にある「API」から作成することができます。
【外部リンク】DeepL翻訳
APIのページで「無料で登録する」を選択しましょう。
DeepLアカウントの新規作成画面になるので、登録したいメールアドレスと設定したいパスワードを入力し「続行」を押します。
個人情報の入力画面になりますので、表示に従って入力して「続行」を押します。
クレジットカードの入力を求められますが、料金が発生するのは任意で有料プランでアップグレードしたときのみで、50万文字を超えても料金は発生しません。
最後に利用規約の同意で2か所にチェックを入れ（メール通知は任意）、「無料で登録する」をクリックすれば登録は完了です。
DeepL API Freeの確認方法
右上にあるメールアドレスの部分をクリックし、「アカウント」を選択します。
ご利用中のDeepLアカウントの中から「アカウント」を選択します。
アカウント情報の下の方にある「DeepL APIで使用する認証キー」にAPIキーが表示されています。
このAPIキーを『VRHandsFrame』と『VRCT』で使用します。
『VRHandsFrame』の導入（SteamVRオーバーレイで動作する画像翻訳）
指でフレームを作成することでゲーム内の文字を翻訳してくれる『VRHandsFrame』を導入しましょう。
SteamVRのオーバーレイアプリとして機能するため、SteamVRで動作する全てのゲームで使用することができます。
導入は次の2ステップで行います。
- 『VRHandsFrame』をダウンロードする
- 『VRHandsFrame』の設定にDeepL APIを入力する
なお『VRHandsFrame』には他にもスクリーンショット機能とQRコードの読み込み機能がありますが、ここでは解説しません。
詳細な使用方法を確認したい方は、公式のオンラインマニュアルをご確認ください。
【外部リンク】 VRHandsFrame オンラインマニュアル
『VRHandsFrame』のダウンロード
『VRHandsFrame』はBOOTHにて無料でダウンロードすることができます。
ダウンロードにはPixiv IDが必要のため、持っていない方はPixivに登録しましょう。
【外部リンク】VRHandsFrame - 視界を切り取るVRオーバーレイアプリ（BOOTH）
ダウンロードしたzipファイルをパスに日本語が含まれない場所に解凍し、中にある「VRHandsFrame.exe」を実行します。
ユーザー名に日本語を使用している場合は、「C:」直下などユーザー名が含まれない場所に移動しましょう。
「VRHandsFrame.exe」を実行すると初回のみ利用規約への同意を求められます。
利用規約に同意すると自動的にSteamVRが起動し、SteamVRのスタートアップ設定に登録されます。
2回目以降はSteamVRを起動すると自動的に『VRHandsFrame』も起動するため、「VRHandsFrame.exe」を実行する必要はありません。
もし「VRHandsFrame」のフォルダを移動した時は、再び「VRHandsFrame.exe」を実行することでスタートアップの登録場所が更新されます。
『VRHandsFrame』にDeepLのAPIを登録する
SteamVRダッシュボード上でVRHandsFrameのアイコンを選択します。
左側から「翻訳」を選択し、翻訳エンジンを「DeepL」を選択します。
下に出ている「APIキーを設定してください。」をクリックするとデスクトップ内に『VRHandsFrame』の設定画面が表示されます。
設定画面はタスクトレイ内の『VRHandsFrame』アイコンを右クリック→「Preference (設定)」から表示させることも出来ます。
DeepL Freeに取得したDeepLのAPIキーを貼り付け、「OK」をクリックします。
これで『VRHandsFrame』を使用する準備は完了です。
『VRHandsFrame』でゲーム内の英語を翻訳する方法
初期設定では左コントローラーが上・右コントローラが下でフレームを形作ると翻訳モードが起動します。
左コントローラーが上・右コントローラが下にある状態で左右のグリップボタンを押すと、フレームの作成が始まります。
慣れるまでは「左右のグリップボタンを押す」⇒「コントローラをフレーム位置に持っていく」とした方が分かりやすいかもしれません。
フレーム枠が緑色になれば、フレーム枠の大きさを自由に変えられるようになります。
グリップボタンを押したまま、翻訳したい文字がフレーム内に入る大きさに調整します。
大きさが決まったら、グリップボタンは押したまま右トリガーボタンを押すと翻訳を開始します。
（初回のみ）言語パックのインストールが必要
Windowsの言語パック（英語）がインストールされていない場合、インストールを要求する表示が出ます。
左右のグリップボタンを押したまま、右トリガーを押すとインストールが始まります。
デスクトップに「ユーザーアカウント制御」が出ている場合は、許可しないとインストールが始まらないので注意してください。
言語パックのインストールとDeepLのAPIキー登録が正常に完了していれば、日本語訳が表示されます。
読み取れない文字もある
「フレームで囲った範囲を画像として切り取り」→「画像内の文字を翻訳」という処理で翻訳されています。
そのため以下のような場合は正常に読み取れず、翻訳できなかったり、翻訳が間違ったりします。
- 文字と周囲の明明暗差が少なく、文字が認識できない場合
- 文字フォントのデザイン性が高く、文字が誤認される場合（q が 9 で認識されたりする）
（VR-MMORPG「A Township Tale」より）
『VRCT』の導入（デバイスから音声を拾ってリアルタイム翻訳）
マイクを通した音声・スピーカーから聞こえる音声をリアルタイムで翻訳してくれる『VRCT』を導入しましょう。
基本的にはSteam版のVRChat用のソフトですが、デバイスを通った音声を翻訳してくれるため、VRChat以外でも使用することができます。
導入は次の3ステップで行います。
- 『VRCT』をダウンロードする
- 『VRCT』の設定にDeepL APIを入力する
- VRChat内でOSCを有効化する
『VRCT』のダウンロード
『VRCT』はBOOTHにて無料でダウンロードすることができます。
ダウンロードにはPixiv IDが必要のため、持っていない方はPixivに登録しましょう。
【外部リンク】VRCT（チャットボックスで翻訳も送信するツール）
ダウンロードしたzipファイル任意の場所に解凍し、中にある「VRCT.exe」を実行します。
『VRCT』にDeepLのAPIを登録する
『VRCT』を起動したら、歯車ボタンを押してConfigを表示しましょう。
翻訳方法を表示し、「翻訳エンジンの選択」を「DeepL（auth）」にします。
続いてパラメーターを表示し、「DeepL Auth Key」に取得したDeepLのAPIキーを貼り付けます。
『VRCT』の設定は以上です、右上の「×」でConfigを閉じましょう。
VRChatでOSCを有効にする
VRChatを起動し、アクションメニューを表示します。（アクションメニューの表示方法は設定により異なります）
「Option」⇒「OSC」⇒「Enabled」の順で選択し、スイッチが右側になればOSCが有効になっています。
『VRHandsFrame』で音声を翻訳する方法
『VRCT』のメイン画面で次の3つにチェックを入れます。
- 翻訳
- マイク->チャットボックス
- スピーカー->ログ
3つにチェックを入れた時点でマイクに喋った言葉の翻訳がChatBoxに、スピーカーに聞こえる音声の翻訳が『VRCT』のログ画面に表示されます。
マイクデバイスを通した言葉がChatBoxに表示されるので、VRChatのマイクを無効にしても喋った言葉がChatBoxで表示されます。
「OSC」か「マイク->チャットボックス」のどちらかを無効にするまで、独り言が筒抜けになりますのでご注意ください。
前述の通りスピーカーに聞こえる音声の翻訳は、デスクトップ上の『VRCT』のログ画面にしか表示されていません。
VRChat上で確認できるよう、デスクトップをオーバーレイ表示しましょう。
SteamVRのコントロールパネルからデスクトップを選択し、下にある「コントローラにドッキング」か「フローティング表示」のいずれかのアイコンをクリックします。
これでVRChatをプレイしながらデスクトップ画面を確認できるようになりました。
（VRChatワールド「Treasure Heist」より）
もしマイク・スピーカーどちらかが翻訳されない場合、『VRCT』で使用するマイク・スピーカーデバイスに誤りが無いか確認しましょう。
『VRCT』で使用するデバイスは、Configの音声認識から変更できます。
「音声取得のしきい値の視覚化」（ボリュームメーター）を有効にすると、デバイスが音声を拾っているか確認できます
翻訳精度は「音声が上手く拾えるか」次第
翻訳精度ですが、翻訳したい範囲の音声が『VRCT』で上手く拾えた場合はかなり高い精度で翻訳してくれます。
- スピーカー（マイク）音声の区切りの無音時間
- 文字起こしする音声時間の上限
- 保留する単語の上限
の３つを調整し、高い精度で翻訳できる設定を探しましょう。
ただしスピーカー側でしか確認していませんが、「音声の区切りの無音時間」「文字起こしする音声時間の上限」の設定にバグがあるようです。
「無音時間」＜「音声時間の上限」となる秒数で設定すると、「保留する単語の上限」が無効？となり、全ての音声がずっと翻訳対象の文として残ってしまうようです。
いろいろ試しましたが、初期設定の「3・3・10」での設定が、一番認識の精度が良いように感じました。
英語が分かれば楽しめるワールド・ゲーム数が爆増する！
SteamVRのオーバーレイで使える画像翻訳ソフト『VRHandsFrame』と
デバイスから音声を拾ってリアルタイムで翻訳してくれるソフト『VRCT』をご紹介しました！
日本語に対応したVRChatワールドやVRゲームも増えてきていますが、それでも全体数からするとかなり少ないです。
『VRHandsFrame』や『VRCT』といった翻訳ソフトを上手に使って、日本語に非対応のゲームも楽しめるようになりましょう！
もし翻訳ではなく英語を勉強したいならば、VR×AIで英語が勉強できる『スマート・チューター』が楽しくてオススメです。
VRゴーグルを被って勉強するので、自宅に居ながら周りの誘惑に惑わされず集中して英語を勉強することができます！
スマート・チューターについては以下の記事をご確認ください！
おすすめの記事