当サイトにはアフィリエイト広告が含まれます。
なおレビューは私の感想を書いており、内容を指示するご依頼はお断りしています。(Noステマ宣言)

VR 関連セール・お買い得情報

【Amazon プライムデー
Quest311,000円引き!各種キャンペーンにエントリーしてから購入しよう!
プライムデーで実施中のキャンペーン → ポイントアップ / スタンプラリー / dポイント連携
今秋発売との噂の「Quest3s」とQuest3を比較した記事はコチラ

【DLsite 同人サマーセール
マンガ・ゲーム・イラスト・動画・ボイス作品が最大90%OFF!
VR対応作品も多数あり! → VR全年齢 / R18含む

【おすすめメタクエスト記事】

100均グッズでも充分?Questを快適にしよう! (記事:【100均も活用】メタクエスト2・3おすすめアクセサリー&グッズまとめ【快適性と没入感をアップしよう!】)
メタクエスト ジャンル別おすすめ 無料ゲーム・アプリ (記事:【Meta Quest】おすすめ無料ゲーム・アプリ30選!無料でこれだけ遊べる!)
【50項目以上】メタクエストの機能・設定・小ネタまとめ
【スマホVRもOK】
VRゴーグルで3Dブルーレイを観よう!
(記事:【2024年】3DブルーレイをVRゴーグルで見る方法【メタクエスト・スマホVRもOK】)

SteamVRに画像翻訳、VRChatに音声翻訳を導入して英語なんか怖くない

2023年8月9日

SteamVRに画像翻訳、VRChatに音声翻訳を導入して英語なんか怖くない
Writter: むねりょ

 

1991年生まれ、大阪育ちの<コミュ症>文系システムエンジニア。

友だちにやらせてもらったPSVRでVRにドはまりし、初代Oculus Questを発売日に購入。
それ以降、ずっとVRにハマり、ダイエット・観光・息抜き何にでもVRを使う。
でもコミュ症なので、基本ぼっちプレイ。

VRは最新技術にも触れ合えるし、コミュ症でも世界中の人と会える最高の技術です!
皆さんとVRで会えることを楽しみにしています!
(コミュ症なので、一緒にVRゲームとかから始めましょうね!)

VRChatには様々なワールドがあり、世界中の人とコミュニケーションを取ることができます。

しかしワールドでもコミュニケーションでもメインで使用される言語は「英語」。

英語が分からなければ楽しめるワールドは激減し、コミュニケーションの相手も限定されてしまいます。

  

そこで今回は、

  • ゲーム内の表示を切り取って画像翻訳にかけられる『VRHandsFrame』
  • デバイスに流れる音声を翻訳できる『VRCT』

の2つの翻訳ソフトを使って、英語ワールドや英語コミュニケーションを助けてもらいましょう!

  

なおどちらのソフトもVRChatでの使用を想定されていますが、

  • 『VRHandsFrame』 ⇒ SteamVRを使用する全てのゲーム
  • 『VRCT』 ⇒ パソコン上に流れる全ての音声

でも使用できますので、VRChatを遊ばない人にもおすすめです!

  

【準備】DeepL翻訳のAPIを使えるようにする

『VRHandsFrame』・『VRCT』どちらもDeepL翻訳のAPIに対応しています。

両ソフトを導入する前に、DeepL翻訳のアカウントを作成し、API認証キーを手に入れましょう。

無料プランのAPIでは、1か月間に50万文字まで翻訳することができます。

  

なおイタズラ防止のため、アカウント作成時にクレジットカードを登録する必要があります。

料金が発生するのは任意で有料プランでアップグレードしたときのみで、50万文字を超えても料金は発生しませんのでご安心ください。

  

DeepLのアカウントを作成する手順

DeepL翻訳のアカウントは、DeePL翻訳ページ上部にある「API」から作成することができます。

APIページの場所(DeepL)

  

APIのページで「無料で登録する」を選択しましょう。

「無料で登録する」の場所(DeepL APIアカウントの作成方法)

  

DeepLアカウントの新規作成画面になるので、登録したいメールアドレス設定したいパスワードを入力し「続行」を押します。

メールアドレス・パスワードの設定(DeepL APIアカウントの作成方法)

  

個人情報の入力画面になりますので、表示に従って入力して「続行」を押します。

クレジットカードの入力を求められますが、料金が発生するのは任意で有料プランでアップグレードしたときのみで、50万文字を超えても料金は発生しません。

個人情報の入力(DeepL APIアカウントの作成方法)

  

最後に利用規約の同意で2か所にチェックを入れ(メール通知は任意)、「無料で登録する」をクリックすれば登録は完了です。

利用規約の同意(DeepL APIアカウントの作成方法)

  

DeepL API Freeの確認方法

右上にあるメールアドレスの部分をクリックし、「アカウント」を選択します。

アカウント情報の表示方法(DeepL APIキーの確認方法)

  

ご利用中のDeepLアカウントの中から「アカウント」を選択します。

アカウントの場所(DeepL APIキーの確認方法)

  

アカウント情報の下の方にある「DeepL APIで使用する認証キー」にAPIキーが表示されています。

このAPIキーを『VRHandsFrame』と『VRCT』で使用します。

APIキーの表示(DeepL APIキーの確認方法)

  

『VRHandsFrame』の導入(SteamVRオーバーレイで動作する画像翻訳)

指でフレームを作成することでゲーム内の文字を翻訳してくれる『VRHandsFrame』を導入しましょう。

SteamVRのオーバーレイアプリとして機能するため、SteamVRで動作する全てのゲームで使用することができます。

  

導入は次の2ステップで行います。

  1. 『VRHandsFrame』をダウンロードする
  2. 『VRHandsFrame』の設定にDeepL APIを入力する

  

なお『VRHandsFrame』には他にもスクリーンショット機能とQRコードの読み込み機能がありますが、ここでは解説しません。

詳細な使用方法を確認したい方は、公式のオンラインマニュアルをご確認ください。

  

『VRHandsFrame』のダウンロード

『VRHandsFrame』はBOOTHにて無料でダウンロードすることができます。

ダウンロードにはPixiv IDが必要のため、持っていない方はPixivに登録しましょう。

  

ダウンロードしたzipファイルをパスに日本語が含まれない場所に解凍し、中にある「VRHandsFrame.exe」を実行します。

ユーザー名に日本語を使用している場合は、「C:」直下などユーザー名が含まれない場所に移動しましょう。

『VRHandsFrame』の配置場所(良い例)
『VRHandsFrame』の配置場所(悪い例)

  

「VRHandsFrame.exe」を実行すると初回のみ利用規約への同意を求められます。

利用規約に同意すると自動的にSteamVRが起動し、SteamVRのスタートアップ設定に登録されます。

  

2回目以降はSteamVRを起動すると自動的に『VRHandsFrame』も起動するため、「VRHandsFrame.exe」を実行する必要はありません。

もし「VRHandsFrame」のフォルダを移動した時は、再び「VRHandsFrame.exe」を実行することでスタートアップの登録場所が更新されます。

  

  

『VRHandsFrame』にDeepLのAPIを登録する

SteamVRダッシュボード上でVRHandsFrameのアイコンを選択します。

SteamVRで『VRHandsFrame』設定を開く方法(『VRHandsFrame』の設定)

  

左側から「翻訳」を選択し、翻訳エンジンを「DeepL」を選択します。

『VRHandsFrame』の翻訳をDeepLにする(『VRHandsFrame』の設定)

  

下に出ている「APIキーを設定してください。」をクリックするとデスクトップ内に『VRHandsFrame』の設定画面が表示されます。

設定画面はタスクトレイ内の『VRHandsFrame』アイコンを右クリック→「Preference (設定)」から表示させることも出来ます。

  

DeepL Freeに取得したDeepLのAPIキーを貼り付け、「OK」をクリックします。

『VRHandsFrame』にDeepLのAPIキーを入力する(『VRHandsFrame』の設定)

  

これで『VRHandsFrame』を使用する準備は完了です。

  

『VRHandsFrame』でゲーム内の英語を翻訳する方法

初期設定では左コントローラーが上・右コントローラが下でフレームを形作ると翻訳モードが起動します。

『VRHandsFrame』の初期設定(『VRHandsFrame』の使用方法)

  

左コントローラーが上・右コントローラが下にある状態で左右のグリップボタンを押すと、フレームの作成が始まります。

慣れるまでは「左右のグリップボタンを押す」「コントローラをフレーム位置に持っていく」とした方が分かりやすいかもしれません。

『VRHandsFrame』のフレーム作成方法1(『VRHandsFrame』の使用方法)

  

フレーム枠が緑色になれば、フレーム枠の大きさを自由に変えられるようになります。

グリップボタンを押したまま、翻訳したい文字がフレーム内に入る大きさに調整します。

『VRHandsFrame』のフレーム作成方法2(『VRHandsFrame』の使用方法)

  

大きさが決まったら、グリップボタンは押したまま右トリガーボタンを押すと翻訳を開始します。

『VRHandsFrame』の翻訳中(『VRHandsFrame』の使用方法)

(初回のみ)言語パックのインストールが必要

Windowsの言語パック(英語)がインストールされていない場合、インストールを要求する表示が出ます。

左右のグリップボタンを押したまま、右トリガーを押すとインストールが始まります。

デスクトップに「ユーザーアカウント制御」が出ている場合は、許可しないとインストールが始まらないので注意してください。

言語パックのインストール要求1(『VRHandsFrame』の使用方法)
言語パックのインストール要求2(『VRHandsFrame』の使用方法)

  

言語パックのインストールとDeepLのAPIキー登録が正常に完了していれば、日本語訳が表示されます。

『VRHandsFrame』の翻訳(『VRHandsFrame』の使用方法)

読み取れない文字もある

「フレームで囲った範囲を画像として切り取り」→「画像内の文字を翻訳」という処理で翻訳されています。

そのため以下のような場合は正常に読み取れず、翻訳できなかったり、翻訳が間違ったりします。

  • 文字と周囲の明明暗差が少なく、文字が認識できない場合
  • 文字フォントのデザイン性が高く、文字が誤認される場合(q が 9 で認識されたりする)
文字が認識できない場合(『VRHandsFrame』の注意点)
文字が認識できなかった場合
(VR-MMORPG「A Township Tale」より)

  

『VRCT』の導入(デバイスから音声を拾ってリアルタイム翻訳)

マイクを通した音声・スピーカーから聞こえる音声をリアルタイムで翻訳してくれる『VRCT』を導入しましょう。

基本的にはSteam版のVRChat用のソフトですが、デバイスを通った音声を翻訳してくれるため、VRChat以外でも使用することができます。

  

導入は次の3ステップで行います。

  1. 『VRCT』をダウンロードする
  2. 『VRCT』の設定にDeepL APIを入力する
  3. VRChat内でOSCを有効化する

  

『VRCT』のダウンロード

『VRCT』はBOOTHにて無料でダウンロードすることができます。

ダウンロードにはPixiv IDが必要のため、持っていない方はPixivに登録しましょう。

  

ダウンロードしたzipファイル任意の場所に解凍し、中にある「VRCT.exe」を実行します。

  

『VRCT』にDeepLのAPIを登録する

『VRCT』を起動したら、歯車ボタンを押してConfigを表示しましょう。

『VRCT』設定を開く方法(『VRCT』の設定)

  

翻訳方法を表示し、「翻訳エンジンの選択」を「DeepL(auth)」にします。

『VRCT』で翻訳をDeepLのAPIを使う(『VRCT』の設定)

  

続いてパラメーターを表示し、「DeepL Auth Key」に取得したDeepLのAPIキーを貼り付けます。

『VRCT』にDeepLのAPIキーを入力する(『VRCT』の設定)

  

『VRCT』の設定は以上です、右上の「×」でConfigを閉じましょう。

  

VRChatでOSCを有効にする

VRChatを起動し、アクションメニューを表示します。(アクションメニューの表示方法は設定により異なります)

アクションメニューを表示するボタン(OSCの有効化方法)
初期設定ではB・Y長押し
アクションメニューの表示(OSCの有効化方法)

  

「Option」⇒「OSC」⇒「Enabled」の順で選択し、スイッチが右側になればOSCが有効になっています。

アクションメニューからOSCをEnabledにする(OSCの有効化方法)

  

『VRHandsFrame』で音声を翻訳する方法

『VRCT』のメイン画面で次の3つにチェックを入れます。

  • 翻訳
  • マイク->チャットボックス
  • スピーカー->ログ
『VRCT』の有効化(『VRCT』の使用方法)

  

3つにチェックを入れた時点でマイクに喋った言葉の翻訳がChatBoxに、スピーカーに聞こえる音声の翻訳が『VRCT』のログ画面に表示されます。

マイクデバイスを通した言葉がChatBoxに表示されるので、VRChatのマイクを無効にしても喋った言葉がChatBoxで表示されます。
「OSC」か「マイク->チャットボックス」のどちらかを無効にするまで、独り言が筒抜けになりますのでご注意ください。

  

前述の通りスピーカーに聞こえる音声の翻訳は、デスクトップ上の『VRCT』のログ画面にしか表示されていません。

VRChat上で確認できるよう、デスクトップをオーバーレイ表示しましょう。

  

SteamVRのコントロールパネルからデスクトップを選択し、下にある「コントローラにドッキング」か「フローティング表示」のいずれかのアイコンをクリックします。

デスクトップのオーバーレイ表示1(『VRCT』の使用方法)
デスクトップのオーバーレイ表示2(『VRCT』の使用方法)

  

これでVRChatをプレイしながらデスクトップ画面を確認できるようになりました。

マイクを通した言葉は「日本語(英訳)」でChatBoxに表示
喋った言葉はSendで表示
聞えた英語は「原文(日本語訳)」でVRCTのログ画面に表示
※初期設定
聞えた英語はReceiveで表示
(VRChatワールド「Treasure Heist」より)

  

もしマイク・スピーカーどちらかが翻訳されない場合、『VRCT』で使用するマイク・スピーカーデバイスに誤りが無いか確認しましょう。

『VRCT』で使用するデバイスは、Configの音声認識から変更できます。

「音声取得のしきい値の視覚化」(ボリュームメーター)を有効にすると、デバイスが音声を拾っているか確認できます

翻訳されない場合は、Configの音声認識にある「マイク入力デバイス」と「スピーカー(聞き取りたいデバイス)」を確認しよう

翻訳精度は「音声が上手く拾えるか」次第

翻訳精度ですが、翻訳したい範囲の音声が『VRCT』で上手く拾えた場合はかなり高い精度で翻訳してくれます。

  • スピーカー(マイク)音声の区切りの無音時間
  • 文字起こしする音声時間の上限
  • 保留する単語の上限

の3つを調整し、高い精度で翻訳できる設定を探しましょう。

  

ただしスピーカー側でしか確認していませんが、「音声の区切りの無音時間」「文字起こしする音声時間の上限」の設定にバグがあるようです。

「無音時間」<「音声時間の上限」となる秒数で設定すると、「保留する単語の上限」が無効?となり、全ての音声がずっと翻訳対象の文として残ってしまうようです。

「無音時間」<「音声時間の上限」で設定すると、単語がずっと残る

  

いろいろ試しましたが、初期設定の「3・3・10」での設定が、一番認識の精度が良いように感じました。

  

英語が分かれば楽しめるワールド・ゲーム数が爆増する!

SteamVRのオーバーレイで使える画像翻訳ソフト『VRHandsFrame』

デバイスから音声を拾ってリアルタイムで翻訳してくれるソフト『VRCT』をご紹介しました!

  

日本語に対応したVRChatワールドやVRゲームも増えてきていますが、それでも全体数からするとかなり少ないです。

『VRHandsFrame』や『VRCT』といった翻訳ソフトを上手に使って、日本語に非対応のゲームも楽しめるようになりましょう!

  

もし翻訳ではなく英語を勉強したいならば、VR×AIで英語が勉強できる『スマート・チューター』が楽しくてオススメです。

VRゴーグルを被って勉強するので、自宅に居ながら周りの誘惑に惑わされず集中して英語を勉強することができます!

  

スマート・チューターについては以下の記事をご確認ください!

ASMR音声は「耳で楽しむVR」無料作品もあります)

毎月付与される1,200ptで、
マンガ劇場映画も楽しめます /

U-NEXT

※U-NEXT配信中の作品の確認はコチラ
※いつでも解約OK解約手順