「VRChatでフルボディトラッキングしたいけど、機材が高すぎて手が出ないよ!」
そんなあなたに、Webカメラ1つでフルボディトラッキングができるWindows用の無料ソフトウェア『ThreeDPoseTracker』(以下「TDPT」)をご紹介します!
iPhone版もあります!(iPhone11以降の機種推奨)
なおiPhone版のVMC・OSC転送機能は有料で600円(買い切り)となっています。
TDPT
DIGITAL STANDARD CO., LTD.無料posted withアプリーチ
先にお伝えしてきますが、mocopiやPico Motion Trackerといったトラッキングデバイスを使用したときほどの精度はありません。
また「カメラで認識」→「VRChatのOSCへ転送」という流れで行うため、VRゴーグルでトラッキングする頭・両手とTDPTでトラッキングするそれ以外の部位にズレが発生します。
ラグがあるので動きのある表現目的(ダンス・演劇)で使うのは厳しいですが、写真用にポーズやしゃべりメインの動画を取るくらいには使えます。
Quest版・Pico版でもフルトラにできます!
実際にTDPTでフルトラを試した動画
(2:23~2:48 の下半身の遅れに注目)
パソコン(iPhone)の性能、使用のカメラ、ネットワークの状態で遅延の程度は異なります!
上記の動画は参考程度にお考え下さい!(ただし今の技術では「遅延0」にはなりません)
あわせて読みたい!
必要な機材
必要な機材は次の通りです。
- VRゴーグル(Questシリーズ、Pico4シリーズ、Viveシリーズなど)
- ハイスペックのパソコン(もしくはiPhone)
- Webカメラ(パソコンの場合)
TDPTの動作に必要なパソコンの推奨スペックは以下の通りです。
前提条件
・Windows10以上ケースごとの環境
①フェイストラッキング
②ハンドトラッキング
③カメラのポストプロセス
これらの機能が処理に負荷をかけますので、ケースごとにfpsを記載しています。※fps値は参考値です。保証するものではありません。
◆ケース1
Corei9
メモリ 16GB
グラフィックカード RTX4090
①②③全てオンにすると 30fps程度
①②③全てオフにすると 60fps程度◆ケース2
Corei7
メモリ 16GB
グラフィックカード RTX 2070 Super
①②③全てオンにすると 15fps程度
①②③全てオフにすると 30fps程度◆ケース3
引用:「TDPT(Windows版)ver0.6 操作説明」より
Corei5
メモリ 4GB
グラフィックカードなし
TDPTシステムLow Qualityモデルでのみ動作可能 ①②③全てオフにして 12fps程度
Webカメラには特に指定はありませんが、機種により動作精度が変わるので、これから購入する方は以下の動画を参考にしてください。
開発者によるTDPTとWebカメラの相性確認動画
上記動画一番おすすめのEMEET C970Lが販売終了しているため、
後継品を貼っておきます
TDPTを使ってVRChatでフルトラする手順
TDPTの設定をする
以下リンク(BOOTHのTDPTページ)へアクセスし、TDPTのzipファイルをダウンロードしましょう!(要pixivアカウント)
TDPT -Three D Pose Tracker-(Windows版)
ダウンロードしたzipファイルを解凍し、「TDPT_ThreeDPoseTracker.exe」を実行します。
WebカメラはTDPT起動前に接続しておいてください!
「Windows によって PC が保護されました」が表示された場合は、「詳細情報」を押すと実行ボタンが表示されます。
TDPTが起動すると次のような画面が表示されます。
まずは以下手順にて動作確認をしましょう。
- 「Soure」を選択 (選択済みの場合は不要)
- Sorce Selectの「Select Camera Device」で使用するWebカメラを選択
- 「Start」をクリックしてトラッキングを開始
- カメラに全身が映る位置に移動し、表示されているアバターが同じように動くことを確認
- 「STOP」を押してトラッキングを停止する
この時点でVRゴーグルは不要です。(私はVirtualDesktopを通してTDPTの画面をキャプチャするために被っています)
服装と背景に注意
公式ヘルプ内の「上手なモーションキャプチャーのコツ」によると、姿勢を正しく認識させるには、次の条件がよいとのことです。(要約)
- カメラには一人で中心近くに映る
- 明るい場所で映る
- 身体のラインが出る服装で映る
- 背景と服装の区別がよく分かる状態で映る
- 背景に人間と誤認しそうなものを置かない、映さない
- カメラのピントを合わせる(マニュアルフォーカス推奨)
TDPTでアバターが動くことが確認出来たら、以下手順でトラッキングデータをVRChatに転送する設定をします。
- 「Soure」を選択 (選択済みの場合は不要)
- Other Settingsの「Mirror Mode」にチェックを入れる
- 「Send & Receive」を選択
- Send VRChat OSC Trackerの「Send VRChat OSC」にチェックを入れる
- (Steam版以外のVRChatの場合)「IP」にVRゴーグルのIPアドレスを入力する
- 「Save」をクリック
- 「Start」をクリックしてトラッキングを開始
VRゴーグルのIPアドレスを確認する
VRゴーグルのIPアドレスは、ネットワーク設定から確認できます。
Wi-Fi(WLAN)設定にて、接続中のSSIDをクリックして詳細を表示すると、その中に「IPアドレス」が記載されています。
ほとんどの場合「192.168.xxx.xxx」の形式になっています
(「xxx」にはそれぞれ 0~254 が入ります)
TDPTでの設定は以上です。
VRゴーグルを被り、カメラに全身が映る位置に移動してVRChatを起動しましょう!
VRChatでTDPTのトラッキング情報を受信する
VRChatを起動したら、以下の手順でOSC Trackerを有効にします。
- アクションメニューを開く
(開き方はボタン設定次第だが、メニューボタン長押しで開く設定が多い気がする) - オプション → OSC の順に進む
- DisableをEnableに切り替える
- アクションメニューを閉じる
OSCを有効にしたら、続いてLaunch Pad(通常の簡易メニュー画面)からフルボディトラッキングのキャリブレーションを行いましょう。
- Launch Padを開く
- 「キャリブレーション」をクリック
- リアルでTポーズを取り、アバターと身体の位置を合わせたら両コントローラのトリガーボタンを同時押しする
Launch Padに「キャリブレーション」が表示されない場合、TDPTからOSCの情報が受信できていません。
TDPTでトラッキングを開始しているか、変更したIPアドレスに間違いはないか、セキュリティソフトが通信を阻害していないかなどを確認してみてください。
設定に問題が無ければ、この時点でアバターの足などが動かせるようになっているはずです。
もし左右が逆に動くなどの問題があれば、次の項目で調整しましょう。
TDPTでフルトラの調整をするヒント(Q&A形式)
ここからはさらに細かい調整をしたい方のための項目です。
私がいろいろ試したり、公式のヘルプを読んだりして分かったことをまとめます。
誤った内容が含まれている可能性があるため、参考程度にしてください。
なお仕組み上、どれだけ調整しても動きの遅延は無くなりませんし、トラッキングの精度が劇的に向上することもありません。
「TDPTはフルトラのお試し用」と考え、ほどほどの精度で納得することをおすすめします。
「遅延の無さ」や「動きの精度」を求めるなら、フルトラ用のトラッカーを購入しましょう
実際の動きとアバターの動きが左右反対になる
Source → Other Settings → Mirror Mode のチェックを反転させましょう。
トラッキング精度が悪い / すぐにトラッキングが暴れだす
公式ヘルプ「上手なモーションキャプチャーのコツ」を参考にしてください。
また人物が小さく映っている場合は、Source → Other Settings → Source Cut Scale で拡大すると多少の改善があるかもしれません。(VRChat内でのキャリブレーションにおいて)トラッカーの位置とアバターの位置が合わない / 足のトラッカーが地面に埋もれる
Send & Recive → Send VRChat OSC Tracker → Scale の値を変更しましょう。
(横位置が合わない場合は「X」、高さが合わない場合は「Y」、XとYの値を見て「Z」も合わせてあげる。
値の変更後は「Save」を忘れない!)どうしても位置が合わない場合は、合わない部位のトラッキングを諦めるのも1つの手です。
TDPT開発者のnoteによると、「男性なら1.25から1.4くらい。女性なら1.2くらいな感じでいろいろ試してください」とのこと。
(上記のQ&Aを受けて)TDPTでScaleを変更 → キャリブレーション の繰り返しが面倒
メニュー画面を開いた状態ならば、キャリブレーション中でなくともスフィアが表示される。
Virtual Desktop(以下「VD」)を使ったSteam版VRChatなら、VDの「Desktop Mode」を活用することでスフィアの位置を確認しながらその場でScaleの調整が可能。(前Q&Aの画像参照、数値の入力はVDの仮想キーボードを使用)
TDPTフルトラに満足できなければちゃんとしたトラッカーを買おう!
TDPTを使ってカメラ1台でフルトラ環境を作る方法を解説しました!
すでに高性能なパソコンとWebカメラがあるなら、1円もかけずにフルトラ環境が作れます!
TDPTを使ったフルトラでダンスなど激しい動きは難しいですが、いろんなポーズで写真を撮ることには十分使えます!
また、すでにトラッカーを使って6点フルトラをされている方なら、TDPTで不足部位を補って11点フルトラにする……なんて使い方も出来るかと思います。
カメラ1台でフルトラ環境が作成できるとは、すごい時代になったものです。
それを実現できるソフトを作った方々、そしてそれを無料でダウンロードできる状態で公開いただいていることには、感謝しかありません。
導入でも話しましたが、今回の方法にはラグ・精度という欠点があります。
どんな方法にせよ「ラグ」が発生してしまいますので、「ラグ」のない環境が欲しくなったときが、いよいよ「VIVE Ultimate Tracker」なり、「Pico Motion Tracker」なりを購入するときです!
ASMR音声は「耳で楽しむVR」(無料作品もあります)
\ バイノーラル録音のASMRで存在を感じよう♪ /
『ぼっち・ざ・ろっく』後藤ひとり 役 青山吉能さん出演のASMR。
自分だけに話しかけてくれる吐息に耳がゾクゾクします。