Sony「ToF AR」CharaMirrorGo バージョンアップ!

こちらのページでご紹介をしているToF AR のデモアプリ CharaMirrorGoに関して、さっそくですが機能のアップデート版が配信されました。改善された部分や追加の機能について詳細をご紹介できればと思います。

カメラに写った人体を認識し、連動してキャラクターを表示していますが、その認識精度が向上しました。

よくわかる例として、屈伸などの足を曲げる動作をした際に足首の位置がブレることが多々発生していたのですが、最新バージョンでは比較的安定して足首の位置が認識できています。

また、前屈など一部のポーズはそもそも認識が出来なくなる事が多かったのですが、最新バージョンでは改善されています。

上記以外の部分にも細かい調整が入っているので、より安定していろいろな動作を試す事が出来るようになっています。

カメラに写った人体を認識するのはそのままに、上半身のみにフォーカスした機能を追加しました。

既存の認識技術は「体の全体」が写っている事が前提で認識用の機械学習データが作成されている事が多く、近距離で上半身や下半身のみ動きを認識したいという要望に対応するのが難しい場合がありました。

このアプリではバージョンアップにより設定画面の「Upper Body Mode」のチェックボックスが選択できるようになっています。このチェックをONにすると、3Dモデルの表示が画面全体に固定され、上半身の動きのみ連動するようになります。

体験してもらえばわかりますが見た目や動きは思いっきりVtuberです（笑）。

モデルが指の動きにも対応している場合、ToF ARのHandコンポーネントを使用して自動的に連携してくれます。

主だった機能についてのご紹介は以上となります。

既存のモデルデータの読み込み機能を使えばいろいろなモデルでVtuber気分を楽しむことが出来ます。

現在配信しているアプリはあくまでデモですが、実際にYoutubeで配信するのに使いたい！という要望がありましたら、お気軽にご相談いただければと思います。

上記ブログの内容に少しでも興味がありましたら、お気軽にご連絡ください。

紹介したアプリに関するご質問や、操作方法の疑問点などの回答も可能です。

弊社のエンジニアがフレンドリーに対応させていただきます。