Sony「ToF AR」サンプルアプリ について【SamplesBasic 後編】

前回のブログ記事からの続きとなります。

前回およそ半分のシーンの紹介を行いました、残りのシーンについてもキャプチャを交えて紹介を行えればと思います。

ToF(Depth)データから推定された人体の骨格関節位置を表示します。

Kinectセンサーなどと同じように人体の動作検証に利用することが出来ます。

位置データを3Dモデルに適用してモデルを自由に動かせる機能も含まれています。

2値画像の情報を使ってマークの認識を行います。

手を人差し指だけ伸ばしたポーズにすると、認識した指の位置に追従して空間に線が引けます。その後、指をすべて広げると線の描画を完了し、線とそれ以外の情報で2値の画像を内部で生成しマークの認識を行います。

このサンプルでは自由に線を描けるようにHandコンポーネントと合わせて使用していますが、機能としては分かれているので別の仕組みで2値画像を生成し、マークの認識だけを利用することも可能です。

SLAMの情報を表示します。

SLAMとは、「Simultaneous Localization and Mapping」の略でDepthのデータを使用してデバイス自身の位置や向きなどを特定することができます。シーンでは空間に四角形の箱のモデルを表示し、デバイスの動きによってモデル見え方が変わる＝位置や向きが変わっていることを表しています。

設定によって3DoF/6DoFに変更が可能です。

顔の位置や向き、口の動きなどの情報を表示します。

認識した顔の形状に合わせて3DMeshが表示され、顔の動きに連動して形が変化します。

「あいうえお」の推定を行い精度の値を表示することもできます。

ToF（Depth）データから平面の認識を行い、情報を表示します。

デフォルトでは画面の中心に認識された平面の向きなどが表示されます。認識する場所は最大8つまで設定が可能となっており、同時に複数の場所で認識を行う事が可能です。

各コンポーネントのデータを端末に保存することが出来ます。

これまで紹介したColor/ToF(Depth)/Hand/Body/Face/SLAMの情報を1フレーム、または複数のフレームでファイルに保存することが出来ます。保存データを別のシステムやアプリで読み込んで利用する場合に活用出来ます。

シーンの紹介は以上となります。

今回紹介した中での個人的なオススメはBodyの機能です。2次元画像から推定して関節座標値を取得できる仕組みやサービスは多々ありますが、Z軸の位置は情報が少ないので誤差が大きくなる傾向があります。ToF ARではDepthデータを使って正確な関節座標の3次元情報が取得できるので、精度を追い求めたい時には利点となります。

今回は特にBasicな機能を集めたサンプルを紹介いたしました。

次回はアプリへの活用パターンを確認できるサンプル「SamplesAR/Lab」をご紹介出来ればと思います。

ここまで記載した内容で気になる機能などがありましたら、まずはStoreからアプリをダウンロードしてご自身の端末で動作を確認いただき、利用ケースが見いだせましたら、是非お問い合わせをいただければと思います。

システムフレンドはxRの技術を利用し、楽しい「体験」を実現するための開発を行っています。
ご相談や事例の紹介など弊社のエンジニアがフレンドリーに対応させていただきます。
お気軽にお問い合わせください。