Introduction
Apple Vision Proは、拡張現実（XR）における新しいインタラクションの形を提供します。
従来のVRシステムがコントローラーやハンドトラッキングに依存しているのに対し、Vision Proは
「視線入力（Gaze Input）」と「ピンチジェスチャー」を組み合わせることで、直感的なインタラクションを実現します。
このブログでは、Apple Vision OS XR Pluginを使用してUnity VRアプリケーションで視線選択を実装する方法を紹介します。
また、Appleのフレームワーク内で異なる視線インタラクションの実装方法についても説明します。
How Gaze interaction works on Apple Vision Pro
Apple Vision Proは開発者に生の視線追跡データを提供しません。
代わりに、視線入力を「フォーカスベースのインタラクションシステム」として抽象化しています。
1. システムがユーザーが見ているオブジェクト（フォーカス）を決定します。
2. 開発者はオブジェクトがフォーカスされたり、フォーカスを失ったりするのを検出できます。
3. ユーザーはピンチジェスチャーを行うことで選択を確定します（自動選択はなし）。
この仕組みは、プライバシーを確保しつつ、誤操作を防ぎ、ユーザーに意図的な選択をさせることができます。
Implementing Gaze-Based Selection in Unity
VRアプリケーションで視線選択を実装するために、以下のツールを使用しました。
- Apple Vision OS XR Plugin – Vision ProのXR開発を可能にするプラグイン
- XR Interaction Toolkit – ビルトインのインタラクション機能を提供
- XR Ray Interactor – 視線でオブジェクトのフォーカスを検出するコンポーネント
Step 1: Setting Up Gaze Interaction in Unity
視線選択を有効にするために、以下の手順を実行しました。
1. Apple Vision OS XR Pluginをインストールする。
2. XR Interaction Toolkitをインストールする。
3. XR Origin（AR）オブジェクトをセットアップする。
4. XR Ray Interactorを追加し、視線によるフォーカスを検出する。
インストールの順番を適切に守ることが重要です。スクリプトの依存関係があるため、
正しい順序でセットアップしないとエラーが発生することがあります。
Step 2: Detecting Focus on Objects
Vision Proは内部的にフォーカスを決定するため、
Unityでは XR Ray Interactor または XR Simple Interactor を使用して
ユーザーが見ているオブジェクトを追跡できます。
どちらのコンポーネントも イベントシステムを提供しており、オブジェクトに視線が当たった際の
アクションを簡単に実装できます。
Step 3: Implementing Gaze + Pinch for Selection
ピンチジェスチャーはVision OS XR Pluginによって自動的に「クリック」動作として処理されます。
そのため、開発者は 「Select」イベント をリッスンし、必要な処理をトリガーするだけで選択機能を実装できます。
Alternative Gaze Interaction Methods
1. Dwell-Based Selection (No Pinch Required)
ハンズフリーでの操作を想定した場合、ユーザーが一定時間オブジェクトを見つめることで選択を確定する
Dwell-Based Selection（滞留選択） を実装できます。
これは Hover Entered と Hover Exited イベントを活用することで実現可能です。
1. ユーザーがオブジェクトを見始めたときにタイマーを開始する。
2. タイマーが一定のしきい値（例：2秒）を超えたらオブジェクトを選択する。
この方法を使用すれば、ピンチジェスチャーを使えないユーザーにも対応可能になります。
2. Gaze-Based UI Navigation
視線追跡は、UI（ボタン、メニュー、ドロップダウンなど）の操作にも利用できます。
Unityで視線ベースのUIナビゲーションを有効にするには：
1. カメラに XR Ray Interactor を追加する。
2. EventSystem を追加し、UIイベントを管理する。
3. CanvasにXR UI Input Module を設定し、視線入力に対応させる。
この設定により、ユーザーはメニューを視線で操作し、ピンチで選択できるようになります。
Conclusion
Apple Vision Proの視線入力システムは、プライバシーを考慮しつつ、直感的な操作を実現する強力なツールです。
重要ポイント：
✅ Vision Proは生の視線追跡データを提供しない。
✅ フォーカスベースのインタラクションにより、ユーザーが見ているオブジェクトを検出できる。
✅ 選択は ピンチジェスチャー によって確定される。
✅ Dwell-Based Selection や 視線ベースのUIナビゲーション などの代替手法も実装可能。
Appleの Vision OS XR Plugin と UnityのXR Interaction Toolkit を活用することで、自然な視線インタラクションをVRアプリに組み込むことができます。
上記ブログの内容に少しでも興味がありましたら、お気軽にご連絡ください。
弊社のエンジニアがフレンドリーに対応させていただきます。
