2024/07/31

    3Dスキャン 技術比較

    高い精度で距離が測れるLiDARセンサー、それがiPhoneに搭載されてから早くも3年以上経ちました。

     

    それに伴い測量で使用していた建築業界のみならず一般の消費者の手にもLiDARセンサー付きの機材が渡るようになりました。そしてそのLiDARを使用して現実の物体をキャプチャし、3Dモデルを作成できるアプリが登場することで誰でも3Dスキャンを始められる環境が整いました。それを皮切りに従来から存在していたフォトグラメトリや異なるアプローチで3Dスキャンを行うNeRFや3D Gaussian Splattingなど多種多様なスキャン方法が知られるようになりました。


    しかし3Dスキャンの技術は日々進化しており目まぐるしく変わる手法に、いったいどのような種類があるのか気になったので調べてまとめてみました。

    これから登場する技術の一覧

    　フォトグラメトリ(Photogrammetry)

    　NeRF (Neural Radiance Fields)

    　LiDARスキャン（Light Detection and Ranging）

    　3D Gaussian Splatting

    　ストラクチャードライトスキャン (Structured Light Scan)

    フォトグラメトリ (Photogrammetry)

    フォトグラメトリは、複数の写真から3Dモデルを作成する技術。元々は地図作成や測量に使われていた技術で、航空写真から地形を解析するために発展した。

     

    技術的な仕組み:

    • 画像取得: 被写体の周囲から複数の写真を撮影する。
    • 特徴点検出とマッチング: 各画像から特徴点（角やエッジなど）を検出し、共通の特徴点をマッチングさせる。
    • 3D再構成: マッチングされた特徴点を基に、カメラの位置と向きを推定し、被写体の3D座標を計算する。

    メリット:

    • 高解像度：大量の写真を使って詳細な3Dモデルを生成可能。
    • コスト効率：特別な機器が不要で、普通のカメラでスキャン可能。
    • 移動：軽量で持ち運びが簡単。

    デメリット:

    • 計算負荷：処理には強力なコンピュータが必要。
    • 光条件依存：適切な照明が必要。
    • 時間がかかる：大量の写真の撮影と処理が必要。

    対応ソフトウェア・OS:

    • Agisoft Metashape: Windows, macOS, Linux
    • RealityCapture: Windows
    • Meshroom: Windows, Linux

    またRealityCaptureは最近実質無料化され、Windowsで高機能なフォトグラメトリソフトを扱いたい場合十分にお勧めできるソフトとなっている。

     

    NeRF (Neural Radiance Fields)

    NeRFは、ディープラーニングを利用し、2D画像から3Dシーンを生成する。

    技術的な仕組み:

    • ニューラルネットワーク: シーンを表現するためにニューラルネットワークを使用する。具体的には、入力としてカメラ位置と方向を受け取り、その位置での光の放射輝度（Radiance）を出力する。
    • ボリュメトリックレンダリング: 各点の放射輝度を統合して最終的な画像を生成する。これにより、シーン内のどの位置からでもリアルな画像を生成できる。

    メリット:

    • 高品質：複雑なシーンの詳細なモデルを生成可能。
    • 新しい技術：3Dシーンのリアルな再現。

    デメリット:

    • 計算負荷：GPUを多用するため、強力なハードウェアが必要。
    • データ量：大量のデータが必要。

    対応ソフトウェア・OS:

    • NeRFプラットフォーム (研究段階): Windows, Linux　環境構築が必要
    • Luma AI: iOS, Web

    最も気軽にNeRFを始めるならiOS端末でLuma AIを使用するのが良い。

     

    LiDARスキャン（Light Detection and Ranging）

    LiDARは、レーザーを使って距離を測定する技術である。もともとは航空機から地形の詳細な測量を行うために開発されていたが、現在では自動運転機能の付いた車やロボティクスでも利用されるようになった。

     

    技術的な仕組み:

    • レーザー照射: 対象物に向けてレーザー光を発射する。
    • 距離測定: レーザーが対象物に反射して戻るまでの時間を計測し、距離を算出する。
    • 3Dポイントクラウド: 複数の測定結果を統合し、対象物の3Dポイントクラウドを作成する。これにより、詳細な3Dモデルが生成される。

    メリット:

    • 精度：高精度の距離測定が可能。
    • スピード：高速で広範囲のスキャンが可能。
    • 環境適応性：暗所や様々な光条件でも有効。

    デメリット:

    • コスト：機器が高価。
    • データ処理：大量のデータを処理するためのソフトウェアが必要。

    対応ソフトウェア・OS:

    • Polycam: Android, iOS
    • 3D Scanner App: iOS
    • Scaniverse: iOS

    本格的なソフトウェアもあるにはあるが、測量業界向けなど気軽に始められるソフトが少ない。

     

    3D Gaussian Splatting

    3D Gaussian Splattingは比較的新しい技術で、従来のNeRFの課題を克服できる技術だと期待されている。入力された画像をもとにガウス分布を重ね合わせることで3D映像を映すことができる。

     

    技術的な仕組み:

    • 3Dガウス分布: シーンを多数の3Dガウス分布で表現する。これにより、空間の密度と色の情報を効率的に格納できる。
    • 密度制御と視認性最適化: 3Dガウス分布の密度を調整し、リアルタイムでのレンダリングが可能になる。また、視認性を考慮したレンダリングアルゴリズムを使用する。

    メリット:

    • リアルタイム性：シーンが軽くリアルタイムでモデルを確認できる。
    • 自動化：シーンの密度や視認性を自動で最適化される。

    デメリット:

    • 技術的制約：新しい技術であり、実用化が進んでいない。
    • 計算負荷：強力なGPUが必要。

    対応ソフトウェア・OS:

    • 研究プロトタイプ: 主にLinux
    • postshot: Windows
    • Luma AI: iOS, Web

    3DGSが最も手軽に行えるソフトがつい最近アップデートされ、種類の異なるカメラやレンズの画像を組み合わせることができるようになったため手軽さが増した。

    また直近でScaniverseが3DGSをサポートし、iOS,iPadOS単体でのスキャンが可能になった。

     

    ストラクチャードライトスキャン (Structured Light Scan)

    ストラクチャードライトスキャニングは、プロジェクターとカメラを組み合わせて3D形状を計測する技術である。元々は工業製品の品質検査などに使われていたが、現在では医療やエンターテインメント分野でも利用されている。

    技術的な仕組み:

    • パターン投影: 対象物に格子状や縞模様の光パターンを投影する。
    • 画像取得: パターンが変形する様子をカメラで撮影する。
    • 変形解析: パターンの変形を解析し、対象物の3D形状を計測する。投影されたパターンの変形から、対象物の形状を高精度に再現する。

    メリット:

    • 高精度：細かいディテールを高精度でスキャン。
    • スピード：比較的速いスキャン速度。

    デメリット:

    • 照明依存：適切な照明が必要。
    • 表面特性の影響：反射や透明な表面には不向き。

    対応ソフトウェア・OS:

    • Artec Studio: Windows
    • GOM Inspect: Windows, macOS
    • HP 3D Scan: Windows

    各スキャン方法の得意表

    説明:

    1. フォトグラメトリ:
      • 小さいもの: 〇 - 詳細な3Dモデルが作成できるが、精度は光条件に依存。
      • 大きいもの: 〇 - 大規模な対象物もスキャン可能だが、多数の写真が必要。
      • 広大な風景: △ - 広範囲のスキャンは可能だが、処理が大変。
      • 精度が求められる小さいもの: 〇 - 高精度なモデルを作成できるが、光条件が重要。
      • 反射するもの: × - 反射や光の屈折で誤差が生じやすい。
      • 半透明のもの: × - 半透明の物体はスキャンが難しい。
      • 家の外側と内側: 〇 - 室内外ともに適用可能だが、多くの写真が必要。
    2. NeRF:
      • 小さいもの: 〇 - 高品質なレンダリングが可能。
      • 大きいもの: 〇 - 大規模な対象物も処理可能。
      • 広大な風景: 〇 - 広範囲のシーンも再現可能。
      • 精度が求められる小さいもの: 〇 - 詳細な表現が可能。
      • 反射するもの: △ - 光の反射で一部誤差が出る可能性。
      • 半透明のもの: × - 半透明の物体は苦手。
      • 家の外側と内側: 〇 - 室内外の両方に適用可能。
    3. LiDARスキャン:
      • 小さいもの: △ - 小さな対象はスキャンが難しいことも。
      • 大きいもの: ◎ - 高精度で大規模な対象物をスキャン可能。
      • 広大な風景: ◎ - 広範囲を高精度でスキャン可能。
      • 精度が求められる小さいもの: ◎ - 非常に高精度なスキャンが可能。
      • 反射するもの: 〇 - 反射物もある程度対応可能。
      • 半透明のもの: × - 半透明の物体は苦手。
      • 家の外側と内側: ◎ - 室内外の詳細なスキャンが可能。
    4. 3D Gaussian Splatting:
      • 小さいもの: 〇 - 高品質なレンダリングが可能。
      • 大きいもの: 〇 - 大規模な対象物も処理可能。
      • 広大な風景: 〇 - 広範囲のシーンも再現可能。
      • 精度が求められる小さいもの: 〇 - 詳細な表現が可能。
      • 反射するもの: △ - 光の反射で一部誤差が出る可能性。
      • 半透明のもの: × - 半透明の物体は苦手。
      • 家の外側と内側: 〇 - 室内外の両方に適用可能。
    5. ストラクチャードライトスキャン:
      • 小さいもの: ◎ - 非常に高精度なスキャンが可能。
      • 大きいもの: △ - 大きな対象物のスキャンは難しいことも。
      • 広大な風景: × - 広範囲のスキャンには向いていない。
      • 精度が求められる小さいもの: ◎ - 非常に高精度なスキャンが可能。
      • 反射するもの: × - 反射物は苦手。
      • 半透明のもの: △ - 半透明物体のスキャンは可能だが、精度は劣る。
      • 家の外側と内側: △ - 室内外のスキャンも可能だが、環境に依存する。

    様々なスキャン方法がありますが、要件にあったものを使うことをおすすめしたいです。
    他にもこの技術単体だけでなく、組み合わせて使うことでより複雑なシーンの構築もできるようになります。

    より手軽に誰でも3Dスキャンができる時代になったものの実際にどのように活用すればいいか分からないこともあると思います。例えば思い出を立体的に残したり、見た景色をほかの人に共有してみたり、原点に戻ってスキャンしたデータから寸法を取るなど趣味から仕事まで活用できるのが3Dスキャンの面白いところです。

    システムフレンドはXRの技術を利用し、楽しい「体験」を実現するための開発を行っています。
    ご相談や事例の紹介など弊社のエンジニアがフレンドリーに対応させていただきます。
    お気軽にお問い合わせください。