はじめに
XRを活用した買い物体験の向上や販売促進については様々な取り組みが行われてきました。VRを活用した「バーチャルショップ」や、ARを活用した「商品試し置きのARビュー」などがサービスとして展開されています。商品の3Dモデルを様々な角度で閲覧できたり、特定の場所に配置してサイズ感などを確認できることが利点です。
両者には根本的な課題として3Dモデルが存在する商品のみに対応している点があり、特定の商品に限定したショップになっているケースが多い状態です。当然といえば当然ですが、将来的にすべての商品で同じ体験が出来るようになるとXRの活用がより一般的になる気がしています。
今回はその課題解決の取っ掛かりとして、以前から取り組みを行っている生成AIを使って「ECサイトの情報から3Dモデルを作成し、バーチャルショップを生成する」という事が可能か試してみました。
検証結果
最初に作成したバーチャルショップの様子を動画でご覧ください。
参照したサイトは弊社のECグループでお手伝いをさせてもらっている、「内山福太郎商店」様に協力をいただいています。
生成の流れとしては以下となっています。
1.指定のサイトマップから商品の画像を抽出
2.生成AIで2D画像から3Dモデルを作成
3.モデルを3D空間の商品棚に配置
2D画像→3Dモデルを作成する生成AIに関しては以下のブログで詳細を記載しています。
3Dモデル 生成AIの比較検証（Tripo TripoSR InstantMesh Meshy）
VRの機能としてはHMDを活用した3D空間の移動と閲覧、コントローラーによる商品へのインタラクションを実装しています。商品によってモデルの精度はまちまちですが、イメージとしては良い感じです。
スピードとクオリティ
TripoSRは高速でモデルを生成することが出来ますが、生成された3Dモデルのクオリティが低く、商品のプロポーションを正しく再現することができませんでした。今回はスピードだけではなく、商品の再現性も重視しているので最終的に高クオリティの3Ⅾモデルを高速で生成できるMeshyを使うことにしました。
まとめ
今回の検証では生成AIを利用して情報が無い部分（背面部分など）は推定で表示されているので、完全に商品を再現しているというわけではないですが、実物の形状をより分かり易くはできたのではないでしょうか。
今回はサイトから写真の情報しか抽出していないので、大きさは再現できていないのですが、サイズ変更の機能やサイトからサイズデータの抽出も行って生成時に加えれば、より実物に合わせたモデル閲覧が可能になりそうです。
実物をスキャンしたり、商品の元となるモデルデータをそのまま表示するのが精度としては高くなりますが、それを行うのは商品の数や手間を考えると実際難しい状態だと思うので、1つの策として参考にしていただければ幸いです。
VRの空間は今回あらかじめ作成を行っているので固定の物になっていますが、この空間自体もサイトから要素を抽出して、商品に合った空間を自動生成できるとより良い体験となりそうです。
上記ブログの内容に少しでも興味がありましたら、お気軽にご連絡ください。
弊社のエンジニアがフレンドリーに対応させていただきます。
