非ランバートな反射を考慮した多視点ステレオ
nLMVS-Net: Deep Non-Lambertian Multi-View Stereo

概要

多視点画像の画素の対応関係を検出し，三角測量によって深度を復元する多視点ステレオは画像からの３次元形状復元手法として広く用いられている．しかし，被写体に模様がなく視点によって見えが変化する場合(たとえば，被写体が光沢のある磁器である場合)，画素の対応関係を正しく検出することは困難であり，多視点ステレオを適用することは難しい．本研究では，このような物体(一様で非ランバートな反射特性を持つ物体)について，既知の自然な照明環境下で撮影された多視点画像から深度・法線・反射特性を復元する新たな多視点ステレオ手法を提案する．提案手法ではまず，陰影や光沢などの見えを手がかりとして被写体の法線を画素ごとの確率密度分布として推定する．推定された法線は視点によらず不変な特徴量となっており，視点間の対応関係の検出および法線推定に利用することができる．また，形状に加えて反射特性を明示的に推定し，形状と反射特性の推定結果を交互に更新することにより，多様な反射特性を持つ物体についてより精緻な３次元形状復元を実現する．新たに作成したCG画像・実画像データセットを用いて評価実験を行い，物体や照明環境によらず正確に３次元形状・反射特性を復元できることを示した．

産業界への展開例・適用分野

自由視点映像生成や仮想的に光源が追加された映像の生成，ロボットの周囲の環境認識など，XRやロボティクスなどの分野での応用が期待される．

研究者

氏名	専攻	研究室	役職/学年
山下浩平	知能情報学専攻	西野研究室	博士2回生
延與唯人	知能情報学専攻	西野研究室	修士1回生
延原章平	知能情報学専攻	西野研究室	准教授
西野恒	知能情報学専攻	西野研究室	教授