本研究では，人が動作を行っている動画から一貫性のある三次元形状を復元する新しい手法を提案する．これまで，着衣の人体の形状復元問題は単一画像からの形状復元問題，または多数のカメラを用いた形状復元問題として扱われてきた．単一画像からの形状復元を動画に対して適用すると，見えない部分や曖昧な部分の形状を学習データに基づいて推定するため，時間的な一貫性が保たれない．多数のカメラを用いる手法は，一般の消費者が利用するには困難である．本研究では，1台のカメラを用いて，動作を行っている着衣の人体の形状を一貫性をもって復元する．ここでの一貫性とは，同じ人の復元形状が，動きによる変形を除いて同じことである．本研究では，動作を行う人の動画から，1つの人体形状と多関節変形としての動作を復元することで，一貫した形状を復元する．
提案手法のキーアイディアは，人の動作の反復性を利用すること，また，人体それ自体をカメラの較正物体や形状復元の基準位置として利用することである．提案手法の入力は，繰り返し動作それぞれを異なる方向から撮影した複数の動画であり，これらは1台のカメラで撮影される．画像上で検出した二次元関節点を用いて，繰り返し動作の動画を時間的・空間的に較正する．少数の視点から撮影した動画は，骨を基準とした標準ポーズへの変換により大幅に視点を増加させる．これらの仮想的に増加した較正済みの仮想カメラによって体表を点群として復元し，人体のメッシュを自由変形させ，フレームごとに一貫した個人に特化した着衣の人体形状を復元する．
本研究では，手軽に繰り返し動作を撮影した動画は三次元形状を実測できる密な多視点画像に変換できることを示し，着衣の人体の三次元形状を復元する．本研究では，2つの新しいデータセット作成し，定量的・定性的に提案手法の有効性を評価する．
個人の特徴をとらえたアバターの作成，スポーツの動作の三次元的記録，動作を好きな方向から見ることができる自由視点映像などの映像コンテンツの作成といった応用が期待されている．
| 氏名 | 専攻 | 研究室 | 役職/学年 |
|---|---|---|---|
| 柴田佳祐 | 知能情報学専攻 | 西野研究室 | 博士1回生 |
| Sangeun Lee | 知能情報学専攻 | 西野研究室 | 博士3回生 |
| 延原章平 | 知能情報学専攻 | 西野研究室 | 准教授 |
| 西野恒 | 知能情報学専攻 | 西野研究室 | 教授 |