手順書に記された通りに作業を行うことは難しく，手順から逸脱する誤りがよく起きる．手順書に従う作業の例として，レシピに沿った調理，産業領域における製品の組み立て，医療手術などがある．本研究の目標は，映像と手順書を活用して作業の誤りを自動検出することである．
既存の研究は，手順が自由で目標のみ定まっている作業を対象とし，目標の達成が妨げられることを作業誤りとして映像のみから検出してきた．しかし，厳密な手順が求められる領域では，安全性や作業の質の観点で，手順からの逸脱を作業誤りとして検出したい．
そこで本研究では，作業誤りを含む一人称映像と手順書からなるEgoOops!データセットを構築する．本データセットの映像には，実施中の手順，および作業誤りの種類と説明文を，開始・終了時刻と共にアノテーションしている．
EgoOops!データセットを用いて，temporal action loclalizationタスクについて，既存モデルの精度を検証する．また，トリミングされた映像の手順と作業誤りを手順書を活用して認識するtext-guided mistake action detectionタスクを新たに提案し，動画と言語の事前学習済みモデルを適用する手法を開発する．
アーカイブ映像の解析を通じて，作業誤りの再発の防止
ARデバイスを用いた作業支援
| 氏名 | コース | 研究室 | 役職/学年 |
|---|---|---|---|
| 羽路 悠斗 | 知能情報学コース | テキストメディア | 修士1回生 |
| 西村 太一 | その他の専攻・大学 | その他: その他 | |
| 山本 航輝 | 知能情報学コース | テキストメディア | 修士2回生 |
| 梶村 恵矢 | 知能情報学コース | テキストメディア | 修士1回生 |
| 亀甲 博貴 | 学術情報メディアセンター | 大規模テキストアーカイブ研究分野 | 助教 |
| 森 信介 | 学術情報メディアセンター | 大規模テキストアーカイブ研究分野 | 教授 |