本研究では、生化学分野のデータセットBioVL-QRを構築した。本データセットは、23本の一人称視点の実験動画と、それに対応する実験手順書で構成されており、各手順と動画の対応関係を示すタイムスタンプがアノテーションされている。
生化学実験の動画を分析する上で、試薬・容器の識別が困難であることが主要な課題となっている。例えば、透明な薬品が同一の容器に入っている場合、視覚的な区別が難しいため、従来の研究では手作業による物体アノテーションが前提とされてきた。しかし、この手法はコストが高く、時間もかかるという問題がある。本研究では、この課題を解決するためにマイクロQRコードに着目した。
しかし、マイクロQRコードのみを用いた物体検出では、物体の操作によるブレや遮蔽により検出が困難な場合がある。そこで本研究では、マイクロQRコードと既存の物体検出モデルを組み合わせたオブジェクトラベリング手法を提案する。
この手法とBioVL-QR データセットを活用し、各手順に対応する実験動画の区間を推定するタスクに取り組んだ。実験結果は、生化学実験の動画の分析にマイクロQRコードとオブジェクトラベリング手法の活用が有用であることを示している。
科学実験、医療・福祉、教育・研修、ビデオアノテーション
| 氏名 | コース | 研究室 | 役職/学年 |
|---|---|---|---|
| 西本智裕 | 学術情報メディアセンター | テキストメディア分野 | 修士1回生 |
| 西村太一 | その他の専攻・大学 | その他: その他 | |
| 山本航輝 | その他の専攻・大学 | その他: その他 | |
| 白井圭佑 | その他の専攻・大学 | 研究員 | |
| 亀甲博貴 | 学術情報メディアセンター | 大規模テキストアーカイブ研究分野 | 助教 |
| 羽路悠斗 | 学術情報メディアセンター | テキストメディア分野 | 修士2回生 |
| 吉田智哉 | 学術情報メディアセンター | テキストメディア分野 | 博士1回生 |
| 梶村恵矢 | 学術情報メディアセンター | テキストメディア分野 | 修士2回生 |
| 崔泰毓 | 学術情報メディアセンター | テキストメディア分野 | 修士2回生 |
| 西脇千紘 | その他の専攻・大学 | 生理学教室 | その他学生 |
| 大黒恵理子 | その他の専攻・大学 | 生理学教室 | 講師 |
| 奥田奈津子 | その他の専攻・大学 | 生理学教室 | 研究員 |
| 小野富三人 | その他の専攻・大学 | 生理学教室 | 教授 |
| 森信介 | 学術情報メディアセンター | 大規模テキストアーカイブ研究分野 | 教授 |