深層多重音検出を用いた音響信号から楽譜へのピアノ採譜
Audio-to-score piano transcription using neural multipitch detection
概要
本稿では音響信号から楽譜を推定するピアノ自動採譜システムについて述べる。最近の研究で、多重音検出とリズム量子化手法の統合による自動採譜システムの可能性が示されたが、多重音検出の誤りによって採譜精度が頭打ちになってしまう問題があった。本研究では現在最高精度の深層多重音検出手法を統合した新たな採譜システムを構築し、その効果を検証する。具体的には多重音を含む音響信号から音符の音高、発音時刻、ベロシティを推定する新たな畳み込み型のニューラルネットワークを提案する。また、和音を含む声部を扱うことができる声部分離手法を新たに提案する。評価実験により提案システムの採譜精度が従来手法を大幅に上回ることを示す。
産業界への展開例・適用分野
YouTube 等のピアノ演奏動画や即興演奏等の任意のピアノ音響信号から楽譜を推定して提供するシステム
研究者
| 氏名 | 専攻 | 研究室 | 役職/学年 |
|---|---|---|---|
| 柴田 健太郎 | 知能情報学専攻 | 音声メディア研究室 | 修士2回生 |
| 中村 栄太 | 知能情報学専攻 | 音声メディア研究室 | 特定助教 |
| 錦見 亮 | 知能情報学専攻 | 音声メディア研究室 | 博士2回生 |
| 吉井 和佳 | 知能情報学専攻 | 音声メディア研究室 | 准教授 |