一対比較を用いたクラウドソーシング成果物の品質推定法
Pairwise HITS: Quality Estimation from Pairwise Comparisons in Creator-Evaluator Crowdsourcing Process

概要

本研究では、クラウドソーシングにおいて一対比較を用いて成果物の品質を推定します。クラウドソーシングでは、ワーカーの能力や意欲の差から作業結果に信頼性の問題が発生します。この問題は大抵の場合、同じ作業を複数人に依頼し、得られる複数の結果をうまく統合することで解決されます。一方でこの方法は作業を一人に依頼するよりも作業コストがかかります。我々はコストの問題を軽減することに取り組みました。
これまでの研究でコストの問題は、ワーカー能力を推定し統合に加味することである程度軽減できることが実証されています。本研究では、成果物を作るワーカーと成果物を一対比較評価するワーカーの能力を推定しつつ、成果物の品質を推定することに取り組んでいます。

産業界への展開例・適用分野

本研究を用いると、クラウドソーシングで扱いの難しい、統合が難しい成果物(文章、デザインなど)の品質を推定できます。また、評価方法には人が評価しやすい一対比較を用いています。
クラウドソーシング以外の応用先としては、ECサイトの出店商品の品質推定と付随的に出店者の評価や購入者の評価に適用するなどが考えられます。

研究者

氏名	専攻	研究室	役職/学年
砂長谷 健	知能情報学専攻	鹿島研究室	修士1回生
馬場 雪乃	知能情報学専攻	鹿島研究室	助教
鹿島 久嗣	知能情報学専攻	鹿島研究室	教授

---