众包标注质量控制研究

众包是近年来流行的一种分布式商业模式，采用众包方式获取标注是一种快速廉价获取海量数据标签的有效方式，由于众包平台中普遍存在不认真完成任务的作弊用户，众包标注质量难以保证。为有效提高众包标注准确性，通过学习标注者的可靠性，实现基于标注者的可靠性进行动态任务分配，采用贪婪的预测模型实现对多个标注者提交的标签进行聚集，获得高质量的众包标注结果。实验结果表明，该方法能获得比基准算法更高的标注准确性，有效实现众包标注质量控制。