数据清理方法

数据清理是数据仓库中的一个重要研究领域,近似重复记录的识别则是数据清理中的技术难点之一.文中提出了几种预处理技术,通过使用这些技术,当记录按关键字排序时,近似重复记录互相靠近.结合识别近似重复记录的优先队列策略,给出了记录相似度的计算,并给出了分析结果.