图像修复实验的设计

第31卷第6期实验室研究与探索Vol.31 No. 6RESEARCH AND EXPLORATION IN LABORATORYJun. 2012图像修复实验的设计于文静，杨富琴，冯伟国(华东理工大学电子与信息实验教学中心，上海,200237)摘要:设计了图像修复实验,通过实验操作激发学生对图像修复研究的兴趣。实验中使用基于样本的图像修复方法实现图像的修复,首先对该方法的基本原理及实现过程进行解释;然后利用该方法实现对各种不同类型损毁图像的修复。提供可实现数字图像修复相关方法的Matlab 程序代码,学生可利用相关程序对各种不同类型的损毁图像进行修复,得到了视觉上无明显人工修复痕迹的图像。学生对于破损图像的破损面积的大小和位置进行改变,得到不同的修复结果。通过对结果的分祈加深对方法的.理解。关键词:图像修复;图像处理;文字移除中图分类号:TP 751.1 .文献标志码:A文章编号:1006 -7167(2012)06 - 0040 -04Design of the Experiment on Image ImpaintingYU Wen-jing， YANG Fu-qin，ENG Wei-guo( Experimentation Center for Electronics and Information Education , East ChinaUniversity of Science and Technology, Shanghai 200237, China)Abstract: The experiment on image inpainting is designed to deepen sludents ' understanding of the concept and theimplementation of the image inpainting technology , and to stimulate students’interest in research on the image inpaintingtechnology. In the experiment , the image inpainting is achieved by the sample-based image inpainting methods. First, theexperiment explains the basic principles and the implementation of this method. Moreover , different types of damagedimage are inpainted by this method. The matlab code of related methods are provided which could achieve digital imageinpainting so that students could use relative programs to restore different types of damaged images and get images withno obvious artificial lraces visually. Furthermore，students could get different inpainting results by changing the damagedsize and the location of damaged images so as to deepen their underslanding of the method by analyzing the results. Thisimage restoration method is implemented in digital image experiments for the first time.Key words: image inpainting; image processing; word removal觉其修复痕迹的一种图像处理技术。图像修复主要在0引言文物保护[23]、影视特技制作(23]、多余目标物体剔除、图像修复1 ( Image Inpainting, Image Completion)图像缩放3.0]、图像的有损压缩“4]、视频图像的错误隐是指按照一定的规则,利用未被损坏的图像信息,估计匿等方面有着重大应用'”。正是由于图像修复的重并填充图像指定区域内的缺损信息,使得最终修复后要作用,在数字图像处理实验中增加图像修复部分的的图像在视觉效果.上连续、光滑、自然,且不为人眼察实验内容对于学生了解这一领域中的相关技术,进而应用|中国煤化工勺基于变分和偏微分收稿日期:2011 -12-20方程.MYHCNMHG,PDE).与基于样本作者简介:于文静(1974-).女,山东夏津人,硕上,讲师,主要研究.方向:数字图像修复算法及优化算法研究。的纹理合成图像修复方法,前者通过求解微分方程,光Tel. :13301956747 ,021 64253339 ; E-mail; wenjingyu@ ecust. edu. en滑地将破损区域周围的已知信息传播到破损区域中，从而完成修复;后者基于给定的小区域纹理样本,按照第6期于文静,等:困像修复实验的设计41表面的几何形状,拼接生成整个曲面的纹理，在视觉上(4)按照中像素点的灰度值填充出,中未知部是相似而连续的。考虑到PED的抽象性,本实验设计分的像素值。结束后将填充后的区域标识为已知用基于样本的图像修复方法实现。区域。实验中通过Matlab程序设计实现Criminism提出(5)沿填充后新的未知区域的边缘,重新返回的基于样本的图像修补算法,利用本方法对不同类型(1),依此类推,直到所有的未知区域被填充。的破损图像进行修复,并介绍图像修复的评价标准,基2实验设计于这一-标准，学生对于修复算法实现的图像修复和Photoshop手动修复后的结果进行比较。希望通过本.图像修复实验作为图像处理课程内容的补充与增实验的学习和实践激发学生的学习兴趣。强,应具有以数字图像处理课程的先修课程和计算机处理能力。①先修课程:高等数学、数字信号处理、数1基于样本的图像修复算 法原理[89]字图像处理;②计算机语言:Matlab。如图1所示,1表示一幅完整图像区域,nC I是本文介绍的数字图像修复实验为课程实验,创新待修复区域,即信息缺失区域;则φ= 1-2表示待修类实验内容未在本文中介绍。复图像中的已知区域,本实验理论基于Criminism提出2.1 实验环境的基于样本的图像修补算法,这一算法主要包括以下操作系统,XP或以上版本;Matlab7.0或以上版本几个步骤:含图像处理toolbox，图像修复基本操作相关的程序,基(1)对于图像待修复区边缘a2的每个像素点p,于样本的图像修复程序, PSNR计算程序, Photoshop软计算以点p为中心的待修复块业。的修复优先权P:件,图像修复使用图像。P(p) = C(p)D(p)(1)2.2 实验内容式中:C(p)是待修复块虫。的置信因子项;D(p)是待(1)图像的基本操101。修复块业。的数据因子项，图像的输人输出函数:E c(q)imread()。从图像文件中读取(载人)图像;C(p) = .151-0)(2)Imshow()。显示图像; .imwrite()。把图像写人(保存)图像文件中;1V号in,!montage()。在一个窗口中显示多帧图像;D(p) =x(3)impixel。确定像素颜色值。业,是以点p为中心的待修复块;|少,1为待修复块的面边缘检测:积;a为归一化因子;n,是点p处垂直于边缘an的单edge()。图像边缘检测。位向量。块处理函数:(2)在待修复区域的边缘点中查找P(p)的值为bestblk()。确定进行块操作的块大小;最大的点,对以此点为中心的待修复块中,首先进行blkproc()。 实现图像的显示块操作。修复。图像的基本处理函数:(3)修复过程为计算业,中已知像素的灰度值和im2bw()。转换图像为二进制图像;图像中已知区域相应的块中灰度值的欧式距离d(业,，imerop()。图像的裁剪;中。) ,找到与中,最匹配的图像块邺,使得imresize()。图像比例缩放变换;购= arg mind(4,灯)(4)gradient()。梯度函数。(2)困像修复算法程序实现。例如:源程序代码存放在D: \imageinpainting目录2中程序名为imagee. m(主程序,按原理完成算法),实验中在Matlab中,在[File]菜单中选择[ setpath] ,选择D: \imageinpainting,可将所有程序和图片存放在这一4。目录中国煤化工序中源图像存放在以名MHCNMHG象存放在12.bmp中。学生在忌修发时图像名杯,可以日己对程序进行修改。在D:\ imageinpainting目录下还有mmap. m,这一图1 Criminism 算法的原理图文件中主要定义函数mask(),它的功能是根据破损图像获得相应的掩码图。在破损图像中把需要修复的区|2实验室研究与探索第31卷域以某种颜色标识,比如红色,然后将标识的区域置像,学生利用程序对图像进行修复,可得到修复后的图0,其他已知区域标识为1,这样获得一幅二值图像,这像。原始图像的提供仅仅给学生一种感性认识,事实一二值图像称为待修复图像的掩码图像。文件上图像的修复并不是以修复图像与原始图像的相似度priority. m中定义了函数point_ .prior()函数,实现在边作为评价标准的,图像修复好坏的评价下面专门介绍。缘点中查找具有最高优先权的点。文件patch. m中定(4)文字移除。图4(a)是文字加入后的图片,利义函数match__patch(),主要实现匹配块的查找功能。用图像修复程序对图片进行修复,修复后得到图4(b)(3)人物的移除。图2、3中提供人物移除后的图中的图像。(日)原始图像(b)人物移除后的图像(2)利用算法修复后的图像图2人物移除实验图 1(a)原始图像(C)利用算法修复后的图像图3 人物移除实验图2JAPANSERI ANIMATION(a)文字加入后图像(b)移除后的修复图像图4文字移除实验图(5)破损图像修复[214]。破损图像修复图如图5修复结中国煤化工进行主观性评价，所示。如果破损区域发生改变，图像的修复结果会发如观察CHCNMHG觉上是否符合一般生变化,启发学生对破损区域进行设置,看修复后的结的审美你E、四家土女不啊疋口侍以保持、图像结果是果,并解释原因。否存在明显的人工操作痕迹等。在研究中,经常使用(6)修复效果比较。图像修复技术是对缺损信息峰值信噪比( Peak Signal Noise Ratio , PSNR)来进行辅的填充,不能纯粹用客观量化指标来进行评价。图像助性的评价。第6期于文静,等:图像修复实验的设计43(a)原始图像(b)破损后的图像(C)利用算法修复后的图像图5破损图像修复实验图PSNR基于图像像素灰度值进行统计和平均计算，华东理工大学学报(自然科学版) ,2011 ,37(3) :367-371.是常用的衡量信号失真的指标。尽管对部分图像或视[2] Bertalmio M, Sapiro G, Caselles V,et al. Image inpainting[C]//Poeedings of ACM SIGCRAPH. New York:ACM 2000:417-424.频质量评价时可能与主观感知的质量产生较大的偏[3] Chan T F, Shen」H. Mathemaical models for loeal non texture差,这是因为人眼的视觉对于误差的敏感度并不是绝inpainting[ J]. SIAM Joumal on Applied Mathematies ,2002 ,62(3): .对的,其感知结果会受到许多因素的影响而产生变化1019-1043.(例如,人眼对一个区域的感知结果会受到其周围邻近[4] Shih T K,Chang R C. Digtl inaining suvey and mulilyer image区域的影响),但PSNR对于多数图像质量评价仍然是inpainting algorithm [C] / Proceeding of the Third International有效的“5。PSNR 值越大说明修复效果图像与参考图.Conference on Information Technology and Applieations. 2005 :15-24.5] Shih T K,Chang R C,Lu L C,et al. Multi-layer inpaining on Chinese像(本文中使用参考图像为原始图像)越相似,修复效artwork restoration applications[ C] 1 IEEE International Confernece果越好,算法性能越高。on Multimedia and Expo. 2004:21-24.令f(x,y)为参考图像在像素坐标(x,y)处的灰度[6] Witman T. Mathenatical techniquese for image inepolaion [ DB/DK]. htp:// www. math. umn. edu/ ~ witman/Poral. pdr,005.值或彩色值f(x,y)为修复后图像在相应像素位置处[7] 吴亚东,张红英,吴 斌数字图像修复技术[M].北京:科学出版的灰度值或彩色值。对于一幅M xN的图像,社,2010:1-20.2552PSNR = 10 x1g-[8] Criminisi A,Perez: P, Toyama K. Region fling and objet removal byexemplar-based image inpainting[J]. IEEE Transactions on Image旅品Z(*,y) -(x,)2Procesing 2004 ,13(9) 1200-1212.(4) [9] Efos A, Leung T. Texure syuthesis by non-paraerie sampling[C]/1 Proceedings of 7th IEEE International Conference on Computer要求学生利用自己的视觉系统和PSNR客观评价标准Vision. Greece :IEEE , 1992) :1033-1038.对本算法实现图像修复的结果和Pooshop软件手工[10] 张德丰. 数字图像处理(Mllab版)[M].北京:人民邮电出版社，进行修复的结果进行比较。利用PSNR进行比较时，2009:15-30.在文字移除的实验中由于没有提供原始图像可不作[11] 王家文. Malab7.6图形图像处理[M].北京:国防工业出版社，比较。2009 :21-32.[12] Wu J, Ruan Q. Q0 bjet removal by eross isopoles exemplar based3结语inpainting[ C] // Procedings of 18th Inemational Conference onPaltem Recognition. Hong Kong: IEEE ,2006 ,3 :810-813.本文通过对图像修复理论及实验的介绍,利用程[13] 陈中费,刘利刚,王国瑾. 基于全局优化的图像块填充修复方法序及具体的实验结果,使学生对图像修复这一数字图[J].计算机研究与发展.2009 ,46(1);144-150.像处理中的较新的方向有了感性的认识。通过生动的[14]丁西明 ,段汉根,吴长勤.一种简单的块匹配图像修复算法[J].计算机技术与发展，2011 .20(11) :80-83.图像结果对比，激发学生对于这一方向的兴趣。利用评价标准对修复结果进行比较,希望能对于学生在这[15]中国煤化工e al. Final repont from theIY片CNMHG°n of the oijective models of-.方向的研究上具有--定的指导作用。/www. we01-10.参考文献( References) :[1] 张晴,林家骏,高 深.基于色差分析的图像修复改进算法[J].