约束纹理合成

第42卷第2期吉林大学学报(理学版)Vol. 42 No. 22 004年4月JOURNAL OF JILIN UNIVERSITY (SCIENCE EDITION)Apr 2004约束纹理合成张岩，孟宇，李文辉，庞云阶(吉林大学计算机科学与技术学院，长春130012)摘要:对基于块的实时纹理合成算法进行扩展并应用到约束纹理合成中，对瑕疵进行修复,在纹理合成的过程中采用不同类型的纹理段寻找匹配，并且利用可变大小的纹理块修复瑕疵的边缘处，使修复后的图像在原来瑕疵的边界处没有明显边界感.关键词:基于块的采样;纹理合成;约束纹理合成中图分类号: TP391. 41文献标识码: A文章编号: 1671-5489( 2004 )02-0200-04Constrained texture synthesisZHANG Yan, MENG Yu, LI Wen-hui, PANG Yun jie(College of Computer Science and Technology, Jilin University, Changchun 130012, China)Abstract: Extending the real time texture synthesis by patch-based sampling and applying it toconstrained texture synthesis， we repaired the blemish. By means of different types of texturesegment to find matching and the texture patch which can change in size, we repaired the boundary ofthe blemish, making no obvious sense of fringe in the boundary of the repaired picture.Keywords : patch-based sampling; texture synthesis; constrained texture synthesis在照片和电影底片上通常有一-些区域，看上去感觉有瑕疵，这些瑕疵可能是在-张扫描的图片上缺少一个区域，也可能是电影底片中存在多余的道具，还可能是一个图片上存在不该有的物体.因为引起这些瑕疵的过程通常是不可逆的，所以能够修复这些瑕疵的算法有很大用处.通常这些瑕疵部分的位置处在一些纹理区域中，从而可以应用纹理合成的方法进行修复.因为要修复的区域必须包括在纹理区域中，所以把这种扩展的纹理合成算法称为约束纹理合成.目前对于图像修复的方法有很多种，归纳起来，大致可以分为如下几类:(1)频域技术.图像信息大部分都集中在幅度谱的低频和中频段，而在较高的频段，感兴趣的信息常被噪声淹没.因此，一个能降低高频成分幅度的滤波器就能减弱噪声看得见的影响.但是频域技术不能很好的适合去除人造的空间局部区域.(2)帧间技术，可以依靠图像的运动顺序，利用邻近的帧间顺序把损失的帧插入到应有的位置,基本想法是从邻近的帧中找到正确的像素点进行修复.但是这种技术不能应用到静止的图像或跨越很多帧的电影底片上.(3)基于块的技术.修复图像中的瑕疵最简单的中国煤化工1的像素块，在新块与现存的图像区域平滑可以采用多分辨率样条凹实现.但YHCNMHG会包括有用的控制结构收稿日期: 203-09-22.作者简介:张岩(1980~)， 女，博士研究生，从事计算机图形学和图像处理的研究，E mail: zhangyanjlu@ yahoo. com. cn.联系人:李文辉(1961~)，男，教授，博士生导师，从事计算机图形学、图像处理和智能CAD的研究，E -mail: liwh@ public. cc. jl. cn.基金项目:国家自然科学基金(批准号:69883004)和教育部博士点基金(批准号:20010183041).第2期张岩， 等:约束纹理合成201信息，存在-定的局限性.(4)扩散.小的瑕疵可以应用扩散[41消除.基本想法是通过颜色从周围区域扩散以修复这些瑕疵.这种方法的优势是它非常易于使用，用户只需注意瑕疵在哪里.但是，这种方法不能用于修复大的纹理区域.(5)结合频域和时域信息Hirani 和Totsuka[3结合频域和时域信息用人为的方法填充一个规定的区域.这个技术需要有一个与待修复区域类似的区域存在，除了这个限制外，它能够很好的应用到各个工作领域.对基于块的实时纹理合成算法[1进行扩展应用到约束纹理合成中对瑕疵进行修复，采用不同类型的纹理段寻找匹配，并且利用可变大小的纹理块修复瑕疵的边缘处.其优点在于可以很好的对瑕疵部分进行修复，而且在边界处不会有明显的过渡感，使修复后的图像看起来像一幅整体图像.我们将此改进算法应用到图像填充和去除图像中多余物体的技术上，都取得了很好的效果.1合成算法1.1 基于块的实时纹理合成算法简介基于块采样的实时纹理合成算法[4]是应用输入的样本纹理合成输出的纹理图像.图1(a)给出了纹.理合成过程，把已合成区域E设为父片，在此基础上选取一个宽度为wE的块作为纹理段.在输入的样本纹理中，通过匹配函数寻找匹配的块构成集合9u，然后在9%中随机选择-个块B,复制到输出纹理、循环执行此过程，直至整个输出纹理合成完毕.合成输出纹理的顺序按图1(b),(c),(d)的顺序实现，原则是自左向右、从下到上.灰色的区域是已合成的区域、图1(b),(c),(d)中阴影部分是在父片中用于寻找匹配的纹理段的3种情况.待合成纹理的第一个块是从输入的样本纹理中随机选择一个纹理块通过复制得到.B3Est(a)(b)(d)Fig.1 Texture synthesis by patch- based sampling算法中对于一个大小为winXhim的输入样本纹理，纹理块wB的大小为wB= Amin(wim,hin),这里λ是随机给出的参数，在(0,1)区间取值. -般情况下取纹理块为wnXwB的正方形.对于纹理段之间的融合采用羽化的方法完成.1.2 约束纹理合成通过纹理合成对图像进行修复必须满足以下两个要求:(1)修复后的区域必须看起来像周围的纹理;(2)在新旧区域之间的边界-定是无形的.只有满足上述两个条件，修复的图像才能看起来像一个完整的图像.图2为约束纹理合成各种方法的合成结果，图2(a)为要修复的图，图2(c)应用改进的算法很好的满足了约束条件.如果直接应用中国煤化工CHCNMHG《c)Fig. 2 Constrained texture synthesis吉林大学学报(理学版)第42卷基于块采样的实时纹理合成算法对图像进行修复，在修复图像的右部和底部的边界处会出现明显的不连续感，如图2(b).这是因为此算法中的纹理块大小固定而造成的.图3给出了右部边缘和底部边缘出现明显边界的原因.在修复瑕疵所在区域中的第-个纹理块时，将此区域边界处的一些像素点作为纹理段使用，在搜索过程中利用这些纹理段可以顺利地找到相匹配的纹理块并复制，如图3(a),(b)所示.当合成到右部边缘和底部边缘的纹理段时，纹理块的大小固定使得其边界的像素点超出待修复的纹理区域，如图3(c),(d)所示，图中的纹理块重复包含原纹理的像素点(表示为X,Y),因为这些像素值是固定的，不能保证和所选的纹理块中的颜色一致，所以会产生明显的边界.(a)(b)(e)(d)Original texture;Syuhbeird lexue口Nou ye sindTexture segmentTexture patch.Fig.3 Discontinuities caused by using real-time texture synthesis by patch- based sampling in constrained synthesis为了消除这些人为的边界，对基于块采样的实时纹理合成算法进行改进.根据上述纹理修复的两个要求，对算法进行如下改进:把待修复的区域定为一个矩形，如图4中白色部分，将这个矩形周围的纹理作为算法中的输入样本纹理，如图4中黑色部分，此矩形作为待合成的结果区域.把基于块采样的实时纹理合成算法加以改进，将矩形的周围区域视为已合成的纹理区域，在此基础上进行合成，合成顺序如图4(b),(d)所示.在合成至矩形的右部边缘和底部边缘时，纹理块可能会超出矩形的边.缘，正如前面的分析，此时如果采用固定大小的纹理块会在边缘处产生明显的边界.为了解决这个问题，对此算法作如下改进:合成至此类边缘处时采用可变大小的纹理块，如图4(a)所示，这个纹理块的纹理段有两种情况: -种为由两个水平与一个垂直方向的像素点组成;另-种为由一个水平与两个垂直方向的像素点组成.对于瑕疵的右部搜索如图4(c)所示，采用图4(a)中由一个水平与两个垂直方向的像素点组成的纹理段搜索.底部搜索如图4(e)所示，采用图4(a)中由一个垂直与两个水平方向的像素点组成的纹理段搜索.纹理块的选择和纹理段之间的融合依照基于块采样的实时纹理合成算法进行.通过改进的算法，在约束纹理的合成上取得了很好的效果.Texture segment shape口* on righ boundaries0r Texture segment shapeon bottom boundaries(a) Variable texture patche)Originl texture图Syothesized lexture:0 Nou yet signedeFig.4 Synthesis process in the algorithm1.3 算法描述(1)初始化:将待修复的区域设置为矩形，并且把矩形的周围区域作为输入的样本纹理，同时把周围区域作为已合成的区域.中国煤化工(2)利用基于块采样的实时纹理合成算法在当前MHCNMH G又纹理段，在矩形的周围寻找与当前纹理段匹配的纹理块进行复制.(3)if搜索到矩形的底部边缘then纹理段的组成定为由两个水平与一个垂直方向的若干个像素组成，采用可变大小的纹理块在矩形周围寻找与当前纹理段匹配的纹理块进行复制.if搜索到矩形的右部边缘第2期张岩， 等:约束纹理合成203then纹理段的组成定为由两个垂直与一个水平方向的若干个像素组成，采用可变大小的纹理块在矩形周围寻找与当前纹理段匹配的纹理块进行复制.(4)重复(2),(3)步，直到图像被修复完毕.(5)用羽化的方法对纹理段进行融合.2合成结果图5显示了一个洞恢复的例子，这个算法能填充很广泛类型的纹理洞.能够使新合成的纹理看起来像周围的纹理，并且他们的结构和周围的纹理是连续的，即没有明显的边界.算法还可以作为工具在像片内消除多余的对象，如图6所示.(a)(b)《e)Fig.5 Texture replacement(a) The original image; (b) image with hole; (c) image with hole filled by our algorithm.Fig. 6 Texture replacement for real scenesPart of the scene in the left image is replaced by another region, and the result is shown in the right image.参考文南[1] Burt P J, Adelson E H. A multiresolution spline with application to image mosaics [J]. ACM Transactions onGraphics, 1983, 2(4): 217-236.[2 ] Bertalmio M，Sapiro G, Caselles V, et al. Image inpainting [C]. Proceedings of SIGGRAPH 2000. New York:ACM Press, 2000: 417-424.[3] Hirani A N, Totsuka T. Combining frequency and spatial domain information for fast interactive image noiseremoval [J]. Computer Graphics, 1996， 30: 269 -276.[4] LIANG L, LIUC, XU Y, et al. Real time texture synthesis by patch-based sampling UJ]. ACM Transactions onGraphics, 2001, 20(3): 127-150.中国煤化工(责任编辑:赵立芹)MYHCNMHG