CN101770638A - 基于颜色纹理散度的遥感影像修复方法 - Google Patents

Abstract

本发明公布了一种基于颜色纹理散度的遥感影像修复方法，属于技术领域测绘科学与技术。它包括以下步骤：自动提取当前需要修复的区域的位置；计算颜色纹理散度相似度度量；根据当前位置的邻域的颜色纹理散度特征，从样图中寻找相似的匹配像素；使用基于MRF模型的Ashikhmin策略搜索到的相似像素和已存在的遥感影像合并。本发明利用了颜色纹理散度的相似度度量，由于同时考虑了颜色和纹理的相似性，与仅考虑颜色差异的方法相比，更好地保证了修复的结果影像在纹理上与原图的一致性，基于颜色纹理散度匹配策略的遥感影像修复方法已成功地应用于遥感影像破损、遮掩目标信息的修复。

Description

基于颜色纹理散度的遥感影像修复方法

技术领域

本发明涉及遥感影像破损、遮掩目标信息的修复，该方法综合利用了遥感技术、计算机视觉、模式识别相关理论，属于技术领域测绘科学与技术。

背景技术

为绘制复杂场景真实感图形，纹理映射是最为常用的技术，它可以通过纹理来表达表面丰富的几何细节和光照细节，甚至可以通过映射后纹理的变形来表达物体的几何形状。但纹理映射通常只能在纹理空间和表面参数空间进行一对一的映射。由于采样区域的局限性，所获取的纹理样本通常为小块纹理，若将小块纹理映射到大的曲面上将导致映射后表面纹理模糊不清，若采用重复映射技术则出现表而纹理接缝走样等问题。纹理合成是为了解决此问题而提出的，对样本纹理的重建和再组织，纹理合成产生了与输入纹理“相像”的纹理。基于样图的纹理合成，是近几年迅速发展起来的一种新的纹理合成技术，它基于给定的小区域纹理样本，按照表面的几何形状，利用各种纹理合成算法拼合生成整个曲面的纹理，因而它在视觉上是相似而连续的。基于样图的纹理合成技术克服传统纹理映射方法的缺点，成为计算机图形学、计算机视觉和影像处理领域的研究热点之一。基于点的纹理合成算法往往合成结果的结构不完整。目前常用的改善合成质量的方法：使用伴随纹理、更加准确的相似性衡量标准、最优路径缝合、影像分割等。

影像修复是指恢复影像中破损区域的纹理和颜色信息，或者去除影像中多余的物体，使得修复后的影像在视觉效果上仍旧和修复前的影像比较一致的一种技术。从数学角度来看，影像修复就是要根据待修补区域周围的信息将影像填充到待修补区域中。然而，影像修补通常是一个病态问题，因为目前仍没有足够的信息可以保证能唯一正确地恢复被损坏部分，所以，人们从视觉心理学的角度进行分析，提出了各种假设限定用来解决这个问题。目前的影像修复技术主要有两类：基于颜色扩散和偏微分方程的修复技术，基于纹理合成的修复技术。基于扩散的修复的方法利用物理学中计算热流的偏微分方程来做影像修复，通过求解偏微分，计算出要填补的空洞处的线性结构(在影像修复中称作等值线)，然后通过扩散把周围的颜色填入空洞中。对去除影像中的裂缝、污点和覆盖在影像上的文字有比较好的效果。主要缺点是会使填补的部分产生一定的模糊，而且填补的空洞越大，模糊的效果越明显，不能对很大的空洞进行修复，或去除影像中比较大的物体。Nitzberg提出采用影像分割的方法来去除遮蔽物，在同灰度级别处用有弹性的按最小值估计的曲线连接T型接点。但该方法只能处理简单的影像，不适合复杂的自然影像。Masnou改进了用于去除遮蔽物的通用变分公式，通过短程的曲线来连接到达待填充的边界区域的等照度线的接点来实现修复，但存在着要求待修补区邻域的拓扑关系简单和直线连接的缺点。纹理合成采用MRF模型，根据结果图中当前待合成像素点的邻域(或当前待合成纹理块的边界)，在样本图中搜索所有像素(或纹理块)，得到具有匹配邻域的像素点(或具有匹配边界的纹理块)，将其作为当前待合成像素点(或纹理块)的最佳近似合成到结果图中。MRF模型认为纹理具有局部统计特征，即纹理中的任一部分都可以由其周围部分(即邻域)完全决定。基于纹理合成的影像补全技术不但可以填充任意大小的丢失块，还可以修复破损部分的细节。其基本思想是将待修复区域周围的影像作为样图，首先在影像需要填充的区域边界上任选一像素点，并以该点为中心，设定一定大小的模板，然后在样图内按照某种准则，寻找一个与该模板最为匹配的块；最后用最优匹配块填充模板，将其合成到待修复区域内.这类方法适用于较大区域的修复。基于纹理合成的修复关键之一是如何恢复原始影像的场景光照信息以及其原始几何信息，但恢复光照和反求几何在计算机视觉中都是非常困难的问题，因而部分方法通过对反求条件的近似来模拟纹理由于原始几何而导致的变形效果。Criminisi Perez等采用基于块的影像修补算法，认为在多种纹理并存的影像上，修补的顺序十分重要，一般不同纹理的交界处是一些线性的结构，如果能优先修补这些地方，结构信息就能比较好的保持下来。影像缺损区域记为Ω，影像已知区域记为Φ，填充区域边界线记为

(当前处理的前沿像素)。假设目前需要对

上的一个点p的邻域窗口进行填补，由于p正好位于影像边缘结构线上，当从影像已知区域搜索最佳匹配块时，该匹配块的中心也必然会落在影像边缘结构线上，即p′点。可以将p′点的影像块镶嵌到p点，完成对该点的填补。Crininisi算法可以将影像边缘结构线延长到缺损区域内部，并且自动地保持边缘结构线的方向一致性。尽管影像边缘结构线与填充区域边界没有互相垂直，修补后的边缘结构仍然与影像已知区域的边缘方向一致。当点p不位于边缘结构线上，其邻域窗口完全位于纹理区域内部时，也能得到很好的处理。然而，随着填充过程的进行，由于置信度值迅速下降到零，使优先权的计算不可靠，从而导致错误的填充次序，进而影响修补效果。而且由于它是采用全局搜索方法来寻找原始的匹配块，这样产生错误匹配，造成误差传递。

对于遥感影像，由于人眼对边缘等线结构特征最为敏感，而且在对遥感影像进行补全时，影像中的边界结构部分修补的好坏直接影响到整幅影像的修补效果；另外，数字影像修复算法基本是半自动的，因为在对影像修复前，需要由用户给出想要修复的区域，或者先人为给出破损区域或目标物体的一个大致形状，然后通过某种方法来确定精确的待修补区域。从复杂背景提取任意形状前景，仍存在很多有待解决的问题。

发明内容

本发明目的是针对现有技术存在的缺陷提供一种基于颜色纹理散度的遥感影像修复方法。

本发明为实现上述目的，采用如下技术方案：

第一步：自动提取遥感影像中需要修复的区域的位置；

第二步：确定修复区域的边界像素的样图区域；

第三步：在第二步所述样图中采用Ashikhmin方法获取待修复像素的候选匹配像素；

第四步：计算第三步候选匹配像素邻域内各像素的颜色纹理散度相似度，取相似度最大的像素作为修复像素，并将修复边界像素个数减1；

重复第二、三、四步骤，直到修复区域的边界像素个数为0。

在影像拼合过程中，使用Ashikhmin方法可以达到很好的效果，但是如果第四步中寻找到的相似块与输出影像匹配不好时，即使通过上面的拼合方法，也难免存在视觉上的不连贯。现有方法通常仅利用重叠区域内象素的颜色特性来衡量影像的相似性，而忽略了影像纹理结构的差异性，如影像中颜色发生明显突变的区域，如物体的轮廓、不同颜色区域形成的边界等，导致结果影像中出现边界错位现象。本发明的遥感影像修复方法与现有修复方法相比的优点在于：在第四步中的纹理颜色散度同时考虑了颜色和纹理的相似性，与仅考虑颜色差异的方法相比，更好地保证了合成的结果影像在纹理上与原样图的一致性。基于颜色纹理散度匹配策略的遥感影像修复方法已成功地应用于遥感影像破损、遮掩目标信息的修复。

附图说明

图1遥感影像修复流程图。

图2样图的确定。

图3基于Ashikhmin算法的匹配。

图4颜色纹理差别。

图5遥感影像修复结果。

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

如图1所示，本发明基于颜色纹理散度的遥感影像修复方法流程图。

第一步：提取修复区域

首先对遥感影像进行分割，然后根据分割结果跟踪需修复的区域。对于修复区域R，背景为R，边界点表示为S(M)，R的边界跟踪方法如下：

①按行列号(j，i)扫描遥感影像修复区域，遇到第一个属于R的点作为边界起始点S₀(R)，其左邻点为

当前处理的边界点为S_k(R)，边界点相邻的非区域点为C_k(R)；

②以S_k(R)为中心以C_k(R)为起点，按顺时针判断8邻域点n₁，...，n₈，碰到8邻域中第一个属于R的点n_i，让作为S_k+1(R)＝n_i，C_k+1(R)＝n_i-1；重复此步骤直到S_k+1(R)＝S₀(R)，其中i＝1，2，3...8；

则修复区域R边界点为S₀(R)，S₁(R)，...，S_k(R)；

第二步：提取样本区域

纹理影像有一定程度的规则性，这是它同自然影像的区别之一。对于自然影像的修复，每个待匹配像素应该对应不同的样图，而非所有的待匹配像素对应同一个样图。通过如下方法建立样图：对于待匹配像素p，以点p为中心初始化为13*13个像素的正方形区域，如果该区域内没有包含85个以上的已知像素，就扩大区域直到数量满足为止，此时区域内未损坏部分即为样图，这样使得修复区域中凸起部分的正方形区域面积较小，而凹进部分的正方形区域面积较大。如图2所示，p和q为修复边界上的2个点，点p处于凹进部分，而点q处于凸起部分，p的正方形区域面积大于q，采用该方法针对不同的块选取不同的样图，可以排除影像中的无关像素，提升算法的执行效率。

第三步：MRF模型的Ashikhmin算法的搜索方法

如图3所示，影像缺损区域记为Ω，影像已知区域记为Φ，填充区域边界线记为

(当前处理的前沿像素)。假设目前需要对

上的一个点p的邻域窗口进行填补，p₁为已填充像素，首先通过已填充像素p₁找到样图中的对应像素p′₁，然后根据p₁的位置确定相应的p′₁的对应像素q₁为候选像素，同理确定p的其它已填充像素相应得到的候选像素，依次计算p的有效邻域与每个候选像素领域的相似度，取相似度最大的作为匹配像素。

第四步：计算相似度度量

样本影像可以看成是颜色信息和纹理结构信息的组合，颜色和纹理结构信息共同表示了样本影像的特征。影像的纹理结构信息主要体现在影像中物体的轮廓和颜色变化明显的边界等，人眼对于这些结构信息的连续性往往非常敏感，总是能够轻易地发现轮廓、边界中的畸变，而不是颜色上的细微变化。事实上，影像在颜色相似的情况下，其纹理可能会存在很大的差异，如图4所示。因此，在纹理合成过程中同时考虑颜色差异和纹理差异是非常必要的。纹理结构差异。(a)为样本影像，(b)是SLaws映象(纹理结构图)(c)中方形框内为当前合成像素的邻域，(a)中粗方框为当前合成像素合成前的原图，(a)为中部分细框正方形框内的内容，表示在样本图中根据颜色差异寻找到的与均最相似的像素邻域，从图中可以看到，虽然寻找到的像素在颜色上和当前合成像素非常相似，但其邻域的纹理结构却有着较大的差别。

像素x的邻域R的类别内部方差和类别间方差分别为Intra(x)和Inter(x)，则J(x)为：

J(x)＝Inter(x)/Intra(x)          (1)

E_i(x)为以像素x为中心的R邻域的Laws纹理滤波结果，且R邻域内包含N个象素，纹理能量L(x)为：

$L\left(x\right)=\underset{0\≤i\≤N}{\mathrm{\Σ}}{E}_i\left(x\right)---\left(2\right)$

每个像素x的权p(x)为：

p(x)＝L(x)/L_max        (3)

其中L_max为L(x)集合中的最大值。

加权的J，S_Laws为颜色纹理散度：

S_Laws＝p(x)×J(x)      (4)

待匹配像素p和q的相似度S为：

$S(p,q)=\mathrm{\Σ}{S}_{\mathrm{Laws}}\mathrm{\Δ}{E}_{\mathrm{uv}}^{*}S(p,q)=\mathrm{\Σ}{S}_{\mathrm{Laws}}\mathrm{\Δ}{E}_{\mathrm{uv}}^{*}---\left(5\right)$

其中ΔE_uv ^*为颜色方差。

图5给出了用本发明进行的遥感影像修复与仅使用颜色信息的方法的比较。(a)为存在缺损遥感影像(白色区域为待修复区域，黑色区域为背景区域)，(b)为未考虑纹理结构信息，(c)为本方面方法。从(b)图中可以看到，夏季林地遥感影像由于光照强烈，地面上亮度变化大，阴影较多，由于单考虑颜色的差异，出现了边界衔接不一致现象，纹理表现的不均匀。而用本文的方法得到的结果，由于引入了纹理散度，使得纹理的表达更加准确。结果证明此方法修复后影像在颜色和纹理上均与原图保持一致。

Claims (4)

1.一种基于颜色纹理散度的遥感影像修复方法，其特征在于包括以下步骤：

第一步：自动提取遥感影像中需要修复的区域的位置；

第二步：确定修复区域的边界像素的样图区域；

第三步：在第二步所述样图中采用Ashikhmin方法获取待修复像素的候选匹配像素；

第四步：计算第三步候选匹配像素邻域内各像素的颜色纹理散度相似度，取相似度最大的像素作为修复像素，并将修复边界像素个数减1；

重复第二、三、四步骤，直到修复区域的边界像素个数为0。

2.如权利要求1所说的基于颜色纹理散度的遥感影像修复方法，其特征在于：第一步所述的自动提取方法如下：

首先对遥感影像进行分割，然后根据分割结果跟踪需修复的区域。对于修复区域R，背景为R，边界点表示为S(M)，R的边界跟踪方法如下：

①按行列号(j，i)扫描遥感影像修复区域，遇到第一个属于R的点作为边界起始点S₀(R)，其左邻点为

；当前处理的边界点为S_k(R)，边界点相邻的非区域点为C_k(R)；

②以S_k(R)为中心以C_k(R)为起点，按顺时针判断8邻域点n₁，...，n₈，碰到8邻域中第一个属于R的点n_i，让作为S_k+1(R)＝n_i，C_k+1(R)＝n_i-1；重复此步骤直到S_k+1(R)＝S₀(R)，其中i＝1，2，3...8；

③则修复区域R边界点为S₀(R)，S₁(R)，...，S_k(R)；

3.如权利要求1所说的基于颜色纹理散度的遥感影像修复方法，其特征在于：第二步所述遥感影像样图的提取方法如下：

将修复区域边界像素确定为待匹配像素p，对于待匹配像素p，以待匹配像素p为中心初始化为13*13个像素的正方形区域，如果该区域内没有包含85个以上的已知像素，则此时区域内未损坏部分即为样图。

4.如权利要求1所说的基于颜色纹理散度的遥感影像修复方法，其特征在于：第四步所述的计算颜色纹理散度相似度度量的方法如下：

像素x的邻域R的类别内部方差和类别间方差分别为Intra(x)和Inter(x)，则颜色纹理散度相似度度量J为：

J(x)＝Inter(x)/Intra(x)        (1)

Ei(x)为以像素x为中心的邻域R的Laws纹理滤波结果，且邻域R内包含N个象素，纹理能量L(x)为：

$L\left(x\right)=\underset{0\&le;i<N}{\mathrm{\&Sigma;}}{E}_i\left(x\right)---\left(2\right)$

每个像素x的权p(x)为：

p(x)＝L(x)/L_max        (3)

其中L_max为L(x)集合中的最大值，其中N为自然数。

Images