CN109710791A - 一种基于显著滤波器的多源彩色图像颜色迁移方法 - Google Patents

Abstract

本发明公开了一种基于显著滤波器的多源彩色图像颜色迁移方法，属于数字图像处理领域。本发明提出的颜色迁移方法解决了单幅源图像提供色彩有限的缺陷，参考指定的彩色图像，对当前彩色图像进行颜色调整，使得处理后的结果图像具有与颜色图像相似的色调表现。通过本方法能较好地实现彩色图像之间的颜色迁移，执行时间较短，不需要人工对图像进行标注，能够获得较好的颜色迁移效果。同传统的颜色迁移方法相比较，本文方法生成的结果虽依赖于颜色图像，但是对颜色分布信息不敏感。

Description

一种基于显著滤波器的多源彩色图像颜色迁移方法

技术领域

本发明涉及数字图像处理领域，具体涉及一种基于显著滤波器的多源彩色图像颜色迁移方法。

背景技术

现代社会的快速发展导致人们早已被各式各样的信息所包围，人眼通过对图像的观测，直接或间接地获取了大量的视觉信息。数字图像处理技术是图像处理领域中的重要组成部分，是计算机技术研究的一个重要领域。数字图像处理技术是很多学科的基础，具有很强的实用价值，被广泛地应用于医学、交通、传媒、教育等众多领域。图像处理中一个最常见的问题是改变图像的颜色，使之变为我们所需要的颜色。

从人眼的观察角度来看，颜色是人类感知和区分不同物体的基本特征之一，一般来说，相同的物体具有相同或者相似的颜色深浅和分布，不同的物体通过颜色深浅和分布的不同来使人类能够感知从而加以区别。而颜色特征作为物体最主要的特征之一，其具有一定的稳定性，对图像的尺度变化、旋转、平移都不敏感，而且表示和计算都比较简单。颜色迁移是将图像A的颜色信息和图像B的形状信息进行合并，生成另一幅图像C，并使生成的结果图像既有源图像A颜色信息，又有目标图像B的形状信息，使之看上去更加符合人类的视觉审美要求。其中图像A称为颜色图像，也为源图像，图像B称为形状图像，也为目标图像。颜色是最重要的视觉信息之一，颜色迁移是数字图像处理的一个重要课题，通过改变目标图像的颜色信息，使目标图像在色彩、亮度和艺术细节等方面发生特定的变化，改变目标图像的色彩风格，突出图像主题，增强图像感染力。

然而存在复杂场景的目标图像，相匹配的单个源图像提供的色彩有限。此外，现有的算法不是以一种感知对齐的方式将源图像的颜色转移到目标图像的对应区域。本文提出了一种基于显著滤波器的彩色图像间的多源彩色迁移的方法。采用尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)算法在图像库中进行图像检索，找到合适的两幅源图像。随后，通过显著滤波器得到的显著图，将输入图像分割为前景区域和背景区域。最后，使用加权颜色迁移算法找到最佳区域匹配对，达到基于显著滤波器的多源颜色迁移的效果。

发明内容

本发明的技术方案是：一种基于显著滤波器的多源彩色图像颜色迁移方法，所述方法包括如下步骤：

S1.先提取图像特征，再进行特征间的匹配，获取与形状图像相似度较高的两幅形状图像。将SIFT特征提取过程分为两个过程：先离线提取特征并储存，然后在线快速检索。详细过程如下：前者先提取了图像的SIFT特征并存储到数据库中，为后来的图像检索过程提供备用的检索数据。离线过程完成后，接着对目标检索图像进行SIFT特征提取，与之前离线完成的数据库进行特征匹配，完成在线检索过程。最后，统计图像匹配的点数，匹配的数目越多就证明从数据库中找到的图像与形状图像越相似。

S2.对步骤S1得到的颜色图像和给定的形状图像进行超像素分割。将图像从RGB颜色空间转换到CIE-lαβ颜色空间，对应每个像素的(l,α,β)颜色值和(x,y)坐标组成一个5维向量V[l,α,β,x,y]，两个像素的相似性即可由它们的向量距离来度量，距离越大，相似性越小。

算法首先生成M个种子点，然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素，将他们归为与该种子点一类，直到所有像素点都归类完毕。然后计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛。

S3.对步骤S2得到的颜色图像和形状图像进行亮度重映射。在区域匹配过程中，源图像和目标图像各像素点的亮度分布差别很大的情况往往会对匹配结果造成较大的影响，因此在匹配之前，需要先对每张颜色图像的l通道实施亮度重映射，公式如下：

式中和为源图像s(k)中l通道的均值和标准差；和为目标图像l通道的均值和方差。为l_k新的匹配亮度值。

S4.挑选颜色图像和形状图像最匹配的区域对。利用显著滤波器将目标图像及源图像分割成前景和背景。高显著值的区域称为前景，低显著值的区域为背景。此外，通过设置输入图像的分割阈值为对应显著图均值的两倍，将图像分解成由其平均颜色表示的紧凑，感知均匀的元素。通过计算颜色图像区域s_i(k)，i＝1,2,...,M的均值矢量和形状图像区域t_j，j＝1,2,...,M的颜色均值矢量之间的欧式距离作为依据进行判断，距离最小的两个区域即为最佳匹配区域对。颜色图像和形状图像区域的颜色均值之间的距离计算公式如下：

由上式，可以决定最匹配的区域对(t_j,s_i)，在t_j的k个候选区之间si是相似的源区域，描述如下：

(t_j,s_i)←min({f(t_j,s_i(k))|0＜k≤K≤M})

通过收集s_i中的像素，我们能得到一个复合的源图像S。

S5.将每个颜色图像区域的颜色迁移到对应匹配的形状图像区域中，具体采用如下算式计算彩色图像αβ通道的变换值：

式中α_t和β_t分别是目标图像α,β通道的像素点；和分别是目标图像第j块区域的α,β通道的均值。和分别是颜色图像第i块区域的α,β通道的均值；和分别是目标图像第j块区域的α,β通道的标准方差；和分别是颜色图像第i块区域的α,β通道的标准方差。

具体采用如下算式计算彩色图像l通道的转换值：

将各区域颜色迁移结果图像合成为完整的图像，再将合成的图像从lαβ空间转换回RGB颜色空间。

与现有技术相比，本发明具有如下的优点和有益效果：

1、设计了一种对彩色图像进行颜色迁移的新方法，该方法处理效果较好，实现速度较快；

2、利用欧式距离实现两幅图像之间映射，最后使用均值和标准方差的线性加权组合的方法完成颜色迁移合成。

3、本文方法生成的结果虽依赖于颜色图像，但是对颜色分布信息不敏感，可以通过调整前景背景的比例系数来生成一系列结果图像序列。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图对本发明具体实施步骤作进一步详细的说明。

本发明设计了基于显著滤波器的多源彩色图像迁移方法，该方法结合了数字图像处理理论知识，弥补了单张颜色图像提供的色彩有限的缺陷，能更有效地实现彩色图像间的颜色迁移。具体而言，本发明包含以下步骤：

S1.先提取图像特征，再进行特征间的匹配，获取与形状图像相似度较高的两幅形状图像。将SIFT特征提取过程分为两个过程：先离线提取特征并储存，然后在线快速检索。详细过程如下：前者先提取了图像的SIFT特征并存储到数据库中，为后来的图像检索过程提供备用的检索数据。离线过程完成后，接着对目标检索图像进行SIFT特征提取，与之前离线完成的数据库进行特征匹配，完成在线检索过程。最后，统计图像匹配的点数，匹配的数目越多就证明从数据库中找到的图像与形状图像越相似。

S2.对步骤S1得到的颜色图像和给定的形状图像进行超像素分割。将图像从RGB颜色空间转换到CIE-lαβ颜色空间，对应每个像素的(l,α,β)颜色值和(x,y)坐标组成一个5维向量V[l,α,β,x,y]，两个像素的相似性即可由它们的向量距离来度量，距离越大，相似性越小。

算法首先生成M个种子点，然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素，将他们归为与该种子点一类，直到所有像素点都归类完毕。然后计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛。

S3.对步骤S2得到的颜色图像和形状图像进行亮度重映射。在区域匹配过程中，源图像和目标图像各像素点的亮度分布差别很大的情况往往会对匹配结果造成较大的影响，因此在匹配之前，需要先对每张颜色图像的l通道实施亮度重映射，公式如下：

式中和为源图像s(k)中l通道的均值和标准差；和为目标图像l通道的均值和方差。为l_s新的匹配亮度值。

S4.挑选颜色图像和形状图像最匹配的区域对。利用显著滤波器将目标图像及源图像分割成前景和背景。高显著值的区域称为前景，低显著值的区域为背景。此外，通过设置输入图像的分割阈值为对应显著图均值的两倍，将图像分解成由其平均颜色表示的紧凑，感知均匀的元素。通过计算颜色图像区域s_i(k)，i＝1,2,...,M的均值矢量和形状图像区域t_j，j＝1,2,...,M的颜色均值矢量之间的欧式距离作为依据进行判断，距离最小的两个区域即为最佳匹配区域对。颜色图像和形状图像区域的颜色均值之间的距离计算公式如下：

由上式，可以决定最匹配的区域对(t_j,s_i)，在t_j的k个候选区之间s_i是相似的源区域，描述如下：

(t_j,s_i)←min({f(t_j,s_i(k))|0＜k≤K≤M})

通过收集s_i中的像素，我们能得到一个复合的源图像S。

S5.将每个颜色图像区域的颜色迁移到对应匹配的形状图像区域中，具体采用如下算式计算彩色图像αβ通道的变换值：

式中α_t和β_t分别是目标图像α,β通道的像素点；和分别是目标图像第j块区域的α,β通道的均值。和分别是颜色图像第i块区域的α,β通道的均值；和分别是目标图像第j块区域的α,β通道的标准方差；和分别是颜色图像第i块区域的α,β通道的标准方差。

具体采用如下算式计算彩色图像l通道的转换值：

将各区域颜色迁移结果图像合成为完整的图像，再将合成的图像从lαβ空间转换回RGB颜色空间。

对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此本领域的技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

附图说明

本发明方法的方法流程图。

Claims (4)

1.一种基于显著滤波器的多源彩色图像颜色迁移方法，其特征在于，所述方法包括步骤：

S1.先提取图像特征，再进行特征间的匹配，获取与形状图像相似度较高的两幅形状图像。将SIFT特征提取过程分为两个过程：先离线提取特征并储存，然后在线快速检索。详细过程如下：前者先提取了图像的SIFT特征并存储到数据库中，为后来的图像检索过程提供备用的检索数据。离线过程完成后，接着对目标检索图像进行SIFT特征提取，与之前离线完成的数据库进行特征匹配，完成在线检索过程。最后，统计图像匹配的点数，匹配的数目越多就证明从数据库中找到的图像与形状图像越相似。

S2.对步骤S1得到的颜色图像和给定的形状图像进行超像素分割。将图像从RGB颜色空间转换到CIE-lαβ颜色空间，对应每个像素的(l,α,β)颜色值和(x,y)坐标组成一个5维向量V[l,α,β,x,y]，两个像素的相似性即可由它们的向量距离来度量，距离越大，相似性越小。

算法首先生成M个种子点，然后在每个种子点的周围空间里搜索距离该种子点最近的若干像素，将他们归为与该种子点一类，直到所有像素点都归类完毕。然后计算这K个超像素里所有像素点的平均向量值，重新得到K个聚类中心，然后再以这K个中心去搜索其周围与其最为相似的若干像素，所有像素都归类完后重新得到K个超像素，更新聚类中心，再次迭代，如此反复直到收敛。

S3.对步骤S2得到的颜色图像和形状图像进行亮度重映射。在区域匹配过程中，源图像和目标图像各像素点的亮度分布差别很大的情况往往会对匹配结果造成较大的影响，因此在匹配之前，需要先对每张颜色图像的l通道实施亮度重映射，公式如下：

式中和为源图像s(k)中l通道的均值和标准差；和为目标图像l通道的均值和方差。为l_s新的匹配亮度值。

S4.挑选颜色图像和形状图像最匹配的区域对。利用显著滤波器将目标图像及源图像分割成前景和背景。高显著值的区域称为前景，低显著值的区域为背景。此外，通过设置输入图像的分割阈值为对应显著图均值的两倍，将图像分解成由其平均颜色表示的紧凑，感知均匀的元素。通过计算颜色图像区域s_i(k)，i＝1,2,...,M的均值矢量和形状图像区域t_j，j＝1,2,...,M的颜色均值矢量之间的欧式距离作为依据进行判断，距离最小的两个区域即为最佳匹配区域对。颜色图像和形状图像区域的颜色均值之间的距离计算公式如下：

由上式，可以决定最匹配的区域对(t_j,s_i)，在t_j的k个候选区之间s_i是相似的源区域，描述如下：

(t_j,s_i)←min({f(t_j,s_i(k))|0＜k≤K≤M})

通过收集s_i中的像素，我们能得到一个复合的源图像S。

S5.将每个颜色图像区域的颜色迁移到对应匹配的形状图像区域中，具体采用如下算式计算彩色图像αβ通道的变换值：

式中α_t和β_t分别是目标图像α,β通道的像素点；和分别是目标图像第j块区域的α,β通道的均值。和分别是颜色图像第i块区域的α,β通道的均值；和分别是目标图像第j块区域的α,β通道的标准方差；和分别是颜色图像第i块区域的α,β通道的标准方差。

具体采用如下算式计算彩色图像l通道的转换值：

将各区域颜色迁移结果图像合成为完整的图像，再将合成的图像从lαβ空间转换回RGB颜色空间。

2.根据权利要求1所述的基于显著滤波器的多源彩色图像颜色迁移方法，其特征在于，在步骤4中利用min({f(t_j,s_i(k))|0＜k≤K≤M})获取最匹配的区域对(t_j,s_i)，用欧式距离作为依据进行判断，距离最小的两个区域即为最佳匹配区域对，具体为采用如下公式计算d_ij：

3.根据权利要求2所述的基于显著滤波器的多源彩色图像颜色迁移方法，其特征在于，在步骤5，具体采用如下算式计算彩色图像lαβ通道的变换值：

式中α_t和β_t分别是目标图像α,β通道的像素点；和分别是目标图像第j块区域的α,β通道的均值。和分别是颜色图像第i块区域的α,β通道的均值；和分别是目标图像第j块区域的α,β通道的标准方差；和分别是颜色图像第i块区域的α,β通道的标准方差。

4.根据权利要求1所述的方法，新提出的基于显著滤波器的多源彩色图像颜色迁移方法，可通过调节前景背景的比例系数生成一系列的结果图像，从中挑选出最理想的结果图像。