CN104794690A - 基于sift匹配的立体图像彩色转灰度校正方法 - Google Patents

Abstract

本发明公开了基于SIFT匹配的立体图像彩色转灰度校正方法，包括以下步骤：步骤一：输入彩色图像，为左右视图分别定义一个彩色转灰度的全局映射函数；步骤二：基于SIFT特征点的匹配算法，首先检测出左右视图中的特征点，然后将两个视图之间的特征点进行匹配；步骤三：定义特征保留项，亮度一致项以及规范化项并根据定义的特征保留项，亮度一致项以及规范化项构建能量方程；步骤四：使用标准线性求解器，在线性时间内求出该能量方程的最优解，该最优解为步骤一中所定义的全局映射函数的未知参数，输出灰色图像。将彩色转灰度问题转化为能量优化问题，合理的定义能量方程，从而能够在线性时间内求得最优解。

Description

基于SIFT匹配的立体图像彩色转灰度校正方法

技术领域

本发明涉及一种针对立体图像的彩色转灰度的方法，具体涉及基于SIFT匹配的立体图像彩色转灰度校正方法。

背景技术

彩色转灰度是图像处理中常用的图像处理技术，同时也是灰度立体图合成中的重要预处理步骤。传统的彩色转灰度方法将色彩的亮度值作为灰度值，这种方法会将具有相同的亮度的不同颜色转化为相同的灰度，进而导致图像细节的丢失。针对图像细节丢失的问题，学者们提出了很多先进的彩色转灰度技术，然而这些算法只是针对普通二维图像设计的，如果将这些方法分别应用于立体图像的左右两个视图，可能会导致左右视图之间对应点亮度不一致，从而引发视网膜竞争，影响立体视觉的体验。

彩色转灰度技术是一项非常热门的图像处理技术，出于经济、技术等原因，许多打印设备和显示设备仍然使用灰度图的形式显示图像，同时彩色转灰度也是合成灰度立体图重要的预处理步骤。目前普遍应用于合成灰度立体图像的彩色转灰度方法是，线性的将图像的亮度值映射到灰度值，这种方法虽然简单高效，但是等亮度的不同颜色会被映射到同一种灰度值，进而可能导致图像细节的丢失。如图2a-图2b所示，因为粉色球3与绿色桌面具有相同的亮度，所以使用传统彩色转灰度算法后，粉色球与绿色桌面被赋予了相同的灰度值，粉色色球的轮廓变得模糊。

针对彩色转灰度过程中细节丢失的问题，近些年来人们提出了许多先进的彩色转灰度技术。根据映射方式的不同，这些方法可以分为两类，局部映射和全局映射。

然而无论是局部映射还是全局映射，目前的方法都是针对单张图设计的，如果直接使用这些方法对立体图中的两个视图分别进行优化，虽然能够很好的保留特征信息，但是会导致两张图之间对应点亮度不一致，从而引发视网膜竞争，影响立体效果。如图2c-图2d所示，蓝色12号球在输入的彩色视图中具有相同的颜色，然而本申请使用Kim[kim]方法对左右视图分别进行彩色转灰度映射，结果12号球在右视图中被赋予了不同的亮度值。

发明内容

为解决现有技术存在的不足，本发明公开了基于SIFT匹配的立体图像彩色转灰度校正方法，彩色转灰度是灰度立体图合成过程中的重要预处理步骤，本申请针对使用传统彩色转灰度算法合成的灰度立体图往往受到“区域合并问题”(细节丢失)以及“视网膜竞争问题”(左右亮度不一致)的困扰，提出的方法是为左右视图分别定义一个彩色转灰度全局映射函数，然后通过最小化输入彩色图像与输出灰度图像之间的梯度差异来保持原始图像的细节特征从而避免区域合并，同时通过规范立体匹配对应点的灰度值，使其在转化后具有相似的灰度来避免视网膜竞争。实验结果证明，使用该方法的转化后合成的灰度立图像能够较好的保持原始图像的细节特征并保证左右视图之间亮度的一致性。除此之外，当输入源图像左右视图亮度差异较大时，该算法在转化过程中可以有效的矫正左右视图间的亮度差异。

为实现上述目的，本发明的具体方案如下：

基于SIFT匹配的立体图像彩色转灰度校正方法，包括以下步骤：

步骤一：输入彩色图像，为左右视图分别定义一个彩色转灰度的全局映射函数；

步骤二：基于SIFT特征点的匹配算法，首先检测出左右视图中的特征点，然后将两个视图之间的特征点进行匹配；若特征点分布不够理想，可手工点选指定特征点；

步骤三：定义特征保留项，亮度一致项以及规范化项并根据定义的特征保留项，亮度一致项以及规范化项构建能量方程；

步骤四：使用标准线性求解器，在线性时间内求出该能量方程的最优解，该最优解为步骤一中所定义的全局映射函数的未知参数，输出灰色图像。

所述彩色转灰度的全局映射函数为：

g(x,y)＝αL+L₀+f(θ)

其中，α是用于放缩原始颜色亮度的亮度放缩系数，L₀是用于提高和减少亮度值的平移量，g(x，y)是图像在像素点(x，y)处的灰度值，L是像素点(x，y)的颜色在CIE LCH空间中的亮度，θ是像素点(x，y)的颜色在CIE LCH空间中的色调角值，f(θ)是基于色调角的亮度加成函数。

函数f(θ)作为一个三角多项式模型被定义为:

$f\left(\mathrm{\θ}\right)={\mathrm{\Σ}}_{k=1}^n(A_k\cos \left(\mathrm{k\θ}\right)+B_k\sin \left(\mathrm{k\θ}\right))+A_0$

其中，n是单幅视图中的像素个数为已知参数，以f(θ)中的A_k,B_k,以及A₀是需要优化计算求解的未知参数，通过优化这些未知参数，彩色转灰度过程中原始图像的细节特征得到了保持，k为从1到n的所有整数。

所述图像的特征保留项定义如下：

$E_d={\mathrm{\Σ}}_{I_i\∈(I_1,I_r)}{\mathrm{\Σ}}_{(x,y)\∈I_i}{\left|\right|\▿g_i(x,y)-G_i(x,y)\left|\right|}^2$

其中，{I_l,I_r}是立体图像的左视图和右视图，▽g_i(x,y)表示灰度图像I_i在(x,y)处的梯度，G_i(x,y)表示与之对应的彩色图像在(x,y)处的梯度值。

▽g_i(x,y)其定义如下，为了描述的简洁性，在后面的描述中将省略代表左右视图的下标i：

▽g(x,y)＝(g(x+1,y)-g(x-1,y),g(x,y+1)-g(x,y-1))

g(x+1，y)是图像在像素点(x+1，y)处的灰度值,g(x-1，y)是图像在像素点(x-1，y)处的灰度值,g(x，y+1)是图像在像素点(x，y+1)处的灰度值,g(x，y-1)是图像在像素点(x，y-1)处的灰度值。

G_i(x,y)表示彩色图像I_i在(x,y)处的梯度值，为了描述的简洁性，在后面的描述中将省略代表左右视图的下标i，其计算公式为：

$G(x,y)=\left[\begin{array}{c}{G}^x(x,y)\\ G^y(x,y)\end{array}\right]\left[\begin{array}{c}d(c(x+1,y)-c(x-1,y))\\ d(c(x,y+1)-c(x,y-1))\end{array}\right]$

其中d(c(x+1,y),c(x-1,y))表示c(x+1,y)与c(x-1,y)之间的颜色差异，本专利采用L_a_b空间中的归一化距离的方式将颜色差异定义如下：

$d(c_j,c_k)=\mathrm{sgn}(c_j,c_k)\sqrt{\mathrm{\Δ}{L}_{\mathrm{jk}}^2+{\left(\mathrm{\σ}\frac{\sqrt{\mathrm{\Δ}{a}_{\mathrm{jk}}^2+\mathrm{\Δ}{b}_{\mathrm{jk}}^2}}{R}\right)}^2}$

其中L，a，b分别为CIE L_a_b空间中表示一种颜色的三个元素，ΔL_jk＝L_j-L_k,Δa_jk和Δb_jk的定义与ΔL_jk相似，R是一个用来均衡化亮度差异L_jk与色彩差异的常数，在本专利的所有实验中R默认为σ用于控制色彩差异对最终颜色差异d(c_j,c_k)的影响。sgn(c_j,c_k)是控制颜色和相对次序的符号函数。为了从感知上更加准确的描述颜色的顺序，最终的符号由具有优先级的三种符号策略计算得出。因为H-K差异提供了比CIE L更准确的亮度估计，本申请首先根据Helmholtz-Kohlrausch(H-K)亮度预测公式计算与之间的感知亮度差异，用两种颜色的H-K的差值作为亮度的差异。当与具有相同的感知亮度，且ΔL不为0时，本申请采用ΔL作为颜色差异的符号。如果ΔL仍然为0，那么将ΔL³+Δa³+Δb³的符号作为最终的结果。

视图亮度一致性是通过规范左右视图转化后的灰度值，使其立体匹配对应点具有相同的灰度来达到的，亮度一致能量项Es：

$E_s=\frac{n_t}{n_f}{\mathrm{\Σ}}_{i=1}^{n_f}\frac{{(g_1\left(p_{1i}\right)-g_r\left(p_{\mathrm{ri}}\right))}^2}{{\left(\right||c_{1i}-c_{\mathrm{ri}}|\left|\right)}^2+\mathrm{\δ}}$

其中，p_li和p_ri分别是左右视图中的相关对应点，g_l(p_li)表示左视图在p_li点的灰度值，g_r(p_ri)表示右视图在p_ri点的灰度值，||c_li-c_ri||代表对应点之间的颜色差异，使用规范化对应点之间的亮度差，使得计算更加鲁棒。δ是一个小的常数，在本专利中本申请将它设为0.00001，用来避免除数为0。因为不同图片的对应点个数可能会不同，所以在E_s的定义中加入图像像素数n_t与特征点的个数n_f的比值。

针对特征点分布不均匀，上述亮度一致能量项可能无法保证没有特征点区域视图亮度的一致性，所以仅仅使用SIFT匹配点无法矫正这个区域在左右视图之间亮度的差异，为了弥补这个不足，对亮度一致能量项E_s进行扩展如下，使其能够支持手动指定的对应点；

$E_s=\frac{n_t}{n_f}{\mathrm{\Σ}}_{i=1}^{n_f}\frac{{(g_1\left(p_{1i}\right)-g_r\left(p_{\mathrm{ri}}\right))}^2}{{\left(\right||c_{1i}-c_{\mathrm{ri}}|\left|\right)}^2+\mathrm{\δ}}+\frac{n_t}{n_s}{\mathrm{\Σ}}_{j=1}^{n_s}\frac{{(g_1\left(p_{1j}\right)-g_r\left(p_{\mathrm{rj}}\right))}^2}{{\left(\right||c_{1j}-c_{\mathrm{rj}}|\left|\right)}^2+\mathrm{\δ}}$

其中，p_lj和p_rj分别是左右视图中的通过手工指定得到的相关对应点。

为了防止对原始亮度的过度修改，利用一个规范化项来限制基于色度角的亮度加成，亮度放缩以及亮度平移对原始亮度的改变：

$\begin{array}{c}{E}_r=n_t({\mathrm{\Σ}}_{k=1}^n({A_{1k}}^2+{B_{1k}}^2+{A_{\mathrm{rk}}}^2+{B_{\mathrm{rk}}}^2)+{A_{10}}^2+{A_{r0}}^2\\ +\mathrm{\κ}({L_{10}}^2+{L_{r0}}^2)+{\mathrm{\τ}}_1{({\mathrm{\α}}_1-1)}^2+{\mathrm{\τ}}_r{({\mathrm{\α}}_r-1)}^2)\end{array}$

其中L_l0,L_r0分别是控制左图和右图亮度平移的参数，α_l,α_r分别是分别控制左图和右图亮度放缩的参数，A_lk,B_lk,A_rk,以及B_rk是在基于色度角的亮度加成改变函数中定义的参数，以上参数同是也是在优化问题中需要求出的变量，n_t是输入图像中的像素个数，κ，τ_l，τ_r是用户自定义的参数，κ的默认值为0.01，τ_l和τ_r取不同的值，给整体亮度较大的图片所对应的τ赋以很大的值来固定此图片的放缩系数，在本专利中将其赋值为10000，而另一幅图像的τ赋值为1。

通过整合特征保留项，亮度一致项以及最后的规范化项，得到了最终的能量方程：

E＝E_d+λE_s+γE_r

其中λ和γ为用户自定义的参数，他们的默认值分别为1000和1.这个优化问题仅仅涉及到4n+6个参数，其中n是在基于色度角的颜色改变函数中定义的。对n赋予了不同的值进行测试，综合考虑性能和效果，n＝4是一个较好的选择。此时若再增加n，转化的效果不会显著的改善，相反运行的时间将会加长。通过使用标准线性求解器，可以在线性时间内求出该优化问题的最优解。

本申请针对高质量灰度立体图的合成设计了一种彩色转灰度算法，该算法不仅能够保证图像细节不丢失还能够保持两个视图亮度的一致性。当输入源图像左右视图亮度差异较大时，该算法在彩色转灰度过程中可以有效的矫正左右视图间的亮度差异，进而避免视网膜竞争。

将彩色转灰度问题以及减少重影问题转化为能量优化问题，合理的定义能量方程，从而能够在线性时间内求得最优解。

同时支持基于SIFT特征点的匹配和人工指定对应匹配的方法，在充分保证立体匹配率的同时，可以主观的矫正指定点的亮度差异。

本发明的有益效果：

1)针对高质量灰度立体图的合成设计了一种彩色转灰度算法，该算法不仅能够保证图像细节不丢失还能够保持两个视图亮度的一致性。当输入源图像左右视图亮度差异较大时，该算法在彩色转灰度过程中可以有效的矫正左右视图间的亮度差异，进而避免视网膜竞争。

2)将彩色转灰度问题转化为能量优化问题，合理的定义能量方程，从而能够在线性时间内求得最优解。

3)同时支持基于SIFT特征点的匹配和人工指定对应匹配的方法，在充分保证立体匹配率的同时，可以主观的矫正指定点的亮度差异。

附图说明

图1本发明的流程图；

图2a-图2b标准的彩色转灰度算法(photoshop算法)对应的左右视图；

图2c-图2d改进的彩色转灰度算法[kim]对应的左右视图；

图2e-图2f利用本专利的算法所对应的左右视图；

图3a-图3b将Kim[kim]算法分别直接用到左右两个视图产生的结果；

图3c-图3d将相同的映射同时应用到左右视图所产生的结果；

图3e-图3f利用本专利的算法所对应的左右视图。

具体实施方式：

下面结合附图对本发明进行详细说明：

传统的彩色转灰度算法将色彩的亮度值作为灰度值，这种方法会将具有相同的亮度的不同颜色转化为相同的灰度，进而导致图像细节的丢失。针对图像细节丢失的问题，学者们提出了很多先进的彩色转灰度算法，然而这些算法只是针对单张图片设计的，如果将这些方法分别应用于立体图像的左右两个视图，可能会导致左右视图之间对应点亮度不一致，从而引发视网膜竞争，影响立体视觉的体验。本申请主要介绍了针对立体图像设计的彩色转灰度方法，这种方法分别为左右两个视图寻找到一个全局映射函数。通过优化，使得这对映射既能够保证图像细节特征不丢失又能够保证左右视图之间亮度的一致性。本申请首先介绍全局映射函数的设计，然后描述本专利中所使用的能量优化方程的构造过程，最后通过对比试验证明方法的优越性。图2e-图2f利用本专利的算法所对应的左右视图；图3e-图3f利用本专利的算法所对应的左右视图。

Kim等人在2009年提出了一种由LCH彩色空间到灰度空间的非线性映射函数，在他们的方法中，映射函数被定义如下

g(x,y)＝L₀+f(θ)   (2-1)

其中g(x，y)是图像在像素点(x，y)处的灰度值。L,C,andθ分别是像素点(x，y)的颜色在CIE LCH空间中的亮度,色品,色调角值。f(θ)是基于色调角的亮度加成函数，因为色调角的周期为2π，所以函数f(θ)作为一个三角多项式模型被定义为:

$f\left(\mathrm{\θ}\right)={\mathrm{\Σ}}_{k=1}^n(A_k\cos \left(\mathrm{k\θ}\right)+B_k\sin \left(\mathrm{k\θ}\right))+A_0---(2-2)$

其中A_k,B_k,以及A₀是未知参数。通过优化这些未参数，彩色转灰度过程中原始图像的细节特征得到了保持。

然而将这种映射方法扩展到立体图像上并不是一项简单的工作，对于立体图像的彩色转灰度过程，映射函数在满足上述三条基本原则的基础上还应保持左右视图对应点的亮度一致性。

在国际立体视觉联合会的定义中，视网膜竞争指双目同时看到的图像不能相互兼容。当拥有适当视差的两幅相似的图片被分别映射到两只眼睛时，他们会被大脑合成为一幅图像并且产生立体感。然而，如果两只眼睛看到的相关区域差异较大的话，大脑将无法将其合成为一幅立体图像。这种情况下，左右眼看到的图像会相互竞争以取得视觉主导权，观察者会随机看到左视图或者右视图从而导致图像闪烁引起视觉疲劳。按照两幅图片差异的类型，视网膜竞争可以分为轮廓竞争，颜色竞争以及亮度竞争三种。为了避免视网膜亮度竞争，在彩色转灰度的过程中左右视图中的对应点应当被转化为相似的灰度。

如果将Kim等人提出的方法分别独立的应用到左右两幅视图中，通过优化得到的两个全局映射可以实现在各自的图像中较好的保留图像细节，然而左右两个视图虽然十分相似，但是图像中各个物体的在相对位置以及遮挡等方面仍存在一些差别，这些差别在两幅图像各自的优化过程中可能会产生一些影响，从而导致对应点亮度不一致。如图3a-图3b所示，在左图中紫色瓶子的灰度值明显大于绿色瓶子，而在右图中绿色瓶子的灰度值明显大于紫色瓶子。

一种比较简单的解决方式是，为左右两个视图定义统一的全局映射，然后将两张图片看作一张图片进行转化。当输入的左右视图原始亮度一致时，这种方法可以保持转化后灰度图像对应点亮度一致。然而某些时候由于拍摄设备的参数设置以及环境等因素，输入的左右视图本身可能会存在很大的亮度差异，这时如果采用同一种映射转化左右视图，仍无法保持对应点亮度的一致性，如图3c-图3d所示。为了解决上述问题，本专利所提出的方法为立体图像的左右两个视图分别定义了一个全局映射函数，通过优化左右视图的映射函数来保持图像细节以及对应点之间亮度的一致性。

如图3a-图3b所示，是将Kim[kim]算法分别直接用到左右两个视图产生的结果，如图所示中间的瓶子在左右两个视图中具有明显不同的灰度值。如图3c-图3d所示是将相同的映射同时应用到左右视图所产生的结果，因为输入图像的原始亮度本身就不一致，所以转化后的结果左视图比右视图亮很多。本申请的算法为左右视图分别寻找一个全局映射，通过优化可以在保留图像细节特征的同时，保持立体图像左右视图间亮度的一致性。

为了使彩色转灰度的映射更好的满足合成灰度立体图的要求，特别是在左右视图整体亮度存在差异时通过转换能够较好的减少立体匹配点之间的亮度差异，本申请将Kim等人的映射函数做了改进：

g(x,y)＝αL+L₀+f(θ)   (2-3)

其中α是用于放缩原始颜色亮度的亮度放缩系数，L₀是用于提高和减少亮度值的平移量，f(θ)的定义如公式(2-2)所示，α，L₀连同f(θ)中的A_k,B_k,以及A₀是需要优化计算的参数。

为了保证彩色图像转化成灰度图像后，图像特征仍可以被清楚的判别，彩色图像中每一个像素的局部特征需要在相应的灰度图中重现。本专利使用图像的梯度值来表示图像的局部特征并且通过优化映射函数中的参数最小化彩色图与灰度图之间的梯度差异。为了在转化过程中尽可能的保持图像的细节特征，本申请定义了包含未知参数的f(θ)来使得灰度图中相邻像素点之间的差异与原始彩色图像中对应彩色像素点的归一化距离尽可能的相似。因此，对于一幅特定的图像，全局映射会根据这幅图像的颜色分布，自适应的改变参数来满足特征保留的要求。

为了在彩色转灰度的过程中尽可能的保留图像的细节特征同时保持左右视图之间对应点亮度的一致性，本专利将彩色转灰度问题转化为一个能量优化问题。首先定义特征保留项，通过优化映射函数中的参数来最小化彩色图与灰度图之间的梯度差异。然后采用立体匹配技术找到左右视图的对应点，通过最小化左右视图对应点之间的亮度差异来保证左右视图的亮度一致性。当输入左右视图本身的亮度不一致时，通过优化方程的转化可以使得对应点亮度的差异在生成的灰度图中得到改善。

在本专利提出的方法中，图像的特征是通过最小化输入彩色图像与输出灰度图像之间的梯度差异来实现的，因此，将图像的特征保留项定义如下：

$E_d={\mathrm{\Σ}}_{I_i\∈(I_1,I_r)}{\mathrm{\Σ}}_{(x,y)\∈I_i}{\left|\right|\▿g_i(x,y)-G_i(x,y)\left|\right|}^2---(2-4)$

其中，{I_l,I_r}是立体图像的左视图和右视图，▽g_i(x,y)表示图像I_i灰度图的梯度，其定义如下(为了描述的简洁性，在后面的描述中将省略代表左右视图的下标i)：

▽g(x,y)＝(g(x+1,y)-g(x-1,y),g(x,y+1)-g(x,y-1))   (2-5)

G_i(x,y)表示彩色图像I_i在(x,y)处的梯度值，其计算公式为：

$G(x,y)=\left[\begin{array}{c}{G}^x(x,y)\\ G^y(x,y)\end{array}\right]\left[\begin{array}{c}d(c(x+1,y)-c(x-1,y))\\ d(c(x,y+1)-c(x,y-1))\end{array}\right]---(2-6)$

其中d(c(x+1,y),c(x-1,y))表示c(x+1,y)与c(x-1,y)之间的颜色差异，本专利采用L_a_b空间中的归一化距离的方式将颜色差异定义如下：

$d(c_j,c_k)=\mathrm{sgn}(c_j,c_k)\sqrt{\mathrm{\Δ}{L}_{\mathrm{jk}}^2+{\left(\mathrm{\σ}\frac{\sqrt{\mathrm{\Δ}{a}_{\mathrm{jk}}^2+\mathrm{\Δ}{b}_{\mathrm{jk}}^2}}{R}\right)}^2}---(2-7)$

其中L，a，b分别为CIE L_a_b空间中表示一种颜色的三个元素，ΔL_jk＝L_j-L_k,Δa_jk和Δb_jk的定义与ΔL_jk相似，R是一个用来均衡化亮度差异L_jk与色彩差异的常数，在本专利的所有实验中R默认为σ用于控制色彩差异对最终颜色差异d(c_j,c_k)的影响。sgn(c_j,c_k)是控制颜色和相对次序的符号函数。为了从感知上更加准确的描述颜色的顺序，最终的符号由具有优先级的三种符号策略计算得出。因为H-K差异提供了比CIE L更准确的亮度估计，本申请首先根据Helmholtz-Kohlrausch(H-K)亮度预测公式计算与之间的感知亮度差异，用两种颜色的H-K的差值作为亮度的差异。当与具有相同的感知亮度，且ΔL不为0时，本申请采用ΔL作为颜色差异的符号。如果ΔL仍然为0，那么本申请将ΔL³+Δa³+Δb³的符号作为最终的结果。

视图亮度一致性是通过规范左右视图转化后的灰度值，使其立体匹配对应点具有相同的灰度来达到的，其定义如下：

$E_s=\frac{n_t}{n_f}{\mathrm{\Σ}}_{i=1}^{n_f}\frac{{(g_1\left(p_{1i}\right)-g_r\left(p_{\mathrm{ri}}\right))}^2}{{\left(\right||c_{1i}-c_{\mathrm{ri}}|\left|\right)}^2+\mathrm{\δ}}---(2-8)$

其中，p_li和p_ri分别是左右视图中的相关对应点，本申请使用对应点之间的颜色差异||c_li-c_ri||来规范化对应点之间的亮度差，使得计算更加鲁棒。δ是一个小的常数，用来避免除数为0。因为不同图片的对应点个数可能会不同，所以在E_s的定义中加入图像像素数n_t与特征点的个数n_f的比值。

立体匹配技术可以用于找到左右视图之间的对应关系，立体匹配问题是机器人视觉技术中比较困难的问题之一，其目的是寻找两幅或两幅以上图像中像素点的对应关系。根据匹配生成视差图的疏密，立体匹配算法分为稠密视差匹配算法和的稀疏视差匹配算法。虽然稠密视差匹配算法设法为每一个像素点在另一个视图中找到一个与之相对应的点，但是该算法在匹配的过程中不可避免的会产生大量的错误匹配，而错误的匹配往往会给视图亮度一致性的计算带来严重的影响。因此，采用的是稀疏视差匹配算法。

采用的稀疏视差匹配算法是基于SIFT特征点的匹配算法。该算法首先检测出左右视图中的特征点，然后将两个视图之间的特征点进行匹配。一个视图中特征点的候选匹配是从另一个视图中的最近邻接点中选出的。为了提高匹配的正确率，本申请进一步使用了图像轮廓上的几何约束来消除错误的匹配。

然而，某些特殊情形下由于特征点分布不均匀，上述算法可能无法保证没有特征点区域视图亮度的一致性，所以仅仅使用SIFT匹配点无法矫正这个区域在左右视图之间亮度的差异。为了弥补这个不足，本申请对亮度一致能量项E_s进行扩展如下，使其能够支持手动指定的对应点，

$E_s=\frac{n_t}{n_f}{\mathrm{\Σ}}_{i=1}^{n_f}\frac{{(g_1\left(p_{1i}\right)-g_r\left(p_{\mathrm{ri}}\right))}^2}{{\left(\right||c_{1i}-c_{\mathrm{ri}}|\left|\right)}^2+\mathrm{\δ}}+\frac{n_t}{n_s}{\mathrm{\Σ}}_{j=1}^{n_s}\frac{{(g_1\left(p_{1j}\right)-g_r\left(p_{\mathrm{rj}}\right))}^2}{{\left(\right||c_{1j}-c_{\mathrm{rj}}|\left|\right)}^2+\mathrm{\δ}}$

其中p_li和p_ri分别是左右视图中通过SIFT特征匹配计算出的相关对应点，p_lj和p_rj分别是左右视图中的通过手工指定得到的相关对应点，

为了防止对原始亮度的过度修改，本申请受[kim]启发设计了一个规范化项来限制基于色度角的亮度加成，亮度放缩以及亮度平移对原始亮度的改变。

$\begin{array}{c}{E}_r=n_t({\mathrm{\Σ}}_{k=1}^n({A_{1k}}^2+{B_{1k}}^2+{A_{\mathrm{rk}}}^2+{B_{\mathrm{rk}}}^2)+{A_{10}}^2+{A_{r0}}^2\\ +\mathrm{\κ}({L_{10}}^2+{L_{r0}}^2)+{\mathrm{\τ}}_1{({\mathrm{\α}}_1-1)}^2+{\mathrm{\τ}}_r{({\mathrm{\α}}_r-1)}^2)\end{array}---(2-9)$

其中L_l0,L_r0,α_l,α_r分别是左视图和右视图的控制亮度平移以及放缩原始颜色亮度的亮度放缩系数定义的参数。A_lk,B_lk,A_rk,以及B_rk是左视图和右视图定义的未知参数。以上参数同是也是本申请在优化问题中需要求出的变量。n_t是输入图像中的像素个数，κ，τ_l，τ_r是用户自定义的参数κ的默认值为0.01。通过实验发现为τ_l和τ_r取相同的值很难使算法鲁棒，原因是如果为τ_l和τ_r取相同的值，两幅图片会采取向亮度较暗的方向进行改变从而减少公式2-8中所定义的视图见亮度的不一致。为了解决这个问题，本申请采用固定其中一个视图的放缩系数，然后只放缩另一个视图亮度的方式。在实现过程中，通过给整体亮度较大的图片所对应的τ赋以很大的值来固定此图片的放缩系数，而另一幅图像的τ赋值为1。至此，所有的能量项都已经定义完成，通过整合特征保留项，亮度一致项以及最后的规范化项，得到了最终的能量方程：

E＝E_d+λE_s+γE_r   (2-10)

其中λ和γ为用户自定义的参数，他们的默认值分别为1000和1.这个优化问题仅仅涉及到4n+6个参数，其中n是在基于色度角的颜色改变函数(公式2-2)中定义的。本申请对n赋予了不同的值进行测试，综合考虑性能和效果，n＝4是一个较好的选择。此时若再增加n，转化的效果不会显著的改善，相反运行的时间将会加长。通过使用标准线性求解器，本申请可以在线性时间内求出该优化问题的最优解。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，包括以下步骤：

步骤一：输入彩色图像，为左右视图分别定义一个彩色转灰度的全局映射函数；

步骤二：基于SIFT特征点的匹配算法，首先检测出左右视图中的特征点，然后将两个视图之间的特征点进行匹配；

步骤三：定义特征保留项，亮度一致项以及规范化项并根据定义的特征保留项，亮度一致项以及规范化项构建能量方程；

步骤四：使用标准线性求解器，在线性时间内求出该能量方程的最优解，该最优解为步骤一中所定义的全局映射函数的未知参数，输出灰色图像。

2.如权利要求1所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，所述彩色转灰度的全局映射函数为：

g(x,y)＝αL+L₀+f(θ)

其中，α是用于放缩原始颜色亮度的亮度放缩系数，L₀是用于提高和减少亮度值的平移量，g(x，y)是图像在像素点(x，y)处的灰度值，L是像素点(x，y)的颜色在CIE LCH空间中的亮度，θ是像素点(x，y)的颜色在CIE LCH空间中的色调角值，f(θ)是基于色调角的亮度加成函数。

3.如权利要求2所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，函数f(θ)作为一个三角多项式模型被定义为:

$f\left(\mathrm{\θ}\right)={\mathrm{\Σ}}_{k=1}^n(A_k\cos \left(\mathrm{k\θ}\right)+B_k\sin \left(\mathrm{k\θ}\right))+A_0$

其中，n是用户自定义的参数，以f(θ)中的A_k,B_k,以及A₀是需要优化计算求解的未知参数，通过优化这些未知参数，彩色转灰度过程中原始图像的细节特征得到了保持，k为从1到n的所有整数。

4.如权利要求1所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，所述图像的特征保留项定义如下：

$E_d={\mathrm{\Σ}}_{I_i\∈(I_l,I_r)}{\mathrm{\Σ}}_{(x,y)\∈I_i}{\left|\right|\▿g_i(x,y)-G_i(x,y)\left|\right|}^2$

其中，{I_l,I_r}是立体图像的左视图和右视图，▽g_i(x,y)表示图像I_i灰度图的梯度，G_i(x,y)表示彩色图像I_i在(x,y)处的梯度值。

5.如权利要求4所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，▽g_i(x,y)其定义如下，为了描述的简洁性，将省略代表左右视图的下标i：

▽g(x,y)＝(g(x+1,y)-g(x-1,y),g(x,y+1)-g(x,y-1))

g(x+1，y)是图像在像素点(x+1，y)处的灰度值,g(x-1，y)是图像在像素点(x-1，y)处的灰度值,g(x，y+1)是图像在像素点(x，y+1)处的灰度值,g(x，y-1)是图像在像素点(x，y-1)处的灰度值。

6.如权利要求4所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，G_i(x,y)表示彩色图像I_i在(x,y)处的梯度值，为了描述的简洁性，省略代表左右视图的下标i，其计算公式为：

$G(x,y)=\left[\begin{array}{c}{G}^x(x,y)\\ G^y(x,y)\end{array}\right]=\left[\begin{array}{c}d(c(x+1,y)-c(x-1,y))\\ d(c(x,y+1)-c(x,y-1))\end{array}\right]$

其中d(c(x+1,y),c(x-1,y))表示c(x+1,y)与c(x-1,y)之间的颜色差异，d(c(x,y+1),c(x,y-1))表示c(x,y+1)与c(x,y-1)之间的颜色差异。

7.如权利要求1所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，视图亮度一致性是通过规范左右视图转化后的灰度值，使其立体匹配对应点具有相同的灰度来达到的，亮度一致能量项Es：

$E_s=\frac{n_t}{n_f}{\mathrm{\Σ}}_{i=1}^{n_f}\frac{{(g_l\left(p_{\mathrm{li}}\right)-g_r\left(p_{\mathrm{ri}}\right))}^2}{{\left(\right||c_{\mathrm{li}}-c_{\mathrm{ri}}|\left|\right)}^2+\mathrm{\δ}}$

其中，p_li和p_ri分别是左右视图中的相关对应点，g_l(p_li)表示左视图在p_li点的灰度值，g_r(p_ri)表示右视图在p_ri点的灰度值，||c_li-c_ri||代表对应点之间的颜色差异，δ是一个小的常数，用来避免除数为0，因为不同图片的对应点个数可能会不同，所以在E_s的定义中加入图像像素数n_t与特征点的个数n_f的比值。

8.如权利要求7所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，对亮度一致能量项E_s进行扩展如下，使其能够支持手动指定的对应点；

$E_s=\frac{n_t}{n_f}{\mathrm{\Σ}}_{i=1}^{n_f}\frac{{(g_l\left(p_{\mathrm{li}}\right)-g_r\left(p_{\mathrm{ri}}\right))}^2}{{\left(\right||c_{\mathrm{li}}-c_{\mathrm{ri}}|\left|\right)}^2+\mathrm{\δ}}+\frac{n_t}{n_s}{\mathrm{\Σ}}_{j=1}^{n_s}\frac{{(g_l\left(p_{\mathrm{lj}}\right)-g_r\left(p_{\mathrm{rj}}\right))}^2}{{\left(\right||c_{\mathrm{lj}}-c_{\mathrm{rj}}|\left|\right)}^2+\mathrm{\δ}}$

其中，p_li和p_ri分别是左右视图中的通过手工指定得到的相关对应点，||c_lj-c_rj||代表手工指定的对应点之间的颜色差异。

9.如权利要求8所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，为了防止对原始亮度的过度修改，利用一个规范化项来限制基于色度角的亮度加成，亮度放缩以及亮度平移对原始亮度的改变：

$\begin{array}{c}{E}_r=n_t({\mathrm{\Σ}}_{k=1}^n({A_{\mathrm{lk}}}^2+{B_{\mathrm{lk}}}^2+{A_{\mathrm{rk}}}^2+{B_{\mathrm{rk}}}^2)+{A_{l0}}^2+{A_{r0}}^2\\ +\mathrm{\κ}({L_{l0}}^2+{L_{r0}}^2)+{\mathrm{\τ}}_l{({\mathrm{\α}}_l-1)}^2+{\mathrm{\τ}}_r{({\mathrm{\α}}_r-1)}^2)\end{array}$

其中L_l0,L_r0分别是控制左图和右图亮度平移的参数，α_l,α_r分别是分别控制左图和右图亮度放缩的参数，A_lk,B_lk,A_rk,以及B_rk是在基于色度角的亮度加成改变函数中定义的参数，以上参数同是也是在优化问题中需要求出的变量，n_t是输入图像中的像素个数，κ，τ_l，τ_r是用户自定义的参数。

10.如权利要求1或9所述的基于SIFT匹配的立体图像彩色转灰度校正方法，其特征是，通过整合特征保留项，亮度一致项以及最后的规范化项，得到了最终的能量方程：

E＝E_d+λE_s+γE_r

其中,λ和γ为用户自定义的参数，其中n是在基于色度角的颜色改变函数中定义的,通过使用标准线性求解器，在线性时间内求出该优化问题的最优解。