CN102800111B - 基于颜色协调性的彩色融合图像颜色质量评价方法 - Google Patents

Abstract

本发明涉及一种基于颜色协调性的彩色融合图像颜色质量评价方法，属于图像处理中图像融合技术领域。本发明通过衡量海天、绿色植物这类自然场景融合图像颜色与对应典型类人脑中记忆色的相似度，以及选择城镇建筑物图像的最佳色彩度范围，计算三种典型场景图像色彩与场景内容的协调性；同时在颜色组合协调性模型基础上，将颜色区域面积之和作为加权系数构造图像中不同大小颜色区域组合加权协调性模型。与现有的颜色组合协调性评价模型相比，本发明综合这两方面提出的协调性模型计算结果与人眼主观感受具有较好的一致性，可以有效地对典型场景彩色融合图像颜色协调性进行客观评价。

Description

基于颜色协调性的彩色融合图像颜色质量评价方法

技术领域

本发明涉及一种彩色融合图像颜色质量评价方法，属于图像处理中彩色融合技术领域。

背景技术

近年来，随着多波段图像传感器技术的发展，多波段图像融合算法研究受到人们的普遍重视，其中可见光和红外的彩色图像融合方法充分利用两个波段的成像特点对多传感器灰度图像进行彩色融合，获得更适于人眼观察的假彩色图像。可有效提升目视光电成像***对场景目标的探测、识别能力，减小虚警率和识别错误，在态势感知、目标探测等方面展现出广泛的应用前景，并已有实用的***和装备获得成功的应用。同时，如何评价融合效果，即如何评价融合图像的质量，成为图像融合技术和***设计的重要环节。目前，对彩色融合图像质量的评价尚没有国内外公认的理论，缺乏相应的评价测试方法及装置，缺乏适用于装备生产的融合质量客观评价***，直接影响到对彩色夜视成像***的评价，严重阻碍了彩色夜视***装备的推广应用。

图像质量评价可分为主观评价和客观评价。主观评价由观察者根据主观感受来评价图像的质量，虽然评价结果准确，但是费时费力；客观评价依据模型给出量化指标来衡量图像质量，希望达到与主观评价相一致的评价结果。

目前关于融合图像质量客观评价的研究，主要集中在灰度图像质量的评价，较少涉及到彩色融合图像的评价，尤其是在图像色彩方面的客观评价方法还十分有限。现有的评价方法往往需要通过衡量融合图像与同一场景真彩色图像色彩的相似度来评价融合图像的色彩质量，即需要真彩色图像作为参考图像。然而，现实应用中往往无法获得同一场景的彩色参考图像，限制了这类评价方法的广泛应用。此外，可见光与红外彩色融合图像并不完全追求与同一真彩色场景的色彩一致性，而需要满足特定的应用目的。因此，对于可见光与红外彩色融合图像的颜色质量，迫切的需要一种考虑其具体应用需求并且无参考的客观评价方法。

可见光与红外彩色融合图像一个基本的应用方面是帮助观察者直观准确的理解场景内容。研究表明，颜色协调性是影响基于场景理解的彩色融合图像质量的关键因素之一。然而，目前颜色协调性评价的研究主要针对色块组合的协调性，并不适合直接用于彩色融合图像颜色协调性的评价。因此，需要针对彩色融合图像特点，构造一种无参考的融合图像颜色协调性模型来客观评价融合图像的颜色质量。

发明内容

本发明的目的是克服现有技术的上述不足，建立一种基于颜色协调性的彩色融合图像颜色质量评价方法。针对三类典型场景可见光与红外彩色融合图像，考虑不同典型场景内容的影响，构造图像色彩与场景内容协调性计算模型；同时考虑颜色区域面积大小的影响，从而实现对融合图像颜色质量的无参考评价。

该方法包括如下步骤：

第一步：将红外图像中灰度值大于预设阈值的热目标像素进行标记，仅使用融合图像中去除热目标的背景图像进行后续计算；

第二步：计算对应于海天、绿色植物和城镇建筑物三种典型场景图像色彩与场景内容协调性分数；

第三步：采用基于均值偏移的彩色图像分割方法将背景图像分割为若干个颜色区域；

第四步：计算分割图像中所有相邻颜色对和非相邻颜色对的协调性分数，得到图像颜色组合加权协调性分数；

第五步：根据第二步和第四步所得的两方面协调性分数，根据不同的场景类型将对应的图像色彩与场景内容协调性分数和颜色组合加权协调性分数取平均，得到三种典型场景彩色融合图像颜色协调性客观评价模型。

第二步所述的海天、绿色植物和城镇建筑物三种典型场景图像色彩与场景内容协调性分数和分别为：

海天和绿色植物场景图像色彩与场景内容的协调性为

${\mathrm{CH}}_{\mathrm{CS}}=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\exp \{-0.5[{\left(\frac{u_k-u_c}{{\mathrm{\σ}}_{\mathrm{cu}}}\right)}^2+{\left(\frac{v_k-v_c}{{\mathrm{\σ}}_{\mathrm{cv}}}\right)}^2\left]\right\}---\left(1\right)$

其中，N为图像背景总像素数；u_k和v_k为图像背景像素k在CIE u′v′色度平面的坐标；u_c和v_c为对应典型类记忆色中心的CIE u′v′坐标；σ_cu和σ_cv为该类记忆色分布在u′和v′方向上的方差，

城镇建筑物图像色彩与场景内容协调性分数为

${\mathrm{CH}}_{\mathrm{CS}}^{\mathrm{TB}}=\left\{\begin{array}{cc}\mathrm{CM}/8& \mathrm{CM}<8\\ 1& 8\&le;\mathrm{CM}\&le;20\\ 1/\mathrm{CM}& \mathrm{CM}>20\end{array}\right.---\left(2\right)$

其中，CM＝σ_ab+0.94μ_C,σ_a与σ_b分别为图像背景像素在CIELAB空间分布沿a*轴和b*轴的标准偏差，μ_C为像素彩度平均值。

第三步所述的颜色区域的最小分割区域设置为图像总像素数的2%，空间和颜色带宽参数分别设定为4和1。

第四步所述的相邻颜色对和非相邻颜色对的协调性分数CH_A，i，j和CH_N，i，j，得到图像颜色组合加权协调性分数CH_CC为

${\mathrm{CH}}_{\mathrm{CC}}=\frac{\underset{i,j}{\mathrm{\&Sigma;}}(S_i+S_j){\mathrm{CH}}_{i,j}^{*}}{\underset{i,j}{\mathrm{\&Sigma;}}(S_i+S_j)}(i\&NotEqual;j)---\left(3\right)$

其中，i,j∈{1,2,…,N_r}，N_r为分割图像中颜色区域的总数，i，j为分割后图像中任意两个颜色区域；S_i和S_j分别为第i和j颜色区域的面积。归一化颜色组合协调性分数

其中，相邻颜色对的协调性分数为

CH_A，i，j＝H_C，i，j+H_L，i，j+H_H，i，j      (4)

式中，H_C，i，j=0.04+0.53tanh(0.8-0.045ΔC)，

H_L，i，j＝H_Lsum+H_ΔL

H_Lsum=0.28+0.54tanh(-3.88+0.029L_sum)，

H_ΔL=0.14+0.15tanh(-2+0.2ΔL)，

H_H＝H_SYi+H_SYj

H_SY＝E_C(H_S+E_Y)， $E_C=0.5+0.5\tanh (-2+0.5C_{\mathrm{ab}}^{*})$

H_S＝-0.08-0.14sin(h_ab+50°)-0.07sin(2h_ab+90°)

E_Y=[(0.22L^*-12.8)/10]exp{(90°-h_ab)/10-exp[(90°-h_ab)/10]}

其中，和分别为颜色对中两种颜色成分在CIELAB空间的明度；和分别为这两种颜色的CIELAB色调差和彩度差；H_SYi和H_SYj分别为利用公式H_SY＝E_C(H_S+E_Y)计算所得这两种颜色的协调性分数；L^*、和h_ab分别为对应颜色在CIELAB空间的明度、彩度和色调角；

非相邻颜色对的协调性分数为

CH_N，i，j=0.2+0.65tanh(1.7-0.045ΔC′)      (5)

式中， $\mathrm{\&Delta;}{C}^{\&prime;}={[{\left(\mathrm{\&Delta;}{H}_{\mathrm{ab}}^{*}\right)}^2+{(\mathrm{\&Delta;}{C}_{\mathrm{ab}}^{*}/1.30)}^2]}^{1/2}.$

第五步的三种典型场景中海天图像协调性分数

${\mathrm{CH}}_{\mathrm{ISS}}=({\mathrm{CH}}_{\mathrm{CC}}+{\mathrm{CH}}_{\mathrm{CS}}^{\mathrm{SS}})/2---\left(6\right)$

绿色植物图像协调性分数

${\mathrm{CH}}_{\mathrm{IP}}=({\mathrm{CH}}_{\mathrm{CC}}+{\mathrm{CH}}_{\mathrm{CS}}^P)/2---\left(7\right)$

城镇建筑物图像协调性分数

${\mathrm{CH}}_{\mathrm{ITB}}=({\mathrm{CH}}_{\mathrm{CC}}+{\mathrm{CH}}_{\mathrm{CS}}^{\mathrm{TB}})/2---\left(8\right)$

图像颜色协调性分数取值范围从0即图像颜色协调性最差到1即颜色协调性最好。

本发明的有益效果：

1）选择三种典型场景的120幅红外与可见光融合图像(每种场景包含5组实验图像，三种典型场景共15组，每组图像使用8种不同的融合算法产生不同效果的融合图像，共120幅实验图像)，17名观察者进行颜色协调性主观评价实验，所有观察者给出的评价分数取平均得到实验图像协调性的主观评价分数。结果表明，综合图像色彩与场景协调性和颜色组合加权协调性两方面因素提出的协调性模型计算结果与人眼主观感受具有较好的一致性，可以有效地对典型场景彩色融合图像颜色协调性进行客观评价。

2）可见光与红外彩色融合图像一个基本的应用方面是帮助观察者直观准确的理解场景内容。协调的图像颜色有助于观察者更好的理解场景内容，而不协调的颜色容易使人产生视觉疲劳甚至负面的心理影响。因此，本发明建立的基于颜色协调性的融合图像颜色质量评价模型为今后衡量融合图像是否能满足特定的应用需求，即是否有利于观察者对图像场景内容的理解，奠定必要的基础。

3）本发明建立的基于颜色协调性的融合图像颜色质量评价模型不需要参考图像，可以实现对融合图像颜色质量的无参考评价，具有更广泛的应用前景。

附图说明

图1是本发明中计算典型场景彩色融合图像颜色协调性客观评价指标流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

一、典型场景融合图像颜色协调性的含义

目前普遍接受的颜色协调性定义为：不同的颜色组合产生令人满意、愉快的效果，则认为该颜色组合具有协调性。

在定义典型场景可见光与红外彩色融合图像颜色协调性时，需要考虑其具体的应用需求以及典型场景图像的颜色特点。融合的主要目的之一是提高目标探测性，为了增加目标和背景颜色对比度，通常赋予目标鲜亮的颜色，但同时也降低了整幅图像颜色的协调性。因此，融合图像颜色协调性是针对图像背景而言的，并不考虑目标颜色的影响。此外，主观评价实验结果表明，在评价典型场景彩色融合图像颜色协调性时，观察者不仅考虑了图像中包含的所有颜色组合的协调性，而且不可避免的受到图像内容的影响，考虑了图像色彩与场景内容的协调性，即关注了图像中典型场景的颜色是否与记忆中该类场景颜色特点相一致，这与前人研究得出的人们更偏好与他们长期记忆色相近的图像这一结论有相似之处。

因此，对于人为赋予色彩的典型场景融合图像，颜色协调性可定义为：融合图像中背景色彩(不考虑目标颜色)符合现实场景的颜色特点并可产生令观察者满意、愉快的效果。

二、彩色融合图像的颜色协调性客观评价模型

鉴于实际彩色融合***的应用可能具有特定场景类型的倾向性，需要评价融合算法对不同典型场景的适应性；同时，不同场景类型的融合图像具有不同的图像特点，为了根据不同场景类型构造更适合的图像协调性评价模型，本发明将典型场景图像分为海天、绿色植物和城镇建筑物背景三类。综合考虑图像色彩与场景内容的协调性以及图像中颜色区域组合的协调性两方面构造彩色融合图像背景颜色协调性评价模型，处理步骤(如图1所示)如下：

第一步：将红外图像中灰度值大于一定阈值的热目标像素进行标记，仅使用融合图像中去除热目标的背景图像进行后续计算。

第二步：计算对应于海天、绿色植物和城镇建筑物三种典型场景图像色彩与场景内容协调性分数和自然场景(海天和绿色植物场景)图像色彩与场景内容的协调性为

${\mathrm{CH}}_{\mathrm{CS}}=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\exp \{-0.5[{\left(\frac{u_k-u_c}{{\mathrm{\&sigma;}}_{\mathrm{cu}}}\right)}^2+{\left(\frac{v_k-v_c}{{\mathrm{\&sigma;}}_{\mathrm{cv}}}\right)}^2\left]\right\}---\left(1\right)$

其中，N为图像背景总像素数；u_k和v_k为图像背景像素k在CIE u′v′色度平面的坐标；u_c和v_c为对应典型类记忆色中心的CIE u′v′坐标；σ_cu和σ_cv为该类记忆色分布在u′和v′方向上的方差。针对海天场景和绿色植物场景的融合图像，分别选择“水和天空”以及“绿色植物”类记忆色对应参数，如表1所示，计算得到海天场景和绿色植物场景的图像色彩与场景内容的协调性分数和其取值范围为0到1，越接近1表示该图像场景颜色与相应典型类记忆色越一致，即图像色彩与场景内容越协调。

表1

人造城镇建筑物场景颜色虽然没有类似自然场景记忆色这样固定的分布范围，但人们对城镇建筑物的色彩度(Colourfulness)变化较为敏感。色彩度是指图像色彩的鲜艳程度，令人满意的现实场景图像颜色存在一定的最佳色彩度范围。色彩度过高的图像导致整幅图像的颜色协调性变差。因此，选择最佳色彩度范围来计算城镇建筑物图像色彩与场景内容协调性分数

${\mathrm{CH}}_{\mathrm{CS}}^{\mathrm{TB}}=\left\{\begin{array}{cc}\mathrm{CM}/8& \mathrm{CM}<8\\ 1& 8\&le;\mathrm{CM}\&le;20\\ 1/\mathrm{CM}& \mathrm{CM}>20\end{array}\right.---\left(2\right)$

其中，CM＝σ_ab+0.94μ_C,σ_a与σ_b分别为图像背景像素在CIELAB空间分布沿a*轴和b*轴的标准偏差，μ_C为像素彩度平均值。

第三步：使用基于均值偏移的彩色图像分割算法将背景图像分割为若干个颜色区域。最小分割区域设置为图像总像素数的2%，空间和颜色带宽参数分别设定为4和1。

第四步：计算分割图像中所有相邻颜色对和非相邻颜色对的协调性分数CH_A，i,j和CH_N，i，j，得到图像颜色组合加权协调性分数CH_CC。

${\mathrm{CH}}_{\mathrm{CC}}=\frac{\underset{i,j}{\mathrm{\&Sigma;}}(S_i+S_j){\mathrm{CH}}_{i,j}^{*}}{\underset{i,j}{\mathrm{\&Sigma;}}(S_i+S_j)}(i\&NotEqual;j)---\left(3\right)$

其中，i,j∈{1,2,…,N_r}，N_r为分割图像中颜色区域的总数，i，j为分割后图像中任意两个颜色区域；S_i和S_j分别为第i和j颜色区域的面积。归一化颜色组合协调性分数

其中，相邻和非相邻颜色对协调性分数CH_A，i，j和CH_N，i，j用Ou等人提出的颜色组合协调性模型计算，其取值范围为[-1.24,1.39]，因此，取值范围为[0,1]。相邻颜色对的协调性分数为

CH_A，i，j＝H_C，i，j+H_L，i，j+H_H，i，j      (4)

式中，H_C，i，j=0.04+0.53tanh(0.8-0.045ΔC)，

H_L，i，j＝H_Lsum+H_ΔL

H_Lsum=0.28+0.54tanh(-3.88+0.029L_sum)，

H_ΔL=0.14+0.15tanh(-2+0.2ΔL)，

H_H＝H_SYi+H_SYj

H_SY＝E_C(H_S+E_Y)， $E_C=0.5+0.5\tanh (-2+0.5C_{\mathrm{ab}}^{*})$

H_S＝-0.08-0.14sin(h_ab+50°)-0.07sin(2h_ab+90°)

E_Y=[(0.22L^*-12.8)/10]exp{(90°-h_ab)/10-exp[(90°-h_ab)/10]}

其中，和分别为颜色对中两种颜色成分在CIELAB空间的明度；和分别为这两种颜色的CIELAB色调差和彩度差；H_SYi和H_SYj分别为利用公式H_SY＝E_C(H_S+E_Y)计算所得这两种颜色的协调性分数；L^*、和h_ab分别为对应颜色在CIELAB空间的明度、彩度和色调角。

非相邻颜色对的协调性分数为

CH_N，i，j=0.2+0.65tanh(1.7-0.045ΔC′)      (5)

式中， $\mathrm{\&Delta;}{C}^{\&prime;}={[{\left(\mathrm{\&Delta;}{H}_{\mathrm{ab}}^{*}\right)}^2+{(\mathrm{\&Delta;}{C}_{\mathrm{ab}}^{*}/1.30)}^2]}^{1/2}.$

第五步：综合步骤二和四所得两方面协调性分数，根据不同的场景类型将对应的图像色彩与场景内容协调性分数和颜色组合加权协调性分数取平均，得到三种典型场景彩色融合图像颜色协调性客观评价模型。

海天图像协调性分数

${\mathrm{CH}}_{\mathrm{ISS}}=({\mathrm{CH}}_{\mathrm{CC}}+{\mathrm{CH}}_{\mathrm{CS}}^{\mathrm{SS}})/2---\left(6\right)$

绿色植物图像协调性分数

${\mathrm{CH}}_{\mathrm{IP}}=({\mathrm{CH}}_{\mathrm{CC}}+{\mathrm{CH}}_{\mathrm{CS}}^P)/2---\left(7\right)$

城镇建筑物图像协调性分数

${\mathrm{CH}}_{\mathrm{ITB}}=({\mathrm{CH}}_{\mathrm{CC}}+{\mathrm{CH}}_{\mathrm{CS}}^{\mathrm{TB}})/2---\left(8\right)$

图像颜色协调性分数取值范围从0(图像颜色协调性最差)到1(颜色协调性最好)。

综上所述，针对可见光与红外彩色融合图像的应用需求以及其假彩色的图像特点，本发明提出了典型场景图像背景颜色协调性客观评价模型，对彩色融合图像颜色质量进行无参考的客观评价。该模型考虑典型场景图像颜色特点，利用海天、绿色植物这类自然场景记忆色的分布规律和城镇建筑物图像适于人眼观察的最佳色彩度范围，分别构造了三种典型场景图像色彩与场景内容的协调性模型。同时，在已有的颜色组合协调性模型基础上，考虑不同颜色区域面积大小的影响，将颜色区域面积之和作为加权因子构造颜色组合加权协调性模型来衡量图像中不同大小颜色区域组合的协调性。综合这两方面提出了三类典型场景融合图像背景颜色协调性客观评价模型。

选择三种典型场景的120幅红外与可见光融合图像进行颜色协调性主观评价实验。结果表明，本发明提出的图像协调性评价模型计算结果与人眼主观评价具有较好的一致性，适合作为典型场景彩色融合图像颜色协调性的客观评价指标，为今后衡量融合图像是否能满足特定的应用需求，即是否有利于观察者对图像场景内容的理解，奠定必要的基础。此外，该模型不需要参考图像，可以实现对融合图像颜色质量的无参考评价，具有更广泛的应用前景。

Claims (5)

1.基于颜色协调性的彩色融合图像颜色质量评价方法，其特征在于，包括如下步骤：

第一步：将红外图像中灰度值大于预设阈值的热目标像素进行标记，仅使用融合图像中去除热目标的背景图像进行后续计算；

第二步：计算对应于海天、绿色植物和城镇建筑物三种典型场景图像色彩与场景内容协调性分数；

第三步：采用基于均值偏移的彩色图像分割方法将背景图像分割为若干个颜色区域；

第四步：计算分割图像中所有相邻颜色对和非相邻颜色对的协调性分数，得到图像颜色组合加权协调性分数；

第五步：根据第二步和第四步所得的两方面协调性分数，根据不同的场景类型将对应的图像色彩与场景内容协调性分数和颜色组合加权协调性分数取平均，得到三种典型场景彩色融合图像颜色协调性客观评价模型。

2.如权利要求1所述的基于颜色协调性的彩色融合图像颜色质量评价方法，其特征在于，第二步所述的海天、绿色植物和城镇建筑物三种典型场景图像色彩与场景内容协调性分数 和 分别为：

海天和绿色植物场景图像色彩与场景内容的协调性为

其中，N为图像背景总像素数；u_k和v_k为图像背景像素k在CIE u′v′色度平面的坐标；u_c和v_c为对应典型类记忆色中心的CIE u′v′坐标；σ_cu和σ_cv为该类记忆色分布在u′和v′方向上的方差，

城镇建筑物图像色彩与场景内容协调性分数 为

其中，CM＝σ_ab+0.94μ_C, σ_a与σ_b分别为图像背景像素在CIELAB空间分布沿a*轴和b*轴的标准偏差，μ_C为像素彩度平均值。

3.如权利要求2所述的基于颜色协调性的彩色融合图像颜色质量评价方法，其特征在于，第三步所述的颜色区域的最小分割区域设置为图像总像素数的2%，空间和颜色带宽参数分别设定为4和1。 

4.如权利要求2或3所述的基于颜色协调性的彩色融合图像颜色质量评价方法，其特征在于，第四步所述的相邻颜色对和非相邻颜色对的协调性分数CH_A，i，j和CH_N，i，j，得到图像颜色组合加权协调性分数CH_CC为

其中，i,j∈{1,2,…,N_r}，N_r为分割图像中颜色区域的总数，i，j为分割后图像中任意两个颜色区域；S_i和S_j分别为第i和j颜色区域的面积；归一化颜色组合协调性分数

其中，相邻颜色对的协调性分数为

CH_A，i，j＝H_C，i，j+H_L，i，j+H_H，i，j      (4)

式中，H_C，i，j=0.04+0.53tanh(0.8-0.045ΔC)， 

H_L，i，j＝H_Lsum+H_ΔL

H_Lsum=0.28+0.54tanh(-3.88+0.029L_sum)， 

H_ΔL=0.14+0.15tanh(-2+0.2ΔL)， 

H_H＝H_SYi+H_SYj

H_SY＝E_C(H_S+E_Y)，

H_S＝-0.08-0.14sin(h_ab+50°)-0.07sin(2h_ab+90°)

E_Y=[(0.22L^*-12.8)/10]exp{(90°-h_ab)/10-exp[(90°-h_ab)/10]}

其中， 和 分别为颜色对中两种颜色成分在CIELAB空间的明度； 和 分别为这两种颜色的CIELAB色调差和彩度差；H_SYi和H_SYj分别为利用公式H_SY＝E_C(H_S+E_Y)计算所得这两种颜色的协调性分数； 和h_ab分别为对应颜色在CIELAB空间的明度、彩度和色调角；

非相邻颜色对的协调性分数为 

CH_N，i，j=0.2+0.65tanh(1.7-0.045ΔC′)    (5)

式中，

5.如权利要求2或3所述的基于颜色协调性的彩色融合图像颜色质量评价方法，其特征在于，第五步的三种典型场景中海天图像协调性分数

绿色植物图像协调性分数

城镇建筑物图像协调性分数

图像颜色协调性分数取值范围从0即图像颜色协调性最差到1即颜色协调性最好。