CN103150717B - 图像高亮区域的检测方法、内容检测方法及内容检测装置 - Google Patents

Abstract

公开了一种图像高亮区域的内容检测方法和装置，以及一种图像高亮区域的检测方法和装置。该内容检测方法包括：确定高亮区域内各个像素的高亮影响因子，该高亮影响因子表示高亮区域对该像素内容影响的强度；基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容。该图像高亮区域的检测方法包括：从原始图像获得漫反射图像；获得原始图像和漫反射图像之间的各个像素的强度差；自适应地确定强度差阈值；以及根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域。

Description

图像高亮区域的检测方法、内容检测方法及内容检测装置

技术领域

本发明一般地涉及图像处理，更具体地，涉及图像高亮区域的检测方法、内容检测方法及内容检测装置。

背景技术

在某些情景下拍摄的图像经常存在高亮或反光区域，如照相机或投影仪-摄像机***中所拍摄的图像。

例如在演讲或者会议中，一般使用投影仪-摄像机***，其中投影仪或大屏幕显示设备常常用来展示相关的材料内容，在诸如远程会议的情况下，会使用摄像机来拍摄投影区域并将所拍摄的图像传到远程会议的参与者，这时投影区域上的表面经常出现高亮，导致所拍摄的图像高亮区域内的内容不可见或者无法看清，因此远程会议的参与者辨认高亮区域的内容存在困难，导致交流困难。

一般认为，图像表面有两种反射分量，镜面反射和漫反射分量。漫反射(diffuse)是指来自一个方向的光，经漫反射使光均匀向各方向传播。漫反射是由表面的粗糙不平引起的，与视点无关，漫反射光的空间分布是均匀的。镜面反射(Specular)是指对于理想镜面，反射光集中在一个方向，并遵守反射定律。对一般的光滑表面，反射光集中在一个范围内，且由反射定律决定的反射方向光最大。因此，对于同一点来说，从不同位置所观察到的镜面反射光强是不同的。在反射方向附近形成很亮的光斑，称为高光现象，将存在高光现象的区域称为高亮区域。一般认为高亮区域是由于镜面反射分量引起的。现有技术中通常存在两种消除图像高亮影响的途径。其中一种是，利用反光表面的纹理信息来构建模型，从而估计并增强镜面反射高亮区域的图像内容。但是，在图像表面纹理特征不明显的情况下，例如在投影仪-摄像机***中，投影区域的表面是光滑的，没有纹理信息，该方法难于适用。

现有技术中消除图像高亮的另一种常用方法是从原始存在闪光的图像减去一幅镜面反射的图像。例如在美国专利US7027662中，该方法就相同对象拍摄没有闪光的图像和闪光图像，通过在闪光图像上减去无闪光图像得到差值图像，利用强度阈值来处理差值图像得到人工处理的图像，然后从闪光图像中减去该人工处理的图像来消除高亮。拍摄没有闪光的图像限制了该方法的应用。

另外，在题为“一种光源颜色计算和图像校正方法”的专利CN101146233中，对彩色图像中每个像素点的色度进行归一化，根据像素的相似性利用投票的方法快速检测高亮区域；此外，该方法将RGB色彩投影在逆强度和色度空间，然后通过在逆强度坐标系将所有像素拟合到一条直线上，计算光源的色度，基于光源的色度修正漫反射图像上的颜色信息。

此外，在PishvaDavar等的题为“ImagehighlightcorrectionusingilluminationspecificHSVcolorcoordinate”的美国专利US7555159中，提出如下方法：将RGB色彩空间下的图像投影到一种光照特殊化的HSV色彩空间上；为每个像素预测无高亮的HSV坐标系；在RGB颜色空间还原无高亮的图像。该方法在构建新的颜色坐标系之前需要知道光源的强度和颜色。

发明内容

本发明希望提供一种检测高亮区域的方法和装置。

本发明还希望提供一种无需利用图像纹理信息的检测高亮区域的内容的方法和装置。

本发明还希望提供一种增强高亮区域内容的检测结果的方法和装置。

本发明还希望提供一种还原高亮区域的色彩信息的方法和装置。

为此，根据本发明的一个方面，提供了一种图像高亮区域的内容检测方法，其可以包括：确定高亮区域内各个像素的高亮影响因子，该高亮影响因子表示高亮区域对该像素内容影响的强度；基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容。

通过在高亮区域内容检测中考虑高亮区域对各个像素的影响，可以适应各种照明条件，降低了镜面反射的影响，能够更准确地检测出高亮区域的内容。

此外，基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容可以包括：根据高亮区域外的图像内容来确定第一阈值；针对高亮区域内的各个像素，基于该各个像素的高亮影响因子，来调整该第一阈值，以确定针对该各个像素的阈值；根据针对该各个像素的阈值，来确定该各个像素属于内容还是背景，从而获得第一检测结果。

此外，该内容检测方法还可以包括：基于多个不同尺度的局部区域的信息来检测内容，从而得到第二检测结果；至少基于第一检测结果和第二检测结果来获得最终检测结果。该组合的高亮区域内容检测方法可以获得更高的检测准确率。

此外，可以根据各个像素的高亮影响因子来确定该多个不同尺度的局部区域中的至少一个局部区域的尺度的大小。

此外，该内容检测方法还可以包括：以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型；基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。通过此增强处理，可以进一步消除高亮的影响，提高高亮区域内容的清晰度和可见性。

此外，该内容检测方法还可以包括：分别使用原始图像和漫反射图像来对高亮区域外的像素色彩进行聚类；根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类；以及根据色彩分类的结果对高亮区域内的像素色彩进行调整。通过此高亮区域内的色彩还原处理，可以增强高亮区域内容的清晰度和可见性，消除高亮的影响。

根据本发明的另一方面，提供了一种图像高亮区域的检测方法，包括：从原始图像获得漫反射图像；获得原始图像和漫反射图像之间的各个像素的强度差；自适应地确定强度差阈值；以及根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域。

根据本发明的再一方面，提供了一种图像高亮区域的内容检测装置，包括：高亮影响因子计算部件，其确定高亮区域内各个像素的高亮影响因子，该高亮影响因子表示高亮区域对该像素内容影响的强度；以及内容检测部件，其基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容。

根据本发明的再一方面，提供了一种增强高亮区域内容的检测结果的方法，该方法可以包括：以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型；基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。

根据本发明的再一方面，提供了一种增强高亮区域内容的检测结果的装置，该装置可以包括：色彩分布模型拟合部件，用于以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型；高亮区域内容像素预测部件，用于基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。

根据本发明的再一方面，提供了一种还原高亮区域的色彩信息的方法，该方法可以包括：分别使用原始图像和对应的漫反射图像来对高亮区域外的像素色彩进行聚类；根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类；以及根据色彩分类的结果对高亮区域内的像素色彩进行调整。

根据本发明的再一方面，提供了一种还原高亮区域的色彩信息的装置，该装置可以包括：聚类部件，用于分别使用原始图像和对应的漫反射图像来对高亮区域外的像素色彩进行聚类；分类部件，用于根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类；以及高亮区域色彩调整部件，用于根据色彩分类的结果对高亮区域内的像素色彩进行调整。

附图说明

图1为根据本发明一个实施例的可以应用本发明的投影仪-摄像机***的示意图；

图2为根据本发明一个实施例的图像高亮区域的内容检测方法的整体流程图；

图3示出了根据本发明一个实施例的高亮区域检测方法的流程图；

图4是示出高亮区域检测过程的示意图；

图5是根据本发明一个实施例的自适应强度差阈值确定方法的流程图；

图6是说明高亮区域内每个像素的高亮区域影响因子的一个计算示例的示意图；

图7是示出根据本发明一个实施例的基于高亮影响因子检测图像内容的方法的流程图；

图8是示出高亮区域的多尺度局部区域内容检测方法的流程图；

图9是示出了各种尺度局部区域信息分析的高亮区域内笔画检测结果的比较示意图。

图10是示出了根据本发明一个实施例以笔画处理为例的基于高亮区域的笔画检测结果的笔画检测结果增强处理方法的流程图；

图11是示出了根据本发明一个实施例以笔画处理为例的基于高亮区域的笔画检测结果的笔画色彩还原处理的流程图；

图12是示出了一个色彩还原处理过程以及效果示例的示意图；

图13示出了根据本发明一个实施例的高亮图像处理的整体流程图；

图14示出了根据本发明一个实施例的图像高亮区域的内容检测装置的示意性框图；

图15示出了根据本发明一个实施例的高亮图像处理装置1500的框图；

图16示出了根据本发明一个实施例的增强高亮区域内容的检测结果的装置1600的框图；以及

图17示出了根据本发明一个实施例的还原高亮区域的色彩信息的装置1700的框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

为了便于理解，图1给出了根据本发明一个实施例的可以应用本发明的投影仪-摄像机***的示意图。下文中将以应用场景为投影仪-摄像机***，要检测的图像内容为文字笔画为例进行说明。不过需要强调的是，上述情况仅为示例，实际上任何图像中可能出现高光区域的情况均可以应用本发明，以及其他图像内容例如人脸、景物等均可以应用本发明。

在进行详细陈述之前，为了有助于更好地理解本发明，总体地阐述一下本发明的思想。本发明的一个思想是，高亮区域的存在，对于人们辨认高亮区域中的像素内容发生不利影响。因此，希望在检测内容例如笔画的过程中，即考虑到此不利影响，对于检测的阈值因子或者区域大小等加以适应性地调整，从而更准确地检测出高亮区域中的笔画。进一步地，希望估计出高亮区域中的漏检笔画，以及对于因为高亮而不清晰的色彩信息希望加以恢复。

图2是根据本发明一个实施例的图像高亮区域中的内容的检测方法200的整体流程图。

如图2所示，在步骤S210中，确定高亮区域内各个像素的高亮影响因子。关于高亮区域，其可以利用下文参考图3描述的高亮区域检测方法得到，或者由用户人工指定，也可以利用现有的任何高亮区域检测方法获得。针对一个像素的高亮影响因子表示高亮区域对该像素内容影响的强度。具体而言，直观地，一个像素，其周围像素属于高亮区域的越多，则该像素受高亮的影响的程度越大，也即越影响该像素的可见性，因此其高亮区域影响因子越大。下文，将参考图4描述高亮区域影响因子的一种示例性计算方法。

在步骤S220中，基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容。如此获得的高亮区域中的内容可供进一步处理，或者可供输出来与用户交互。下文将参考图7说明基于高亮影响因子的内容检测阈值确定以及进而的内容检测，以及参考图8说明基于高亮因子(可选)的多尺度局部区域内容检测。

图3示出了根据本发明一个实施例的高亮区域检测方法300的流程图。

在步骤S310中，从原始图像获得漫反射图像。为此，可以采用任何能够从原始图像获得漫反射图像的方法。例如，在“SeparatingReflectionComponentsBasedonChromaticityandNoiseAnalysis”，RobbyT.Tan，etc.IEEETransactionsonPatternAnalysisandMachineIntelligence，Vol26，No.10，October2004中介绍了从单张图像分离镜面反射分量的很多方法，并且提出了基于色度和噪声分析来分离漫反射分量和镜面反射分量的方法。出于效率考虑，我们采用了在文献“Simpleandefficientmethodforspecularityremovalinanimage”H.L.ShenandQ.Y.Cai，AppliedOptics，48(14)，2711-2719，2009中介绍的方法来生成无镜面反射分量的图像。该方法通过在每个像素上减去该像素的最小RGB值，然后设置一个像素依赖型的补偿值以便使修改后的无镜面反射分量的图像和漫反射图像的色度更加接近。不过，该方法仅为示例，上述文献中介绍的方法以及任何能够从原始图像获得漫反射图像的方法均可以用于本发明。

一般地，在高亮区域内，镜面反射分量的强度比漫反射分量的强度更强。在步骤S310中所获得的漫反射图像中，镜面反射分量基本被去除了。所以原始图像和漫反射图像的最大强度差必然存在于高亮区域内。高亮区域内的强度差比其外部的强度差高很多。因此，可以考虑用合适的强度差阈值来把高亮区域分割出来。

在步骤S320中，获得原始图像和漫反射图像之间的各个像素的强度差。

在步骤S330中，自适应地确定强度差阈值。

优选地，强度差阈值需要与环境相适应，以及需要根据原始图像中高亮区域外部的强度来改变。可以利用下文参考图4所述的根据本发明实施例的自适应确定强度差阈值的方法来确定。不过，任何自适应地确定强度差阈值的方法均可以用于本发明，例如基于有监督学习的神经网络、遗传算法、支持向量机等等。

在步骤S340中，根据强度差阈值和各个像素的强度差，检测出高亮区域。

具体地，例如，如果一个像素的原始图像和漫反射图像之间的强度差大于强度差阈值，则认为该像素属于高亮区域；反之该像素不属于高亮区域。由此，检测出高亮区域。

在如此检测出的高亮区域可能存在很多噪声，或者一些高亮区域因为背景内容的颜色被漏检。所以可选地可以通过一些后处理诸如降噪和检测增强的方法改进高亮区域检测结果。优选地，可以使用如下闭操作和开操作消除噪声和改进结果：(1)消除由书写内容引起的孤立的非高亮点和噪声点，因为高亮区域通常应该是闭合的；(2)把因为噪声而连接起来的临近的高亮区域分割开。

包含后处理的高亮区域检测过程也示意性地图示于图4中。其中，原始图像410减去漫反射图像420获得了初始强度差图像430，以强度差阈值来过滤该初始强度差图像430并且对过滤后的结果进行二值化处理获得了初始检测结果的图像440，经过检测增强和降噪处理，得到了最终检测结果的图像450。

下面参考图5说明根据本发明一个实施例的自适应强度差阈值确定方法500。

如图5所示，在步骤S510中，以各个像素的强度差的平均值作为第一强度差阈值T₁。

在步骤S520中，根据第一强度差阈值和各个像素的强度差，将各个像素分类为高强度像素和低强度像素。

在步骤S530中，确定高强度像素的强度差的平均值作为第二强度差阈值T₂。

在步骤S540中，根据第二强度差阈值和各个像素的强度差，再次将各个像素分类为高强度像素和低强度像素。

在步骤S550中，确定此再次分类后的高强度像素的强度差的平均值作为第三强度差阈值T₃。

在步骤S560中，基于至少该第一、第二、第三强度差阈值来确定强度差阈值T。例如，设经步骤S520分类后的高强度像素占全部像素的比例分子为a，可以按以下公式(1)来计算最终的强度差阈值T。

T＝T₃+(1-a)×(T₂-T₁)+a×(T₃-T₂)……(1)

不过公式(1)仅为示例，还可以例如采用更加复杂的二次公式。此外，还可以继续上述步骤S520-S550中的分类、以分类后的高强度像素的平均值作为下一分类处理的强度差阈值的迭代过程，并因此可以基于更多的强度差阈值T₄、T₅、……来确定最后的强度差阈值。关于上述权重系数因子a，可以凭经验确定，或者根据每次分类后高强度像素所占全部像素的百分比来加以确定。

下面参考图6说明高亮区域内每个像素的高亮区域影响因子的计算示例。

首先，我们创建一个镜面反射地图来标记检测结果的高亮区域内每个像素的反射强度。图6中中间的图620示出了镜面反射地图的一部分，其中以每个小方形表示一个像素，其中的标记H表示该像素属于高亮像素，标记N表示该像素属于非高亮像素，这里可以依据图4中所示的二值化后的作为初始检测结果的强度差图像440(在图6中，以标号630指示该图)来作为像素的分类依据。而图6中的左侧的检测结果图610用于指示对于哪些像素需要计算高亮区域影响因子，该检测结果图610可以采用图4中的最终检测结果图450。在本示例中，针对属于高亮区域的每个像素，计算其高亮区域影响因子，以表征该像素受高亮区域影响的程度。

图6中的镜面反射地图表示目前要计算像素P(x，y)的高亮区域影响因子。为此首先确定要考虑的周围区域大小，即确定要考虑的周边像素，在图6的镜面反射地图中，该周边像素以黑色背景标示。这是一种常用的区域划定法，表示周边像素在目标像素为中心的半径r的范围内，在本示例中，r＝2，其周边像素为12个，一般情况下周边像素的个数N以公式(2)表示

$N=2\underset{i=1}{\overset{r}{\mathrm{\Σ}}}(2i-1)+2r+1......\left(2\right)$

像素P(x，y)的位置以(x，y)来表示，像素P(x，y)的半径r的考虑区域中高亮像素的个数表示为N_h(x，y)，则关于像素P(x，y)的高亮区域影响因子u(x，y)可以根据公式(3)来确定

u(x，y)＝N_h(x，y)/N……(3)

在图6所示的例子中，像素P(x，y)的周边像素个数N＝12，高亮像素的个数N_h(x，y)＝10，其标示于像素P(x，y)所在的方框中，则像素P(x，y)的高亮区域影响因子u＝N_h(x，y)/N＝10/12≈0.8333。

图6所示的周边区域的形式以及半径r的大小仅为示例，其可以根据设计需求而改变。另外，图6中采用了二值化的强度差图630，不过此仅为示例，作为另一更复杂的实现方式，可以采用如图4中所示的初始强度差图像430，此时，可以计算像素P(x，y)周边像素的强度差的平均值与最大强度差的比率，作为像素P(x，y)的高亮区域影响因子。总之，任何能够反映出一个像素周边高亮区域对其影响程度的算法均可以用来计算该像素的高亮区域影响因子。

下面分别参考图7和图8，示例性说明图2所示的步骤S220，即如何基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容。图7说明了根据本发明一个实施例的基于高亮影响因子的内容检测阈值确定以及进而检测图像内容的方法700，以及图8说明高亮区域内的基于多尺度局部区域信息分析的内容检测。

如图7所示，在步骤S710中，根据高亮区域外的图像内容来确定第一阈值或默认阈值T₀。

以笔画检测为例，通常需要一个阈值例如灰度阈值来分割笔画和背景，认为如果一个像素的灰度小于该灰度阈值，则属于笔画，反之则属于背景。可以采用任何常用的笔画检测阈值确定方法，来根据高亮区域外的笔画来确定此处的第一阈值。

确定第一阈值的一个例子为：计算高亮区域外的所有像素的均值作为T_n，如公式(4)所示，这里像素的值可以采用灰度或者彩色。

T_n＝average(∑P(x，y))其中(x，y)高亮区域……(4)

此外，可以计算值小于T_n且在高亮区域外的所有像素的均值作为第一阈值或默认阈值T₀，如公式(5)所示。可以认为T₀表示的是在高亮区域外的属于笔画的像素的均值。

T₀＝average(∑P(x，y))其中p(x，y)＜T_n且(x，y)高亮区域……(5)

在步骤S720中，针对高亮区域内的各个像素，基于该各个像素的高亮影响因子，来调整该第一阈值，以确定针对该各个像素的阈值。

为此，可以既考虑高亮区域整体对于阈值的影响，同时考虑高亮区域内的各个像素自身的高亮区域影响因子u(x，y)来确定针对各个像素的阈值。

例如，可以设置一个基于整体高亮区域的阈值改变参数Δt，其针对属于高亮区域的所有像素。可以利用如下公式(6)计算阈值改变参数Δt。

Δt＝T_h-T_n……(6)

其中T_h表示高亮区域内的所有像素的均值，即如公式(7)所示

T_h＝average(∑P(x，y))其中(x，y)∈高亮区域……(7)

这里，Δt反映了高亮区域和高亮区域外部的区域之间的区别，一定程度上反映了整体高亮区域对于图像内容的影响。原则上，整体高亮区域越大，也即更亮，则阈值改变参数也大。

针对像素P(x，y)，基于其高亮区域影响因子u(x，y)和整体阈值改变参数Δt，像素P(x，y)的阈值T(x，y)可根据公式(8)计算：

T(x，y)＝T₀+Δt×f(u(x，y))……(8)

其中，f(u(x，y))表示一函数，可以为例如二次函数、指数函数、对数函数等等，其形式的一个例子如公式(9)所示，

f(u(x，y))＝u(x，y)²+0.5……(9)

可见，这里高亮区域内的内容检测的阈值是基于每个像素的，其随每个像素的高亮区域影响因子而不同，因此能够更好地适应环境地变化。

对于高亮区域内的各个像素的阈值，可以施加别的约束，例如T(x，y)＜250等。

在步骤S730中，根据针对各个像素的阈值T(x，y)，来确定高亮区域内的该各个像素属于内容还是背景，从而获得第一检测结果。

例如，对于笔画来说，如果为灰度阈值，则若P(x，y)＜T(x，y)，认为该像素属于笔画，否则属于背景。

图8示出了基于多尺度局部区域信息分析的内容检测方法的流程图。

以笔画检测为例，基于局部区域信息分析的阈值化方法能够自适应地调整阈值来检测笔画像素，是本领域通用的做法，例如，图像的平滑处理一般是基于局部区域来进行的。不过，存在高亮的图像更加复杂，同时高亮部分会很大程度上改变局部区域像素的颜色。所以普通的基于局部区域信息分析的阈值化方法可能不能很好地处理高亮图像。为此，针对高亮区域内的像素，可以基于多个不同尺度的局部区域的信息来检测笔画，从而得到第二检测结果。而且，可以通过组合上述结合图7所述方法的第一检测结果和第二检测结果来获得最终检测结果。

如图8所示，在步骤S810中，判断一个像素是否在高亮区域内。如果不在高亮区域内，则过程前进到步骤S820，其进行中尺度局部区域阈值化以及笔画检测，这里的中尺度是相对下文高亮区域情况下的大尺度和小尺度而言的，其实际上可以是任何目前局部区域阈值化方法中所采用的尺度。

如果像素在高亮区域内，则同时执行步骤S820、S830和S840的操作，即同时执行中尺度、大尺度和小尺度的局部区域信息分析的阈值化方法以及检测笔画。

然后前进到步骤S850，综合不同尺度下的局部区域信息分析的阈值化方法和笔画检测的结果。

上面以三个尺度，即中尺度、大尺度、小尺度的局部区域为例说明了多个不同尺度的局部区域阈值化和内容检测。但是尺度的数目并不局限于三个，而是可以根据需要任意设置，或者通过监督学习来设定。

另外，关于尺度的大小可以利用上述高亮区域影响因子u(x，y)来调整。一般认为，较大尺度的局部区域，可以更好地滤掉噪声；而较小尺度的局部区域可以更有效地提取信息。因而，原则上，高亮区域影响因子u(x，y)越大，上述大尺度可以设置得越大，以更好地过滤噪声；高亮区域影响因子u(x，y)越小，上述大尺度可以设置得越小，以更好地提取信息。不过尺度的大小也是有限制的，例如，以笔画检测为例，尺度不应该大到超过高亮区域的大小，尺度亦不应该小于笔画的粗细。在一个示例中，我们把中尺度设为20个像素，大尺度设为50个像素，小尺度设为5个像素。

另外，不同尺度下的笔画检测阈值也可以根据局部区域内的像素颜色自适应地调整。

图9示出了基于各种尺度局部区域信息分析的高亮区域内笔画检测结果的比较示意图。可见，使用多尺度的局部区域信息分析的阈值化方法，和单一尺度的方法相比，可以改进检测结果，减少噪声。

在经图2所示操作检测出高亮区域中的图像内容之后，可以进行诸如内容检测结果的增强或补全处理、色彩还原处理等。下面参考图10和图11来进行示例性说明。

图10示出了根据本发明一个实施例以笔画处理为例的基于高亮区域的笔画检测结果的笔画检测结果增强处理方法1000的例子。

如图10所示，在步骤S1010中，以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型。

关于该色彩分布模型，可以如下确定，以大量高亮图像作为训练数据集，利用统计方法分析该训练数据集，从而确定其像素色彩分布模型。示例性地，在分析大量高亮区域的笔画像素后，发现高斯分布可以较好地反映笔画像素的色彩分布。不过，高斯分布仅为示例，本领域技术人员可以根据应用情景以及设计需求等而发现并应用其他适当的色彩分布模型。

示例性地，在确定高斯分布作为像素色彩分布模型后，可以利用当前笔画检测结果中作为笔画的像素点作为样本来拟合该高斯分布，从而确定高斯分布中的参数，例如，均值mean和标准方差std。

在步骤S1020中，基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。

以笔画检测为例，在确定高斯分布模型的参数后，可以利用该高斯分布模型来估计未检测出的笔画像素。例如，设置高斯分布模型的置信空间为D＝[mean-k·std，mean+k·std](K＝1，2)，如果像素色彩的方差在D区间内，该像素就被认为是漏检的笔画像素。

在补充了漏检的笔画像素后，还可以进行其他操作，例如检查和消除噪声以降低上述增强处理的噪声，此外还可以进行一下后处理步骤来根据手写的笔画特征检验结果，例如，骨骼化算法可以消除短的笔画。

另外，高亮区域内的图像内容的色彩可能发生变化或不够清晰，因此可以考虑进行色彩还原处理。图11示出了根据本发明一个实施例以笔画处理为例的基于高亮区域的笔画检测结果的笔画色彩还原处理1100的例子。

图11的色彩还原处理是出于如下考虑提出的：高亮区域外的区域的色彩类别和特征可以作为基准，可以通过分析高亮区域外的区域的色彩来还原高亮区域内的图像内容的色彩。另外，可以同时利用原始图像和漫反射图像两者作为处理对象，以消除高亮区域对颜色的影响。对于作为示例的笔画处理，因为笔画通常具有笔画间颜色差别分明、边界清楚、种类有限的特点，因此尤其适于采用聚类方法。

如图11所示，在步骤S1110中，分别使用原始图像和漫反射图像来对高亮区域外的像素色彩进行聚类。关于聚类的算法，可以采用常用的k均值聚类或k中心聚类等。关于聚类中可能用到的距离计算可以在RGB和/或LAB颜色空间上进行。

在步骤S1120中，根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类。同样，分类时，可以在RGB和/或LAB颜色空间上计算颜色的距离，并且同时在原始图像和漫反射图像中比较颜色的距离。关于原始图像和漫反射图像的分类结果，可以使用不同权重将二者结合起来。

在步骤S1130中，根据色彩分类的结果对高亮区域内的像素色彩进行调整。例如，如果高亮区域内一个像素的颜色被归于红色，则可以用属于红色类别的所有像素的色彩的均值来替换高亮区域内该像素的颜色，或者在高亮区域内该像素的颜色上加上一调整系数，以使得该像素的颜色更接近于所属于类别的色彩特征。

在进行了上述色彩还原处理后，根据情况和需要，还可以对高亮区域周围区域的背景进行平滑处理，使之更加自然。

图12示出了一个色彩还原处理过程以及效果的示意图，其中经过同时基于原始图像和漫反射图像的聚类和分类后，各个像素被分类为不同的类别，最终经色彩还原处理后的图像显著地提高了像素的可见性。

图13示出了根据本发明一个实施例的高亮图像处理1300的整体流程图。

在步骤S1310中，输入原始图像。

在步骤S1320中，检测高亮区域，并计算高亮区域影响因子。该步骤的操作可以参考前面结合图3描述的检测高亮区域的方法以及结合图6描述的高亮区域影响因子的计算。

在步骤S1330中，检测图像内容，其中基于高亮区域影响因子检测高亮区域的图像内容。关于此步的操作，可以参考前面结合图7和/或图8描述的图像内容检测方法。

在步骤S1340中，进行高亮区域内容检测结果的增强。关于此步的操作，可以参考结合图10描述的内容检测结果增强方法。

在步骤S1350中，通过色彩聚类和分类来进行高亮区域内的色彩还原。关于该步的操作，可以参考前面结合图11描述的色彩还原方法。

图14示出了根据本发明一个实施例的图像高亮区域的内容检测装置1400的示意性框图。该图像高亮区域的内容检测装置1400可以包括：高亮影响因子计算部件1410，其确定高亮区域内各个像素的高亮影响因子，该高亮影响因子表示高亮区域对该像素内容影响的强度；以及内容检测部件1420，其基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容。关于图像高亮区域的内容检测装置1400以及其高亮影响因子计算部件1410、内容检测部件1420的操作可以参考基于图2的流程图的前述内容，这里不再重复描述。

图15示出了根据本发明一个实施例的高亮图像处理装置1500的框图。该高亮图像处理装置1500可以包括：高亮区域检测单元1510、图像内容检测单元1520、高亮区域内容增强单元1530、高亮区域色彩还原单元1540。关于高亮区域检测单元1510、图像内容检测单元1520、高亮区域内容增强单元1530、高亮区域色彩还原单元1540的具体操作可以参考前面结合图13对步骤S1320、S1330、S1340、S1350操作的描述。这里将不再赘述。

根据本发明的再一方面，提供了一种增强高亮区域内容的检测结果的装置1600，该装置1600可以包括：色彩分布模型拟合部件1610，用于以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型；高亮区域内容像素预测部件1620，用于基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。关于上述色彩分布模型拟合部件1610和高亮区域内容像素预测部件1620的功能和具体操作可以参考结合图10对步骤S1010和S1020的描述，这里不再赘述。

图17示出了一种还原高亮区域的色彩信息的装置1700，该装置1700可以包括：聚类部件1710，用于分别使用原始图像和对应的漫反射图像来对高亮区域外的像素色彩进行聚类；分类部件1720，用于根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类；以及高亮区域色彩调整部件1730，用于根据色彩分类的结果对高亮区域内的像素色彩进行调整。关于上述聚类部件1710、分类部件1720和高亮区域色彩调整部件1730的功能和具体操作可以参考前面结合图11对步骤S1110-S1130的描述，这里不再赘述。

变形例

本发明以投影仪-摄像机***作为本发明的一个应用场景，不过本发明的应用并不局限于此，任何图像中可能出现高光区域的情况均可以应用本发明。

本发明以文字或笔画作为图像内容的例子说明了内容的检测、增强和恢复。但是本发明并不局限于此，其他图像内容例如人脸、景物等均可以应用本发明。

虽然，本发明尤其适用于欠缺纹理信息的图像的情况下，但是本发明也可以适用于具有纹理信息的图像的情况下。而且本发明的高亮影响因子也可以在构建纹理信息的图像模型时加以考虑。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种图像高亮区域的内容检测方法，包括：

确定高亮区域内各个像素的高亮影响因子，该高亮影响因子表示高亮区域对该像素内容影响的强度；

基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容，

其中，所述高亮区域是通过下述操作检测出来的：

从原始图像获得漫反射图像；

获得原始图像和漫反射图像之间的各个像素的强度差；

自适应地确定强度差阈值；以及

根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域，

其中所述自适应地确定强度差阈值包括：

以该各个像素的强度差的平均值作为第一强度差阈值；

根据第一强度差阈值和各个像素的强度差，将各个像素分类为高强度像素和低强度像素；

确定高强度像素的强度差的平均值作为第二强度差阈值；

根据第二强度差阈值和各个像素的强度差，再次将各个像素分类为高强度像素和低强度像素；

确定此再次分类的高强度像素的强度差的平均值作为第三强度差阈值；以及

基于至少该第一、第二、第三强度差阈值来确定所述强度差阈值。

2.根据权利要求1的内容检测方法，所述基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容包括：

根据高亮区域外的图像内容来确定第一阈值；

针对高亮区域内的各个像素，基于该各个像素的高亮影响因子，来调整该第一阈值，以确定针对该各个像素的阈值；

根据针对该各个像素的阈值，来确定该各个像素属于内容还是背景，从而获得第一检测结果。

3.根据权利要求1或2的内容检测方法，还包括：

基于多个不同尺度的局部区域的信息来检测内容，从而得到第二检测结果；

至少基于第一检测结果和第二检测结果来获得最终检测结果。

4.根据权利要求3的内容检测方法，其中根据各个像素的高亮影响因子来确定该多个不同尺度的局部区域中的至少一个局部区域的尺度的大小。

5.根据权利要求1、2、4中任一个的内容检测方法，还包括：

以所检测的检测结果中是内容的像素点作为样本来拟合高亮区域内的内容像素的预定色彩分布模型；

基于拟合后的内容像素色彩分布模型来预测高亮区域内的未检测出的内容像素。

6.根据权利要求5的内容检测方法，还包括：

分别使用原始图像和漫反射图像来对高亮区域外的像素色彩进行聚类；

根据各自色彩聚类结果分别对原始图像和漫反射图像的高亮区域内的像素色彩进行分类；以及

根据色彩分类的结果对高亮区域内的像素色彩进行调整。

7.一种图像高亮区域的检测方法，包括：

从原始图像获得漫反射图像；

获得原始图像和漫反射图像之间的各个像素的强度差；

自适应地确定强度差阈值；以及

根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域，

其中所述自适应地确定强度差阈值包括：

以该各个像素的强度差的平均值作为第一强度差阈值；

根据第一强度差阈值和各个像素的强度差，将各个像素分类为高强度像素和低强度像素；

确定高强度像素的强度差的平均值作为第二强度差阈值；

根据第二强度差阈值和各个像素的强度差，再次将各个像素分类为高强度像素和低强度像素；

确定此再次分类的高强度像素的强度差的平均值作为第三强度差阈值；以及

基于至少该第一、第二、第三强度差阈值来确定所述强度差阈值。

8.一种图像高亮区域的内容检测装置，包括：

高亮影响因子计算部件，其确定高亮区域内各个像素的高亮影响因子，该高亮影响因子表示高亮区域对该像素内容影响的强度；以及

内容检测部件，其基于高亮区域内各个像素的高亮影响因子来检测图像高亮区域中的内容，

其中，所述高亮区域是通过所述高亮影响因子计算部件的下述操作检测出来的：

从原始图像获得漫反射图像；

获得原始图像和漫反射图像之间的各个像素的强度差；

自适应地确定强度差阈值；以及

根据强度差阈值和所述各个像素的强度差，检测出所述高亮区域，

其中所述自适应地确定强度差阈值包括：

以该各个像素的强度差的平均值作为第一强度差阈值；

根据第一强度差阈值和各个像素的强度差，将各个像素分类为高强度像素和低强度像素；

确定高强度像素的强度差的平均值作为第二强度差阈值；

根据第二强度差阈值和各个像素的强度差，再次将各个像素分类为高强度像素和低强度像素；

确定此再次分类的高强度像素的强度差的平均值作为第三强度差阈值；以及

基于至少该第一、第二、第三强度差阈值来确定所述强度差阈值。