CN105261021B - 去除前景检测结果阴影的方法及装置 - Google Patents
去除前景检测结果阴影的方法及装置 Download PDFInfo
- Publication number
- CN105261021B CN105261021B CN201510679083.6A CN201510679083A CN105261021B CN 105261021 B CN105261021 B CN 105261021B CN 201510679083 A CN201510679083 A CN 201510679083A CN 105261021 B CN105261021 B CN 105261021B
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- shade
- texture
- statistical feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种去除前景检测结果阴影的方法，包括：由输入的原始图像得到灰度图及前景检测图，获取灰度图中的阴影候选区，还包括：将灰度图去除背景得到前景灰度图，根据前景灰度图，在水平方向上计算各像素行的纹理统计特征值，在垂直方向上计算各像素列的纹理统计特征值；利用纹理统计特征值找到分割位置；在灰度图中分别计算分割位置两侧的阴影候选区与前景像素的比例，并从分割位置的两侧中选择比例较大的一侧作为阴影去除。本发明还公开了一种对应的装置。利用本发明的方法及装置，能够有效地降低前景检测结果中阴影的误检率，避免将非阴影区域误检为阴影区域，提高阴影识别准确率，从而有助于后续处理效率的提高。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种去除前景检测结果阴影的方法及装置。
背景技术
由于阴影具有与运动物体相同的运动特征，通常被误检测为前景，视频图像中存在的阴影是影响运动目标检测效果的关键因素之一，对阴影进行检测和消除已成为运动检测中的重要研究内容。如果阴影和运动物体融合，将影响目标的几何特征；如果阴影与运动目标相分离，则容易被误检测为新的目标。这些误检测对高层的运动目标分类、跟踪以及行为分析等都造成很大的影响，因此在运动目标检测过程中对阴影进行消除具有重要意义。目前，从前景目标中消除阴影还没有简单有效的办法，是图像领域难解问题之一。
目前大多数的阴影检测和消除方法都是基于阴影本身的特征来开发的，例如阴影的灰度特征、色度特征、纹理统计特征等等。现有技术中，进行阴影去除的方法包括：将图像进行灰度化处理，再进行前景检测处理，以剔除背景，对二值化的前景检测图分别进行水平和垂直投影，分别得到水平投影直方图及垂直投影直方图，并设定门限值，将小于某一门限值的部分判定为阴影并去除。
另外也存在基于像素点进行阴影去除的方法，即根据阴影的亮度等特点设置阈值，当像素点超过对应的阈值时，将像素点判定为阴影进行去除。
由于各场景不同，门限值或阈值的取值范围也就不同，针对不同的场景，不存在普遍适用的门限值或阈值，从而导致容易造成阴影的误判。因此无论基于像素点的方法还是简单的投影方法，虽然在某些阈值下能有效检测出阴影的部分，但同时容易将车窗、行人或机动车、非机动车等与阴影特征相似的局部区域误检测为阴影，一并去除，这样容易造成前景空洞、分割错误等问题。
因此，现有技术存在将非阴影区域误检为阴影区域的问题。
发明内容
为解决现有技术阴影区域误检率高的问题，本发明提供了一种方法，减少阴影区域被误检的概率。
一种去除前景检测结果阴影的方法，包括：由输入的原始图像得到灰度图及前景检测图，并获取图像前景中的阴影候选区，还包括：
将所述灰度图去除背景得到前景灰度图，根据所述前景灰度图，在水平方向上计算各像素行的纹理统计特征值，在垂直方向上计算各像素列的纹理统计特征值；
利用像素行的纹理统计特征值找到水平方向上的分割位置，且利用像素列的纹理统计特征值找到垂直方向上的分割位置，其中分割位置为使运动目标与阴影差异最大的像素位置；
分别计算水平及垂直方向上的分割位置两侧的阴影候选区占所对应前景部分的比例，并从分割位置的两侧中选择比例较大的一侧作为阴影去除。
从基于纹理统计特征进行的投影中找到使运动目标与阴影差异最大的分割点，将分割结果结合阴影候选区域，进一步确定物体阴影的检测范围，从而避免一些类似阴影的区域被当作阴影而被去除，提高了阴影检测的准确率。另外这种方法本身已对运动物体和阴影部分进行了准确分割，因此在选择候选阴影区域时，针对不同场景不需要设置严格的门限值，可以对大部分场景设置普遍适用的统一门限值，从而提高了方法的普遍适用性。在水平方向上所述像素位置为像素行位置，在垂直方向上所述像素位置为像素列的位置，在灰度图中包含有前景纹理统计特征，但同时也包含背景的纹理统计特征，而背景的纹理统计特征在进行投影时为无效信息，会对后面的分割过程造成干扰，通过将灰度图与前景检测图相乘，将灰度图去除背景，从所得到的前景灰度图中直接可获取前景的纹理统计特征，避免背景的干扰，从而提高分割准确率。将所述前景检测图与所述灰度图相乘，即可将灰度图中的背景去除。
其中获取阴影候选区的图像可能由前景检测图得到也可能由原始图像得到，例如通过将前景检测图进行水平和垂直方向上投影的方式得到阴影候选区，则获取的阴影候选区在前景检测图中；利用色度、亮度结合饱和度的方式得到阴影候选区时，所获取的阴影候选区在原始图像中，或者，根据后续要进行的处理，阴影候选区也可能在灰度图中。
由于划分的位置并不一定是中心位置，因此，如果仅仅是判断各部分被判断为阴影的像素行或像素列出现频次，则可能造成被划分出来面积较大的部分被判断为阴影的像素行或像素列或是像素点比划分出来面积较小的部分出现频次高，从而导致总是将划分出的面积较大的部分被作为阴影区剔除。为了防止这种现象出现，通过将阴影候选区在所划分部分中的前景部分所占比例来判断阴影区出现的可能性大小。不同的计算方法得到的阴影候选区不同，例如通过投影方法得到的阴影候选区由像素行或像素列组成，由色度、亮度结合饱和度得到的阴影候选区由像素点组成。如果阴影候选区由像素行或像素列组成，则计算该阴影候选区在所划分出的部分中对应的被判定为前景的像素行或像素列的比例；如果阴影候选区由像素点组成，则计算被判定为阴影候选区的像素点个数在所划分出的部分中占前景像素点个数的比例，将计算比例较高的整个部分作为阴影区剔除。
水平方向上，每个像素位置表示一行像素行，垂直纹理方向上，每个像素位置表示一列像素列。
进一步而言，所计算的纹理统计特征值包括以下至少一个：梯度、方差、Sobel算子、熵、拉普拉斯算子以及LBP特征值。
采用其中一种时，利用所选择的纹理统计特征值计算方法分别计算在水平方向上各像素行的纹理统计特征值和在垂直方向上各像素列的纹理统计特征值。当采用多种时，利用所选择的纹理统计特征值计算方法分别计算在水平方向上各像素行的纹理统计特征值和垂直方向上各像素列的纹理统计特征值。
进一步而言，所述纹理统计特征值为方差，对于具有p行q列的前景灰度图，水平和垂直方向上的纹理统计特征值获取方法如下：
水平方向上第i行像素行的方差HorizontalVariance(i)为第i行相邻两侧r行上所有不为0的像素点的灰度值方差统计结果，其中r为指定值：
其中，FG′(i,j)表示在所述前景灰度图中第i行第j列像素点的灰度值， FG′(i,j)中j的取值为1到q且i的取值为i-r到i+r，为所述第i-r到i+r共2*r+1 行像素的灰度值均值，m1为2r+1行像素的总个数；
垂直方向上，第j列像素列的方差VerticalVariance(j)为第j列相邻两侧c 列上所有不为0的像素点的方差统计结果：
其中，FG′(i,j)表示在所述前景灰度图中第i行第j列像素点的灰度值， FG′(i,j)中j的取值为j-c到j+c，且i的取值为1到p，为所述第j-c到j+c共 2*c+1列的像素灰度值均值，m2为2c+1列像素的总个数。
图像中单个像素行或像素列的方差可能存在其中某一像素行或像素列的方差由于噪声或其他原因而出现异常，不满足正常的统计特征，在后续的分割位置查找中可能误将该像素位置作为分割位置，因此为避免出错，考虑邻近的像素行或像素列的信息，类似于滤波的作用，从而使得计算得到的纹理统计特征方差具有良好的统计特性。类似的采用统计方式得到的熵作为纹理统计特征值时，对应的像素行或像素列也需要将邻近的对应像素行或像素列信息加以考虑。
进一步而言，所述纹理统计特征值采用Sobel算子计算得到，对所述前景灰度图中第i行第j列的像素点，
水平Sobel算子计算结果为：
S(i,j)＝FG′(i-1,j-1)+2·FG′(i-1,j)+FG′(i-1,j+1)
-FG′(i+1,j-1)-2·FG′(i+1,j)-FG′(i+1,j+1)
垂直Sobel算子计算结果为：S(i,j)＝FG′(i-1,j+1)+2· FG′(i,j+1)+FG′(i+1,j+1)-FG′(i-1,j-1)-2·FG′(i,j-1)- FG′(i+1，j-1)
其中FG′为像素点的灰度值，在水平方向上各像素行的纹理统计特征值为该像素行的像素点中Sobel算子的最大值；
在垂直方向上各像素列的纹理统计特征值为该像素行 的像素点中 Sobel算子的最大值。
Sobel算子作为特征值时，已将邻近像素的信息加以考虑，在采用其他的局部纹理统计特征值如梯度、拉普拉斯算子、LBP特征值进行投影时，像素行或像素列所对应的投影特征值也为该像素行或像素列所计算得到像素点纹理统计特征值中的最大值。
进一步而言，在水平和垂直方向上找到分割位置的方法包括，对于单个方向上的第n个像素位置，分别计算：
其中，k为像素行或像素列的总长度，H(i)表示第i个像素位置的纹理统计特征值，为第n个像素位置之前所有像素位置的纹理统计特征值均值，为第n个像素位置之后所有像素位置的纹理统计特征值均值，在水平方向上第n个像素位置为第n个像素行，在垂直方向上第n个像素位置为第n个像素列；
获取σ1与σ2之和达到最小值所在的像素位置，作为运动目标与阴影差异最大的分割位置。
σ1表示在第n个像素位置之前各像素位置的纹理统计特征值与均值之间的差值之和，σ2表示在第n个像素位置之后各像素位置的纹理统计特征值与均值之间的差值之和，当σ1与σ2之和达到最小，则意味着在当前的n 取值处左侧及右侧的相邻像素位置之间纹理统计特征值的差异均达到了最小，同时表明该像素位置运动目标与阴影差异最大，从而将运动目标与阴影分开。
进一步而言，获取图像前景中的阴影候选区的方法包括以下一者：
对图像中的前景分别进行水平和垂直投影并限定门限值，得到小于所述门限值的像素位置在图像中对应的区域作为所述阴影候选区；
分别预设亮度、色度以及饱和度的阈值，并将图像中将亮度、色度以及饱和度同时超出阈值的像素点作为所述阴影候选区。
采用对前景检测图进行水平和垂直投影并限定门限值的方法，在水平投影得到的水平投影直方图中，所得到的阴影候选区为像素灰度值小于门限值的各像素行，在垂直投影得到的水平投影直方图中，所得到的阴影候选区为所得到的阴影候选区为像素灰度值小于门限值的各像素列。
采用预设亮度、色度以及饱和度的阈值方法所得到的各像素点组成所述的阴影候选区。
进一步而言，在所计算的纹理统计特征值有多个的情况下，对应地在水平和垂直方向上得到的分割位置均有多个，对于单个方向，在分别计算各分割位置两侧阴影候选区与前景像素的比例之后，先选择两侧比例相差较大的分割位置作为最终分割位置，再从所选最终分割位置的两侧中选择比例较大的一侧作为阴影去除。
结合多个纹理统计特征值综合考虑，可以提高阴影区判定的准确性，在利用分割位置进行划分时，不同分割位置划分出的两个部分中，阴影候选区所占前景的比例不同，而比例相差较大表明阴影与非阴影之间的区分度高，因此将两部分比例相差较大所对应的分割位置作为最终的分割位置可以更准确地剔除阴影。
为实施本发明方法，本发明还提供了对应的装置，以降低图像中的阴影误检率。
一种去除前景检测结果阴影的装置，包括：预处理模块，由输入的原始图像得到灰度图及前景检测图，阴影候选区获取模块获取图像前景中的阴影候选区，还包括：
纹理统计特征值计算模块，将所述灰度图去除背景得到前景灰度图，从所述前景灰度图计算水平方向上以及垂直方向上的纹理统计特征值；
分割位置查找模块，利用水平方向上的纹理统计特征值找到水平方向上的分割位置且利用垂直方向上的纹理统计特征值找到垂直方向上的分割位置，其中各分割位置在对应方向上使运动目标与阴影差异最大；
阴影去除模块，分别计算水平及垂直方向上的分割位置两侧的阴影候选区占所对应前景部分的比例，并从分割位置的两侧中选择比例较大的一侧作为阴影去除。
从基于纹理统计特征进行的投影中找到使运动目标与阴影差异最大的分割点，将分割结果结合阴影候选区域，进一步确定物体阴影的检测范围，从而避免一些类似阴影的区域被当作阴影而被去除，提高了阴影检测的准确率。另外这种方法本身已对运动物体和阴影部分进行了准确分割，因此在选择候选阴影区域时，针对不同场景不需要设置严格的门限值，可以对大部分场景设置普遍适用的统一门限值，从而提高了方法的普遍适用性。在水平方向上所述像素位置为像素行位置，在垂直方向上所述像素位置为像素列的位置，在灰度图中包含有前景纹理统计特征，但同时也包含背景的纹理统计特征，而背景的纹理统计特征在进行投影时为无效信息，会对后面的分割过程造成干扰，通过将灰度图与前景检测图相乘，将灰度图去除背景，从所得到的前景灰度图中直接可获取前景的纹理统计特征，避免背景的干扰，从而提高分割准确率。将所述前景检测图与所述灰度图相乘，即可将灰度图中的背景去除。
其中获取阴影候选区的图像可能是前景检测图也可能是原始图像，例如通过将前景检测图进行水平和垂直方向上投影的方式得到阴影候选区，则获取的阴影候选区在前景检测图中；利用色度、亮度结合饱和度的方式得到阴影候选区时，所获取的阴影候选区在原始图像中，或者，根据后续要进行的处理，阴影候选区也可能在灰度图中。
由于划分的位置并不一定是中心位置，因此，如果仅仅是判断各部分被判断为阴影的像素行或像素列出现频次，则可能造成被划分出来面积较大的部分被判断为阴影的像素行或像素列或是像素点比划分出来面积较小的部分出现频次高，从而导致总是将划分出的面积较大的部分被作为阴影区剔除。为了防止这种现象出现，通过将阴影候选区在所划分部分中的前景部分所占比例来判断阴影区出现的可能性大小。不同的计算方法得到的阴影候选区不同，例如通过投影方法得到的阴影候选区由像素行或像素列组成，由色度、亮度结合饱和度得到的阴影候选区由像素点组成。如果阴影候选区由像素行或像素列组成，则计算该阴影候选区在所划分出的部分中对应的被判定为前景的像素行或像素列的比例；如果阴影候选区由像素点组成，则计算被判定为阴影候选区的像素点个数在所划分出的部分中占前景像素点个数的比例，将计算比例较高的整个部分作为阴影区剔除。
水平方向上，每个像素位置表示一行像素行，垂直纹理方向上，每个像素位置表示一列像素列。
进一步而言，所述纹理统计特征值计算模块所计算的纹理统计特征值包括以下至少一个：梯度、方差、Sobel算子、熵、拉普拉斯算子以及LBP 特征值。
采用其中一种时，利用所选择的纹理统计特征值计算方法分别计算在水平方向上各像素行的纹理统计特征值和在垂直方向上各像素列的纹理统计特征值。当采用多种时，利用所选择的纹理统计特征值计算方法分别计算在水平方向上各像素行的纹理统计特征值和垂直方向上各像素列的纹理统计特征值。
进一步而言，所述分割位置查找模块在水平和垂直方向上找到分割位置的方法包括，对于单个方向上的第n个像素位置，分别计算：
其中，k为像素行或像素列的总长度，H(i)表示第i个像素位置的纹理统计特征值，为第n个像素位置之前所有像素位置的纹理统计特征值均值，为第n个像素位置之后所有像素位置的纹理统计特征值均值，在水平方向上第n个像素位置为第n个像素行，在垂直方向上第n个像素位置为第n个像素列；
获取σ1与σ2之和达到最小值所在的像素位置，作为运动目标与阴影差异最大的分割位置。
σ1表示在第n个像素位置之前各像素位置的纹理统计特征值与均值之间的差值之和，σ2表示在第n个像素位置之后各像素位置的纹理统计特征值与均值之间的差值之和，当σ1与σ2之和达到最小，则意味着在当前的n 取值处左侧及右侧的相邻像素位置之间纹理统计特征值的差异均达到了最小，同时表明该像素位置运动目标与阴影差异最大，从而将运动目标与阴影分开。
进一步而言，所述纹理统计特征值计算模块所计算的纹理统计特征值有多个的情况下，对应地分割位置查找模块在水平和垂直方向上得到的分割位置均有多个，对于单个方向，所述阴影去除模块在分别计算各分割位置两侧阴影候选区与前景像素的比例之后，先选择两侧比例相差较大的分割位置作为最终分割位置，再从所选最终分割位置的两侧中选择比例较大的一侧作为阴影去除。
结合多个纹理统计特征值综合考虑，可以提高阴影区判定的准确性，在利用分割位置进行划分时，不同分割位置划分出的两个部分中，阴影候选区所占前景的比例不同，而比例相差较大表明阴影与非阴影之间的区分度高，因此将两部分比例相差较大所对应的分割位置作为最终的分割位置可以更准确地剔除阴影。
本发明的方法及装置突出效果在于，能够有效地降低前景检测结果中阴影的误检率，避免将非阴影区域误检为阴影区域，提高阴影识别准确率，从而有助于后续处理效率的提高；不需要针对具体场景设定具体的门限值，从而提高了方法适用的普遍性；结合多个纹理统计特征值综合考虑，可以提高阴影区判定的准确性。
附图说明
图1为本发明一个实施例的方法流程图；
图2为本发明当前实施例的垂直方向纹理投影直方图；
图3为本发明当前实施例查找分割位置所得到的查找结果示意图。
具体实施方式
现结合实施例及说明书附图对本发明方案进行详细的解释说明。
本发明根据实际使用中的阴影情况进行分析，用一种简单有效的方式，将纹理信息与几何信息相结合，去除阴影，正确分割，提高后期跟踪与识别的准确率。本发明一个实施例去除前景检测结果阴影的装置包括：预处理模块、纹理统计特征值计算模块、分割位置查找模块、阴影候选区获取模块以及阴影去除模块。
当前实施例利用去除前景检测结果阴影的装置对前景检测结果进行阴影去除的方法如图1所示，包括如下步骤：
A，预处理模块根据将输入的原始图像得到灰度图及前景检测图。
在当前实施例中，预处理模块对输入的原始图像进行灰度化处理，得到灰度图；并对灰度图进行前景检测得到二值化的前景检测图。
B，纹理统计特征值计算模块将灰度图与前景检测图进行点乘得到前景灰度图，并根据前景灰度图在水平方向上计算各像素行的纹理统计特征值，在垂直方向上计算各像素列的纹理统计特征值。
后续进行纹理统计特征的计算需要灰度信息，而前景检测图为二值化图像，不存在灰度信息，而如果直接采用灰度图，由于灰度图中包含有前景纹理统计特征，但同时也包含背景的纹理统计特征，而背景的纹理统计特征在进行投影时为无效信息，会对后面的分割过程造成干扰。首先以粗略分割得到的前景检测图为掩码图像，将用相同的坐标分割出来的灰度图对应区域提取出来，即将前景检测图与灰度图进行点乘，得到前景灰度图。前景灰度图为去除了背景的灰度图。
这里图像的纹理可以用多种不同的方式进行描述，例如梯度、方差、 Sobel、熵等，均可表征图像细节的丰富程度。多种纹理统计特征描述方式可选择其中一种使用，也可使用多种然后综合判断，需要对性能和效果进行权衡。当前实施例中采用各像素行及各像素列在指定范围内的方差，每行像素行的方差用当前像素行与两侧相邻c行的方差表示，每列像素列的方差用两侧相邻r列的方差表示，当前实施例中，c以及r的取值均为1，即对于第i行像素，其方差为i-1、i、i+1三行的灰度值方差，即对于第j 列像素，其方差为j-1、j、j+1三列的灰度值方差。
水平方向上第i行像素行的方差HorizontalVariance(i)为i-1、i、i+1三行上所有不为0的像素点的灰度值方差统计结果：
其中，FG′(i，j)表示在前景灰度图中第i行第j列像素点的灰度值，FG′(i,j) 中j的取值为1到q且i的取值为i-1，i以及i+1，为所述第i-1、i、i+1三行像素的灰度值均值，m1为i-1到i+1这3行的像素点个数总和；
垂直方向上，第j列像素列的方差为第j-1、j、j+1三列上所有不为0的像素点的方差统计结果：
其中，FG′(i,j)表示在前景灰度图中第i行第j列像素点的灰度值，FG′(i，j) 中j的取值为j-1到j+1，且i的取值为1到p，为第j-1、j、j+1三列的像素灰度值均值，m2为j-1到j+1这3列的像素点个数总和。
纹理统计特征值也采用其他方式计算得到，例如采用Sobel算子作为纹理统计特征值，对第i行第j列的像素点，水平Sobel算子计算结果为：
S(i,j)＝FG′(i-1,j-1)+2·FG′(i-1,j)+FG′(i-1,j+1)
-FG′(i+1,j-1)-2·FG′(i+1，j)-FG′(i+1，j+1)
对第i行第j列的像素点，垂直Sobel算子计算结果为：
S(i，j)＝FG′(i-1，j+1)+2·FG′(i，j+1)+FG′(i+1，j+1)
-FG′(i-1，j-1)-2·FG′(i，j-1)-FG′(i+1，j-1)
其中FG’表示像素点的灰度值，括号中参数分别表示像素点的行列位置。
当前实施例中，水平方向像素行的纹理统计特征值用水平纹理投影直方图表示，垂直方向像素列的纹理统计特征值用垂直纹理投影直方图表示。
对于方差而言，水平纹理投影直方图HorizontalProject(i)为：
HorizontalProject(i)＝HorizontalVariance(i)；
即，水平纹理投影直方图的横坐标为各像素行，纵坐标为各像素行的方差，此处各像素行的方差即为计算得到的HorizontalVariance(i)。
垂直纹理投影直方图VerticalProject(j)为：
VerticalProject(j)＝VerticalVariance(j)。
同理，垂直纹理投影直方图的横坐标为各像素列，纵坐标为各像素列的方差，此处各像素列的方差即为计算得到的VerticalVariance(j)。
采用方差作为纹理统计特征值，在垂直方向上投影得到的垂直纹理投影直方图如图2所示。
如果采用Sobel算子，则在水平纹理投影直方图中，对于任意像素行，像素行的纹理统计特征值为该行像素点中Sobel算子的最大值；在垂直纹理投影直方图中，对于任意像素列，像素列的纹理统计特征值为该列像素点中Sobel算子的最大值。其他局部纹理统计特征值例如拉普拉斯算子、梯度、LBP特征值在进行纹理统计特征值的计算时，某一像素行或像素列的纹理统计特征值中均为像素行或像素列中像素点的最大纹理统计特征值。
C，分割位置查找模块分别从水平纹理投影图及垂直纹理投影图中找到使运动目标与阴影部分在投影上差异最大的分割位置。
由于步骤B已经用纹理统计特征很好地描述了图像信息，得到了纹理投影直方图，只需要通过纹理投影直方图的信息来找到差异最大的分割位置。对纹理投影直方图的第n个像素位置，计算：
其中k为纹理投影直方图的总长度，即水平纹理投影直方图中总长度为像素行的总行数，垂直纹理投影直方图中总长度为像素列的总列数，为第n个像素位置之前所有像素位置的纹理统计特征值均值，为第n个像素位置之后所有像素位置的纹理统计特征值均值。当σ1与σ2之和达到最小值时，表示在该像素位置运动目标与阴影部分被最大程度地区分开来。
最小值所对应的坐标位置即为所需要的分割位置，当前实施例中采用大津法(Ostu)查找运动目标与阴影部分在投影上差异最大的分割位置。利用大津法对图2所示垂直纹理投影直方图处理得到的结果如图3所示，其中图3横坐标为像素列，纵坐标为像素列所对应的σ1与σ2之和。在垂直纹理投影直方图中查找到的分割位置为j＝38，也可以用其他已知的分类方法例如K-means聚类算法找到该最小值的位置。
如果计算的纹理统计特征值有多个，例如既有方差也有Sobel算子，则得到的各投影方向上的纹理投影直方图也有对应地有多个，分别是方差的纹理投影直方图以及Sobel算子的纹理投影直方图。相对应地，每个纹理投影直方图中均会得到一个对应的分割位置。例如，利用方差在垂直纹理投影所得到的分割位置为j＝38，利用Sobel算子在垂直纹理投影所得到的分割位置则为j＝42，则在后续的分割过程中需要进一步进行处理。
D，阴影候选区获取模块获取图像前景中的阴影候选区。
步骤D采用现有的阴影判断方法获取阴影候选区域，步骤D在步骤 A完成之后即可进行，可以与步骤B或C同时进行，也可以放在步骤B 或C之前或之后进行，当前实施例中，步骤D在完成步骤C后进行。
现有阴影候选区的获取方法包括：对前景检测图进行水平及垂直投影，或者将亮度与色度信息结合。采用亮度结合色度信息获取灰度图中阴影候选区的获取方式为，将同时满足以下三个不等式的像素点作为阴影候选区：
α≤L(x,y)/LB≤β；
|H(x,y)-HB|≤τH；
S(x,y)-SB≤τs。
对于坐标为(x,y)的像素点，其中L(x,y)表示该像素点的亮度。H(x,y) 表示该像素点的色度、S(x,y)表示该像素点的饱和度，LB、HB及SB分别表示灰度图中的背景亮度、背景色度及背景饱和度，在得到前景检测图之后， LB、HB及SB这几个值可以通过对背景的相应计算处理得到。其中α、β及τH均为大于0且小于1的值，τs为大于-1且小于0的值，各值均为预设值，由于色度、亮度以及饱和度信息需要用原始图像(具有RGB信息) 结合背景所得到的相关值进行处理，因此阴影候选区在原始图像的前景中获取。
本发明当前实施例利用前景检测图投影的方法，是基于行和列来处理的分割位置两侧满足条件的行/列数与分割位置两侧总的行列数。对前景检测图分别进行水平和垂直投影，分别得到水平投影直方图及垂直投影直方图并设定门限值，其中水平投影直方图中横坐标对应灰度图中的像素行，垂直投影直方图中的横坐标对应灰度图中的像素列，各投影直方图中的纵坐标对应像素行或像素列的灰度值，将小于门限值的像素行及像素列判定为阴影候选区，因此得到的图像前景中的阴影候选区是从前景检测图中的前景中获取的。
E，阴影去除模块分别计算水平及垂直方向上的分割位置两侧的阴影候选区与前景部分的比例，并从分割位置的两侧中选择比例较大的一侧作为阴影去除。
分割位置在图像中对应像素列或像素行，在当前步骤中，首先利用分割位置将图像进行划分，对应地，将阴影候选区及前景部分被分割位置划分。以垂直纹理投影直方图为例，当前实施例利用方差纹理统计特征值得到的垂直方向上分割位置为j＝38列处，则该分割位置将图像在对应的垂直方向上划分为两个部分。在该方向上，获取各部分阴影候选区在对应部分的前景中所占比例，并将所对应方向中比例较大的部分作为阴影部分去除。当前实施例中第38列左侧的部分小于门限值的像素列(被判定为阴影候选区的像素列)占前景像素列的38％，右侧为24％，则表明左侧部分为阴影部分的可能性较大，从而将第38列左侧部分作为阴影区全部进行剔除。
如果所计算的纹理统计特征值有多个，例如有方差和Sobel算子，则各个方向上的分割位置也有多个，此时需要通过比较来确立最终用于划分的分割位置，例如Sobel算子在垂直纹理投影直方图中得到的分割位置为第42列，则对其左右两侧的部分同样进行阴影候选区占前景部分比例的计算，例如，得到左侧所占比例为43％，右侧所占比例为20％，在这种情况下，可以发现，在垂直方向上方差所对应的分割位置划分出的两部分阴影候选区比例差异要小于Sobel算子所对应的分割位置划分出的两部分阴影候选区比例差异，从而将Sobel算子所对应的分割位置作为最终用于划分的分割位置，并且将阴影候选区在前景中所占比例较大的部分，即左侧部分作为阴影部分剔除。在水平方向上可以通过同样的方式确定分割位置及阴影。
如果是基于像素点的亮度、色度以及饱和度信息来判定阴影候选区的，同理，例如得到的垂直分割位置左侧，假设原本有XL个像素点为前景像素点，而被判定为阴影候选区的有YL个像素点，则左侧的阴影占前景像素点PL＝YL/XL；同样，分割位置右侧的前景像素点个数记为XR，被判定为阴影候选区的像素点个数记为YR，右侧的阴影候选区占前景像素点比例为PR＝YR/XR。比较PL和PR的大小，概率较大的一侧判定为阴影，进行去除；所占比例较小的一侧判定为运动物体，予以保留。如果单个投影方向上分割位置有多个，同样也通过先比较分割位置所划分的两部分阴影所占比例差异进行比较来确定分割位置，两部分差异较大的分割位置作为最终的分割位置，再进行阴影的剔除。
本发明的方法及装置突出效果在于，能够有效地降低前景检测结果中阴影的误检率，避免将非阴影区域误检为阴影区域，提高阴影识别准确率，从而有助于后续处理效率的提高；不需要针对具体场景设定具体的门限值，从而提高了方法适用的普遍性；结合多个纹理统计特征值综合考虑，可以提高阴影区判定的准确性。
Claims (11)
1.一种去除前景检测结果阴影的方法，包括：由输入的原始图像得到灰度图及前景检测图，并获取图像前景中的阴影候选区，其特征在于，还包括：
将所述灰度图去除背景得到前景灰度图，根据所述前景灰度图，在水平方向上计算各像素行的纹理统计特征值，在垂直方向上计算各像素列的纹理统计特征值；
利用像素行的纹理统计特征值找到水平方向上的分割位置，且利用像素列的纹理统计特征值找到垂直方向上的分割位置，其中分割位置为使运动目标与阴影差异最大的像素位置；
分别计算水平及垂直方向上的分割位置两侧的阴影候选区占所对应前景部分的比例，并从分割位置的两侧中选择比例较大的一侧作为阴影去除。
2.如权利要求1所述去除前景检测结果阴影的方法，其特征在于，所计算的纹理统计特征值包括以下至少一个：梯度、方差、Sobel算子、熵、拉普拉斯算子以及LBP特征值。
3.如权利要求1所述去除前景检测结果阴影的方法，其特征在于，所述纹理统计特征值为方差，对于具有p行q列的前景灰度图，水平和垂直方向上的纹理统计特征值获取方法如下：
水平方向上第i行像素行的方差HorizontalVariance(i)为第i行相邻两侧r行上所有不为0的像素点的灰度值方差统计结果，其中r为指定值：
其中，FG′(i，j)表示在所述前景灰度图中第i行第j列像素点的灰度值，FG′(i，j)中j的取值为1到q且i的取值为i-r到i+r，为所述第i-r到i+r共2*r+1行像素的灰度值均值，m1为2r+1行像素的总个数；
垂直方向上，第j列像素列的方差VerticalVariance(j)为第j列相邻两侧c列上所有不为0的像素点的方差统计结果：
其中，FG′(i，j)表示在所述前景灰度图中第i行第j列像素点的灰度值，FG′(i，j)中j的取值为j-c到j+c，且i的取值为1到p，为所述第j-c到j+c共2*c+1列的像素灰度值均值，m2为2c+1列像素的总个数。
4.如权利要求1所述去除前景检测结果阴影的方法，其特征在于，所述纹理统计特征值采用Sobel算子计算得到，对所述前景灰度图中第i行第j列的像素点，
水平Sobel算子计算结果为：
S(i，j)＝FG′(i-1，j-1)+2·FG′(i-1，j)+FG′(i-1，j+1)
-FG′(i+1，j-1)-2·FG′(i+1，j)-FG′(i+1，j+1)
垂直Sobel算子计算结果为：
S(i，j)＝FG′(i-1，j+1)+2·FG′(i，j+1)+FG′(i+1，j+1)
-FG′(i-1，j-1)-2·FG′(i，j-1)-FG′(i1，j-1)
其中FG′为像素点的灰度值，在水平方向上各像素行的纹理统计特征值为该像素行的像素点中Sobel算子的最大值；
在垂直方向上各像素列的纹理统计特征值为该像素列 的像素点中Sobel算子的最大值。
5.如权利要求1所述去除前景检测结果阴影的方法，其特征在于，在水平和垂直方向上找到分割位置的方法包括，对于单个方向上的第n个像素位置，分别计算：
其中，k为像素行或像素列的总长度，H(i)表示第i个像素位置的纹理统计特征值，为第n个像素位置之前所有像素位置的纹理统计特征值均值，为第n个像素位置之后所有像素位置的纹理统计特征值均值，在水平方向上第n个像素位置为第n个像素行，在垂直方向上第n个像素位置为第n个像素列；
获取σ1与σ2之和达到最小值所在的像素位置，作为运动目标与阴影差异最大的分割位置。
6.如权利要求1所述去除前景检测结果阴影的方法，其特征在于，获取图像前景中的阴影候选区的方法包括以下一者：
对图像中的前景分别进行水平和垂直投影并限定门限值，得到小于所述门限值的像素位置在图像中对应的区域作为所述阴影候选区；
分别预设亮度、色度以及饱和度的阈值，并将图像中将亮度、色度以及饱和度同时超出阈值的像素点作为所述阴影候选区。
7.如权利要求1或2所述去除前景检测结果阴影的方法，其特征在于，在所计算的纹理统计特征值有多个的情况下，对应地在水平和垂直方向上得到的分割位置均有多个，对于单个方向，在分别计算各分割位置两侧阴影候选区与前景像素的比例之后，先选择两侧比例相差较大的分割位置作为最终分割位置，再从所选最终分割位置的两侧中选择比例较大的一侧作为阴影去除。
8.一种去除前景检测结果阴影的装置，包括：预处理模块，由输入的原始图像得到灰度图及前景检测图，阴影候选区获取模块，并获取图像前景中的阴影候选区，其特征在于，还包括：
纹理统计特征值计算模块，将所述灰度图去除背景得到前景灰度图，从所述前景灰度图计算水平方向上以及垂直方向上的纹理统计特征值；
分割位置查找模块，利用水平方向上的纹理统计特征值找到水平方向上的分割位置且利用垂直方向上的纹理统计特征值找到垂直方向上的分割位置，其中各分割位置在对应方向上使运动目标与阴影差异最大；
阴影去除模块，分别计算水平及垂直方向上的分割位置两侧的阴影候选区占所对应前景部分的比例，并从分割位置的两侧中选择比例较大的一侧作为阴影去除。
9.如权利要求8所述去除前景检测结果阴影的装置，其特征在于，所述纹理统计特征值计算模块所计算的纹理统计特征值包括以下至少一个：梯度、方差、Sobel算子、熵、拉普拉斯算子以及LBP特征值。
10.如权利要求8所述去除前景检测结果阴影的装置，其特征在于，所述分割位置查找模块在水平和垂直方向上找到分割位置的方法包括，对于单个方向上的第n个像素位置，分别计算：
其中，k为像素行或像素列的总长度，H(i)表示第i个像素位置的纹理统计特征值，为第n个像素位置之前所有像素位置的纹理统计特征值均值，为第n个像素位置之后所有像素位置的纹理统计特征值均值，在水平方向上第n个像素位置为第n个像素行，在垂直方向上第n个像素位置为第n个像素列；
获取σ1与σ2之和达到最小值所在的像素位置，作为运动目标与阴影差异最大的分割位置。
11.如权利要求8或9所述去除前景检测结果阴影的装置，其特征在于，所述纹理统计特征值计算模块所计算的纹理统计特征值有多个的情况下，对应地分割位置查找模块在水平和垂直方向上得到的分割位置均有多个，对于单个方向，所述阴影去除模块在分别计算各分割位置两侧阴影候选区与前景像素的比例之后，先选择两侧比例相差较大的分割位置作为最终分割位置，再从所选最终分割位置的两侧中选择比例较大的一侧作为阴影去除。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510679083.6A CN105261021B (zh) | 2015-10-19 | 2015-10-19 | 去除前景检测结果阴影的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510679083.6A CN105261021B (zh) | 2015-10-19 | 2015-10-19 | 去除前景检测结果阴影的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105261021A CN105261021A (zh) | 2016-01-20 |
| CN105261021B true CN105261021B (zh) | 2019-03-08 |
Family
ID=55100693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510679083.6A Active CN105261021B (zh) | 2015-10-19 | 2015-10-19 | 去除前景检测结果阴影的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105261021B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106127744B (zh) * | 2016-06-17 | 2019-05-14 | 广州市幸福网络技术有限公司 | 图像前景和背景边界显著性评估方法及*** |
| CN106339995A (zh) * | 2016-08-30 | 2017-01-18 | 电子科技大学 | 一种基于时空多特征的车辆阴影消除方法 |
| CN107168049B (zh) * | 2017-05-19 | 2019-11-29 | 浙江工业大学 | 光伏阵列输出特性曲线实时获取方法 |
| CN111161299B (zh) * | 2018-11-08 | 2023-06-30 | 深圳富泰宏精密工业有限公司 | 影像分割方法、存储介质及电子装置 |
| CN110659687B (zh) * | 2019-09-24 | 2020-08-18 | 华南农业大学 | 基于黄色诱捕板的黄曲条跳甲检测方法、介质和设备 |
| CN113192101B (zh) * | 2021-05-06 | 2024-03-29 | 影石创新科技股份有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113487502B (zh) * | 2021-06-30 | 2022-05-03 | 中南大学 | 一种坑洼图像的阴影去除方法 |
| CN113450365B (zh) * | 2021-07-16 | 2022-08-16 | 稿定（厦门）科技有限公司 | Psd图片的自动切片方法及装置 |
| CN113870237B (zh) * | 2021-10-09 | 2024-03-08 | 西北工业大学 | 一种基于水平扩散的复合材料图像阴影检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6999620B1 (en) * | 2001-12-10 | 2006-02-14 | Hewlett-Packard Development Company, L.P. | Segmenting video input using high-level feedback |
| CN101098462A (zh) * | 2007-07-12 | 2008-01-02 | 上海交通大学 | 结合色度偏差和亮度偏差的视频运动目标检测方法 |
| CN101324927A (zh) * | 2008-07-18 | 2008-12-17 | 北京中星微电子有限公司 | 一种阴影检测方法及装置 |
| CN102184553A (zh) * | 2011-05-24 | 2011-09-14 | 杭州华三通信技术有限公司 | 一种运动阴影检测方法和装置 |
| CN102298781A (zh) * | 2011-08-16 | 2011-12-28 | 长沙中意电子科技有限公司 | 基于颜色和梯度特征的运动阴影检测方法 |
| CN103810722A (zh) * | 2014-02-27 | 2014-05-21 | 云南大学 | 结合改进的lbp纹理和色度信息的运动目标检测方法 |
| CN104537695A (zh) * | 2015-01-23 | 2015-04-22 | 贵州现代物流工程技术研究有限责任公司 | 一种抗阴影和遮挡的多运动目标检测和跟踪方法 |
-
2015
- 2015-10-19 CN CN201510679083.6A patent/CN105261021B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6999620B1 (en) * | 2001-12-10 | 2006-02-14 | Hewlett-Packard Development Company, L.P. | Segmenting video input using high-level feedback |
| CN101098462A (zh) * | 2007-07-12 | 2008-01-02 | 上海交通大学 | 结合色度偏差和亮度偏差的视频运动目标检测方法 |
| CN101324927A (zh) * | 2008-07-18 | 2008-12-17 | 北京中星微电子有限公司 | 一种阴影检测方法及装置 |
| CN102184553A (zh) * | 2011-05-24 | 2011-09-14 | 杭州华三通信技术有限公司 | 一种运动阴影检测方法和装置 |
| CN102298781A (zh) * | 2011-08-16 | 2011-12-28 | 长沙中意电子科技有限公司 | 基于颜色和梯度特征的运动阴影检测方法 |
| CN103810722A (zh) * | 2014-02-27 | 2014-05-21 | 云南大学 | 结合改进的lbp纹理和色度信息的运动目标检测方法 |
| CN104537695A (zh) * | 2015-01-23 | 2015-04-22 | 贵州现代物流工程技术研究有限责任公司 | 一种抗阴影和遮挡的多运动目标检测和跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105261021A (zh) | 2016-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105261021B (zh) | 去除前景检测结果阴影的方法及装置 | |
| US8340420B2 (en) | Method for recognizing objects in images | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| Dutta et al. | A color edge detection algorithm in RGB color space | |
| CN110084095A (zh) | 车道线检测方法、车道线检测装置和计算机存储介质 | |
| US20200250840A1 (en) | Shadow detection method and system for surveillance video image, and shadow removing method | |
| CN107248159A (zh) | 一种基于双目视觉的金属工件缺陷检测方法 | |
| CN104458748B (zh) | 基于机器视觉的铝型材表面缺陷检测方法 | |
| CN102982313B (zh) | 烟雾检测的方法 | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| CN105913441A (zh) | 一种用于改善视频中目标检测性能的阴影去除方法 | |
| CN106447701A (zh) | 用于图像相似性确定、对象检测和跟踪的方法和装置 | |
| JP5135284B2 (ja) | 物体検出方法 | |
| CN113724231A (zh) | 一种基于语义分割和目标检测融合模型的工业缺陷检测方法 | |
| CN105469397B (zh) | 一种基于系数矩阵分析的目标遮挡检测方法 | |
| EP3073443A1 (en) | 3D Saliency map | |
| CN109741334A (zh) | 一种通过分块阈值进行图像分割的方法 | |
| CN109255802A (zh) | 行人跟踪方法、装置、计算机设备及存储介质 | |
| CN108154150B (zh) | 一种基于背景先验的显著性检测方法 | |
| CN109978916B (zh) | 基于灰度图像特征匹配的Vibe运动目标检测方法 | |
| CN108830204A (zh) | 面对目标的监控视频中异常检测方法 | |
| CN114155278A (zh) | 目标跟踪及相关模型的训练方法和相关装置、设备、介质 | |
| JP2003162719A (ja) | ディジタルイメージの中のパターンの検出 | |
| CN105844641B (zh) | 一种动态环境下的自适应阈值分割方法 | |
| CN109657577B (zh) | 一种基于熵和运动偏移量的动物检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |