CN106408529A - 一种阴影去除方法及装置 - Google Patents
一种阴影去除方法及装置 Download PDFInfo
- Publication number
- CN106408529A CN106408529A CN201610797642.8A CN201610797642A CN106408529A CN 106408529 A CN106408529 A CN 106408529A CN 201610797642 A CN201610797642 A CN 201610797642A CN 106408529 A CN106408529 A CN 106408529A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- segmentation
- seed point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000000463 material Substances 0.000 claims abstract description 89
- 230000011218 segmentation Effects 0.000 claims description 119
- 238000012549 training Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000009827 uniform distribution Methods 0.000 claims description 8
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- YTPMCWYIRHLEGM-BQYQJAHWSA-N 1-[(e)-2-propylsulfonylethenyl]sulfonylpropane Chemical compound CCCS(=O)(=O)\C=C\S(=O)(=O)CCC YTPMCWYIRHLEGM-BQYQJAHWSA-N 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种阴影去除方法和装置，该方法利用超像素算法对输入的待检测图像进行预分割并为各预分割超像素分配种子点；获取预分割超像素中的各像素点与相邻预分割超像素的种子点的距离度量，以距离度量的最小值为各像素点的类标签，获取各类标签内的像素点的坐标平均值，以坐标平均值为新的种子点；利用颜色距离和空间距离的权值对距离度量进行迭代计算，直至新的种子点不再变化，确定新的种子点为最终种子点并以其为超像素；对超像素进行素材分类，将阴影素材去除。该方法不需考虑背景信息的复杂度，直接将图像中的素材分解为超像素，融合多种特征对各超像素进行描述，最后将包含阴影的超像素从分类中去除，从而获得目标的精确坐标位置。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种阴影去除方法。本申请同时还涉及一种阴影去除装置。
背景技术
视频监控是道路安全防范***的重要组成部分。传统的监控***包括前端摄像机、传输线缆、视频监控平台。摄像机可分为网络数字摄像机和模拟摄像机，可作为前端视频图像信号的采集。它是一种防范能力较强的综合***。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合。
对于目前越来越受重视的智能交通***来说，视频监控是其中一个必不可少的重要组成部分。在道路、园区监控的实际应用中，扰动的阴影，如树荫、目标(车辆、行人等)自身的影子经常会被误认为目标或目标的一部分，从而影响目标大小和位置的定位，以及影响智能交通***的正确控制。举例来说，一块扰动的树荫可能导致上百次的虚警，无论是对存储还是事件查看都会造成很大的干扰。而在阴影中移动的目标则可能因为与阴影连成一片致使目标漏报。
申请人在实现本申请的过程中发现，应用目前的阴影去除方法的重要前提是能够提取出可靠的背景，才能利用前景和背景提取有效的特征向量，对于实际场景的监控，由于环境的复杂性，往往会导致传统的背景建模方法建立的背景不准确，影响最终的分类判断。如现有技术中所述的混合高斯背景模型就只适用于低速的远距离大场景，对于近距离的实时小场景监控的背景可靠性大大降低，此外，现有技术中针对单一的或显著性不强的阴影特征会影响阴影判断的准确性，并且较难保证最终目标提取的完整性，从而影响物体准确位置的定位。
发明内容
本申请实施例提供一种基于超像素的阴影去除方法和装置，以实现不需考虑背景信息，直接将图像中的素材分解为超像素，融合多种特征对各超像素块进行描述，最后将阴影超像素从中分类出来并去除，从素材中提取出目标的准确位置，对阴影区域的定位更准确，场景适应性更佳，目标提取的完整性更好。
为了达到上述技术目的，本申请提供了一种阴影去除方法，所述方法包括：
利用超像素算法对输入的待检测图像进行预分割，得到预分割超像素，为各所述预分割超像素分配种子点；
获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点；
利用颜色距离和空间距离的权值对所述距离度量进行迭代计算，直至所述新的种子点不再变化，确定所述新的种子点为最终种子点，并根据所述最终种子点确定所述超像素；
利用预设的素材分类器对所述超像素进行素材分类，将分类为阴影素材所对应的超像素去除，在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正。
优选的，在所述利用超像素算法对输入的待检测图像进行预分割之前，还包括：
对输入的各图像进行超像素分割，获取各素材超像素作为训练样本；
根据所述训练样本中图像的像素值直方图和梯度方向直方图，获取联合特征；
将所述联合特征输入到SVM训练器中进行训练，获得各素材分类器。
优选的，所述利用超像素算法对输入的待检测图像进行预分割，得到预分割超像素，为各所述预分割超像素分配种子点，具体包括：
根据输入待检测图像，获取图像坐标；
使用超像素算法对图像进行预分割，分割为若干相同尺寸的预分割超像素，在所述预分割超像素的图像内均匀的分配种子点，并为各预分割超像素内的各像素点分配类标签。
优选的，获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点，具体包括：
根据种子点的个数获取各所述预分割超像素中所有像素点的梯度值，将各所述预分割超像素中的种子点移到梯度最小的地方；
获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，更新所述各像素点的类标签并进行聚类，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点。
优选的，所述利用预设的素材分类器对所述超像素进行素材分类，将分类为阴影素材所对应的超像素去除，在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正，具体包括：
利用数学相关性、形状信息去除所述各素材中分类异常的素材，对所述目标的位置和形状进行初步校正；
利用运动信息获取所述超像素的目标运动信息直方图，根据所述目标运动信息直方图，并利用最大类间方差法从所述各素材中去除目标边界无运动信息的阴影素材；
在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正，展示校正后的目标位置。
另外，本申请还提供一种阴影去除装置，其特征在于，所述装置包括：
提取模块，用于利用超像素算法对输入的待检测图像进行预分割，得到预分割超像素，为各所述预分割超像素分配种子点；
获取模块，用于获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点；
处理模块，用于利用颜色距离和空间距离的权值对所述距离度量进行迭代计算，直至所述新的种子点不再变化，确定所述新的种子点为最终种子点，并根据所述最终种子点确定所述超像素；
定位模块，用于利用预设的素材分类器对所述超像素进行素材分类，将分类为阴影素材所对应的超像素去除，在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正。
优选的，还包括分类模块，用于：
对输入的各图像进行超像素分割，获取各素材超像素作为训练样本；
根据所述训练样本中图像的像素值直方图和梯度方向直方图，获取联合特征；
将所述联合特征输入到SVM训练器中进行训练，获得各素材分类器。
优选的，所述提取模块，具体用于：
根据输入待检测图像，获取图像坐标；
使用超像素算法对图像进行预分割，分割为若干相同尺寸的预分割超像素，在所述预分割超像素的图像内均匀的分配种子点，并为各预分割超像素内的各像素点分配类标签。
优选的，所述获取模块，具体用于：
根据种子点的个数获取各所述预分割超像素中所有像素点的梯度值，将各所述预分割超像素中的种子点移到梯度最小的地方；
获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，更新所述各像素点的类标签并进行聚类，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点。
优选的，所述定位模块，具体用于：
利用数学相关性、形状信息去除所述各素材中分类异常的素材，对所述目标的位置和形状进行初步校正；
利用运动信息获取所述超像素的目标运动信息直方图，根据所述目标运动信息直方图，并利用最大类间方差法从所述各素材中去除目标边界无运动信息的阴影素材；
在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正，展示校正后的目标位置。
与现有技术相比，本申请实施例所提出的技术方案的有益技术效果包括：
本申请实施例公开了一种阴影去除方法和装置，该方法利用超像素算法对输入的待检测图像进行预分割并为各预分割超像素分配种子点；获取预分割超像素中的各像素点与相邻预分割超像素的种子点的距离度量，以距离度量的最小值为各像素点的类标签，获取各类标签内的像素点的坐标平均值，以坐标平均值为新的种子点；利用颜色距离和空间距离的权值对距离度量进行迭代计算，直至新的种子点不再变化，确定新的种子点为最终种子点并以其为超像素；对超像素进行素材分类，将阴影素材去除。该方法不需考虑背景信息的复杂度，直接将图像中的素材分解为超像素，融合多种特征对各超像素进行描述，最后将包含阴影的超像素从分类中去除，从而获得目标的精确坐标位置。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提出的一种阴影去除方法的流程示意图；
图2为本申请实施例所提出的一种阴影去除方法的流程示意图；
图3为本申请实施例所提出的一种超像素分割模块的流程示意图；
图4为本申请实施例所提出的一种阴影、目标、路面分类器离线训练模块的流程示意图；
图5为本申请实施例所提出的一种目标重定位模块的流程示意图；
图6为本申请实施例所提出的一种阴影去除结果示意图；
图7为本申请实施例所提出的一种阴影去除装置的示意图。
具体实施方式
由于阴影问题已经成为视频监控中影响监控效果的重要因素之一，因此，现有技术存在基于超像素(The super pixel)和支持向量机(Support Vector Machine，SVM)的图像阴影检测方法，超像素一般是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。超像素在图像分割(Segmentation)领域及目标识别领域被广泛的使用。与传统的像素级别相比，超像素能够简化原始图片，提高表征图像的效率。在执行目标识别任务时，使用超像素处理图像更加方便高效，可以大幅度简化任务，形成对图像更简洁的表征。
正如本发明背景技术所述，针对现有技术中基于超像素和支持向量机(SupportVector Machine，SVM)的图像阴影检测方法通常会存在如下的问题：
1、应用该类方法的重要前提是能够提取出可靠的背景，才能利用前景和背景提取有效的特征向量，对于实际场景的监控，由于环境的复杂性，往往会导致传统的背景建模方法建立的背景不准确，影响最终的分类判断。
2、混合高斯背景模型仅适用于低速的远距离大场景，对于近距离的实时小场景监控，则背景的可靠性大大降低。
3、需要认识并区别阴影与目标的各种特征类型，单一的或显著性不强的特征会影响阴影判断的准确性。
4、较难保证最终目标提取的完整性。
因此，现有的技术仍无法精确将干扰阴影从图像中有效的去除出去并最终确定物体的精确位置。
有鉴于以上现有技术中的问题，本发明提出了一种阴影去除方法。该方法将待检测图像中的目标、阴影和背景分解为超像素，融合多种特征对各超像素进行描述，最后将阴影超像素块从分类中分离去除。这种方法对复杂环境的适应性更佳。
如图1所示，为本发明所提出的一种阴影去除方法的流程示意图，其中：
步骤101、利用超像素算法对输入的待检测图像进行预分割，为各所述预分割超像素分配种子点。
在具体的实施例中，在进行本步骤之前，还需要进行SVM训练得到各素材的分类器，用于对图像进行分割之后的超像素所包含的素材进行分类，具体为，首先对输入的各图像进行超像素分割，并获取各素材超像素作为训练样本，然后根据该训练样本中图像的像素值直方图和梯度方向直方图，获取联合特征，最后将该联合特征输入到SVM中进行训练，获得各素材分类器。
当然获取该分类器所使用的图像可以是当前待检测的图像也可以是从提前输入的若干张图像中进行分割、筛选、训练得到的，这并不会影响本发明的保护范围。
进一步的，根据输入待检测图像，获取图像坐标；
使用超像素算法对图像进行预分割，分割为若干相同尺寸的预分割超像素，在该预分割超像素的图像内均匀的分配种子点，并为各预分割超像素内的各像素点分配类标签。
步骤102、获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点。
该步骤旨通过距离度量确定出新的种子点，并通过加入的颜色距离和空间距离的权值对该距离度量进行迭代计算，直至该新的种子点不再变化，确定该新的种子点为最终种子点，并根据该最终种子点确定所需超像素。
在本发明的具体实施例中，首先根据种子点的个数获取各该预分割超像素中所有像素点的梯度值，将各该预分割超像素中的种子点移到梯度最小的地方，然后获取该预分割超像素中的各像素点与相邻该预分割超像素的种子点的距离度量，以该距离度量的最小值为该各像素点的类标签，更新该各像素点的类标签并进行聚类，获取各该类标签内的像素点的坐标平均值，以该坐标平均值为新的种子点，最后利用颜色距离和空间距离的权值对该距离度量进行迭代计算，最终确定出所需的超像素。
步骤103、利用颜色距离和空间距离的权值对所述距离度量进行迭代计算，直至所述新的种子点不再变化，确定所述新的种子点为最终种子点，并根据所述最终种子点确定所述超像素。
该步骤旨在通过加入的颜色距离和空间距离的权值使距离度量收敛更快，进一步确定出精确的种子点和所需的超像素，利用权值变化将像素间由颜色距离主导的聚类问题转化为由空间距离主导的聚类问题。具体的，利用颜色距离和空间距离的权值对该距离度量进行迭代计算，直至该新的种子点不再变化，确定该新的种子点为最终种子点，并根据该最终种子点确定该超像素。
步骤104、利用预设的素材分类器对所述超像素进行素材分类，并将所述各素材中的阴影素材去除。
本步骤中将步骤103中确定的超像素放入分类器中进行分类，首先利用数学相关性、形状信息去除各素材中分类异常的素材，对目标的位置和形状进行初步校正；利用运动信息获取超像素的目标运动信息直方图，根据目标运动信息直方图，并利用最大类间方差法从各素材中去除目标边界无运动信息的阴影素材，进而得到所需目标的精确坐标位置。
由此可见，与现有技术相比，本发明实施例所提出的技术方案的有益技术效果包括：
利用超像素算法对输入的待检测图像进行预分割并为各预分割超像素分配种子点；获取预分割超像素中的各像素点与相邻预分割超像素的种子点的距离度量，以距离度量的最小值为各像素点的类标签，获取各类标签内的像素点的坐标平均值，以坐标平均值为新的种子点；利用颜色距离和空间距离的权值对距离度量进行迭代计算，直至新的种子点不再变化，确定新的种子点为最终种子点并以其为超像素；对超像素进行素材分类，将阴影素材去除。该方法不需考虑背景信息的复杂度，直接将图像中的素材分解为超像素，融合多种特征对各超像素进行描述，最后将包含阴影的超像素从分类中去除，从而获得目标的精确坐标位置。
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如上所述，现有技术中已知的图像阴影检测方法是先通过混合高斯背景模型提取前景区域，然后对前景区域进行超像素分割，统计超像素内前景与背景的亮度、颜色及梯度差值平均值，以此组合成二十维的特征向量，最后利用支持向量机来对待检测图像进行分类，最终提取出所需目标。但是由于高斯背景模型的使用场景、特征向量提取的便捷性以及目标提取的完整性都会影响到该方法的实际操作的效果，降低用户体验。
本发明实施例为了解决上述的问题，针对超像素分割策略进行重点优化，提出了如图2所示的方法，该方法包括以下步骤：
步骤201、超像素分割。
在实际的应用场景中，本步骤中需要对图像进行分割，并为其分配种子点，即聚类中心，为了能够充分说明本法的实施方式，以下均按照步骤的方式进行详细阐述。
S11，输入待检测图像fsrc(x,y)，获取图像坐标ObjLoc:(Xp,Yp,Width,Height)，在这里获取的坐标分为两种情况：
情况一，根据输入的图像，获取该图像的所有区域，并以该所有区域的坐标值为图像坐标ObjLoc:(Xp,Yp,Width,Height)；
情况二，根据输入的图像，获取该图像的兴趣区域，并进一步获取该兴趣区域的坐标ObjLoc:(Xp,Yp,Width,Height)。
需要说明的是，在以上情况中，选择坐标ObjLoc:(Xp,Yp,Width,Height)的具体数值根据图像区域不同而变化，具体的选择方式的不同并不影响本发明的保护范围。
S12，使用SLIC超像素算法对图像进行超像素分割，分割为K个相同尺寸的超像素，在图像内均匀的分配种子点，并为各分割超像素内的像素点分配类标签，其中，图像内像素点个数为N＝Width*Height，各超像素的大小为N/K，相邻种子点的距离为S＝sqrt(N/K)。具体做法是按照设定的超像素个数，在图像内均匀的分配种子点，并为各分割块内的像素点分配类标签(即属于哪个聚类中心)。在兴趣区域内像素点个数为N＝Width*Height，预分割为K个相同尺寸的超像素，那么每个超像素的大小为N/K，则相邻种子点的距离(步长)近似为S＝sqrt(N/K)。
S13，需要对种子点进行校正。在种子点个数为n*n邻域内计算所有像素点的梯度值，将种子点移到梯度最小的地方，具体为在种子点n*n邻域内(本发明中为了方便计算取n＝3)计算所有像素点的梯度值，将种子点移到梯度最小的地方，避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。
S14，在相邻种子点距离为2S*2S(本发明中为了方便计算取2S*2S)范围内，确定每个像素点与种子点间的距离度量D：
其中，dc代表颜色距离，表示为像素点与种子点的rgb颜色的差值，ds代表空间距离，表示为像素点与种子点之间的欧式距离：
其中，Nc和Ns为归一化参数；Nc随图片不同而不同，也随聚类不同而不同，一般取固定常数10。Ns为类内最大空间距离，定义为Ns＝S。
S15，在预分割块内进行聚类。具体为对每个像素点取该点与相邻种子点的距离度量D的最小值作为该点新的类标签，对各类内像素点坐标取均值，获得新的种子点，也即新的聚类中心。
S16，重复步骤S14、S15进行迭代优化，至种子点不再变化，即获得最终的超像素分割结果，本发明的迭代次数取为10且能得到较理想的超像素分割结果，需要说明的是，在实际的使用场景中，具体的迭代次数也可以是根据实际情况选择的，具体选择内容的变化并不会影响本发明的保护范围。
在本发明中通过调整颜色距离和空间距离的权值，可以使得迭代更快收敛。具体为加入权值αl(其值随迭代次数的变化而变化)，把公式3改为公式4，只需要迭代3次即可达到最优化超像素分割，总体分割时间减少约40％。权值αl由统计数据拟合可用公式5确定：
αl＝λ1*atan(λ2*l),(l＝1,2,3,...) (5)
其中，λ1、λ2可由迭代结果数据统计学习得到，且λ1>0,λ2>0。
需要说明的是，αl随迭代次数增大而增大，最后趋近于1。这与常规认知是相符的，即开始时通过颜色信息快速聚类，而随着迭代的进行，相同颜色的像素间距离起主要作用，转化为由距离主导的聚类问题，在本步骤中的具体数值的选取均是为了方便计算而取的最优的数值，具体选取其他的数值并不会改变本发明的保护范围。
以上阐述的步骤具体如图3所示，为本申请实施例所提出的一种超像素分割模块的流程示意图，首先通过对图像初始化种子点和校正种子点，然后利用颜色距离和空间距离计算距离度量，在通过聚类和更新权值对距离度量进行聚类得到聚类中心。
步骤202、特征提取。
本步骤旨在通过特征值的提取，将其与训练器中的分类图片进行快速的对比，从而快速的筛选出需要的超像素。
根据步骤201的方法获取的每个超像素块图像作为训练样本，首先，以像素差值32为区间，统计样本图像rgb各通道像素值的直方图，每一个通道可获得256/32＝8维的直方图，rgb共3个通道则可获得24维的直方图特征。其次，以角度差值20°为区间，统计样本图像的梯度方向直方图，可获得180°/20°＝9维的直方图特征。最后，将颜色直方图和梯度方向直方图联合起来，合成一个33维的联合特征。
需要说明的的是，在本步骤中所使用的分类器可以是预先通过各图像进行训练得到的，具体可以由若干张输入图像中进行分割筛选出若干目标超像素、阴影超像素块以及路面超像素块图像作为训练样本，训练成分类器，这并不会影响本发明的保护范围。
步骤203、超像素分类。
在本步骤对超像素进行分类之前还需要得到一个分类器，具体为：
S21，准备数据。根据步骤S11～S16方法获取的每个超像素块图像作为训练样本，由2000张输入图像中分割筛选出1万目标超像素块(包括人、车辆等)，3万阴影超像素块，3万路面超像素块图像作为训练样本，并分别打上类标签{-1,0,1}。
S22，提取特征。首先，以像素差值32为区间，统计样本图像rgb各通道像素值的直方图，每一个通道可获得256/32＝8维的直方图，rgb共3个通道则可获得24维的直方图特征。其次，以角度差值20°为区间，统计样本图像的梯度方向直方图，可获得180°/20°＝9维的直方图特征。最后，将颜色直方图和梯度方向直方图联合起来，合成一个33维的联合特征。
S23，训练分类器。将步骤S22提取的特征分别打上对应的类标签，输入到SVM中进行训练，获得目标、阴影、路面分类器。
在本发明的具体实施例中，本步骤中通过训练样本图像的特征获得的分类器，更加适用当前的图像，当然，也可以在***中预设多个分离器，对不同的图像选用不同的分类器，这样的变化并不会影响本发明的保护范围。
以上阐述的步骤中的训练分类器具体如图4所示，为本申请实施例所提出的一种阴影、目标、路面分类器离线训练模块的流程示意图，通过提取RGB颜色信息和梯度方向信息对阴影、目标、路面正负样本进行SVM训练得到分类器。
在得到目标、阴影、路面分类器之后，将每个超像素块的联合特征，输入到目标、阴影、路面分类器中进行SVM分类。需要注意的是，SVM只能进行二分类，而我们需要分三个类别(目标、阴影、路面)，可以采用两两分类后，取最大分类置信度方法来判断该超像素块的类别。在测试集上，目标检出率为90.3％，阴影检出率为96.4％，路面检出率为95.6％。
步骤204、目标重定位。
本步骤旨在通过利用数学相关性、形状信息以及运动信息对分类出的目标进行精确定位，具体为：
S31，根据相关性对分类结果进行初步校正。超像素块不是独立的，即如目标的某一超像素块的必然与目标其中的另一超像素块相邻，阴影和背景超像素块亦然。设某超像素块的分类结果为P，其周围8邻域超像素块的分类结果为Pi,(i＝0,1,...,7)，如果P≠Pi，那么就可以认为该超像素分类是错误的，将其置为8领域中统计最大的那一类。利用这一先验知识，可以将分类结果与相邻超像素块结果均不相同的进行初步校正。
S32，根据形状信息对目标形状进行校正。通过步骤S31就可将确定目标的大致位置了，但是仍会存在一些难以判断的超像素会使得目标的形状出现异常。如车辆一般为正方形，非机动车、行人一般为长方形，即目标的宽高比和大小在一定范围内。通过统计可得一般目标的宽高比处于[β1,β2]区间，在一个优选例中，取[0.4，1.2]，如果宽高比异常，则可判断目标边界的超像素中其领域结果分类为阴影或路面最多的为分类错误，将其置为8领域中统计最大的那一类，校正目标形状。
S33，根据运动信息对目标位置进行精定位。通过步骤S32已经可以确定目标较准确的位置和大小了，但是仍不够精确，尤其是对于摩托车、自行车、行人等细化分类以及目标子特征属性(如帽子、衣服、背包等)检测等应用来说，目标位置的精确定位至关重要。为此，可通过统计目标运动信息(如帧间差分信息)直方图，利用最大类间方差法来消除边界无运动信息超像素干扰，对目标的上下左右位置进行进一步校正，最终输出目标去除阴影干扰后的精确坐标位置：ObjLoc':(Xp',Yp',Width',Height')。
以上阐述的步骤具体如图5所示，为本申请实施例所提出的一种目标重定位模块的流程示意图，通过利用数学相关性、形状信息以及运动信息对分类出的目标进行精确定位。最终在图像中将精确定位的目标分离出来，如图6所示，为本申请实施例所提出的一种阴影去除结果示意图。
基于与上述方法同样的发明构思，本申请实施例还提出了一种阴影去除装置，其特征在于，所述装置包括：
提取模块71，用于利用超像素算法对输入的待检测图像进行预分割，得到预分割超像素，为各所述预分割超像素分配种子点；
获取模块72，用于获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点；
处理模块73，用于利用颜色距离和空间距离的权值对所述距离度量进行迭代计算，直至所述新的种子点不再变化，确定所述新的种子点为最终种子点，并根据所述最终种子点确定所述超像素；
定位模块74，用于利用预设的素材分类器对所述超像素进行素材分类，将分类为阴影素材所对应的超像素去除，在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正。
优选的，还包括分类模块75，用于：
对输入的各图像进行超像素分割，获取各素材超像素作为训练样本；
根据所述训练样本中图像的像素值直方图和梯度方向直方图，获取联合特征；
将所述联合特征输入到SVM训练器中进行训练，获得各素材分类器。
优选的，所述提取模块71，具体用于：
根据输入待检测图像，获取图像坐标；
使用超像素算法对图像进行预分割，分割为若干相同尺寸的预分割超像素，在所述预分割超像素的图像内均匀的分配种子点，并为各预分割超像素内的各像素点分配类标签。
优选的，所述获取模块72，具体用于：
根据种子点的个数获取各所述预分割超像素中所有像素点的梯度值，将各所述预分割超像素中的种子点移到梯度最小的地方；
获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，更新所述各像素点的类标签并进行聚类，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点。
优选的，所述定位模块74，具体用于：
利用数学相关性、形状信息去除所述各素材中分类异常的素材，对所述目标的位置和形状进行初步校正；
利用运动信息获取所述超像素的目标运动信息直方图，根据所述目标运动信息直方图，并利用最大类间方差法从所述各素材中去除目标边界无运动信息的阴影素材；
在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正，展示校正后的目标位置。
在本发明具体实施例中各个模块可以集成于一体，也可以分离部署，上述模块合并为一个模块，也可以进一步拆分成多个子模块。
由此可见，通过应用本申请的技术方案，利用超像素算法对输入的待检测图像进行预分割并为各预分割超像素分配种子点；获取预分割超像素中的各像素点与相邻预分割超像素的种子点的距离度量，以距离度量的最小值为各像素点的类标签，获取各类标签内的像素点的坐标平均值，以坐标平均值为新的种子点；利用颜色距离和空间距离的权值对距离度量进行迭代计算，直至新的种子点不再变化，确定新的种子点为最终种子点并以其为超像素；对超像素进行素材分类，将阴影素材去除。该方法不需考虑背景信息的复杂度，直接将图像中的素材分解为超像素，融合多种特征对各超像素进行描述，最后将包含阴影的超像素从分类中去除，从而获得目标的精确坐标位置。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或网络侧设备等)执行本发明实施例各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明实施例所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述，不代表实施场景的优劣。
以上公开的仅为本发明实施例的几个具体实施场景，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明实施例的业务限制范围。
Claims (10)
1.一种阴影去除方法，其特征在于，所述方法包括：
利用超像素算法对输入的待检测图像进行预分割，得到预分割超像素，为各所述预分割超像素分配种子点；
获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点；
利用颜色距离和空间距离的权值对所述距离度量进行迭代计算，直至所述新的种子点不再变化，确定所述新的种子点为最终种子点，并根据所述最终种子点确定所述超像素；
利用预设的素材分类器对所述超像素进行素材分类，将分类为阴影素材所对应的超像素去除，在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正。
2.如权利要求1所述的方法，其特征在于，在所述利用超像素算法对输入的待检测图像进行预分割之前，还包括：
对输入的各图像进行超像素分割，获取各素材超像素作为训练样本；
根据所述训练样本中图像的像素值直方图和梯度方向直方图，获取联合特征；
将所述联合特征输入到SVM训练器中进行训练，获得各素材分类器。
3.如权利要求1所述的方法，其特征在于，所述利用超像素算法对输入的待检测图像进行预分割，得到预分割超像素，为各所述预分割超像素分配种子点，具体包括：
根据输入待检测图像，获取图像坐标；
使用超像素算法对图像进行预分割，分割为若干相同尺寸的预分割超像素，在所述预分割超像素的图像内均匀的分配种子点，并为各预分割超像素内的各像素点分配类标签。
4.如权利要求1所述的方法，其特征在于，获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点，具体包括：
根据种子点的个数获取各所述预分割超像素中所有像素点的梯度值，将各所述预分割超像素中的种子点移到梯度最小的地方；
获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，更新所述各像素点的类标签并进行聚类，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点。
5.如权利要求1所述的方法，其特征在于，所述利用预设的素材分类器对所述超像素进行素材分类，将分类为阴影素材所对应的超像素去除，在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正，具体包括：
利用数学相关性、形状信息去除所述各素材中分类异常的素材，对所述目标的位置和形状进行初步校正；
利用运动信息获取所述超像素的目标运动信息直方图，根据所述目标运动信息直方图，并利用最大类间方差法从所述各素材中去除目标边界无运动信息的阴影素材；
在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正，展示校正后的目标位置。
6.一种阴影去除装置，其特征在于，所述装置包括：
提取模块，用于利用超像素算法对输入的待检测图像进行预分割，得到预分割超像素，为各所述预分割超像素分配种子点；
获取模块，用于获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点；
处理模块，用于利用颜色距离和空间距离的权值对所述距离度量进行迭代计算，直至所述新的种子点不再变化，确定所述新的种子点为最终种子点，并根据所述最终种子点确定所述超像素；
定位模块，用于利用预设的素材分类器对所述超像素进行素材分类，将分类为阴影素材所对应的超像素去除，在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正。
7.如权利要求6所述的装置，其特征在于，还包括分类模块，用于：
对输入的各图像进行超像素分割，获取各素材超像素作为训练样本；
根据所述训练样本中图像的像素值直方图和梯度方向直方图，获取联合特征；
将所述联合特征输入到SVM训练器中进行训练，获得各素材分类器。
8.如权利要求6所述的装置，其特征在于，所述提取模块，具体用于：
根据输入待检测图像，获取图像坐标；
使用超像素算法对图像进行预分割，分割为若干相同尺寸的预分割超像素，在所述预分割超像素的图像内均匀的分配种子点，并为各预分割超像素内的各像素点分配类标签。
9.如权利要求6所述的装置，其特征在于，所述获取模块，具体用于：
根据种子点的个数获取各所述预分割超像素中所有像素点的梯度值，将各所述预分割超像素中的种子点移到梯度最小的地方；
获取所述预分割超像素中的各像素点与相邻所述预分割超像素的种子点的距离度量，以所述距离度量的最小值为所述各像素点的类标签，更新所述各像素点的类标签并进行聚类，获取各所述类标签内的像素点的坐标平均值，以所述坐标平均值为新的种子点。
10.如权利要求6所述的装置，其特征在于，所述定位模块，具体用于：
利用数学相关性、形状信息去除所述各素材中分类异常的素材，对所述目标的位置和形状进行初步校正；
利用运动信息获取所述超像素的目标运动信息直方图，根据所述目标运动信息直方图，并利用最大类间方差法从所述各素材中去除目标边界无运动信息的阴影素材；
在所述待检测图像中对去除所述阴影素材所对应的超像素之后的目标的位置进行校正，展示校正后的目标位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610797642.8A CN106408529A (zh) | 2016-08-31 | 2016-08-31 | 一种阴影去除方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610797642.8A CN106408529A (zh) | 2016-08-31 | 2016-08-31 | 一种阴影去除方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106408529A true CN106408529A (zh) | 2017-02-15 |
Family
ID=58000566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610797642.8A Pending CN106408529A (zh) | 2016-08-31 | 2016-08-31 | 一种阴影去除方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106408529A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016691A (zh) * | 2017-04-14 | 2017-08-04 | 南京信息工程大学 | 基于超像素特征的运动目标检测方法 |
| CN107610040A (zh) * | 2017-09-25 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种超像素图像分割的方法、装置及*** |
| CN107808366A (zh) * | 2017-10-21 | 2018-03-16 | 天津大学 | 一种基于块匹配的自适应光转移单幅阴影去除方法 |
| CN108305269A (zh) * | 2018-01-04 | 2018-07-20 | 北京大学深圳研究生院 | 一种双目图像的图像分割方法及*** |
| CN108446707A (zh) * | 2018-03-06 | 2018-08-24 | 北方工业大学 | 基于关键点筛选及dpm确认的遥感图像飞机检测方法 |
| CN108596257A (zh) * | 2018-04-26 | 2018-09-28 | 深圳市唯特视科技有限公司 | 一种基于空间约束的位置优先场景解析方法 |
| CN109472794A (zh) * | 2018-10-26 | 2019-03-15 | 北京中科晶上超媒体信息技术有限公司 | 一种对图像进行超像素分割的方法及*** |
| CN114037643A (zh) * | 2021-11-12 | 2022-02-11 | 成都微光集电科技有限公司 | 图像处理方法、装置、介质和设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680538A (zh) * | 2015-03-09 | 2015-06-03 | 西安电子科技大学 | 基于超像素的sar图像cfar目标检测方法 |
| CN105678797A (zh) * | 2016-03-04 | 2016-06-15 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于视觉显著模型的图像分割方法 |
-
2016
- 2016-08-31 CN CN201610797642.8A patent/CN106408529A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680538A (zh) * | 2015-03-09 | 2015-06-03 | 西安电子科技大学 | 基于超像素的sar图像cfar目标检测方法 |
| CN105678797A (zh) * | 2016-03-04 | 2016-06-15 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于视觉显著模型的图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 朱波 等: ""基于超像素和支持向量机的车辆阴影检测方法"", 《东南大学学报（自然科学版）》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016691B (zh) * | 2017-04-14 | 2019-09-27 | 南京信息工程大学 | 基于超像素特征的运动目标检测方法 |
| CN107016691A (zh) * | 2017-04-14 | 2017-08-04 | 南京信息工程大学 | 基于超像素特征的运动目标检测方法 |
| CN107610040A (zh) * | 2017-09-25 | 2018-01-19 | 郑州云海信息技术有限公司 | 一种超像素图像分割的方法、装置及*** |
| CN107808366A (zh) * | 2017-10-21 | 2018-03-16 | 天津大学 | 一种基于块匹配的自适应光转移单幅阴影去除方法 |
| CN107808366B (zh) * | 2017-10-21 | 2020-07-10 | 天津大学 | 一种基于块匹配的自适应光转移单幅阴影去除方法 |
| CN108305269A (zh) * | 2018-01-04 | 2018-07-20 | 北京大学深圳研究生院 | 一种双目图像的图像分割方法及*** |
| CN108305269B (zh) * | 2018-01-04 | 2022-05-10 | 北京大学深圳研究生院 | 一种双目图像的图像分割方法及*** |
| CN108446707B (zh) * | 2018-03-06 | 2020-11-24 | 北方工业大学 | 基于关键点筛选及dpm确认的遥感图像飞机检测方法 |
| CN108446707A (zh) * | 2018-03-06 | 2018-08-24 | 北方工业大学 | 基于关键点筛选及dpm确认的遥感图像飞机检测方法 |
| CN108596257A (zh) * | 2018-04-26 | 2018-09-28 | 深圳市唯特视科技有限公司 | 一种基于空间约束的位置优先场景解析方法 |
| CN109472794A (zh) * | 2018-10-26 | 2019-03-15 | 北京中科晶上超媒体信息技术有限公司 | 一种对图像进行超像素分割的方法及*** |
| CN109472794B (zh) * | 2018-10-26 | 2021-03-09 | 北京中科晶上超媒体信息技术有限公司 | 一种对图像进行超像素分割的方法及*** |
| CN114037643A (zh) * | 2021-11-12 | 2022-02-11 | 成都微光集电科技有限公司 | 图像处理方法、装置、介质和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106408529A (zh) | 一种阴影去除方法及装置 | |
| CN107491762B (zh) | 一种行人检测方法 | |
| CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
| CN110059581A (zh) | 基于场景深度信息的人群计数方法 | |
| CN109447169A (zh) | 图像处理方法及其模型的训练方法、装置和电子*** | |
| CN103824070B (zh) | 一种基于计算机视觉的快速行人检测方法 | |
| CN108009473A (zh) | 基于目标行为属性视频结构化处理方法、***及存储装置 | |
| CN109214420A (zh) | 基于视觉显著性检测的高纹理图像分类方法及*** | |
| CN105975929A (zh) | 一种基于聚合通道特征的快速行人检测方法 | |
| CN106529448A (zh) | 利用聚合通道特征进行多视角人脸检测的方法 | |
| CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
| CN108171196A (zh) | 一种人脸检测方法及装置 | |
| CN104408429A (zh) | 一种视频代表帧提取方法及装置 | |
| CN104202547A (zh) | 投影画面中提取目标物体的方法、投影互动方法及其*** | |
| CN103258432A (zh) | 基于视频的交通事故自动识别处理方法和*** | |
| CN103914702A (zh) | 用于提高视频中的对象检测性能的***和方法 | |
| CN103035013A (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
| CN104134079A (zh) | 一种基于极值区域和极限学习机的车牌识别方法 | |
| CN110321769A (zh) | 一种多尺寸货架商品检测方法 | |
| CN106897681A (zh) | 一种遥感图像对比分析方法及*** | |
| CN104123529A (zh) | 人手检测方法及*** | |
| CN109918971A (zh) | 监控视频中人数检测方法及装置 | |
| CN110378324A (zh) | 一种基于质量维度的人脸识别算法评估方法 | |
| CN111127520B (zh) | 一种基于视频分析的车辆跟踪方法和*** | |
| CN103714181A (zh) | 一种层级化的特定人物检索方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170215 |