CN111862228A - 遮挡检测的方法、***、计算机设备和可读存储介质 - Google Patents
遮挡检测的方法、***、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN111862228A CN111862228A CN202010498618.0A CN202010498618A CN111862228A CN 111862228 A CN111862228 A CN 111862228A CN 202010498618 A CN202010498618 A CN 202010498618A CN 111862228 A CN111862228 A CN 111862228A
- Authority
- CN
- China
- Prior art keywords
- maximum
- maximum value
- connected region
- preset
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000000007 visual effect Effects 0.000 claims abstract description 39
- 238000004891 communication Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 235000019557 luminance Nutrition 0.000 description 65
- 238000010586 diagram Methods 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种遮挡检测的方法、***、计算机设备和可读存储介质,其中,该遮挡检测的方法包括:获取检测图像的亮度直方图,其中,该检测图像由视野采集设备得到,根据该亮度直方图中的亮度分布,获取该亮度直方图的连通区域特征和极大值特征,根据该连通区域特征和预设连通区域参数的对比结果,以及该极大值特征与预设极大值参数的对比结果,对该视野采集设备的遮挡情况进行评估。通过本申请,解决了在判断摄像装置是否被遮挡时,需要遍历图像中的所有像素,从而导致占用计算资源多的问题,降低了遮挡检测过程中的计算量,且提高了检测方法的鲁棒性。
Description
技术领域
本申请涉及自动驾驶技术领域,特别是涉及遮挡检测的方法、***、计算机设备和可读存储介质。
背景技术
随着科学技术的发展,摄像装置在各行各业中的应用越来越多,尤其是在自动驾驶技术领域,摄像装置对于周围环境的视野监测至关重要。通常情况下,前装高级驾驶辅助***(Advanced Driving Assistance System,简称为ADAS)产品多为1VnR的配置,其中,V为视野(Vision),R为雷达(Radar),且V为主要参考对象,R为从属参考对象,因此,在提供视野的摄像装置被遮挡的情况下,作为***主传感器的摄像装置将无法感知周边环境,造成巨大的安全隐患,此时ADAS***需要提示用户接管车辆并退出车辆的自动驾驶状态,从而避免安全风险。
在相关技术中,需要计算摄像装置采集的视频图像的平均亮度值和亮度对比度,根据平均亮度值和亮度对比度判断图像的曝光是否正常,最后基于图像的曝光情况判断该摄像装置是否被遮挡。由于在计算图像的平均亮度值的过程中,需要遍历图像中的所有像素,该方法的计算量较大,算法耗时久,占用计算资源多。
目前针对相关技术中,在判断摄像装置是否被遮挡时,需要遍历图像中的所有像素,从而导致占用计算资源多的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种遮挡检测的方法、***、计算机设备和计算机可读存储介质,以至少解决相关技术中在判断摄像装置是否被遮挡时,需要遍历图像中的所有像素,从而导致占用计算资源多的问题。
第一方面,本申请实施例提供了一种遮挡检测的方法,所述方法包括:
获取检测图像的亮度直方图,其中,所述检测图像由视野采集设备得到;
根据所述亮度直方图中的亮度分布,获取所述亮度直方图的连通区域特征和极大值特征;
根据所述连通区域特征和预设连通区域参数的对比结果,以及所述极大值特征与预设极大值参数的对比结果,对所述视野采集设备的遮挡情况进行评估。
在其中一些实施例中,在所述连通区域特征包括所述亮度直方图的最大连通区域阶数和最大连通区域面积的情况下,所述对所述视野采集设备的遮挡情况进行评估包括:
计算所述亮度直方图的最大连通区域占比,其中,所述最大连通区域占比根据所述最大连通区域面积和所述亮度直方图的面积确定;
在所述最大连通区域阶数小于预设阶数,且所述最大连通区域占比大于预设占比的情况下,判定所述视野采集设备被遮挡。
在其中一些实施例中,所述对所述视野采集设备的遮挡情况进行评估包括:
在所述亮度直方图的极大值序列中,获取第一极大值和第二极大值,其中,所述第一极大值对应的纵坐标在所述极大值序列中为最大,所述第二极大值对应的纵坐标在所述极大值序列中为次大;
根据所述第一极大值的纵坐标和所述第二极大值的纵坐标,计算所述亮度直方图的极大值比例,根据所述第一极大值和所述第二极大值之间的距离,计算所述亮度直方图的极大值距离;
在所述极大值比例和所述极大值距离满足预设条件的情况下,判定所述视野采集设备被遮挡,其中,所述预设条件包括以下至少之一:
所述极大值比例大于第一预设极值比例;
所述极大值比例小于或者等于所述第一预设极值比例,且大于第二预设极值比例,所述极大值距离小于预设极值距离。
在其中一些实施例中,所述对所述视野采集设备的遮挡情况进行评估还包括:
根据所述亮度直方图中,不同亮度的纵坐标,获取最大亮度阶面积;
根据所述最大亮度阶面积和所述亮度直方图的面积,计算所述亮度直方图的最大值比例;
在所述最大值比例大于预设最值比例的情况下,判定所述视野采集设备被遮挡。
在其中一些实施例中,在所述根据所述亮度直方图中的亮度分布,获取所述亮度直方图的连通区域特征和极大值特征之前,所述方法还包括:
获取检测图像,将所述检测图像划分为多个检测区域,获取每个所述检测区域的亮度直方图。
在其中一些实施例中,在所述对所述视野采集设备的遮挡情况进行评估之后,所述方法包括:
计算所述视野采集设备的得分,在所述得分大于遮挡阈值的情况下,发出警示信息并退出自动驾驶模式。
第二方面,本申请实施例提供了一种遮挡检测的***,所述***包括图像传感器和处理芯片:
所述图像传感器获取视野采集设备的检测图像,根据所述检测图像的像素亮度生成亮度直方图;
所述处理芯片根据所述亮度直方图中的亮度分布,获取所述亮度直方图的连通区域特征和极大值特征;
所述处理芯片根据所述连通区域特征和预设连通区域参数的对比结果,以及所述极大值特征与预设极大值参数的对比结果,对所述视野采集设备的遮挡情况进行评估。
在其中一些实施例中,所述处理芯片还用于:
获取所述亮度直方图的最大连通区域面积和最大连通区域阶数,计算所述亮度直方图的最大连通区域占比,其中,所述最大连通区域占比根据所述最大连通区域面积和所述亮度直方图的面积确定;
在所述最大连通区域阶数小于预设阶数,且所述最大连通区域占比大于预设占比的情况下,判定所述视野采集设备被遮挡。
第三方面,本申请实施例提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一所述方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一所述方法。
相比于相关技术,本申请实施例提供的遮挡检测的方法,通过获取检测图像的亮度直方图,其中,该检测图像由视野采集设备得到,根据该亮度直方图中的亮度分布,获取该亮度直方图的连通区域特征和极大值特征,根据该连通区域特征和预设连通区域参数的对比结果,以及该极大值特征与预设极大值参数的对比结果,对该视野采集设备的遮挡情况进行评估,解决了在判断摄像装置是否被遮挡时,需要遍历图像中的所有像素,从而导致占用计算资源多的问题,降低了遮挡检测过程中的计算量,且提高了检测方法的鲁棒性。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的遮挡检测的方法的应用环境示意图;
图2是根据本申请实施例的遮挡检测的方法的流程图;
图3是根据本申请实施例的亮度直方图的示意图;
图4是根据本申请实施例的对连通区域特征进行评估的方法的流程图;
图5是根据本申请实施例的对极大值特征进行评估的方法的流程图;
图6是根据本申请实施例的另一种遮挡检测的方法的流程图;
图7是根据本申请优选实施例的遮挡检测的方法的流程图;
图8是根据本申请实施例的遮挡检测的***的结构框图;
图9是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供的遮挡检测的方法,可以应用于如图1所示的应用环境中,图1是根据本申请实施例的遮挡检测的方法的应用环境示意图,如图1所示。其中,自动驾驶汽车102装有ADAS前视摄像头104和处理芯片106,自动驾驶汽车102与前视摄像头104通过控制器局域网络(Controller Area Network,简称为CAN)进行通信。前视摄像头104获取检测图像,处理芯片106获取该检测图像的亮度直方图,根据该亮度直方图中的亮度分布,获取该亮度直方图的连通区域特征和极大值特征,处理芯片106根据该连通区域特征和预设连通区域参数的对比结果,以及该极大值特征与预设极大值参数的对比结果,对前视摄像头104的遮挡情况进行评估。其中,CAN属于现场总线,是一种有效支持分布式控制或实时控制的串行通信网络,通常应用于汽车领域。
本实施例提供了一种遮挡检测的方法,图2是根据本申请实施例的遮挡检测的方法的流程图,如图2所示,该方法包括如下步骤:
步骤S201,获取检测图像的亮度直方图,其中,该检测图像由视野采集设备得到。
本实施例中的检测图像为自动驾驶汽车的视野采集设备对驾驶环境的观测图像,根据检测图像中,不同亮度对应的像素值,可以生成亮度直方图,本实施例中的亮度直方图可以从图像传感器或者***级芯片(System on a Chip,简称为SoC)的知识产权核(Intellectual Property Core,简称为IP)中直接获取。图3是根据本申请实施例的亮度直方图的示意图,如图3所示,该亮度直方图的横坐标为亮度值,纵坐标为不同亮度值对应的像素数量。
步骤S202,根据该亮度直方图中的亮度分布,获取该亮度直方图的连通区域特征和极大值特征。
在本实施例的亮度直方图中,某一区域的区域内像素数量均大于阈值,区域边界处的像素数量均小于或者等于阈值,则该区域为连通域,连通域对应的左右两端的横坐标形成的闭区间称为连通区域,其中,该阈值可以为0,也可以为与0接近的数值较小的数。
在亮度直方图中,通常会出现多个峰值,该峰值即为亮度直方图的极大值,本实施例中的极大值特征可以为极大值之间的比例,也可以为极大值对应的亮度阶的面积,其中,亮度阶为亮度直方图中对像素数量进行统计时的最小亮度区间。
步骤S203,根据该连通区域特征和预设连通区域参数的对比结果,以及该极大值特征与预设极大值参数的对比结果,对该视野采集设备的遮挡情况进行评估。
预设连通区域参数和预设极大值参数可以为经验统计值,也可以根据模型计算得到,本实施例可以根据预设连通区域参数和预设极大值参数,确定视野采集设备在没有被遮挡的情况下,连通区域特征和极大值特征的分布范围,从而根据实际得到的连通区域特征和极大值特征,来判断视野采集设备是否存在被遮挡的情况。
通过上述步骤S201至步骤S203,本实施例对亮度直方图中的连通区域特征和极大值特征进行分析,进而确定视野采集设备是否被遮挡。由于在对检测图像进行曝光检测的过程中,会生成亮度直方图,因此本实施例中用到的亮度直方图可以从图像传感器或者SoC的IP核中直接获取,不需要对检测图像的像素进行遍历统计,从而解决了在判断摄像装置是否被遮挡时,需要遍历图像中的所有像素,从而导致占用计算资源多的问题,降低了遮挡检测过程中的计算量,且提高了检测方法的鲁棒性。
在其中一些实施例中,图4是根据本申请实施例的对连通区域特征进行评估的方法的流程图,如图4所示,在连通区域特征包括亮度直方图的最大连通区域阶数和最大连通区域面积的情况下,该方法包括如下步骤:
步骤S401,计算亮度直方图的最大连通区域占比,其中,该最大连通区域占比根据最大连通区域面积和亮度直方图的面积确定。
在亮度直方图的多个连通区域中,左右边界间的距离最大的一个连通区域称为最大连通区域,最大连通区域反应了检测图像在亮度信息上的分布位置和集中程度。
在最大连通区域中,对每个亮度阶的纵坐标值进行求和,得到的和称为最大连通区域面积,最大连通区域面积反应了图像的像素分布在最大连通区域中的数量;在亮度直方图中,对每个亮度阶的纵坐标值进行求和,得到的和称为亮度直方图的面积。根据最大连通区域面积和亮度直方图的面积的比值,确定最大连通区域占比。
步骤S402,在该最大连通区域阶数小于预设阶数,且该最大连通区域占比大于预设占比的情况下,判定视野采集设备被遮挡。
本实施例中,最大连通区域阶数为最大连通区域两端的横坐标之差,在最大连通区域较小且最大连通区域占比较大的情况下,可以判断视野采集设备存在遮挡的情况。
预设阶数与预设占比均为预设连通区域参数。预设阶数和预设占比可以根据经验得到,也可以根据模型的模拟结果得到。例如,预设阶数为50,预设占比为95%,在检测图像的最大连通区域阶数小于50,且最大连通区域占比大于95%的情况下,认为检测图像中的像素亮度分布过于集中,从而判定该视野采集设备存在遮挡。
通过上述步骤S401和步骤S402,本实施例对亮度直方图中的最大连通区域阶数和最大连通区域占比进行计算,通过将检测图像的最大连通区域阶数与预设阶数对比、将最大连通区域占比与预设占比进行对比,根据对比结果对遮挡情况进行判断,可以提高对视野采集设备遮挡情况的判断准确度。
在其中一些实施例中,图5是根据本申请实施例的对极大值特征进行评估的方法的流程图,如图5所示,该方法包括如下步骤:
步骤S501,在该亮度直方图的极大值序列中,获取第一极大值和第二极大值,其中,该第一极大值对应的纵坐标在极大值序列中最大,第二极大值对应的纵坐标在极大值序列中为次大。
根据亮度直方图中的纵坐标大小,对亮度直方图中的若干个极大值从大到小进行排序,第一极大值为排序第一的极大值,第二极大值为排序第二的极大值。
步骤S502,根据第一极大值的纵坐标和第二极大值的纵坐标,计算该亮度直方图的极大值比例,根据该第一极大值和该第二极大值之间的距离,计算该亮度直方图的极大值距离。
通过第一极大值的纵坐标除以第二极大值的纵坐标,得到两者之间的比例,作为极大值比例,通过计算第一极大值的横坐标与第二极大值的横坐标之间的差值,得到极大值距离。
步骤S503,在极大值比例和极大值距离满足预设条件的情况下,判定视野采集设备被遮挡。
本实施例中的预设条件包括以下至少之一:
该极大值比例大于第一预设极值比例,极大值比例大于第一预设极值比例,说明该极大值比例的数值较大,遮挡较为明显,通常为极暗或者极亮。
该极大值比例小于或者等于第一预设极值比例,且大于第二预设极值比例,该极大值距离小于预设极值距离。
例如,本实施例中的第一预设极值比例可以为1500,第二预设极值比例可以为30。
预设条件中的第一预设极值比例、第二预设极值比例和预设极值距离,均为预设极大值参数,需要在对图像进行测试后得到。
通过上述步骤S501至步骤S503,本实施例对极大值比例和极大值距离进行计算,并将这些极大值特征与预设条件进行对比,由于视野采集设备在被遮挡的情况下,得到的检测图像的不同区域的像素差异较小,在亮度直方图上分布比较集中,不均匀,因此极大值比例大且极大值之间的距离小,说明像素分布在比较集中,与视野采集设备被遮挡的特征相似。在极大值特征满足预设条件的情况下,判定视野采集设备被遮挡,以提高遮挡检测的准确度。
在其中一些实施例中,亮度直方图中仅有一个最大阶,该最大阶称为最大亮度阶,例如,亮度直方图只存在一个峰值,此时,图6是根据本申请实施例的另一种遮挡检测的方法的流程图,该方法包括如下步骤:
步骤S601,根据亮度直方图中,不同亮度的纵坐标,获取最大亮度阶面积。
在本实施例中,获取该最大亮度阶的纵坐标,作为该最大亮度阶的面积。
步骤S602,根据该最大亮度阶面积和该亮度直方图的面积,计算该亮度直方图的最大值比例。
在亮度直方图中,对每个亮度阶的纵坐标值进行求和,得到的和称为亮度直方图的面积。用最大亮度阶面积除以亮度直方图的面积,得到最大值比例。
步骤S603,在该最大值比例大于预设最值比例的情况下,判定该视野采集设备被遮挡。
在该最大值比例大于预设最值比例的情况下,判定视野采集设备存在遮挡。例如,本实施例中的预设最值比例可以为0.2。
通过上述步骤S601至步骤S603,本实施例针对亮度直方图中仅存在一个最大阶,没有第二个极大值的情况,通过引入最大值比例,对视野采集设备的遮挡情况进行判断,提高场景适应性。
在其中一些实施例中,该根据亮度直方图中的亮度分布,获取亮度直方图的连通区域特征和极大值特征之前,还包括:获取检测图像,将该检测图像划分为多个检测区域,获取每个检测区域的亮度直方图。本实施例中,可以通过线条将检测图像划分为多个等大的矩形检测区域,也可以根据需要将检测图像分割为多个不同的多边形区域。本实施例中通过将检测图像分割为多个区域,对每个区域中的亮度直方图进行连通区域特征和极大值特征计算,从而判断视野采集设备是否被遮挡,本实施例中的方法适用于视野采集设备被部分遮挡的情况,在提高遮挡检测方法的场景适应性的同时,提高检测结果的精度。
在其中一些实施例中,在对视野采集设备的遮挡情况进行评估之后,还包括:计算视野采集设备的得分,在该得分大于遮挡阈值的情况下,发出警示信息并退出自动驾驶模式。本实施例中,可以根据连通区域特征和预设连通区域参数的对比结果,对连通区域特征进行打分,例如,在连通区域特征位于判断范围内的情况下,连通区域特征计一分,其中,该判断范围根据预设连通区域参数确定,在连通区域特征不在判断范围的情况下,连通区域特征不计分,根据极大值特征对视野采集设备的遮挡情况进行判断。在最终的得分大于遮挡阈值的情况下,判定视野采集设备被遮挡,发出警示信号,该警示信号可以为声音信号或者光信号,声音信号例如蜂鸣声,或者是语音提示,光信号可以为控制指示灯变亮或者闪烁,同时,自动驾驶汽车退出自动驾驶模式,由驾驶员接管汽车,以提高行驶过程的安全性。
下面通过优选实施例对本申请实施例进行描述和说明。
图7是根据本申请优选实施例的遮挡检测的方法的流程图,如图7所示,该遮挡检测的方法包括如下步骤:
步骤S701,获取检测图像的亮度直方图。
步骤S702,在该亮度直方图中确定最大连通区域的左右边界,根据左右边界计算最大连通区域阶数,计算最大连通区域面积,根据最大连通区域面积确定最大连通区域占比。
步骤S703,在最大连通区域阶数小于预设阶数,且最大连通区域占比大于预设占比的情况下,遮挡检测评分加一分,否则,不得分。本实施例中的预设阶数可以为50,预设占比可以为95%。
步骤S704,获取亮度直方图中的极大值序列,在只有一个极大值的情况下,判定极大值比例=9999,在有多个极大值的情况下,计算极大值比例和极大值距离。
步骤S705,在极大值比例大于第二预设极值比例,且小于第一预设极值比例,且极大值距离小于预设极值距离的情况下,或者,在极大值比例大于第一预设极值比例的情况下,遮挡检测评分加两分,否则不得分。本实施例中的第二预设极值比例可以为30,第一预设极值比例可以为1500,预设极值距离可以为10。
步骤S706,获取亮度直方图中的最大亮度阶面积,根据该最大亮度阶面积计算最大值比例。
步骤S707,在该最大值比例大于最大值比例的情况下,遮挡检测评分加四分,否则不得分。本实施例中的最大值比例可以为0.2。
步骤S708,在遮挡检测评分大于0的情况下,判定视野采集设备被遮挡,否则,不被遮挡。
本实施例中,利用了检测图像裸数据在亮度直方图上的一些派生特征,例如最大连通区域面积,第一极大值和第二极大值的比例,第一极大值和第二极大值之间的距离,最大亮度阶面积等参数,根据不同特征的属性来判断视野采集设备是否存在遮挡现象。还可以根据最后的得分情况,分析在遮挡检测的过程中,具体满足了哪些得分依据。例如,遮挡检测的所有得分情况包括1分、2分、3分、4分、5分、6分、7分共计七种情况,1分、2分和4分,分别对应满足步骤S703、步骤S705和步骤S707的条件,3分对应于遮挡检测结果同时满足步骤S703和步骤S705的条件,5分对应于遮挡检测结果同时满足步骤S703和步骤S707的条件,6分对应于遮挡检测结果同时满足步骤S705和步骤S707的条件,7分对应于遮挡检测结果同时满足步骤S703、步骤S705和步骤S707的条件。
本实施例的方法可以判断低亮或者高亮的遮挡方式,不依赖于亮度,不需要遍历去对黑色像素的数量求和,因此运算量较小,不必全局遍历图像,也不需要大运算量的操作,适合向嵌入式设备移植,且在实际应用和测试中有较好的鲁棒性,能适应室内室外全天候全天气工况,具有较低的误报率和漏报率,可以满足ADAS或者自动驾驶(AutomatedDriving,简称为AD)对于判断摄像机是否被遮挡的要求,判断结果可以作为辅助驾驶功能的介入和退出的依据之一。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种遮挡检测的***,该***用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图8是根据本申请实施例的遮挡检测的***的结构框图,如图8所示,该***包括:图像传感器81和处理芯片82:
图像传感器81获取视野采集设备的检测图像,根据该检测图像的像素亮度生成亮度直方图;处理芯片82根据该亮度直方图中的亮度分布,获取该亮度直方图的连通区域特征和极大值特征;处理芯片82根据该连通区域特征和预设连通区域参数的对比结果,以及该极大值特征与预设极大值参数的对比结果,对该视野采集设备的遮挡情况进行评估。
本实施例中的处理芯片82可以为SoC,该处理芯片82中,包含通用中央处理器(Central Processing Unit,简称为CPU),例如ARM(Advanced RISC Machine),其中,RISC为精简指令集计算机(Reduced Instruction Set Computer,简称为RISC)。
本实施例中的遮挡检测***通过图像传感器81得到亮度直方图,通过处理芯片82对亮度直方图中的连通区域特征和极大值特征进行分析,进而确定视野采集设备是否被遮挡。由于在对检测图像进行曝光检测的过程中,会生成亮度直方图,因此本实施例中用到的亮度直方图可以从图像传感器81或者SoC的IP核中直接获取,不需要对检测图像的像素进行遍历统计,从而解决了在判断摄像装置是否被遮挡时,需要遍历图像中的所有像素,从而导致占用计算资源多的问题,降低了遮挡检测过程中的计算量,且提高了检测方法的鲁棒性。
在其中一些实施例中,处理芯片82还用于:获取该亮度直方图的最大连通区域面积和最大连通区域阶数,计算该亮度直方图的最大连通区域占比,其中,该最大连通区域占比根据该最大连通区域面积和该亮度直方图的面积确定;在该最大连通区域阶数小于预设阶数,且该最大连通区域占比大于预设占比的情况下,判定该视野采集设备被遮挡。
本实施例通过处理芯片82对亮度直方图中的最大连通区域阶数和最大连通区域占比进行计算,通过将检测图像的最大连通区域阶数与预设阶数对比、将最大连通区域占比与预设占比进行对比,根据对比结果对遮挡情况进行判断,可以提高对视野采集设备遮挡情况的判断准确度。
在其他实施例中,处理芯片82还包括图像接收统计模块和遮挡检测算法模块,其中,图像接收统计模块用于获取亮度直方图的连通区域特征和极大值特征,遮挡检测算法模块用于对连通区域特征和极大值特征进行对比分析,最后输出检测结果。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种遮挡检测的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,图9是根据本申请实施例的电子设备的内部结构示意图,如图9所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图9所示。该电子设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种遮挡检测的方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各实施例提供的遮挡检测的方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各个实施例提供的遮挡检测的方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种遮挡检测的方法,其特征在于,所述方法包括:
获取检测图像的亮度直方图,其中,所述检测图像由视野采集设备得到;
根据所述亮度直方图中的亮度分布,获取所述亮度直方图的连通区域特征和极大值特征;
根据所述连通区域特征和预设连通区域参数的对比结果,以及所述极大值特征与预设极大值参数的对比结果,对所述视野采集设备的遮挡情况进行评估。
2.根据权利要求1所述的方法,其特征在于,在所述连通区域特征包括所述亮度直方图的最大连通区域阶数和最大连通区域面积的情况下,所述对所述视野采集设备的遮挡情况进行评估包括:
计算所述亮度直方图的最大连通区域占比,其中,所述最大连通区域占比根据所述最大连通区域面积和所述亮度直方图的面积确定;
在所述最大连通区域阶数小于预设阶数,且所述最大连通区域占比大于预设占比的情况下,判定所述视野采集设备被遮挡。
3.根据权利要求1所述的方法,其特征在于,所述对所述视野采集设备的遮挡情况进行评估包括:
在所述亮度直方图的极大值序列中,获取第一极大值和第二极大值,其中,所述第一极大值对应的纵坐标在所述极大值序列中为最大,所述第二极大值对应的纵坐标在所述极大值序列中为次大;
根据所述第一极大值的纵坐标和所述第二极大值的纵坐标,计算所述亮度直方图的极大值比例,根据所述第一极大值和所述第二极大值之间的距离,计算所述亮度直方图的极大值距离;
在所述极大值比例和所述极大值距离满足预设条件的情况下,判定所述视野采集设备被遮挡,其中,所述预设条件包括以下至少之一:
所述极大值比例大于第一预设极值比例;
所述极大值比例小于或者等于所述第一预设极值比例,且大于第二预设极值比例,所述极大值距离小于预设极值距离。
4.根据权利要求1所述的方法,其特征在于,所述对所述视野采集设备的遮挡情况进行评估还包括:
根据所述亮度直方图中,不同亮度的纵坐标,获取最大亮度阶面积;
根据所述最大亮度阶面积和所述亮度直方图的面积,计算所述亮度直方图的最大值比例;
在所述最大值比例大于预设最值比例的情况下,判定所述视野采集设备被遮挡。
5.根据权利要求1所述的方法,其特征在于,在所述根据所述亮度直方图中的亮度分布,获取所述亮度直方图的连通区域特征和极大值特征之前,所述方法还包括:
获取检测图像,将所述检测图像划分为多个检测区域,获取每个所述检测区域的亮度直方图。
6.根据权利要求1所述的方法,其特征在于,在所述对所述视野采集设备的遮挡情况进行评估之后,所述方法包括:
计算所述视野采集设备的得分,在所述得分大于遮挡阈值的情况下,发出警示信息并退出自动驾驶模式。
7.一种遮挡检测的***,其特征在于,所述***包括图像传感器和处理芯片:
所述图像传感器获取视野采集设备的检测图像,根据所述检测图像的像素亮度生成亮度直方图;
所述处理芯片根据所述亮度直方图中的亮度分布,获取所述亮度直方图的连通区域特征和极大值特征;
所述处理芯片根据所述连通区域特征和预设连通区域参数的对比结果,以及所述极大值特征与预设极大值参数的对比结果,对所述视野采集设备的遮挡情况进行评估。
8.根据权利要求7所述的***,其特征在于,所述处理芯片还用于:
获取所述亮度直方图的最大连通区域面积和最大连通区域阶数,计算所述亮度直方图的最大连通区域占比,其中,所述最大连通区域占比根据所述最大连通区域面积和所述亮度直方图的面积确定;
在所述最大连通区域阶数小于预设阶数,且所述最大连通区域占比大于预设占比的情况下,判定所述视野采集设备被遮挡。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010498618.0A CN111862228B (zh) | 2020-06-04 | 2020-06-04 | 遮挡检测的方法、***、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010498618.0A CN111862228B (zh) | 2020-06-04 | 2020-06-04 | 遮挡检测的方法、***、计算机设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111862228A true CN111862228A (zh) | 2020-10-30 |
CN111862228B CN111862228B (zh) | 2023-11-10 |
Family
ID=72985952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010498618.0A Active CN111862228B (zh) | 2020-06-04 | 2020-06-04 | 遮挡检测的方法、***、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111862228B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112394198A (zh) * | 2020-12-01 | 2021-02-23 | 中国计量科学研究院 | 一种单侧无源三光束光遮挡在线测速测距标准装置 |
CN112465729A (zh) * | 2020-12-11 | 2021-03-09 | 四川长虹电器股份有限公司 | 基于电视直方图动态调整图像对比度的方法 |
CN112798604A (zh) * | 2021-01-08 | 2021-05-14 | 成都主导科技有限责任公司 | 一种车轮踏面缺陷检测***及检测方法 |
CN112990309A (zh) * | 2021-03-12 | 2021-06-18 | 随锐科技集团股份有限公司 | 检测仪表设备是否存在异物遮挡的方法及*** |
CN113347359A (zh) * | 2021-06-02 | 2021-09-03 | 深圳康佳电子科技有限公司 | 图像采集装置的位置调整方法、装置、设备及存储介质 |
CN113706508A (zh) * | 2021-08-27 | 2021-11-26 | 歌尔科技有限公司 | 光束质量分析方法、设备、光束分析***及存储介质 |
CN114332720A (zh) * | 2021-12-31 | 2022-04-12 | 上海商汤临港智能科技有限公司 | 摄像装置遮挡检测方法、装置、电子设备及存储介质 |
CN115278104A (zh) * | 2022-07-04 | 2022-11-01 | 浙江大华技术股份有限公司 | 一种图像亮度调整方法、装置、电子设备及存储介质 |
WO2023124387A1 (zh) * | 2021-12-31 | 2023-07-06 | 上海商汤智能科技有限公司 | 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101539991A (zh) * | 2008-03-20 | 2009-09-23 | 中国科学院自动化研究所 | 用于虹膜识别的有效图像区域检测和分割方法 |
CN102176244A (zh) * | 2011-02-17 | 2011-09-07 | 东方网力科技股份有限公司 | 一种确定摄像头被遮挡的方法及装置 |
CN103458246A (zh) * | 2013-09-03 | 2013-12-18 | 清华大学 | 视频运动分割中的遮挡处理方法及*** |
CN105122794A (zh) * | 2013-04-02 | 2015-12-02 | 谷歌公司 | 相机遮挡检测 |
CN106599783A (zh) * | 2016-11-09 | 2017-04-26 | 浙江宇视科技有限公司 | 一种视频遮挡检测方法及装置 |
JP2018197666A (ja) * | 2017-05-23 | 2018-12-13 | 株式会社Jvcケンウッド | 撮像装置、レンズ汚れ検出方法およびレンズ汚れ検出プログラム |
-
2020
- 2020-06-04 CN CN202010498618.0A patent/CN111862228B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101539991A (zh) * | 2008-03-20 | 2009-09-23 | 中国科学院自动化研究所 | 用于虹膜识别的有效图像区域检测和分割方法 |
CN102176244A (zh) * | 2011-02-17 | 2011-09-07 | 东方网力科技股份有限公司 | 一种确定摄像头被遮挡的方法及装置 |
CN105122794A (zh) * | 2013-04-02 | 2015-12-02 | 谷歌公司 | 相机遮挡检测 |
CN103458246A (zh) * | 2013-09-03 | 2013-12-18 | 清华大学 | 视频运动分割中的遮挡处理方法及*** |
CN106599783A (zh) * | 2016-11-09 | 2017-04-26 | 浙江宇视科技有限公司 | 一种视频遮挡检测方法及装置 |
JP2018197666A (ja) * | 2017-05-23 | 2018-12-13 | 株式会社Jvcケンウッド | 撮像装置、レンズ汚れ検出方法およびレンズ汚れ検出プログラム |
Non-Patent Citations (3)
Title |
---|
ANIL AKSAY 等: "Camera tamper detection using wavelet analysis for video surveillance", 《2007 IEEE CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE》, pages 558 - 562 * |
张润初: "基于视频的交通流参数提取方法及***实现研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 12, pages 034 - 185 * |
惠祥龙 等: "一种行人跟踪遮挡处理方法", 《计算机仿真》, vol. 32, no. 7, pages 244 - 247 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112394198A (zh) * | 2020-12-01 | 2021-02-23 | 中国计量科学研究院 | 一种单侧无源三光束光遮挡在线测速测距标准装置 |
CN112465729A (zh) * | 2020-12-11 | 2021-03-09 | 四川长虹电器股份有限公司 | 基于电视直方图动态调整图像对比度的方法 |
CN112798604A (zh) * | 2021-01-08 | 2021-05-14 | 成都主导科技有限责任公司 | 一种车轮踏面缺陷检测***及检测方法 |
CN112990309B (zh) * | 2021-03-12 | 2023-11-28 | 随锐科技集团股份有限公司 | 检测仪表设备是否存在异物遮挡的方法及*** |
CN112990309A (zh) * | 2021-03-12 | 2021-06-18 | 随锐科技集团股份有限公司 | 检测仪表设备是否存在异物遮挡的方法及*** |
CN113347359A (zh) * | 2021-06-02 | 2021-09-03 | 深圳康佳电子科技有限公司 | 图像采集装置的位置调整方法、装置、设备及存储介质 |
CN113347359B (zh) * | 2021-06-02 | 2022-10-04 | 深圳康佳电子科技有限公司 | 图像采集装置的位置调整方法、装置、设备及存储介质 |
CN113706508A (zh) * | 2021-08-27 | 2021-11-26 | 歌尔科技有限公司 | 光束质量分析方法、设备、光束分析***及存储介质 |
CN113706508B (zh) * | 2021-08-27 | 2024-05-03 | 歌尔科技有限公司 | 光束质量分析方法、设备、光束分析***及存储介质 |
CN114332720A (zh) * | 2021-12-31 | 2022-04-12 | 上海商汤临港智能科技有限公司 | 摄像装置遮挡检测方法、装置、电子设备及存储介质 |
WO2023124387A1 (zh) * | 2021-12-31 | 2023-07-06 | 上海商汤智能科技有限公司 | 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品 |
WO2023124385A1 (zh) * | 2021-12-31 | 2023-07-06 | 上海商汤智能科技有限公司 | 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品 |
CN115278104B (zh) * | 2022-07-04 | 2024-02-09 | 浙江大华技术股份有限公司 | 一种图像亮度调整方法、装置、电子设备及存储介质 |
CN115278104A (zh) * | 2022-07-04 | 2022-11-01 | 浙江大华技术股份有限公司 | 一种图像亮度调整方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111862228B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111862228A (zh) | 遮挡检测的方法、***、计算机设备和可读存储介质 | |
CN110210302B (zh) | 多目标跟踪方法、装置、计算机设备及存储介质 | |
CN110533950A (zh) | 车位使用状况的检测方法、装置、电子设备及存储介质 | |
CN113436175B (zh) | 车图像分割质量的评估方法、装置、设备及存储介质 | |
EP3889825A1 (en) | Vehicle lane line detection method, vehicle, and computing device | |
CN110827269B (zh) | 农作物生长变化状况检测方法、装置、设备及介质 | |
CN110853060A (zh) | 车辆外观检测方法、装置、计算机设备和存储介质 | |
CN103810696A (zh) | 一种目标对象图像检测方法及装置 | |
CN110245544A (zh) | 一种确定停车状态的方法及装置 | |
CN111160086A (zh) | 车道线识别方法、装置、设备和存储介质 | |
CN113808135B (zh) | 图像亮度异常检测方法、电子设备及存储介质 | |
CN112991807A (zh) | 一种车位状态检测方法、装置、设备及存储介质 | |
CN113496215B (zh) | 一种活体人脸检测的方法、装置及电子设备 | |
CN114882470A (zh) | 车载防碰撞预警方法、装置、计算机设备及存储介质 | |
CN113902740A (zh) | 图像模糊程度评价模型的构建方法 | |
CN109117843B (zh) | 字符遮挡检测方法及装置 | |
CN111368728A (zh) | 安全监测方法、装置、计算机设备和存储介质 | |
CN110991331A (zh) | 施工现场的检测方法、装置、计算机设备和存储介质 | |
CN113807125A (zh) | 应急车道占用检测方法、装置、计算机设备和存储介质 | |
CN111274931A (zh) | 超车行为的审核方法、装置、计算机设备和存储介质 | |
CN111383268A (zh) | 车辆间距状态获取方法、装置、计算机设备和存储介质 | |
CN114627114B (zh) | 产品缺陷严重程度测量方法及***及装置及介质 | |
CN113065378B (zh) | 物品违规抛扔检测方法、装置、服务器及存储介质 | |
CN115965946A (zh) | 驾驶员脚部行为违规检测方法、装置、设备及存储介质 | |
CN110135442B (zh) | 一种特征点提取算法的评价***与方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |