CN108052893B - 一种识别远光灯是否开启的方法及设备 - Google Patents
一种识别远光灯是否开启的方法及设备 Download PDFInfo
- Publication number
- CN108052893B CN108052893B CN201711308317.1A CN201711308317A CN108052893B CN 108052893 B CN108052893 B CN 108052893B CN 201711308317 A CN201711308317 A CN 201711308317A CN 108052893 B CN108052893 B CN 108052893B
- Authority
- CN
- China
- Prior art keywords
- area
- vehicle lamp
- communication area
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种识别车辆远光灯是否开启的方法及设备,所述方法包括获取包含同一行驶车辆的至少一组图像;若至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;其中,目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,第一车灯连通区域和第二车灯连通区域在满足下列条件后确定匹配:第一车灯连通区域的形状特征与第二车灯连通区域的形状特征匹配;第一车灯连通区域的亮度值与第二车灯连通区域的亮度值之差在预设范围内;第一车灯连通区域与第二车灯连通区域的位置排列满足预设排列关系。
Description
技术领域
本发明涉及智能交通监管技术领域,尤其涉及一种识别远光灯是否开启的方法及设备。
背景技术
车灯是汽车的重要功能之一,在夜晚行驶中都会开启车灯。与近光灯相比,远光灯的光线集中平行射出,亮度大,可以照到更远的距离,这对于夜间驾驶员开车有很大的帮助。然而目前滥用远光灯的现象日益严重,在不不应该开启远光灯的情况下使用远光灯不仅不会提高行车安全,反而会增加危险事故的发生概率。因为远光灯会导致对向车辆瞬间处于盲区,导致驾驶者对于前方车辆速度和距离产生很大视觉偏差,容易发生误操作;且远光灯后方的事物难被对面车辆发现,易发生交通事故。
目前,主要是通过在道路上设置漫反射路牌标志的方式来检测间行驶车辆是否开启远光灯,由于该方法需要在路边额外安装漫反射路牌标志,且漫反射路牌标志将车辆灯光反射至对应车道前方的摄像机的过程中,又会受其他辆遮挡漫反射路牌标志以及外界的天气情况等因素的影响,继而影响了摄像机中光线强度的预设阈值的鲁棒性,从而影响摄相机内部根据灯光的预设强度阈值来判别是否开启远光灯的准确性。
所以,现有技术中,存在不能准确识别车辆远光灯是否开启的技术问题。
发明内容
本发明实施例提供一种识别车辆远光灯是否开启的方法及设备,用于解决现有技术中,存在不能准确识别车辆远光灯是否开启的技术问题。
本发明实施例提供的具体技术方案如下:
获取包含同一行驶车辆的至少一组图像;
若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;
其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:
所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;
所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;
所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
可选的,所述获取包含同一行驶车辆的至少一组图像,具体包括:
针对任意一行驶车辆,获取所述行驶车辆在图像中的预设范围内的至少一组图像。
可选的,所述预设范围为图像中的H/2至2H/3距离范围,其中,H为所述图像的高。
可选的,根据下列方式确定每组图像包含的左侧的第一车灯连通区域和第二车灯连通区域,以及右侧的第一车灯连通区域和第二车灯连通区域:
针对任意一组图像,从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域;
对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域;以及
对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域。
可选的,所述从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域,具体包括:
对所述组图像进行车牌检测定位处理,获得所述组图像中车牌位置;
根据所述车牌位置对车牌的宽度和高度按照第一预设比例左右扩展,获得左侧的第一区域和右侧的第一区域;
根据所述车牌位置对车牌的宽度和高度按照与第一预设比例不同的第二预设比例左右扩展,获得左侧的第二区域和右侧的第二区域;
左侧的第一区域与左侧的第二区域未重合的区域为左侧车灯有效区域;
右侧的第一区域与右侧的第二区域未重合的区域为右侧车灯有效区域。
可选的,所述从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域,具体包括:
从所述组图像中确定出第I帧图像和第K帧图像,I与K均为大于1的正整数,且I不等于K;
获得所述第I帧图像与所述第K帧图像的差值图像;
对所述差值图像进行二值化,获得左侧车灯有效区域以及右侧车灯有效区域。
可选的,所述对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域,具体包括:
对左侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域;
所述对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域,具体包括:
对右侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中右侧的第一车灯连通区域以及右侧的第二车灯连通区域。
第二方面,本发明实施例提供了一种识别车辆远光灯是否开启的设备,包括:
获取单元,用于获取包含同一行驶车辆的至少一组图像;
确定单元,用于若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;
其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:
所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;
所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;
所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
可选的,所述获取单元用于:
针对任意一行驶车辆,获取所述行驶车辆在图像中的预设范围内的至少一组图像。
可选的,所述预设范围为图像中的H/2至2H/3距离范围,其中,H为所述图像的高。
可选的,所述确定单元用于:
针对任意一组图像,从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域;
对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域;以及
对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域。
可选的,所述确定单元用于:
对所述组图像进行车牌检测定位处理,获得所述组图像中车牌位置;
根据所述车牌位置对车牌的宽度和高度按照第一预设比例左右扩展,获得左侧的第一区域和右侧的第一区域;
根据所述车牌位置对车牌的宽度和高度按照与第一预设比例不同的第二预设比例左右扩展,获得左侧的第二区域和右侧的第二区域;
左侧的第一区域与左侧的第二区域未重合的区域为左侧车灯有效区域;
右侧的第一区域与右侧的第二区域未重合的区域为右侧车灯有效区域。
可选的,所述确定单元用于:
从所述组图像中确定出第I帧图像和第K帧图像,I与K均为大于1的正整数,且I不等于K;
获得所述第I帧图像与所述第K帧图像的差值图像;
对所述差值图像进行二值化,获得左侧车灯有效区域以及右侧车灯有效区域。
可选的,所述确定单元用于:
对左侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域;
对右侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中右侧的第一车灯连通区域以及右侧的第二车灯连通区域。
再一方面,本发明实施例提供了一种识别车辆远光灯是否开启的设备,该设备主要包括处理器和存储器,其中,存储器中保存有预设的程序,处理器读取存储器中的程序,按照该程序执行以下过程:
获取包含同一行驶车辆的至少一组图像;
若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;
其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:
所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;
所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;
所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
可选的,还可以执行以下过程:
针对任意一行驶车辆,获取所述行驶车辆在图像中的预设范围内的至少一组图像。
可选的,所述预设范围为图像中的H/2至2H/3距离范围,其中,H为所述图像的高。
可选的,还可以执行以下过程:
针对任意一组图像,从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域;
对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域;以及
对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域。
可选的,还可以执行以下过程:
对所述组图像进行车牌检测定位处理,获得所述组图像中车牌位置;
根据所述车牌位置对车牌的宽度和高度按照第一预设比例左右扩展,获得左侧的第一区域和右侧的第一区域;
根据所述车牌位置对车牌的宽度和高度按照与第一预设比例不同的第二预设比例左右扩展,获得左侧的第二区域和右侧的第二区域;
左侧的第一区域与左侧的第二区域未重合的区域为左侧车灯有效区域;
右侧的第一区域与右侧的第二区域未重合的区域为右侧车灯有效区域。
可选的,还可以执行以下过程:
从所述组图像中确定出第I帧图像和第K帧图像,I与K均为大于1的正整数,且I不等于K;
获得所述第I帧图像与所述第K帧图像的差值图像;
对所述差值图像进行二值化,获得左侧车灯有效区域以及右侧车灯有效区域。
可选的,还可以执行以下过程:
对左侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域;
可选的,还可以执行以下过程:
对右侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中右侧的第一车灯连通区域以及右侧的第二车灯连通区域。
由于本发明实施例中的技术方案,采用获取包含同一行驶车辆的至少一组图像;若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系的技术。
也即在本发明中,联合利用获得同一车辆图像中左右侧的第一车灯连通区域的形状特征与第二车灯连通区域的形状特征匹配,左右侧的第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内,以及左右侧的第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系来识别该车辆的远光灯处于开启状态,使得车辆远光灯识别更加准确性。
同时,又用于本发明中可以利用获取同一车辆的多组图像,对这多组图像中的每一组图像的识别结果采用多帧识别融合决策方式给出该车辆远光灯的识别结果,进一步提高了车辆远光灯的识别准确性,所以,能够有效的解决现有技术中,存在不能准确识别车辆远光灯是否开启的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例。
图1为本发明实施例提供的一种识别车辆远光灯是否开启的方法的流程图;
图2为本发明实施例中获取预设区域图像的结构示意图;
图3为本发明实施例中还可以执行的步骤的流程图;
图4为本发明实施例中步骤S201第一种执行方式的流程图;
图5为本发明实施例中根据车牌位置对车牌的宽度和高度按照一定比例扩展的结构示意图;
图6为本发明实施例中步骤S201第二种执行方式的流程图;
图7为本发明实施例中步骤S202第一种执行方式的流程图;
图8为本发明实施例中步骤S202第二种执行方式的流程图;
图9为本发明实施例提供的一种设备的结构示意图;
图10为本发明实施例提供的另一种设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明技术方案的一部分实施例,而不是全部的实施例。基于本发明文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明技术方案保护的范围。
本发明实施例中,请参考图1,识别车辆远光灯是否开的过程如下:
步骤S101:获取包含同一行驶车辆的至少一组图像;
步骤S102:若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
在实际应用中,本发明中的实施例首先执行步骤S101即获取包含同一行驶车辆的至少一组图像。
在具体实践过程中,可以在道路上设置摄像头,那么,当夜间车辆行驶到该摄像头的摄像范围内时就可以通过摄像头拍摄获取该车辆的图像,当然,可以根据实际需要,设定获取的该车辆的图像的组数,例如,可以获取该车辆的一组图像,也可以获取该车辆的三组图像,还可以获取该车辆的十组图像等,同样的,获取的该车辆的每一组图像中的图像数量也可以根据实际需要设定,例如,获取的每一组图像可以仅包括一帧图像,也可以包括5帧图像,还可以包括20帧图像等。
在获得一行驶车辆的图像后,本发明中的实施例就会执行步骤S102:若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
在实际应用中,可以利用多帧融合决策方法,例如,在获得一行驶车辆的图像组数为三组时,可以设置获得的这三组图像中有两组图像满足车辆的远光灯处于开启状态的条件时,那么才确定该车辆的远光灯处于开启状态,也可以设置获得的这三组图像中的每一组图像都满足车辆的远光灯处于开启状态的条件时,才确定该车辆的远光灯处于开启状态。
具体的,当设置获得的这三组图像中有两组图像满足车辆的远光灯处于开启状态的条件,才确定该车辆的远光灯处于开启状态时,那么,在实际应用中,可以先去判断第一组图中车辆左侧的第一车灯连通区域的形状特征是否与左侧的第二车灯连通区域的形状特征匹配,以及右侧的第一车灯连通区域的形状特征是否与右侧的第二车灯连通区域的形状特征匹配,这里为了叙述方便,简称为左右侧的第一车灯区域是否与第二车灯区域匹配。例如左右侧的第一车灯连通区域和第二车灯连通区域都为两个近似的圆形,或都为两个近似的椭圆时,就确定左右侧的第一车灯连通区域的形状特征与左侧的第二车灯连通区域的形状特征匹配。
这时,还要去判断左右侧的第一车灯连通区域的亮度值与第二车灯连通区域的亮度值的差是否在预设的范围内,在实际应用中,当车辆的远光灯处于开启状态时,由于远光灯的光线集中,强度大,所以远光灯的亮度值(也叫灰度值)大于近光灯的亮度值,所以远光灯对应的连通区域的亮度值也大于近光灯对应的连通区域的亮度值,也即左右侧的第一车灯连通区域的亮度值与第二车灯连通区域的存在一个亮度差,这个亮度差为远光灯与近光灯的亮度差值,这个亮度差的范围可以根据实际测定获得。
这里假设左右侧的第一车灯连通区域的亮度值与第二车灯连通区域的亮度值的差在预设的亮度差的范围内,这时,还要去判断左右侧的第一车灯连通区域与所述第二车灯连通区域的位置排列是否满足预设排列关系。在实际应用中,当远光灯处于开启状态时,由于远光灯与近光灯距离一般较近,那么远光灯对应的连通区域与近光灯对应的连通区域在排列上即为近似水平排列的关系,所以,预设排列关系可以为近似水平排列的关系,这里假设左右侧的第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设的近似水平排列的关系,那么,就可以确定该车辆的左右侧的第一车灯连通区域与第二车灯连通区域匹配,该第一组图像的判断结果为该车的远光灯处于开启状态。
这时,还要继续如上述方式来判断第二组图像的左右侧的第一车灯连通区域与第二车灯连通区域是否匹配,若第二组图像的左右侧的第一车灯连通区域与第二车灯连通区域匹配,那么,该第二组图像的判断结果为该车的远光灯处于开启状态,这时,无论第三组图像的左右侧的第一车灯连通区域与第二车灯连通区域是否匹配,也即第三组图像的判断结果无论是该车的远光灯处于开启状态还是未开启状态,都可以最终确定该车辆的远光灯处于开启状态,
当然,在实际应用中,可以选择设定将获得三组图像都进行判断后,才最终确定该车辆的远光灯是否处于开启状态,也可以设定当判断到第二组图像的结构也为该车的远光灯处于开启状态时(多数组图像的判断结果为是),就不用再判断第三组图像。
当然,在实际应用中,也可以只获取一行驶车辆的一组图像,同样的,该一组图像中的图像帧数可以根据实际需要确定,在此,不做限制,具体的,当获得一行驶车辆的图像组数为一组,那么,当这一组图像中车辆左侧的第一车灯连通区域与左侧的第二车灯连通区域匹配,以及右侧的第一车灯连通区域与右侧的第二车灯连通区域匹配时,才确定该车辆的远车灯处理开启状态。在此,就不重复叙述。
所以,通过上述方法,联合利用获得同一车辆图像中左右侧的第一车灯连通区域的形状特征与第二车灯连通区域的形状特征匹配,左右侧的第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内,以及左右侧的第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系来识别该车辆的远光灯处于开启状态,使得车辆远光灯识别更加准确性。
同时,又用于本发明中可以利用获取同一车辆的多组图像,对这多组图像中的每一组图像的识别结果采用多帧识别融合决策方式给出该车辆远光灯的识别结果,进一步提高了车辆远光灯的识别准确性,所以,能够有效的解决现有技术中,存在不能准确识别车辆远光灯是否开启的技术问题。
在实际应用中,上述步骤S101还可以按照以下方式具体实现:
针对任意一行驶车辆,获取所述行驶车辆在图像中的预设范围内的至少一组图像。
在具体实践过程,为了获得较高清晰度的车辆行驶图像,可以设定当车辆行驶到图像中的一个预设范围内时,才去获取该车辆的图像,请结合图2,本发明人经过研究测得,当车辆行驶到图像中的H/2至2H/3距离范围,其中,H 为图像的高时,获得的图像的清晰度较高,那么,在本实施例中,就可以去获取任一车辆行驶到图像中的H/2至2H/3距离范围内中的一组或多组图像。
请参考图3,在实际应用中,还可以根据下列方式确定来确定获得任一车辆的每组图像包含的左侧的第一车灯连通区域和第二车灯连通区域,以及右侧的第一车灯连通区域和第二车灯连通区域:
步骤S201:针对任意一组图像,从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域;
步骤S202:对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域;以及对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域。
在实际应用中,在获得一车辆的一组或多组图像后,就可以对这一组或多组中任一组图像中确定出左侧车灯有效区域以及右侧车灯有效区域,在具体实践过程中,上述步骤S201可以通过以下两种方式执行:
请参考图4,为步骤S201的第一种执行方式:
步骤S2011:对所述组图像进行车牌检测定位处理,获得所述组图像中车牌位置;
步骤S2012:根据所述车牌位置对车牌的宽度和高度按照第一预设比例左右扩展,获得左侧的第一区域和右侧的第一区域;
步骤S2013:根据所述车牌位置对车牌的宽度和高度按照与第一预设比例不同的第二预设比例左右扩展,获得左侧的第二区域和右侧的第二区域;
步骤S2014:左侧的第一区域与左侧的第二区域未重合的区域为左侧车灯有效区域;右侧的第一区域与右侧的第二区域未重合的区域为右侧车灯有效区域。
这里,以获得一组图像为例,那么就可以对该组图像通过车牌检测定位处理,确定出该组图像中的车辆车牌位置,然后以该车牌位置为参考位置,将车牌的宽度和高度按照第一预设比例分别向左扩展以及向右扩展,请参考图5,这里假设第一预设比例为1:2,将车牌的宽度和高度按照1:2的比例分别向左扩展以及向左扩展,获得左侧的第一区域如图5中标识1,以及右侧的第一区域如图5 中标识2。
然后,再将车牌的宽度和高度按照第二预设比例分别向左扩展以及向右扩展,这里假设第二预设比例为2.5:2,获得左侧的第二区域如图5 中标识3,以及右侧的第二区域如图5 中标识4,那么,左侧的第一区域与左侧的第二区域未重合的区域如图5 中标识5,就为左侧车灯有效区域,右侧的第一区域与右侧的第二区域未重合的区域如图5 中标识6,就为右侧车灯有效区域。
请参考图6,为步骤S201的第二种执行方式:
步骤S2015:所述组图像中确定出第I帧图像和第K帧图像,I与K均为大于1的正整数,且I不等于K;
步骤S2016:获得所述第I帧图像与所述第K帧图像的差值图像;
步骤S2017:对所述差值图像进行二值化,获得左侧车灯有效区域以及右侧车灯有效区域。
这里,也以获得一组图像为例,若这一组图像中的包括多帧图像,那么,就可以从多帧图像中任一确定出不同的两帧图像进行减法运算或加权减法运算得到这两帧图像的差值图像,假设这组图像包括3帧图像,那么就可以确定出这组图像中第一帧图像和第三帧图像,将第一帧图像和第三帧图像进行减法运算得到差值图像,然后将该差值图像进行二值化,确定出左侧车灯有效区域以及右侧车灯有效区域。
在实际应用中,在通过上述步骤S201的第一种执行方式或步骤S201的第二种执行方式确定图像中的左侧车灯有效区域以及右侧车灯有效区域之后,还可以通过以下第一种方式执行步骤S202,来确定左侧的第一车灯连通区域和第二车灯连通区域,以及第二种方式执行步骤S202来确定右侧的第一车灯连通区域和第二车灯连通区域:
请参考图7,为步骤S202第一种执行方式:
步骤S2021:对左侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
步骤S2022:对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域;
在实际应用中,在确定出图像中的左侧车灯有效区域后,就可以对左侧车灯有效区域的灰度图进行二值化处理,如利用Qtsu技术对左侧车灯有效区域的灰度图进行二值化处理,得到包含第一车灯连通区域以及第二车灯连通区域在内的二值化图,然后对该二值化图进行形态学的先膨胀,后腐蚀操作,进而减轻因灯光的发散导致二值化图中的空洞及断裂,然后再采用8连通域法,去除先膨胀后腐蚀操作后的二值化图的毛刺以及噪声干扰,进而得到处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域,在实际应用中,用于除去二值化图的毛刺以及噪声干扰的阈值可以根据大量的采集图统计经验得到,在此,就不过多讨论。
请参考图8,为步骤S202第二种执行方式:
步骤S2023:对右侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
步骤S2024:对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中右侧的第一车灯连通区域以及右侧的第二车灯连通区域。
同样的,在确定出图像中的右侧车灯有效区域后,就可以对右侧车灯有效区域的灰度图进行二值化处理,如利用Qtsu技术对右侧车灯有效区域的灰度图进行二值化处理,得到包含第一车灯连通区域以及第二车灯连通区域在内的二值化图,然后对该二值化图进行形态学的先膨胀,后腐蚀操作,进而减轻因灯光的发散导致二值化图中的空洞及断裂,然后再采用8连通域法,去除先膨胀后腐蚀操作后的二值化图的毛刺以及噪声干扰,进而得到处理后的二值化图中右侧的第一车灯连通区域以及第二车灯连通区域。
基于同一发明构思,本发明实施例中提供了一种识别车辆远光灯是否开启的设备,该设备识别远光灯是否开启的具体实施可参见方法实施例部分的描述,重复之处不再赘述,请参考图9,该终端主要包括:
获取单元10,用于获取包含同一行驶车辆的至少一组图像;
确定单元11,用于若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;
其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:
所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;
所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;
所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
可选的,所述获取单元用于:
针对任意一行驶车辆,获取所述行驶车辆在图像中的预设范围内的至少一组图像。
可选的,所述预设范围为图像中的H/2至2H/3距离范围,其中,H为所述图像的高。
可选的,所述确定单元用于:
针对任意一组图像,从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域;
对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域;以及
对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域。
可选的,所述确定单元用于:
对所述组图像进行车牌检测定位处理,获得所述组图像中车牌位置;
根据所述车牌位置对车牌的宽度和高度按照第一预设比例左右扩展,获得左侧的第一区域和右侧的第一区域;
根据所述车牌位置对车牌的宽度和高度按照与第一预设比例不同的第二预设比例左右扩展,获得左侧的第二区域和右侧的第二区域;
左侧的第一区域与左侧的第二区域未重合的区域为左侧车灯有效区域;
右侧的第一区域与右侧的第二区域未重合的区域为右侧车灯有效区域。
可选的,所述确定单元用于:
从所述组图像中确定出第I帧图像和第K帧图像,I与K均为大于1的正整数,且I不等于K;
获得所述第I帧图像与所述第K帧图像的差值图像;
对所述差值图像进行二值化,获得左侧车灯有效区域以及右侧车灯有效区域。
可选的,所述确定单元用于:
对左侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域;
对右侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中右侧的第一车灯连通区域以及右侧的第二车灯连通区域。
基于同一发明构思,本发明实施例提供了一种识别车辆远光灯是否开启的设备,该设备实现识别车辆远光灯是否开启的具体实施可参见方法实施例部分的描述,重复之处不再赘述,如图10所示,该设备主要包括处理器21和存储器22,其中,存储器22中保存有预设的程序,处理器21读取存储器22中的程序,按照该程序执行以下过程:
获取包含同一行驶车辆的至少一组图像;
若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;
其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:
所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;
所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;
所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
可选的,还可以执行以下过程:
针对任意一行驶车辆,获取所述行驶车辆在图像中的预设范围内的至少一组图像。
可选的,所述预设范围为图像中的H/2至2H/3距离范围,其中,H为所述图像的高。
可选的,还可以执行以下过程:
针对任意一组图像,从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域;
对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域;以及
对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域。
可选的,还可以执行以下过程:
对所述组图像进行车牌检测定位处理,获得所述组图像中车牌位置;
根据所述车牌位置对车牌的宽度和高度按照第一预设比例左右扩展,获得左侧的第一区域和右侧的第一区域;
根据所述车牌位置对车牌的宽度和高度按照与第一预设比例不同的第二预设比例左右扩展,获得左侧的第二区域和右侧的第二区域;
左侧的第一区域与左侧的第二区域未重合的区域为左侧车灯有效区域;
右侧的第一区域与右侧的第二区域未重合的区域为右侧车灯有效区域。
可选的,还可以执行以下过程:
从所述组图像中确定出第I帧图像和第K帧图像,I与K均为大于1的正整数,且I不等于K;
获得所述第I帧图像与所述第K帧图像的差值图像;
对所述差值图像进行二值化,获得左侧车灯有效区域以及右侧车灯有效区域。
可选的,所述对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域,具体包括:
对左侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域;
可选的,还可以执行以下过程:
对右侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中右侧的第一车灯连通区域以及右侧的第二车灯连通区域。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (14)
1.一种识别车辆远光灯是否开启的方法,其特征在于,包括:
获取包含同一行驶车辆的至少一组图像;
若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;
其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:
所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;
所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;
所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
2.如权利要求1所述的方法,其特征在于,所述获取包含同一行驶车辆的至少一组图像,具体包括:
针对任意一行驶车辆,获取所述行驶车辆在图像中的预设范围内的至少一组图像。
3.如权利要求2所述的方法,其特征在于,所述预设范围为图像中的H/2至2H/3距离范围,其中,H为所述图像的高。
4.如权利要求1所述的方法,其特征在于,根据下列方式确定每组图像包含的左侧的第一车灯连通区域和第二车灯连通区域,以及右侧的第一车灯连通区域和第二车灯连通区域:
针对任意一组图像,从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域;
对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域;以及
对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域。
5.如权利要求4所述的方法,其特征在于,所述从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域,具体包括:
对所述组图像进行车牌检测定位处理,获得所述组图像中车牌位置;
根据所述车牌位置对车牌的宽度和高度按照第一预设比例左右扩展,获得左侧的第一区域和右侧的第一区域;
根据所述车牌位置对车牌的宽度和高度按照与第一预设比例不同的第二预设比例左右扩展,获得左侧的第二区域和右侧的第二区域;
左侧的第一区域与左侧的第二区域未重合的区域为左侧车灯有效区域;
右侧的第一区域与右侧的第二区域未重合的区域为右侧车灯有效区域。
6.如权利要求4所述的方法,其特征在于,所述从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域,具体包括:
从所述组图像中确定出第I帧图像和第K帧图像,I与K均为大于1的正整数,且I不等于K;
获得所述第I帧图像与所述第K帧图像的差值图像;
对所述差值图像进行二值化,获得左侧车灯有效区域以及右侧车灯有效区域。
7.如权利要求4所述的方法,其特征在于,所述对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域,具体包括:
对左侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域;
所述对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域,具体包括:
对右侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中右侧的第一车灯连通区域以及右侧的第二车灯连通区域。
8.一种识别车辆远光灯是否开启的设备,其特征在于,包括:
获取单元,用于获取包含同一行驶车辆的至少一组图像;
确定单元,用于若所述至少一组图像中目标组图像的数量满足设定数量,则确定图像中行驶的车辆的远光灯处于开启状态;
其中,所述目标组图像为包含左侧的第一车灯连通区域和第二车灯连通区域匹配,以及右侧的第一车灯连通区域和第二车灯连通区域匹配的组图像,所述第一车灯连通区域和所述第二车灯连通区域在满足下列条件后确定匹配:
所述第一车灯连通区域的形状特征与所述第二车灯连通区域的形状特征匹配;
所述第一车灯连通区域的亮度值与所述第二车灯连通区域的亮度值之差在预设范围内;
所述第一车灯连通区域与所述第二车灯连通区域的位置排列满足预设排列关系。
9.如权利要求8所述的设备,其特征在于,所述获取单元用于:
针对任意一行驶车辆,获取所述行驶车辆在图像中的预设范围内的至少一组图像。
10.如权利要求9所述的设备,其特征在于,所述预设范围为图像中的H/2至2H/3距离范围,其中,H为所述图像的高。
11.如权利要求8所述的设备,其特征在于,所述确定单元用于:
针对任意一组图像,从所述组图像中确定左侧车灯有效区域以及右侧车灯有效区域;
对左侧车灯有效区域进行图像预处理,确定左侧的第一车灯连通区域和第二车灯连通区域;以及
对右侧车灯有效区域进行图像预处理,确定右侧的第一车灯连通区域和第二车灯连通区域。
12.如权利要求11所述的设备,其特征在于,所述确定单元用于:
对所述组图像进行车牌检测定位处理,获得所述组图像中车牌位置;
根据所述车牌位置对车牌的宽度和高度按照第一预设比例左右扩展,获得左侧的第一区域和右侧的第一区域;
根据所述车牌位置对车牌的宽度和高度按照与第一预设比例不同的第二预设比例左右扩展,获得左侧的第二区域和右侧的第二区域;
左侧的第一区域与左侧的第二区域未重合的区域为左侧车灯有效区域;
右侧的第一区域与右侧的第二区域未重合的区域为右侧车灯有效区域。
13.如权利要求11所述的设备,其特征在于,所述确定单元用于:
从所述组图像中确定出第I帧图像和第K帧图像,I与K均为大于1的正整数,且I不等于K;
获得所述第I帧图像与所述第K帧图像的差值图像;
对所述差值图像进行二值化,获得左侧车灯有效区域以及右侧车灯有效区域。
14.如权利要求11所述的设备,其特征在于,所述确定单元用于:
对左侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中左侧的第一车灯连通区域以及第二车灯连通区域;
对右侧车灯有效区域的灰度图进行二值化处理,获得二值化图;
对所述二值化图依次进行膨胀与腐蚀处理,以及除毛刺和噪声干扰处理,确定处理后的二值化图中右侧的第一车灯连通区域以及右侧的第二车灯连通区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711308317.1A CN108052893B (zh) | 2017-12-11 | 2017-12-11 | 一种识别远光灯是否开启的方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711308317.1A CN108052893B (zh) | 2017-12-11 | 2017-12-11 | 一种识别远光灯是否开启的方法及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108052893A CN108052893A (zh) | 2018-05-18 |
CN108052893B true CN108052893B (zh) | 2020-05-26 |
Family
ID=62123368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711308317.1A Active CN108052893B (zh) | 2017-12-11 | 2017-12-11 | 一种识别远光灯是否开启的方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108052893B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110246337A (zh) * | 2018-08-10 | 2019-09-17 | 浙江大华技术股份有限公司 | 一种检测违规使用车灯的方法、装置及计算机存储介质 |
CN111931715B (zh) * | 2020-09-22 | 2021-02-09 | 深圳佑驾创新科技有限公司 | 识别车灯状态的方法、装置、计算机设备和存储介质 |
CN114643926B (zh) * | 2020-12-17 | 2024-02-27 | 博泰车联网(南京)有限公司 | 远光灯的控制方法、***、设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295399A (zh) * | 2013-05-14 | 2013-09-11 | 西安理工大学 | 基于形态特征的夜间行驶车辆远光灯开启状态的判别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10201210A1 (de) * | 2002-01-14 | 2003-07-24 | Siemens Ag | Fahrpedaleinheit |
-
2017
- 2017-12-11 CN CN201711308317.1A patent/CN108052893B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103295399A (zh) * | 2013-05-14 | 2013-09-11 | 西安理工大学 | 基于形态特征的夜间行驶车辆远光灯开启状态的判别方法 |
Non-Patent Citations (1)
Title |
---|
车载红外线视频图像增强方法研究与实现;顾业博;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140415;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108052893A (zh) | 2018-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108052893B (zh) | 一种识别远光灯是否开启的方法及设备 | |
US10132919B2 (en) | Object detecting device, radar device, and object detection method | |
EP3270364A2 (en) | Detection method and apparatus of a status of a parking lot and electronic equipment | |
CN106183981B (zh) | 基于汽车的路障检测方法、装置及汽车 | |
CN111052201B (zh) | 碰撞预测装置、碰撞预测方法以及存储介质 | |
CN111413973A (zh) | 车辆的换道决策方法及装置、电子设备、存储介质 | |
JP2006349492A (ja) | 車載霧判定装置 | |
CN105303157A (zh) | 延伸用于avm停止线检测的检测范围的算法 | |
CN112785850A (zh) | 车辆变道未打灯的识别方法及装置 | |
CN113050615A (zh) | 一种驾驶安全控制方法、装置、电子设备及存储介质 | |
CN104268859A (zh) | 一种用于夜间车道线检测的图像预处理方法 | |
KR102039723B1 (ko) | 공중촬영 영상을 이용한 차량 행태 분석 시스템 및 이를 이용한 분석 방법 | |
CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
JP7264428B2 (ja) | 道路標識認識装置及びそのプログラム | |
CN117110987A (zh) | 隧道内的定位方法、装置、车辆以及存储介质 | |
US20130177212A1 (en) | Bayesian classifier system using a non-linear probability function and method thereof | |
CN111127503A (zh) | 检测车辆轮胎的花纹的方法、设备和存储介质 | |
CN113994391B (zh) | 车辆通行提醒方法、装置及车载终端 | |
CN109409247B (zh) | 交通标志识别方法和装置 | |
CN112489466B (zh) | 交通信号灯识别方法和装置 | |
CN114078318B (zh) | 一种车辆违章检测*** | |
CN111310302B (zh) | 一种测试场景生成方法和装置 | |
CN115588171A (zh) | 一种图像处理方法及终端、存储介质 | |
JP2013028239A (ja) | ライト検出装置、ライト検出プログラム、およびライト制御装置 | |
CN116620296B (zh) | 一种智能汽车的避险方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |