CN111505617B - 车辆定位方法、装置、设备及存储介质 - Google Patents
车辆定位方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111505617B CN111505617B CN202010371214.5A CN202010371214A CN111505617B CN 111505617 B CN111505617 B CN 111505617B CN 202010371214 A CN202010371214 A CN 202010371214A CN 111505617 B CN111505617 B CN 111505617B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- current
- distance
- vehicle distance
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
- G01S13/08—Systems for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种车辆定位方法、装置、设备及存储介质,涉及车辆定位技术领域,该方法包括:获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态;根据所述当前天气状态确定车辆行驶时的安全车距;获取与目标车辆之间的当前车距;判断所述当前车距是否小于所述安全车距;在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置;根据所述当前位置进行行车预警提示。通过根据当前天气状态确定安全车距,之后将安全车距与当前车距进行比较获得比较结果,最后根据比较结果进行行车预警提示,从而在准确获得目标车辆定位信息的同时,也保证了驾驶员的安全行驶,提高了用户体验。
Description
技术领域
本发明涉及车辆定位技术领域,尤其涉及一种车辆定位方法、装置、设备及存储介质。
背景技术
目前,车辆追尾和碰撞是常见的交通事故发生形式,尤其是在大雾天气中,车灯作为车辆主动安全即预防事故的主要组成部分,在视觉上可供驾驶员预警的参照物几乎只有前方车辆的车灯作为提醒。而现有技术中,基于环视红外摄像头和距离传感器设计了单独的检测显示设备,该方案成本较高且泛用性较小,并且针对尾灯缺少进一步的感知工作以及实际情况下的场景分析。因此,如何实现车辆精准定位是亟待解决的技术问题。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种车辆定位方法、装置、设备及存储介质,旨在解决现有技术中如何实现车辆精准定位的技术问题。
为实现上述目的,本发明提供一种车辆定位方法,所述车辆定位方法包括以下步骤:
获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态;
根据所述当前天气状态确定车辆行驶时的安全车距;
获取与目标车辆之间的当前车距;
判断所述当前车距是否小于所述安全车距;
在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置;
根据所述当前位置进行行车预警提示。
优选地,所述当前天气场景信息包括当前天气场景图片;
所述根据所述当前天气场景信息确定当前天气状态的步骤,包括:
对所述当前天气场景图片进行转化,获得灰度场景图像;
根据所述灰度场景图像,通过预设天气检测算法确定当前天气状态。
优选地,所述获取与目标车辆之间的当前车距的步骤,包括:
根据所述安全车距确定安全区域阈值范围;
在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息;
对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息;
根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距。
优选地,所述在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息的步骤之后,还包括:
根据所述车灯颜色特征信息和所述车灯位置特征信息,通过颜色模型获得加权系数;
判断所述加权系数是否处于预设阈值范围:
若所述加权系数处于所述预设阈值范围,则执行对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息的步骤。
优选地,所述根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距的步骤,包括:
根据所述车灯几何对称特征信息和所述车灯位置特征信息确定与所述目标车辆之间的第一车距;
根据所述车灯几何对称特征信息,通过预设查询表获得所述目标车辆对应的车灯高度值和车灯宽度值;
根据所述车灯几何对称特征信息、所述车灯高度值和所述车灯宽度值确定与所述目标车辆之间的第二车距;
根据所述第一车距和所述第二车距计算车距差值;
判断所述车距差值是否小于预设距离阈值;
在所述车距差值小于所述预设距离阈值时,将所述第一车距作为当前车距。
优选地,所述判断所述车距差值是否小于预设距离阈值的步骤之后,还包括:
在所述车距差值等于或大于所述预设距离阈值时,返回所述根据所述第一车距和所述第二车距计算车距差值的步骤。
优选地,所述在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置的步骤,包括:
在所述当前车距小于所述安全车距值时,根据所述车灯颜色特征信息和所述车灯几何对称特征信息,通过预设检测算法确定所述目标车辆对应的数量;
根据所述车灯颜色特征信息、所述车灯几何对称特征信息和所述数量,通过跟踪算法确定所述目标车辆对应的当前位置。
此外,为实现上述目的,本发明还提出一种车辆定位装置,所述车辆定位装置包括:
获取模块,用于获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态;
确定模块,用于根据所述当前天气状态确定车辆行驶时的安全车距;
确定模块,还用于获取与目标车辆之间的当前车距;
判断模块,用于判断所述当前车距是否小于所述安全车距;
计算模块,用于在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置;
预警模块,用于根据所述当前位置进行行车预警提示。
此外,为实现上述目的,本发明还提出一种车辆定位设备,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆定位程序,所述车辆定位程序被所述处理器执行时实现如上文所述的车辆定位方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有车辆定位程序,所述车辆定位程序被处理器执行时实现如上文所述的车辆定位方法的步骤。
本发明中,首先获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态,然后根据所述当前天气状态确定车辆行驶时的安全车距;获取与目标车辆之间的当前车距,并判断所述当前车距是否小于所述安全车距,在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置,最后根据所述当前位置进行行车预警提示。通过上述方式,将安全车距与当前车距进行比较获得比较结果,最后根据比较结果进行行车预警提示,在保证驾驶员的安全行驶的同时,也实现了车辆的精准定位,从而提升了用户体验。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的车辆定位设备的结构示意图;
图2为本发明车辆定位方法第一实施例的流程示意图;
图3为本发明车辆定位方法一实施例的识别车辆属性图;
图4为本发明车辆定位方法一实施例的车辆的尾灯灯组匹配图;
图5为本发明车辆定位方法一实施例的车辆非正常车灯的自适应补偿图;
图6为本发明车辆定位方法第二实施例的流程示意图;
图7为本发明车辆定位装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的车辆定位设备结构示意图。
如图1所示,该车辆定位设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display),可选用户接口1003还可以包括标准的有线接口、无线接口,对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory,RAM)存储器,也可以是稳定的存储器(Non-volatileMemory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对车辆定位设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,认定为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及车辆定位程序。
在图1所示的车辆定位设备中,网络接口1004主要用于连接后台服务器,与所述后台服务器进行数据通信;用户接口1003主要用于连接用户设备;所述车辆定位设备通过处理器1001调用存储器1005中存储的车辆定位程序,并执行本发明实施例提供的车辆定位方法。
基于上述硬件结构,提出本发明车辆定位方法的实施例。
参照图2,图2为本发明车辆定位方法第一实施例的流程示意图,提出本发明车辆定位方法第一实施例。
在第一实施例中,所述车辆定位方法包括以下步骤:
步骤S10:获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态。
需要说明的是,本实施例的执行主体是所述车辆定位设备,其中,所述车辆定位设备可获取天气场景信息、安全车距及当前车距,之后对所述安全车距与当前车距进行判断的车载控制器或车载服务器等电子设备,也可为其他设备,本实施例对此不做限制。
其中,所述当前天气场景信息可以为天气场景数据,也可以为天气场景图片,本实施例以天气场景图片进行举例说明,获取当前天气场景图片,然后对所述当前天气场景图片进行转化,获得灰度场景图像,之后根据所述灰度场景图像,通过预设天气检测算法确定当前天气状态。
上述所提到的预设天气检测算法为根据天气特征设计的一种天气检测算法,然而,天气状态的不同,所设计的天气检测算法也不同,可以根据大雾天气的特征设计一种大雾天气检测算法,本实施例并不加以限制。
本发明中,可以采集当前天气场景图片,并对所述当前场景图片进行灰度化以获得灰度场景图像,之后根据所述灰度场景图像,通过大雾天气阈值参数二值化,确定当前天气状态,也就是说确定为大雾天气,同时,车载控制器也可以结合天气预报与单目摄像头视觉识别大雾天气。
步骤S20:根据所述当前天气状态确定车辆行驶时的安全车距。
所述安全车距为用户自定义设置,可为10m,也可为15m等,所述当前天气状态的不同,天气状态对应的车辆行驶时的安全车距也不同。
步骤S30:获取与目标车辆之间的当前车距。
所述获取与目标车辆之间的当前车距的步骤为根据所述安全车距确定安全区域阈值范围,在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息,对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息,根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距。
其中,所述根据所述安全车距确定安全区域阈值范围可以理解为以安全车距为半径进行画圆,所述圆面积即为安全区域阈值范围。
所述在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息的步骤之后,根据所述车灯颜色特征信息和所述车灯位置特征信息,通过颜色模型获得加权系数,判断所述加权系数是否处于预设阈值范围,若所述加权系数处于所述预设阈值范围,则执行对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息的步骤。
在本实施例中,可以理解为在大雾天气中目标车辆的尾灯颜色(多为红色)和车灯位置是否开启双闪灯,其中,对面车道驶来的车辆的前车灯颜色(多为白色和黄色),从而根据尾灯或前车灯颜色的不同以获取不同的车灯颜色特征信息,根据是否双灯开启可以获取不同的车灯位置特征信息,之后对拍摄的图片进行处理,所述图片包括车灯位置及车灯颜色,先根据所述图片确定视野参数,选取图片需要处理的中心位置,之后对图片进行灰度化处理、高斯滤波处理、边缘化处理及二值化处理,最后获取处理后的图片,根据处理后的图片进行尾灯颜色识别和尾灯位置识别,以获取车灯颜色特征信息和车灯位置特征信息。
也可以是,使用HSV颜色模型提取出的需要验证区域(车灯颜色区域)对应的加权系数,从而判断上述尾灯颜色识别和尾灯位置识别是否精准,同时,分别对大雾白色场景和车灯颜色区域对增强分量后的RGB图像进行非线性变换,同时针对大雾天气下灯光散射设计颜色区域的裁剪或补偿,从而完成大雾场景下典型车灯颜色及位置信息的分类,并进行标签记录。
其中,所述根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距的步骤为,根据所述车灯几何对称特征信息和所述车灯位置特征信息确定与所述目标车辆之间的第一车距,根据所述车灯几何对称特征信息,通过预设查询表获得所述目标车辆对应的车灯高度值和车灯宽度值,根据所述车灯几何对称特征信息、所述车灯高度值和所述车灯宽度值确定与所述目标车辆之间的第二车距,根据所述第一车距和所述第二车距计算车距差值,判断所述车距差值是否小于预设距离阈值,在所述车距差值小于所述预设距离阈值时,将所述第一车距作为当前车距;在所述车距差值等于或大于所述预设距离阈值时,返回所述根据所述第一车距和所述第二车距计算车距差值的步骤。
上述所提到的预设查询表为根据所述车灯几何对称特征信息,通过神经网络算法获得车辆对应的车灯高度值和车灯宽度值,之后根据所述车灯几何对称特征信息、所述车灯高度值和车灯宽度值建立的预设查询表。
为了便于理解,以下进行举例说明:
首先考虑标准场景下,即前方仅有一辆未打双闪,但亮红色尾灯的乘用车辆,且本车车轴中心线处于车道中心线,前方车辆同样中心线同样位于车道中心线,根据车灯几何对称的特征,能够分别利用单目摄像头对车灯位置进行测距也就是与所述目标车辆之间的第一车距,同时考虑到市面上典型车辆车灯的几何位置,通过预设查询表可以进一步精确前方车辆车灯高度,两灯之间宽度,从而实现定位测距,并进一步与毫米波雷达探测目标位置,与所述目标车辆之间的第二车距,之后判断所述车距差值是否小于预设距离阈值,在所述车距差值小于所述预设距离阈值时,将所述第一车距作为当前车距,从而提高检测精度。
步骤S40:判断所述当前车距是否小于所述安全车距。
步骤S50:在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置。
步骤S60:根据所述当前位置进行行车预警提示。
所述在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置的步骤为,在所述当前车距小于所述安全车距值时,根据所述车灯颜色特征信息和所述车灯几何对称特征信息,通过预设检测算法确定所述目标车辆对应的数量,之后根据所述车灯颜色特征信息、所述车灯几何对称特征信息和所述数量,通过跟踪算法确定所述目标车辆对应的当前位置。
也可以理解为结合毫米波雷达对前方车辆的检测融合确定车数量及相对位置,考虑多车辆复杂场景下,以若干场景为例说明基于前述检测算法的感知策略:
(1)若对面开启完整黄色远光灯车辆驶来,运用检测算法初步判断为对面车道对向车辆,并打上标签,运用跟踪算法进行位置估计,进一步确认其行驶方向,将该车辆与本车相对位置以平视显示器(Head Up Display HUD)形式告知驾驶员,如图3所示,所述图3为识别车辆属性图。
(2)若前方有多个车辆直线行驶,首先对每个尾灯进行定位并打上标签,并利用跟踪算法进行状态估计,根据同一辆车尾灯组成对,几何位置固定,同一辆车尾灯灯光几何形状相同的特征以及颜色特征,对出现在图像上的色块进行匹配,这种方式可以识别同一辆车的尾灯组,也可以识别有一半被其他车辆遮挡“落单”的尾灯,从而确定前方多个车辆相对位置,如图4所示,所述图4为车辆的尾灯灯组匹配图。
(3)若前方车辆有尾灯故障导致只有一边显示颜色,在未有其他数据进一步确认情况下,算法会基于安全考虑下补偿虚拟车灯位置,默认虚拟车灯出现在更加靠近本车正前方的位置,如图5所示,所述图5为车辆非正常车灯的自适应补偿图。
最后,通过以上步骤识别并定位前方车辆后以HUD形式告知驾驶员,并进行行车预警提示。
在第一实施例中,先获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态,然后根据所述当前天气状态确定车辆行驶时的安全车距,根据所述安全车距确定安全区域阈值范围,在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息,根据所述车灯颜色特征信息和所述车灯位置特征信息,通过颜色模型获得加权系数,判断所述加权系数是否处于预设阈值范围,若所述加权系数处于所述预设阈值范围,对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,从而获得精准的车灯几何对称特征信息,之后根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距,在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置,最后根据所述当前位置进行行车预警提示,从而在保证驾驶员的安全行驶的同时,也实现了车辆的精准定位。
参照图6,图6为本发明车辆定位方法第二实施例的流程示意图,基于上述图2所示的第一实施例,提出本发明车辆定位方法的第二实施例。
在第二实施例中,所述步骤S30,还包括:
步骤S301:根据所述安全车距确定安全区域阈值范围。
所述根据所述安全车距确定安全区域阈值范围可以理解为以安全车距为半径进行画圆,所述圆面积即为安全区域阈值范围。
步骤S302:在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息。
所述在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息的步骤之后,根据所述车灯颜色特征信息和所述车灯位置特征信息,通过颜色模型获得加权系数,判断所述加权系数是否处于预设阈值范围,若所述加权系数处于所述预设阈值范围,则执行对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息的步骤。
在本实施例中,可以理解为在大雾天气中目标车辆的尾灯颜色(多为红色)和车灯位置是否开启双闪灯,其中,对面车道驶来的车辆的前车灯颜色(多为白色和黄色),从而根据尾灯或前车灯颜色的不同以获取不同的车灯颜色特征信息,根据是否双灯开启可以获取不同的车灯位置特征信息,之后对拍摄的图片进行处理,所述图片包括车灯位置及车灯颜色,先根据所述图片确定视野参数,选取图片需要处理的中心位置,之后对图片进行灰度化处理、高斯滤波处理、边缘化处理及二值化处理,最后获取处理后的图片,根据处理后的图片进行尾灯颜色识别和尾灯位置识别,以获取车灯颜色特征信息和车灯位置特征信息。
步骤S303:对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息。
步骤S304:根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距。
所述根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距的步骤为,根据所述车灯几何对称特征信息和所述车灯位置特征信息确定与所述目标车辆之间的第一车距,根据所述车灯几何对称特征信息,通过预设查询表获得所述目标车辆对应的车灯高度值和车灯宽度值,根据所述车灯几何对称特征信息、所述车灯高度值和所述车灯宽度值确定与所述目标车辆之间的第二车距,根据所述第一车距和所述第二车距计算车距差值,判断所述车距差值是否小于预设距离阈值,在所述车距差值小于所述预设距离阈值时,将所述第一车距作为当前车距。
上述所提到的预设查询表为根据所述车灯几何对称特征信息,通过神经网络算法获得车辆对应的车灯高度值和车灯宽度值,之后根据所述车灯几何对称特征信息、所述车灯高度值和车灯宽度值建立的预设查询表。
为了便于理解,以下进行举例说明:
首先考虑标准场景下,即前方仅有一辆未打双闪,但亮红色尾灯的乘用车辆,且本车车轴中心线处于车道中心线,前方车辆同样中心线同样位于车道中心线,根据车灯几何对称的特征,能够分别利用单目摄像头对车灯位置进行测距也就是与所述目标车辆之间的第一车距,同时考虑到市面上典型车辆车灯的几何位置,通过预设查询表可以进一步精确前方车辆车灯高度,两灯之间宽度,从而实现定位测距,并进一步与毫米波雷达探测目标位置,与所述目标车辆之间的第二车距,之后判断所述车距差值是否小于预设距离阈值,在所述车距差值小于所述预设距离阈值时,将所述第一车距作为当前车距,从而提高检测精度。
在第二实施例中,先根据所述安全车距确定安全区域阈值范围,在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息,之后对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息,最后根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距,通过上述方式,根据车灯几何对称特征信息以获取更精准的当前车距。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有车辆定位程序,所述车辆定位程序被处理器执行时实现如上文所述的车辆定位方法的步骤。
此外,参照图7,本发明实施例还提出一种车辆定位装置,所述车辆定位装置包括:获取模块7001,用于获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态;确定模块7002,用于根据所述当前天气状态确定车辆行驶时的安全车距;确定模块7002,还用于获取与目标车辆之间的当前车距;判断模块7003,用于判断所述当前车距是否小于所述安全车距;计算模块7004,用于在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置;预警模块7005,用于根据所述当前位置进行行车预警提示。
所述获取模块7001,用于获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态的操作。
需要说明的是,本实施例的执行主体是所述车辆定位设备,其中,所述车辆定位设备可获取天气场景信息、安全车距及当前车距,之后对所述安全车距与当前车距进行判断的车载控制器或车载服务器等电子设备,也可为其他设备,本实施例对此不做限制。
其中,所述当前天气场景信息可以为天气场景数据,也可以为天气场景图片,本实施例以天气场景图片进行举例说明,获取当前天气场景图片,然后对所述当前天气场景图片进行转化,获得灰度场景图像,之后根据所述灰度场景图像,通过预设天气检测算法确定当前天气状态。
上述所提到的预设天气检测算法为根据天气特征设计的一种天气检测算法,然而,天气状态的不同,所设计的天气检测算法也不同,可以根据大雾天气的特征设计一种大雾天气检测算法,本实施例并不加以限制。
本发明中,可以采集当前天气场景图片,并对所述当前场景图片进行灰度化以获得灰度场景图像,之后根据所述灰度场景图像,通过大雾天气阈值参数二值化,确定当前天气状态,也就是说确定为大雾天气,同时,车载控制器也可以结合天气预报与单目摄像头视觉识别大雾天气。
所述确定模块7002,用于根据所述当前天气状态确定车辆行驶时的安全车距的操作。
所述安全车距为用户自定义设置,可为10m,也可为15m等,所述当前天气状态的不同,天气状态对应的车辆行驶时的安全车距也不同。
所述确定模块7002,还用于获取与目标车辆之间的当前车距的操作。
所述获取与目标车辆之间的当前车距的步骤为根据所述安全车距确定安全区域阈值范围,在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息,对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息,根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距。
其中,所述根据所述安全车距确定安全区域阈值范围可以理解为以安全车距为半径进行画圆,所述圆面积即为安全区域阈值范围。
所述在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息的步骤之后,根据所述车灯颜色特征信息和所述车灯位置特征信息,通过颜色模型获得加权系数,判断所述加权系数是否处于预设阈值范围,若所述加权系数处于所述预设阈值范围,则执行对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息的步骤。
在本实施例中,可以理解为在大雾天气中目标车辆的尾灯颜色(多为红色)和车灯位置是否开启双闪灯,其中,对面车道驶来的车辆的前车灯颜色(多为白色和黄色),从而根据尾灯或前车灯颜色的不同以获取不同的车灯颜色特征信息,根据是否双灯开启可以获取不同的车灯位置特征信息,之后对拍摄的图片进行处理,所述图片包括车灯位置及车灯颜色,先根据所述图片确定视野参数,选取图片需要处理的中心位置,之后对图片进行灰度化处理、高斯滤波处理、边缘化处理及二值化处理,最后获取处理后的图片,根据处理后的图片进行尾灯颜色识别和尾灯位置识别,以获取车灯颜色特征信息和车灯位置特征信息。
也可以是,使用HSV颜色模型提取出的需要验证区域(车灯颜色区域)对应的加权系数,从而判断上述尾灯颜色识别和尾灯位置识别是否精准,同时,分别对大雾白色场景和车灯颜色区域对增强分量后的RGB图像进行非线性变换,同时针对大雾天气下灯光散射设计颜色区域的裁剪或补偿,从而完成大雾场景下典型车灯颜色及位置信息的分类,并进行标签记录。
其中,所述根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距的步骤为,根据所述车灯几何对称特征信息和所述车灯位置特征信息确定与所述目标车辆之间的第一车距,根据所述车灯几何对称特征信息,通过预设查询表获得所述目标车辆对应的车灯高度值和车灯宽度值,根据所述车灯几何对称特征信息、所述车灯高度值和所述车灯宽度值确定与所述目标车辆之间的第二车距,根据所述第一车距和所述第二车距计算车距差值,判断所述车距差值是否小于预设距离阈值,在所述车距差值小于所述预设距离阈值时,将所述第一车距作为当前车距;在所述车距差值等于或大于所述预设距离阈值时,返回所述根据所述第一车距和所述第二车距计算车距差值的步骤。
上述所提到的预设查询表为根据所述车灯几何对称特征信息,通过神经网络算法获得车辆对应的车灯高度值和车灯宽度值,之后根据所述车灯几何对称特征信息、所述车灯高度值和车灯宽度值建立的预设查询表。
为了便于理解,以下进行举例说明:
首先考虑标准场景下,即前方仅有一辆未打双闪,但亮红色尾灯的乘用车辆,且本车车轴中心线处于车道中心线,前方车辆同样中心线同样位于车道中心线,根据车灯几何对称的特征,能够分别利用单目摄像头对车灯位置进行测距也就是与所述目标车辆之间的第一车距,同时考虑到市面上典型车辆车灯的几何位置,通过预设查询表可以进一步精确前方车辆车灯高度,两灯之间宽度,从而实现定位测距,并进一步与毫米波雷达探测目标位置,与所述目标车辆之间的第二车距,之后判断所述车距差值是否小于预设距离阈值,在所述车距差值小于所述预设距离阈值时,将所述第一车距作为当前车距,从而提高检测精度。
所述判断模块7003,用于判断所述当前车距是否小于所述安全车距的操作。
所述计算模块7004,用于在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置的操作。
所述预警模块7005,用于根据所述当前位置进行行车预警提示的操作。
所述在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置的步骤为,在所述当前车距小于所述安全车距值时,根据所述车灯颜色特征信息和所述车灯几何对称特征信息,通过预设检测算法确定所述目标车辆对应的数量,之后根据所述车灯颜色特征信息、所述车灯几何对称特征信息和所述数量,通过跟踪算法确定所述目标车辆对应的当前位置。
也可以理解为结合毫米波雷达对前方车辆的检测融合确定车数量及相对位置,考虑多车辆复杂场景下,以若干场景为例说明基于前述检测算法的感知策略:
(1)若对面开启完整黄色远光灯车辆驶来,运用检测算法初步判断为对面车道对向车辆,并打上标签,运用跟踪算法进行位置估计,进一步确认其行驶方向,将该车辆与本车相对位置以平视显示器(Head Up Display HUD)形式告知驾驶员,如图3所示,所述图3为识别车辆属性图。
(2)若前方有多个车辆直线行驶,首先对每个尾灯进行定位并打上标签,并利用跟踪算法进行状态估计,根据同一辆车尾灯组成对,几何位置固定,同一辆车尾灯灯光几何形状相同的特征以及颜色特征,对出现在图像上的色块进行匹配,这种方式可以识别同一辆车的尾灯组,也可以识别有一半被其他车辆遮挡“落单”的尾灯,从而确定前方多个车辆相对位置,如图4所示,所述图4为车辆的尾灯灯组匹配图。
(3)若前方车辆有尾灯故障导致只有一边显示颜色,在未有其他数据进一步确认情况下,算法会基于安全考虑下补偿虚拟车灯位置,默认虚拟车灯出现在更加靠近本车正前方的位置,如图5所示,所述图5为车辆非正常车灯的自适应补偿图。
最后,通过以上步骤识别并定位前方车辆后以HUD形式告知驾驶员,并进行行车预警提示。
在本实施例中,先获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态,然后根据所述当前天气状态确定车辆行驶时的安全车距,根据所述安全车距确定安全区域阈值范围,在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息,根据所述车灯颜色特征信息和所述车灯位置特征信息,通过颜色模型获得加权系数,判断所述加权系数是否处于预设阈值范围,若所述加权系数处于所述预设阈值范围,对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,从而获得精准的车灯几何对称特征信息,之后根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距,在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置,最后根据所述当前位置进行行车预警提示,从而在保证驾驶员的安全行驶的同时,也实现了车辆的精准定位。
本发明车辆定位方法装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序,可将这些词语解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器镜像(Read Only Memory image,ROM)/随机存取存储器(Random AccessMemory,RAM)、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种车辆定位方法,其特征在于,所述车辆定位方法包括以下步骤:
获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态;
根据所述当前天气状态确定车辆行驶时的安全车距;
获取与目标车辆之间的当前车距;
判断所述当前车距是否小于所述安全车距;
在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置;
根据所述当前位置进行行车预警提示;
其中,所述获取与目标车辆之间的当前车距的步骤,包括:
根据所述安全车距确定安全区域阈值范围;
在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息;
对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息;
根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距。
2.如权利要求1所述的方法,其特征在于,所述当前天气场景信息包括当前天气场景图片;
所述根据所述当前天气场景信息确定当前天气状态的步骤,包括:
对所述当前天气场景图片进行转化,获得灰度场景图像;
根据所述灰度场景图像,通过预设天气检测算法确定当前天气状态。
3.如权利要求1所述的方法,其特征在于,所述在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息的步骤之后,还包括:
根据所述车灯颜色特征信息和所述车灯位置特征信息,通过颜色模型获得加权系数;
判断所述加权系数是否处于预设阈值范围:
若所述加权系数处于所述预设阈值范围,则执行对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息的步骤。
4.如权利要求1所述的方法,其特征在于,所述根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距的步骤,包括:
根据所述车灯几何对称特征信息和所述车灯位置特征信息确定与所述目标车辆之间的第一车距;
根据所述车灯几何对称特征信息,通过预设查询表获得所述目标车辆对应的车灯高度值和车灯宽度值;
根据所述车灯几何对称特征信息、所述车灯高度值和所述车灯宽度值确定与所述目标车辆之间的第二车距;
根据所述第一车距和所述第二车距计算车距差值;
判断所述车距差值是否小于预设距离阈值;
在所述车距差值小于所述预设距离阈值时,将所述第一车距作为当前车距。
5.如权利要求4所述的方法,其特征在于,所述判断所述车距差值是否小于预设距离阈值的步骤之后,还包括:
在所述车距差值等于或大于所述预设距离阈值时,返回所述根据所述第一车距和所述第二车距计算车距差值的步骤。
6.如权利要求1所述的方法,其特征在于,所述在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置的步骤,包括:
在所述当前车距小于所述安全车距值时,根据所述车灯颜色特征信息和所述车灯几何对称特征信息,通过预设检测算法确定所述目标车辆对应的数量;
根据所述车灯颜色特征信息、所述车灯几何对称特征信息和所述数量,通过跟踪算法确定所述目标车辆对应的当前位置。
7.一种车辆定位装置,其特征在于,所述车辆定位装置包括:
获取模块,用于获取当前天气场景信息,并根据所述当前天气场景信息确定当前天气状态;
确定模块,用于根据所述当前天气状态确定车辆行驶时的安全车距;
确定模块,还用于获取与目标车辆之间的当前车距;
判断模块,用于判断所述当前车距是否小于所述安全车距;
计算模块,用于在所述当前车距小于所述安全车距时,根据所述当前车距通过预设跟踪算法确定所述目标车辆对应的当前位置;
预警模块,用于根据所述当前位置进行行车预警提示;
其中,所述确定模块,还用于根据所述安全车距确定安全区域阈值范围;
所述确定模块,还用于在所述安全区域阈值范围内获取目标车辆的车灯颜色特征信息和车灯位置特征信息;
所述确定模块,还用于对所述车灯颜色特征信息和所述车灯位置特征信息进行处理,获得车灯几何对称特征信息;
所述确定模块,还用于根据所述车灯几何对称特征信息确定与所述目标车辆之间的当前车距。
8.一种车辆定位设备,其特征在于,所述车辆定位设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的车辆定位程序,所述车辆定位程序被所述处理器执行时实现如权利要求1至6中任一项所述的车辆定位方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有车辆定位程序,所述车辆定位程序被处理器执行时实现如权利要求1至6中任一项所述的车辆定位方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010371214.5A CN111505617B (zh) | 2020-04-30 | 2020-04-30 | 车辆定位方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010371214.5A CN111505617B (zh) | 2020-04-30 | 2020-04-30 | 车辆定位方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111505617A CN111505617A (zh) | 2020-08-07 |
CN111505617B true CN111505617B (zh) | 2022-04-15 |
Family
ID=71871625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010371214.5A Active CN111505617B (zh) | 2020-04-30 | 2020-04-30 | 车辆定位方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111505617B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112732848B (zh) * | 2020-11-03 | 2023-06-20 | 四川锐图威视科技有限公司 | 基于颜色识别的车辆定位方法、装置及计算机可读存储介质 |
CN113781798B (zh) * | 2021-11-11 | 2022-07-26 | 四川九通智路科技有限公司 | 一种基于偏振光的车辆管控方法及*** |
CN114413830A (zh) * | 2021-12-08 | 2022-04-29 | 浙江大华技术股份有限公司 | 车辆的安全距离识别方法、装置、电子装置和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102844616A (zh) * | 2010-04-13 | 2012-12-26 | 株式会社小糸制作所 | 光学单元、车辆监视装置及障碍物检测装置 |
CN103522970A (zh) * | 2013-05-31 | 2014-01-22 | Tcl集团股份有限公司 | 基于机器视觉的车辆行驶安全检测方法和*** |
CN107728147A (zh) * | 2017-08-17 | 2018-02-23 | 惠州市德赛西威汽车电子股份有限公司 | 一种倒车雷达距离检测方法及其装置 |
CN108037505A (zh) * | 2017-12-08 | 2018-05-15 | 吉林大学 | 一种夜间前方车辆检测方法及*** |
CN109143220A (zh) * | 2017-06-16 | 2019-01-04 | 电装波动株式会社 | 车辆识别装置、车辆识别***、存储介质 |
CN110816534A (zh) * | 2019-11-27 | 2020-02-21 | 安徽江淮汽车集团股份有限公司 | 车辆变道预警方法、设备、存储介质及装置 |
-
2020
- 2020-04-30 CN CN202010371214.5A patent/CN111505617B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102844616A (zh) * | 2010-04-13 | 2012-12-26 | 株式会社小糸制作所 | 光学单元、车辆监视装置及障碍物检测装置 |
CN103522970A (zh) * | 2013-05-31 | 2014-01-22 | Tcl集团股份有限公司 | 基于机器视觉的车辆行驶安全检测方法和*** |
CN109143220A (zh) * | 2017-06-16 | 2019-01-04 | 电装波动株式会社 | 车辆识别装置、车辆识别***、存储介质 |
CN107728147A (zh) * | 2017-08-17 | 2018-02-23 | 惠州市德赛西威汽车电子股份有限公司 | 一种倒车雷达距离检测方法及其装置 |
CN108037505A (zh) * | 2017-12-08 | 2018-05-15 | 吉林大学 | 一种夜间前方车辆检测方法及*** |
CN110816534A (zh) * | 2019-11-27 | 2020-02-21 | 安徽江淮汽车集团股份有限公司 | 车辆变道预警方法、设备、存储介质及装置 |
Non-Patent Citations (1)
Title |
---|
基于日间行车的灯语识别技术;李堃等;《计算机科学》;20191130;第46卷(第11A期);第277-282页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111505617A (zh) | 2020-08-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113284366B (zh) | 车辆盲区预警方法、预警装置、mec平台和存储介质 | |
CN111505617B (zh) | 车辆定位方法、装置、设备及存储介质 | |
EP2150437B1 (en) | Rear obstruction detection | |
CN110065494B (zh) | 一种基于车轮检测的车辆防碰撞方法 | |
EP3343438A1 (en) | Automatic parking system and automatic parking method | |
EP3342664B1 (en) | Posture information based pedestrian detection and pedestrian collision prevention apparatus and method | |
CN110033621B (zh) | 一种危险车辆检测方法、装置及*** | |
JP2002083297A (ja) | 物体認識方法および物体認識装置 | |
CN112084232B (zh) | 基于目标他车视野信息的车辆行驶风险评估方法及装置 | |
CN110816534B (zh) | 车辆变道预警方法、设备、存储介质及装置 | |
US20060038885A1 (en) | Method for detecting the environment ahead of a road vehicle by means of an environment detection system | |
JP2007238090A (ja) | 車載投光器の自動切換え制御方法 | |
JP2013057992A (ja) | 車間距離算出装置およびそれを用いた車両制御システム | |
CN109131321B (zh) | 基于图像处理与计算危险系数的变道辅助方法及装置 | |
CN110634324A (zh) | 一种基于车载终端的礼让行人的提醒方法、***及车载终端 | |
CN104742835B (zh) | 用于测量行车间距的***及其方法 | |
CN112896160B (zh) | 交通标志信息获取方法及相关设备 | |
CN110727269A (zh) | 车辆控制方法及相关产品 | |
CN110789449A (zh) | 基于图像识别技术的超车避让的提醒方法、***及车载终端 | |
EP3526725A1 (en) | Method for detecting objects in an environmental region of a motor vehicle considering sensor data in the infrared wavelength range, object detection apparatus, driver assistance system as well as motor vehicle | |
CN221272983U (zh) | 一种基于道路障碍物高度的碰撞预警*** | |
CN114822058B (zh) | 一种基于信号灯路口的行车规范驾驶提示监测方法、***、车载终端及存储介质 | |
CN114299753B (zh) | 盲区提醒方法、装置、设备及存储介质 | |
US20230150495A1 (en) | Driving control apparatus and method for vehicle | |
US20240075946A1 (en) | Intuitive two-dimensional warning indicator systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |