CN110929589A - 车辆特征识别的方法、设备、计算机设备和存储介质 - Google Patents
车辆特征识别的方法、设备、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110929589A CN110929589A CN201911050662.9A CN201911050662A CN110929589A CN 110929589 A CN110929589 A CN 110929589A CN 201911050662 A CN201911050662 A CN 201911050662A CN 110929589 A CN110929589 A CN 110929589A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- recognition
- license plate
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了车辆特征识别的方法、设备、计算机设备和存储介质,其中,获取车辆的第一识别图像,通过图像增强模型对第一识别图像的预设参数进行处理,得到第二识别图像,通过位置识别模型获取车辆地理位置信息,通过车盖检测模型对第二识别图像进行识别,通过车牌检测模型对第二识别图像进行识别,在第二识别图像的车盖检测结果为不严密,或者车牌检测结果为不存在的条件下,将第二识别图像标记为不安全,上传车辆的地理位置信息并发出警示信号,解决了在夜晚光线不足的情况下,对于渣土车特征的识别度较低的问题,提高了对于车辆夜间图像特征识别的效率和准确度。
Description
技术领域
本申请涉及图像识别技术领域,特别是涉及车辆特征识别的方法、设备、计算机设备和存储介质。
背景技术
随着我国城镇化进程的快速推进,各地基础建设如火如荼,作为运输基建材料和其他建筑废料的主力军,渣土车的使用也越来越多。然而,渣土车一般在夜晚运输基建材料和其他建筑废料,如果渣土车的车盖遮挡不严,会导致渣土车在整个行驶过程中沿路扬尘,出现渣土遗留现象,对城市环境造成严重的污染;而且,渣土车的车型较大,夜晚行车速度较快,车牌相对较小,不利于被快速定位和识别,如果发生事故,渣土车容易发生逃逸现象,因此渣土车被要求在车盖上写有放大车牌,该放大车牌可能是印刷形成,也可能是手写形成,但由于渣土车长期运输渣土,很容易造成放大车牌的污损和遮挡。此外,夜间光线不足对渣土车的特征识别也会造成影响。
在相关技术中,通过连接双向摄像机,同时对车辆的车头和车尾进行抓拍和匹配来识别渣土车,并对该渣土车是否存在违反交通规则的行为进行识别,但在夜晚光线不足的情况下,摄像机获取的图片较为模糊,该方法对于渣土车的车盖是否遮挡严密、渣土车是否有完整的放大车牌等特征的识别度较低。
针对相关技术中,在夜晚光线不足的情况下,对于渣土车特征的识别度较低的问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中,在夜晚光线不足的情况下,对于渣土车特征的识别度较低的问题,本发明提供了车辆特征识别的方法、设备、计算机设备和存储介质,以至少解决上述问题。
根据本发明的一个方面,提供了一种车辆特征识别的方法,所述方法包括:
获取车辆的第一识别图像,通过图像增强模型对所述第一识别图像的预设参数进行处理,得到第二识别图像;
通过位置识别模型获取车辆地理位置信息,通过车盖检测模型对所述第二识别图像进行识别,判断所述第二识别图像中的所述车辆的车盖是否遮盖严密,通过车牌检测模型对所述第二识别图像进行识别,判断所述第二识别图像中所述车辆是否存在放大车牌,其中,所述存在放大车牌包括所述放大车牌的车牌信息完整、可识别;
在所述第二识别图像的所述车盖检测结果为不严密,或者所述车牌检测结果为不存在的条件下,将所述第二识别图像标记为不安全,上传所述车辆的所述地理位置信息并发出警示信号。
在其中一个实施例中,在所述通过车盖检测模型对所述第二识别图像进行识别之前,所述方法还包括:
通过目标检测网络算法对所述第二识别图像进行切分和筛选,得到所述第二识别图像中的车辆图像和所述车辆图像的图像置信度,在所述图像置信度小于第一预设置信度的情况下,舍弃所述图像置信度对应的所述车辆图像;
在所述图像置信度小于第二预设置信度,且大于或者等于所述第一预设置信度的情况下,通过卷积神经网络和分类器算法对所述车辆图像进行误检分析,根据所述分类器算法的判定结果,判断所述车辆图像是否为目标车辆的图像;
在所述车辆图像不是所述目标车辆的情况下,舍弃所述图像置信度对应的所述车辆图像。
在其中一个实施例中,所述通过车盖检测模型对所述第二识别图像进行识别包括:
提取所述第二识别图像的第一梯度特征和第一卷积神经网络特征;
对所述第一梯度特征进行降维,得到第二梯度特征,对所述第一卷积神经网络特征进行降维,得到第二卷积神经网络特征;
对所述第二梯度特征和所述第二卷积神经网络特征进行融合,得到融合特征;
通过线性回归模型对所述融合特征进行处理,得到所述线性回归模型的拟合系数,在所述拟合系数大于或者等于预设系数值的情况下,判断车盖检测结果为严密,在所述拟合系数小于预设系数值的情况下,判断车盖检测结果为不严密。
在其中一个实施例中,所述通过车牌检测模型对所述第二识别图像进行识别包括:
获取所述第二识别图像中的字符,得到所述字符的数量和字符置信度;
在所述字符数量大于或者等于预设数量,且每个所述字符的所述字符置信度大于或者等于第三预设置信度的情况下,判断所述车牌检测结果为存在,在所述字符数量小于预设数量或者所述字符置信度小于第三预设置信度的情况下,判断所述车牌检测结果为不存在。
在其中一个实施例中,所述通过位置识别模型获取车辆地理位置信息包括:
获取捕捉所述第一识别图像的监控设备的地理位置信息,作为所述车辆的地理位置信息。
在其中一个实施例中,所述通过图像增强模型对所述第一识别图像的预设参数进行处理,得到第二识别图像包括:
通过图像增强模型对所述第一识别图像进行对比度和亮度处理,得到第二识别图像,其中,所述对比度和亮度处理包括增强所述第一识别图像的对比度和提高所述第一识别图像的亮度。
在一个实施例中,在所述通过车盖检测模型对所述第二识别图像进行识别之后,所述方法还包括:
在所述第二识别图像的所述车盖检测结果为严密,且所述车牌检测结果为存在的条件下,将所述第二识别图像标记为安全。
根据本发明的另一个方面,提供了一种车辆特征识别的设备,所述设备包括增强模块、检测模块和判定模块:
所述增强模块,用于获取车辆的第一识别图像,通过图像增强模型对所述第一识别图像的预设参数进行处理,得到第二识别图像;
所述检测模块,用于通过位置识别模型获取车辆地理位置信息,通过车盖检测模型对所述第二识别图像进行识别,判断所述第二识别图像中的所述车辆的车盖是否遮盖严密,通过车牌检测模型对所述第二识别图像进行识别,判断所述第二识别图像中所述车辆是否存在放大车牌,其中,所述存在放大车牌包括所述放大车牌的车牌信息完整、可识别;
所述判定模块,用于在所述第二识别图像的所述车盖检测结果为不严密,或者所述车牌检测结果为不存在的条件下,将所述第二识别图像标记为不安全,上传所述车辆的所述地理位置信息并发出警示信号。
在其中一个实施例中,述设备还包括处理模块、误检模块和筛选模块:
所述处理模块,用于通过目标检测网络算法对所述第二识别图像进行切分和筛选,得到所述第二识别图像中的车辆图像和所述车辆图像的图像置信度,在所述图像置信度小于第一预设置信度的情况下,舍弃所述图像置信度对应的所述车辆图像;
所述误检模块,用于在所述图像置信度小于第二预设置信度,且大于或者等于所述第一预设置信度的情况下,通过卷积神经网络和分类器算法对所述车辆图像进行误检分析,根据所述分类器算法的判定结果,判断所述车辆图像是否为目标车辆的图像;
所述筛选模块,用于在所述车辆图像不是所述目标车辆的情况下,舍弃所述图像置信度对应的所述车辆图像。
所述提取单元,用于提取所述第二识别图像的第一梯度特征和第一卷积神经网络特征;
所述降维单元,用于对所述第一梯度特征进行降维,得到第二梯度特征,对所述第一卷积神经网络特征进行降维,得到第二卷积神经网络特征;
所述融合单元,用于对所述第二梯度特征和第二卷积神经网络特征进行融合,得到融合特征;
所述判断单元,用于通过线性回归模型对所述融合特征进行处理,得到所述线性回归模型的拟合系数,在所述拟合系数大于或者等于预设系数值的情况下,判断车盖检测结果为严密,在所述拟合系数小于预设系数值的情况下,判断车盖检测结果为不严密。
根据本发明的另一个方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一所述方法。
根据本发明的另一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一所述方法。
通过本发明,获取车辆的第一识别图像,通过图像增强模型对该第一识别图像的预设参数进行处理,得到第二识别图像,通过位置识别模型获取车辆地理位置信息,通过车盖检测模型对该第二识别图像进行识别,判断该第二识别图像中的该车辆的车盖是否遮盖严密,通过车牌检测模型对该第二识别图像进行识别,判断该第二识别图像中该车辆是否存在放大车牌,其中,该存在放大车牌包括该放大车牌的车牌信息完整、可识别,在该第二识别图像的该车盖检测结果为不严密,或者该车牌检测结果为不存在的条件下,将该第二识别图像标记为不安全,上传该车辆的该地理位置信息并发出警示信号,解决了在夜晚光线不足的情况下,对于渣土车特征的识别度较低的问题,提高了对于车辆夜间图像特征识别的效率和准确度。
附图说明
图1是根据本发明实施例的车辆特征识别的方法的应用环境示意图;
图2是根据本发明实施例的车辆特征识别的方法的流程图一;
图3是根据本发明实施例的车辆特征识别的方法的流程图二;
图4是根据本发明实施例的车盖检测的方法的流程图;
图5是根据本发明实施例的车牌检测的方法的流程图;
图6是根据本发明实施例的车辆特征识别的设备的结构框图一;
图7是根据本发明实施例的车辆特征识别的设备的结构框图二;
图8是根据本发明实施例的车辆特征识别的设备的结构框图三;
图9是根据本发明实施例的车辆特征识别***的示意图;
图10是根据本发明实施例的车辆特征识别的方法的流程图三。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的车辆远程控制的方法,可以应用于如图1所示的应用环境中,图1是根据本发明实施例的车辆特征识别的方法的应用环境示意图,如图1所示,其中,服务器104获取来自终端102的第一识别图像,并对该第一识别图像进行图像增强处理和特征识别,得到第一识别图像中车辆的图像特征,并对该车辆的图像特征进行判断,其中,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现,终端102可以为监控设备,还可以为个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在一个实施例中,提供了一种车辆特征识别的方法,图2是根据本发明实施例的车辆特征识别的方法的流程图一,如图2所示,该方法包括如下步骤:
步骤S202,获取车辆的第一识别图像,通过图像增强模型对该第一识别图像的预设参数进行处理,得到第二识别图像,其中,该第一识别图像中的车辆可以为渣土车、大货车等,该车辆的第一识别图像可以通过安装在街道或者收费站的监控设备获取,可以通过交通部门监控平台的视频资料获取,也可以通过移动设备获取,该移动设备包括具有拍照或者摄像功能的移动终端等,用户还可以向服务器上传该第一识别图像进行处理和识别,预设参数可以为色度、对比度、锐化程度等。由于夜间光线不足,服务器需对该第一识别图像进行图像增强处理,得到第二识别图像,该图像增强模型可以由LECARM算法实现,使得车辆与环境背景的边界更加明晰,有利于对该第二识别图像的特征提取。
步骤S204,通过位置识别模型获取车辆地理位置信息,通过车盖检测模型对该第二识别图像进行识别,判断该第二识别图像中的该车辆的车盖是否遮盖严密,通过车牌检测模型对该第二识别图像进行识别,判断该第二识别图像中该车辆是否存在放大车牌,其中,位置识别模型在获取移动设备拍摄第一识别图像时,该移动设备的定位***提供地理位置信息,作为该第二识别图像的车辆地理位置信息,该地理位置信息可以为有检查设施的卡口、有电子设备的电警场景和城市街道等,定位***包括全球定位***(GlobalPositioning System,简称为GPS)和北斗卫星导航***(BeiDou Navigation SatelliteSystem,简称BDS),用户也可以上传获取第一识别图像时的地理位置,作为第二识别图像的车辆地理位置信息,车盖严密为车盖与车厢紧密贴合,存在放大车牌要求为该放大车牌的车牌信息完整、可识别,其中,车牌信息包括该车辆的所属省市和车牌编号,将该车牌与公安***中的车牌数据库进行匹配,在匹配成功的条件下,认为该放大车牌为清楚、完整、可识别。
步骤S206,在该第二识别图像的该车盖检测结果为不严密,或者该车牌检测结果为不存在的条件下,将该第二识别图像标记为不安全,上传该车辆的该地理位置信息并发出警示信号,在该第二识别图像被标记为不安全的情况下,服务器还可以联系警方处理该违规车辆。
通过上述步骤S202至S206,服务器获取来自终端的第一识别图像,通过图像增强提高得到第二识别图像,对该第二识别图像进行车盖和放大车牌识别,根据识别结果做出是否警示的判断,图像增强模型使得夜间获取的图像更容易被处理和识别,解决了在夜晚光线不足的情况下,对于渣土车特征的识别度较低的问题,提高了对于车辆夜间图像特征识别的效率和准确度。
在一个实施例中,图3是根据本发明实施例的车辆特征识别的方法的流程图二,如图3所示,该方法还包括如下步骤:
步骤S302,通过目标检测网络算法对该第二识别图像进行切分和筛选,得到该第二识别图像中的车辆图像和该车辆图像的图像置信度,在该图像置信度小于第一预设置信度的情况下,舍弃该图像置信度对应的车辆图像,目标检测网络算法(You Only LookOnce,简称为YOLO)采用YOLO V3版本的算法,用于判断该第二识别图像中的车辆是否为目标车辆,目标车辆为需要识别的车辆,例如,渣土车和大货车等,YOLO V3对第二识别图像中车辆的位置坐标进行识别,根据该位置坐标对该第二识别图像进行切分,仅保留该第二识别图像中的车辆图像,舍弃车辆的背景环境,同时获取车辆图像的图像置信度,例如,在目标车辆为渣土车,第一预设置信度为20的情况下,舍弃图像置信度小于20的车辆图像,并认为它不是渣土车。
步骤S304,在该图像置信度小于第二预设置信度,且大于或者等于第一预设置信度的情况下,通过卷积神经网络算法和分类器算法对该车辆图像进行误检分析,根据该分类器算法的判定结果,判断该车辆图像是否为目标车辆的图像,在第一预设置信度为20,第二预设置信度为85的情况下,认为与图像置信度大于或者等于85对应的车辆为目标车辆,将图像置信度大于或者等于20,且该图像置信度小于85的车辆进行误检分析,通过卷积神经网络(Convolutional Neural Networks,简称为CNN)和分类器算法对该车辆图像进行分析,分类器算法可以采用支持向量机算法(Support Vector Machine,简称为SVM),SVM模型通过大量的训练,对需要进行识别的车辆图像进行分析,判断该车辆图像是否为目标车辆。
步骤S306,在该车辆图像不是该目标车辆的情况下,舍弃图像置信度对应的车辆图像。
通过上述步骤S302至S306,采用目标检测网络算法、卷积神经网络算法和分类器算法对第二识别图像进行筛选和分析,舍弃该第二识别图像中不是目标车辆的车辆图像,减少了后续图像处理过程的计算量,提高了图像特征识别的效率。
在一个实施例中,图4是根据本发明实施例的车盖检测的方法的流程图,如图4所示,该方法包括如下步骤:
步骤S402,提取该第二识别图像的第一梯度特征和第一卷积神经网络特征,其中,提取第一梯度特征可以通过方向梯度直方图算法(Histogram of Oriented Gradient,简称为HOG)算法实现,采用HOG算法提取该第二识别图像的边缘梯度信息进行特征提取。
步骤S404,对该第一梯度特征进行降维,得到第二梯度特征,对该第一卷积神经网络特征进行降维,得到第二卷积神经网络特征,由于特征提取的维数较高,数据处理量较大,需要对第一梯度特征和第一卷积神经网络特征进行降维,降维算法可以采用主成分分析方法(Principal Component Analysis,简称为PCA),PCA算法将原有的维度特征映射在新的维度坐标中,忽略在新的维度坐标中方差几乎为0的维度特征,实现对数据特征的降维处理。
步骤S406,对该第二梯度特征和该第二卷积神经网络特征进行融合,得到融合特征,在特征融合的过程中,可以将第二梯度特征和第二卷积神经网络特征进行简单堆叠来实现融合,也可以通过函数关系将第二梯度特征和第二卷积神经网络特征进行线性叠加融合。
步骤S408,通过线性回归模型对该融合特征进行处理,得到该线性回归模型的拟合系数,在该拟合系数大于或者等于预设系数值的情况下,判断车盖检测结果为严密,在该拟合系数小于预设系数值的情况下,判断车盖检测结果为不严密,其中,拟合系数的取值范围是大于或者等于0,且小于或者等于1,拟合系数越接近于1,拟合效果越好,例如,预设系数值为0.95,在线性回归模型的拟合系数为0.96的情况下,说明车盖检测结果为严密。
通过上述步骤S402至S408,对第二识别图像中的图像特征进行提取、降维和融合,在保留主要特征的同时,降低了数据的处理量,提高了图像特征识别的效率。
在一个实施例中,图5是根据本发明实施例的车牌检测的方法的流程图,如图5所示,该方法包括如下步骤:
步骤S502,获取该第二识别图像中的字符,得到该字符的数量和字符置信度,第二识别图像中的字符可能会被遮挡或者污损,因此需要通过车牌检测模型对第二识别图像中的所有字符进行检测,其中,字符包括汉字、数字和英文,车牌检测模型在识别到字符的同时,也获取与字符对应的字符置信度,字符置信度表示字符识别的准确程度,字符置信度的取值范围是大于或者等于0,且小于或者等于1的范围,字符置信度越接近于1,表示字符识别的准确度越高;
步骤S504,在该字符数量大于或者等于预设数量,且每个该字符的字符置信度大于或者等于第三预设置信度的情况下,判断该车牌检测结果为存在,在该字符数量小于预设数量或者该字符置信度小于第三预设置信度的情况下,判断该车牌检测结果为不存在,例如,预设数量为3,第三字符置信度为0.8,在车牌检测模型检测到的字符数量为4,且每个字符的字符置信度都大于或者等于0.8的情况下,车牌检测结果为存在;在检测到的字符数量为4,其中有一个字符的字符置信度为0.75的情况下,车牌检测结果为不存在;在检测到的字符数量为2,每个字符的字符置信度都大于或者等于0.8的情况下,车牌检测结果仍为不存在。
通过上述步骤S502和S504,车牌检测模型通过检测第二识别图像中的字符并获取与字符对应的字符置信度,判断该第二识别图像中的字符是否为符合条件的放大车牌,以满足对车辆特征识别的要求。
在一个实施例中,可以通过获取监控设备的地理位置信息,作为车辆的地理位置信息,其中,该监控设备捕捉第一识别图像,监控设备在向服务器上传图像的过程中,同时上传监控设备的地理位置信息,该地理位置信息作为该监控设备上传的所有第一识别图像的地理位置信息,提高了地理位置信息的准确率,在车盖检测结果为不严密,或者车牌检测结果为不存在的条件下,将该地理位置信息上传至警方,有利于警方对于违规车辆的管理。
在一个实施例中,通过图像增强模型对该第一识别图像进行对比度和亮度处理,得到第二识别图像,其中,该对比度和亮度处理包括增强该第一识别图像的对比度和提高该第一识别图像的亮度,通过图像增强模型提高该第一识别图像的亮度,增强该第一识别图像的对比度,提高了车辆夜间图像特征识别的效率和准确度。
在一个实施例中,在通过车盖检测模型对该第二识别图像进行识别之后,还包括在第二识别图像的该车盖检测结果为严密,且该车牌检测结果为存在的条件下,将第二识别图像标记为安全,在第二识别图像被标记为安全的情况下,不对该第二识别图像对应的车辆做任何处理,简化了处理流程。
应该理解的是,虽然图2至图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
对应于上述车辆特征识别的方法,在本实施例中,还提供了一种车辆特征识别的设备,该设备用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
在一个实施例中,提供了一种车辆特征识别的设备,图6是根据本发明实施例的车辆特征识别的设备的结构框图一,如图6所示,包括:增强模块62、检测模块64和判定模块66,其中:
增强模块62,用于获取车辆的第一识别图像,通过图像增强模型对该第一识别图像的预设参数进行处理,得到第二识别图像;
检测模块64,用于通过位置识别模型获取车辆地理位置信息,通过车盖检测模型对该第二识别图像进行识别,判断该第二识别图像中的该车辆的车盖是否遮盖严密,通过车牌检测模型对该第二识别图像进行识别,判断该第二识别图像中该车辆是否存在放大车牌,其中,该存在放大车牌包括该放大车牌的车牌信息完整、可识别;
判定模块66,用于在该第二识别图像的该车盖检测结果为不严密,或者该车牌检测结果为不存在的条件下,将该第二识别图像标记为不安全,上传该车辆的该地理位置信息并发出警示信号。
通过上述设备,服务器获取来自终端的第一识别图像,通过增强模块62提得到第二识别图像,检测模块64对该第二识别图像进行车盖和放大车牌识别,根据识别结果,判定模块66做出是否警示的判断,图像增强模型使得夜间获取的图像更容易被处理和识别,解决了在夜晚光线不足的情况下,对于渣土车特征的识别度较低的问题,提高了对于车辆夜间图像特征识别的效率和准确度。
在一个实施例中,图7是根据本发明实施例的车辆特征识别的设备的结构框图二,如图7所示,还包括:处理模块72、误检模块74和筛选模块76,其中:
处理模块72,用于通过目标检测网络算法对该第二识别图像进行切分和筛选,得到该第二识别图像中的车辆图像和该车辆图像的图像置信度,在该图像置信度小于第一预设置信度的情况下,舍弃该图像置信度对应的该车辆图像;
误检模块74,用于在该图像置信度小于第二预设置信度,且大于或者等于第一预设置信度的情况下,通过卷积神经网络和分类器算法对该车辆图像进行误检分析,根据该分类器算法的判定结果,判断该车辆图像是否为目标车辆的图像;
筛选模块76,用于在该车辆图像不是该目标车辆的情况下,舍弃该图像置信度对应的该车辆图像。
通过上述设备,处理模块72采用目标检测网络算法、误检模块74采用卷积神经网络算法和分类器算法对第二识别图像进行筛选和分析,筛选模块76舍弃该第二识别图像中不是目标车辆的车辆图像,减少了后续图像处理过程的计算量,提高了图像特征识别的效率。
在一个实施例中,图8是根据本发明实施例的车辆特征识别的设备的结构框图三,如图8所示,本发明的检测模块64包括:提取单元82、降维单元84、融合单元86和判断单元88:
提取单元82,用于提取该第二识别图像的第一梯度特征和第一卷积神经网络特征;
降维单元84,用于对该第一梯度特征进行降维,得到第二梯度特征,对该第一卷积神经网络特征进行降维,得到第二卷积神经网络特征;
融合单元86,用于对该第二梯度特征和第二卷积神经网络特征进行融合,得到融合特征;
判断单元88,用于通过线性回归模型对该融合特征进行处理,得到该线性回归模型的拟合系数,在该拟合系数大于或者等于预设系数值的情况下,判断车盖检测结果为严密,在该拟合系数小于预设系数值的情况下,判断车盖检测结果为不严密。
通过上述设备,提取单元82对第二识别图像中的图像特征进行提取,降维单元84对提取到的特征降维,融合单元86对降维后的图像特征进行融合,在保留主要特征的同时,降低了数据的处理量,提高了图像特征识别的效率。
下面结合实际应用场景对本发明的实施例进行详细说明,在进行车辆特征识别时,图9是根据本发明实施例的车辆特征识别***的示意图,如图9所示,该***包括增强模块62、处理模块72、误检模块74、筛选模块76、车盖检测模块92、车牌检测模块94和判定模块66,其中,车盖检测模块92包括提取单元82、降维单元84、融合单元86和判断单元88,车牌检测模块94包括识别单元96和判别单元98。
在该车辆特征识别***进行图像识别时,完成车辆特征识别的方法,在进行夜间渣土车特征识别的情况下,图10是根据本发明实施例的车辆特征识别的方法的流程图三,该方法包括如下步骤:
步骤S1002,从卡口场景或者电警场景摄像头获取第一识别图像,将该第一识别图像送入增强模块,得到第二识别图像;
步骤S1004,将第二识别图像输入处理模块,处理模块采用YOLO V3算法,将检测出的低置信度的车辆送入误检模块,进行二次判定是否是误检,若是误检则直接剔除;
步骤S1006,将处理后的第二识别图像送入车盖检测模块,提取第二识别图像的HOG特征和CNN特征,并用PCA算法进行特征降维,最终利用线性回归模型预测出是否存在盖子;
步骤S1008,将处理后的第二识别图像送入车牌检测模块,检测出所有能检测的字符,包括汉字、数字和英文,结合置信度和检测到的字符个数,最终判断出是否存在车牌放到模块;
步骤S1010,在车盖检测模块的结果为严密,且车牌检测模块的结果为存在的条件下,将第二识别图像标记为安全,对于车盖不严密,或者放大车牌不清晰的第二识别图像,进行联动报警。
通过增强模块提高第一识别图像的亮度,增强第一识别图像的对比度,得到第二识别图像,对该第二识别图像进行车盖和放大车牌识别,根据识别结果做出是否示警的判断,图像增强模型使得夜间获取的图像更容易被处理和识别,解决了在夜晚光线不足的情况下,对于渣土车特征的识别度较低的问题,提高了对于车辆夜间图像特征识别的效率和准确度。
在一个实施例中,提供了一种计算机设备。该计算机设备可以是服务器。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆特征识别的方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆特征识别的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述各实施例提供的车辆特征识别的方法中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各个实施例提供的车辆特征识别的方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种车辆特征识别的方法,其特征在于,所述方法包括:
获取车辆的第一识别图像,通过图像增强模型对所述第一识别图像的预设参数进行处理,得到第二识别图像;
通过位置识别模型获取车辆地理位置信息,通过车盖检测模型对所述第二识别图像进行识别,判断所述第二识别图像中的所述车辆的车盖是否遮盖严密,通过车牌检测模型对所述第二识别图像进行识别,判断所述第二识别图像中所述车辆是否存在放大车牌,其中,所述存在放大车牌包括所述放大车牌的车牌信息完整、可识别;
在所述第二识别图像的所述车盖检测结果为不严密,或者所述车牌检测结果为不存在的条件下,将所述第二识别图像标记为不安全,上传所述车辆的所述地理位置信息并发出警示信号。
2.根据权利要求1所述的车辆特征识别的方法,其特征在于,在所述通过车盖检测模型对所述第二识别图像进行识别之前,所述方法还包括:
通过目标检测网络算法对所述第二识别图像进行切分和筛选,得到所述第二识别图像中的车辆图像和所述车辆图像的图像置信度,在所述图像置信度小于第一预设置信度的情况下,舍弃所述图像置信度对应的所述车辆图像;
在所述图像置信度小于第二预设置信度,且大于或者等于所述第一预设置信度的情况下,通过卷积神经网络和分类器算法对所述车辆图像进行误检分析,根据所述分类器算法的判定结果,判断所述车辆图像是否为目标车辆的图像;
在所述车辆图像不是所述目标车辆的情况下,舍弃所述图像置信度对应的所述车辆图像。
3.根据权利要求1所述的车辆特征识别的方法,其特征在于,所述通过车盖检测模型对所述第二识别图像进行识别包括:
提取所述第二识别图像的第一梯度特征和第一卷积神经网络特征;
对所述第一梯度特征进行降维,得到第二梯度特征,对所述第一卷积神经网络特征进行降维,得到第二卷积神经网络特征;
对所述第二梯度特征和所述第二卷积神经网络特征进行融合,得到融合特征;
通过线性回归模型对所述融合特征进行处理,得到所述线性回归模型的拟合系数,在所述拟合系数大于或者等于预设系数值的情况下,判断车盖检测结果为严密,在所述拟合系数小于预设系数值的情况下,判断车盖检测结果为不严密。
4.根据权利要求1所述的车辆特征识别的方法,其特征在于,所述通过车牌检测模型对所述第二识别图像进行识别包括:
获取所述第二识别图像中的字符,得到所述字符的数量和字符置信度;
在所述字符数量大于或者等于预设数量,且每个所述字符的所述字符置信度大于或者等于第三预设置信度的情况下,判断所述车牌检测结果为存在,在所述字符数量小于预设数量或者所述字符置信度小于第三预设置信度的情况下,判断所述车牌检测结果为不存在。
5.根据权利要求1所述的车辆特征识别的方法,其特征在于,所述通过位置识别模型获取车辆地理位置信息包括:
获取捕捉所述第一识别图像的监控设备的地理位置信息,作为所述车辆的地理位置信息。
6.根据权利要求1所述的车辆特征识别的方法,其特征在于,所述通过图像增强模型对所述第一识别图像的预设参数进行处理,得到第二识别图像包括:
通过图像增强模型对所述第一识别图像进行对比度和亮度处理,得到第二识别图像,其中,所述对比度和亮度处理包括增强所述第一识别图像的对比度和提高所述第一识别图像的亮度。
7.根据权利要求1所述的车辆特征识别的方法,其特征在于,在所述通过车盖检测模型对所述第二识别图像进行识别之后,所述方法还包括:
在所述第二识别图像的所述车盖检测结果为严密,且所述车牌检测结果为存在的条件下,将所述第二识别图像标记为安全。
8.一种车辆特征识别的设备,其特征在于,所述设备包括增强模块、检测模块和判定模块:
所述增强模块,用于获取车辆的第一识别图像,通过图像增强模型对所述第一识别图像的预设参数进行处理,得到第二识别图像;
所述检测模块,用于通过位置识别模型获取车辆地理位置信息,通过车盖检测模型对所述第二识别图像进行识别,判断所述第二识别图像中的所述车辆的车盖是否遮盖严密,通过车牌检测模型对所述第二识别图像进行识别,判断所述第二识别图像中所述车辆是否存在放大车牌,其中,所述存在放大车牌包括所述放大车牌的车牌信息完整、可识别;
所述判定模块,用于在所述第二识别图像的所述车盖检测结果为不严密,或者所述车牌检测结果为不存在的条件下,将所述第二识别图像标记为不安全,上传所述车辆的所述地理位置信息并发出警示信号。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911050662.9A CN110929589B (zh) | 2019-10-31 | 2019-10-31 | 车辆特征识别的方法、设备、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911050662.9A CN110929589B (zh) | 2019-10-31 | 2019-10-31 | 车辆特征识别的方法、设备、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110929589A true CN110929589A (zh) | 2020-03-27 |
CN110929589B CN110929589B (zh) | 2023-07-07 |
Family
ID=69849973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911050662.9A Active CN110929589B (zh) | 2019-10-31 | 2019-10-31 | 车辆特征识别的方法、设备、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110929589B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860166A (zh) * | 2020-06-18 | 2020-10-30 | 浙江大华技术股份有限公司 | 图像检测的方法、装置、计算机设备和存储介质 |
CN111881321A (zh) * | 2020-07-27 | 2020-11-03 | 广元量知汇科技有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN112257541A (zh) * | 2020-10-16 | 2021-01-22 | 浙江大华技术股份有限公司 | 车牌识别方法以及电子设备、计算机可读存储介质 |
CN112712708A (zh) * | 2020-12-28 | 2021-04-27 | 上海眼控科技股份有限公司 | 信息检测方法、装置、设备及存储介质 |
CN113762233A (zh) * | 2020-06-05 | 2021-12-07 | 北京都是科技有限公司 | 车牌检测方法、***、装置及热红外图像处理器 |
CN114115359A (zh) * | 2021-10-26 | 2022-03-01 | 南京邮电大学 | 一种无人机山区寻羊***及其工作方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845478A (zh) * | 2016-12-30 | 2017-06-13 | 同观科技(深圳)有限公司 | 一种字符置信度的二次车牌识别方法及装置 |
CN107784315A (zh) * | 2016-08-26 | 2018-03-09 | 深圳光启合众科技有限公司 | 目标对象的识别方法和装置,及机器人 |
CN109409337A (zh) * | 2018-11-30 | 2019-03-01 | 公安部交通管理科学研究所 | 基于卷积神经网络的渣土车特征识别方法 |
CN109508725A (zh) * | 2017-09-15 | 2019-03-22 | 杭州海康威视数字技术股份有限公司 | 运输车辆的盖板开合检测方法、装置及终端 |
CN109815856A (zh) * | 2019-01-08 | 2019-05-28 | 深圳中兴网信科技有限公司 | 目标车辆的状态标记方法、***和计算机可读存储介质 |
-
2019
- 2019-10-31 CN CN201911050662.9A patent/CN110929589B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107784315A (zh) * | 2016-08-26 | 2018-03-09 | 深圳光启合众科技有限公司 | 目标对象的识别方法和装置,及机器人 |
CN106845478A (zh) * | 2016-12-30 | 2017-06-13 | 同观科技(深圳)有限公司 | 一种字符置信度的二次车牌识别方法及装置 |
CN109508725A (zh) * | 2017-09-15 | 2019-03-22 | 杭州海康威视数字技术股份有限公司 | 运输车辆的盖板开合检测方法、装置及终端 |
CN109409337A (zh) * | 2018-11-30 | 2019-03-01 | 公安部交通管理科学研究所 | 基于卷积神经网络的渣土车特征识别方法 |
CN109815856A (zh) * | 2019-01-08 | 2019-05-28 | 深圳中兴网信科技有限公司 | 目标车辆的状态标记方法、***和计算机可读存储介质 |
Non-Patent Citations (3)
Title |
---|
刘颖 等: "基于迁移学习及特征融合的轮胎花纹图像分类", 《计算机工程与设计》 * |
孙华魁 等: "《数字图像处理与识别技术研究》", 31 May 2019, 天津科学技术出版社 * |
柏森 等: "《信息隐藏算法及应用》", 30 September 2015, 国防工业出版社 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113762233A (zh) * | 2020-06-05 | 2021-12-07 | 北京都是科技有限公司 | 车牌检测方法、***、装置及热红外图像处理器 |
CN111860166A (zh) * | 2020-06-18 | 2020-10-30 | 浙江大华技术股份有限公司 | 图像检测的方法、装置、计算机设备和存储介质 |
CN111881321A (zh) * | 2020-07-27 | 2020-11-03 | 广元量知汇科技有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN111881321B (zh) * | 2020-07-27 | 2021-04-20 | 东来智慧交通科技(深圳)有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN112257541A (zh) * | 2020-10-16 | 2021-01-22 | 浙江大华技术股份有限公司 | 车牌识别方法以及电子设备、计算机可读存储介质 |
CN112712708A (zh) * | 2020-12-28 | 2021-04-27 | 上海眼控科技股份有限公司 | 信息检测方法、装置、设备及存储介质 |
CN114115359A (zh) * | 2021-10-26 | 2022-03-01 | 南京邮电大学 | 一种无人机山区寻羊***及其工作方法 |
CN114115359B (zh) * | 2021-10-26 | 2024-06-14 | 南京邮电大学 | 一种无人机山区寻羊***及其工作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110929589B (zh) | 2023-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110929589B (zh) | 车辆特征识别的方法、设备、计算机设备和存储介质 | |
CN111667011B (zh) | 损伤检测模型训练、车损检测方法、装置、设备及介质 | |
US9082038B2 (en) | Dram c adjustment of automatic license plate recognition processing based on vehicle class information | |
CN106600977B (zh) | 基于多特征识别的违停检测方法及*** | |
CN104616021B (zh) | 交通标志图像处理方法及装置 | |
CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
CN109325429B (zh) | 一种关联特征数据的方法、装置、存储介质及终端 | |
CN111507989A (zh) | 语义分割模型的训练生成方法、车辆外观检测方法、装置 | |
CN110781859B (zh) | 图像标注方法、装置、计算机设备和存储介质 | |
CN111444798B (zh) | 电动自行车驾驶行为的识别方法、装置和计算机设备 | |
CN109655075B (zh) | 无人车定位方法及设备 | |
US20160148076A1 (en) | Method and system for automating an image rejection process | |
CN112307989B (zh) | 路面物体识别方法、装置、计算机设备和存储介质 | |
CN111401282A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN112836683B (zh) | 用于便携式摄像设备的车牌识别方法、装置、设备和介质 | |
CN113688805A (zh) | 一种基于无人机的无牌渣土车识别方法及*** | |
CN111539317A (zh) | 车辆违规行驶检测方法、装置、计算机设备和存储介质 | |
CN112183321A (zh) | 机器学习模型优化的方法、装置、计算机设备和存储介质 | |
KR101066081B1 (ko) | 차량 탑재형 스마트 정보 판독 시스템 및 방법 | |
CN115810134A (zh) | 一种车险反欺诈的图像采集质检方法、***和装置 | |
CN111091041A (zh) | 一种车辆违法判别方法、装置、计算机设备和存储介质 | |
Kiew et al. | Vehicle route tracking system based on vehicle registration number recognition using template matching algorithm | |
CN111401362A (zh) | 车辆vin码的篡改检测方法、装置、设备和存储介质 | |
CN113160272B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
CN112818174A (zh) | 视频标注方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |