CN106778777A - 一种车辆匹配方法及*** - Google Patents

一种车辆匹配方法及*** Download PDF

Info

Publication number
CN106778777A
CN106778777A CN201611080118.5A CN201611080118A CN106778777A CN 106778777 A CN106778777 A CN 106778777A CN 201611080118 A CN201611080118 A CN 201611080118A CN 106778777 A CN106778777 A CN 106778777A
Authority
CN
China
Prior art keywords
image
vehicle
sample
characteristic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611080118.5A
Other languages
English (en)
Other versions
CN106778777B (zh
Inventor
谷瑞翔
高体红
毛河
龙学军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tongjia Youbo Technology Co Ltd
Original Assignee
Chengdu Tongjia Youbo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tongjia Youbo Technology Co Ltd filed Critical Chengdu Tongjia Youbo Technology Co Ltd
Priority to CN201611080118.5A priority Critical patent/CN106778777B/zh
Publication of CN106778777A publication Critical patent/CN106778777A/zh
Application granted granted Critical
Publication of CN106778777B publication Critical patent/CN106778777B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种车辆匹配方法,包括:获取第一目标图像和第二目标图像;分别提取第一目标图像和第二目标图像的特征信息,相应地得到第一图像特征信息和第二图像特征信息;其中,第一图像特征信息和第二图像特征信息均包括相应目标图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征;对第一图像特征信息和第二图像特征信息进行特征差异化处理,得到相应的特征向量;将特征向量输入预先创建的车辆匹配度预估模型,得到由车辆匹配度预估模型输出的用于表示第一待匹配车辆和第二待匹配车辆之间匹配程度的匹配结果。本申请公开的技术方案提升了车辆匹配准确度、匹配效率并降低了人工成本。另外,本申请还相应公开了一种车辆匹配***。

Description

一种车辆匹配方法及***
技术领域
本发明涉及车辆监管技术领域,特别涉及一种车辆匹配方法及***。
背景技术
当前,随着国民经济的发展,社会上的汽车保有量不断地增加,在方便人们出行的同时,也带来了许多车辆监管难题。例如,为了发现可能存在的违法违规行为的车辆使用现象,道路监管部门以及相关执法部门经常需要对在高速道路上拍摄的两张图片中的车辆进行识别匹配,以确定这两张图片中的车辆是否为同一辆车。
然而,当前道路监管部门和相关执法部门在对不同图片中的车辆进行匹配时,通常是采用人工识别匹配方式来判断不同图片中的车辆是否为同一辆车,这种人工识别匹配方式一方面会大幅增加人工成本,另一方面则存在效率很低,无法适应当前越来越繁重的车辆监管任务,再一方面则由于人工识别匹配时经常出现严重的主观误差,难以客观全面地掌握图片中的关键信息,从而容易导致匹配错误的事件发生。
综上所述可以看出,如何提升车辆匹配准确度、匹配效率并降低人工成本是目前亟待解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种车辆匹配方法及***,提升了车辆匹配准确度、匹配效率并降低了人工成本。其具体方案如下:
一种车辆匹配方法,包括:
获取第一目标图像和第二目标图像;其中,所述第一目标图像为对第一待匹配车辆进行图像采集后得到的图像,所述第二目标图像为对第二待匹配车辆进行图像采样后的图像;
分别提取所述第一目标图像和所述第二目标图像的特征信息,相应地得到第一图像特征信息和第二图像特征信息;其中,所述第一图像特征信息和所述第二图像特征信息均包括相应目标图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征;
对所述第一图像特征信息和所述第二图像特征信息进行特征差异化处理,得到相应的特征向量;
将所述特征向量输入预先创建的车辆匹配度预估模型,得到由所述车辆匹配度预估模型输出的用于表示所述第一待匹配车辆和所述第二待匹配车辆之间匹配程度的匹配结果;其中,所述车辆匹配度预估模型为基于机器学习算法得到的模型。
优选的,提取所述第一目标图像和所述第二目标图像中的任一目标图像的视觉词典的过程,包括:
利用预设的图像特征点提取算法,提取该目标图像的特征点,得到相应的车辆视觉词汇集合;
将所述车辆视觉词汇集合中的每一个词汇分别映射至预先创建的视觉词典模型中相对应的聚类中心,得到与该目标图像对应的视觉词典。
优选的,所述视觉词典模型的创建过程,包括:
获取图像样本集;其中,所述图像样本集包括分别在不同的拍摄参数和不同的拍摄环境下,对不同类型的车辆进行图像采集后所得到的图像;拍摄参数包括拍摄视角和拍摄时间段;拍摄环境包括雾天环境、雨雪环境、晴天环境和沙尘环境;
利用所述图像特征点提取算法,对所述图像样本集中的每一图像样本进行特征点提取处理,相应地得到每一图像样本所对应的车辆视觉词汇集合;
利用K-means聚类算法,依次对每一图像样本所对应的车辆视觉词汇集合进行聚类处理,得到所述视觉词典模型。
优选的,所述分别提取所述第一目标图像和所述第二目标图像的特征信息的过程之前,还包括:
分别从所述第一目标图像和所述第二目标图像中,对与车辆挡风玻璃相对应的图像区域进行抠除处理。
优选的,所述分别提取所述第一目标图像和所述第二目标图像的特征信息的过程之前,还包括:
分别对所述第一目标图像和所述第二目标图像进行光照补偿预处理。
优选的,所述车辆匹配度预估模型的创建过程,包括:
获取训练集;其中,所述训练集包括正样本训练集和负样本训练集;所述正样本训练集包括N组正样本图像,所述负样本训练集包括M组负样本图像,N和M均为正整数;所述正样本训练集中的任一组正样本图像包括分别在不同的拍摄参数和不同的拍摄环境下,对同一辆车进行图像采集后所得到的样本图像;所述负样本训练集中的任一组负样本图像包括在相同的拍摄参数和拍摄环境下,对不同车辆进行图像采集后所得到的样本图像;
分别确定所述训练集中每一组样本图像的特征向量,得到相应的特征向量集;
利用所述机器学习算法,对所述特征向量集中的每个特征向量进行学习训练,得到所述车辆匹配度预估模型;
其中,确定所述训练集中任一组样本图像的特征向量的过程,包括:分别提取该组样本图像中的每张样本图像的特征信息,得到相应的图像特征信息集合,然后分别对所述图像特征信息集合中的每两份图像特征信息进行特征差异化处理,得到与该组样本图像所对应的特征向量。
本发明还相应公开了一种车辆匹配***,包括:
图像获取模块,用于获取第一目标图像和第二目标图像;其中,所述第一目标图像为对第一待匹配车辆进行图像采集后得到的图像,所述第二目标图像为对第二待匹配车辆进行图像采样后的图像;
特征提取模块,用于分别提取所述第一目标图像和所述第二目标图像的特征信息,相应地得到第一图像特征信息和第二图像特征信息;其中,所述第一图像特征信息和所述第二图像特征信息均包括相应目标图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征;
特征处理模块,用于对所述第一图像特征信息和所述第二图像特征信息进行特征差异化处理,得到相应的特征向量;
模型创建模块,用于预先基于机器学习算法创建车辆匹配度预估模型;
车辆匹配模块,用于将所述特征向量输入所述车辆匹配度预估模型,得到由所述车辆匹配度预估模型输出的用于表示所述第一待匹配车辆和所述第二待匹配车辆之间匹配程度的匹配结果。
优选的,所述车辆匹配***,还包括:
区域抠除模块,用于在所述特征提取模块提取所述第一目标图像和所述第二目标图像的特征信息之前,分别从所述第一目标图像和所述第二目标图像中,对与车辆挡风玻璃相对应的图像区域进行抠除处理。
优选的,所述车辆匹配***,还包括:
光照补偿预处理模块,用于在所述特征提取模块提取所述第一目标图像和所述第二目标图像的特征信息之前,分别对所述第一目标图像和所述第二目标图像进行光照补偿预处理。
优选的,所述模型创建模块包括:
训练集获取单元,用于获取训练集;其中,所述训练集包括正样本训练集和负样本训练集;所述正样本训练集包括N组正样本图像,所述负样本训练集包括M组负样本图像,N和M均为正整数;所述正样本训练集中的任一组正样本图像包括分别在不同的拍摄参数和不同的拍摄环境下,对同一辆车进行图像采集后所得到的样本图像;所述负样本训练集中的任一组负样本图像包括在相同的拍摄参数和拍摄环境下,对不同车辆进行图像采集后所得到的样本图像;
特征向量确定单元,用于分别确定所述训练集中每一组样本图像的特征向量,得到相应的特征向量集;
训练单元,用于利用所述机器学习算法,对所述特征向量集中的每个特征向量进行学习训练,得到所述车辆匹配度预估模型;
其中,所述特征向量确定单元确定所述训练集中任一组样本图像的特征向量的过程,包括:分别提取该组样本图像中的每张样本图像的特征信息,得到相应的图像特征信息集合,然后分别对所述图像特征信息集合中的每两份图像特征信息进行特征差异化处理,得到与该组样本图像所对应的特征向量。
本发明中,车辆匹配方法,包括:获取第一目标图像和第二目标图像;分别提取第一目标图像和第二目标图像的特征信息,相应地得到第一图像特征信息和第二图像特征信息;其中,第一图像特征信息和第二图像特征信息均包括相应目标图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征;对第一图像特征信息和第二图像特征信息进行特征差异化处理,得到相应的特征向量;将特征向量输入预先创建的车辆匹配度预估模型,得到由车辆匹配度预估模型输出的用于表示第一待匹配车辆和第二待匹配车辆之间匹配程度的匹配结果;其中,车辆匹配度预估模型为基于机器学习算法得到的模型。
可见,本发明中,当需要对不同图像中的车辆进行识别匹配的时候,可先分别对上述不同图像中的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征等特征信息进行提取,得到上述不同图像各自所对应的图像特征信息,然后将上述不同图像各自所对应的图像特征信息输入预先基于机器学习算法得到的车辆匹配度预估模型,从而得到上述不同图像中的待匹配车辆之间的匹配程度,由上可知,本发明在对不同图像上的车辆进行匹配识别时,无需人工进行匹配,而是可以通过提取图像中的特征信息,然后利用基于机器学习算法得到的匹配度预估模型,来进行自动的匹配识别,从而提升了匹配效率和降低了人工成本,并且本发明中,上述提取出的特征信息中包括图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征,这些特征信息非常客观、全面地反映出车辆的固有特征,从而使得最终的匹配结果具有非常高的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种车辆匹配方法流程图;
图2为本发明实施例公开的视觉词典模型创建方法流程图;
图3为本发明实施例公开的车辆匹配度预估模型创建方法流程图;
图4为本发明实施例公开的一种车辆匹配***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种车辆匹配方法,参见图1所示,该方法包括:
步骤S11:获取第一目标图像和第二目标图像;其中,第一目标图像为对第一待匹配车辆进行图像采集后得到的图像,第二目标图像为对第二待匹配车辆进行图像采样后的图像。
可以理解的是,本实施例中的技术方案可以应用于多种应用场景,如停车场内的车辆匹配、高速路口上的车辆匹配或者其他重要场所四周的车辆匹配管理。
另外,本实施例中的任一目标图像具体可以由设置在停车场内、高速道路上或其他重要场所周围的摄像头采集的车辆外观图像。
步骤S12:分别提取第一目标图像和第二目标图像的特征信息,相应地得到第一图像特征信息和第二图像特征信息;其中,第一图像特征信息和第二图像特征信息均包括相应目标图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征。
本实施例中,具体可以采用Overlap图像分割策略,来获取上述第一目标图像和第二目标图像中各自对应的灰度直方图特征。
另外,本实施例中,可以通过提取目标图像在HSV颜色空间中的H通道直方图的方式,来获取上述第一目标图像和第二目标图像各自对应的颜色特征。
步骤S13:对第一图像特征信息和第二图像特征信息进行特征差异化处理,得到相应的特征向量。
也即,本实施例对上述第一图像特征信息和第二图像特征信息进行作差处理,得到上述特征向量。
步骤S14:将特征向量输入预先创建的车辆匹配度预估模型,得到由车辆匹配度预估模型输出的用于表示第一待匹配车辆和第二待匹配车辆之间匹配程度的匹配结果;其中,车辆匹配度预估模型为基于机器学习算法得到的模型。
本实施例中,在得到上述匹配结果后,还可以将该匹配结果与预先设定的阈值进行比较,当该匹配结果所反映的匹配程度大于或等于上述阈值,则可以判定上述第一待匹配车辆和第二待匹配车辆为同一辆车,否则,将判定上述第一待匹配车辆和第二待匹配车辆分别为不同的车辆。另外,本实施例还可以为用户提供一个阈值变更接口,通过该阈值变更接口,可以获取用户输入的数值,并将该数值确定为当前最新的阈值。可以理解的是,在对匹配准确度要求较高的情况下,需要通过上述阈值变更接口相应地调大阈值。
可见,本发明实施例中,当需要对不同图像中的车辆进行识别匹配的时候,可先分别对上述不同图像中的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征等特征信息进行提取,得到上述不同图像各自所对应的图像特征信息,然后将上述不同图像各自所对应的图像特征信息输入预先基于机器学习算法得到的车辆匹配度预估模型,从而得到上述不同图像中的待匹配车辆之间的匹配程度,由上可知,本发明实施例在对不同图像上的车辆进行匹配识别时,无需人工进行匹配,而是可以通过提取图像中的特征信息,然后利用基于机器学习算法得到的匹配度预估模型,来进行自动的匹配识别,从而提升了匹配效率和降低了人工成本,并且本发明实施例中,上述提取出的特征信息中包括图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征,这些特征信息非常客观、全面地反映出车辆的固有特征,从而使得最终的匹配结果具有非常高的准确度。
本发明实施例公开了一种具体的车辆匹配方法,相对于上一实施例,本实施例对技术方案作了进一步的说明和优化。具体的:
上一实施例步骤S12中,需要对第一目标图像和第二目标图像的特征信息进行提取,其中,目标图像中的特征信息包括视觉词典、车辆边缘特征、灰度直方图特征和颜色特征。
本实施例中,提取第一目标图像和第二目标图像中的任一目标图像的视觉词典的过程,具体可以包括下面步骤S1201和S1202:
步骤S1201:利用预设的图像特征点提取算法,提取任一目标图像的特征点,得到相应的车辆视觉词汇集合。
可以理解的是,上述任一目标图像上的特征点构成了该目标图像的视觉词汇,该目标图像上的所有特征点则构成了该目标图像对应的车辆视觉词汇集合。
步骤S1202:将上述车辆视觉词汇集合中的每一个词汇分别映射至预先创建的视觉词典模型中相对应的聚类中心,得到与目标图像对应的视觉词典。
也即,根据上述视觉词典模型中的聚类中心,对上述车辆视觉词汇集合中的每个词汇进行分类处理,然后统计每类词汇中的词汇频率,从而得到与相应目标图像对应的视觉词典。
另外,参见图2所示,本实施例中,上述视觉词典模型的创建过程,具体包括下面步骤S21至S23:
步骤S21:获取图像样本集;其中,该图像样本集包括分别在不同的拍摄参数和不同的拍摄环境下,对不同类型的车辆进行图像采集后所得到的图像;本实施例中,上述拍摄参数包括但不限于拍摄视角和拍摄时间段;拍摄环境包括但不限于雾天环境、雨雪环境、晴天环境和沙尘环境;
步骤S22:利用上述图像特征点提取算法,对上述图像样本集中的每一图像样本进行特征点提取处理,相应地得到每一图像样本所对应的车辆视觉词汇集合;
步骤S23:利用K-means聚类算法,依次对每一图像样本所对应的车辆视觉词汇集合进行聚类处理,得到视觉词典模型。
本实施例中,上述图像特征点提取算法具体可以为SIFT算法(SIFT,即Scale-Invariant Feature Transform,尺度不变特征变换)或SURF算法(SURF,即Speeded UpRobust Features,加速稳健特征)。
另外,考虑到不同图像之间的特征点数量存在不一致的可能性,所以本实施例可以对上述特征点提取过程中所提取到的特征进行归一化处理。例如,在利用SURF算法对图像样本进行特征点提取处理时,本实施例可以采用如下公式进行归一化处理:
fnorm=(f*N)/Nnum
式中,fnorm表示归一化后的SURF特征,f表示归一化之前的SURF特征,Nnum表示对应图像样本中的SURF特征点的总数量,N与上述Nnum属于同一数量级,用于保证f的精度,没有物理含义。
进一步的,本实施例中,提取第一目标图像和第二目标图像中的任一目标图像的车辆边缘特征的过程,具体可以包括:利用一阶差分算子或二阶差分算子,对该目标图像进行边缘特征提取处理,得到该目标图像的车辆边缘特征。
具体的,本实施例可以采用Sobel算子,计算目标图像的边缘信息,得到目标图像中有关车辆的边缘图像,然后分别将该边缘图像往水平和垂直两个方向进行投影,得到相应的车辆边缘特征。
另外,考虑到目标图像中车辆挡风玻璃所在的图像区域会对后续处理过程造成不良影响,本实施例中,可以在分别提取第一目标图像和第二目标图像的特征信息的过程之前,还可以进一步包括:分别从第一目标图像和第二目标图像中,对与车辆挡风玻璃相对应的图像区域进行抠除处理。其次,本实施例还可以进一步将在车辆挡风玻璃之上的图像区域从目标图像中抠除,这样使得目标图像的车辆区域中仅保留车辆引擎盖以及引擎盖以下的图像区域,由于该图像区域中包含车辆绝大部分的特征,所以经过上述抠除处理后,不会影响图像中车辆特征的显著特性,另外还可以大幅减少信息处理量,有利于加快后续处理速度。
进一步的,考虑到不同目标图像之间可能存在图像尺寸不一致的问题,为了降低图像尺寸不一致对后续处理的不良影响,本实施例中,还可以在分别提取第一目标图像和第二目标图像的特征信息的过程之前,进一步包括:将第一目标图像和第二目标图像缩放至相同的尺寸大小。
为了降低光照等因素的影响,以提升后续的匹配准确度和鲁棒性,本实施例中,在分别提取第一目标图像和第二目标图像的特征信息的过程之前,还可以包括:分别对第一目标图像和第二目标图像进行光照补偿预处理。具体的,本实施例可以采用MSRCR算法(MSRCR,即Multi-Scale Retinex with Color Restoration),在空域中去除图像的低频信息,增强图像的高频信息,得到去除光照影响的目标图像。
上一实施例步骤S14中,需要将步骤S13中得到的特征向量输入预先创建的车辆匹配度预估模型,然后通过该模型输入表示相应车辆之间匹配程度的匹配结果。参见图3所示,本实施例中,上述车辆匹配度预估模型的创建过程,具体可以包括下面步骤S31至步骤S33:
步骤S31:获取训练集;其中,训练集包括正样本训练集和负样本训练集;正样本训练集包括N组正样本图像,负样本训练集包括M组负样本图像,N和M均为正整数;正样本训练集中的任一组正样本图像包括分别在不同的拍摄参数和不同的拍摄环境下,对同一辆车进行图像采集后所得到的样本图像;负样本训练集中的任一组负样本图像包括在相同的拍摄参数和拍摄环境下,对不同车辆进行图像采集后所得到的样本图像。
需要说明的是,为了避免出现数据倾斜的现象,本实施例中可以尽量保证上述正样本训练集和负样本训练集中的样本图像的组数相同或大致相同,也即,尽量保证上述N值和M值相同或相近。
步骤S32:分别确定训练集中每一组样本图像的特征向量,得到相应的特征向量集;
步骤S33:利用机器学习算法,对特征向量集中的每个特征向量进行学习训练,得到车辆匹配度预估模型;
具体的,上述步骤S32中,确定训练集中任一组样本图像的特征向量的过程,可以包括下面步骤S321和S322:
步骤S321:分别提取该组样本图像中的每张样本图像的特征信息,得到相应的图像特征信息集合;
步骤S322:分别对图像特征信息集合中的每两份图像特征信息进行特征差异化处理,得到与该组样本图像所对应的特征向量。
可以理解的是,上述步骤S321在提取样本图像的特征信息的具体过程与上一实施例步骤S12中的提取目标图像的特征信息的具体过程相类似,在此不再进行赘述。同理,上述步骤S322中的特征差异化处理过程与上一实施例步骤S13中的特征差异化处理过程相类似,在此也不再进行赘述。
本实施例中,上述步骤S33中的机器学习算法优先采用SVM算法(SVM,即SupportVector Machine)。
相应的,本发明实施例还公开了一种车辆匹配***,参见图4所示,该***包括:
图像获取模块41,用于获取第一目标图像和第二目标图像;其中,第一目标图像为对第一待匹配车辆进行图像采集后得到的图像,第二目标图像为对第二待匹配车辆进行图像采样后的图像;
特征提取模块42,用于分别提取第一目标图像和第二目标图像的特征信息,相应地得到第一图像特征信息和第二图像特征信息;其中,第一图像特征信息和第二图像特征信息均包括相应目标图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征;
特征处理模块43,用于对第一图像特征信息和第二图像特征信息进行特征差异化处理,得到相应的特征向量;
模型创建模块44,用于预先基于机器学习算法创建车辆匹配度预估模型;
车辆匹配模块45,用于将特征向量输入上述车辆匹配度预估模型,得到由车辆匹配度预估模型输出的用于表示第一待匹配车辆和第二待匹配车辆之间匹配程度的匹配结果。
可见,本发明实施例中,当需要对不同图像中的车辆进行识别匹配的时候,可先分别对上述不同图像中的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征等特征信息进行提取,得到上述不同图像各自所对应的图像特征信息,然后将上述不同图像各自所对应的图像特征信息输入预先基于机器学习算法得到的车辆匹配度预估模型,从而得到上述不同图像中的待匹配车辆之间的匹配程度,由上可知,本发明实施例在对不同图像上的车辆进行匹配识别时,无需人工进行匹配,而是可以通过提取图像中的特征信息,然后利用基于机器学习算法得到的匹配度预估模型,来进行自动的匹配识别,从而提升了匹配效率和降低了人工成本,并且本发明实施例中,上述提取出的特征信息中包括图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征,这些特征信息非常客观、全面地反映出车辆的固有特征,从而使得最终的匹配结果具有非常高的准确度。
具体的,上述特征提取模块可以包括视觉词汇获取子模块、词典模型创建子模块和视觉词典生成子模块;其中,
视觉词汇获取子模块,用于利用预设的图像特征点提取算法,提取目标图像的特征点,得到相应的车辆视觉词汇集合;
词典模型创建子模块,用于预先创建视觉词典模型;
视觉词典生成子模块,用于将车辆视觉词汇集合中的每一个词汇分别映射至视觉词典模型中相对应的聚类中心,得到与相应目标图像对应的视觉词典。
其中,上述词典模型创建子模块包括样本集获取单元、特征点提取单元和词汇聚类单元;其中,
样本集获取单元,用于获取图像样本集;其中,图像样本集包括分别在不同的拍摄参数和不同的拍摄环境下,对不同类型的车辆进行图像采集后所得到的图像;拍摄参数包括拍摄视角和拍摄时间段;拍摄环境包括雾天环境、雨雪环境、晴天环境和沙尘环境;
特征点提取单元,用于利用图像特征点提取算法,对图像样本集中的每一图像样本进行特征点提取处理,相应地得到每一图像样本所对应的车辆视觉词汇集合;
词汇聚类单元,用于利用K-means聚类算法,依次对每一图像样本所对应的车辆视觉词汇集合进行聚类处理,得到视觉词典模型。
本实施例中,上述图像特征点提取算法具体可以为SIFT算法或SURF算法。
另外,上述特征提取模块还需要包括:边缘特征提取子模块,用于利用一阶差分算子或二阶差分算子,对该目标图像进行边缘特征提取处理,得到该目标图像的车辆边缘特征。
本实施例中,上述边缘特征提取子模块具体可以采用Sobel算子,计算目标图像的边缘信息,得到目标图像中有关车辆的边缘图像,然后分别将该边缘图像往水平和垂直两个方向进行投影,得到相应的车辆边缘特征。
另外,考虑到目标图像中车辆挡风玻璃所在的图像区域会对后续处理过程造成不良影响,本实施例中,车辆匹配***还可以进一步包括:
区域抠除模块,用于在上述特征提取模块提取第一目标图像和第二目标图像的特征信息之前,分别从第一目标图像和第二目标图像中,对与车辆挡风玻璃相对应的图像区域进行抠除处理。
其次,上述区域抠除模块还可以进一步将在车辆挡风玻璃之上的图像区域从目标图像中抠除,这样使得目标图像的车辆区域中仅保留车辆引擎盖以及引擎盖以下的图像区域,由于该图像区域中包含车辆绝大部分的特征,所以经过上述抠除处理后,不会影响图像中车辆特征的显著特性,另外还可以大幅减少信息处理量,有利于加快后续处理速度。
进一步的,考虑到不同目标图像之间可能存在图像尺寸不一致的问题,为了降低图像尺寸不一致对后续处理的不良影响,本实施例中的车辆匹配***还可以包括:
尺寸缩放模块,用于在上述特征提取模块分别提取第一目标图像和第二目标图像的特征信息的过程之前,将第一目标图像和第二目标图像缩放至相同的尺寸大小。
为了降低光照等因素的影响,以提升后续的匹配准确度和鲁棒性,本实施例的车辆匹配***还包括:
光照补偿预处理模块,用于在上述特征提取模块提取第一目标图像和第二目标图像的特征信息之前,分别对第一目标图像和第二目标图像进行光照补偿预处理。
具体的,上述光照补偿预处理模块可以采用MSRCR算法,在空域中去除图像的低频信息,增强图像的高频信息,得到去除光照影响的目标图像。
进一步的,本实施例中,上述模型创建模块具体包括训练集获取单元、特征向量确定单元和训练单元;其中,
训练集获取单元,用于获取训练集;其中,训练集包括正样本训练集和负样本训练集;正样本训练集包括N组正样本图像,负样本训练集包括M组负样本图像,N和M均为正整数;正样本训练集中的任一组正样本图像包括分别在不同的拍摄参数和不同的拍摄环境下,对同一辆车进行图像采集后所得到的样本图像;负样本训练集中的任一组负样本图像包括在相同的拍摄参数和拍摄环境下,对不同车辆进行图像采集后所得到的样本图像;
特征向量确定单元,用于分别确定训练集中每一组样本图像的特征向量,得到相应的特征向量集;
训练单元,用于利用机器学习算法,对特征向量集中的每个特征向量进行学习训练,得到车辆匹配度预估模型;
其中,上述特征向量确定单元确定训练集中任一组样本图像的特征向量的过程,包括:分别提取该组样本图像中的每张样本图像的特征信息,得到相应的图像特征信息集合,然后分别对图像特征信息集合中的每两份图像特征信息进行特征差异化处理,得到与该组样本图像所对应的特征向量。
本实施例中,上述机器学习算法优先采用SVM算法。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种车辆匹配方法及***进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车辆匹配方法,其特征在于,包括:
获取第一目标图像和第二目标图像;其中,所述第一目标图像为对第一待匹配车辆进行图像采集后得到的图像,所述第二目标图像为对第二待匹配车辆进行图像采样后的图像;
分别提取所述第一目标图像和所述第二目标图像的特征信息,相应地得到第一图像特征信息和第二图像特征信息;其中,所述第一图像特征信息和所述第二图像特征信息均包括相应目标图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征;
对所述第一图像特征信息和所述第二图像特征信息进行特征差异化处理,得到相应的特征向量;
将所述特征向量输入预先创建的车辆匹配度预估模型,得到由所述车辆匹配度预估模型输出的用于表示所述第一待匹配车辆和所述第二待匹配车辆之间匹配程度的匹配结果;其中,所述车辆匹配度预估模型为基于机器学习算法得到的模型。
2.根据权利要求1所述的车辆匹配方法,其特征在于,提取所述第一目标图像和所述第二目标图像中的任一目标图像的视觉词典的过程,包括:
利用预设的图像特征点提取算法,提取该目标图像的特征点,得到相应的车辆视觉词汇集合;
将所述车辆视觉词汇集合中的每一个词汇分别映射至预先创建的视觉词典模型中相对应的聚类中心,得到与该目标图像对应的视觉词典。
3.根据权利要求2所述的车辆匹配方法,其特征在于,所述视觉词典模型的创建过程,包括:
获取图像样本集;其中,所述图像样本集包括分别在不同的拍摄参数和不同的拍摄环境下,对不同类型的车辆进行图像采集后所得到的图像;拍摄参数包括拍摄视角和拍摄时间段;拍摄环境包括雾天环境、雨雪环境、晴天环境和沙尘环境;
利用所述图像特征点提取算法,对所述图像样本集中的每一图像样本进行特征点提取处理,相应地得到每一图像样本所对应的车辆视觉词汇集合;
利用K-means聚类算法,依次对每一图像样本所对应的车辆视觉词汇集合进行聚类处理,得到所述视觉词典模型。
4.根据权利要求1所述的车辆匹配方法,其特征在于,所述分别提取所述第一目标图像和所述第二目标图像的特征信息的过程之前,还包括:
分别从所述第一目标图像和所述第二目标图像中,对与车辆挡风玻璃相对应的图像区域进行抠除处理。
5.根据权利要求1所述的车辆匹配方法,其特征在于,所述分别提取所述第一目标图像和所述第二目标图像的特征信息的过程之前,还包括:
分别对所述第一目标图像和所述第二目标图像进行光照补偿预处理。
6.根据权利要求1至5任一项所述的车辆匹配方法,其特征在于,所述车辆匹配度预估模型的创建过程,包括:
获取训练集;其中,所述训练集包括正样本训练集和负样本训练集;所述正样本训练集包括N组正样本图像,所述负样本训练集包括M组负样本图像,N和M均为正整数;所述正样本训练集中的任一组正样本图像包括分别在不同的拍摄参数和不同的拍摄环境下,对同一辆车进行图像采集后所得到的样本图像;所述负样本训练集中的任一组负样本图像包括在相同的拍摄参数和拍摄环境下,对不同车辆进行图像采集后所得到的样本图像;
分别确定所述训练集中每一组样本图像的特征向量,得到相应的特征向量集;
利用所述机器学习算法,对所述特征向量集中的每个特征向量进行学习训练,得到所述车辆匹配度预估模型;
其中,确定所述训练集中任一组样本图像的特征向量的过程,包括:分别提取该组样本图像中的每张样本图像的特征信息,得到相应的图像特征信息集合,然后分别对所述图像特征信息集合中的每两份图像特征信息进行特征差异化处理,得到与该组样本图像所对应的特征向量。
7.一种车辆匹配***,其特征在于,包括:
图像获取模块,用于获取第一目标图像和第二目标图像;其中,所述第一目标图像为对第一待匹配车辆进行图像采集后得到的图像,所述第二目标图像为对第二待匹配车辆进行图像采样后的图像;
特征提取模块,用于分别提取所述第一目标图像和所述第二目标图像的特征信息,相应地得到第一图像特征信息和第二图像特征信息;其中,所述第一图像特征信息和所述第二图像特征信息均包括相应目标图像的视觉词典、车辆边缘特征、灰度直方图特征和颜色特征;
特征处理模块,用于对所述第一图像特征信息和所述第二图像特征信息进行特征差异化处理,得到相应的特征向量;
模型创建模块,用于预先基于机器学习算法创建车辆匹配度预估模型;
车辆匹配模块,用于将所述特征向量输入所述车辆匹配度预估模型,得到由所述车辆匹配度预估模型输出的用于表示所述第一待匹配车辆和所述第二待匹配车辆之间匹配程度的匹配结果。
8.根据权利要求7所述的车辆匹配***,其特征在于,还包括:
区域抠除模块,用于在所述特征提取模块提取所述第一目标图像和所述第二目标图像的特征信息之前,分别从所述第一目标图像和所述第二目标图像中,对与车辆挡风玻璃相对应的图像区域进行抠除处理。
9.根据权利要求7所述的车辆匹配***,其特征在于,还包括:
光照补偿预处理模块,用于在所述特征提取模块提取所述第一目标图像和所述第二目标图像的特征信息之前,分别对所述第一目标图像和所述第二目标图像进行光照补偿预处理。
10.根据权利要求7至9任一项所述的车辆匹配***,其特征在于,所述模型创建模块包括:
训练集获取单元,用于获取训练集;其中,所述训练集包括正样本训练集和负样本训练集;所述正样本训练集包括N组正样本图像,所述负样本训练集包括M组负样本图像,N和M均为正整数;所述正样本训练集中的任一组正样本图像包括分别在不同的拍摄参数和不同的拍摄环境下,对同一辆车进行图像采集后所得到的样本图像;所述负样本训练集中的任一组负样本图像包括在相同的拍摄参数和拍摄环境下,对不同车辆进行图像采集后所得到的样本图像;
特征向量确定单元,用于分别确定所述训练集中每一组样本图像的特征向量,得到相应的特征向量集;
训练单元,用于利用所述机器学习算法,对所述特征向量集中的每个特征向量进行学习训练,得到所述车辆匹配度预估模型;
其中,所述特征向量确定单元确定所述训练集中任一组样本图像的特征向量的过程,包括:分别提取该组样本图像中的每张样本图像的特征信息,得到相应的图像特征信息集合,然后分别对所述图像特征信息集合中的每两份图像特征信息进行特征差异化处理,得到与该组样本图像所对应的特征向量。
CN201611080118.5A 2016-11-30 2016-11-30 一种车辆匹配方法及*** Active CN106778777B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611080118.5A CN106778777B (zh) 2016-11-30 2016-11-30 一种车辆匹配方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611080118.5A CN106778777B (zh) 2016-11-30 2016-11-30 一种车辆匹配方法及***

Publications (2)

Publication Number Publication Date
CN106778777A true CN106778777A (zh) 2017-05-31
CN106778777B CN106778777B (zh) 2021-07-06

Family

ID=58901312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611080118.5A Active CN106778777B (zh) 2016-11-30 2016-11-30 一种车辆匹配方法及***

Country Status (1)

Country Link
CN (1) CN106778777B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109087300A (zh) * 2018-09-20 2018-12-25 视睿(杭州)信息科技有限公司 Led芯片支架故障自动检测方法和装置
CN110047275A (zh) * 2018-01-13 2019-07-23 丰田自动车株式会社 多个连接的车辆的观察结果之间的关联和相似度学习
CN110348392A (zh) * 2019-07-12 2019-10-18 上海眼控科技股份有限公司 车辆匹配方法及设备
CN110598758A (zh) * 2019-08-23 2019-12-20 伟龙金溢科技(深圳)有限公司 训练建模方法、车辆收费方法、管理***及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916383A (zh) * 2010-08-25 2010-12-15 浙江师范大学 基于多摄像机的车辆检测跟踪识别***
CN102932605A (zh) * 2012-11-26 2013-02-13 南京大学 一种视觉感知网络中摄像机的组合选择方法
CN103049340A (zh) * 2012-10-26 2013-04-17 中山大学 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法
CN103279739A (zh) * 2013-05-10 2013-09-04 浙江捷尚视觉科技有限公司 一种基于车辆特征匹配的套牌检测方法
CN103810505A (zh) * 2014-02-19 2014-05-21 北京大学 基于多层描述子的车辆标识方法与***
CN104199842A (zh) * 2014-08-07 2014-12-10 同济大学 一种基于局部特征邻域信息的相似图片检索方法
CN104615998A (zh) * 2015-02-15 2015-05-13 武汉大学 一种基于多视角的车辆检索方法
EP2946340A1 (en) * 2013-01-17 2015-11-25 Sensen Networks Pty Ltd Automated vehicle recognition
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法
CN105354533A (zh) * 2015-09-28 2016-02-24 江南大学 一种基于词袋模型的卡口无牌车辆车型识别方法
US20160196467A1 (en) * 2015-01-07 2016-07-07 Shenzhen Weiteshi Technology Co. Ltd. Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916383A (zh) * 2010-08-25 2010-12-15 浙江师范大学 基于多摄像机的车辆检测跟踪识别***
CN103049340A (zh) * 2012-10-26 2013-04-17 中山大学 基于纹理上下文约束的视觉词汇的图像超分辨率重建方法
CN102932605A (zh) * 2012-11-26 2013-02-13 南京大学 一种视觉感知网络中摄像机的组合选择方法
EP2946340A1 (en) * 2013-01-17 2015-11-25 Sensen Networks Pty Ltd Automated vehicle recognition
CN103279739A (zh) * 2013-05-10 2013-09-04 浙江捷尚视觉科技有限公司 一种基于车辆特征匹配的套牌检测方法
CN103810505A (zh) * 2014-02-19 2014-05-21 北京大学 基于多层描述子的车辆标识方法与***
CN104199842A (zh) * 2014-08-07 2014-12-10 同济大学 一种基于局部特征邻域信息的相似图片检索方法
US20160196467A1 (en) * 2015-01-07 2016-07-07 Shenzhen Weiteshi Technology Co. Ltd. Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud
CN104615998A (zh) * 2015-02-15 2015-05-13 武汉大学 一种基于多视角的车辆检索方法
CN105354533A (zh) * 2015-09-28 2016-02-24 江南大学 一种基于词袋模型的卡口无牌车辆车型识别方法
CN105354273A (zh) * 2015-10-29 2016-02-24 浙江高速信息工程技术有限公司 一种快速检索高速公路逃费车辆高相似度图像的方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
夏红丽: "中小学校视频监控中的行人检测方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
张广渊等: "《数字图像处理基础及OpenCV实现》", 31 December 2014 *
张生军: "《基于视觉的无标记手势识别》", 30 June 2016 *
杨彦通等: "基于矩形特征的无空间参考DEM图像模糊匹配", 《物探化探计算技术》 *
申丹飞: "基于筛选稀疏编码的多特征融合图像分类方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
裘雪红: "《计算机专业毕业设计宝典》", 31 March 2008 *
路小瑞: "基于Hadoop平台的职位推荐***的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047275A (zh) * 2018-01-13 2019-07-23 丰田自动车株式会社 多个连接的车辆的观察结果之间的关联和相似度学习
CN109087300A (zh) * 2018-09-20 2018-12-25 视睿(杭州)信息科技有限公司 Led芯片支架故障自动检测方法和装置
CN109087300B (zh) * 2018-09-20 2020-10-16 视睿(杭州)信息科技有限公司 Led芯片支架故障自动检测方法和装置
CN110348392A (zh) * 2019-07-12 2019-10-18 上海眼控科技股份有限公司 车辆匹配方法及设备
CN110598758A (zh) * 2019-08-23 2019-12-20 伟龙金溢科技(深圳)有限公司 训练建模方法、车辆收费方法、管理***及存储介质

Also Published As

Publication number Publication date
CN106778777B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN109800824B (zh) 一种基于计算机视觉与机器学习的管道缺陷识别方法
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和***
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及***
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN112862702B (zh) 图像增强方法、装置、设备及存储介质
CN105160309B (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN105512683B (zh) 基于卷积神经网络的目标定位方法及装置
CN102968782B (zh) 一种彩色图像中显著对象的自动抠取方法
CN108154102B (zh) 一种道路交通标志识别方法
CN104299008B (zh) 基于多特征融合的车型分类方法
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN104200228B (zh) 一种安全带识别方法与***
CN109918971B (zh) 监控视频中人数检测方法及装置
JP7142420B2 (ja) 画像処理装置、学習方法、学習済モデル、画像処理方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN106778777A (zh) 一种车辆匹配方法及***
CN107066916A (zh) 基于反卷积神经网络的场景语义分割方法
CN103679187A (zh) 图像识别方法和***
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN110706235A (zh) 一种基于双级级联分割的远红外行人检测方法
Zhao et al. Automatic blur region segmentation approach using image matting
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant