CN116524474A - 一种基于人工智能的车辆目标检测方法及*** - Google Patents

一种基于人工智能的车辆目标检测方法及*** Download PDF

Info

Publication number
CN116524474A
CN116524474A CN202310809684.9A CN202310809684A CN116524474A CN 116524474 A CN116524474 A CN 116524474A CN 202310809684 A CN202310809684 A CN 202310809684A CN 116524474 A CN116524474 A CN 116524474A
Authority
CN
China
Prior art keywords
target
vehicle
detection
prediction
detector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310809684.9A
Other languages
English (en)
Other versions
CN116524474B (zh
Inventor
韩畑州
何发智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202310809684.9A priority Critical patent/CN116524474B/zh
Publication of CN116524474A publication Critical patent/CN116524474A/zh
Application granted granted Critical
Publication of CN116524474B publication Critical patent/CN116524474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及智能监测技术领域,提供了一种基于人工智能的车辆目标检测方法及***,所述方法包括:进行数据采集,获取目标位置图像信息;搭建目标检测器;获取对象候选边界框集合,获取目标位置坐标信息;通过目标检测器中的区域分类网络,给对象候选边界框集合进行分类和标记,获取目标类别集合;获取目标预测类别与目标预测可信度,对目标位置坐标信息与目标类别集合进行更新,获取车辆目标检测结果,解决了车辆检测的准确率和检测效率低,车辆目标检测置信度无法满足多个应用场景使用需求的技术问题,实现了对车辆与行人进行同步检测,提高车辆检测的准确率和检测效率,保证车辆目标检测置信度满足多个应用场景使用需求的技术效果。

Description

一种基于人工智能的车辆目标检测方法及***
技术领域
本发明涉及智能监测技术领域,尤其涉及一种基于人工智能的车辆目标检测方法及***。
背景技术
车辆和行人是视频场景中关键的对象,行人车辆检测技术有很强的使用价值,可以与行人跟踪,行人重识别、智能交通等技术结合,智能车辆包括车辆自动驾驶技术和车辆目标检测技术,一定程度影响到车辆自动驾驶安全性方面。
现有技术中,在车辆目标检测过程中,存在错检漏检、重叠遮挡漏检等问题,使得车辆检测的准确率和检测效率不满足使用需求,无法均衡设备内存和计算量的基础上,保证车辆检测的准确率,车辆目标检测性能低。
由此可知,现有技术中存在车辆检测的准确率和检测效率低的技术问题。
发明内容
本发明提出一种基于人工智能的车辆目标检测方法及***,用以解决或者至少部分解决现有技术中存在的车辆检测准确率和效率低的技术问题。
为了解决上述技术问题,本发明技术方案为:
第一方面提供了一种基于人工智能的车辆目标检测方法,包括:
在目标位置进行数据采集,获取目标位置图像信息;
搭建目标检测器,其中,所述目标检测器包括对象边界网络和区域分类网络;
将所述目标位置图像信息输入所述对象边界网络,获取对象候选边界框集合;
对所述对象候选边界框集合进行坐标定位处理,获取目标位置坐标信息;
通过所述区域分类网络,对所述对象候选边界框集合进行分类和标记,获取目标类别集合;
基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度;
通过所述目标预测类别与目标预测可信度,对所述目标位置坐标信息与所述目标类别集合进行更新,获取车辆目标检测结果。
在一种实施方式中,所述搭建目标检测器包括:
以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,将目标检测器的第一级定义为对象边界网络;
以R-CNN算法为算法基础,确定目标检测器的第二级,将目标检测器的第二级定义为区域分类网络;
将所述对象边界网络与所述区域分类网络构建为目标检测器。
在一种实施方式中,所述以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,包括:
获取目标位置的历史图像信息与预设图片滑动步长;
将所述目标位置的历史图像信息带入完全卷积的区域提议网络,通过所述预设图片滑动步长,进行像素分类,获取历史分类训练样本;
通过所述历史分类训练样本,确定目标检测器的第一级,所述目标检测器的第一级用于进行边界分割。
在一种实施方式中,所述以R-CNN算法为算法基础,确定目标检测器的第二级,包括:
以R-CNN算法为算法基础,将全连接层的权重W重塑成卷积层的滤波器,获取预设滤波器尺寸;
获取数据采集对应的视频分辨率;
通过所述预设滤波器尺寸与所述视频分辨率,筛选确定特征数据块;
通过所述特征数据块,确定目标检测器的第二级。
在一种实施方式中,所述基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度,包括:
设定目标检测功能;
通过所述目标检测功能,配置预测数据包,所述预测数据包包括预测类别库与预测可信度库;
基于所述目标检测功能,在所述对象候选边界框集合进行密集抽样,获取密集抽样样本集;
基于所述密集抽样样本集,对所述预测数据包进行特征提取,获取目标预测类别与目标预测可信度。
在一种实施方式中,所述目标检测功能包括行人车辆检测流量计数,行人车辆检测流量计数的获取方式包括:
通过所述目标位置坐标信息与所述目标类别集合,用矩形框在目标位置图像信息上标记行人,获取标记位置信息与标记折叠;
从遮挡角度进行场景边缘变异识别,获取遮挡检测分量;
从外观差异角度,对所述标记位置信息进行柔性分析,获取外观柔性参变量;
通过所述外观柔性参变量与所述遮挡检测分量,结合标记位置信息与标记折叠,获取行人车辆流量计数结果。
在一种实施方式中,所述行人车辆流量计数结果包括车辆流量计数结果和行人流量计数结果,其中,行人车辆流量计数结果的计算方式为:
=/>
行人流量计数结果的计算方式为:
=/>
其中,表示车辆流量计数结果,/>表示车辆的质量,/>表示车辆外观柔性参变量,/>表示遮挡检测分量,/>表示标记折叠,/>表示行人流量计数结果,/>表示行人的质量,/>表示行人外观柔性参变量。
基于同样的发明构思,本发明第二方面提供了一种基于人工智能的车辆目标检测***,包括:
数据采集模块,用于在目标位置进行数据采集,获取目标位置图像信息;
检测器搭建模块,用于搭建目标检测器,其中,所述目标检测器包括对象边界网络和区域分类网络;
信息输入模块,用于将所述目标位置图像信息输入所述对象边界网络,获取对象候选边界框集合;
目标位置坐标获取模块,用于对所述对象候选边界框集合进行坐标定位处理,获取目标位置坐标信息;
分类与标记模块,通过所述区域分类网络,对所述对象候选边界框集合进行分类和标记,获取目标类别集合;
预测数据获取模块,基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度;
检测结果获取模块,通过所述目标预测类别与目标预测可信度,对所述目标位置坐标信息与所述目标类别集合进行更新,获取车辆目标检测结果。
基于同样的发明构思,本发明第三方面提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现第一方面所述的方法。
基于同样的发明构思,本发明第四方面提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现第一方面所述的方法。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于采用了在目标位置进行数据采集,获取目标位置图像信息;搭建目标检测器;将目标位置图像信息输入目标检测器中的对象边界网络,获取对象候选边界框集合,获取目标位置坐标信息;通过目标检测器中的区域分类网络,给对象候选边界框集合进行分类和标记,获取目标类别集合;基于对象候选边界框集合,获取目标预测类别与目标预测可信度,对目标位置坐标信息与目标类别集合进行更新,获取车辆目标检测结果,实现了考虑到遮挡、光照、视角各方面因素,对车辆与行人进行同步检测,排除不满足限速规范的驾驶行为,提高车辆检测的准确率和检测效率,维护车辆安全行驶,保证车辆目标检测置信度满足多个应用场景使用需求的技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于人工智能的车辆目标检测方法可能的流程示意图;
图2为本申请实施例提供的一种基于人工智能的车辆目标检测方法中获取目标检测器可能的流程示意图;
图3为本申请实施例提供的一种基于人工智能的车辆目标检测方法中确定目标检测器的第一级可能的流程示意图;
图4为本申请实施例提供的一种基于人工智能的车辆目标检测***可能的结构示意图;
附图标记说明:数据采集模块100,检测器搭建模块200,信息输入模块300,目标位置坐标获取模块400,分类与标记模块500,预测数据获取模块600,检测结果获取模块700。
具体实施方式
本发明通过提供一种基于人工智能的车辆目标检测方法及***,旨在解决现有技术中的车辆检测的准确率和检测效率低,车辆目标检测置信度无法满足多个应用场景使用需求的技术问题。
为了解决上述技术问题,本发明提供的技术方案总体思路如下:
本申请实施例提供了基于图像处理技术,首先需要诸如选择性搜索之类的算法来提出可能包含对象的候选边界框,然后将这些区域传递到CNN算法进行分类,然后利用CNN提取特征后直接进行预测,结合限速规范,排除不满足限速规范的驾驶行为,为安全驾驶提供数据支持。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
请参见图1,本发明提供了一种基于人工智能的车辆目标检测方法,包括:
S10:在目标位置进行数据采集,获取目标位置图像信息;
S20:搭建目标检测器,其中,所述目标检测器包括对象边界网络和区域分类网络;
S30:将所述目标位置图像信息输入所述对象边界网络,获取对象候选边界框集合;
S40:对所述对象候选边界框集合进行坐标定位处理,获取目标位置坐标信息;
S50:通过所述区域分类网络,对所述对象候选边界框集合进行分类和标记,获取目标类别集合;
S60:基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度;
S70:通过所述目标预测类别与目标预测可信度,对所述目标位置坐标信息与所述目标类别集合进行更新,获取车辆目标检测结果。
其中,上述车辆目标检测方法应用于车辆目标检测***,车辆目标检测***与目标检测器通信连接。
如图2所示,步骤S20搭建目标检测器包括:
S21:以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,将目标检测器的第一级定义为对象边界网络;
S22:以R-CNN算法为算法基础,确定目标检测器的第二级,将目标检测器的第二级定义为区域分类网络;
S23:将所述对象边界网络与所述区域分类网络构建为目标检测器。
具体而言,车辆目标检测***与目标检测器通信连接,通信连接简单来说就是通过信号的传输交互,在车辆目标检测***与目标检测器之间构成通讯网络,目标位置即车辆目标检测所限定的位置区域,目标位置图像信息即目标位置的影像数据,目标检测器结构是两级网络,目标检测器包括对象边界网络和区域分类网络。
通过图像采集设备,在目标位置进行数据采集,获取目标位置图像信息,搭建目标检测器,具体包括:以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,将目标检测器的第一级定义为对象边界网络,采用独立构建的方式,为保证候选边界框的精度提供支持;以R-CNN算法为算法基础,确定目标检测器的第二级,将目标检测器的第二级定义为区域分类网络,采用独立构建的方式,为保证区域分类的精度提供支持;对对象边界网络与区域分类网络进行合并(一般的,对象特指目标位置的车辆或行人,需要先确定可能包含对象的候选边界框,在候选边界框进行区域分类辨识,按照目标位置图像信息的处理逻辑进行两级网络合并),获取目标检测器,为进行检测分析提供模型基础。
如图3所示,步骤S21以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,包括:
S211:获取目标位置的历史图像信息与预设图片滑动步长;
S212:将所述目标位置的历史图像信息带入完全卷积的区域提议网络,通过所述预设图片滑动步长,进行像素分类,获取历史分类训练样本;
S213:通过所述历史分类训练样本,确定目标检测器的第一级,所述目标检测器的第一级用于进行边界分割。
具体而言,以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,将目标检测器的第一级定义为对象边界网络,具体包括:目标位置历史图像信息的数据类型与目标位置图像信息一致,预设图片滑动步长即卷积操作的水平滑动和垂直滑动步长值;
在车辆目标检测***的数据存储单元进行图像信息提取,获取目标位置历史图像信息,获取预设图片滑动步长(若定义中是一个一维具有四个元素的张量,其规定前后必须为1,预设图片滑动步长为1可以表征为strides=(1,1,1,1),预设图片滑动步长为2可以表征为strides=(1,2,2,1),简单来说就是比如有图大小为4*4,卷积核为2*2,预设图片滑动步长为2,卷积核扫描了两次,为后续图像处理提供参数支持);
将目标位置历史图像信息依次带入完全卷积的区域提议网络,通过预设图片滑动步长,进行像素分类,具体包括:pooling是在卷积网络中的特征提取层,目标位置历史图像信息的分辨率为227×227,第一层pooling后为55×55,第二层pooling后图像大小为27×27,…,第五层pooling后的图像大小为13×13,以此类推,经过多次卷积和pooling以后,得到的图像越来越小,分辨率越来越低,其中图像到H/32∗W/32的时候图片是最小的一层时(且预设图片滑动步长为1),所产生图叫做heatmap热图,对heatmap热图进行语义分割,获取历史分类训练样本(若预设图片滑动步长为2,仅需执行图像到H/16∗W/16,后进行语义分割,获取历史分类训练样本,需要对应预设图片滑动步长限定大小,对应进行精度识别调整);
特别说明,针对不同的对象,可以设定不同的预设图片滑动步长,若对象为人,由于人体具有相当的柔性,会有各种姿态和形状,外观受穿着,姿态,视角等影响非常大,另外还存在遮挡、光照等因素的影响,对应的预设图片滑动步长可以设置为1;若对象为车辆,则仅需考虑遮挡、光照等因素的影响,对应的预设图片滑动步长可以设置为2;
通过历史分类训练样本,将历史分类训练样本作为训练数据,输入BP网络模型,进行拟合训练,在BP网络模型输出趋于稳定状态,确定目标检测器的第一级,目标检测器的第一级用于进行边界分割,对目标位置图像信息进行分割,可以获取候选边界框,为保障边界分割满足用户特定精度需求提供支持。
在一种实施方式中,步骤S22以R-CNN算法为算法基础,确定目标检测器的第二级,包括:
S221:以R-CNN算法为算法基础,将全连接层的权重W重塑成卷积层的滤波器,获取预设滤波器尺寸;
S222:获取数据采集对应的视频分辨率;
S223:通过所述预设滤波器尺寸与所述视频分辨率,筛选确定特征数据块;
S224:通过所述特征数据块,确定目标检测器的第二级。
具体而言,以R-CNN算法为算法基础,确定目标检测器的第二级,将目标检测器的第二级定义为区域分类网络,具体包括:预设滤波器尺寸为预设参数指标;
以R-CNN算法为算法基础,将全连接层的权重W重塑成卷积层的滤波器,示例性说明:若输入视频图像为216×216×3,连接区域是[7×7×512]的全连接层,最后一个有500个神经元的全连接层用于计算分类评分(分类评分即权重W),令滤波器尺寸为F=6,对应输出数据体就为[1×1×4096];针对第二个全连接层,令滤波器尺寸为F=1,对应输出数据体就为[1×1×4096];最后一个全连接层,令滤波器尺寸为F=1,最终输出为[1×1×500],为高效进行卷积运算提供支持,获取预设滤波器尺寸,为后续代入运算提供参考;
获取数据采集对应的视频分辨率(包括视频帧率与视频分辨率,如一个视频的25帧,每一帧的画面分辨率为640×480,即视频分辨率为640×480×25);通过预设滤波器尺寸与视频分辨率,筛选确定候选边界框的对应的边界坐标,针对边界坐标区域内,进行特征数据提取(包括颜色特征、亮度特征等特征指标),针对不同的特征类型,确定多个特征数据块;将多个特征数据块作为网络横向指标,将特征数值作为网络纵向指标,确定目标检测器的第二级,为保证识别的精确度提供支持。
具体实施过程中,步骤S50中的对象候选边界框集合包括第一对象候选边界框、第二对象候选边界框、…、第N对象候选边界框,目标位置坐标信息包括第一对象候选边界框坐标信息、第二对象候选边界框坐标信息、…、第N对象候选边界框坐标信息,目标类别集合的限定对象可以设定为行人和车辆;
将目标位置图像信息输入目标检测器中的对象边界网络,获取对象候选边界框集合;对对象候选边界框集合进行坐标定位处理,获取目标位置坐标信息;通过目标检测器中的区域分类网络,在对象候选边界框集合限定区域进行分类和标记,剔除其他限定对象(其他限定对象包括如树木、路灯等其他干扰对象),获取目标类别集合,为后续进行方向性的检测分析提供支持。
在一种实施方式中,步骤S60基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度,包括:
S61:设定目标检测功能;
S62:通过所述目标检测功能,配置预测数据包,所述预测数据包包括预测类别库与预测可信度库;
S63:基于所述目标检测功能,在所述对象候选边界框集合进行密集抽样,获取密集抽样样本集;
S64:基于所述密集抽样样本集,对所述预测数据包进行特征提取,获取目标预测类别与目标预测可信度。
具体而言,基于对象候选边界框集合,获取目标预测类别与目标预测可信度;通过目标预测类别与目标预测可信度,对目标位置坐标信息与目标类别集合进行更新(行人甲识别确定为左脚抬起,在下一个时间周期,可以是40%左脚抬起、40%右脚抬起、20%其他多种状态,为排除异常状态提供数据基础,异常状态可以是移动速度超出限定或其他异常状态,常见的,限速路段一般设定多个百米测速点,但仍存漏洞,基于车辆运行规律,在限速规范下进行预测,为提高限速识别精度提供支持)(示例性的,基于车辆运行规律,在限速规范下进行预测,如限速为120km/h,采集间隔为10ms,最大位移为0.277m,单位位移超出0.277m即判定超速)(车辆运行规律包括前轮向左转动10°,可以对应车辆向左侧变道;车辆运行规律还包括前轮向左转动30°,可以对应车辆左转弯)(区别性说明,方向盘转动不等于前轮的转动角度,一般来说,方向盘转动360°+180°,前轮的转动角度约等于45°),获取车辆目标检测结果,车辆目标检测结果即限定对象的多种满足运行规律的预测更新状态(结合上述示例,满足运行规律的预测更新状态包括单位位移小于或等于0.277m),全面服务于交通领域,为智能交通提供技术支持。
具体而言,基于对象候选边界框集合,获取目标预测类别与目标预测可信度,具体包括:目标检测功能包括行人车辆检测流量计数、人车辆追踪(对目标人物、目标车辆进行标记,后通过标记,进行人车辆追踪),预测数据包包括预测类别库与预测可信度库(结合40%左脚抬起、40%右脚抬起、20%其他多种状态示例说明,预测类别库包括左脚抬起、右脚抬起、其他多种状态;预测可信度库包括第一可信度40%、第二可信度40%、第三可信度20%),密集抽样样本集包括累计出现次数与累计总次数之比,目标预测类别与目标预测可信度一一对应,目标预测类别属于预测类别库,目标预测可信度属于预测可信度库;
设定目标检测功能;通过目标检测功能,针对人车辆的运行规律,进行全概率预测(可信度之和为1,简单来说就是限定对象状态必然处于预测类别库),配置预测数据包;基于目标检测功能,在对象候选边界框集合进行密集抽样(对限定对象状态进行出现次数抽样统计),获取密集抽样样本集;基于密集抽样样本集,对预测数据包进行特征提取(可以限定提取累计出现次数与累计总次数之比不小0.1%的部分),获取目标预测类别与目标预测可信度,为排除参考价值低的数据信息提供支持。
在一种实施方式中,所述目标检测功能包括行人车辆检测流量计数,行人车辆检测流量计数的获取方式包括:
S611:通过目标位置坐标信息与所述目标类别集合,用矩形框在目标位置图像信息上标记行人,获取标记位置信息与标记折叠;
S612:从遮挡角度进行场景边缘变异识别,获取遮挡检测分量;
S613:从外观差异角度,对标记位置信息进行柔性分析,获取外观柔性参变量;
S614:通过外观柔性参变量与所述遮挡检测分量,结合标记位置信息与标记折叠,获取行人车辆流量计数结果。
在一种实施方式中,S614中行人车辆流量计数结果包括车辆流量计数结果和行人流量计数结果,其中,行人车辆流量计数结果的计算方式为:
=/>
行人流量计数结果的计算方式为:
=/>
其中,表示车辆流量计数结果,/>表示车辆的质量,/>表示车辆外观柔性参变量,/>表示遮挡检测分量,/>表示标记折叠,/>表示行人流量计数结果,/>表示行人的质量,/>表示行人外观柔性参变量。
具体而言,目标检测功能包括行人车辆检测流量计数,具体包括:标记位置信息即矩形框的中心点位坐标信息,标记折叠包括遮挡标记折叠、角度标记折叠、附着物标记折叠、姿态标记折叠(包括视角、姿态、附着物、遮挡等,即从不同的角度看过去,行人车辆的外观是很不一样的;处于不同姿态的行人车辆,存在外观差异;由于人穿的衣服、打伞、戴帽子、戴围巾、提行李等附着物或车辆载物、车辆贴膜等附着物,同样存在外观差异;行人车辆密集导致的遮挡),从遮挡角度进行场景边缘变异识别(出现视角、姿态、附着物、遮挡,会导致对象候选边界框出现变形,场景边缘变异识别即识别确定遮挡后的对象候选边界框),获取遮挡检测分量(遮挡检测分量即遮挡对应缺失部分的分量);从外观差异角度,对标记位置信息进行柔性分析(从视角、姿态、附着物角度),获取外观柔性参变量(外观柔性参变量即视角、姿态、附着物对应的柔性外观变异的分量);通过外观柔性参变量与遮挡检测分量,结合标记位置信息与标记折叠,获取行人车辆流量计数结果,行人车辆流量计数结果包括车辆流量计数结果与行人流量计数结果。
具体而言,通过外观柔性参变量与遮挡检测分量,结合标记位置信息与标记折叠,获取行人车辆流量计数结果:具体包括:车辆流量计数公式:=/>;行人流量计数公式:/>=/>;其中,/>指的是车辆流量计数结果,/>指车辆外观柔性参变量,/>指的是遮挡检测分量,/>指的是标记折叠,/>指的是行人流量计数结果,/>指行人外观柔性参变量,通过代入车辆流量计数公式与行人流量计数公式运算(车辆流量计数公式经过代入MIT行人数据集验证;行人流量计数公式经过代入MIT-CBCL车辆数据集验证;MIT行人数据集验证与MIT-CBCL车辆数据集验证过程,数据均是采取随机提取,后将随机提取数据代入执行验证操作)(MIT行人数据集验证与MIT-CBCL车辆数据集开放训练数据集,MIT-CBCL Pedestrian Database即MIT行人数据库;MIT-CBCL Car Database即MIT-CBCL车辆数据集),保证车辆流量计数结果与行人流量计数结果的精度,为后续进行代入运算提供公式基础。
综上所述,本申请实施例所提供的一种基于人工智能的车辆目标检测方法及***具有如下技术效果:
1.由于采用了在目标位置进行数据采集,获取目标位置图像信息;搭建目标检测器;将目标位置图像信息输入目标检测器中的对象边界网络,获取对象候选边界框集合,获取目标位置坐标信息;通过目标检测器中的区域分类网络,给对象候选边界框集合进行分类和标记,获取目标类别集合;基于对象候选边界框集合,获取目标预测类别与目标预测可信度,对目标位置坐标信息与目标类别集合进行更新,获取车辆目标检测结果,本申请通过提供了一种基于人工智能的车辆目标检测方法及***,实现了考虑到遮挡、光照、视角各方面因素,对车辆与行人进行同步检测,排除不满足限速规范的驾驶行为,提高车辆检测的准确率和检测效率,维护车辆安全行驶,保证车辆目标检测置信度满足多个应用场景使用需求的技术效果。
2.由于采用了车辆流量计数公式:=/>;行人流量计数公式:/>=;/>指的是车辆流量计数结果,/>指车辆外观柔性参变量,/>指的是遮挡检测分量,/>指的是标记折叠,/>指的是行人流量计数结果,/>指行人外观柔性参变量,保证车辆流量计数结果与行人流量计数结果的精度,为后续进行代入运算提供公式基础。
实施例二
基于与前述实施例中一种基于人工智能的车辆目标检测方法相同的发明构思,如图4所示,本申请实施例提供了一种基于人工智能的车辆目标检测***,其中,所述***包括:
数据采集模块100,用于在目标位置进行数据采集,获取目标位置图像信息;
检测器搭建模块200,用于搭建目标检测器,其中,所述目标检测器包括对象边界网络和区域分类网络;
信息输入模块300,用于将所述目标位置图像信息输入所述对象边界网络,获取对象候选边界框集合;
目标位置坐标获取模块400,用于对所述对象候选边界框集合进行坐标定位处理,获取目标位置坐标信息;
分类与标记模块500,通过所述区域分类网络,对所述对象候选边界框集合进行分类和标记,获取目标类别集合;
预测数据获取模块600,基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度;
检测结果获取模块700,通过所述目标预测类别与目标预测可信度,对所述目标位置坐标信息与所述目标类别集合进行更新,获取车辆目标检测结果。
进一步的,检测器搭建模块200包括:
对象边界网络获取模块,用于以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,将目标检测器的第一级定义为对象边界网络;
区域分类网络获取模块,用于以R-CNN算法为算法基础,确定目标检测器的第二级,将目标检测器的第二级定义为区域分类网络;
目标检测器获取模块,用于通过所述对象边界网络与所述区域分类网络,获取目标检测器。
进一步的,对象边界网络获取模块包括:
图像与参数获取模块,用于获取目标位置历史图像信息与预设图片滑动步长;
历史分类训练样本获取模块,用于将所述目标位置历史图像信息带入完全卷积的区域提议网络,通过所述预设图片滑动步长,进行像素分类,获取历史分类训练样本;
第一级模型确定模块,用于通过所述历史分类训练样本,确定目标检测器的第一级,所述目标检测器的第一级用于进行边界分割。
进一步的,区域分类网络获取模块包括:
预设滤波器尺寸获取模块,用于以R-CNN算法为算法基础,将全连接层的权重W重塑成卷积层的滤波器,获取预设滤波器尺寸;
视频分辨率采集模块,用于获取数据采集对应的视频分辨率;
特征数据块筛选模块,用于通过所述预设滤波器尺寸与所述视频分辨率,筛选确定特征数据块;
第二级模型确定模块,用于通过所述特征数据块,确定目标检测器的第二级。
进一步的,预测数据获取模块包括:
目标检测功能设定模块,用于设定目标检测功能,所述目标检测功能包括行人车辆检测流量计数、人车辆追踪;
预测数据包配置模块,用于通过所述目标检测功能,配置预测数据包,所述预测数据包包括预测类别库与预测可信度库;
密集抽样样本集获取模块,用于基于所述目标检测功能,在所述对象候选边界框集合进行密集抽样,获取密集抽样样本集;
特征提取模块,用于基于所述密集抽样样本集,对所述预测数据包进行特征提取,获取目标预测类别与目标预测可信度。
进一步的,预测数据获取模块还包括:
信息标记模块,用于通过所述目标位置坐标信息与所述目标类别集合,
用矩形框在目标位置图像信息上标记行人,获取标记位置信息与标记折叠;
场景边缘变异识别模块,用于从遮挡角度进行场景边缘变异识别,获取遮挡检测分量;
柔性分析模块,用于从外观差异角度,对所述标记位置信息进行柔性分析,获取外观柔性参变量;
流量计数结果获取模块,用于通过所述外观柔性参变量与所述遮挡检测分量,结合标记位置信息与标记折叠,获取行人车辆流量计数结果。
进一步的,流量计数结果获取模块包括:
车辆流量计数模块,用于车辆流量计数公式:=/>
行人流量计数模块,用于行人流量计数公式:=/>
指标代入模块,用于代入指标,其中,指的是车辆流量计数结果,/>指车辆外观柔性参变量,/>指的是遮挡检测分量,/>指的是标记折叠,/>指的是行人流量计数结果,/>指行人外观柔性参变量。
由于本发明实施例二所介绍的***为实施本发明实施例一中基于人工智能的车辆目标检测方法所采用的***,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该***的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的***都属于本发明所欲保护的范围。
实施例三
基于同一发明构思,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被执行时实现如实施例一中所述的方法。
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中基于人工智能的车辆目标检测方法所采用的计算机可读存储介质,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机可读存储介质的具体结构及变形,故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例四
基于同一发明构思,本申请还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述程序时实现实施例一中的方法。
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中基于人工智能的车辆目标检测方法所采用的计算机设备,故而基于本发明实施例一所介绍的方法,本领域所属人员能够了解该计算机设备的具体结构及变形,故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于人工智能的车辆目标检测方法,其特征在于,包括:
在目标位置进行数据采集,获取目标位置图像信息;
搭建目标检测器,其中,所述目标检测器包括对象边界网络和区域分类网络;
将所述目标位置图像信息输入所述对象边界网络,获取对象候选边界框集合;
对所述对象候选边界框集合进行坐标定位处理,获取目标位置坐标信息;
通过所述区域分类网络,对所述对象候选边界框集合进行分类和标记,获取目标类别集合;
基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度;
通过所述目标预测类别与目标预测可信度,对所述目标位置坐标信息与所述目标类别集合进行更新,获取车辆目标检测结果。
2.如权利要求1所述的基于人工智能的车辆目标检测方法,其特征在于,所述搭建目标检测器包括:
以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,将目标检测器的第一级定义为对象边界网络;
以R-CNN算法为算法基础,确定目标检测器的第二级,将目标检测器的第二级定义为区域分类网络;
将所述对象边界网络与所述区域分类网络构建为目标检测器。
3.如权利要求2所述的基于人工智能的车辆目标检测方法,其特征在于,所述以完全卷积的区域提议网络为模型基础,确定目标检测器的第一级,包括:
获取目标位置的历史图像信息与预设图片滑动步长;
将所述目标位置的历史图像信息带入完全卷积的区域提议网络,通过所述预设图片滑动步长,进行像素分类,获取历史分类训练样本;
通过所述历史分类训练样本,确定目标检测器的第一级,所述目标检测器的第一级用于进行边界分割。
4.如权利要求2所述的基于人工智能的车辆目标检测方法,其特征在于,所述以R-CNN算法为算法基础,确定目标检测器的第二级,包括:
以R-CNN算法为算法基础,将全连接层的权重W重塑成卷积层的滤波器,获取预设滤波器尺寸;
获取数据采集对应的视频分辨率;
通过所述预设滤波器尺寸与所述视频分辨率,筛选确定特征数据块;
通过所述特征数据块,确定目标检测器的第二级。
5.如权利要求1所述的基于人工智能的车辆目标检测方法,其特征在于,所述基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度,包括:
设定目标检测功能;
通过所述目标检测功能,配置预测数据包,所述预测数据包包括预测类别库与预测可信度库;
基于所述目标检测功能,在所述对象候选边界框集合进行密集抽样,获取密集抽样样本集;
基于所述密集抽样样本集,对所述预测数据包进行特征提取,获取目标预测类别与目标预测可信度。
6.如权利要求5所述的基于人工智能的车辆目标检测方法,其特征在于,所述目标检测功能包括行人车辆检测流量计数,行人车辆检测流量计数的获取方式包括:
通过所述目标位置坐标信息与所述目标类别集合,用矩形框在目标位置图像信息上标记行人,获取标记位置信息与标记折叠;
从遮挡角度进行场景边缘变异识别,获取遮挡检测分量;
从外观差异角度,对所述标记位置信息进行柔性分析,获取外观柔性参变量;
通过所述外观柔性参变量与所述遮挡检测分量,结合标记位置信息与标记折叠,获取行人车辆流量计数结果。
7. 如权利要求6所述的基于人工智能的车辆目标检测方法,其特征在于,所述行人车辆流量计数结果包括车辆流量计数结果和行人流量计数结果,其中,行人车辆流量计数结果的计算方式为:
=/>
行人流量计数结果的计算方式为:
=/>
其中,表示车辆流量计数结果,/>表示车辆的质量,/>表示车辆外观柔性参变量,表示遮挡检测分量,/>表示标记折叠,/>表示行人流量计数结果,/>表示行人的质量,/>表示行人外观柔性参变量。
8.一种基于人工智能的车辆目标检测***,其特征在于,包括:
数据采集模块,用于在目标位置进行数据采集,获取目标位置图像信息;
检测器搭建模块,用于搭建目标检测器,其中,所述目标检测器包括对象边界网络和区域分类网络;
信息输入模块,用于将所述目标位置图像信息输入所述对象边界网络,获取对象候选边界框集合;
目标位置坐标获取模块,用于对所述对象候选边界框集合进行坐标定位处理,获取目标位置坐标信息;
分类与标记模块,通过所述区域分类网络,对所述对象候选边界框集合进行分类和标记,获取目标类别集合;
预测数据获取模块,基于所述对象候选边界框集合,获取目标预测类别与目标预测可信度;
检测结果获取模块,通过所述目标预测类别与目标预测可信度,对所述目标位置坐标信息与所述目标类别集合进行更新,获取车辆目标检测结果。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被执行时实现如权利要求1至7中任一项权利要求所述的方法。
10.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7中任一项权利要求所述的方法。
CN202310809684.9A 2023-07-04 2023-07-04 一种基于人工智能的车辆目标检测方法及*** Active CN116524474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310809684.9A CN116524474B (zh) 2023-07-04 2023-07-04 一种基于人工智能的车辆目标检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310809684.9A CN116524474B (zh) 2023-07-04 2023-07-04 一种基于人工智能的车辆目标检测方法及***

Publications (2)

Publication Number Publication Date
CN116524474A true CN116524474A (zh) 2023-08-01
CN116524474B CN116524474B (zh) 2023-09-15

Family

ID=87390711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310809684.9A Active CN116524474B (zh) 2023-07-04 2023-07-04 一种基于人工智能的车辆目标检测方法及***

Country Status (1)

Country Link
CN (1) CN116524474B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274781A1 (en) * 2011-04-29 2012-11-01 Siemens Corporation Marginal space learning for multi-person tracking over mega pixel imagery
CN107133570A (zh) * 2017-04-07 2017-09-05 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及***
CN110942000A (zh) * 2019-11-13 2020-03-31 南京理工大学 一种基于深度学习的无人驾驶车辆目标检测方法
CN111488766A (zh) * 2019-01-28 2020-08-04 北京京东尚科信息技术有限公司 目标检测方法和装置
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN112084897A (zh) * 2020-08-25 2020-12-15 西安理工大学 一种gs-ssd的交通大场景车辆目标快速检测方法
CN112949508A (zh) * 2021-03-08 2021-06-11 咪咕文化科技有限公司 模型训练方法、行人检测方法、电子设备及可读存储介质
WO2021238019A1 (zh) * 2020-05-29 2021-12-02 苏州大学 基于Ghost卷积特征融合神经网络实时车流量检测***及方法
CN114550023A (zh) * 2021-12-31 2022-05-27 武汉中交交通工程有限责任公司 一种交通目标静态信息提取装置
CN114973169A (zh) * 2022-08-02 2022-08-30 山东建筑大学 基于多目标检测和跟踪的车辆分类计数方法及***
CN115346197A (zh) * 2022-04-27 2022-11-15 重庆邮电大学 一种基于双向视频流的驾驶员分心行为识别方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274781A1 (en) * 2011-04-29 2012-11-01 Siemens Corporation Marginal space learning for multi-person tracking over mega pixel imagery
CN107133570A (zh) * 2017-04-07 2017-09-05 武汉睿智视讯科技有限公司 一种车辆/行人检测方法及***
CN111488766A (zh) * 2019-01-28 2020-08-04 北京京东尚科信息技术有限公司 目标检测方法和装置
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110942000A (zh) * 2019-11-13 2020-03-31 南京理工大学 一种基于深度学习的无人驾驶车辆目标检测方法
WO2021238019A1 (zh) * 2020-05-29 2021-12-02 苏州大学 基于Ghost卷积特征融合神经网络实时车流量检测***及方法
CN112084897A (zh) * 2020-08-25 2020-12-15 西安理工大学 一种gs-ssd的交通大场景车辆目标快速检测方法
CN112949508A (zh) * 2021-03-08 2021-06-11 咪咕文化科技有限公司 模型训练方法、行人检测方法、电子设备及可读存储介质
CN114550023A (zh) * 2021-12-31 2022-05-27 武汉中交交通工程有限责任公司 一种交通目标静态信息提取装置
CN115346197A (zh) * 2022-04-27 2022-11-15 重庆邮电大学 一种基于双向视频流的驾驶员分心行为识别方法
CN114973169A (zh) * 2022-08-02 2022-08-30 山东建筑大学 基于多目标检测和跟踪的车辆分类计数方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHAOQING REN, ET AL.: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV》, pages 3 *
李航等: "一种基于改进Faster RCNN的校园车辆检测方法", 《沈阳师范大学学报(自然科学版)》, vol. 38, no. 1, pages 78 - 79 *

Also Published As

Publication number Publication date
CN116524474B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN109919072B (zh) 基于深度学习和轨迹跟踪的精细车型识别与流量统计方法
CN110188807B (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
Prioletti et al. Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms, and evaluation
Romdhane et al. An improved traffic signs recognition and tracking method for driver assistance system
CN110532961B (zh) 一种基于多尺度注意机制网络模型的语义交通信号灯检测方法
CN105404857A (zh) 一种基于红外的夜间智能车前方行人检测方法
Kavitha et al. Pothole and object detection for an autonomous vehicle using yolo
CN109886086B (zh) 基于hog特征和线性svm级联分类器的行人检测方法
CN103871081A (zh) 一种自适应鲁棒在线目标跟踪方法
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN111462140A (zh) 一种基于区块拼接的实时图像实例分割方法
CN117456482B (zh) 一种面向交通监控场景的异常事件识别方法及***
CN114419603A (zh) 一种自动驾驶车辆控制方法、***和自动驾驶车辆
CN108133231B (zh) 一种尺度自适应的实时车辆检测方法
CN117372969A (zh) 一种面向监控场景的异常事件检测方法
CN116524474B (zh) 一种基于人工智能的车辆目标检测方法及***
Li et al. Lane line detection at nighttime on fractional differential and central line point searching with Fragi and Hessian
JP5447162B2 (ja) 移動体識別装置、コンピュータプログラム及び移動体識別方法
JP2893948B2 (ja) ナンバープレート認識装置
CN113011392B (zh) 一种基于路面图像多纹理特征融合的路面类型识别方法
JP5447164B2 (ja) 移動体識別装置、コンピュータプログラム及び移動体識別方法
Ibadov et al. Algorithm for detecting violations of traffic rules based on computer vision approaches
Aravinda et al. Traffic Sign Detection for Real-World Application Using Hybrid Deep Belief Network Classification
CN108830166B (zh) 一种公交车客流量实时统计方法
Xu et al. Fast vehicle detection based on feature and real-time prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant