CN110490256A - 一种基于关键点热图的车辆检测方法 - Google Patents

一种基于关键点热图的车辆检测方法 Download PDF

Info

Publication number
CN110490256A
CN110490256A CN201910771300.2A CN201910771300A CN110490256A CN 110490256 A CN110490256 A CN 110490256A CN 201910771300 A CN201910771300 A CN 201910771300A CN 110490256 A CN110490256 A CN 110490256A
Authority
CN
China
Prior art keywords
vehicle
key point
thermal map
point
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910771300.2A
Other languages
English (en)
Inventor
章东平
葛俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201910771300.2A priority Critical patent/CN110490256A/zh
Publication of CN110490256A publication Critical patent/CN110490256A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于关键点热图的车辆检测方法,其目的在于利用车辆的特有特征结合关键点热图预测,提出一种新型的车辆检测的方法,其技术关键在于(1)对车辆特有属性位置的关键点数据标注方法;(2)采用漏斗网络提取车辆的图像的特征;(3)采用改进的关键点池化获取关键点热图、嵌入向量和偏移向量组成的特征,利用定位的车牌或者车轮的特征来补充定位车辆的全局信息,同时剔除不正确的目标框,最终获取鲁棒性较好的目标定位框并预测车辆的方向。

Description

一种基于关键点热图的车辆检测方法
技术领域
本发明属于图像处理领域,尤其涉及到一种基于关键点热图的车辆检测与车辆方向识别方法。
背景技术
随着深度学习与人工智能的快速发展,车辆检测相关技术在智能交通、智慧社区中逐渐得以应用与发展,帮助使用者获取路线车流量,节约时间,保障安全。车辆检测技术作为目标检测技术具体类别的细致应用,其具有独特的特征表示。目前最为流行的方法之一为设置锚框的检测方法,通过预先设置不同宽高比例的锚框预测候选框,以此获得较高检测的准确率。然而此类方法也具有一定的缺陷,在训练过程中会产生较多的锚框,这就会造成正负样本的失衡,减缓了训练的速度。其次锚框的设置会给网络引入较多的超参数,这些参数选择会影响检测器的优劣。另外一种较为流行的方法则是,不设置锚点改用预测车辆的关键点,以此获得目标的定位,此类方法相比于此前的方法获取的车辆的准确率有些差距。
发明内容
本发明的目的在于针对车辆的特有特征结合关键点热图预测,提出了一种基于关键点热图的车辆检测与车辆方向识别方法。其具体技术方案如下:
一种基于关键点热图的车辆检测与车辆方向识别方法,包括如下步骤:
步骤1:训练与测试数据准备:下载获取车辆公开数据集KITTI、UA-DETRAC,利用网络爬虫算法从互联网获取车辆图片,从道路监控视频数据使用开源的车辆检测算法提取车辆图像,共计获得样本M张;
步骤2:数据标注:对步骤1所述的M张车辆数据标注四个关键点,标注时根据车身在图片中显示的位置(前、后、左、右四个方向),将车辆分为四个类别。前、后方向的两类车辆关键点分别为车辆包围框的左上角点、车辆包围框的右下角点、车牌左上角点、车牌右下角点。左、右方向的两类车辆关键点分别为车辆包围框的左上角点、车辆包围框的右下角点、前车轮中心点、后车轮中心点,数据标注存储为json文件;
步骤3:数据处理:将M张样本按照8:1:1划分为训练集、验证集、测试集;
步骤4:网络结构设计:主干网络采用两个漏斗网络级联进行关键点特征提取,两个hourglass网络在连接时通过一个1x1、3X3、1x1的卷积组合块同时进行跳连接,对两个漏斗网络级联输出的特征图采用改进的关键点池化层处理,输出由关键点热图、嵌入向量和偏移向量组成的特征。改进的角点池化由左池化与上池化并联操作,然后再经过一个左池化与上池化的串联操作构成。通过左池化和上池化得到目标的边界特征,然后将得到的边界特征融合,再经过一个左池化和上池化的串联处理获取目标的内部特征,目标的边界特征与内部特征进一步融合,这样就可以使得获取的角点特征具备较好的边界响应特征同时包含目标的全局信息;
步骤5:网络训练:输入图像的大小为S*S,使用的批量尺寸设定为n,迭代总次数设置为e,初始化学***翻转、随机尺度缩放(比例在0.6到1.3之间)、随机裁剪与随机色彩抖动等方法进行数据增强;
总的损失函数公式:L=Ldet+αLpull+βLpush+γLoffset (1)
其中α,β和γ分别为pull,push和offset的权重;
其中为预测热图中第c类的得分,N为图片I中目标个数,i,j为像素坐标值;关键点通过高斯分布分散到热力图其中w,h为输入图片I的大小;
其中p∈r2,σ为r/3。
采用pull损失函数来分组相同目标的关键点,并使用push来分离不同目标的角点,公式如下:
其中etk为目标对象k包围框左上角嵌入,ebk为包围框右下角嵌入,et′k为车牌或车轮左下角嵌入,eb′k为车牌或车轮左下角嵌入,ek为etk、ebk、et′k和eb′k的平均值,Δ=1。
使用SmoothL1损失来预测关键点映射到原图时的偏移δ,公式如下:
步骤6:测试:输入测试数据H利用训练好的模型给出车辆的位置信息和方向。
附图说明
图1为本发明的一种基于关键点热图的车辆检测与车辆方向识别方法所述车辆标注示意图;
图2为本发明的一种基于关键点热图的车辆检测与车辆方向识别方法所述改进的关键点池化层结构图;
图3为本发明的一种基于关键点热图的车辆检测与车辆方向识别方法所述的网络结构图。
图4为本发明的一种基于关键点热图的车辆检测与车辆方向识别方法所述的测试流程图。
具体实施方式
下面结合附图对本发明的具体实施方式做详细的说明。
本发明的基于关键点热图的车辆检测方法,包括如下步骤:
步骤1:训练与测试数据准备:下载获取车辆公开数据集KITTI、UA-DETRAC,利用网络爬虫算法从互联网获取车辆图片,从道路监控视频数据使用开源的车辆检测算法提取车辆图像,共计获得样本M张;
步骤2:数据标注:如图1对步骤1所述的M张车辆数据标注四个关键点,标注时根据车身在图片中显示的位置(前、后、左、右四个方向),将车辆分为四个类别。前、后方向的两类车辆关键点分别为车辆包围框的左上角点、车辆包围框的右下角点、车牌左上角点、车牌右下角点。左、右方向的两类车辆关键点分别为车辆包围框的左上角点、车辆包围框的右下角点、前车轮中心点、后车轮中心点,数据标注存储为json文件;
步骤3:数据处理:将M张样本按照8:1:1划分为训练集、验证集、测试集;
步骤4:网络结构设计:主干网络采用两个漏斗网络级联进行关键点特征提取,两个hourglass网络在连接时通过一个1x1、3X3、1x1的卷积组合块同时进行跳连接,对两个漏斗网络级联输出的特征图采用改进的关键点池化层处理,输出由关键点热图、嵌入向量和偏移向量组成的特征;
如图2所示的改进的角点池化由左池化与上池化并联操作,然后再经过一个左池化与上池化的串联操作构成。通过左池化和上池化得到目标的边界特征,然后将得到的边界特征融合,再经过一个左池化和上池化的串联处理获取目标的内部特征,目标的边界特征与内部特征进一步融合,这样就可以使得获取的角点特征具备较好的边界响应特征同时包含目标的全局信息。
步骤5:网络训练:输入图像的大小为S*S,使用的批量尺寸设定为n,迭代总次数设置为e,初始化学***翻转、随机尺度缩放(比例在0.6到1.3之间)、随机裁剪与随机色彩抖动等方法进行数据增强,训练网络结构如图3所示;
总的损失函数公式:L=Ldet+αLpull+βLpush+γLoffset (1)
其中α,β和γ分别为pull,push和offset的权重;
其中为预测热图中第c类的得分,N为图片I中目标个数,i,j为像素坐标值;关键点通过高斯分布分散到热力图其中w,h为输入图片I的大小;
其中p∈r2,σ为r/3。
采用pull损失函数来分组相同目标的关键点,并使用push来分离不同目标的角点,公式如下:
其中etk为目标对象k包围框左上角嵌入,ebk为包围框右下角嵌入,et′k为车牌或车轮左下角嵌入,eb′k为车牌或车轮左下角嵌入,ek为etk、ebk、et′k和eb′k的平均值,Δ=1。
使用SmoothL1损失来预测关键点映射到原图时的偏移δ,公式如下:
步骤6:测试:如图4所示,输入测试数据H利用训练好的模型给出车辆的位置信息和方向。

Claims (4)

1.一种基于关键点热图的车辆检测与车辆方向识别方法,其特征在于包括如下步骤:
步骤1:训练与测试数据准备:下载获取车辆公开数据集KITTI、UA-DETRAC,利用网络爬虫算法从互联网获取车辆图片,从道路监控视频数据使用开源的车辆检测算法提取车辆图像,共计获得样本M张;
步骤2:数据标注:对步骤1所述的M张车辆数据标注四个关键点,数据标注存储为json文件;
步骤3:数据处理:将M张样本按照8∶1∶1划分为训练集、验证集、测试集;
步骤4:网络结构设计:主干网络采用两个漏斗网络级联进行关键点特征提取,两个漏斗网络在连接时通过一个1x1、3X3、1x1的卷积组合块同时进行跳连接,对两个漏斗网络级联输出的特征图采用改进的关键点池化层处理,输出由关键点热图、嵌入向量和偏移向量组成的特征;
步骤5:网络训练:输入图像的大小为S*S,使用的批量尺寸设定为n,迭代总次数设置为e,初始化学***翻转、随机尺度缩放(比例在0.6到1.3之间)、随机裁剪与随机色彩抖动等方法进行数据增强;
总的损失函数公式:L=Ldet+aLpull+βLpush+γLoffset (1)
其中α,β和γ分别为pull,push和offset的权重;
其中为预测热图中第c类的得分,N为图片I中目标个数,i,j为像素坐标值;关键点通过高斯分布分散到热力图其中w,h为输入图片I的大小;
其中p∈r2,σ为r/3;
使用SmoothL1损失来预测关键点映射到原图时的偏移δ,公式如下:
步骤6:测试:输入测试数据H利用训练好的模型给出车辆的位置信息和方向。
2.如权利要求1所述的基于关键点热图的车辆检测与方向识别方法,其特征在于步骤2中数据标注方法具体如下:
标注时根据车身在图片中显示的位置,即前、后、左、右四个方向,将车辆分为前、后、左、右四个类别;前、后方向的两类车辆关键点分别为车辆包围框的左上角点、车辆包围框的右下角点、车牌左上角点、车牌右下角点。左、右方向的两类车辆关键点分别为车辆包围框的左上角点、车辆包围框的右下角点、前车轮中心点、后车轮中心点。
3.如权利要求1所述的基于关键点热图的车辆检测与方向识别方法,其特征在于步骤4中改进的关键点池化具体如下:
改进的角点池化由左池化与上池化并联操作,然后再经过一个左池化与上池化的串联操作构成。
4.如权利要求1所述的基于关键点热图的车辆检测与方向识别方法,其特征在于步骤5中关键点损失函数具体如下:
采用pull损失函数来分组相同目标的关键点,并使用push来分离不同目标的角点,公式如下:
其中etk为目标对象k包围框左上角嵌入,ebk为包围框右下角嵌入,et′k为车牌或车轮左下角嵌入,eb′k为车牌或车轮左下角嵌入,ek为etk、ebk、et′k和eb′k的平均值,Δ=1。
CN201910771300.2A 2019-08-20 2019-08-20 一种基于关键点热图的车辆检测方法 Pending CN110490256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910771300.2A CN110490256A (zh) 2019-08-20 2019-08-20 一种基于关键点热图的车辆检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910771300.2A CN110490256A (zh) 2019-08-20 2019-08-20 一种基于关键点热图的车辆检测方法

Publications (1)

Publication Number Publication Date
CN110490256A true CN110490256A (zh) 2019-11-22

Family

ID=68552394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910771300.2A Pending CN110490256A (zh) 2019-08-20 2019-08-20 一种基于关键点热图的车辆检测方法

Country Status (1)

Country Link
CN (1) CN110490256A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889858A (zh) * 2019-12-03 2020-03-17 中国太平洋保险(集团)股份有限公司 一种基于点回归的汽车部件分割方法及装置
CN111178208A (zh) * 2019-12-20 2020-05-19 华瑞新智科技(北京)有限公司 基于深度学习的行人检测方法、装置及介质
CN111242088A (zh) * 2020-01-22 2020-06-05 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111340877A (zh) * 2020-03-25 2020-06-26 北京爱笔科技有限公司 一种车辆定位方法及装置
CN111523553A (zh) * 2020-04-03 2020-08-11 中国计量大学 一种基于相似度矩阵的中心点网络多目标检测方法
CN111583661A (zh) * 2020-05-27 2020-08-25 魏保安 基于枪球联动与dnn的车辆闯红灯检测方法
CN111626971A (zh) * 2020-05-26 2020-09-04 南阳师范学院 具有图像语义感知的智慧城市cim实时成像方法
CN111814827A (zh) * 2020-06-08 2020-10-23 三峡大学 基于yolo的关键点目标检测方法
CN112052807A (zh) * 2020-09-10 2020-12-08 讯飞智元信息科技有限公司 车辆位置检测方法、装置、电子设备及存储介质
CN112132013A (zh) * 2020-09-22 2020-12-25 中国科学技术大学 一种车辆关键点检测方法
CN112257609A (zh) * 2020-10-23 2021-01-22 重庆邮电大学 一种基于自适应关键点热图的车辆检测方法及装置
CN112347864A (zh) * 2020-10-21 2021-02-09 北京市地铁运营有限公司地铁运营技术研发中心 轨道交通客流感知及诱导方法、装置、设备和***
WO2021160184A1 (en) * 2020-02-14 2021-08-19 Huawei Technologies Co., Ltd. Target detection method, training method, electronic device, and computer-readable medium
CN113392747A (zh) * 2021-06-07 2021-09-14 北京优创新港科技股份有限公司 一种用于立体仓库的货物包装箱识别方法及***
CN115116047A (zh) * 2022-08-29 2022-09-27 松立控股集团股份有限公司 一种基于车牌字符区域热力图的车牌检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084222A (zh) * 2019-05-08 2019-08-02 大连海事大学 一种基于多目标角点池化神经网络的车辆检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084222A (zh) * 2019-05-08 2019-08-02 大连海事大学 一种基于多目标角点池化神经网络的车辆检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEI LAW 等: "《CornerNet:Detecting Objects as Paired Keypoints》", 《ECCV 2018》 *
KAIWEN DUAN等: "《CenterNet:Keypoint Triplets Object Detection》", 《ARXIV》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889858A (zh) * 2019-12-03 2020-03-17 中国太平洋保险(集团)股份有限公司 一种基于点回归的汽车部件分割方法及装置
CN111178208A (zh) * 2019-12-20 2020-05-19 华瑞新智科技(北京)有限公司 基于深度学习的行人检测方法、装置及介质
CN111178208B (zh) * 2019-12-20 2023-08-15 华瑞新智科技(北京)有限公司 基于深度学习的行人检测方法、装置及介质
WO2021147563A1 (zh) * 2020-01-22 2021-07-29 上海商汤临港智能科技有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN111242088A (zh) * 2020-01-22 2020-06-05 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
CN111242088B (zh) * 2020-01-22 2023-11-28 上海商汤临港智能科技有限公司 一种目标检测方法、装置、电子设备及存储介质
US11132780B2 (en) 2020-02-14 2021-09-28 Huawei Technologies Co., Ltd. Target detection method, training method, electronic device, and computer-readable medium
WO2021160184A1 (en) * 2020-02-14 2021-08-19 Huawei Technologies Co., Ltd. Target detection method, training method, electronic device, and computer-readable medium
CN111340877A (zh) * 2020-03-25 2020-06-26 北京爱笔科技有限公司 一种车辆定位方法及装置
CN111340877B (zh) * 2020-03-25 2023-10-27 北京爱笔科技有限公司 一种车辆定位方法及装置
CN111523553A (zh) * 2020-04-03 2020-08-11 中国计量大学 一种基于相似度矩阵的中心点网络多目标检测方法
CN111626971A (zh) * 2020-05-26 2020-09-04 南阳师范学院 具有图像语义感知的智慧城市cim实时成像方法
CN111626971B (zh) * 2020-05-26 2021-09-07 南阳师范学院 具有图像语义感知的智慧城市cim实时成像方法
CN111583661A (zh) * 2020-05-27 2020-08-25 魏保安 基于枪球联动与dnn的车辆闯红灯检测方法
CN111814827A (zh) * 2020-06-08 2020-10-23 三峡大学 基于yolo的关键点目标检测方法
CN111814827B (zh) * 2020-06-08 2024-06-11 湖南腓腓动漫有限责任公司 基于yolo的关键点目标检测方法
CN112052807B (zh) * 2020-09-10 2022-06-10 讯飞智元信息科技有限公司 车辆位置检测方法、装置、电子设备及存储介质
CN112052807A (zh) * 2020-09-10 2020-12-08 讯飞智元信息科技有限公司 车辆位置检测方法、装置、电子设备及存储介质
CN112132013A (zh) * 2020-09-22 2020-12-25 中国科学技术大学 一种车辆关键点检测方法
CN112132013B (zh) * 2020-09-22 2022-07-15 中国科学技术大学 一种车辆关键点检测方法
CN112347864A (zh) * 2020-10-21 2021-02-09 北京市地铁运营有限公司地铁运营技术研发中心 轨道交通客流感知及诱导方法、装置、设备和***
CN112257609A (zh) * 2020-10-23 2021-01-22 重庆邮电大学 一种基于自适应关键点热图的车辆检测方法及装置
CN113392747A (zh) * 2021-06-07 2021-09-14 北京优创新港科技股份有限公司 一种用于立体仓库的货物包装箱识别方法及***
CN115116047A (zh) * 2022-08-29 2022-09-27 松立控股集团股份有限公司 一种基于车牌字符区域热力图的车牌检测方法

Similar Documents

Publication Publication Date Title
CN110490256A (zh) 一种基于关键点热图的车辆检测方法
CN112200161B (zh) 一种基于混合注意力机制的人脸识别检测方法
Qiao et al. Lgpma: Complicated table structure recognition with local and global pyramid mask alignment
CN108875595A (zh) 一种基于深度学习和多层特征融合的驾驶场景目标检测方法
CN106778757B (zh) 基于文本显著性的场景文本检测方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN111080629A (zh) 一种图像拼接篡改的检测方法
CN110334705A (zh) 一种结合全局和局部信息的场景文本图像的语种识别方法
CN107341517A (zh) 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN110175613A (zh) 基于多尺度特征和编解码器模型的街景图像语义分割方法
CN110796026A (zh) 一种基于全局特征拼接的行人重识别方法
CN113673338B (zh) 自然场景文本图像字符像素弱监督自动标注方法、***及介质
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN106683119A (zh) 基于航拍视频图像的运动车辆检测方法
Yang et al. An ensemble Wasserstein generative adversarial network method for road extraction from high resolution remote sensing images in rural areas
CN107944437B (zh) 一种基于神经网络和积分图像的人脸定位方法
CN110163208A (zh) 一种基于深度学习的场景文字检测方法和***
CN108776777A (zh) 一种基于Faster RCNN的遥感影像对象间空间关系的识别方法
Tao et al. Attention-aggregated attribute-aware network with redundancy reduction convolution for video-based industrial smoke emission recognition
CN110717863A (zh) 一种基于生成对抗网络的单图像去雪方法
CN113313094B (zh) 一种基于卷积神经网络的车载图像目标检测方法和***
Chen et al. ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images
CN113496480A (zh) 一种焊缝图像缺陷的检测方法
Xia et al. Urban remote sensing scene recognition based on lightweight convolution neural network
CN111582057B (zh) 一种基于局部感受野的人脸验证方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191122