CN112949379A - 一种基于视觉的安全带检测方法及*** - Google Patents

一种基于视觉的安全带检测方法及*** Download PDF

Info

Publication number
CN112949379A
CN112949379A CN202011619839.5A CN202011619839A CN112949379A CN 112949379 A CN112949379 A CN 112949379A CN 202011619839 A CN202011619839 A CN 202011619839A CN 112949379 A CN112949379 A CN 112949379A
Authority
CN
China
Prior art keywords
human body
safety belt
densenet
key points
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011619839.5A
Other languages
English (en)
Inventor
黄宇维
刘国清
杨广
周滔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Youjia Technology Co ltd
Original Assignee
Nanjing Youjia Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Youjia Technology Co ltd filed Critical Nanjing Youjia Technology Co ltd
Priority to CN202011619839.5A priority Critical patent/CN112949379A/zh
Publication of CN112949379A publication Critical patent/CN112949379A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉的安全带检测方法及***，包括：获取主驾驶/副驾驶图片数据；对主驾驶/副驾驶图片数据进行人体关键点检测，确定人体关键点位置，所述人体关键点为肩部和腰部；对人体关键点位置进行扩张抠取，得到抠取的图片；将抠取的图片输入到预先训练好的深度神经网络进行是否系安全带分类，若分类为没有系安全带则进行报警，否则不报警。优点：本发明利用人体关键点检测技术对人体上肢关键点检测，肩部和腰部，然后利用深度学习分类网络对抠取的图像区域进行分类判别是否系安全带，本发明的技术方案使得安全带检测在检测的精度和召回上有明显提升。

Description

一种基于视觉的安全带检测方法及***
技术领域
本发明涉及一种基于视觉的安全带检测方法及***，属于视觉检测技术领域。
背景技术
随着经济发展，城市建设速度加快，汽车的数量逐年增加。汽车数量的持续性增加为城市交通***带来巨大负担，违法驾驶和不良驾驶行为的存在又使得交通安全尤为重要，驾驶员未佩戴安全带直接关系到自身和他人的生命安全。
传统的安全带检测通过锁扣内接触开关触发，当驾驶员进入驾驶室并打开点火钥匙控制器开始工作，在安全带没有***锁扣时，汽车安全带声音提示装置的回路导通，提示驾驶员系上安全带；系上安全带后，安全带锁扣内的接触开关处在关闭状态，安全带提醒***电源被断开，从而提示声音停止。
但是，由于检测***仅针对锁扣内部，因此存在一定局限性，驾驶员可以通过利用安全带插扣，或者直接将安全带从背后***锁扣等方式，屏蔽安全带提示，从而在不系安全带的情况下驾驶。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于视觉的安全带检测方法及***。
为解决上述技术问题，本发明提供一种基于视觉的安全带检测方法，包括：
获取主驾驶/副驾驶图片数据；
对主驾驶/副驾驶图片数据进行人体关键点检测，确定人体关键点位置，所述人体关键点为肩部和腰部；
对人体关键点位置进行扩张抠取，得到抠取的图片；
将抠取的图片输入到预先训练好的深度神经网络进行是否系安全带分类，若分类为没有系安全带则进行报警，否则不报警。
进一步的，所述对主驾驶/副驾驶图片信息进行人体关键点检测，确定人体关键点位置的过程包括：
利用Densenet网络对主驾驶/副驾驶图片信息进行特征提取，得到深度特征；
利用WASP模块对得到的深度特征编码处理，得到高分辨率特征；
对高分辨率特征进行解码，确定人体关键点位置。
进一步的，所述深度神经网络采用密集卷积网络DenseNet。
进一步的，所述训练好的深度神经网络的训练过程包括：
采集不同光照条件、不同车型、不同视角的主/副驾驶图像数据；
对采集的图像数据进行人体关键点标注，确定训练集；
初始化密集卷积网络DenseNet参数，利用改进后的空洞卷积编码方法和所述训练集对初始化密集卷积网络DenseNet参数的密集卷积网络DenseNet进行训练，得到训练好的密集卷积网络DenseNet。
一种基于视觉的安全带检测***，包括：
获取模块，用于获取主驾驶/副驾驶图片数据；
检测模块，用于对主驾驶/副驾驶图片数据进行人体关键点检测，确定人体关键点位置，所述人体关键点为肩部和腰部；
抠取模块，用于对人体关键点位置进行扩张抠取，得到抠取的图片；
分类模块，用于将抠取的图片输入到预先训练好的深度神经网络进行是否系安全带分类，若分类为没有系安全带则进行报警，否则不报警。
进一步的，所述检测模块包括：
网络处理模块，用于利用Densenet网络对主驾驶/副驾驶图片信息进行特征提取，得到深度特征；
利用WASP模块对得到的深度特征编码处理，得到高分辨率特征；
对编码后的高分辨率特征进行解码，确定人体关键点位置。
进一步的，所述深度神经网络采用密集卷积网络DenseNet。
进一步的，所述分类模块包括网络确定模块，所述网络确定模块包括：
数据采集模块，用于采集不同光照条件、不同车型、不同视角的主/副驾驶图像数据；
标注模块，用于对采集的图像数据进行人体关键点标注，确定训练集；
训练模块，用于初始化密集卷积网络DenseNet参数，利用改进后的空洞卷积编码方法和所述训练集对初始化密集卷积网络DenseNet参数的密集卷积网络DenseNet进行训练，得到训练好的密集卷积网络DenseNet。
本发明所达到的有益效果：
本发明利用人体关键点检测技术对人体上肢关键点检测，肩部和腰部，然后利用深度学习分类网络对抠取的图像区域进行分类判别是否系安全带，本发明的技术方案使得安全带检测在检测的精度和召回上有明显提升。
附图说明
图1是本发明的流程示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于视觉的安全带检测方法，包括：
利用摄像头获取主驾驶/副驾驶图片数据，摄像头的安装需要确保待分析区域进入镜头画面；
对主驾驶/副驾驶图片数据进行人体关键点检测，确定人体关键点位置，所述人体关键点为肩部和腰部；
对人体关键点位置进行扩张抠取，得到抠取的图片；
将抠取的图片输入到预先训练好的深度神经网络进行是否系安全带分类，若分类为没有系安全带则进行报警，否则不报警。
主驾驶/副驾驶图片数据经过DenseNet网络（密集卷积网络），经过WASP模块（空洞卷积编码），再经过Decoder（解码模块），得到关键点的特征图heatmap，每一个heatmap对应一个关节。在通过双线性差值回复原始的分辨率。在通过局部最大值操作定位最后的关键点。
WASP模块，它首先通过一个过滤器进行处理，然后创建一个新的分支，从而创建一个瀑布流。也就是一个输入，串联空洞卷积（增大感受野），再在每一个结点创建一个分支，最后执行特征图级联。
解码模块就是将前面的DenseNet网络和WASP模块的特征处理一下级联。
所述深度神经网络采用密集卷积网络DenseNet，密集卷积网络DenseNet为一个更激进的密集连接机制：即互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入；实现特征重用，更有效的利用了特征。
所述训练好的深度神经网络的训练过程包括：
采集不同光照条件、不同车型、不同视角的主/副驾驶图像数据；
对采集的图像数据进行人体关键点标注，确定训练集；
初始化密集卷积网络DenseNet参数，利用改进后的空洞卷积编码方法所述训练集对初始化密集卷积网络DenseNet参数的密集卷积网络DenseNet进行训练，得到训练好的密集卷积网络DenseNet。
为了验证训练的神经网络的正确性，还包括如下步骤：
在对采集的图像数据进行标注后，还确定了测试集和验证集；
初始化深度神经网络参数；
利用已有方法在训练集的基础上训练深度神经网络。
利用改进后的方法在训练集的基础上训练深度神经网络。
对改进后的模型进行分析，验证其表现特性与设计预期相符。
设计若干对比实验，进一步对两个深度神经网络在测试集、验证集上进行量化评估，验证了本发明的深度神经网络模型的正确性。
相应的本发明还提供一种基于视觉的安全带检测***，包括：
获取模块，用于获取主驾驶/副驾驶图片数据；
检测模块，用于对主驾驶/副驾驶图片数据进行人体关键点检测，确定人体关键点位置，所述人体关键点为肩部和腰部；
抠取模块，用于对人体关键点位置进行扩张抠取，得到抠取的图片；
分类模块，用于将抠取的图片输入到预先训练好的深度神经网络进行是否系安全带分类，若分类为没有系安全带则进行报警，否则不报警。
所述检测模块包括：
网络处理模块，用于利用Densenet网络对主驾驶/副驾驶图片信息进行特征提取，得到深度特征；
利用WASP模块对得到的深度特征编码处理，得到高分辨率特征；
对编码后的高分辨率特征进行解码，确定人体关键点位置。
所述深度神经网络采用密集卷积网络DenseNet。
所述分类模块包括网络确定模块，所述网络确定模块包括：
数据采集模块，用于采集不同光照条件、不同车型、不同视角的主/副驾驶图像数据；
标注模块，用于对采集的图像数据进行人体关键点标注，确定训练集；
训练模块，用于初始化密集卷积网络DenseNet参数，利用改进后的空洞卷积编码方法和所述训练集对初始化密集卷积网络DenseNet参数的密集卷积网络DenseNet进行训练，得到训练好的密集卷积网络DenseNet。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的得同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于视觉的安全带检测方法，其特征在于，包括：
获取主驾驶/副驾驶图片数据；
对主驾驶/副驾驶图片数据进行人体关键点检测，确定人体关键点位置，所述人体关键点为肩部和腰部；
对人体关键点位置进行扩张抠取，得到抠取的图片；
将抠取的图片输入到预先训练好的深度神经网络进行是否系安全带分类，若分类为没有系安全带则进行报警，否则不报警。
2.根据权利要求1所述的基于视觉的安全带检测方法，其特征在于，所述对主驾驶/副驾驶图片信息进行人体关键点检测，确定人体关键点位置的过程包括：
利用Densenet网络对主驾驶/副驾驶图片信息进行特征提取，得到深度特征；
利用WASP模块对得到的深度特征编码处理，得到高分辨率特征；
对高分辨率特征进行解码，确定人体关键点位置。
3.根据权利要求1所述的基于视觉的安全带检测方法，其特征在于，所述深度神经网络采用密集卷积网络DenseNet。
4.根据权利要求3所述的基于视觉的安全带检测方法，其特征在于，所述训练好的深度神经网络的训练过程包括：
采集不同光照条件、不同车型、不同视角的主/副驾驶图像数据；
对采集的图像数据进行人体关键点标注，确定训练集；
初始化密集卷积网络DenseNet参数，利用改进后的空洞卷积编码方法和所述训练集对初始化密集卷积网络DenseNet参数的密集卷积网络DenseNet进行训练，得到训练好的密集卷积网络DenseNet。
5.一种基于视觉的安全带检测***，其特征在于，包括：
获取模块，用于获取主驾驶/副驾驶图片数据；
检测模块，用于对主驾驶/副驾驶图片数据进行人体关键点检测，确定人体关键点位置，所述人体关键点为肩部和腰部；
抠取模块，用于对人体关键点位置进行扩张抠取，得到抠取的图片；
分类模块，用于将抠取的图片输入到预先训练好的深度神经网络进行是否系安全带分类，若分类为没有系安全带则进行报警，否则不报警。
6.根据权利要求5所述的基于视觉的安全带检测***，其特征在于，所述检测模块包括：
网络处理模块，用于利用Densenet网络对主驾驶/副驾驶图片信息进行特征提取，得到深度特征；
利用WASP模块对得到的深度特征编码处理，得到高分辨率特征；
对编码后的高分辨率特征进行解码，确定人体关键点位置。
7.根据权利要求5所述的基于视觉的安全带检测***，其特征在于，所述深度神经网络采用密集卷积网络DenseNet。
8.根据权利要求7所述的基于视觉的安全带检测***，其特征在于，所述分类模块包括网络确定模块，所述网络确定模块包括：
数据采集模块，用于采集不同光照条件、不同车型、不同视角的主/副驾驶图像数据；
标注模块，用于对采集的图像数据进行人体关键点标注，确定训练集；
训练模块，用于初始化密集卷积网络DenseNet参数，利用改进后的空洞卷积编码方法和所述训练集对初始化密集卷积网络DenseNet参数的密集卷积网络DenseNet进行训练，得到训练好的密集卷积网络DenseNet。
CN202011619839.5A 2020-12-30 2020-12-30 一种基于视觉的安全带检测方法及*** Pending CN112949379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011619839.5A CN112949379A (zh) 2020-12-30 2020-12-30 一种基于视觉的安全带检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011619839.5A CN112949379A (zh) 2020-12-30 2020-12-30 一种基于视觉的安全带检测方法及***

Publications (1)

Publication Number Publication Date
CN112949379A true CN112949379A (zh) 2021-06-11

Family

ID=76235529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011619839.5A Pending CN112949379A (zh) 2020-12-30 2020-12-30 一种基于视觉的安全带检测方法及***

Country Status (1)

Country Link
CN (1) CN112949379A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187982A (zh) * 2022-07-12 2022-10-14 河北华清环境科技集团股份有限公司 藻类检测方法、装置及终端设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485224A (zh) * 2016-10-13 2017-03-08 北京智芯原动科技有限公司 一种安全带佩戴识别方法及装置
CN106845393A (zh) * 2017-01-19 2017-06-13 博康智能信息技术有限公司北京海淀分公司 安全带识别模型构建方法及装置
US20180268256A1 (en) * 2017-03-16 2018-09-20 Aquifi, Inc. Systems and methods for keypoint detection with convolutional neural networks
CN108830254A (zh) * 2018-06-27 2018-11-16 福州大学 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN109285160A (zh) * 2018-08-29 2019-01-29 成都品果科技有限公司 一种抠像方法与***
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111767792A (zh) * 2020-05-22 2020-10-13 上海大学 一种基于教室场景的多人关键点检测网络和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485224A (zh) * 2016-10-13 2017-03-08 北京智芯原动科技有限公司 一种安全带佩戴识别方法及装置
CN106845393A (zh) * 2017-01-19 2017-06-13 博康智能信息技术有限公司北京海淀分公司 安全带识别模型构建方法及装置
US20180268256A1 (en) * 2017-03-16 2018-09-20 Aquifi, Inc. Systems and methods for keypoint detection with convolutional neural networks
CN108830254A (zh) * 2018-06-27 2018-11-16 福州大学 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN109285160A (zh) * 2018-08-29 2019-01-29 成都品果科技有限公司 一种抠像方法与***
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111767792A (zh) * 2020-05-22 2020-10-13 上海大学 一种基于教室场景的多人关键点检测网络和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TO_1_OT: "论文笔记之Unipose", 《HTTPS://BLOG.CSDN.NET/HAHA0825/ARTICLE/DETAILS/108348600》, 1 September 2020 (2020-09-01) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187982A (zh) * 2022-07-12 2022-10-14 河北华清环境科技集团股份有限公司 藻类检测方法、装置及终端设备
CN115187982B (zh) * 2022-07-12 2023-05-23 河北华清环境科技集团股份有限公司 藻类检测方法、装置及终端设备

Similar Documents

Publication Publication Date Title
CN107729818B (zh) 一种基于深度学习的多特征融合车辆重识别方法
CN102903239B (zh) 交通路口车辆左右违章转向检测方法和***
CN110738842A (zh) 事故责任划分及行为分析方法、装置、设备及存储介质
CN106845387B (zh) 基于自学习的行人检测方法
CN105956568A (zh) 一种基于监控目标识别的异常行为检测预警方法
CN112487908A (zh) 基于车载视频的前方车辆压线行为检测和动态追踪方法
CN104239847B (zh) 行车警示方法及车用电子装置
CN112163285B (zh) 一种用于模拟驾驶***的路面类型预测模型的建模方法
CN112949379A (zh) 一种基于视觉的安全带检测方法及***
CN115376108A (zh) 一种复杂天气下障碍物检测方法及装置
CN115601717A (zh) 基于深度学习的交通违法行为分类检测方法及SoC芯片
CN115116035A (zh) 一种基于神经网络的道路交通灯识别***及方法
Sulehria et al. Mathematical morphology methodology for extraction of vehicle number plates
CN105512662A (zh) 一种无牌车辆检测方法及装置
CN111444843A (zh) 一种多模态驾驶员及车辆违法行为监测方法及***
CN103679209A (zh) 基于稀疏理论的字符识别方法
Hamzeh et al. Dynamic adherent raindrop simulator for automotive vision systems
JP2010033321A (ja) 画像処理アルゴリズムの評価システム
CN106864351A (zh) 一种基于计算机视觉的夜间车辆行驶辅助照明***
CN116310748A (zh) 一种自动驾驶场景恢复及自动驾驶原型测试方法和***
CN107506759A (zh) 一种机动车品牌识别方法及装置
CN114360267B (zh) 基于云端检测***的车况检测方法、装置及云端检测***
Zhang Analysis and research on the images of drivers and passengers wearing seat belt in traffic inspection
Rogers et al. Counting bicycles using computer vision
Mues et al. Identification of spurious labels in machine learning data sets using N-version validation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210611

RJ01 Rejection of invention patent application after publication