CN111723673A - 一种基于计算机视觉的智能高铁人数统计方法 - Google Patents

一种基于计算机视觉的智能高铁人数统计方法 Download PDF

Info

Publication number
CN111723673A
CN111723673A CN202010450189.XA CN202010450189A CN111723673A CN 111723673 A CN111723673 A CN 111723673A CN 202010450189 A CN202010450189 A CN 202010450189A CN 111723673 A CN111723673 A CN 111723673A
Authority
CN
China
Prior art keywords
speed rail
neural network
data set
people
videos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010450189.XA
Other languages
English (en)
Inventor
钱学明
刘彪
侯兴松
邹屹洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010450189.XA priority Critical patent/CN111723673A/zh
Publication of CN111723673A publication Critical patent/CN111723673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于计算机视觉的智能高铁人数统计方法，包括：步骤1、从高铁上下车门处采集乘客上下车的视频，获得数据集；步骤2、对数据集的图片进行标注，获得标注的数据集；步骤3、对标注的数据集中的图片进行筛选，增广，获得标注的人头数据；步骤4、构建神经网络并进行训练，获得训练好的神经网络；步骤5、获取乘客上下车的视频，输入步骤4获得训练好的神经网络；对神经网络检测到有人头的图像进行人头跟踪；根据人头数统计人数，整个输入乘客上下车的视频处理完成后，输出整个视频中的人数。本发明可以有效的对高铁中的人数进行统计，进而分析高铁的运营情况，从而更快的推动高铁的发展。

Description

一种基于计算机视觉的智能高铁人数统计方法
技术领域
本发明属于计算机数字图像处理与模式识别技术领域，涉及一种基于计算机视觉的智能高铁人数统计方法。
背景技术
高铁全程是高速列车、又称高速火车，是指能够在高速铁路线上以较高速度行驶的列车，通常时速可以达到330km，由于其头部设计多设计成流线型来减少行驶时和空气产生的阻力，大家也习惯的称其为子弹头列车。高铁以其速度快、安全、舒适等特点成为了大家出行的便利交通工具，使得以前遥不可及的距离，现在可以很短的时间到达，使得“我在长江头，君在长江尾”的距离也不那么遥远。高铁的出先是多种科学领域、多种高等科学技术、各方面高等技术人才的集中体现，高铁上有数以万计的技术难点，需要各个领域的人才集中攻关，才有了最后成型的高铁，是第三次工业革命的代表做之一。
高铁的出行意义重大，但是如何有效出统计出高铁中的人数却成了一个难题，如果可以对高铁人数进行有效、实时的统计，那对高铁站的建设，高铁发行的数量，高铁的管理都是十分有利的，但是现在除了后台计算没有很好的办法，后台计算需要统计各大购票网站，花费的人力物力成本很大，如何有效、方便的统计出高铁的人数变成了迫切需要解决的问题。
现有虽然也有一些通过摄像头统计人数的方法，但是在人流密度比较大的时候，经常出现重复统计的问题，给高铁管理带来了极大的不便。
发明内容
本发明的目的在于提供一种智能的高铁人数统计方法及***，获取乘客上下高铁的视频，对视频中的人头进行检测，对检测到的人头进行跟踪，以解决现有技术的不足。
为了实现上述目的，本发明采用如下技术方案：
一种基于计算机视觉的智能高铁人数统计方法，其特征在于，包括以下步骤：
步骤1、从高铁上下车门处采集乘客上下车的视频，进行预处理，获得数据集；
步骤2、对步骤1中数据集的图片进行标注，获得标注的数据集；
步骤3、对标注的数据集中的图片进行筛选，筛选出合格的图片；同时对筛选出的合格图片增广，获得标注的人头数据；
步骤4、构建神经网络，使用步骤3获得的标注的人头数据对神经网络进行训练，获得训练好的神经网络；
步骤5、网络输入数据处理：在高铁上下车门处安装猫眼摄像头，获取乘客上下车的视频，输入步骤4获得训练好的神经网络；对神经网络检测到有人头的图像进行人头跟踪；根据人头数统计人数，整个输入乘客上下车的视频处理完成后，输出整个视频中的人数。
进一步的，步骤1具体包括：在乘客上下车车门处安装猫眼摄像头，获取乘客上下车的视频，并对视频进行筛选，选出有乘客的视频；从有乘客的视频中每N帧选取一帧获得训练图片，所有训练图片组成数据集；N≥1。
进一步的，步骤2具体包括：用LabelImage标注工具对步骤1中数据集的图片进行标注；获得标注的数据集；标注格式为POCAL VOC。
进一步的，步骤3对合格图片通过旋转、裁剪、曝光中一种或者多种方式进行增广。
进一步的，神经网络为YOLOv3、SSD、Fast-Rcnn,Faster-Rcnn或Retinanet。
进一步的，步骤4中采用Retinanet神经网络；对Retinanet神经网络的backbone进行剪枝，对head部分轻量化，然后采用采用步骤3处理后的数据集进行训练，训练结束后，选择精度最好的一组模型进行保存，获得训练好的神经网络。
进一步的，进一步的，步骤4中神经网络用focal loss作为损失函数：
Focal loss操作过程：
Figure BDA0002507425880000031
其中y为真实值，y′为预测值。
进一步的，步骤5)中人头跟踪采用欧式距离法，欧式距离操作方法：
Figure BDA0002507425880000032
其中为x2，y2当前帧的位置坐标，x1，y1为上一帧的位置坐标。
对检测到的人头根据两帧之间人头的欧氏距离小于100像素点为同一个人头，以此来达到对人头的跟踪。
进一步的，步骤5)中对获取乘客上下车的视频进行预处理：对于尺寸小于300*256的图像为不合格图像，不合格图像直接进行筛除；大于300*256的图像为筛选合格的图像，输入到到步骤4训练好的神经网络进行人头检测；对筛选合格的图像，经过人头检测，判定为人头的阈值≥0.8(检测结果的阈值≥0.8，阈值越高检测结果越准，总值为1)为人头样本进行人头跟踪，小于0.8的直接筛去。
相对于现有技术，本发明具有以下有益效果：本发明是一种基于计算机视觉的智能高铁人数统计方法，对高铁上下车门处获取乘客上下车的视频，把视频处理成图像，人工标准成人头学习样本集；基于样本训练集生成深度学习网络人头检测器；对检测到的人头进行跟踪，如果在规定阈值内就匹配成一个人头；最后根据人头替代人数，统计出高铁中人数。本发明能有效的对高铁中人数进行统计，可以大大减少传统高铁人数统计的财力、物力。
附图说明
图1是本发明实施例的基于计算机视觉的智能高铁人数统计方法的流程图；
图2是用于深度神经网络训练的样本集；其中，图2(a)为人头样本集，图2(b)表示图片及其同名标注文件；
图3是人头检检测截取效果图；
图4(a)和图4(b)是相邻两帧图片人数统计的结果图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施列用于说明本发明，但不用来限制本发明的范围。
请参阅图1所述，本发明一种基于计算机视觉的智能高铁人数统计方法，包括如下步骤：
步骤1：从高铁上下车门处采集乘客上下车的视频，把视频按标准裁剪成图像；
在乘客上下车车门处安装猫眼摄像头，用来获取乘客上下车的视频，并对视频进行筛选，选出有乘客的视频。从有乘客的视频中每10帧选取一帧获得训练图片，所有训练图片组成数据集，从而避免掉特征冗余的情况。
步骤2：标注数据集；
用LabelImage标注工具对步骤1中数据集的图片进行标注；获得标注的数据集，标注的数据集包括用于网络训练的训练集、用于网络测试的测试集以及用于网络验证的验证集。标注格式为POCAL VOC各种属性的人头数据集共9000张，图像大小为：2048*1536，按照8:2:1的情况，把数据分为训练集，验证集，测试集，其中训练集用于神经网络训练，测试集用于神经网络测试，验证集用于神经网络验证，把数据集标注成POCAL VOC方便计算机读取，加快网络的训练，图2为标注的数据集。
步骤3：数据处理；
由于标注的数据存在标注不合格问题，对标注的数据进行重新筛选，去除标注不合格的数据(人工去除，或者通过设定阈值片定人头与标注框不匹配的图片删除)；同时对剩余合格的图像数据进行旋转，裁剪，曝光手段，对数据进行增广，提升网络的鲁棒性。
步骤4：选取合适的神经网络对人头进行检测；
现在主流的目标检测网络很多，可用的网络有YOLOv3,SSD，Fast-Rcnn,Faster-Rcnn,Retinanet，这些网络中有些网络偏向于速度，有些网络偏向于精度，在高铁人数统计中，速度和精度都有着很高的要求，经过速度和精度的权衡，Retinanet可以满足精度的要求，但是网络速度不够，经过对网络的backbone进行剪枝和对head部分轻量化(对Resnet-50特征提取网络中的通道数减少为三分之一，选取FPN中的F4、F5层做为特征层，对head部分采用2层3*3*64的卷积层做为分类和回归网络，通过大量实验，验证了对数据集响应最好的通道数和卷积层数)，最终达到了速度的要求，采用步骤3处理后的数据集经过1000个epoch训练，选择精度最好的一组模型进行保存，获得训练好的神经网络。
步骤5：网络输入数据处理；
在高铁上下车门处安装猫眼摄像头，获取乘客上下车的视频；对输入的视频(图像)进行处理，对于尺寸小于300*256的图像为不合格图像，不合格图像直接进行筛除。大于300*256的图像进入到步骤4训练好的神经网络中；对筛选合格的图像，经过神经网络，判定为人头的阈值≥0.8为人头样本进行人头跟踪，小于0.8的直接筛去。
采用步骤4训练好的神经网络检测人头；想要达到计数的目的就需要对检测到的人头进行跟踪，现在主流的***有深度神经网络的方法，光流法。由于人头特征过于相似，深度神经网络的办法的跟踪效果很不理想；光流法对光照要求很高，由于高铁不可能一直保持同样的光照所以光流法的效果也很不理想；经过试验采用欧式距离法无论速度和精度都十分的理想，最终选取欧氏距离法作为跟踪的方法。
欧式距离操作方法：
Figure BDA0002507425880000061
对检测到的人头根据两帧之间人头的欧氏距离小于100像素点为同一个人头，以此来达到对人头的跟踪。
根据人头来代替人数，从而达到人头统计的目的；
整个输入乘客上下车的视频处理完成后，输出整个视频(图像)中的人数。
本发明跳出了传统的高铁人数统计方法，通过安装一个摄像头获取到乘客上下车的视频就可以统计出高铁中的人数，提出了一种新的解决方案。可以快速有效的统计出高铁中的人数，大大节约了高铁人数统计的财力物力。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以提出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (9)

1.一种基于计算机视觉的智能高铁人数统计方法，其特征在于，包括以下步骤：
步骤1、从高铁上下车门处采集乘客上下车的视频，进行预处理，获得数据集；
步骤2、对步骤1中数据集的图片进行标注，获得标注的数据集；
步骤3、对标注的数据集中的图片进行筛选，筛选出合格的图片；同时对筛选出的合格图片增广，获得标注的人头数据；
步骤4、构建神经网络，使用步骤3获得的标注的人头数据对神经网络进行训练，获得训练好的神经网络；
步骤5、网络输入数据处理：在高铁上下车门处安装猫眼摄像头，获取乘客上下车的视频，输入步骤4获得训练好的神经网络；对神经网络检测到有人头的图像进行人头跟踪；根据人头数统计人数，整个输入乘客上下车的视频处理完成后，输出整个视频中的人数。
2.根据权利要求1所述的一种基于计算机视觉的智能高铁人数统计方法，其特征在于，步骤1具体包括：在乘客上下车车门处安装猫眼摄像头，获取乘客上下车的视频，并对视频进行筛选，选出有乘客的视频；从有乘客的视频中每N帧选取一帧获得训练图片，所有训练图片组成数据集；N≥1。
3.根据权利要求1所述的一种基于计算机视觉的智能高铁人数统计方法，其特征在于，步骤2具体包括：用LabelImage标注工具对步骤1中数据集的图片进行标注；获得标注的数据集；标注格式为POCAL VOC。
4.根据权利要求1所述的一种基于计算机视觉的智能高铁人数统计方法，其特征在于，步骤3对合格图片通过旋转、裁剪、曝光中一种或者多种方式进行增广。
5.根据权利要求1所述的一种基于计算机视觉的智能高铁人数统计方法，其特征在于，神经网络为YOLOv3、SSD、Fast-Rcnn,Faster-Rcnn或Retinanet。
6.根据权利要求1所述的一种基于计算机视觉的智能高铁人数统计方法，其特征在于，步骤4中采用Retinanet神经网络；对Retinanet神经网络的backbone进行剪枝，对head部分轻量化，然后采用采用步骤3处理后的数据集进行训练，训练结束后，选择精度最好的一组模型进行保存，获得训练好的神经网络。
7.根据权利要求1所述的一种基于计算机视觉的智能高铁人数统计方法，其特征在于，进一步的，步骤4中神经网络用focal loss作为损失函数：
Focal loss操作过程：
Figure FDA0002507425870000021
其中y为真实值，y′为预测值。
8.根据权利要求1所述的一种基于计算机视觉的智能高铁人数统计方法，其特征在于，步骤5)中人头跟踪采用欧式距离法，欧式距离操作方法：
Figure FDA0002507425870000022
其中为x2，y2当前帧的位置坐标，x1，y1为上一帧的位置坐标；
对检测到的人头根据两帧之间人头的欧氏距离小于100像素点为同一个人头，以此来达到对人头的跟踪。
9.根据权利要求1所述的一种基于计算机视觉的智能高铁人数统计方法，其特征在于，步骤5)中对获取乘客上下车的视频进行预处理：对于尺寸小于300*256的图像为不合格图像，不合格图像直接进行筛除；大于300*256的图像为筛选合格的图像，输入到到步骤4训练好的神经网络进行人头检测；对筛选合格的图像，经过人头检测，判定为人头的阈值≥0.8为人头样本进行人头跟踪，小于0.8的直接筛去。
CN202010450189.XA 2020-05-25 2020-05-25 一种基于计算机视觉的智能高铁人数统计方法 Pending CN111723673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450189.XA CN111723673A (zh) 2020-05-25 2020-05-25 一种基于计算机视觉的智能高铁人数统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450189.XA CN111723673A (zh) 2020-05-25 2020-05-25 一种基于计算机视觉的智能高铁人数统计方法

Publications (1)

Publication Number Publication Date
CN111723673A true CN111723673A (zh) 2020-09-29

Family

ID=72564988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450189.XA Pending CN111723673A (zh) 2020-05-25 2020-05-25 一种基于计算机视觉的智能高铁人数统计方法

Country Status (1)

Country Link
CN (1) CN111723673A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806174A (zh) * 2021-09-18 2021-12-17 南京雷鲨信息科技有限公司 一种***状态的监控方法、***
CN113995316A (zh) * 2021-09-28 2022-02-01 珠海格力电器股份有限公司 煮饭量确定方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154110A (zh) * 2017-12-22 2018-06-12 任俊芬 一种基于深度学习人头检测的密集人流量统计方法
CN109285376A (zh) * 2018-08-09 2019-01-29 同济大学 一种基于深度学习的公交车客流统计分析***
CN109325404A (zh) * 2018-08-07 2019-02-12 长安大学 一种公交场景下的人数统计方法
CN109376637A (zh) * 2018-10-15 2019-02-22 齐鲁工业大学 基于视频监控图像处理的人数统计***
CN110084197A (zh) * 2019-04-28 2019-08-02 苏州清研微视电子科技有限公司 基于深度学习的公交车客流量统计方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154110A (zh) * 2017-12-22 2018-06-12 任俊芬 一种基于深度学习人头检测的密集人流量统计方法
CN109325404A (zh) * 2018-08-07 2019-02-12 长安大学 一种公交场景下的人数统计方法
CN109285376A (zh) * 2018-08-09 2019-01-29 同济大学 一种基于深度学习的公交车客流统计分析***
CN109376637A (zh) * 2018-10-15 2019-02-22 齐鲁工业大学 基于视频监控图像处理的人数统计***
CN110084197A (zh) * 2019-04-28 2019-08-02 苏州清研微视电子科技有限公司 基于深度学习的公交车客流量统计方法和***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
谢学立等: "基于动态感受野的航拍图像目标检测算法", 《光学学报》 *
贾兆柱: "基于RetinaNet的行人检测算法研究", 《中国优秀硕士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806174A (zh) * 2021-09-18 2021-12-17 南京雷鲨信息科技有限公司 一种***状态的监控方法、***
CN113995316A (zh) * 2021-09-28 2022-02-01 珠海格力电器股份有限公司 煮饭量确定方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
CN111126325B (zh) 一种基于视频的智能人员安防识别统计方法
CN111414887B (zh) 基于yolov3算法的二次检测口罩人脸识别方法
CN107437245B (zh) 基于深度卷积神经网络的高速铁路接触网故障诊断方法
CN110660222B (zh) 一种智能环保道路黑烟车辆电子抓拍***
CN111444848A (zh) 一种基于联邦学习的特定场景模型升级方法和***
CN108039044B (zh) 基于多尺度卷积神经网络的车辆智能排队的***及方法
CN104809437B (zh) 一种基于实时视频的车辆检测与跟踪方法
CN108351967A (zh) 一种多人脸检测方法、装置、服务器、***及存储介质
Zhang et al. Application of deep learning and unmanned aerial vehicle technology in traffic flow monitoring
CN106778648A (zh) 车辆轨迹跟踪及车牌识别***和识别方法
CN110245635B (zh) 一种煤和矸石的红外图像识别方法
CN106610969A (zh) 基于多模态信息的视频内容审查***及方法
CN111723673A (zh) 一种基于计算机视觉的智能高铁人数统计方法
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN110728269B (zh) 一种基于c2检测数据的高铁接触网支柱杆号牌识别方法
CN107895140A (zh) 基于人脸肤色的***识别办法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN112464893A (zh) 一种复杂环境下的拥挤度分类方法
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及***
CN115131747A (zh) 基于知识蒸馏的输电通道工程车辆目标检测方法及***
CN116071294A (zh) 一种光纤表面缺陷检测方法和装置
CN110765900B (zh) 一种基于dssd的自动检测违章建筑方法及***
CN113487570A (zh) 基于改进的yolov5x网络模型的高温连铸坯表面缺陷检测方法
CN115410035A (zh) 基于监控视频的空中交通管制员不安全行为分类方法
CN112101107B (zh) 一种智能网联模型车在环仿真交通信号灯智能识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200929

RJ01 Rejection of invention patent application after publication