CN110472551A - 一种提高准确度的跨镜追踪方法、电子设备及存储介质 - Google Patents

一种提高准确度的跨镜追踪方法、电子设备及存储介质 Download PDF

Info

Publication number
CN110472551A
CN110472551A CN201910735847.7A CN201910735847A CN110472551A CN 110472551 A CN110472551 A CN 110472551A CN 201910735847 A CN201910735847 A CN 201910735847A CN 110472551 A CN110472551 A CN 110472551A
Authority
CN
China
Prior art keywords
camera
character image
display screen
display
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910735847.7A
Other languages
English (en)
Inventor
钟由彬
宋建江
王留春
谭志标
丁正飞
任亚鹏
王和山
钟永海
林觐誉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vision Cloud Fusion (guangzhou) Technology Co Ltd
Original Assignee
Vision Cloud Fusion (guangzhou) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vision Cloud Fusion (guangzhou) Technology Co Ltd filed Critical Vision Cloud Fusion (guangzhou) Technology Co Ltd
Priority to CN201910735847.7A priority Critical patent/CN110472551A/zh
Publication of CN110472551A publication Critical patent/CN110472551A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种提高准确度的跨镜追踪方法，包括：接收用户选取的人物图像，对该人物图像进行特征识别获取对应的人物信息；将当前采集到与人物信息对应人物图像的摄像头定义为主摄像头，将主摄像头采集的图像信号显示在第一显示屏的主屏区域；以主摄像头为中心，将预设范围内的除主摄像头以外的其他摄像头定义为从摄像头，并将从摄像头采集的人物图像显示再第一显示屏的副屏区域；根据人物信息调用全部摄像头进行追踪，并在第二显示屏上显示与人物信息匹配的人物图像的移动行径。本发明通过设置多各显示屏显示不同的界面，进行人工交互，根据所采集的人物图像实时更正、纠错，形成更精准的人物图像行走路径，通过多界面多视角的提升追踪准确度。

Description

一种提高准确度的跨镜追踪方法、电子设备及存储介质
技术领域
本发明涉及人脸图像识别技术领域，尤其涉及一种提高准确度的跨镜追踪方法、电子设备及存储介质。
背景技术
随着社会的发展，视频监控被越来越广发的应用到各个行业中，摄像机数量也越来越庞大，这给传统的视频监控带来严峻的挑战。在安防领域里，基于监控摄像头的人脸识别技术已经得到了普遍的应用，嫌疑人通过人脸识别技术被发现，并成功抓捕的案例也时有发生。但人脸识别也存在一定弊端，比如脸部被故意遮挡、无法拍到人的正面等情况也会导致人脸失效。跨镜追踪技术可以作为人脸识别技术的重要补充，对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性。
目前跨镜追踪技术已经提出很久，其中的核心技术基本都是采用ReID人员重识别技术，其他人工智能视频分析的公司都有在深化研究相关算法，但由于其核心技术的局限性，存在普遍准确度不高的问题，所以一直没有被真正应用到实际场景，所以这些企业也一直在努力深研技术，以提高跨镜追踪的准确度。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种提高准确度的跨镜追踪方法，其能解决现有技术准确度差的问题。
本发明的目的之二在于提供一种电子设备，其能解决现有技术准确度差的问题。
本发明的目的之三在于提供一种存储介质，其能解决现有技术准确度差的问题。
本发明的目的之一采用以下技术方案实现：
一种提高准确度的跨镜追踪方法，包括如下步骤：
接收步骤：接收用户选取的任一人物图像，对该人物图像进行特征识别获取对应的人物信息；
第一显示步骤：将当前采集到与所述人物信息对应人物图像的摄像头定义为主摄像头，将主摄像头采集的图像信号显示在第一显示屏的主屏区域；
第二显示步骤：以所述主摄像头为中心，将预设范围内的除主摄像头以外的全部其他摄像头定义为从摄像头，并将从摄像头采集的人物图像显示再第一显示屏的副屏区域；
第三显示步骤：根据人物信息调用全部摄像头进行追踪，并在第二显示屏上显示与人物信息匹配的人物图像的移动行径。
优选的，还包括如下步骤：
提取步骤：提取各摄像头所采集到的与人物信息匹配的人物图像显示再第三显示屏；
筛选步骤：接收用户再第三显示屏上选取特定的人物图像，根据该特定的人物图像筛除与特定人物图像不匹配的人物图像。
优选的，所述第二显示屏还显示各摄像头所在位置对应的位置信息。
优选的，所述位置信息包括经纬度。
优选的，在第一显示步骤中，当采集到与人物信息对应人物图像的摄像头为从摄像头时，第一显示屏进行报警提示，并更新该从摄像头为主摄像头。
本发明的目的之二采样以下技术方案实现：
一种电子设备，包括存储器、处理器以及存储在存储器中并可被处理器执行的计算机程序，所述计算机程序被处理器执行时实现如下步骤：
接收步骤：接收用户选取的任一人物图像，对该人物图像进行特征识别获取对应的人物信息；
第一显示步骤：将当前采集到与所述人物信息对应人物图像的摄像头定义为主摄像头，将主摄像头采集的图像信号显示在第一显示屏的主屏区域；
第二显示步骤：以所述主摄像头为中心，将预设范围内的除主摄像头以外的全部其他摄像头定义为从摄像头，并将从摄像头采集的人物图像显示再第一显示屏的副屏区域；
第三显示步骤：根据人物信息调用全部摄像头进行追踪，并在第二显示屏上显示与人物信息匹配的人物图像的移动行径。
优选的，计算机程序还执行如下步骤：
提取步骤：提取各摄像头所采集到的与人物信息匹配的人物图像显示再第三显示屏；
筛选步骤：接收用户再第三显示屏上选取特定的人物图像，根据该特定的人物图像筛除与特定人物图像不匹配的人物图像。
优选的，所述第二显示屏还显示各摄像头所在位置对应的位置信息。
优选的，在第一显示步骤中，当采集到与人物信息对应人物图像的摄像头为从摄像头时，第一显示屏进行报警提示，并更新该从摄像头为主摄像头。
本发明的目的之三采样以下技术方案实现：
一种存储介质，其上存储有可被处理器执行的计算机程序，所述计算机程序被处理器执行时实现如本发明目的之一任一项所述的跨镜方法。
相比现有技术，本发明的有益效果在于：
本发明通过设置多各显示屏显示不同的功能，并进行人工交互，人工根据所采集的人物图像实时更正、纠错，形成更精准的人物图像行走路径，通过多界面多视角的提升追踪准确度。
附图说明
图1为本发明一种提高准确度的跨镜追踪方法的流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述：
如图1所示，本发明提供一种提高准确度的跨镜追踪方法，其包括如下步骤：
S1：接收用户选取的任一人物图像，对该人物图像进行特征识别获取对应的人物信息；
本发明需要应用到多个摄像头，这些摄像头已经安装在各位置，也即是本发明需要借用这些摄像头，通过这些摄像头采集人物图像。摄像头对所负责的区域进行图像采集，其采集的图像发送到后台，由人工进行选择，点击所需的人物图像。
S2：将当前采集到与所述人物信息对应人物图像的摄像头定义为主摄像头，将主摄像头采集的图像信号显示在第一显示屏的主屏区域；
在步骤S1中，用户挑选出人物图像对应的摄像头，则定义为主摄像头，在第一显示屏的主屏区域显示该摄像头所采集的图像。主屏区域例如为显示屏的中央位置，当然也可以设置在其他位置。
在第一显示步骤中，当采集到与人物信息对应人物图像的摄像头为从摄像头时，第一显示屏进行报警提示，并更新该从摄像头为主摄像头。当后续由于所追踪的人物移动，下一次采集到该人物对应的人物图像的不一定是当前的主摄像头，此时，如果其他摄像头采集到由该人物图像，则第一显示屏进行提示，例如该摄像头采集的图像在第一显示屏上自动跳动等方式，用户发现由其他摄像头采集到该人物图像，则可以切换该摄像头为主摄像头。
S3：以所述主摄像头为中心，将预设范围内的除主摄像头以外的全部其他摄像头定义为从摄像头，并将从摄像头采集的人物图像显示再第一显示屏的副屏区域；
基于上一步骤所描述的，在整场追踪过程中，主摄像头和从摄像头是可以切换的，当前的主摄像头在后续中也可以变成从摄像头。副屏区域例如为第一显示屏的周边位置，其显示尺寸可以设置为比主屏区域小。
整个第一显示屏界面都被摄像头的实时监控画面覆盖，界面中又分主屏和副屏，用户主要通过主屏选定追踪人员，并且可以根据人员的移动进行自动调整角度追踪。分控屏主要是显示主空屏周边的摄像头实时视频，如果在主屏中的嫌疑人走到任何一个副屏中，副屏将弹出报警提示，经过管理人员确认后，可以将该分控屏设置为主屏，之前的主屏自动设置为副屏，以此类推，实现对嫌疑人的实时追踪。
S4：根据人物信息调用全部摄像头进行追踪，并在第二显示屏上显示与人物信息匹配的人物图像的移动行径。第二显示屏还显示各摄像头所在位置对应的位置信息。同时还可以显示时间等信息。通过不同摄像头出现的时间点进行空间上的关联，形成具体行动轨迹。
第二显示屏为地图屏，用于显示摄像头的分布位置。位置信息包括经纬度。在第一显示屏的主屏上显示所需追踪人物的人物图像，则该主屏对应的摄像头所在的地理位置对应为追踪人物当前的地理位置。根据人员的移动，主屏对应的摄像头会变动，也就是地图屏上也可以轻松获得当前人员的位置信息，从而可以显示移动行径。
第二显示屏的整个界面可以采用暗色地图为背景，在地图上叠加摄像头的位置表情，通过不同样式进行划分。提供给用户跟踪结果曾和视频关系线两个选择按钮，如果选中跟踪结果曾，将在界面的左侧显示被追踪人员的历史抓拍记录，同时在地图中高亮显示对应的视频摄像头标签等。点击每一个摄像头都可以打开历史录像及抓怕对比图。如果选中视频关系线，可以在地图中将被追踪人员所经过的摄像头通过连线的方式，按照时间的顺序进行连接，从而形成该人员在整个追踪过程的行径。
上述步骤可实现跨镜头帮助追踪人物，进一步的，还包括步骤如下：
S5：提取各摄像头所采集到的与人物信息匹配的人物图像显示再第三显示屏；
S6：接收用户再第三显示屏上选取特定的人物图像，根据该特定的人物图像筛除与特定人物图像不匹配的人物图像。
第三显示屏设计为近似结果屏，其主要功能是辅助提高追踪目标的准确度，通过适当的人工接入，保证追踪结果的连续性，降低***的误报率。也可以通过灵活设置识别与之，以适应不同的应用环境。
该界面整体采用跟第一显示屏一直的界面风格，通过黑色背景和白色字体，突显主体内容。界面左上部分显示当前模板的阀值，以及根据实际情况进行调整阀值的输入框。右上部分显示当前用于跟踪的模板图片，以及曾经使用过的历史模板的图片列表。界面的下半部分主要展示在阀值范围内的其他被抓拍到的图片列表，如果用户发现当前模板有异常时，可以在这些备用图片中重新选择模板，通过双击的方式选中，作为新的当前追踪目标模板，原来当前模板中的图片将被移入历史模板中。
本发明实现了一种新的跨镜追踪技术的应用方法，通过多画面，多视角的方式很大程度提高了追踪的准确度；采用一机三屏的方式进行实现跨镜追踪，分别为：地图屏显示摄像头位置和轨迹，第一显示屏显示摄像头的实时追踪视频，近似结果屏显示当前追踪模板及近似结果图片；设计地图界面展示跨镜追踪的跟踪结果和视频之间的关系线。通过复选框的方式控制显示内容，设计实时跨镜追踪界面，对目标人物进行追踪，界面通过中间放置目标人物所在摄像头录像，周围显示周边摄像头的监控摄像，随着人员的移动可以切换中间位置和周边位置的监控视频，设计近似结果查看和选择界面，可以实时查看追踪的目标图片，以及周边近似的结果图片，并支持阀值的自定义和模板的灵活更换。
本发明还提供一种电子设备，包括存储器、处理器以及存储在存储器中并可被处理器执行的计算机程序，所述计算机程序被处理器执行时实现如下步骤：
接收步骤：接收用户选取的任一人物图像，对该人物图像进行特征识别获取对应的人物信息；
第一显示步骤：将当前采集到与所述人物信息对应人物图像的摄像头定义为主摄像头，将主摄像头采集的图像信号显示在第一显示屏的主屏区域；
第二显示步骤：以所述主摄像头为中心，将预设范围内的除主摄像头以外的全部其他摄像头定义为从摄像头，并将从摄像头采集的人物图像显示再第一显示屏的副屏区域；
第三显示步骤：根据人物信息调用全部摄像头进行追踪，并在第二显示屏上显示与人物信息匹配的人物图像的移动行径；
提取步骤：提取各摄像头所采集到的与人物信息匹配的人物图像显示再第三显示屏；
筛选步骤：接收用户再第三显示屏上选取特定的人物图像，根据该特定的人物图像筛除与特定人物图像不匹配的人物图像。
还提供一种存储介质，其上存储有可被处理器执行的计算机程序，所述计算机程序被处理器执行时实现如本发明所述的跨镜方法。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种提高准确度的跨镜追踪方法，其特征在于，包括如下步骤：
接收步骤：接收用户选取的任一人物图像，对该人物图像进行特征识别获取对应的人物信息；
第一显示步骤：将当前采集到与所述人物信息对应人物图像的摄像头定义为主摄像头，将主摄像头采集的图像信号显示在第一显示屏的主屏区域；
第二显示步骤：以所述主摄像头为中心，将预设范围内的除主摄像头以外的全部其他摄像头定义为从摄像头，并将从摄像头采集的人物图像显示再第一显示屏的副屏区域；
第三显示步骤：根据人物信息调用全部摄像头进行追踪，并在第二显示屏上显示与人物信息匹配的人物图像的移动行径。
2.如权利要求1所述的跨镜方法，其特征在于，还包括如下步骤：
提取步骤：提取各摄像头所采集到的与人物信息匹配的人物图像显示再第三显示屏；
筛选步骤：接收用户再第三显示屏上选取特定的人物图像，根据该特定的人物图像筛除与特定人物图像不匹配的人物图像。
3.如权利要求1所述的跨镜方法，其特征在于，所述第二显示屏还显示各摄像头所在位置对应的位置信息。
4.如权利要求3所述的跨镜方法，其特征在于，所述位置信息包括经纬度。
5.如权利要求1所述的跨镜方法，其特征在于，在第一显示步骤中，当采集到与人物信息对应人物图像的摄像头为从摄像头时，第一显示屏进行报警提示，并更新该从摄像头为主摄像头。
6.一种电子设备，包括存储器、处理器以及存储在存储器中并可被处理器执行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：
接收步骤：接收用户选取的任一人物图像，对该人物图像进行特征识别获取对应的人物信息；
第一显示步骤：将当前采集到与所述人物信息对应人物图像的摄像头定义为主摄像头，将主摄像头采集的图像信号显示在第一显示屏的主屏区域；
第二显示步骤：以所述主摄像头为中心，将预设范围内的除主摄像头以外的全部其他摄像头定义为从摄像头，并将从摄像头采集的人物图像显示再第一显示屏的副屏区域；
第三显示步骤：根据人物信息调用全部摄像头进行追踪，并在第二显示屏上显示与人物信息匹配的人物图像的移动行径。
7.如权利要求6所述的电子设备，其特征在于，计算机程序还执行如下步骤：
提取步骤：提取各摄像头所采集到的与人物信息匹配的人物图像显示再第三显示屏；
筛选步骤：接收用户再第三显示屏上选取特定的人物图像，根据该特定的人物图像筛除与特定人物图像不匹配的人物图像。
8.如权利要求6所述的电子设备，其特征在于，所述第二显示屏还显示各摄像头所在位置对应的位置信息。
9.如权利要求6所述的电子设备，其特征在于，在第一显示步骤中，当采集到与人物信息对应人物图像的摄像头为从摄像头时，第一显示屏进行报警提示，并更新该从摄像头为主摄像头。
10.一种存储介质，其上存储有可被处理器执行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的跨镜方法。
CN201910735847.7A 2019-08-09 2019-08-09 一种提高准确度的跨镜追踪方法、电子设备及存储介质 Pending CN110472551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910735847.7A CN110472551A (zh) 2019-08-09 2019-08-09 一种提高准确度的跨镜追踪方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910735847.7A CN110472551A (zh) 2019-08-09 2019-08-09 一种提高准确度的跨镜追踪方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN110472551A true CN110472551A (zh) 2019-11-19

Family

ID=68510495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910735847.7A Pending CN110472551A (zh) 2019-08-09 2019-08-09 一种提高准确度的跨镜追踪方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110472551A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437278A (zh) * 2020-11-23 2021-03-02 杭州海康威视数字技术股份有限公司 一种协同监控***、装置及方法
CN112989896A (zh) * 2019-12-18 2021-06-18 广东毓秀科技有限公司 跨镜头追踪方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101803385A (zh) * 2007-09-23 2010-08-11 霍尼韦尔国际公司 跨多个关联视频屏动态跟踪闯入者
CN104581060A (zh) * 2014-12-25 2015-04-29 深圳市华宝电子科技有限公司 一种***控车辆多路视频的网络流量管理方法和装置
CN106101613A (zh) * 2015-12-29 2016-11-09 广东中星电子有限公司 多个监控屏幕的联动显示方法及***
CN106295598A (zh) * 2016-08-17 2017-01-04 北京大学 一种跨摄像头目标跟踪方法及装置
CN107666590A (zh) * 2016-07-29 2018-02-06 华为终端（东莞）有限公司 一种目标监控方法、摄像头、控制器和目标监控***
CN108986158A (zh) * 2018-08-16 2018-12-11 新智数字科技有限公司 一种基于目标再识别的跨场景追踪方法和装置及计算机视觉平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101803385A (zh) * 2007-09-23 2010-08-11 霍尼韦尔国际公司 跨多个关联视频屏动态跟踪闯入者
CN104581060A (zh) * 2014-12-25 2015-04-29 深圳市华宝电子科技有限公司 一种***控车辆多路视频的网络流量管理方法和装置
CN106101613A (zh) * 2015-12-29 2016-11-09 广东中星电子有限公司 多个监控屏幕的联动显示方法及***
CN107666590A (zh) * 2016-07-29 2018-02-06 华为终端（东莞）有限公司 一种目标监控方法、摄像头、控制器和目标监控***
CN106295598A (zh) * 2016-08-17 2017-01-04 北京大学 一种跨摄像头目标跟踪方法及装置
CN108986158A (zh) * 2018-08-16 2018-12-11 新智数字科技有限公司 一种基于目标再识别的跨场景追踪方法和装置及计算机视觉平台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
齐力: "《公共安全大数据技术与应用》", 31 December 2017 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112989896A (zh) * 2019-12-18 2021-06-18 广东毓秀科技有限公司 跨镜头追踪方法
CN112437278A (zh) * 2020-11-23 2021-03-02 杭州海康威视数字技术股份有限公司 一种协同监控***、装置及方法

Similar Documents

Publication Publication Date Title
CN109117827B (zh) 基于视频的工服工帽穿戴状态自动识别方法与报警***
EP3648448B1 (en) Target feature extraction method and device, and application system
CN103140862B (zh) 用户界面***及其操作方法
CN109690624A (zh) 用于视频分析的自动场景校准方法
US20170013203A1 (en) System and method for automatic camera hand-off using location measurements
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN105160297B (zh) 基于肤色特征的蒙面人事件自动检测方法
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN113052876B (zh) 一种基于深度学习的视频接力跟踪方法及***
CN101095149A (zh) 图像比较
WO2020236949A1 (en) Forensic video exploitation and analysis tools
CN110414381A (zh) 追踪式人脸识别***
CN105022999A (zh) 一种人码伴随实时采集***
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN110472551A (zh) 一种提高准确度的跨镜追踪方法、电子设备及存储介质
WO2023207276A1 (zh) 区域位置更新方法、安防***和计算机可读存储介质
CN106682652B (zh) 基于增强现实的结构表面病害巡检和分析方法
CN110969045B (zh) 一种行为检测方法、装置、电子设备和存储介质
CN107784649A (zh) 基于图像识别的芯棒测试远程报警***及方法
CN115273208A (zh) 轨迹生成方法、***、装置及电子设备
CN111753587B (zh) 一种倒地检测方法及装置
CN105095891A (zh) 一种人脸捕捉的方法，装置及***
JPH10255057A (ja) 移動物体抽出装置
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN111126378B (zh) 一种视频osd提取与覆盖区域重建的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191119