CN109583421A - 人脸识别***及方法 - Google Patents

人脸识别***及方法 Download PDF

Info

Publication number
CN109583421A
CN109583421A CN201811541785.8A CN201811541785A CN109583421A CN 109583421 A CN109583421 A CN 109583421A CN 201811541785 A CN201811541785 A CN 201811541785A CN 109583421 A CN109583421 A CN 109583421A
Authority
CN
China
Prior art keywords
face
photo
identified
characteristic value
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811541785.8A
Other languages
English (en)
Inventor
孔子毓
喻之斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201811541785.8A priority Critical patent/CN109583421A/zh
Publication of CN109583421A publication Critical patent/CN109583421A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人脸识别方法，包括：选取基准照片，提取所述基准照片中已知人脸的特征值；对待识别照片进行预处理，取出待识别照片中的人脸部位；提取待识别照片中的人脸部位的特征值，并根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别。本发明还涉及一种人脸识别***。本发明能够降低人脸识别产品的开发成本，使其可以方便地部署于家庭、小型企业等应用场景，并且便于维护与扩展。

Description

人脸识别***及方法
技术领域
本发明涉及一种人脸识别***及方法。
背景技术
人脸识别技术作为方兴未艾的新兴技术，现已广泛的适用于身份识别领域，包括但不限于手机解锁、刷脸支付、银行账户身份认证等。这将大大的提高我们日常生活的便利性，并能一定程度上提高我们的日常生活中的安全指数。
当前主流的人脸识别主要通过截取人的正脸照片，通过网络上传给高性能服务器进行计算后返回其结果，来进行用户身份的认证。
但是，现有的人脸识别技术基本是属于社会公用范畴，对于需求较小的用户群体，如小型企业和家庭用户，部署和使用不便且成本较高。同时，随着用户群体的增加，人脸识别匹配失误的情况时有发生，使得大众对于该技术的安全性产生怀疑。
发明内容
有鉴于此，有必要提供一种人脸识别***及方法。
本发明提供一种人脸识别***，该***包括该***包括相互电性连接的选择模块、预处理模块及识别模块，其中：所述选择模块用于选取基准照片，提取所述基准照片中已知人脸的特征值；所述预处理模块用于对待识别照片进行预处理，取出待识别照片中的人脸部位；所述识别模块用于提取待识别照片中的人脸部位的特征值，并根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别。
其中，所述人脸的特征值为人脸轮廓的相对位置信息，包括但不限于：眼睛的位置、鼻子的位置、嘴角的位置、面部轮廓曲线上点的位置。
所述对待识别照片进行预处理包括：从待识别照片中取出人脸部位，对所述取出的人脸部位进行白化处理。
所述根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别，包括：
对于单张待识别照片，采用计算得到相关距离，确定最终识别结果：
其中，分数上半部分为两向量之间的协方差，下半部分为两向量的标准差，ρXY的值在-1～1之间，绝对值越大说明二者相关度越高，即越相似。
所述根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别，还包括：对于视频环境下连续截取多张照片通过投票机制来确定最终识别结果。
本发明提供一种人脸识别方法，该方法包括如下步骤：a.选取基准照片，提取所述基准照片中已知人脸的特征值；b.对待识别照片进行预处理，取出待识别照片中的人脸部位；c.提取待识别照片中的人脸部位的特征值，并根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别。
其中，所述人脸的特征值为人脸轮廓的相对位置信息，包括但不限于：眼睛的位置、鼻子的位置、嘴角的位置、面部轮廓曲线上点的位置。
所述对待识别照片进行预处理包括：从待识别照片中取出人脸部位，对所述取出的人脸部位进行白化处理。
所述的步骤c具体包括：
对于单张待识别照片，采用计算得到相关距离，确定最终识别结果：
其中，分数上半部分为两向量之间的协方差，下半部分为两向量的标准差，ρXY的值在-1～1之间，绝对值越大说明二者相关度越高，即越相似。
所述步骤c还包括：对于视频环境下连续截取多张照片通过投票机制来确定最终识别结果。
本发明设计了一套不需要使用互联网就可以本地完成人脸识别的技术框架，通过使用Movidius这一方便的神经网络加速工具，来实现身份认证的本地化与脱机化，使得验证结果不需要与超级服务器进行互联。降低人脸识别产品的开发成本，使其可以方便地部署于家庭、小型企业等应用场景，并且便于理解与维护，也方便应用进行扩展，在更多的领域发挥作用。同时对于识别失误的情况进行了理论与实验的分析，给出了一套可以明显降低失败率的人脸识别框架，提高***的安全性。
附图说明
图1为本发明人脸识别***的功能模块图；
图2为本发明实施例选取基准照片时携带眼镜带入距离误差的示意图；
图3为本发明人脸识别方法的作业流程图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细的说明。
参阅图1所示，是本发明实施例人脸识别***的功能模块图。该***包括：选择模块、预处理模块及识别模块。其中：
所述选择模块用于选取基准照片。具体而言：在本地计算机上选取基准照片放入人脸识别的照片库，提取所述基准照片中已知人脸的特征值，并进行存储。
进一步地，所述选择模块利用卷积神经网络(CNN)进行特征值提取，所述卷积神经网络适用于图像信息的快速提取。本实施例中，采用的是谷歌开源项目FaceNet已训练好的神经网络参数，所述网络经过训练能够提取出人脸轮廓的相对位置信息，以向量形式表示(1*n的向量)，上述以向量形式表示的人脸轮廓的相对位置信息就是人脸的特征值。
简单来讲，所述人脸的特征值就是人脸轮廓的相对位置信息，包括但不限于：眼睛的位置、鼻子的位置、嘴角的位置、面部轮廓曲线上点的位置等。所述人脸的特征值提取出来后以1*n的向量形式返回。
在本实施例中，基准图片的选择关乎识别人脸成功率的根本。清晰、优质的基准图片能提供更加准确的特征向量，降低误识别的风险。在本实施例中，基准图片的选择主要有以下三个准则：
1.正面光源。强的正面光源使得人脸的特征更易识别。而若光线不佳，白化后易产生阴影，降低图片质量。
2.更高的分辨率。将低分辨率图片转化为高分辨率图片时会触发上采样，使得图片更加模糊，特征点识别困难，不能获得准确的特征向量。
3.不佩戴眼镜等装饰物。实际操作表明，携带眼镜将带入0.1～0.2左右的距离误差(请参考附图2)，降低识别成功的可能性。
所述预处理模块用于将已融合的传感器实时数据进行数据处理。具体而言：
所述预处理模块对待识别照片进行预处理，取出待识别照片中的人脸部位。具体而言：
对待识别照片进行预处理包括：
首先，从所述待识别照片中取出人脸部位：通过从待识别图像取出人脸部位进行精确识别，能够极大提高后续识别的成功率。
然后，对所述取出的人脸部位进行白化处理：对人脸部位进行白化处理，能够降低背景中相关性较强的噪声对特征的干扰，比如日光灯的光线、大块色彩相同的背景等。通过观察发现，背景灯光较强会一定程度上影响摄像头读入的图像的识别准确度，在进行白化处理后，显著降低了这部分的影响。
所述识别模块用于对上述取出的待识别照片中的人脸部位进行特征向量的提取，并与存储的已知人脸的特征值进行比对，比对成功即为成功识别。
其中，所述识别模块所述对上述取出的待识别照片中的人脸部位进行特征向量的提取包括：提取待识别照片中眼睛的位置、鼻子的位置、嘴角的位置、面部轮廓曲线点的位置的特征向量。
在一些实施例中，比对这一步会有错误出现。当阈值设置不合理，或者由于环境光线问题产生了错误匹配，将会产生难以预计的后果。为，本实施例所述识别模块采用如下方法来降低误匹配概率：
采用距离计算不采用欧式距离，采用相关距离进行计算。
具体而言，在本实施例中，相关距离采用下述公式进行计算：
其中，分数上半部分为两向量之间的协方差，下半部分为两向量的标准差。这个值在-1～1之间，绝对值越大说明二者相关度越高，即越相似。
对于视频环境下连续截取多张照片还要通过投票机制来确定最终识别结果：在视频环境下，连续截取多张照片分别进行比对，仅在对象连续多次匹配成功后才给与权限，若失败超n次就重新计数。
具体而言，投票机制是在视频环境下，连续截取多张图片进行比对。在本例中设置为12，即只有连续12次认证均说明待识别照片的人物与本地图片库中某人的特征相符，才判断该人物是内部人员。出错超过3次(包括未匹配与匹配到其他人的情况)，将计数器清零(即需要重新进行12次验证)。
参阅图3所示，是本发明人脸识别方法的作业流程图。
步骤S101，选取基准照片。具体而言：在本地计算机上选取基准照片放入人脸识别的照片库，提取所述基准照片中已知人脸的特征值，并进行存储。
进一步地，利用卷积神经网络(CNN)进行特征值提取，所述卷积神经网络适用于图像信息的快速提取。本实施例中，采用的是谷歌开源项目FaceNet已训练好的神经网络参数，所述网络经过训练能够提取出人脸轮廓的相对位置信息，以向量形式表示(1*n的向量)，上述以向量形式表示的人脸轮廓的相对位置信息就是人脸的特征值。
简单来讲，所述人脸的特征值就是人脸轮廓的相对位置信息，包括但不限于：眼睛的位置、鼻子的位置、嘴角的位置、面部轮廓曲线上点的位置等。所述人脸的特征值提取出来后以1*n的向量形式返回。
在本实施例中，基准图片的选择关乎识别人脸成功率的根本。清晰、优质的基准图片能提供更加准确的特征向量，降低误识别的风险。在本实施例中，基准图片的选择主要有以下三个准则：
1.正面光源。强的正面光源使得人脸的特征更易识别。而若光线不佳，白化后易产生阴影，降低图片质量。
2.更高的分辨率。将低分辨率图片转化为高分辨率图片时会触发上采样，使得图片更加模糊，特征点识别困难，不能获得准确的特征向量。
3.不佩戴眼镜等装饰物。实际操作表明，携带眼镜将带入0.1～0.2左右的距离误差(请参考附图2)，降低识别成功的可能性。
步骤S102，对待识别照片进行预处理，取出待识别照片中的人脸部位。具体而言：
对待识别照片进行预处理包括：
首先，从所述待识别照片中取出人脸部位：通过从待识别图像取出人脸部位进行精确识别，能够极大提高后续识别的成功率。
然后，对所述取出的人脸部位进行白化处理：对人脸部位进行白化处理，能够降低背景中相关性较强的噪声对特征的干扰，比如日光灯的光线、大块色彩相同的背景等。通过观察发现，背景灯光较强会一定程度上影响摄像头读入的图像的识别准确度，在进行白化处理后，显著降低了这部分的影响。
步骤S103，根据所述基准照片对预处理后的待识别照片进行人脸识别。具体而言：
对上述取出的待识别照片中的人脸部位进行特征向量的提取，并与存储的已知人脸的特征值进行比对，比对成功即为成功识别。
其中，所述对上述取出的待识别照片中的人脸部位进行特征向量的提取包括：提取待识别照片中眼睛的位置、鼻子的位置、嘴角的位置、面部轮廓曲线点的位置的特征向量。
在一些实施例中，比对这一步会有错误出现。当阈值设置不合理，或者由于环境光线问题产生了错误匹配，将会产生难以预计的后果。为，本实施例采用如下方法来降低误匹配概率：
采用距离计算不采用欧式距离，采用相关距离进行计算。
具体而言，在本实施例中，相关距离采用下述公式进行计算：
其中，分数上半部分为两向量之间的协方差，下半部分为两向量的标准差。这个值在-1～1之间，绝对值越大说明二者相关度越高，即越相似。
对于视频环境下连续截取多张照片还要通过投票机制来确定最终识别结果：在视频环境下，连续截取多张照片分别进行比对，仅在对象连续多次匹配成功后才给与权限，若失败超n次就重新计数。
具体而言，投票机制是在视频环境下，连续截取多张图片进行比对。在本例中设置为12，即只有连续12次认证均说明待识别照片的人物与本地图片库中某人的特征相符，才判断该人物是内部人员。出错超过3次(包括未匹配与匹配到其他人的情况)，将计数器清零(即需要重新进行12次验证)。
值得说明的是，本发明能够提高框架在一般设备上CPU利用率：
本发明的关键在于利用多进程，及合理分派进程资源来保证CPU的利用率。将从摄像头取图像与和Movidius神经计算棒的交互置于主进程中，规避了许多与I/O有关的问题，使得程序更加健壮；将耗时较为严重的白化和MTCNN(Muli-Task CNN，多层CNN卷积神经网络)用多进程处理，加快运行效率。
虽然本发明参照当前的较佳实施方式进行了描述，但本领域的技术人员应能理解，上述较佳实施方式仅用来说明本发明，并非用来限定本发明的保护范围，任何在本发明的精神和原则范围之内，所做的任何修饰、等效替换、改进等，均应包含在本发明的权利保护范围之内。

Claims (10)

1.一种人脸识别***，其特征在于，该***包括相互电性连接的选择模块、预处理模块及识别模块，其中：
所述选择模块用于选取基准照片，提取所述基准照片中已知人脸的特征值；
所述预处理模块用于对待识别照片进行预处理，取出待识别照片中的人脸部位；
所述识别模块用于提取待识别照片中的人脸部位的特征值，并根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别。
2.如权利要求1所述的***，其特征在于，所述人脸的特征值为人脸轮廓的相对位置信息，包括但不限于：眼睛的位置、鼻子的位置、嘴角的位置、面部轮廓曲线上点的位置。
3.如权利要求2所述的***，其特征在于，所述对待识别照片进行预处理包括：从待识别照片中取出人脸部位，对所述取出的人脸部位进行白化处理。
4.如权利要求3所述的***，其特征在于，所述根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别，包括：
对于单张待识别照片，采用计算得到相关距离，确定最终识别结果：
其中，分数上半部分为两向量之间的协方差，下半部分为两向量的标准差，ρXY的值在-1～1之间，绝对值越大说明二者相关度越高，即越相似。
5.如权利要求4所述的***，其特征在于，所述根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别，还包括：
对于视频环境下连续截取多张照片通过投票机制来确定最终识别结果。
6.一种人脸识别方法，其特征在于，该方法包括如下步骤：
a.选取基准照片，提取所述基准照片中已知人脸的特征值；
b.对待识别照片进行预处理，取出待识别照片中的人脸部位；
c.提取待识别照片中的人脸部位的特征值，并根据所述待识别照片中的人脸部位的特征值与所述基准照片中已知人脸的特征值进行人脸识别。
7.如权利要求6所述的方法，其特征在于，所述人脸的特征值为人脸轮廓的相对位置信息，包括但不限于：眼睛的位置、鼻子的位置、嘴角的位置、面部轮廓曲线上点的位置。
8.如权利要求7所述的方法，其特征在于，所述对待识别照片进行预处理包括：从待识别照片中取出人脸部位，对所述取出的人脸部位进行白化处理。
9.如权利要求8所述的方法，其特征在于，所述的步骤c具体包括：
对于单张待识别照片，采用计算得到相关距离，确定最终识别结果：
其中，分数上半部分为两向量之间的协方差，下半部分为两向量的标准差，ρXY的值在-1～1之间，绝对值越大说明二者相关度越高，即越相似。
10.如权利要求9所述的方法，其特征在于，所述步骤c还包括：
对于视频环境下连续截取多张照片通过投票机制来确定最终识别结果。
CN201811541785.8A 2018-12-17 2018-12-17 人脸识别***及方法 Pending CN109583421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811541785.8A CN109583421A (zh) 2018-12-17 2018-12-17 人脸识别***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811541785.8A CN109583421A (zh) 2018-12-17 2018-12-17 人脸识别***及方法

Publications (1)

Publication Number Publication Date
CN109583421A true CN109583421A (zh) 2019-04-05

Family

ID=65929747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811541785.8A Pending CN109583421A (zh) 2018-12-17 2018-12-17 人脸识别***及方法

Country Status (1)

Country Link
CN (1) CN109583421A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111245103A (zh) * 2020-03-31 2020-06-05 贵州电网有限责任公司 一种基于神经计算棒的电网变压器铭牌的显示和存储***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344914A (zh) * 2007-07-09 2009-01-14 上海耀明仪表控制有限公司 基于特征点的人脸识别方法
CN102194131B (zh) * 2011-06-01 2013-04-10 华南理工大学 基于五官几何比例特征的快速人脸识别方法
CN104484669A (zh) * 2014-11-24 2015-04-01 苏州福丰科技有限公司 基于三维人脸识别的手机支付方法
CN106960214A (zh) * 2017-02-17 2017-07-18 北京维弦科技有限责任公司 基于图像的物体识别方法
CN106980819A (zh) * 2017-03-03 2017-07-25 竹间智能科技（上海）有限公司 基于人脸五官的相似度判别***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344914A (zh) * 2007-07-09 2009-01-14 上海耀明仪表控制有限公司 基于特征点的人脸识别方法
CN102194131B (zh) * 2011-06-01 2013-04-10 华南理工大学 基于五官几何比例特征的快速人脸识别方法
CN104484669A (zh) * 2014-11-24 2015-04-01 苏州福丰科技有限公司 基于三维人脸识别的手机支付方法
CN106960214A (zh) * 2017-02-17 2017-07-18 北京维弦科技有限责任公司 基于图像的物体识别方法
CN106980819A (zh) * 2017-03-03 2017-07-25 竹间智能科技（上海）有限公司 基于人脸五官的相似度判别***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111245103A (zh) * 2020-03-31 2020-06-05 贵州电网有限责任公司 一种基于神经计算棒的电网变压器铭牌的显示和存储***

Similar Documents

Publication Publication Date Title
EP4022474A2 (en) Id verification with a mobile device
CN109255299A (zh) 身份认证方法和装置、电子设备和存储介质
CN103530659B (zh) 结合原始和对称脸人脸图像的人脸识别方法及考勤***
CN107438854A (zh) 使用移动设备捕获的图像执行基于指纹的用户认证的***和方法
US8515127B2 (en) Multispectral detection of personal attributes for video surveillance
CN107680294A (zh) 房产信息查询方法、***、终端设备及存储介质
CN101276421A (zh) 人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置
CN110427972A (zh) 证件视频特征提取方法、装置、计算机设备和存储介质
Paul et al. Extraction of facial feature points using cumulative histogram
Prasanna et al. Development of real time face recognition system using OpenCV
Suwannakhun et al. Identification and Retrieval System by Using Face Detection
CN104217503A (zh) 自助终端的身份识别方法及对应的房产证明打印方法
CN108230536A (zh) 一种对光可变防伪标识识别方法及装置
CN204143555U (zh) 身份识别自助终端及对应的房产证明打印终端
Galbally et al. Study on face identification technology for its implementation in the Schengen information system
CN104217504A (zh) 身份识别自助终端及对应的房产证明打印终端
CN105184236A (zh) 机器人人脸识别***
CN109977837A (zh) 基于人体姿态不变特征的行人再识别方法
CN109583421A (zh) 人脸识别***及方法
Winter et al. Demystifying face-recognition with locally interpretable boosted features (libf)
Sun et al. Opportunities and challenges for biometrics
Qinjun et al. Facial Recognition Technology: A Comprehensive Overview
WO2023192808A1 (en) Authentication of age, gender, and other biometric data from live images of users
CN114373213A (zh) 基于人脸识别的未成年人身份识别方法及装置
Bouma et al. Authentication of travel and breeder documents

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication