CN114758439A - 一种基于人工智能的多模态门禁*** - Google Patents

一种基于人工智能的多模态门禁*** Download PDF

Info

Publication number
CN114758439A
CN114758439A CN202011587656.XA CN202011587656A CN114758439A CN 114758439 A CN114758439 A CN 114758439A CN 202011587656 A CN202011587656 A CN 202011587656A CN 114758439 A CN114758439 A CN 114758439A
Authority
CN
China
Prior art keywords
image information
mode
dimensional
information
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011587656.XA
Other languages
English (en)
Other versions
CN114758439B (zh
Inventor
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Qiyuan Xipu Technology Co ltd
Original Assignee
Chengdu Qiyuan Xipu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Qiyuan Xipu Technology Co ltd filed Critical Chengdu Qiyuan Xipu Technology Co ltd
Priority to CN202011587656.XA priority Critical patent/CN114758439B/zh
Publication of CN114758439A publication Critical patent/CN114758439A/zh
Application granted granted Critical
Publication of CN114758439B publication Critical patent/CN114758439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/35—Individual registration on entry or exit not involving the use of a pass in combination with an identity check by means of a handwritten signature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

为了克服现有技术中门禁安全可能存在的利用高科技技术仿冒生物特征，例如使用3D打印的面具等方式，造成门禁安全问题，本发明提供了一种基于人工智能的多模态门禁***。该***基于二维和三维信息的匹配和融合技术，利用当场签名得到的文字图像信息结合人脸识别得到的三维图像信息，降低了对生物特征的依赖，避免了仿冒者利用三维打印技术对人脸识别造成的干扰。

Description

一种基于人工智能的多模态门禁***
技术领域
本发明涉及安全识别技术领域。
背景技术
随着我国经济和社会的发展，门禁安全管理***已经深入生活的方方面面，为人们的人身安全、财产安全、信息安全提供了重要的保障。门禁安全管理***是一种新型现代化的安全管理***，它涉及电子、机械、光学、计算机技术、通讯技术、生物技术等诸多新技术，是解决重要部门出入口安全防范管理的有效措施，适用于银行、宾馆、车场管理、机房、军械库、机要室、办公间、智能化小区、工厂等多种场合。
申请号为CN202010406029.5的发明专利申请公开了一种基于多模态生物特征识别的门禁安全管理***，然而尽管其结合了多种生物特征，但仍可能因为现代高科技造假技术而使得各种生物特征的匹配失败、被假冒者或仿冒者进入，从而造成门禁安全的潜在风险。
发明内容
为了克服现有技术中门禁安全可能存在的利用高科技技术仿冒生物特征，例如使用3D打印的面具等方式，造成门禁安全问题，本发明提供了一种基于人工智能的多模态门禁***，包括：
采集单元，用于采集同一时刻的姓名文字图像信息和面部图像信息，所述姓名文字图像信息与面部图像信息彼此之间通过采集各信息的传感器的采集方向为关联建立配对联系，上述文字图像信息为待检测者当场签字得到的二维图像信息，上述面部图像信息为三维图像信息；
第一输入单元，用于输入姓名文字图像信息，对该文字图像信息进行预处理，所述的姓名文字图像信息包含若干组具有相同感兴趣区域的表示形状的第一模态以及与第一模态对应的表示颜色的第二模态的静态图像信息，所述第一模态和第二模态分别位于所述静态图像信息的数据结构的不同层；
第二输入单元，用于输入与姓名文字图像信息配对的面部图像信息，所述的面部图像信息包含若干组具有相同感兴趣区域的至少形状模态以及与形状模态对应的颜色模态、速度模态、距离模态的动态图像信息，所述形状模态、颜色模态、速度模态和距离模态分别位于所述动态图像信息的数据结构的不同层；
判断单元，用于判断每组静态图像信息中不同模态的各层图像信息是否互相匹配；若每组静态图像信息中不同模态的各层图像信息互相匹配，则将对应各层姓名文字图像信息分别划分成多个二维图像块；若每组静态图像信息中不同模态的各层静态图像信息不完全匹配，则将每组数据中第一模态的静态图像信息进行三维重建、配准后再进行切分，获得包含m层第一模态的静态图像信息的第一集合，所述m为大于5的自然数；利用形态学孔洞填充方法将第一集合的信息进行清理，通过离散余弦变换的频域信息融合方法，将第一模态静态图像信息中每层切片静态图像信息与同组中对应的第二模态静态图像信息进行信息融合，并与进行三维重建、配准得到三维融合信息，其中第一维为第一模态和第二模态对应的静态图像信息融合后的信息，第二维为表示颜色的第二模态的静态图像信息，第三维表示距离且设置为0，重建后的三维融合信息与动态图像信息进行信息融合，将融合得到的信息按照所述采集方向标记为带有方向的拟识别图像子块；
训练单元，用于利用预先采集的文字图像通过深度学习的方式对神经网络模型进行初始训练；用准备好的各个方向的拟识别图像子块，将第三维设置为0以使之二维化，得到二维化图像子块，将二维化图像子块输入到神经网络模型，得到的识别结果与二维面部图像信息之一进行相似度比较：如果比较结果存在相似度小于预设阈值的则继续与其他二维面部图像信息进行相似度比较，否则模型停止相似度比较的迭代操作，保存模型。
进一步地，所述的预处理包括通过阈值处理以消除文字图像信息中可能存在的噪点的影响、和/或对面部图像信息进行插值处理以统一面部图像信息不同平面的分辨率。
进一步地，所述方向包括75°、+90°、105°这三个角度。
进一步地，所述姓名文字图像信息的每组第一模态静态图像信息与第二模态静态图像信息来自相同的待检测者。
进一步地，所述姓名文字图像信息的每组第一模态静态图像信息与第二模态静态图像信息来自不同的待检测者，作为训练所述模型时的迷惑数据。
进一步地，同种模态的图像信息采用同一台设备采集。
进一步地，所述设备为三维照相机。
本发明的有益效果在于：利用当场签名得到的文字图像信息结合人脸识别得到的三维图像信息，降低了对生物特征的依赖，避免了仿冒者利用三维打印技术对人脸识别造成的干扰。
附图说明
图1示出了本***的结构框图。
具体实施方式
一种基于人工智能的多模态门禁***，包括：
采集单元，用于采集同一时刻的姓名文字图像信息和面部图像信息，所述姓名文字图像信息与面部图像信息彼此之间通过采集各信息的传感器的采集方向为关联建立配对联系，上述文字图像信息为待检测者当场签字得到的二维图像信息，上述面部图像信息为三维图像信息；
第一输入单元，用于输入姓名文字图像信息，对该文字图像信息进行预处理，所述的姓名文字图像信息包含若干组具有相同感兴趣区域的表示形状的第一模态以及与第一模态对应的表示颜色的第二模态的静态图像信息，所述第一模态和第二模态分别位于所述静态图像信息的数据结构的不同层；
第二输入单元，用于输入与姓名文字图像信息配对的面部图像信息，所述的面部图像信息包含若干组具有相同感兴趣区域的至少形状模态以及与形状模态对应的颜色模态、速度模态、距离模态的动态图像信息，所述形状模态、颜色模态、速度模态和距离模态分别位于所述动态图像信息的数据结构的不同层；
判断单元，用于判断每组静态图像信息中不同模态的各层图像信息是否互相匹配；若每组静态图像信息中不同模态的各层图像信息互相匹配，则将对应各层姓名文字图像信息分别划分成多个二维图像块；若每组静态图像信息中不同模态的各层静态图像信息不完全匹配，则将每组数据中第一模态的静态图像信息进行三维重建、配准后再进行切分，获得包含m层第一模态的静态图像信息的第一集合，所述m为大于5的自然数；利用形态学孔洞填充方法将第一集合的信息进行清理，通过离散余弦变换的频域信息融合方法，将第一模态静态图像信息中每层切片静态图像信息与同组中对应的第二模态静态图像信息进行信息融合，并与进行三维重建、配准得到三维融合信息，其中第一维为第一模态和第二模态对应的静态图像信息融合后的信息，第二维为表示颜色的第二模态的静态图像信息，第三维表示距离且设置为0，重建后的三维融合信息与动态图像信息进行信息融合，将融合得到的信息按照所述采集方向标记为带有方向的拟识别图像子块；
训练单元，用于利用预先采集的文字图像通过深度学习的方式对神经网络模型进行初始训练；用准备好的各个方向的拟识别图像子块，将第三维设置为0以使之二维化，得到二维化图像子块，将二维化图像子块输入到神经网络模型，得到的识别结果与二维面部图像信息之一进行相似度比较：如果比较结果存在相似度小于预设阈值的则继续与其他二维面部图像信息进行相似度比较，否则模型停止相似度比较的迭代操作，保存模型。
优选地，所述的预处理包括通过阈值处理以消除文字图像信息中可能存在的噪点的影响、和/或对面部图像信息进行插值处理以统一面部图像信息不同平面的分辨率。
优选地，所述方向包括75°、+90°、105°这三个角度。
优选地，所述姓名文字图像信息的每组第一模态静态图像信息与第二模态静态图像信息来自相同的待检测者。
优选地，所述姓名文字图像信息的每组第一模态静态图像信息与第二模态静态图像信息来自不同的待检测者，作为训练所述模型时的迷惑数据。
优选地，同种模态的图像信息采用同一台设备采集。
优选地，所述设备为三维照相机。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于人工智能的多模态门禁***，其特征在于，包括：
采集单元，用于采集同一时刻的姓名文字图像信息和面部图像信息，所述姓名文字图像信息与面部图像信息彼此之间通过采集各信息的传感器的采集方向为关联建立配对联系，上述文字图像信息为二维图像信息，上述面部图像信息为三维图像信息；
第一输入单元，用于输入姓名文字图像信息，对该文字图像信息进行预处理，所述的姓名文字图像信息包含若干组具有相同感兴趣区域的表示形状的第一模态以及与第一模态对应的表示颜色的第二模态的静态图像信息，所述第一模态和第二模态分别位于所述静态图像信息的数据结构的不同层；
第二输入单元，用于输入与姓名文字图像信息配对的面部图像信息，所述的面部图像信息包含若干组具有相同感兴趣区域的至少形状模态以及与形状模态对应的颜色模态、速度模态、距离模态的动态图像信息，所述形状模态、颜色模态、速度模态和距离模态分别位于所述动态图像信息的数据结构的不同层；
判断单元，用于判断每组静态图像信息中不同模态的各层图像信息是否互相匹配；若每组静态图像信息中不同模态的各层图像信息互相匹配，则将对应各层姓名文字图像信息分别划分成多个二维图像块；若每组静态图像信息中不同模态的各层静态图像信息不完全匹配，则将每组数据中第一模态的静态图像信息进行三维重建、配准后再进行切分，获得包含m层第一模态的静态图像信息的第一集合，所述m为大于5的自然数；利用形态学孔洞填充方法将第一集合的信息进行清理，通过离散余弦变换的频域信息融合方法，将第一模态静态图像信息中每层切片静态图像信息与同组中对应的第二模态静态图像信息进行信息融合，并与进行三维重建、配准得到三维融合信息，其中第一维为第一模态和第二模态对应的静态图像信息融合后的信息，第二维为表示颜色的第二模态的静态图像信息，第三维表示距离且设置为0，重建后的三维融合信息与动态图像信息进行信息融合，将融合得到的信息按照所述采集方向标记为带有方向的拟识别图像子块；
训练单元，用于利用预先采集的文字图像通过深度学习的方式对神经网络模型进行初始训练；用准备好的各个方向的拟识别图像子块，将第三维设置为0以使之二维化，得到二维化图像子块，将二维化图像子块输入到神经网络模型，得到的识别结果与二维面部图像信息之一进行相似度比较：如果比较结果存在相似度小于预设阈值的则继续与其他二维面部图像信息进行相似度比较，否则模型停止相似度比较的迭代操作，保存模型。
2.根据权利要求1所述的基于人工智能的多模态门禁***，其特征在于：所述的预处理包括通过阈值处理以消除文字图像信息中可能存在的噪点的影响、和/或对面部图像信息进行插值处理以统一面部图像信息不同平面的分辨率。
3.根据权利要求1所述基于人工智能的多模态门禁***，其特征在于，所述方向包括75°、+90°、105°这三个角度。
4.根据权利要求1所述基于人工智能的多模态门禁***，其特征在于：所述姓名文字图像信息的每组第一模态静态图像信息与第二模态静态图像信息来自相同的待检测者。
5.根据权利要求1所述基于人工智能的多模态门禁***，其特征在于：所述姓名文字图像信息的每组第一模态静态图像信息与第二模态静态图像信息来自不同的待检测者，作为训练所述模型时的迷惑数据。
6.根据权利要求1所述基于人工智能的多模态门禁***，其特征在于：同种模态的图像信息采用同一台设备采集。
7.根据权利要求6所述基于人工智能的多模态门禁***，其特征在于：所述设备为三维照相机。
CN202011587656.XA 2020-12-29 2020-12-29 一种基于人工智能的多模态门禁*** Active CN114758439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011587656.XA CN114758439B (zh) 2020-12-29 2020-12-29 一种基于人工智能的多模态门禁***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011587656.XA CN114758439B (zh) 2020-12-29 2020-12-29 一种基于人工智能的多模态门禁***

Publications (2)

Publication Number Publication Date
CN114758439A true CN114758439A (zh) 2022-07-15
CN114758439B CN114758439B (zh) 2023-07-18

Family

ID=82324351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011587656.XA Active CN114758439B (zh) 2020-12-29 2020-12-29 一种基于人工智能的多模态门禁***

Country Status (1)

Country Link
CN (1) CN114758439B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758440A (zh) * 2020-12-29 2022-07-15 成都启源西普科技有限公司 基于图像和文字混合识别的门禁***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004008379A2 (en) * 2002-06-17 2004-01-22 Mason Ricardo Storm Identity verification
CN1689042A (zh) * 2003-01-28 2005-10-26 富士通株式会社 生物测量信息登记装置、生物测量信息校验装置、生物测量信息登记/校验***和生物测量信息登记程序
CN103426016A (zh) * 2013-08-14 2013-12-04 湖北微模式科技发展有限公司 一种第二代身份证真伪鉴别方法与装置
CN105631272A (zh) * 2016-02-02 2016-06-01 云南大学 一种多重保险的身份认证方法
CN107507286A (zh) * 2017-08-02 2017-12-22 五邑大学 一种基于人脸和手写签名的双模态生物特征签到***
US20200026908A1 (en) * 2018-07-23 2020-01-23 The Mitre Corporation Name and face matching
CN111599044A (zh) * 2020-05-14 2020-08-28 哈尔滨学院 一种基于多模态生物特征识别的门禁安全管理***
WO2020241987A1 (ko) * 2019-05-27 2020-12-03 주식회사 시큐브 얼굴 인식 및 수기 서명 검증 기반의 사용자 인증 방법 및 장치
CN114758440A (zh) * 2020-12-29 2022-07-15 成都启源西普科技有限公司 基于图像和文字混合识别的门禁***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004008379A2 (en) * 2002-06-17 2004-01-22 Mason Ricardo Storm Identity verification
CN1689042A (zh) * 2003-01-28 2005-10-26 富士通株式会社 生物测量信息登记装置、生物测量信息校验装置、生物测量信息登记/校验***和生物测量信息登记程序
CN103426016A (zh) * 2013-08-14 2013-12-04 湖北微模式科技发展有限公司 一种第二代身份证真伪鉴别方法与装置
CN105631272A (zh) * 2016-02-02 2016-06-01 云南大学 一种多重保险的身份认证方法
CN107507286A (zh) * 2017-08-02 2017-12-22 五邑大学 一种基于人脸和手写签名的双模态生物特征签到***
US20200026908A1 (en) * 2018-07-23 2020-01-23 The Mitre Corporation Name and face matching
WO2020241987A1 (ko) * 2019-05-27 2020-12-03 주식회사 시큐브 얼굴 인식 및 수기 서명 검증 기반의 사용자 인증 방법 및 장치
CN111599044A (zh) * 2020-05-14 2020-08-28 哈尔滨学院 一种基于多模态生物特征识别的门禁安全管理***
CN114758440A (zh) * 2020-12-29 2022-07-15 成都启源西普科技有限公司 基于图像和文字混合识别的门禁***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758440A (zh) * 2020-12-29 2022-07-15 成都启源西普科技有限公司 基于图像和文字混合识别的门禁***

Also Published As

Publication number Publication date
CN114758439B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN109583342B (zh) 基于迁移学习的人脸活体检测方法
Zhang et al. Siamese neural network based gait recognition for human identification
Zaeri Minutiae-based fingerprint extraction and recognition
CN102629320B (zh) 基于特征层定序测量统计描述的人脸识别方法
CN106919921B (zh) 结合子空间学习与张量神经网络的步态识别方法及***
Alheeti Biometric iris recognition based on hybrid technique
CN112069891B (zh) 一种基于光照特征的深度伪造人脸鉴别方法
CN104361319A (zh) 一种基于svm-rfe特征选择的假指纹检测方法
CN111507320A (zh) 后厨违规行为检测方法、装置、设备和存储介质
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
Barni et al. Iris deidentification with high visual realism for privacy protection on websites and social networks
Li et al. Face liveness detection and recognition using shearlet based feature descriptors
CN114758439A (zh) 一种基于人工智能的多模态门禁***
CN114758440B (zh) 基于图像和文字混合识别的门禁***
Luo et al. Facial metamorphosis using geometrical methods for biometric applications
CN116631068B (zh) 一种基于深度学习特征融合的掌静脉活体检测方法
CN112700576B (zh) 基于图像与文字的多模态识别算法
CN106845500A (zh) 一种基于Sobel算子的人脸光照不变特征提取方法
CN116311477A (zh) 一种面向跨身份一致性的面部运动单元检测模型构建方法
Kalangi et al. Deployment of Haar Cascade algorithm to detect real-time faces
JP2008129679A (ja) 指紋判別モデル構築方法、指紋判別方法、本人認証方法、指紋判別装置、および、本人認証装置
Chua et al. Fingerprint Singular Point Detection via Quantization and Fingerprint Classification.
JP2010009377A (ja) 照合システム、照合方法、プログラム及び記録媒体
CN109035171A (zh) 一种网纹人脸图像修复方法
Hirose et al. Discrimination between genuine and cloned gait silhouette videos via autoencoder-based training data generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant