CN108874137B - 一种基于脑电信号的手势动作意图检测的通用模型 - Google Patents

一种基于脑电信号的手势动作意图检测的通用模型 Download PDF

Info

Publication number
CN108874137B
CN108874137B CN201810616464.3A CN201810616464A CN108874137B CN 108874137 B CN108874137 B CN 108874137B CN 201810616464 A CN201810616464 A CN 201810616464A CN 108874137 B CN108874137 B CN 108874137B
Authority
CN
China
Prior art keywords
model
electroencephalogram signals
gesture
electroencephalogram
intention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810616464.3A
Other languages
English (en)
Other versions
CN108874137A (zh
Inventor
毕路拯
王晓光
王会康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810616464.3A priority Critical patent/CN108874137B/zh
Publication of CN108874137A publication Critical patent/CN108874137A/zh
Application granted granted Critical
Publication of CN108874137B publication Critical patent/CN108874137B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于脑电信号的手部动作意图检测的通用模型。具体的来说,通过处理采集的脑电信号,通过卷积神经网络的方法搭建一个通用模型,实现对受试者有无意图做手部动作的检测。本发明提出的模型是一种通用模型,不同于之前工作中的个人模型,该模型不将参与者的脑电信号用于训练而直接参与测试,训练的数据来自于其他的参与者,实验者通过对脑电信号的分析获得模型的准确率。本发明属于计算机领域、车辆设计领域、人机交互科学、心理科学、认知神经科学和自动控制领域的综合应用。

Description

一种基于脑电信号的手势动作意图检测的通用模型
技术领域
本发明涉及一种基于脑电信号的手势动作意图检测的通用模型。具体的来说,通过处理采集的脑电信号,通过卷积神经网络的方法搭建一个通用模型,实现对受试者有无意图做手势动作的检测。本发明提出的模型是一种通用模型,不同于之前工作中的个人模型,该模型不将参与者的脑电信号用于训练而直接参与测试,训练的数据来自于其他的参与者,实验者通过对脑电信号的分析获得模型的准确率。本发明属于计算机领域、车辆设计领域、人机交互科学、心理科学、认知神经科学和自动控制领域的综合应用。
背景技术
日常生活中,我们的手势动作在很多情况下是无意识情况下做出来的。比如,驾驶者驾驶车辆时由于疲劳或者紧张导致的急刹车以及打方向盘等情况,或者指挥员由于个人习惯等原因无意中做出的某些手势,会与某些命令手势相近,给命令执行者带来困惑。不仅如此,除了手势动作的真假意图识别,对于身体其他部位的动作意图的识别也是很有必要的。近年来,随着计算机处理能力和性能的提高,深度学习领域得到了极大的发展,在图像处理、自然语言处理和脑机接口等方面都有着极大的应用。
目前许多方法已经研究了如何使用外部传感器来检测可能出现的紧急情况并采用一些措施来避免紧急情况的发生。但是,对于如何区分手势动作的意图还是一个新的研究方向,不仅如此,对于传统的通过外部传感器来预测紧急事件发生并不是从人的角度去解析明亮,而是对环境信息的感知。通常情况下,人自己本身也不能感知自己做的动作是否是停止手势动作意图或者非意图,而脑-机接口(BCI)可以在人脑和计算机或其他外界设备之间建立一种直接的信息交流和控制通道,是一种不依赖与常规大脑输出通路(***神经和肌肉组织)的全新的信息交流***。应用脑-机接口,通过人在做手势动作时的脑电信号来区分手势动作的意图,目前研究人员还没有提出相关的基于BCI的手势动作意图检测***,而且已有的研究模型都是基于一种个人模型,即一个人一个模型,这种方法在实际应用中相当费时,就目前情况看,该个人模型远达不到实际应用的要求。
我们认为个人模型在应用层面是不适合的,基于脑电信号的识别手势动作意图检测***是要能够适应不同的参与者。搭建一个适用于不同参与者的通用模型和手势动作的意图检测,是本发明的主要目的。
发明内容
根据本发明要求,提供一种基于脑电信号的手势动作意图检测的通用模型方法,包括脑电信号的采集与预处理,卷积神经网络的构建模型。脑电采集模块用于接收脑电信号,然后实验者对脑电信号进行处理,输入搭建的卷积神经网络中,识别受试者的手势动作意图,并检测该通用模型的效果。
本发明涉及一种驾驶员手势动作意图检测的通用模型方法,所述方法包括:步骤1,搭建实验场景,确定实验对象,分别采集参与者脑电信号;步骤2,首先将脑电信号进行处理,将得到的离线脑电信号进行训练(训练所用脑电信号不参与测试),得到模型;步骤3,将其余的参与者的脑电信号输入已得到的模型进行测试,判断该参与者的使用该模型的准确度。
所述,步骤1包括:步骤11,确定实验场地,搭建实验场景,确地实验参与者,并告知参与者实验注意事项,以及做好应对实验过程中突然事件发生的准备;步骤12,通过置于用户大脑头皮上的脑电电极采集用户的脑电信号,并通过脑电放大器获得并输出待处理的脑电信号;
所述,步骤2包括:步骤21,对采集到的部分参与者的脑电信号进行处理,得到停止手势意图样本和非停止手势意图样本,标记停止手势意图的信号片段;步骤22,搭建卷积神经网络,调参,调试通用模型,得到模型的训练准确度。
所述,步骤3包括:步骤31,将剩余参与者的原始脑电信号按照之前的处理方法处理,得到与训练时数据同样性质的可以输入搭建好模型的信号;步骤 32,将处理好的信号输入步骤2中搭建好的通用模型中,并测试得到该模型的准确度。
所述,步骤21包括:步骤211,对脑电信号进行降采样处理,将1000赫兹的采样频率降到200赫兹,并将降采样的脑电信号做正则化处理;步骤212,对长序列的脑电信号进行取样,刹车事件发生的时刻后一秒的信号作为停止手势意图样本,刹车事件发生的时刻前三秒到四秒的信号作为非意图样本;
所述,步骤22包括:步骤221,将用于训练的参与者的脑电信号停止手势意图和非意图样本输入搭建的卷积神经网络;步骤222,根据网络输出结果进行调参,确定适合该模型的卷积层数、学习率、各层卷积核大小和个数、激活函数;步骤223,完成卷积神经网络的搭建,并确定搭建好的通用模型(八位受试者参与训练,这八位受试者的数据不参与测试)。
所述,步骤32进一步阐述为:步骤321,将剩余的实验参与者的脑电信号 (共五位)按照之前的处理方法处理,分别输入搭建好的通用模型;步骤322,得到该模型的分类准确率,并在得到结果后分析该模型的性能。
本发明提出一种基于脑电信号的手势动作意图检测的通用模型方法,其有利于提高脑控车及自动驾驶***的安全性和驾驶体验,并可能在应用层面得到更佳的体验。不仅如此,除了在脑控车领域,将来在军队指挥员的手势识别等将会有很大帮助。
附图说明
图1为本发明的工作***框图;
图2为本发明所需要采集的脑电信号对应的通道位置;
图3为本发明的模型示意图;
具体实施方式
本发明所描述的基于脑电信号的手势动作真假意图检测的通用模型方法特别适用于应用层面,本领域技术人员可以根据该发明的基础和原理,与现有的各种检测***相结合,进一步扩展或者提高该模型的性能。
本发明的基本原理是当有停止需要发生时,驾驶员在遇到行人过马路时做停止手势,否则在没遇到行人时一直做停止手势与启动手势交替,通过对驾驶员脑电信号进行处理来检测真刹车意图;检测真刹车意图时,并不是应用同一个参与者的数据,而是根据不同人在相似或者相同的环境条件下,以及在相同的刺激下,脑电信号的相似性或者同步性,用多位参与者的数据通过卷积神经网络搭建一个通用模型,该模型在实验条件下适用于其他不同的参与者,相信在将来应用层面中,基于大量的数据,该模型将会得到更好的进步,更好的应用。
下面结合附图和具体实施例对本发明提供的基于脑电信号的手势动作真假意图检测的通用模型方法进行详细描述。
同时,在这里做以说明的是,为了使实施例更加详尽,下面的实施例为最佳、优选实施例,对于一些公知技术本领域技术人员也可采用其他替代方式而进行实施;而且附图部分仅是为了更具体的描述实施例,而并不旨在对本发明进行具体的限定。
本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解,在以下本发明优选实施例中详细说明了具体的细节,而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。另外,为了避免对本发明的实质造成不必要的混淆,并没有详细说明众所周知的方法、过程、流程、元件和电路等。
在本发明的实施例中,提出了一种基于脑电信号的手势动作真假意图检测的通用模型方法,参考图1,该***包括基于脑电信号的手势动作真假意图脑电信号的采集和卷积神经网络的信号特征提取和分类。
所述模型需要采集和预处理脑电信号;
其中,脑电信号的采集应用脑电采集仪采集脑电信号并且进行放大和模数转换,并得到采集的离线脑电信号。采集的通道总数共16个,根据“10-20国际标准导联”将脑电采集电极放置在使用者头部的F3,F4,Fz,C3,C4,Cz,P7,P3,P4,P8,Pz,O1,O2,Oz,T7,T8位置,将参考电极放置在使用者耳垂上的A11、A12位置(各电极位置如图2所示)。采样频率设置为1000Hz。
其中,获得离线脑电信号后需要进行正则化处理,处理过程如下:
1)滤波去噪
由于采集脑电信号时极易受到外界的噪音干扰等,所以首先对脑电信号进行滤波处理,以滤除低频动作干扰等,对每个通道的脑电数据进行带通滤波,截止频率为0.53-60Hz。
2)降采样和正则化
脑电数据被降采样到200Hz以降低计算量,即从原来1000赫兹的采样频率降为200赫兹。在将降采样的信号输入卷积神经网络之前,需要对脑电信号进行正则化处理,处理方法如下:
Figure RE-GDA0001772947680000041
其中,Xi,j是脑电信号在第i个通道的第j个采样点
Figure RE-GDA0001772947680000042
和σi是脑电信号采样Xi,j在第i个通道上的均值和标准差,该计算方法将使得到的降采样的离线的离散脑电信号正则化。
所述模型的搭建基础是卷积神经网络;
其中,卷积神经网络基本原理如下:
与传统的机器学习方法和神经网络相比,一方面,卷积神经网络通过稀疏连接和权值共享,减少了权重的数量,使网络易于优化,另一方面,过度拟合的风险降低。作为一种神经网络,权值共享的网络结构使其与生物神经网络更加相似,降低了网络模型的复杂度。它具有传统神经网络不具备的优点,如良好的容错性,并行处理能力和自学习能力。在本发明中,我们设计了一种用于检测紧急刹车意图(紧急和正常驾驶意图分类)的新型卷积神经网络结构。如图3所示,所提出的网络由六层组成:1)输入层,2)第一卷积层,3)第二卷积层,4)第三卷积层,5)完全连接层,以及6)输出层。
1)输入层
CNN网络的输入是矩阵X,其大小为200×16(即,每个信道中有16个信道和200个采样点)。X是由(1)得到的归一化EEG信号。
2)卷积层
卷积处理模拟具有局部接受性的简单神经元,并通过稀疏连接和权值共享的方法提取一些主要信号特征,卷积层中每个神经元的输入来自前一层的输出,特征映射的大小由卷积核的大小决定。
在本发明模型中,使用了三层卷积网络,如图2所示,输入通过三个卷积层到达全连接层,每层的卷积表达式为:
Figure RE-GDA0001772947680000051
其中c(c=1,2,3)是卷积层数,F是卷积滤波器,b是偏置。Nc是卷积层c的卷积滤波器的数量。
目前,各种各样的激活函数已经被提出,常见的有sigmoid函数、softmax 函数等,在本发明的卷积神经网络中的卷积层中,该卷积层的输出(下一层的输入)为:
HC=tanh(HC'), (3)
在常规的卷积神经网络中,每个卷积层后面通常有下采样层(池化层)。由于下采样将会导致脑电信号的波谷或者波峰的某些信息地市,所以在本发明中,为了保留脑电信号的大部分信息,我们不使用下采样层。
3)全连接层
全连接层与最简单的神经网络——感知机极为相似,都是由两层神经元组成。全连接层将卷积层得到的输出作为输入,并以卷积网络提取的特征为基础分类脑电信号,区分紧急刹车样本和非紧急刹车样本。该层的数学表达式为:
Figure RE-GDA0001772947680000061
在这里,ωt是每个神经元连接的权重,bi是每个神经元的偏置,而Hi则是相应的输出。
4)输出层
在这一层,会将输入模型的信号分为两类,一类是紧急样本,一类是非紧急样本,由以下激活函数给出:
y=sigmoid(Y) (5)
其中,Y是全连接层的输出,y代表的是两个分类。
5)权值的更新
我们运用经典的误差逆传播(BP)算法来进行卷积神经网络各卷积核权值和偏置的更新,我们应用均方误差函数作为损失函数,梯度下降法来进行更新,损失函数如下:
Figure RE-GDA0001772947680000062
其中y是实际的输出,而y’是期望的输出,l为类别的数量(在本发明中是两类)。
在我们设计的网络中,权值和偏置的更新不会在所有样本接受训练之后进行。对于权值和偏置每40或60个样本更新一次,可以大大减少计算量,加快更新速度。
最后应说明的是,以上实施例仅用以描述本发明的技术方案而不是对本技术方法进行限制,本发明在应用上可以延伸为其他的修改、变化、应用和实施例,并且因此认为所有这样的修改、变化、应用、实施例都在本发明的精神和教导范围内。

Claims (3)

1.一种基于脑电信号的手势动作意图检测的通用模型方法,当有停止需要发生时,驾驶员做停止手势,否则一直做停止手势与启动手势交替;根据不同人在相似或者相同的环境条件下,以及在相同的刺激下,脑电信号的相似性或者同步性,用多位参与者的数据通过卷积神经网络搭建一个通用模型;在驾驶员手势动作已经做出的情况下,判别驾驶员的手势动作是否具有控制车辆的意图,利用通用模型对未参与训练的驾驶员的手势运动意图进行检测;
所述方法包括:
步骤1,分别在预设的实验条件下得到驾驶员不同手势动作的运动时的脑电信号,并进行数模转换;
步骤2,将离线所用的脑电信号进行预处理,将得到的离线脑电信号进行训练,训练所用驾驶员的脑电数据不参与测试,这是为了建立通用模型,得到分类模型;
步骤3,将其余的驾驶员的脑电信号输入到分类模型进行测试,判断该模型分类驾驶员手势动作控制意图的准确度;
步骤2包括:
步骤21,对采集到的驾驶员的脑电信号进行处理,得到手势意图样本和非意图样本,标记停止手势意图的信号样本;
步骤22,搭建卷积神经网络,调参,调试通用模型,得到模型的训练准确度;所述卷积神经网络由六层组成:输入层、第一卷积层、第二卷积层、第三卷积层、完全连接层、输出层;所述第一卷积层、第二卷积层、第三卷积层不使用下采样层;所述卷积神经网络权值和偏置每40或60个样本更新一次。
2.根据权利要求1所述的基于脑电信号的手势动作意图检测的通用模型方法,其中,步骤21进一步包括:
步骤211,对得到脑电信号样本进行降采样处理,从1000赫兹的采样频率降到200赫兹,并将降采样的脑电信号样本做正则化处理;
步骤212,对长序列的脑电信号进行取样,刹车事件发生的时刻后一秒的信号作为停止手势意图样本,刹车事件发生的时刻前三秒到四秒的信号作为非意图样本。
3.根据权利要求1所述的基于脑电信号的手势动作意图检测的通用模型方法,其中:
步骤222,根据网络输出结果进行调参,确定适合该模型的卷积层数、学习率、各层卷积核大小和个数、激活函数;
步骤223,完成卷积神经网络的搭建,并确定搭建好的通用模型,八位驾驶员的脑电数据参与训练,这八位驾驶员的脑电信号不参与测试。
CN201810616464.3A 2018-06-15 2018-06-15 一种基于脑电信号的手势动作意图检测的通用模型 Expired - Fee Related CN108874137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810616464.3A CN108874137B (zh) 2018-06-15 2018-06-15 一种基于脑电信号的手势动作意图检测的通用模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810616464.3A CN108874137B (zh) 2018-06-15 2018-06-15 一种基于脑电信号的手势动作意图检测的通用模型

Publications (2)

Publication Number Publication Date
CN108874137A CN108874137A (zh) 2018-11-23
CN108874137B true CN108874137B (zh) 2021-01-12

Family

ID=64339164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810616464.3A Expired - Fee Related CN108874137B (zh) 2018-06-15 2018-06-15 一种基于脑电信号的手势动作意图检测的通用模型

Country Status (1)

Country Link
CN (1) CN108874137B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109730818A (zh) * 2018-12-20 2019-05-10 东南大学 一种基于深度学习的假手控制方法
CN111951948A (zh) * 2020-08-19 2020-11-17 郑州大学第一附属医院 一种神经重症监测装置
CN112008725B (zh) * 2020-08-27 2022-05-31 北京理工大学 一种人机融合脑控机器人***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499699A (zh) * 2011-11-10 2012-06-20 东北大学 基于脑电信号的车载嵌入式路怒驾驶状态检测装置及方法
CN107015632A (zh) * 2016-01-28 2017-08-04 南开大学 基于脑电驾驶的车辆控制方法、***
CN107817731A (zh) * 2017-11-27 2018-03-20 中国兵器工业计算机应用技术研究所 融合肌电和脑电信息的无人平台操控***及操控方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515200B (zh) * 2009-04-03 2010-12-01 北京工业大学 基于瞬态视觉诱发脑电的目标选择方法
CN104461007B (zh) * 2014-12-19 2017-11-03 北京理工大学 一种基于脑电信号的驾驶员辅助人车交互***
KR101632830B1 (ko) * 2015-02-24 2016-06-22 울산과학대학교 산학협력단 자동차 주행 제어 장치
CN106022291A (zh) * 2016-05-31 2016-10-12 北京理工大学 一种基于神经信号的紧急状态下驾驶员刹车意图检测方法
CN107095670A (zh) * 2017-05-27 2017-08-29 西南交通大学 驾驶员反应时间预测方法
CN107330437B (zh) * 2017-07-03 2021-01-08 贵州大学 基于卷积神经网络目标实时检测模型的特征提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102499699A (zh) * 2011-11-10 2012-06-20 东北大学 基于脑电信号的车载嵌入式路怒驾驶状态检测装置及方法
CN107015632A (zh) * 2016-01-28 2017-08-04 南开大学 基于脑电驾驶的车辆控制方法、***
CN107817731A (zh) * 2017-11-27 2018-03-20 中国兵器工业计算机应用技术研究所 融合肌电和脑电信息的无人平台操控***及操控方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于人工神经网络在正畸拔牙决策中的辅助诊断研究;韩磊,谢晓秋.;《第十三次全国口腔正畸学术会议(2014年会)论文集》;20141031;第263页 *
驾驶员脑电特征与手臂操控驾驶行为研究;纪俐,等.;《仪器仪表学报》;20150930;第36卷(第9期);第2050页-2056页 *

Also Published As

Publication number Publication date
CN108874137A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
Cecotti et al. Convolutional neural network with embedded Fourier transform for EEG classification
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
CN109784023B (zh) 基于深度学习的稳态视觉诱发脑电身份识别方法及***
CN112861604B (zh) 一种与用户无关的肌电动作识别与控制方法
CN111190484B (zh) 一种多模态交互***和方法
CN111265212A (zh) 一种运动想象脑电信号分类方法及闭环训练测试交互***
CN108874137B (zh) 一种基于脑电信号的手势动作意图检测的通用模型
Huang et al. A review of electroencephalogram signal processing methods for brain-controlled robots
CN112488002B (zh) 基于n170的情绪识别方法及识别***
CN111544855A (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN113180692A (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
CN111273767A (zh) 一种基于深度迁移学习的助听脑机接口***
Jia et al. Joint spatial and temporal features extraction for multi-classification of motor imagery EEG
Paul et al. Deep learning and its importance for early signature of neuronal disorders
Tang et al. A hybrid SAE and CNN classifier for motor imagery EEG classification
CN113128353B (zh) 面向自然人机交互的情绪感知方法及其***
CN117338313B (zh) 基于堆叠集成技术的多维度特征脑电信号识别方法
Kanna et al. Smart Detection and Removal of Artifacts in Cognitive Signals Using Biomedical Signal Intelligence Applications
Choi et al. Multi-modal biometrics based implicit driver identification system using multi-TF images of ECG and EMG
Zhang et al. Movement recognition via channel-activation-wise sEMG attention
CN114997229A (zh) 一种基于脑电信号的运动想象分类方法和***
Amanuel et al. Design and Implementation of EEG-Based Smart Structure.
Saikia et al. Application of deep learning for eeg
Asghar et al. Real-time EEG-based driver's fatigue detection system using deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210112