CN104331158B - 一种手势控制的人机交互方法及装置 - Google Patents
一种手势控制的人机交互方法及装置 Download PDFInfo
- Publication number
- CN104331158B CN104331158B CN201410597981.2A CN201410597981A CN104331158B CN 104331158 B CN104331158 B CN 104331158B CN 201410597981 A CN201410597981 A CN 201410597981A CN 104331158 B CN104331158 B CN 104331158B
- Authority
- CN
- China
- Prior art keywords
- human hand
- gesture
- human
- central point
- man
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种手势控制的人机交互方法及装置,人机交互装置获取人手区域信息,根据人手区域信息计算并设置开启人机交互手势的人手中心点,根据人手中心点在三维空间内的运动轨迹,以此确定人手动作为静态变化手势或动态变化手势,同时识别并获得与手势动作对应的控制指令,该控制指令用于控制终端设备,以使机器设备执行与控制指令对应的操作。该人机交互方法在传统的人机交互方法的基础上进行了改进,解决了传统人机交互方法中存在的手势识别度不高而带来的误操作、反复操作等问题。相比于传统的人机交互方法,该方法步骤设计更为合理有效,其作用更为明显,效果更为显著,具有更高的实用价值。
Description
技术领域
本发明涉及一种手势控制的人机交互方法及装置,属于人工智能与图像处理技术领域。
背景技术
随着科技的发展,各种智能设备的应用越来越广泛。人与智能设备之间的人机交互也越来越多,人机交互方式有接触式和非接触式两种,接触式的人机交互方式较为成熟和完善,而非接触式的人机交互操作方式则处于研究起步阶段。近年来,非接触式的人机交互方式一直是人机交互方式中研究的热点和难点问题,研究好非接触式的人机交互方式具有很高使用价值,尤其是应用到一些特殊要求的场合下则意义更为重大。
手势是一种直观的、自然地交互方式,表达方式快捷,表达意义丰富,是人类互相交流信息的重要工具。手势识别是按照某种规则识别出手势表达的内容,具有很强的一致性和扩展性。在应用方面,手势识别***可以实现聋哑人与正常人交流,也可以在应用软件中直接操作软件或虚拟对象。从手的结构来看,手势包含手指和手掌;从手在三维空间的移动来分,可以在水平,垂直,深度三个方向移动。不同数量的手指结合不同方向的移动再加上手掌的变化可以组合成不同的手势,可以实现控制,移动,等不同的运用。近年来,如何更有效对手势识别,达到更好的人与人或人机交互,是研究的热点和难点问题。
发明内容
为解决上述问题,本发明提供一种手势控制的人机交互方法,该方法能够更为精准得获取手势控制信息,实现更为有效的人机交互操作。
本发明还提供一种用于实现上述手势控制的人机交互方法的装置。
术语说明:
1、深度信息,是指深度图像具有的物体三维特征信息,深度图像不同与通常所处理的二维图像,深度图像中的像素代表了一个相对的深度信息,因此每个像素都包含了三维坐标系下各个坐标值的信息,深度图像数据反映了景物表面的三维信息。
2、图像形态学处理,是指将数字形态学作为工具从图像中提取对于表达和描绘区域形状有用处的图像分量,比如边界、骨架以及凸壳,还包括用于预处理或后处理的形态学过滤、细化和修剪等。
本发明的技术方案如下:
一种手势控制的人机交互方法,该方法包括,通过人手动作实现与人机交互装置的操作,所述人手动作包括静态变化手势和动态变化手势;
人机交互装置获取人手区域信息,所述人手区域位于人体与所述人机交互装置之间;
所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点,所述人手中心点作为人手区域在三维空间运动的参考基点;通过判断人手中心点在三维空间内的运动轨迹,来确定人手动作为静态变化手势或动态变化手势;
所述人机交互装置识别并获得与人手动作相对应的控制指令,所述控制指令用于控制终端设备完成相应操作。
优选的,所述人机交互装置获取人手区域信息的过程包括:
首先,所述人机交互装置获取人脸区域信息,然后根据获取的人脸区域信息计算并得到肤色特征,再根据人手深度信息和肤色特征获取人手区域信息,最后根据优化算法并结合图像形态学处理,对人手区域信息进行优化处理。
进一步优选的,所述优化算法为Blob labeling算法。
优选的,所述人手中心点设置为人手手掌的最大内切圆圆心或整个手的最小外接圆圆心。
优选的,所述人手中心点在三维空间内的运动轨迹,是通过判断人手中心点在三维坐标系内的位移与阈值的大小关系,确定人手动作是静态变化手势还是动态变化手势:人手中心点在三维空间内对应一个三维坐标,通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量,若该组合位移向量的值小于预先设定的阈值,则人手动作为静态变化手势,若该组合位移向量的值大于预先设定的阈值,则人手动作为动态变化手势。
进一步优选的,所述静态变化手势包括识别手指伸缩个数的结合确定的手势、以手的轮廓与外接圆面积比参数确定的手势、以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势、以本征图像的一维特征向量确定的手势;所述动态变化手势包括单纯人手中心点的位移确定的动态变化手势、人手中心点的位移结合手势变化确定的动态变化手势。此设计的好处在于,动态变化手势除了包括单纯人手中心点上下、左右、前后的位移变化带来的手势控制,还包括结合人手中心点的位置变化和手指或手掌的姿态变化带来的手势控制,减少了手势识别的时间,增加了人机交互过程中人机交互装置操作的多样性。
优选的,所述人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。此设计的目的在于,在进行人机交互的过程中,人机交互装置的光照变化难免对肤色产生影响,通过设置定时提取图像装置,定时更新肤色特征,以便人机交互装置能够准确检测到人手区域的手势动作。
一种用于实现手势控制的人机交互方法的装置,包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备;所述图像获取模块分别获取人脸区域信息和人手区域信息后,由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点,手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输给功能实现模块,功能实现模块加载有与该人手动作信息相对应的控制指令,该控制指令进行终端设备的操作。
优选的,该装置还包括定时提取模块,所述定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。
本发明的有益效果在于:
1.本人机交互方法改变了传统单纯获取手势图像进行机器设备操作的方式,通过在人机交互过程中加入肤色特征这一因素,人机交互装置通过获取肤色能够进行更为精确地定位人手区域,解决了传统人机交互过程中手势识别度不高而带来的误操作、反复操作等问题。
2.本人机交互方法区别于传统人机交互装置对人手动作不进行区分识别的单一做法,在人机交互装置进行手势动作识别前,先对人手动作进行划分识别为静态变化手势还是动态变化手势,提高了人手动作识别的有效性;同时,静态变化手势或动态变化手势能够更容易分类定义不同手势下的操作动作,提高了人机交互装置的实用性和控制性。
3.本人机交互方法通过增加定时获取并更新肤色特征的设计,其目的是为了减少人机交互装置光照对肤色的影响,进而获得更为准确的人手区域,对手势动作的识别会更为准确无误。
4.本人机交互方法在传统的人机交互方法的基础上进行了改进,解决了传统人机交互方法中存在的问题;相比于传统的人机交互方法,该方法步骤设计更为合理有效,其作用更为明显,效果更为显著,具有更高的实用价值。
附图说明
图1为人机交互过程中人机交互装置各部分的结构框图;
图2为人机交互过程中交互方法的流程示意图。
具体实施方式
下面通过实施例并结合附图对本发明做进一步说明,但不限于此。
实施例1:
一种手势控制的人机交互方法,该方法包括:
首先根据人机交互装置的图像获取装置获取的图像中锁定人脸区域,这一过程可根据生理学知识,比如人脸的长宽比范围(0.9,2.0)结合Adaboost算法,来获取较为可靠的人脸区域,然后根据获取的人脸区域得到肤色特征,此过程由图像获取装置后期处理来获得肤色特征。
其次,在实际操作过程中,人手区域位于人体与所述人机交互装置之间;根据深度信息结合肤色特征来获取人手区域信息,接着根据Blob labeling优化算法并结合图像形态学处理的操作,进行去噪处理,进一步得到更为精确的人手区域信息。
人机交互装置根据人手区域信息计算并设置开启人机交互手势的人手中心点,该人手中心点为手掌的最大内切圆圆心,以此人手中心点作为人手区域在三维空间运动的参考基点;
判断人手中心点在三维空间内的运动轨迹,通过判断人手中心点在三维坐标内位移与阈值M的大小关系,具体过程是:该人手中心点在三维空间内对应一个三维坐标,通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量,若该组合位移向量的值小于预先设定的阈值M,则人手动作为静态变化手势,若该组合位移向量的值大于预先设定的阈值M,则人手动作为动态变化手势。
静态变化手势包括以手指伸缩个数的结合确定的手势,如伸出三个手指;或以手的轮廓与外接圆面积比参数确定的手势,如握拳;或以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势;或以本征图像的一维特征向量确定的手势;动态变化手势包括人手中心点的位移确定的动态变化手势,如人手左右移动或前后移动或上下移动;人手中心点的位移结合手势变化确定的动态变化手势,如人手左右移动的同时又伸出三根手指或人手前后移动的同时握拳。
动态变化手势除了包括单纯人手中心点上下、左右、前后的位移变化带来的手势控制,还包括结合人手中心点的位置变化和手指或手掌的姿态变化带来的手势控制,增加了人机交互过程中人机交互装置操作的多样性。
最终,人机交互装置识别并获得与人手动作相对应的控制指令,控制指令用于控制终端机器设备完成相对应的操作,如抓取、拿放、开关、启动、暂停等动作。人机交互装置将相应指令预先存储于数据库中,当展现某一人手动作时,人机交互装置识别并从数据库中调取与该动作相对应的控制指令,该控制指令控制机器设备实现特定的操作动作,其整个方法过程如图2所示。
实施例2:
一种手势控制的人机交互方法,其方法步骤如实施例1所述,其不同之处在于根据整个人手的最小外接圆圆心,以此圆心为人机交互手势的人手中心点。
实施例3:
一种手势控制的人机交互方法,其方法步骤如实施例1所述,其不同之处在于,该人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。在进行人机交互的过程中,人机交互装置的光照变化难免对肤色产生影响,通过设置定时提取图像装置,定时更新肤色特征,以便人机交互装置能够准确检测到人手区域的手势动作。
实施例4:
一种用于实现手势控制的人机交互方法的装置,包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备;所述图像获取模块分别获取人脸区域信息和人手区域信息后,由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点,手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输给功能实现模块,功能实现模块加载有与该人手动作信息相对应的控制指令,该控制指令进行终端设备的操作。
该装置还包括定时提取模块,定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。通过定时更新肤色特征,以便人机交互装置能够准确检测到人手区域的手势动作。
Claims (3)
1.一种手势控制的人机交互方法,该方法包括,通过人手动作实现与人机交互装置的操作,所述人手动作包括静态变化手势和动态变化手势;
人机交互装置获取人手区域信息,所述人手区域位于人体与所述人机交互装置之间;
所述人机交互装置根据人手区域信息计算并设置开启人机交互动作的人手中心点,所述人手中心点作为人手区域在三维空间运动的参考基点;通过判断人手中心点在三维空间内的运动轨迹,来确定人手动作为静态变化手势或动态变化手势;
所述人机交互装置识别并获得与人手动作相对应的控制指令,所述控制指令用于控制终端设备完成相应操作;
所述人机交互装置获取人手区域信息的过程包括:
首先,所述人机交互装置获取人脸区域信息,然后根据获取的人脸区域信息计算并得到肤色特征,再根据人手深度信息和肤色特征获取人手区域信息,最后根据优化算法并结合图像形态学处理,对人手区域信息进行优化处理;
所述人手中心点在三维空间内的运动轨迹,是通过判断人手中心点在三维坐标系内的位移与阈值的大小关系,确定人手动作是静态变化手势还是动态变化手势:人手中心点在三维空间内对应一个三维坐标,通过判断该人手中心点运动轨迹在三维坐标系内X轴Y轴Z轴的组合位移向量,若该组合位移向量的值小于预先设定的阈值,则人手动作为静态变化手势,若该组合位移向量的值大于预先设定的阈值,则人手动作为动态变化手势;
所述优化算法为Blob labeling算法;
所述人手中心点设置为人手手掌的最大内切圆圆心或整个手的最小外接圆圆心;
所述静态变化手势包括识别手指伸缩个数的结合确定的手势、以手的轮廓与外接圆面积比参数确定的手势、以手的有效凸缺陷加有效凸缺陷特征角的个数确定的手势、以本征图像的一维特征向量确定的手势;所述动态变化手势包括单纯人手中心点的位移确定的动态变化手势、人手中心点的位移结合手势变化确定的动态变化手势;
所述人机交互方法还包括人机交互装置定时获取并更新肤色特征的过程。
2.一种用于实现如权利要求1所述的手势控制的人机交互方法的装置,其特征在于,包括依次连接的图像获取模块、手势处理模块、功能实现模块和终端设备;所述图像获取模块分别获取人脸区域信息和人手区域信息后,由手势处理模块根据人手区域信息计算并设置开启人机交互动作的人手中心点,手势处理模块通过人手中心点的运动轨迹结合手势判断来识别人手动作后传输给功能实现模块,功能实现模块加载有与该人手动作信息相对应的控制指令,该控制指令进行终端设备的操作。
3.如权利要求2所述的一种用于实现如权利要求1所述的手势控制的人机交互方法的装置,其特征在于,该装置还包括定时提取模块,所述定时提取模块用以对图像获取模块获取的人脸区域信息定时获取并更新肤色特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410597981.2A CN104331158B (zh) | 2014-10-29 | 2014-10-29 | 一种手势控制的人机交互方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410597981.2A CN104331158B (zh) | 2014-10-29 | 2014-10-29 | 一种手势控制的人机交互方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104331158A CN104331158A (zh) | 2015-02-04 |
CN104331158B true CN104331158B (zh) | 2018-05-25 |
Family
ID=52405901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410597981.2A Active CN104331158B (zh) | 2014-10-29 | 2014-10-29 | 一种手势控制的人机交互方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104331158B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9529454B1 (en) * | 2015-06-19 | 2016-12-27 | Microsoft Technology Licensing, Llc | Three-dimensional user input |
CN104915014A (zh) * | 2015-07-07 | 2015-09-16 | 安徽瑞宏信息科技有限公司 | 一种基于移动终端的非接触式交互方法 |
CN105677032B (zh) * | 2016-01-04 | 2018-10-26 | 广州华欣电子科技有限公司 | 基于深度传感设备的控制方法及装置 |
CN106648078B (zh) * | 2016-12-05 | 2020-06-02 | 北京光年无限科技有限公司 | 应用于智能机器人的多模态交互方法及*** |
CN106686231A (zh) * | 2016-12-27 | 2017-05-17 | 广东小天才科技有限公司 | 一种可穿戴设备的消息播放方法及可穿戴设备 |
CN108268181A (zh) * | 2017-01-04 | 2018-07-10 | 奥克斯空调股份有限公司 | 一种非接触式手势识别的控制方法及装置 |
CN107330354B (zh) * | 2017-03-20 | 2020-12-08 | 长沙理工大学 | 一种自然手势识别方法 |
CN107255942A (zh) * | 2017-06-02 | 2017-10-17 | 昆山锐芯微电子有限公司 | 智能设备的控制方法、装置及***、存储介质 |
CN107272893B (zh) * | 2017-06-05 | 2020-09-08 | 上海大学 | 基于手势控制非触摸屏的人机交互***及方法 |
CN107292295B (zh) * | 2017-08-03 | 2019-12-24 | 华中师范大学 | 手势分割方法及装置 |
TWI682353B (zh) * | 2017-11-27 | 2020-01-11 | 仁寶電腦工業股份有限公司 | 智慧型供水方法及智慧型供水裝置 |
CN107967061A (zh) * | 2017-12-21 | 2018-04-27 | 北京华捷艾米科技有限公司 | 人机交互方法及装置 |
CN109199240B (zh) * | 2018-07-24 | 2023-10-20 | 深圳市云洁科技有限公司 | 一种基于手势控制的扫地机器人控制方法及*** |
CN110058688A (zh) * | 2019-05-31 | 2019-07-26 | 安庆师范大学 | 一种投影用动态手势翻页的***及其方法 |
CN111556350B (zh) * | 2020-04-21 | 2022-03-25 | 海信集团有限公司 | 一种智能终端及人机交互方法 |
CN112115801B (zh) * | 2020-08-25 | 2023-11-24 | 深圳市优必选科技股份有限公司 | 动态手势识别方法、装置、存储介质及终端设备 |
CN112507822B (zh) * | 2020-11-26 | 2022-12-13 | 杭州讯酷科技有限公司 | 一种基于手势动作响应***指令的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101661556A (zh) * | 2009-09-25 | 2010-03-03 | 哈尔滨工业大学深圳研究生院 | 基于视觉的静态手势识别方法 |
CN101872244A (zh) * | 2010-06-25 | 2010-10-27 | 中国科学院软件研究所 | 一种基于用户手部运动与颜色信息的人机交互方法 |
CN102179048A (zh) * | 2011-02-28 | 2011-09-14 | 武汉市高德电气有限公司 | 基于动作分解和行为分析实现实景游戏的方法 |
CN103562822A (zh) * | 2011-04-28 | 2014-02-05 | Nec软件***科技有限公司 | 信息处理设备、信息处理方法以及记录介质 |
CN103677274A (zh) * | 2013-12-24 | 2014-03-26 | 广东威创视讯科技股份有限公司 | 一种基于主动视觉的互动投影方法及*** |
-
2014
- 2014-10-29 CN CN201410597981.2A patent/CN104331158B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101661556A (zh) * | 2009-09-25 | 2010-03-03 | 哈尔滨工业大学深圳研究生院 | 基于视觉的静态手势识别方法 |
CN101872244A (zh) * | 2010-06-25 | 2010-10-27 | 中国科学院软件研究所 | 一种基于用户手部运动与颜色信息的人机交互方法 |
CN102179048A (zh) * | 2011-02-28 | 2011-09-14 | 武汉市高德电气有限公司 | 基于动作分解和行为分析实现实景游戏的方法 |
CN103562822A (zh) * | 2011-04-28 | 2014-02-05 | Nec软件***科技有限公司 | 信息处理设备、信息处理方法以及记录介质 |
CN103677274A (zh) * | 2013-12-24 | 2014-03-26 | 广东威创视讯科技股份有限公司 | 一种基于主动视觉的互动投影方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN104331158A (zh) | 2015-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104331158B (zh) | 一种手势控制的人机交互方法及装置 | |
CN104407694B (zh) | 一种结合人脸和手势控制的人机交互方法及装置 | |
US20210365492A1 (en) | Method and apparatus for identifying input features for later recognition | |
CN106250867B (zh) | 一种基于深度数据的人体骨骼跟踪***的实现方法 | |
Wang et al. | Real-time hand-tracking with a color glove | |
CN102915111B (zh) | 一种腕上手势操控***和方法 | |
CN102609683B (zh) | 一种基于单目视频的人体关节自动标注方法 | |
CN104007819B (zh) | 手势识别方法、装置及Leap Motion体感控制*** | |
CN102567703A (zh) | 一种基于分类特征的手部动作识别信息处理方法 | |
CN106845384A (zh) | 一种基于递归模型的手势识别方法 | |
CN102402289A (zh) | 一种基于机器视觉的手势鼠标识别方法 | |
Gupta et al. | FPGA based real time human hand gesture recognition system | |
Hasan et al. | Features fitting using multivariate gaussian distribution for hand gesture recognition | |
Guo | Research of hand positioning and gesture recognition based on binocular vision | |
CN103426000B (zh) | 一种静态手势指尖检测方法 | |
CN107329564B (zh) | 基于手势智能感知和人机协同机制的人机猜拳方法 | |
CN110866468A (zh) | 一种基于无源rfid的手势识别***及方法 | |
CN107450717A (zh) | 一种信息处理方法及穿戴式设备 | |
JP2016167268A (ja) | ジェスチャモデリング装置、ジェスチャモデリング方法、ジェスチャモデリングシステム用のプログラム、およびジェスチャモデリングシステム | |
Yang et al. | Real time hand gesture recognition via finger-emphasized multi-scale description | |
Hartanto et al. | Real time hand gesture movements tracking and recognizing system | |
CN108108648A (zh) | 一种新型的手势识别***装置及方法 | |
KR20110080871A (ko) | 후면부 손가락 움직임 및 제스처 인식을 이용한 휴대형 정보 단말기 및 콘텐츠 제어 방법 | |
CN104363494A (zh) | 一种用于智能电视的手势识别*** | |
CN110263702A (zh) | 一种基于几何方法的实时三维手势追踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |