CN106934375A - 基于特征点运动轨迹描述的人脸表情识别方法 - Google Patents
基于特征点运动轨迹描述的人脸表情识别方法 Download PDFInfo
- Publication number
- CN106934375A CN106934375A CN201710153428.3A CN201710153428A CN106934375A CN 106934375 A CN106934375 A CN 106934375A CN 201710153428 A CN201710153428 A CN 201710153428A CN 106934375 A CN106934375 A CN 106934375A
- Authority
- CN
- China
- Prior art keywords
- characteristic point
- slope
- point
- movement locus
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于特征点运动轨迹描述的人脸表情识别方法,包括以下步骤:连续拍摄人脸表情变化过程,对得到的人脸图像序列中各帧图像进行人脸区域检测,然后选取人脸区域内的特征点并进行定位;基于所选特征点的坐标信息,挑选其中几个特征点构建脸部坐标系,并将其余特征点的坐标转换到此坐标系中;分情况分析与计算特征点帧间运动斜率;组合各特征点的斜率变化,作为最终的表情特征输入RBF神经网络训练学习,完成人脸表情识别。本发明的技术效果在于:利用特征点在帧间运动斜率的变化描述其运动轨迹,进而实现人脸表情识别。所提出的斜率差异性变化能够剔除个体差异和正面头部姿势变化等因素对人脸表情识别的影响。
Description
技术领域
本发明涉及人脸表情识别,特别涉及基于特征点运动轨迹描述的人脸表情识别方法。
背景技术
情感计算一直是人机交互领域中一个重要的研究方向。为了建立友好和谐的人机交互模式,大量研究者从语音、表情、文本等方面入手,期望以单模或者多模融合的方法实现更好的人机交互效果。其中,面部表情识别是情感计算的一个重要研究方向,近些年也有大量优秀的研究成果涌现,这无疑有力地推动了人机交互研究的快速发展。得益于图像处理,模式识别等领域专家们的不懈努力,在计算机软硬件技术飞速发展的大前提下,基于人脸图像的自动化表情识别在近些年已经取得了显著的成果。Ekman和Friesen提出了高兴、悲伤、惊讶、生气、嫌恶、害怕六种基本表情,并在1978年开发了面部动作编码***。然而,真正意义上的依靠计算机的自动化人脸表情识别始于上世纪九十年代,许多基于Ekman和Friesen所提理论的研究成果相继出现。当然,也有一些研究者提出六种表情以外的情感模式,这极大的丰富了人脸情感计算研究的内容。为了识别六种基本表情,研究者们所提出的研究大致分为两类:一个是基于外观的方法,另一个就是基于特征的方法。目前所用到的识别特征主要有:灰度特征、运动特征和频率特征三种。灰度特征是从表情图像的灰度值上来处理,利用不同表情有不同灰度值来得到识别的依据;运动特征利用了不同表情条件下人脸主要表情点的运动信息来进行识别;频域特征主要是利用了表情图像在不同的频率分解下的差别,速度快是其显著特点。具体的表情识别方法也可分为以下三类:一是整体识别法和局部识别法,二是形变提取法和运动提取法,三是几何特征法和容貌特征法。当然,这三个发展方向不是严格独立的,恰恰相反,是相互联系,相互影响的,它们只是从不同角度来提取所需要的表情特征,都提供了一种分析表情的思路。
然而,现有的表情识别方法大都基于人脸纹理图像,对人脸特征点运动序列本身的认识存在局限,主要表现在以下两个方面:
一是对人脸表情序列中的信息未进行明确分类,导致不同类型的信息互相干扰,对准确提取人脸表情特征造成困难,例如,在身份识别研究中,研究者往往希望屏蔽表情变化对识别结果的影响,部分研究者甚至要求被试者保持平静的面部状态,从而规避面部运动的干扰;
二是在人脸表情识别研究中,由于不同个体的面部形状存在较大差异,所表现出的表情幅度必然不同,简单地通过各特征点的位置信息获取表情特征,必然忽略面部形状差异对表情识别结果的影响。
发明内容
为了解决目前人脸表情识别特征提取困难且识别准确率较低的技术问题,本发明提供一种基于特征点运动轨迹描述的人脸表情识别方法。
为了实现上述技术目的,本发明的技术方案是,
一种基于特征点运动轨迹描述的人脸表情识别方法,包括以下步骤:
步骤一,连续拍摄人脸表情变化过程,对得到的人脸图像序列中各帧图像进行人脸区域检测,然后选取人脸区域内的特征点并进行定位;
步骤二,基于所选特征点的坐标信息,挑选其中几个特征点构建脸部坐标系,并将其余特征点的坐标转换到此坐标系中;
步骤三,计算特征点帧间运动斜率;
步骤四,组合各特征点的斜率变化,作为最终的表情特征输入RBF神经网络训练学习,完成人脸表情识别。
所述的一种基于特征点运动轨迹描述的人脸表情识别方法,所述的步骤一中,拍摄共计M帧图像,并选取24个特征点,分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮和下巴,各记为其中i表示第i个特征点,m表示第m帧图像;
所述的一种基于特征点运动轨迹描述的人脸表情识别方法,所述的步骤二中,用于构建脸部坐标系的特征点为右内眼角、左内眼角和鼻尖三个特征点,脸部坐标系以右内眼角与左内眼角的连线为X轴,方向为从右到左,鼻尖特征点到此连线的垂线为Y轴,方向为从上到下,垂足为坐标系原点,并将剩余21个特征点的坐标转换到此坐标系中;
所述的一种基于特征点运动轨迹描述的人脸表情识别方法,所述的步骤三中,计算特征点帧间运动斜率的具体步骤为:
取剩余21个特征点,针对位置变化的特征点pi,计算其相邻两帧间运动轨迹的斜率为
其中为第m帧特征点pi的坐标,为第m+1帧特征点pi的坐标。
所述的一种基于特征点运动轨迹描述的人脸表情识别方法,所述的步骤三中,计算特征点帧间运动斜率时,对于仅在Y轴方向发生位移的特征点i,其斜率记为计算得到所有特征点中最大斜率的两倍;位置未变化的特征点,其斜率记为零。
所述的一种基于特征点运动轨迹描述的人脸表情识别方法,所述的步骤四中,组合各特征点的斜率变化作为最终表情特征输入RBF神经网络训练学习的具体步骤包括:
组合剩余各特征点在序列中运动轨迹的斜率,记为集合Ai,表示为并将{Ai}作为最终的人脸表情特征输入RBF神经网络进行训练分类,从而实现人脸表情识别。
本发明的技术效果在于:
1、该方法利用特征点在帧间运动斜率的变化描述其运动轨迹,进而实现人脸表情识别。
2、该方法所提出的斜率差异性变化能够剔除个体差异和正面头部姿势变化等因素对人脸表情识别的影响。
下面结合附图对本发明作进一步说明。
附图说明
图1为本发明人脸表情识别***框图;
图2为本发明特征点位置图;
图3为本发明脸部坐标系示意图。
具体实施方式
本发明的基本思想是通过摄像头拍摄人脸表情发生过程中的纹理图像序列,再利用主动外观模型进行人脸特征点定位,从中选取所需特征点构建脸部坐标系,计算并组合各特征点帧间运动斜率,得到最终的人脸表情特征,最后通过RBF神经网络实现人脸表情。
根据以上思想,本发明的***结构框图如图1所示。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,具体阐述本发明的实施方式。应当理解,此处所描述的具体实例仅用以解释本发明,并不用于限定本发明。
1、通过摄像头拍摄人脸从平静状态到表情最大化过程中的纹理图像序列,共计M帧。然后利用主动外观模型对人脸表情序列各帧纹理图像分别进行特征点定位,其中主动外观模型工具来源于OPENCV软件包。特征点定位后,本发明选取其中24点作为最终的特征点,分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮、下巴,各记为其中i表示第i个特征点,m表示第m帧图像;具***置如图2所示,各特征点说明如下表1所示:
表1特征点位置说明
编号 | 名称 | 编号 | 名称 | 编号 | 名称 | 编号 | 名称 |
1 | 右眉尾 | 7 | 右下眼睑 | 13 | 左内眼角 | 19 | 唇珠 |
2 | 右眉中 | 8 | 左眉尾 | 14 | 左下眼睑 | 20 | 左嘴角 |
3 | 右眉头 | 9 | 左眉中 | 15 | 右鼻翼 | 21 | 下唇尖 |
4 | 右外眼角 | 10 | 左眉头 | 16 | 鼻尖 | 22 | 右腮 |
5 | 右上眼睑 | 11 | 左外眼角 | 17 | 左鼻翼 | 23 | 左腮 |
6 | 右内眼角 | 12 | 左上眼睑 | 18 | 右嘴角 | 24 | 下巴 |
2、构建脸部坐标系,目的在于剔除由于头部姿势变化而导致的特征点位置抖动,这种波动并不是由于表情的产生而出现。实验发现,在人脸表情发生过程中,右内眼角、左内眼角、鼻尖三个特征点的相对位置均未发生变化,以它们构建脸部坐标系最具说服力。如图3所示,构建的坐标系以右内眼角与左内眼角的连线为X轴,方向为从右到左,鼻尖特征点到此连线的垂线为Y轴,方向为从上到下,垂足为坐标系原点。
3、记第m帧特征点pi的坐标为第m+1帧特征点pi的坐标为则此特征点运动斜率通过下式求得
计算过程中,存在以下两种特殊情况:
情况一,特征点位置未发生移动,此时记其运动斜率为零;
情况二,特征点仅在Y轴方向发生位移,则暂先跳过此特征点运动斜率的计算,待所有特征点运动斜率计算完毕之后,从中求出斜率的最大值,而所有被跳过特征点的斜率均记为此最大值的两倍。
Claims (6)
1.一种基于特征点运动轨迹描述的人脸表情识别方法,其特征在于,包括以下步骤:
步骤一,连续拍摄人脸表情变化过程,对得到的人脸图像序列中各帧图像进行人脸区域检测,然后选取人脸区域内的特征点并进行定位;
步骤二,基于所选特征点的坐标信息,挑选其中几个特征点构建脸部坐标系,并将其余特征点的坐标转换到此坐标系中;
步骤三,计算特征点帧间运动斜率;
步骤四,组合各特征点的斜率变化,作为最终的表情特征输入RBF神经网络训练学习,完成人脸表情识别。
2.根据权利要求1所述的一种基于特征点运动轨迹描述的人脸表情识别方法,其特征在于,所述的步骤一中,拍摄共计M帧图像,并选取24个特征点,分别为右眉尾、右眉中、右眉头、右外眼角、右上眼睑、右内眼角、右下眼睑、左眉尾、左眉中、左眉头、左外眼角、左上眼睑、左内眼角、左下眼睑、右鼻翼、左鼻翼、鼻尖、右嘴角、唇珠、左嘴角、下唇尖、右腮、左腮和下巴,各记为其中i表示第i个特征点,m表示第m帧图像。
3.根据权利要求2所述的一种基于特征点运动轨迹描述的人脸表情识别方法,其特征在于,所述的步骤二中,用于构建脸部坐标系的特征点为右内眼角、左内眼角和鼻尖三个特征点,脸部坐标系以右内眼角与左内眼角的连线为X轴,方向为从右到左,鼻尖特征点到此连线的垂线为Y轴,方向为从上到下,垂足为坐标系原点,并将剩余21个特征点的坐标转换到此坐标系中。
4.根据权利要求3所述的一种基于特征点运动轨迹描述的人脸表情识别方法,其特征在于,所述的步骤三中,计算特征点帧间运动斜率的具体步骤为:
取剩余21个特征点,针对位置变化的特征点pi,计算其相邻两帧间运动轨迹的斜率为
其中为第m帧特征点pi的坐标,为第m+1帧特征点pi的坐标。
5.根据权利要求4所述的一种基于特征点运动轨迹描述的人脸表情识别方法,其特征在于,所述的步骤三中,计算特征点帧间运动斜率时,对于仅在Y轴方向发生位移的特征点i,其斜率记为计算得到所有特征点中最大斜率的两倍;位置未变化的特征点,其斜率记为零。
6.根据权利要求4所述的一种基于特征点运动轨迹描述的人脸表情识别方法,其特征在于,所述的步骤四中,组合各特征点的斜率变化作为最终表情特征输入RBF神经网络训练学习的具体步骤包括:
组合剩余各特征点在序列中运动轨迹的斜率,记为集合Ai,表示为并将{Ai}作为最终的人脸表情特征输入RBF神经网络进行训练分类,从而实现人脸表情识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710153428.3A CN106934375A (zh) | 2017-03-15 | 2017-03-15 | 基于特征点运动轨迹描述的人脸表情识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710153428.3A CN106934375A (zh) | 2017-03-15 | 2017-03-15 | 基于特征点运动轨迹描述的人脸表情识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106934375A true CN106934375A (zh) | 2017-07-07 |
Family
ID=59433272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710153428.3A Pending CN106934375A (zh) | 2017-03-15 | 2017-03-15 | 基于特征点运动轨迹描述的人脸表情识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106934375A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别*** |
CN108846342A (zh) * | 2018-06-05 | 2018-11-20 | 四川大学 | 一种唇裂手术标志点识别*** |
CN109409273A (zh) * | 2018-10-17 | 2019-03-01 | 中联云动力(北京)科技有限公司 | 一种基于机器视觉的运动状态检测评估方法及*** |
CN110363107A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸额头点位快速扩展方法、装置、储存介质和处理器 |
CN110363110A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸正向坐标快速建立方法、装置、储存介质和处理器 |
WO2019233075A1 (zh) * | 2018-06-04 | 2019-12-12 | 珠海格力电器股份有限公司 | 一种动态面部表情的识别方法及装置 |
CN111860154A (zh) * | 2020-06-12 | 2020-10-30 | 歌尔股份有限公司 | 一种基于视觉的额头检测方法、装置和电子设备 |
CN111931630A (zh) * | 2020-08-05 | 2020-11-13 | 重庆邮电大学 | 一种基于人脸特征点数据增强的动态表情识别方法 |
CN112270215A (zh) * | 2020-10-13 | 2021-01-26 | 杭州电子科技大学 | 一种基于序列特征梯度向量结构人脸识别方法 |
CN113052132A (zh) * | 2021-04-20 | 2021-06-29 | 东南大学 | 基于面部关键点轨迹特征图的视频情感识别方法 |
WO2022141895A1 (zh) * | 2020-12-28 | 2022-07-07 | 苏州源睿尼科技有限公司 | 一种表情数据库的实时训练方法以及表情数据库的反馈机制 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101354795A (zh) * | 2008-08-28 | 2009-01-28 | 北京中星微电子有限公司 | 基于视频的三维人脸动画驱动方法和*** |
WO2010133661A1 (en) * | 2009-05-20 | 2010-11-25 | Tessera Technologies Ireland Limited | Identifying facial expressions in acquired digital images |
CN104036255A (zh) * | 2014-06-21 | 2014-09-10 | 电子科技大学 | 一种人脸表情识别方法 |
CN104123545A (zh) * | 2014-07-24 | 2014-10-29 | 江苏大学 | 一种实时表情特征提取及表情识别方法 |
US20140376787A1 (en) * | 2008-06-16 | 2014-12-25 | Canon Kabushiki Kaisha | Personal authentication apparatus and personal authentication method |
-
2017
- 2017-03-15 CN CN201710153428.3A patent/CN106934375A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140376787A1 (en) * | 2008-06-16 | 2014-12-25 | Canon Kabushiki Kaisha | Personal authentication apparatus and personal authentication method |
CN101354795A (zh) * | 2008-08-28 | 2009-01-28 | 北京中星微电子有限公司 | 基于视频的三维人脸动画驱动方法和*** |
WO2010133661A1 (en) * | 2009-05-20 | 2010-11-25 | Tessera Technologies Ireland Limited | Identifying facial expressions in acquired digital images |
CN104036255A (zh) * | 2014-06-21 | 2014-09-10 | 电子科技大学 | 一种人脸表情识别方法 |
CN104123545A (zh) * | 2014-07-24 | 2014-10-29 | 江苏大学 | 一种实时表情特征提取及表情识别方法 |
Non-Patent Citations (2)
Title |
---|
易积政等: "基于特征点矢量与纹理形变能量参数融合的人脸表情识别", 《电子与信息学报》 * |
王海宁: "《基于多通道生理信号的情绪识别技术研究》", 31 August 2016 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108268838A (zh) * | 2018-01-02 | 2018-07-10 | 中国科学院福建物质结构研究所 | 人脸表情识别方法及人脸表情识别*** |
WO2019233075A1 (zh) * | 2018-06-04 | 2019-12-12 | 珠海格力电器股份有限公司 | 一种动态面部表情的识别方法及装置 |
CN108846342A (zh) * | 2018-06-05 | 2018-11-20 | 四川大学 | 一种唇裂手术标志点识别*** |
CN109409273A (zh) * | 2018-10-17 | 2019-03-01 | 中联云动力(北京)科技有限公司 | 一种基于机器视觉的运动状态检测评估方法及*** |
CN110363107A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸额头点位快速扩展方法、装置、储存介质和处理器 |
CN110363110A (zh) * | 2019-06-26 | 2019-10-22 | 成都品果科技有限公司 | 人脸正向坐标快速建立方法、装置、储存介质和处理器 |
CN111860154A (zh) * | 2020-06-12 | 2020-10-30 | 歌尔股份有限公司 | 一种基于视觉的额头检测方法、装置和电子设备 |
CN111860154B (zh) * | 2020-06-12 | 2024-05-28 | 歌尔股份有限公司 | 一种基于视觉的额头检测方法、装置和电子设备 |
CN111931630A (zh) * | 2020-08-05 | 2020-11-13 | 重庆邮电大学 | 一种基于人脸特征点数据增强的动态表情识别方法 |
CN111931630B (zh) * | 2020-08-05 | 2022-09-09 | 重庆邮电大学 | 一种基于人脸特征点数据增强的动态表情识别方法 |
CN112270215A (zh) * | 2020-10-13 | 2021-01-26 | 杭州电子科技大学 | 一种基于序列特征梯度向量结构人脸识别方法 |
CN112270215B (zh) * | 2020-10-13 | 2024-03-26 | 杭州电子科技大学 | 一种基于序列特征梯度向量结构人脸识别方法 |
WO2022141895A1 (zh) * | 2020-12-28 | 2022-07-07 | 苏州源睿尼科技有限公司 | 一种表情数据库的实时训练方法以及表情数据库的反馈机制 |
CN113052132A (zh) * | 2021-04-20 | 2021-06-29 | 东南大学 | 基于面部关键点轨迹特征图的视频情感识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106934375A (zh) | 基于特征点运动轨迹描述的人脸表情识别方法 | |
Hussain et al. | Hand gesture recognition using deep learning | |
Hasan et al. | RETRACTED ARTICLE: Static hand gesture recognition using neural networks | |
Ioannou et al. | Emotion recognition through facial expression analysis based on a neurofuzzy network | |
CN101393599B (zh) | 一种基于人脸表情的游戏角色控制方法 | |
Neverova et al. | A multi-scale approach to gesture detection and recognition | |
Murtaza et al. | Analysis of face recognition under varying facial expression: a survey. | |
CN102968643B (zh) | 一种基于李群论的多模态情感识别方法 | |
Rázuri et al. | Automatic emotion recognition through facial expression analysis in merged images based on an artificial neural network | |
CN102479388A (zh) | 基于人脸跟踪和分析的表情互动方法 | |
CN109472198A (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
KR101893554B1 (ko) | 멀티 모달 데이터 기반 표정인식방법 및 장치 | |
CN102945361A (zh) | 基于特征点矢量与纹理形变能量参数的人脸表情识别方法 | |
CN105929947B (zh) | 一种基于场景态势感知的人机交互方法 | |
Zhang et al. | Multimodal spatiotemporal networks for sign language recognition | |
Sarma et al. | Hand gesture recognition using deep network through trajectory-to-contour based images | |
Patil et al. | Emotion recognition from 3D videos using optical flow method | |
CN106940792A (zh) | 基于特征点运动的人脸表情序列截取方法 | |
Dornaika et al. | Inferring facial expressions from videos: Tool and application | |
Prasad et al. | Fuzzy classifier for continuous sign language recognition from tracking and shape features | |
Chang et al. | A ROBUST AND FRIENDLY HUMAN–ROBOT INTERFACE SYSTEM BASED ON NATURAL HUMAN GESTURES | |
Mallick et al. | Facial Emotion Recognition from Kinect Data–An Appraisal of Kinect Face Tracking Library | |
Essa et al. | Facial expression recognition using image motion | |
CN115294623B (zh) | 一种人体全身动作捕捉方法、装置、存储介质及终端 | |
Fachrurazi et al. | A DIGITAL PRINTING APPLICATION AS AN EXPRESSION IDENTIFICATION SYSTEM. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170707 |