CN104008391A - 一种基于非线性降维的人脸微表情捕捉及识别方法 - Google Patents
一种基于非线性降维的人脸微表情捕捉及识别方法 Download PDFInfo
- Publication number
- CN104008391A CN104008391A CN201410184408.9A CN201410184408A CN104008391A CN 104008391 A CN104008391 A CN 104008391A CN 201410184408 A CN201410184408 A CN 201410184408A CN 104008391 A CN104008391 A CN 104008391A
- Authority
- CN
- China
- Prior art keywords
- expression
- micro
- image
- video
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于非线性降维的人脸微表情捕捉及识别方法,该方法首先构建一种高速图像采集应用***并获取高速视频人脸图像序列,然后利用一种基于拉普拉斯特征映射的非线性降维方法,对获得的高速视频人脸图像序列进行降维,最后在低维空间中进行特征参数计算,应用低维空间特征参数跟踪识别人脸微表情变化。实验表明该方法对计算机性能要求低,计算速度快,使得实时跟踪识别人脸微表情变化成为可能。
Description
技术领域
本发明涉及一种基于非线性降维的人脸微表情捕捉及识别方法。构建一种高速时间序列图像动态采集***获取人脸动态时间序列图像,利用一种基于拉普拉斯特征映射的非线性降维方法,最终实现低维空间人脸微表情的捕捉及识别。
背景技术
微表情(Micro-expression)是一种持续时间仅为40毫秒至200毫秒的非常快速的表情,它不受意识控制,反映了人类内心的真正情感。微表情作为欺骗检测线索,在临床上、侦查审讯、国家安全等领域有重要价值,应用前景极其广阔。
在临床上,医生若能识别病人的微表情,则可以更好地了解病人的需求,针对性地确定治疗方案,缩短疗程,提高疗效。在侦查审讯、国家安全领域,有些训练有素的***等危险人物可能轻易就通过测谎仪的检测,但是通过微表情,一般就可以发现他们虚假表面下的真实表情。
目前,人们对微表情的认识还十分有限,微表情识别一般借助面部行为编码***FACS(Facial ActionCoding System)对可能包含微表情的视频进行逐帧的编码。FACS编码的训练十分费时,编码者一般需要接受100小时的训练才能达到初步熟练的程度;同时使用FACS进行编码也很费时,编码1分钟的视频至少需要2个小时。这极大地限制了目前的微表情研究及应用,此外,由于微表情出现速度很快,人工识别有很大困难,可靠性也无法保证,因此,急需一种有效的人脸微表情自动识别方法。
2011年,美国南佛罗里达大学的Shreve1采用光流法提取微表情特征,然后根据给定阈值进行微表情分类。同年,芬兰奥卢大学的赵国英2以时间差值模型LBP-TOP为特征提取方法,综合利用支持向量机、随机森林和多核学习方法进行微表情分类。但这些研究与自动识别微表情的目标尚有较大差距,仅仅只是初步探索。2011年,中国科学院心理研究所的吴奇3等对视频中的人脸进行捕获并进行相应的预处理,基于Gabor特征对捕获到的人脸图像进行特征提取,以形成人脸表情的Gabor表征,再结合Gabor特征与改进的GentleSVM算法实现人脸表情识别,不过,该结果是基于特定的测试集得到的,对于幅度较小的表情或将其应用于现实环境中可能无法达到很高的识别率。2013年,日本的Polikovsky4使用200fps高速摄像机在特定的环境下拍摄了10组大学生的面部微表情活动,参与者被要求从6种表情以自己最快的速度回到中性表情中,完成模拟微表情变化的过程。记录下面部的微变化后,将面部分为12个感兴趣区,对每一区域采用3D梯度方向直方图描述运动。综合K均值聚类和表决程序的分类结果表明,3D梯度方向直方图可以有效表征不同面部区域处在不同相位的面部表情动作单元。迄今为止,只有日本的Polikovsky5创建的微表***库使用的是高速照相机,但它是在强光下拍摄,与真实的自然场景有很大区别,因此也需要研制一种获取人脸动态时间序列图像的高速图像采集***。
微表情持续时间很短并快速变化,需要高速动态图像跟踪捕捉,捕捉到的高速动态图像序列是一个高维数据集,直接对该高维数据进行处理识别微表情特征往往会面临维数灾难。通过维数约减将高维数据转换为低维特征空间表示,必然在相当大的程度上减轻甚至避免图像数据处理所面临的维数灾难。
为实现高维输入样本在局部意义下的最优低维嵌入,Belkin和Niyogi于2003年提出了基于谱图理论的Laplacian Eigenmap6(LE)算法。他们发现流形上Laplacian-Beltrami算子的特征函数可以实现流形的低维嵌入,Laplacian-Beltram算子定义为流形切空间上梯度向量的负散度函数。根据谱图理论,如果数据均匀采样于高维空间中的低维流形,那么可以用图的Laplacian去逼近流形上Laplacian-Beltrami算子,进而可以用图的Laplacian特征向量去逼近流形上Laplacian-Beltrami算子的特征函数。LE算法只需要较少的计算量,执行速度很快,是一种广泛应用的非线性降维方法。
1Shreve,M.;Godavarthy,S.;Goldgof,D.;Sarkar,S.,"Macro-and micro-expression spotting in long videosusing spatio-temporal strain,″Automatic Face&Gesture Recognition and Workshops(FG2011),2011IEEEInternational Conference on,vol.,no.,pp.51,56,21-25March2011.
2Pfister,T.;Xiaobai Li;Guoying Zhao;Pietikainen,M.,"Recognising spontaneous facial micro-expressions,″Computer Vision(ICCV),2011IEEE International Conference on,vol.,no.,pp.1449,1456,6-13Nov.2011.
3Qi Wu,Xunbing Shen,Xiaolan Fu:The Machine Knows What You Are Hiding:An AutomaticMicro-expression Recognition System.ACII(2)2011:152-162.
4Polikovsky,Senya;Kameda,Yoshinari;Ohta,Yuichi,"Facial Micro-Expression Detection in Hi-Speed VideoBased on Facial Action Coding System(FACS)″,IEICE TRANSACTIONS ON INFORMATION ANDSYSTEMS,vol.E96D,no.1,pp.81-92JAN2013.
5Polikovsky,Senya;Kameda,Yoshinari;Ohta,Yuichi,″Facial Micro-Expression Detection in Hi-Speed VideoBased on Facial Action Coding System(FACS)″,IEICE TRANSACTIONS ON INFORMATION ANDSYSTEMS,vol.E96D,no.1,pp.81-92JAN2013.
6Mikhail Belkin,Partha Niyogi.″Laplacian Eigenmaps for Dimensionality Reduction and DataRepresentation″,Neural Computation,200315:6,1373-1396.
发明内容
本发明所解决的主要技术问题是研制一种获取人脸动态时间序列图像的高速图像采集***,开发一种基于拉普拉斯特征映射的非线性降维的高维序列图像特征计算分析方法,最终实现人脸微表情的捕捉及识别。
本发明所采用的技术方案如下:
1.创建高速图像采集应用***(硬件组成+应用软件),设置好高速图像采集***的软硬件参数配置。
2.采集高速视频人脸图像序列作为输入进行后续特征提取分析。
3.建立一种基于拉普拉斯特征映射非线性降维的方法,对获得的高速视频人脸图像序列进行降维,建立其低维特征空间。
4.在低维空间中进行特征参数计算,应用低维空间特征参数跟踪识别人脸微表情变化。
本发明具有如下优点:
(1)LE算法在构造近邻图和求低维嵌入的计算复杂度分别为0(Dn2)和0(dn2),在设置重构权值矩阵的计算复杂度最多不超过0(kDn),因此,LE算法只需要较少的计算量,执行速度快。
(2)由于微表情变化时间序列图像维数过高,有的特征会对分类起误导作用,对其进行降维,提取出对分类最能起作用的特征,从而提高分类准确率。
(3)在一定程度上消除高维数据中存在的噪声。数据的高维性背后可能包含很多冗余无用的噪声信息,通过对高维数据进行降维,抽取和问题紧密相关的因子,删除冗余的噪声维数。
(4)实验表明,降维后提取的低维特征具有很好的分类能力,这使得实时检测成为可能。
附图说明
图1本发明的方法流程图
图2部分眼睛变动的时间序列图像
图3眼睛变动的时间序列图像的拉普拉斯特征映射降一维嵌入结果
图4部分微笑微表情变化时间序列图像
图5微笑微表情变化时间序列图像的拉普拉斯特征映射降一维嵌入结果
具体实施方式
本发明的方法流程图如图1所示,具体如下:
1.创建高速图像采集应用***
由于微表情持续时间最短仅为40毫秒,要求fps至少250,控制噪声和***造价同时,为了提高精度,我们选择采样频率最高可达300fps高速摄像***,分辨率为800x600像素。高速摄像***与高性能计算机工作站直接相连,采集***软件实现图像的实时采集、处理和存储功能。能够激发被试6种表情的相应音频(时长各1分钟)间隔10秒录制在CD中,10秒间隔便于被试舒缓情绪,自然回到中性表情中。6种基本表情图像来自表情数据库。被试通过耳机收听音频,并同时观看相应表情图像。高速摄像***自动启停采集相关视频,***安放在在一个8平米房间内,有两盏LED灯。
2.微表情变化时间序列图像的采集
招募10名一年级研究生作为被试,男女各5名,听力和视力正常,并进行培训。房间内只有被试一人,测试过程中佩戴耳机并一直观看摄像机后面的表情显示屏幕,严格要求尽力保持中性表情。高速摄像机正对受试者面部进行视频采集,采集的视频流通过采集卡实时存储在计算机工作站中。
3.对微表情变化时间序列图像预处理
先对视频图像进行滤波降噪预处理,然后从人脸中分割出面部区域并提取相关视频。
4.对人脸微表情变化时间序列图像降维
拉普拉斯特征映射是一种基于局部的非线性降维方法,其思想是通过保持数据的局部性来发掘潜在的流形结构,也即高维空间中距离较近的点在低维嵌入空间也应该比较接近。算法实施如下:
(4.1)构造近邻图G
设G表示n个点的矩阵。我们将i和j连接起来,如果xi和xj离很近,就做如下变化:如果
则点i和j由线连接,其中的距离是欧式距离。
(4.2)近邻点赋权
设置近邻点之间的权值:
其中t是一个可调节参数,本算法中取t=200。
(4.3)求低维嵌入Y
LE算法是一种在平均意义上保持流形局部特性的方法,直观来看,即希望近邻的高维数据点映射到内在低维空间后仍为近邻点。设Y=[y1,...,yn]是高维观测数据集X=[x1,...,xn]的低维嵌入,那么LE算法的目标函数可表示为使下面的损失函数达到极小:
这里,如果近邻点xi与xj映射到低维空间后变得相距很远,那么Wij会施加严厉的惩罚,因此极小化式实际上是确保如果样本点xi与xj是近邻点,那么在低维嵌入空间相应的yi与yj也应该是近邻点。
对于任何Y,我们有:
其中tr(YLYT)求矩阵YLYT的迹,L=D-W是Laplacian矩阵,D为对角矩阵,元素为权值矩阵W的列(行)和,即为了消除尺度因子的影响,施加约束YDYT=I,因此LE算法的优化问题转化为:
由此得到,LE算法的低维嵌入Y应取Laplacian矩阵L的最小d+1个特征值所对应的特征向量v1,...,vd+1,即:Y=[v2,...,vd+1]T。
5.考虑到降维后维度值对分类结果的影响,我们使用一种基于剩余方差的维度选择办法,具体方法如下:
高维数据X经过降维处理后的低维数据为Y,Y是跟低维维度d相关的数据集,即不同的d值下Y的数据维度是不同的。对元数据Y和带有landmarks的Y做协方差,然后减去1,对结果求取负值,得到随低维维度d变化的剩余方差的变化曲线。我们取曲线趋于稳定的低维维度d的最小值作为高维数据降维后的本征维度。对降维后获得的d维表情特征,按照其对表情的影响大小降序排列,影响最大的是第一维特征,影响其次的是第二维特征,以此类推,影响最小的是第d维特征。从第一维特征变化图中可以获得第一维特征的幅值和第一维特征的振动频率两个特征参数。
6.随机选择其中9人的所有微表情序列图像作为训练样本,剩下一人的图像作为测试样本,基于留一法交叉验证,利用k近邻分类器进行测试。
实施例一、动眼序列图像识别
利用高速图像采集应用***获得眼睛变动的序列图像,如图2所示。实验表明,如图3所示,每当眼睛移动或眨眼的时候,LE都能够很敏感地测出变化,眼睛移动的幅度越大,斜率变化越大。而且,当眼睛移动的方向改变的时候,斜率改变的正负的方向也会改变。眨眼的时候,会有一个很大的阶跃。
实施例二、微笑微表情变化时间序列图像识别
采用与实施例一相同方法获得序列图像,如图4所示。实验表明,如图5所示,当无表情的时候,降维的曲线水平稳定。当表情变化,微笑的时候,降维的曲线就出现了大的震荡波动,记录下了表情的变化。
综上所述,本发明提出了一种基于非线性降维的人脸微表情捕捉及识别方法,该方法通过构建一种高速时间序列图像动态采集***获取人脸动态时间序列图像,利用一种基于拉普拉斯特征映射的非线性降维方法,最终实现低维空间人脸微表情的捕捉及识别。
以上所述的,仅为本发明的较佳实施例,并非用以限定本发明的范围,即凡是依据本发明申请的权利要求书及说明书内容所做的简单的、等效变化及修饰,皆落入本发明专利的权利要求保护范围。
Claims (4)
1.一种基于非线性降维的人脸微表情捕捉及识别方法,包括如下步骤:
步骤(1),创建高速图像采集应用***(硬件组成+应用软件);
步骤(2),采集高速视频人脸图像序列作为输入进行后续特征提取分析;
步骤(3),对微表情变化时间序列图像预处理,先对视频图像进行滤波降噪预处理,然后从人脸中分割出面部区域并提取相关视频;
步骤(4),应用拉普拉斯特征映射对序列图像降维;
步骤(5),在低维空间中进行特征参数计算,基于k近邻分类器应用低维空间特征参数跟踪识别人脸微表情变化。
2.如权利要求1所述的高速图像采集应用***创建方法为:
由于微表情持续时间最短仅为40毫秒,要求fps至少250,控制噪声和***造价同时,为了提高精度,我们选择采样频率最高可达300fps高速摄像***,分辨率为800x600像素。高速摄像***与高性能计算机工作站直接相连,采集***软件实现图像的实时采集、处理和存储功能。能够激发被试6种表情的相应音频(时长各1分钟)间隔10秒录制在CD中,10秒间隔便于被试舒缓情绪,自然回到中性表情中。6种基本表情图像来自表情数据库。被试通过耳机收听音频,并同时观看相应表情图像。高速摄像***自动启停采集相关视频,***安放在在一个8平米房间内,有两盏LED灯。
3.如权利要求2所述的微表情变化时间序列图像的采集方法为:
招募10名一年级研究生作为被试,男女各5名,听力和视力正常,并进行培训。房间内只有被试一人,测试过程中佩戴耳机并一直观看摄像机后面的表情显示屏幕,严格要求尽力保持中性表情。高速摄像机正对受试者面部进行视频采集,采集的视频流通过采集卡实时存储在计算机工作站中。
4.如权利要求4所述的应用拉普拉斯特征映射对序列图像降维,其特征是,所述序列图像降维的具体步骤如下:
(4.1)构造近邻图G
设G表示n个点的矩阵。我们将i和j连接起来,如果xi和xj离很近,就做如下变化:如果
则点i和j由线连接,其中的距离是欧式距离。
(4.2)近邻点赋权
设置近邻点之间的权值:
其中t是一个可调节参数,本算法中取t=200。
(4.3)求低维嵌入Y
LE算法是一种在平均意义上保持流形局部特性的方法,直观来看,即希望近邻的高维数据点映射到内在低维空间后仍为近邻点。设Y=[y1,...,yn]是高维观测数据集X=[x1,...,xn]的低维嵌入,那么LE算法的目标函数可表示为使下面的损失函数达到极小:
这里,如果近邻点xi与xj映射到低维空间后变得相距很远,那么Wij会施加严厉的惩罚,因此极小化式实际上是确保如果样本点xi与xj是近邻点,那么在低维嵌入空间相应的yi与yj也应该是近邻点。
对于任何Y,我们有:
其中tr(YLYT)求矩阵YLYT的迹,L=D-W是Laplacian矩阵,D为对角矩阵,元素为权值矩阵W的列(行)和,即为了消除尺度因子的影响,施加约束YDYT=I,因此LE算法的优化问题转化为:
由此得到,LE算法的低维嵌入Y应取Laplacian矩阵L的最小d+1个特征值所对应的特征向量v1,...,vd+1,即:Y=[v2,...,vd+1]T。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410184408.9A CN104008391A (zh) | 2014-04-30 | 2014-04-30 | 一种基于非线性降维的人脸微表情捕捉及识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410184408.9A CN104008391A (zh) | 2014-04-30 | 2014-04-30 | 一种基于非线性降维的人脸微表情捕捉及识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104008391A true CN104008391A (zh) | 2014-08-27 |
Family
ID=51369040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410184408.9A Pending CN104008391A (zh) | 2014-04-30 | 2014-04-30 | 一种基于非线性降维的人脸微表情捕捉及识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104008391A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318221A (zh) * | 2014-11-05 | 2015-01-28 | 中南大学 | 一种基于elm的人脸表情识别方法 |
CN104809432A (zh) * | 2015-04-17 | 2015-07-29 | 同济大学 | 基于图像异构计算的人脸动作实时捕捉方法 |
CN104820495A (zh) * | 2015-04-29 | 2015-08-05 | 姜振宇 | 一种异常微表情识别与提醒方法及装置 |
CN105608440A (zh) * | 2016-01-03 | 2016-05-25 | 复旦大学 | 基于最小化误差的面部微表情序列特征抽取方法 |
CN106934382A (zh) * | 2017-03-20 | 2017-07-07 | 许彐琼 | 基于视频识别恐怖嫌疑人的方法和装置 |
CN107007257A (zh) * | 2017-03-17 | 2017-08-04 | 深圳大学 | 面部不自然度的自动评级方法和装置 |
CN107786803A (zh) * | 2016-08-29 | 2018-03-09 | 中兴通讯股份有限公司 | 一种图像生成方法、装置及终端设备 |
CN107798318A (zh) * | 2017-12-05 | 2018-03-13 | 四川文理学院 | 一种机器人识别面部快乐微表情的方法及其装置 |
CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336960A (zh) * | 2013-07-26 | 2013-10-02 | 电子科技大学 | 一种基于流形学习的人脸识别方法 |
CN103440509A (zh) * | 2013-08-28 | 2013-12-11 | 山东大学 | 一种有效的微表情自动识别方法 |
-
2014
- 2014-04-30 CN CN201410184408.9A patent/CN104008391A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103336960A (zh) * | 2013-07-26 | 2013-10-02 | 电子科技大学 | 一种基于流形学习的人脸识别方法 |
CN103440509A (zh) * | 2013-08-28 | 2013-12-11 | 山东大学 | 一种有效的微表情自动识别方法 |
Non-Patent Citations (1)
Title |
---|
MIKHAIL BELKIN等: "Laplacian Eigenmaps for Dimensionality Reduction and Data", 《ACM》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104318221A (zh) * | 2014-11-05 | 2015-01-28 | 中南大学 | 一种基于elm的人脸表情识别方法 |
CN104809432A (zh) * | 2015-04-17 | 2015-07-29 | 同济大学 | 基于图像异构计算的人脸动作实时捕捉方法 |
CN104820495A (zh) * | 2015-04-29 | 2015-08-05 | 姜振宇 | 一种异常微表情识别与提醒方法及装置 |
CN105608440A (zh) * | 2016-01-03 | 2016-05-25 | 复旦大学 | 基于最小化误差的面部微表情序列特征抽取方法 |
CN105608440B (zh) * | 2016-01-03 | 2019-05-31 | 复旦大学 | 基于最小化误差的面部微表情序列特征抽取方法 |
CN107786803A (zh) * | 2016-08-29 | 2018-03-09 | 中兴通讯股份有限公司 | 一种图像生成方法、装置及终端设备 |
CN107007257A (zh) * | 2017-03-17 | 2017-08-04 | 深圳大学 | 面部不自然度的自动评级方法和装置 |
CN107007257B (zh) * | 2017-03-17 | 2018-06-01 | 深圳大学 | 面部不自然度的自动评级方法和装置 |
CN106934382A (zh) * | 2017-03-20 | 2017-07-07 | 许彐琼 | 基于视频识别恐怖嫌疑人的方法和装置 |
CN107909020A (zh) * | 2017-11-09 | 2018-04-13 | 东南大学 | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 |
CN107798318A (zh) * | 2017-12-05 | 2018-03-13 | 四川文理学院 | 一种机器人识别面部快乐微表情的方法及其装置 |
WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104008391A (zh) | 一种基于非线性降维的人脸微表情捕捉及识别方法 | |
Singh et al. | Vision-based gait recognition: A survey | |
Li et al. | In ictu oculi: Exposing ai created fake videos by detecting eye blinking | |
Yuan et al. | Fingerprint liveness detection using an improved CNN with image scale equalization | |
de Melo et al. | Combining global and local convolutional 3d networks for detecting depression from facial expressions | |
Liu et al. | Boosted key-frame selection and correlated pyramidal motion-feature representation for human action recognition | |
Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
Ladjailia et al. | Human activity recognition via optical flow: decomposing activities into basic actions | |
CN105138954A (zh) | 一种图像自动筛选查询识别*** | |
Ahmed et al. | Kinect-based gait recognition using sequences of the most relevant joint relative angles | |
Arigbabu et al. | Integration of multiple soft biometrics for human identification | |
CN108846343B (zh) | 基于三维视频的多任务协同分析方法 | |
Wen et al. | Multi-view gait recognition based on generative adversarial network | |
Kaur et al. | Comparative study of facial expression recognition techniques | |
Chen et al. | Human posture recognition based on skeleton data | |
Pourazad et al. | A non-intrusive deep learning based fall detection scheme using video cameras | |
Chen et al. | Gait feature learning via spatio-temporal two-branch networks | |
Yadav et al. | Human Illegal Activity Recognition Based on Deep Learning Techniques | |
Sun et al. | Faketransformer: Exposing face forgery from spatial-temporal representation modeled by facial pixel variations | |
Eltaher et al. | Gait-Based Gender Classification Using Kinect Sensor | |
Kumar et al. | Depth videos for the classification of micro-expressions | |
He et al. | Human behavior feature representation and recognition based on depth video | |
Goudelis et al. | Robust human action recognition using history trace templates | |
Zeno et al. | Face validation based anomaly detection using variational autoencoder | |
Ingale et al. | Deep Learning for Crowd Image Classification for Images Captured Under Varying Climatic and Lighting Condition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140827 |
|
WD01 | Invention patent application deemed withdrawn after publication |