CN106951852A - 一种有效的人体行为识别*** - Google Patents

一种有效的人体行为识别*** Download PDF

Info

Publication number
CN106951852A
CN106951852A CN201710154963.0A CN201710154963A CN106951852A CN 106951852 A CN106951852 A CN 106951852A CN 201710154963 A CN201710154963 A CN 201710154963A CN 106951852 A CN106951852 A CN 106951852A
Authority
CN
China
Prior art keywords
data
module
human
body behavior
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710154963.0A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen United Automation Control Co Ltd
Original Assignee
Shenzhen United Automation Control Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen United Automation Control Co Ltd filed Critical Shenzhen United Automation Control Co Ltd
Priority to CN201710154963.0A priority Critical patent/CN106951852A/zh
Publication of CN106951852A publication Critical patent/CN106951852A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/086Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • G06F2218/04Denoising
    • G06F2218/06Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

一种有效的人体行为识别***,包括数据采集模块、数据处理模块、特征提取模块和人体行为识别模块,数据采集模块包括传感器采集单元和数据传输单元,所述传感器采集单元用于采集人体运动时的产生的加速度数据,所述数据传输单元采用ZigBee无线通信技术,用于将采集得到的加速度数据传输到数据处理模块,所述数据处理模块对采集得到的数据进行处理,所述特征提取模块从处理后的加速度数据中提取加速度信号特征,组件特征集合,所述人体行为识别模块用于对人体行为类别进行识别。本发明的有益效果为:从人体运动时产生的加速度信号中提取特征向量,采用RBF神经网络构建分类器,用于对所述特征向量进行分类,实现了对人体行为类别的有效识别。

Description

一种有效的人体行为识别***
技术领域
本发明创造涉及人体行为识别领域,具体涉及一种有效的人体行为识别***。
背景技术
对于人体行为的有效识别在当今生活、安全以及医疗生活等领域都具有重要的意义,生活中,尤其是老人和幼儿的人体行为类别识别,可以实现日常的监护并且在发生摔倒等危险行为时进行第一时间抢救,医学上,通过对病人的人体行为类别的识别和分析,可以为病情诊断和治疗提供依据。
近年来,对人体行为识别多采用图像处理技术和加速度分析方法,对于应用图像处理技术进行人体行为识别时往往存在数据量大,计算复杂以及不能对人体进行实时监护等缺点,因此,本发明采用加速度传感器采集人体运动时产生的加速度数据,从加速度数据中提取人体运动的特征向量,根据特征向量进行人体行为识别。
发明内容
针对上述问题,本发明旨在提供一种有效的人体行为识别***。
本发明创造的目的通过以下技术方案实现:
一种有效的人体行为识别***,包括数据采集模块、数据处理模块、特征提取模块和人体行为识别模块,所述数据采集模块包括传感器采集单元和数据传输单元,所述传感器采集单元采用三轴加速度传感器采集人体运动时产生的加速度数据,所述数据传输单元采用ZigBee无线通信技术,用于将采集得到的加速度数据传输到数据处理模块,所述数据处理模块对采集得到的数据进行处理,所述特征提取模块从处理后的加速度数据中提取加速度信号特征,组件特征集合,所述人体行为识别模块采用RBF神经网络构建分类器,根据上述获得的特征集合进行人体行为识别。
优选地,所述数据处理模块采用一种改进的小波阈值去噪法对采集得到的加速度数据进行处理,具体包括:
a.选取小波阈值去噪法中的阈值τ,则τ的计算表达式为:
式中,μ为高斯白噪声的标准方差,N为信号的长度,j为分解尺度;
b.提出一种改进的阈值函数,具体为:
式中,v(j,k)为原始的小波系数,v′(j,k)为去躁后得到的小波系数,τ为阈值。
优选地,所述特征提取模块用于从处理后的加速度数据中提取加速度信号特征,组建特征集合,具体为:
式中,xi1、xi2……xin分别代表加速度数据的均值、方差、均方根、FFT系数、频谱能量、频域熵、功率谱密度和数据变化率的加速度信号特征。
优选地,所述数据变化率根据Y轴加速度数据进行计算,具体包括:
a.定义i时刻采集得到的Y轴的数据为li,则计算Y轴的数据的斜率为:
式中,li为i时刻采集得到的加速度Y轴数据,li+k为i+k时刻采集得到的数据,vj为li+k和li之间的斜率;
b.根据上述所得的数据之间的斜率计算数据变化率rj,具体为:
rj=|vj+1-vj|
式中,vj为数据斜率,r为数据变化率。
优选地,所述人体行为识别模块用于根据上述所得的特征集合进行人体行为识别,主要包括:
a.制定待识别人体行为类别的参量值,具体为:
式中,q1、q2、……、q8分别为平地走、上坡、下坡、快跑、慢跑、上楼、下楼和摔倒这8种人体行为类别的参量值;
b.采用RBF神经网络构建分类器,用于根据所述特征向量识别人体行为类别,其采用一种改进的遗传算法训练RBF神经网络,定义i时刻的特征集合作为RBF神经网络的输入变量,则RBF神经网络的实际输出为则其适应度函数为:
式中,α=0.73、β=0.27,H为隐藏神经元个数,L为输入层神经元个数,h为输入样本个数,i为RBF神经网络的实际输出,qi为待识别人体行为类别的参量值;
c.计算RBF神经网络实际输出和对应人体行为类别标量值的最小均方根误差,具体为:
式中,tim为RBF神经网络的实际输出,qm为待识别人体行为类别的参量值,h为样本输入个数;
d.最小均方根误差R′m所对应的人体行为类别即为输入变量所属的类别,从而达到识别人体行为类别的目的。
本发明的有益效果为:通过各模块之间的相互配合,能够对人体运动时产生的加速度信号进行有效的采集、处理和特征提取,采用RBF神经网络构建分类器,用于对所述特征向量进行分类,实现了对人体行为类别的有效识别。
附图说明
利用附图对发明创造作进一步说明,但附图中的实施例不构成对本发明创造的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1是本发明结构示意图;
附图标记:
数据采集模块1、数据处理模块2、特征提取模块3、人体行为识别模块4、传感器采集单元11、数据传输单元12。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1,本实施例的一种有效的人体行为识别***,包括数据采集模块1、数据处理模块2、特征提取模块3和人体行为识别模块4,所述数据采集模块1包括传感器采集单元11和数据传输单元12,所述传感器采集单元11采用三轴加速度传感器采集人体运动时产生的加速度数据,所述数据传输单元12采用ZigBee无线通信技术,用于将采集得到的加速度数据传输到数据处理模块2,所述数据处理模块2对采集得到的数据进行处理,所述特征提取模块3从处理后的加速度数据中提取加速度信号特征,组件特征集合,所述人体行为识别模块4采用RBF神经网络构建分类器,根据上述获得的特征集合进行人体行为识别。
优选地,所述数据处理模块2采用一种改进的小波阈值法对采集得到的加速度数据进行处理,具体包括:
a.选取小波阈值法中的阈值τ,则τ的计算表达式为:
式中,μ为高斯白噪声的标准方差,N为信号的长度,j为分解尺度;
b.提出一种改进的阈值函数,具体为:
式中,v(j,k)为原始的小波系数,v′(j,k)为滤波后得到的小波系数,τ为阈值。
本优选实施例克服了传统阈值函数在信号连续性和重构信号的精度方面的不足,在滤除噪声的同时,控制了信号的衰减程度,具有更好的滤波效果。
优选地,所述特征提取模块3用于从处理后的加速度数据中提取加速度信号特征,组建特征集合,具体为:
式中,xi1、xi2……xin分别代表加速度数据的均值、方差、均方根、FFT系数、频谱能量、频域熵、功率谱密度和数据变化率的加速度信号特征。
本优选实施例确定了用于识别人体行为类别的特征向量,对后续人体行为类别的有效识别奠定了基础。
优选地,所述数据变化率根据Y轴加速度数据进行计算,具体包括:
a.定义i时刻采集得到的Y轴的数据为li,则计算Y轴的数据的斜率为:
式中,li为i时刻采集得到的加速度Y轴数据,li+k为i+k时刻采集得到的数据,vj为li+k和li之间的斜率;
b.根据上述所得的数据之间的斜率计算数据变化率rj,具体为:
rj=|vj+1-vj|
式中,vj为数据斜率,r为数据变化率。
本优选实施例突出了采集得到的Y轴加速度数据的分布特点,并从数据变化率中体现了运行的剧烈程度,在解决人体行为识别的混淆问题时效果显著。
优选地,所述人体行为识别模块4用于根据上述所得的特征集合进行人体行为识别,主要包括:
a.制定待识别人体行为类别的参量值,具体为:
式中,q1、q2、……、q8分别为平地走、上坡、下坡、快跑、慢跑、上楼、下楼和摔倒这8种人体行为类别的参量值;
b.采用RBF神经网络构建分类器,用于根据所述特征向量识别人体行为类别,其采用一种改进的遗传算法训练RBF神经网络,定义i时刻的特征集合作为RBF神经网络的输入变量,则RBF神经网络的实际输出为则其适应度函数为:
式中,α=0.73、β=0.27,H为隐藏神经元个数,L为输入层神经元个数,h为输入样本个数,i为RBF神经网络的实际输出,qi为待识别人体行为类别的参量值;
c.计算RBF神经网络实际输出和对应人体行为类别标量值的最小均方根误差,具体为:
式中,tim为RBF神经网络的实际输出,qm为待识别人体行为类别的参量值,h为样本输入个数;
d.最小均方根误差R′m所对应的人体行为类别即为输入变量所属的类别,从而达到识别人体行为类别的目的。
本优选实施例提出一种改进的适应度函数训练BPF神经网络,获得的网络结构较为精简,同时具有较小的输出误差,在行为识别***中,能够较为精确识别人体行为类别。
最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种有效的人体行为识别***,其特征是,包括数据采集模块、数据处理模块、特征提取模块和人体行为识别模块,所述数据采集模块包括传感器采集单元和数据传输单元,所述传感器采集单元采用三轴加速度传感器采集人体运动时产生的加速度数据,所述数据传输单元采用ZigBee无线通信技术,用于将采集得到的加速度数据传输到数据处理模块,所述数据处理模块对采集得到的数据进行处理,所述特征提取模块从处理后的加速度数据中提取加速度信号特征,组件特征集合,所述人体行为识别模块采用RBF神经网络构建分类器,根据上述获得的特征集合进行人体行为识别。
2.根据权利要求1所述的一种有效的人体行为识别***,其特征是,所述数据处理模块采用一种改进的小波阈值去噪法对采集得到的加速度数据进行处理,具体包括:
a.选取小波阈值去噪法中的阈值τ,则τ的计算表达式为:
τ = μ 2 ln N ln ( 1 + 1 j )
式中,μ为高斯白噪声的标准方差,N为信号的长度,j为分解尺度;
b.提出一种改进的阈值函数,具体为:
v &prime; ( j , k ) = v ( j , k ) - &tau; ( 1 - e | v ( j , k ) &tau; | ) , v ( j , k ) &GreaterEqual; &tau; 0 , | v ( j , k ) | < &tau; v ( j , k ) + &tau; ( 1 - e | v ( j , k ) &tau; | ) , v ( j , k ) &le; - &tau;
式中,v(j,k)为原始的小波系数,v′(j,k)为去躁后得到的小波系数,τ为阈值。
3.根据权利要求2所述的一种有效的人体行为识别***,其特征是,所述特征提取模块用于从处理后的加速度数据中提取加速度信号特征,组建特征集合,具体为:
x i = x i 1 x i 2 ... x i n , ( n = 1 , 2 ... ... 8 )
式中,xi1、xi2……xin分别代表加速度数据的均值、方差、均方根、FFT系数、频谱能量、频域熵、功率谱密度和数据变化率的加速度信号特征。
4.根据权利要求3所述的一种有效的人体行为识别***,其特征是,所述数据变化率根据Y轴加速度数据进行计算,具体包括:
a.定义i时刻采集得到的Y轴的数据为li,则计算Y轴的数据的斜率为:
v j = l i + k - l i k , ( j = 1 , 2 ... ... u )
式中,li为i时刻采集得到的加速度Y轴数据,li+k为i+k时刻采集得到的数据,vj为li+k和li之间的斜率;
b.根据上述所得的数据之间的斜率计算数据变化率rj,具体为:
rj=|vj+1-vj|
式中,vj为数据斜率,r为数据变化率。
5.根据权利要求4所述的一种有效的人体行为识别***,其特征是,所述人体行为识别模块用于根据上述所得的特征集合进行人体行为识别,主要包括:
a.制定待识别人体行为类别的参量值,具体为:
q i = q 1 q 2 ... q 8
式中,q1、q2、……、q8分别为平地走、上坡、下坡、快跑、慢跑、上楼、下楼和摔倒这8种人体行为类别的参量值;
b.采用RBF神经网络构建分类器,用于根据所述特征向量识别人体行为类别,其采用一种改进的遗传算法训练RBF神经网络,定义i时刻的特征集合作为RBF神经网络的输入变量,则RBF神经网络的实际输出为则其适应度函数为:
f = 1 &Sigma; i = 1 h ( t i - q i ) 2 / h &alpha; + L &beta; H
式中,α=0.73、β=0.27,H为隐藏神经元个数,L为输入层神经元个数,h为输入样本个数,i为RBF神经网络的实际输出,qi为待识别人体行为类别的参量值;
c.计算RBF神经网络实际输出和对应人体行为类别标量值的最小均方根误差,具体为:
R m = 1 h &Sigma; i = 1 h ( t i m - q m ) 2 , ( m = 1 , 2 ... ... 8 )
R m &prime; = m i n m R m
式中,tim为RBF神经网络的实际输出,qm为待识别人体行为类别的参量值,h为样本输入个数;
d.最小均方根误差R′m所对应的人体行为类别即为输入变量所属的类别,从而达到识别人体行为类别的目的。
CN201710154963.0A 2017-03-15 2017-03-15 一种有效的人体行为识别*** Pending CN106951852A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710154963.0A CN106951852A (zh) 2017-03-15 2017-03-15 一种有效的人体行为识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710154963.0A CN106951852A (zh) 2017-03-15 2017-03-15 一种有效的人体行为识别***

Publications (1)

Publication Number Publication Date
CN106951852A true CN106951852A (zh) 2017-07-14

Family

ID=59472494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710154963.0A Pending CN106951852A (zh) 2017-03-15 2017-03-15 一种有效的人体行为识别***

Country Status (1)

Country Link
CN (1) CN106951852A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909771A (zh) * 2017-10-08 2018-04-13 南京邮电大学 一种基于无线传感网络的人员跌倒报警***及其实现方法
CN108009620A (zh) * 2017-11-29 2018-05-08 顺丰科技有限公司 一种大礼拜计数方法、***和装置
CN108392208A (zh) * 2018-02-23 2018-08-14 大同公元三九八智慧养老服务有限公司 一种基于多阶段模型的跌倒判断方法
CN108764059A (zh) * 2018-05-04 2018-11-06 南京邮电大学 一种基于神经网络的人体行为识别方法及***
CN109993037A (zh) * 2018-01-02 2019-07-09 ***通信有限公司研究院 动作识别方法、装置、穿戴设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103211599A (zh) * 2013-05-13 2013-07-24 桂林电子科技大学 一种监测跌倒的方法及装置
EP2693300A2 (en) * 2012-08-01 2014-02-05 Samsung Electronics Co., Ltd Device and method for recognizing gesture based on direction of gesture
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2693300A2 (en) * 2012-08-01 2014-02-05 Samsung Electronics Co., Ltd Device and method for recognizing gesture based on direction of gesture
CN103211599A (zh) * 2013-05-13 2013-07-24 桂林电子科技大学 一种监测跌倒的方法及装置
CN104850846A (zh) * 2015-06-02 2015-08-19 深圳大学 一种基于深度神经网络的人体行为识别方法及识别***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王洪斌: "《基于三轴加速度传感器的人体行为识别研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
范小龙 等: "《一种平稳小波变换改进阈值函数的电能质量扰动信号去噪方法》", 《电工技术学报》 *
黄金金: "《面向人体运动监测的无线体传感网中信号压缩与动作识别研究》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909771A (zh) * 2017-10-08 2018-04-13 南京邮电大学 一种基于无线传感网络的人员跌倒报警***及其实现方法
CN107909771B (zh) * 2017-10-08 2020-04-10 南京邮电大学 一种基于无线传感网络的人员跌倒报警***及其实现方法
CN108009620A (zh) * 2017-11-29 2018-05-08 顺丰科技有限公司 一种大礼拜计数方法、***和装置
CN108009620B (zh) * 2017-11-29 2022-01-21 顺丰科技有限公司 一种大礼拜计数方法、***和装置
CN109993037A (zh) * 2018-01-02 2019-07-09 ***通信有限公司研究院 动作识别方法、装置、穿戴设备及计算机可读存储介质
CN108392208A (zh) * 2018-02-23 2018-08-14 大同公元三九八智慧养老服务有限公司 一种基于多阶段模型的跌倒判断方法
CN108392208B (zh) * 2018-02-23 2020-12-15 大同公元三九八智慧养老服务有限公司 一种基于多阶段模型的跌倒判断方法
CN108764059A (zh) * 2018-05-04 2018-11-06 南京邮电大学 一种基于神经网络的人体行为识别方法及***
CN108764059B (zh) * 2018-05-04 2021-01-01 南京邮电大学 一种基于神经网络的人体行为识别方法及***

Similar Documents

Publication Publication Date Title
CN106951852A (zh) 一种有效的人体行为识别***
CN116705337B (zh) 一种健康数据采集及智能分析方法
CN105561567B (zh) 一种计步及运动状态评估装置
CN105997064B (zh) 一种用于人体下肢表面肌电信号的辨识方法
CN105595990A (zh) 一种用于心电信号质量评估判别的智能终端设备
CN107184198A (zh) 一种心电信号分类识别方法
CN103034837B (zh) 特征参数与脉象要素的关联
CN111248879B (zh) 一种基于多模态注意力融合的高血压老年人活动分析方法
CN103400123A (zh) 基于三轴加速度传感器及神经网络的步态类型鉴别方法
CN105943206A (zh) 一种基于myo臂环的假肢手控制方法
CN105956558A (zh) 一种基于三轴加速度传感器人体动作识别方法
CN110639169B (zh) 基于游戏和肌电信号的cpm下肢康复训练方法及***
CN111887858B (zh) 基于跨模态映射的心冲击图信号心率估计方法
CN105139029A (zh) 一种监狱服刑人员的行为识别方法及装置
CN107766898A (zh) 基于svm的三分类情绪概率判断方法
CN105726013A (zh) 一种具有心电信号质量判别功能的心电监测***
CN107822629A (zh) 四肢表面肌电轴的检测方法
CN110916672A (zh) 一种基于一维卷积神经网络的老年人日常活动监测方法
CN116269249B (zh) 一种脑卒中风险预测方法和***
CN105550509A (zh) 一种医用输液滴速评价方法及***
CN107212883A (zh) 一种基于脑电控制的机械臂写字装置及控制方法
CN114732424B (zh) 基于表面肌电信号提取肌肉疲劳状态复杂网络属性的方法
CN107847146A (zh) 在ecg数据上自动标记活动的方法和***
CN108470182A (zh) 一种用于非对称脑电特征增强与识别的脑-机接口方法
CN109662708A (zh) 一种基于深度神经网络的术后病人行为监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170714