CN107358210A - 人体动作识别方法及装置 - Google Patents
人体动作识别方法及装置 Download PDFInfo
- Publication number
- CN107358210A CN107358210A CN201710581248.5A CN201710581248A CN107358210A CN 107358210 A CN107358210 A CN 107358210A CN 201710581248 A CN201710581248 A CN 201710581248A CN 107358210 A CN107358210 A CN 107358210A
- Authority
- CN
- China
- Prior art keywords
- human body
- body target
- mrow
- action
- target position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000009471 action Effects 0.000 claims abstract description 85
- 238000007637 random forest analysis Methods 0.000 claims abstract description 47
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 10
- 239000002245 particle Substances 0.000 abstract description 4
- 230000004927 fusion Effects 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 21
- 230000015654 memory Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000005616 pyroelectricity Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/34—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using capacitors, e.g. pyroelectric capacitors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/34—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using capacitors, e.g. pyroelectric capacitors
- G01J2005/345—Arrays
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Power Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及动作识别领域,具体涉及一种人体动作识别方法及装置,所述方法包括:将每个数据帧中的人体目标的距离信息和角度信息代入极坐标系中计算出人体目标位置的初始值;对计算出的人体目标位置的初始值进行滤波处理,确定每个数据帧中人体目标的估计位置;根据两个连续数据帧中的人体目标位置计算获得人体目标的移动速度;根据所述人体目标位置和所述人体目标的移动速度,构建随机森林,计算识别得出人体目标的动作类型。通过距离信息和角度信息采用双自由度的划分调制,使用粒子滤波器和数据融合的方式提高人体目标定位的准确度,构造随机森林并将识别结果作为最终的动作分类结果,增加了识别的精确度。
Description
技术领域
本发明涉及动作识别领域,具体而言,涉及一种人体动作识别方法及装置。
背景技术
世界人口迅速老龄化,提高老年人的生活质量显得尤为重要,并且有巨大的社会效益。对老年人的日常行为进行监控可以为老年人提供及时的帮助。目前用于日常动作识别的主要有两种方法:基于视觉***和基于可穿戴传感器。但是基于视觉***的动作识别存在着以下缺点:由于其内在的数据关联问题和需要处理大量的数据,通过视频识别人体活动是非常具有挑战性的;视觉数据通常易受环境因素的影响,例如不良的光照条件和遮挡;使用照相机很可能会涉及到隐私问题。与基于视觉的动作识别***相比,基于可穿戴式传感器的***没有数据关联问题,并且需要处理的数据较少,但是如果需要穿戴过多的传感器,这对用户来说是非常繁琐的。热释电红外传感器作为安全***的一部分已经在很多地方有应用,包括家庭,银行,图书馆等。热释电红外传感器价格便宜,可以方便地安装在任何的室内环境并且不需要被佩戴或携带。热释电红外传感器作为一种被动的红外传感器,其性能不受照明变化的影响。然而,对于单个热释电红外传感器,其输出是原始正弦状信号,只能用于检测人体动作是否发生,无法判断人体的动作类型。
发明内容
有鉴于此,本发明实施例的目的在于提供一种人体动作识别方法,以改善上述的问题。
本发明实施例的另一目的在于提供一种人体动作识别装置,以改善上述的问题。
为了实现上述的目的,本发明采用的技术方案如下。
本发明提供了一种人体动作识别方法,包括:将每个数据帧中的人体目标的距离信息和角度信息计算出人体目标位置的初始值;对所述计算出的人体目标位置的初始值进行处理,确定每个数据帧中人体目标位置的确定值;根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度;根据所述人体目标位置的确定值和所述人体目标的移动速度,构建随机森林,计算识别得出人体目标的动作类型。
本发明实施例还提供一种人体动作识别装置,所述装置包括:位置计算单元,用于根据每个数据帧中的人体目标的距离信息和角度信息计算出人体目标位置的初始值;位置确定单元,用于对所述人体目标位置的初始值进行处理,确定每个数据帧中人体目标位置的确定值;速度计算单元,用于根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度;动作识别单元,用于根据所述人体目标位置的确定值和所述人体目标的移动速度,构建随机森林,计算识别得出人体目标的动作类型。
相对现有技术,本发明具有以下有益效果:
本发明提供的一种人体动作识别方法及装置,所述方法通过将每个数据帧中的人体目标的距离信息和角度信息计算出人体目标位置的初始值;对所述计算出的人体目标位置的初始值进行处理,确定每个数据帧中人体目标位置的确定值;根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度;根据所述人体目标位置的确定值和所述人体目标的移动速度,构建随机森林,计算识别得出人体目标的动作类型。人体动作识别方法增加了识别的精确度,无需通过视频监控等方式即可实现对室内人体目标的位置跟踪和动作类型识别,可广泛地应用于室内人体跟踪和日常动作识别领域中,很好的应用前景。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本发明所提供的一种人体动作识别***的示意图。
图2示出了人体动作识别装置的功能模块示意图。
图3示出了解码单元的功能模块示意图。
图4示出了采样节点的示意图。
图5示出了圆环区域的示意图。
图6示出了扇形区域的示意图。
图7示出了位置确定单元的功能模块示意图。
图8示出了动作识别单元的功能模块示意图。
图9示出了人体动作识别方法的流程图。
图10示出了步骤S101中S1011~S1012步骤图。
图11示出了图9中步骤S1051~S1052的示意图。
图12示出了图9中步骤S1051~S1052的示意图。
图标:100-人体动作识别***;101-存储器;102-存储控制器;103-处理器;104-外设接口;105-通信单元;106-热释电红外传感器;1061-第一类热释电红外传感器;1062-第二类热释电红外传感器;200-人体动作识别装置;210-解码单元;211-距离获取单元;212-角度获取单元;220-位置计算单元;230-位置确定单元;231-权重计算子单元;232-权重归一化子单元;240-速度计算单元;250-动作识别单元;251-第一随机森林子单元;252-第二随机森林子单元。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。
在本发明的描述中,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂,而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平,并不是表示该结构一定要完全水平,而是可以稍微倾斜。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
于本发明实施例所提供的人体动作识别方法及装置可以应用于如图1所述的人体动作识别***100中,请参阅图1,人体动作识别***100包括人体动作识别装置200、存储器101、存储控制器102、处理器103、外设接口104、通信单元105和热释电红外传感器106(PIR)。
所述存储器101、存储控制器102、处理器103、外设接口104、通信单元105各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述人体动作识别装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述人体动作识别***100的操作***(operating system,OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块,例如所人体动作识别装置200包括的软件功能模块或计算机程序。
其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器101用于存储程序,所述处理器103在接收到执行指令后,执行所述程序,所述处理器103以及其他可能的组件对存储器101的访问可在所述存储控制器102的控制下进行。
处理器103可能是一种集成电路芯片,具有信号的处理能力。上述的处理器103可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器103等。
所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中,外设接口104,处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
通信单元105可以通过有线或者无线的方式与其他通讯终端建立通信连接,实现数据的交互。
热释电红外传感器106用于通过于所述通信单元105连接,热释电红外传感器106用于采集人体目标的数据信息,并将采集到的数据信息传输至处理器103。
于本发明中,热释电红外传感器106包括第一类热释电红外传感器1061和第二类热释电红外传感器1062。
第一实施例
请参阅图2,本实施例提供了一种本发明较佳实施例提供的人体动作识别装置200的功能模块示意图。人体动作识别装置200包括:解码单元210、位置计算单元220、位置确定单元230、速度计算单元240和动作识别单元250。
解码单元210用于解析热释电红外传感器106传输的检测信号以生成人体目标的位置信息。于本发明实施例中,请参阅图3,所述解码单元210包括距离获取单元211和角度获取单元212,其中,距离获取单元211对应用于解码第一类热释电红外传感器单元(图未示)的检测信号获取人体目标的距离信息。
在本实例中,热释电红外传感器106的采样频率为15赫兹。在进一步处理之前,数据流将被分割成数据帧。每个数据帧为30个采样点,约为2秒。两个连续数据帧之间有15个采样点是重叠的,如图8所示。在每个数据帧中,窗口的大小为15个采样点,因此,在每个数据帧中将存在最多16个定位结果。
于本实施例中,热释电红外传感器106包括第一类热释电红外传感器单元和第二类热释传感器单元(图未示);第一类热释电红外传感器单元采用圆形掩膜以实现径向-环形的视场调制。如图4所示,第一类热释电红外传感器单元包括多个(例如,5个)第一类热释电红外传感器1061组成的第一类热释电红外传感器阵列,将5个第一类热释电红外传感器1061分别配备不同半径的圆形(或环形)掩膜并进行复用,可以将检测区域划分为半径不同的5个圆环区域,如图5所示。距离获取单元211根据第一类热释电红外传感器单元的输出的检测信号,可解码得出人体目标所处的环形区域的半径,即是本实施例中的人体目标所处位置的距离信息r。
于本实施例中,所述人体动作识别***100可以包括多个采样单元,每个采样单元包括多个热释电红外传感器106。
其对应的编码表如表1所示。编码规则采用优先编码,即传感器1的优先级最高,传感器5的优先级最低。
表1
表1中,x表示0或1。例如,当所述第一类热释电红外传感器单元传输的检测信号为(0,0,0,0,1)时,距离获取单元211解码得出人体目标的位置处于编号为5的第一类热释电红外传感器1061的环形检测区域,即是r=3.5m。
同理,角度获取单元212对应用于解码第二类热释电红外传感器单元的检测信号生成人体目标的角度信息。
于本实施例中,所述第二类热释电红外传感器单元采用不同弧度的扇形掩膜以实现中心角-扇形的视场调制。第二类热释电红外传感器单元包括多个(例如,4个)第二类热释电红外传感器1062,将4个第二类热释电红外传感器1062分别配备相同半径不同角度的扇形掩膜并进行复用,可以将检测区域划分为角度不同的8个扇形区域,每个扇区的角度为45°。如图6所示。角度获取单元212根据第二类热释电红外传感器单元的输出的检测信号,可解码得出人体目标所处的扇形区域的角度。即是本实施例中的人体目标所处位置的角度信息θ。
其对应的编码表如表2所示,编码采用优先编码的方式,任何两个相邻的扇区只有一位传感器的输出有所不同。
表2
位置计算单元220用于根据解码单元210解码得出的人体目标的距离信息和角度信息,计算得出人体目标位置的初始值。
将所述距离信息和所述角度信息代入极坐标系中,根据公式:
计算出人体目标位置的初始值,其中,(x,y)表示人体目标位置的初始值,r表示在掩膜掩蔽下第一类热释电红外传感器单元复用,被改造为环形全椎体视场的半径,也就是人体目标的位置信息。θ表示第二类热释电红外传感器单元复用被改造为扇形的视场的对应角度,也就是人体目标的角度信息。
本发明采用上述的双自由度调制模型,可实现任意粒度的视场调制,将检测区域划分为任意大小的胞元。从而确定人体目标位置的初始值(x,y)。
位置确定单元230用于利用粒子滤波器,对所述人体目标位置的初始值进行滤波处理,确定每个数据帧中人体目标的估计位置。
具体地,位置确定单元230包括权重计算子单元231和权重归一化子单元232,请参阅图7。
其中,权重计算子单元231用于进行第l个样本的权重计算,所采用的计算公式如下所示:
其中,表示第l个样本的权重,表示在第t个时刻有L个定位结果的数据帧,l=1,...,N;Zt-1表示人体目标的前一个位置;若当前位置的概率是服从二维高斯分布,σ表示观测模型的方差。如果则将被丢弃,其中γ是验证的阈值。
权重归一化子单元232用于根据公式:
将相同数据帧内l个有效的人体目标位置的权重归一化。从而根据归一化计算后的权重值,根据公式:
进行人体目标位置的确定值的计算。
速度计算单元240用于根据两个连续数据帧中的人体目标位置计算获得人体目标的移动速度。
具体地,可以根据两个连续数据帧中的人体目标的前后两个位置的确定值,计算出两个连续数据帧中人体目标位置之间的距离,从而根据计算得出的距离值以及两个连续数据帧之间的间隔时间计算获得人体目标的移动速度。
根据公式:
其中,vt表示人体目标在第t个数据帧中的移动速度;(xt,yt)和(xt-1,yt-1)表示两个连续数据帧中的人体目标位置的确定值;T表示两个数据帧之间的时间间隔。
动作识别单元250用于根据所述人体目标位置的确定值和所述人体目标的移动速度,构建随机森林,计算识别得出人体目标的动作类型。
动作识别单元250包括第一随机森林子单元251和第二随机森林子单元252。请参阅图8,具体地,第一随机森林子单元251用于将人体目标位置的确定值和移动速度{xt,yt,vt}作为输入,构造第一层随机森林,初步识别该数据帧中的人体目标的动作类型。具体包括:
(1)训练多棵CART(Classification And Regression Tree),对于每棵树,其使用的训练集是从总的训练集中有放回采样出来的;在训练每棵树的节点时,使用的特征是从所有特征中按照一定比例随机无放回抽取的子特征。选择信息增益最大的特征作为节点,其采用的计算公式如下所示:
Ι(X;Y)=H(X)-H(X|Y)
其中,X代表被选取的其中一个特征,Y代表动作类别,H(X)代表X的信息熵,H(X|Y)代表给定Y的情况下X的条件熵,Ι(X;Y)代表给定Y的情况下X的信息增益。
(2)训练出多棵CART后,计算子特征向量X所代表的数据帧被判为动作类别c的后验概率,所采用的计算公式如下所示:
其中vj(x)代表子特征向量x属于决策树Tj(j=1,2,,…,t)的叶子节点,P(c|νj(x))代表子特征向量x属于动作类别c(1,2,…,n)的后验概率,其归一化后的后验概率为
(3)根据公式:
计算特征向量被判为某个动作类别的平均后验概率。其中,gc(x)值最大的动作类别即为第一层随机森林的判断结果。
第一层随机森林识别的动作类型有5种:走、坐、躺、站,以及过度类型(走-站,坐-躺)。
根据第一随机森林子单元251的识别结果计算相同动作的持续时间。
根据公式:
其中,Ct表示数据帧的持续时间计数器,Dt表示相同动作的持续时间。
第二随机森林子单元252用于建立第二层随机森林,识别人体目标的动作类型。具体地,根据人体目标位置的确定值、速度和相同动作的持续时间作为输入,构造第二层随机森林。
具体地,将特征向量{xt,yt,vt,Dt}作为第二层随机森林的输入,,构造第二层随机森林,根据第一层随机森林初步判断的动作类型,以及初步判断动作类型的持续时间,通过第二层随机森林进行判断。将第二层随机森林的输出作为最终的动作类型判定结果。
其中,xt,yt表示人体目标在t时刻的人体目标位置,vt表示人体目标在t时刻的移动速度,Dt表示相同动作的持续时间。
第二实施例
请参照图9,图9为本发明较佳实施例提供的一种人体动作识别方法的流程图。所述方法包括:
步骤S101:解码检测信号以生成人体目标的位置信息。
其中,检测信号为数字信号,人体目标的位置信息可以通过视角区域的距离信息即距离视角中心点的半径及角度确定。于本发明实施例中,所述步骤S101可以由解码单元210执行。具体地,步骤S101包括子步骤S1011~S1012。请参阅图10。
子步骤S1011:解码第一类热释电红外传感器单元的检测信号以获取人体目标的距离信息。
于本实施例中,第一类热释电红外传感器单元将5个第一类热释电红外传感器1061分别配备不同半径的圆形掩膜并进行复用以实现径向-环形的视场调制,将检测区域划分为半径不同的5个圆环区域,第一类热释电红外传感器1061检测人体目标所处圆环区域的位置以生成检测信号。解码所述检测信号,可以得到人体目标所处于圆环区域的半径,即是人体目标所处位置的距离信息。
于本实施例中,步骤S1011可以由距离获取单元211执行。
子步骤S1012:解码第二类热释电红外传感器单元的检测信号以获取人体目标的角度信息。
于本实施例中,第二类热释电红外传感器单元将4个第一类热释电红外传感器1062分别配备不同角度的扇形掩膜并进行复用以实现中心角-扇形的视场调制,将检测区域划分为角度不同的8个扇形区域,第二类热释电红外传感器1062检测人体目标所处扇形区域的位置以生成检测信号。解码所述检测信号,可以得到人体目标所处于扇形区域的角度,即是人体目标所处位置的角度信息。
于本实施例中,步骤S1012可以由角度获取单元212执行。
在本实例中,热释电红外传感器106的采样频率为15赫兹。在进一步处理之前,数据流将被分割成数据帧。每个数据帧为30个采样点,约为2秒。两个连续数据帧之间有15个采样点是重叠的,在每个数据帧中,窗口的大小为15个采样点,因此,在每个数据帧中将存在最多16个定位结果。
步骤S102:根据人体目标的距离信息和角度信息,计算出人体目标位置的初始值。
将解码得到的每一帧数据中的人体目标的距离信息和角度信息带入极坐标系中,根据公式:
计算出人体目标位置的初始值,其中,(x,y)表示人体目标位置的初始值,r表示在掩膜掩蔽下热释电红外传感器106复用,被改造为环形全椎体视场的半径,即是人体目标的位置信息。θ表示热释电红外传感器106复用被改造为扇形的视场的对应角度,即是人体目标的角度信息。
于本发明中,步骤S102可以由位置计算单元220执行。
步骤S103:对所述人体目标位置的初始值进行处理,获取每个数据帧中人体目标位置的确定值。
利用粒子滤波器,对计算得出的人体目标位置初始值进行滤波处理从而确定每个数据帧中人体目标位置的确定值。需要注意的是,还可以选用卡尔曼滤波器等其余的算法,本发明对此不做限定。具体地,步骤S103包括子步骤S1031~S1032。请参阅图11。
子步骤S1031:进行第l个样本的权重计算。
采用计算公式:
进行权重的计算。
公式中,表示在第t时刻有L个定位结果的数据帧,l=1,...,N;Zt-1表示人体目标的前一个位置;若当前位置的的概率是服从高斯分布,σ表示观测模型的方差,如果则将被丢弃,其中γ是验证的阈值。
于本发明中,步骤S1031可以由权重计算子单元231执行。
子步骤S1032:将权重归一化,计算人体目标位置的确定值。
根据公式:
将相同数据帧内l个有效的人体目标位置的权重归一化。从而根据归一化计算后的权重值,根据公式:
进行人体目标位置的确定值的计算。
步骤S1032可以由权重归一化子单元232执行。
步骤S104:根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度。
根据两个连续数据帧中的人体目标的前后两个位置,计算出两个连续数据帧中人体目标位置之间的距离,从而根据计算得出的距离值以及两个连续数据帧之间的间隔时间计算获得人体目标的移动速度。
根据公式:
其中,vt表示人体目标在第t个数据帧中的移动速度;(xt,yt)和(xt-1,yt-1)表示两个连续数据帧中的人体目标位置的确定值;T表示两个数据帧之间的时间间隔。
步骤S104可以由速度计算单元240执行。
步骤S105:构建随机森林,计算识别得出人体目标的动作类型。
根据所述人体目标位置和所述人体目标的移动速度,构建随机森林,计算识别得出人体目标的动作类型。
步骤S105可以由动作识别单元250执行。步骤S105包括子步骤S1051~S1052。请参阅图12。
子步骤S1051:识别数据帧的动作类型,得出相同动作的持续时间。
将人体目标位置的确定值和移动速度{xt,yt,vt}作为输入,构造第一层随机森林,初步识别该数据帧中的人体目标的动作类型。根据动作类型的识别结果计算相同动作的持续时间。
根据公式:
其中,Ct表示数据帧的持续时间计数器,Dt表示相同动作的持续时间。
子步骤S1051可以由第一随机森林子单元251执行。
子步骤S1052:构造第二层随机森林,识别得出人体目标的动作类型。
将特征向量{xt,yt,vt,Dt}作为第二层随机森林的输入,构造第二层随机森林,将第二层随机森林的输出作为最终的动作类型判定结果。
其中,xt,yt表示人体目标在t时刻的估计位置,vt表示人体目标在t时刻的移动速度,Dt表示相同动作的持续时间。
子步骤S1052可以由第二随机森林子单元252执行。
综上所述,本发明提供了一种人体动作识别方法及装置,应用于人体动作识别***。其中,所述方法包括:将每个数据帧中的人体目标的距离信息和角度信息代入极坐标系中计算出人体目标位置的初始值;对计算出的人体目标位置的初始值进行滤波处理,确定每个数据帧中人体目标位置的确定值;根据两个连续数据帧中的人体目标位置的确定值计算获得人体目标的移动速度;根据所述人体目标位置和所述人体目标的移动速度,构建随机森林,计算识别得出人体目标的动作类型。所述方法通过距离信息和角度信息采用双自由度的划分调制,通过使用粒子滤波器和数据融合的方式提高人体目标定位的准确度随机森林并将识别结果作为最终的动作分类结果,从而提高动作识别的准确率,无需通过视频监控等方式即可实现对室内人体目标的位置跟踪和动作类型识别,可广泛地应用于室内人体跟踪和日常动作识别领域中,很好的应用前景。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种人体动作识别方法,其特征在于,所述方法包括:
根据每个数据帧中的人体目标的距离信息和角度信息,获得人体目标位置的初始值;
对所述人体目标位置的初始值进行处理,获得每个数据帧中人体目标位置的确定值;
根据连续的两个所述数据帧中的人体目标位置的确定值获得人体目标的移动速度;
根据所述人体目标位置的确定值和所述人体目标的移动速度,构建随机森林,以随机森林的输出结果作为识别的人体目标的动作类型。
2.如权利要求1所述的人体动作识别方法,其特征在于,所述根据每个数据帧中的人体目标的距离信息和角度信息,获得人体目标位置的初始值之前还包括:
获取人体目标的距离信息;
获取人体目标的角度信息。
3.如权利要求1所述的人体动作识别方法,其特征在于,所述对所述人体目标位置的初始值进行处理,获取每个数据帧中人体目标的置的确定值包括:
进行第l个人体目标位置的初始值的权重计算;
将相同数据帧内l个人体目标位置的初始值的权重归一化;
根据每个所述人体目标位置的初始值及归一化后的权重计算人体目标位置的确定值。
4.如权利要求1所述的人体动作识别方法,其特征在于,所述根据连续的两个所述数据帧中的人体目标位置的确定值获得人体目标的移动速度包括:
根据公式:
<mrow>
<msub>
<mi>v</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>/</mo>
<mi>T</mi>
</mrow>
进行人体目标的移动速度的计算,其中vt表示人体目标在第t个数据帧中的移动速度,(xt,yt)和(xt-1,yt-1)表示两个连续数据帧中人体目标位置的确定值,T表示两个数据帧之间的时间间隔。
5.如权利要求4所述的人体动作识别方法,其特征在于,所述根据所述人体目标位置的确定值和所述人体目标的移动速度,构建随机森林,将随机森林的输出结果作为识别的人体目标的动作类型包括:
将人体目标位置的确定值和移动速度{xt,yt,υt}作为第一层随机森林的输入,构造第一层随机森林,以识别数据帧的动作类型,计算相同动作的持续时间;
将人体目标位置的确定值、移动速度和相同动作的持续时间作为第二层随机森林的输入,构造第二层随机森林,识别得出人体目标的动作类型。
6.一种人体动作识别装置,其特征在于,所述装置包括:
位置计算单元,用于根据每个数据帧中的人体目标的距离信息和角度信息,获得人体目标位置的初始值;
位置确定单元,用于对所述人体目标位置的初始值进行处理,获得每个数据帧中人体目标位置的确定值;
速度计算单元,用于根据两个连续数据帧中的人体目标位置的确定值获得人体目标的移动速度;
动作识别单元,用于根据所述人体目标位置和所述人体目标的移动速度,构建随机森林,以随机森林的输出结果作为识别的人体目标的动作类型。
7.如权利要求6所述的人体动作识别装置,其特征在于,所述人体动作识别装置还包括:
距离获取单元,用于获取人体目标的距离信息;
角度获取单元,用于获取人体目标的角度信息。
8.如权利要求6所述的人体动作识别装置,其特征在于,所述位置确定单元包括:
权重计算子单元,用于进行第l个人体目标位置的初始值的权重计算;
权重归一化子单元,用于将相同数据帧内l个人体目标位置的初始值的权重归一化;
位置计算子单元,用于根据每个所述人体目标位置的初始值及归一化后的权重计算人体目标位置的确定值。
9.如权利要求6所述的人体动作识别装置,其特征在于,所述速度计算单元还用于根据公式
<mrow>
<msub>
<mi>v</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mi>t</mi>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>/</mo>
<mi>T</mi>
</mrow>
进行人体目标的移动速度的计算,其中vt表示人体目标在第t个数据帧中的移动速度,(xt,yt)和(xt-1,yt-1)表示两个连续数据帧中人体目标的估计位置,T表示两个数据帧之间的时间间隔。
10.如权利要求9所述的人体动作识别装置,其特征在于,所述动作识别单元包括:
第一随机森林子单元,用于根据人体目标位置的确定值和移动速度{xt,yt,vt}作为第一层随机森林的输入,构造第一层随机森林,以识别数据帧的动作类型,计算获得相同动作的持续时间;
第二随机森林子单元,用于根据人体目标位置的确定值、移动速度和相同动作的持续时间作为第二层随机森林的输入,构造第二层随机森林,识别得出人体目标的动作类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710581248.5A CN107358210B (zh) | 2017-07-17 | 2017-07-17 | 人体动作识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710581248.5A CN107358210B (zh) | 2017-07-17 | 2017-07-17 | 人体动作识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107358210A true CN107358210A (zh) | 2017-11-17 |
CN107358210B CN107358210B (zh) | 2020-05-15 |
Family
ID=60293110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710581248.5A Active CN107358210B (zh) | 2017-07-17 | 2017-07-17 | 人体动作识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107358210B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110473602A (zh) * | 2019-06-26 | 2019-11-19 | 吉林大学 | 一种用于穿戴式体感游戏设备的体态数据集采集处理方法 |
CN111501930A (zh) * | 2019-01-31 | 2020-08-07 | 厦门科牧智能技术有限公司 | 排便识别方法、便器冲洗方法、便器冲洗控制装置和便器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104778746A (zh) * | 2015-03-16 | 2015-07-15 | 浙江大学 | 一种基于数据手套使用自然手势进行精确三维建模的方法 |
CN105512610A (zh) * | 2015-11-25 | 2016-04-20 | 华南理工大学 | 一种基于感兴趣点位置信息的视频中人体动作识别方法 |
CN105547494A (zh) * | 2016-01-08 | 2016-05-04 | 罗晓牧 | 基于热释电红外传感器的室内人体定位装置及其实现方法 |
CN106228200A (zh) * | 2016-10-17 | 2016-12-14 | 中北大学 | 一种不依赖于动作信息采集设备的动作识别方法 |
US20170068849A1 (en) * | 2015-09-03 | 2017-03-09 | Korea Institute Of Science And Technology | Apparatus and method of hand gesture recognition based on depth image |
CN106897670A (zh) * | 2017-01-19 | 2017-06-27 | 南京邮电大学 | 一种基于计算机视觉的快递暴力分拣识别方法 |
-
2017
- 2017-07-17 CN CN201710581248.5A patent/CN107358210B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104778746A (zh) * | 2015-03-16 | 2015-07-15 | 浙江大学 | 一种基于数据手套使用自然手势进行精确三维建模的方法 |
US20170068849A1 (en) * | 2015-09-03 | 2017-03-09 | Korea Institute Of Science And Technology | Apparatus and method of hand gesture recognition based on depth image |
CN105512610A (zh) * | 2015-11-25 | 2016-04-20 | 华南理工大学 | 一种基于感兴趣点位置信息的视频中人体动作识别方法 |
CN105547494A (zh) * | 2016-01-08 | 2016-05-04 | 罗晓牧 | 基于热释电红外传感器的室内人体定位装置及其实现方法 |
CN106228200A (zh) * | 2016-10-17 | 2016-12-14 | 中北大学 | 一种不依赖于动作信息采集设备的动作识别方法 |
CN106897670A (zh) * | 2017-01-19 | 2017-06-27 | 南京邮电大学 | 一种基于计算机视觉的快递暴力分拣识别方法 |
Non-Patent Citations (3)
Title |
---|
F. ERDEN ET AL: ""Hand gesture recognition using two differential PIR sensors and a camera"", 《2014 22ND SIGNAL PROCESSING AND COMMUNICATIONS APPLICATIONS CONFERENCE》 * |
GUOCHENG LIU ET AL: ""Convolution neutral network enhanced binary sensor network for human activity recognition"", 《2016 IEEE SENSORS》 * |
程卫东 等: ""利用热释电红外传感器探测人体运动特征"", 《仪器仪表学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111501930A (zh) * | 2019-01-31 | 2020-08-07 | 厦门科牧智能技术有限公司 | 排便识别方法、便器冲洗方法、便器冲洗控制装置和便器 |
CN110473602A (zh) * | 2019-06-26 | 2019-11-19 | 吉林大学 | 一种用于穿戴式体感游戏设备的体态数据集采集处理方法 |
CN110473602B (zh) * | 2019-06-26 | 2022-05-24 | 吉林大学 | 一种用于穿戴式体感游戏设备的体态数据集采集处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107358210B (zh) | 2020-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Singh et al. | Crowd forecasting based on wifi sensors and lstm neural networks | |
Fang et al. | A practical model based on anomaly detection for protecting medical IoT control services against external attacks | |
Jannat et al. | Efficient Wi-Fi-based human activity recognition using adaptive antenna elimination | |
Hernandez-Penaloza et al. | A multi-sensor fusion scheme to increase life autonomy of elderly people with cognitive problems | |
Elsayed et al. | Intrusion detection system in smart home network using bidirectional lstm and convolutional neural networks hybrid model | |
Iannizzotto et al. | Personal Protection Equipment detection system for embedded devices based on DNN and Fuzzy Logic | |
Li et al. | Collaborative fall detection using smart phone and Kinect | |
CN110675596A (zh) | 应用于可穿戴终端的跌倒检测方法 | |
Aboualola et al. | Edge technologies for disaster management: A survey of social media and artificial intelligence integration | |
Wang et al. | Computational intelligence for information security: A survey | |
Kim et al. | Deep neural network-based indoor emergency awareness using contextual information from sound, human activity, and indoor position on mobile device | |
CN107358210A (zh) | 人体动作识别方法及装置 | |
Amin et al. | Smart grid security enhancement by using belief propagation | |
Kapse et al. | Android based fall detection and tracking app for aged people | |
US20210177259A1 (en) | System and method for caching and processing sensor data locally | |
Wang et al. | Attack detection analysis in software-defined networks using various machine learning method | |
CN106603546A (zh) | 物联网入侵监测方法及装置 | |
Misbha | Detection of attacks using attention-based conv-lstm and bi-lstm in industrial internet of things | |
Pham et al. | A proposal model using deep learning model integrated with knowledge graph for monitoring human behavior in forest protection | |
Monir et al. | IoT enabled geofencing for COVID-19 home quarantine | |
Ibrahim et al. | Recent advances on fog health–a systematic literature review | |
Choudhary et al. | A seismic sensor based human activity recognition framework using deep learning | |
Chopda et al. | An Intelligent Voice Assistant Engineered to Assist the Visually Impaired | |
Abraham et al. | Pro-Safe: An IoT based Smart Application for Emergency Help | |
Liu et al. | Large-area human behavior recognition with commercial Wi-Fi devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |