CN106406516A - 一种智能手机本地实时的运动轨迹特征提取与识别方法 - Google Patents

一种智能手机本地实时的运动轨迹特征提取与识别方法 Download PDF

Info

Publication number
CN106406516A
CN106406516A CN201610732089.XA CN201610732089A CN106406516A CN 106406516 A CN106406516 A CN 106406516A CN 201610732089 A CN201610732089 A CN 201610732089A CN 106406516 A CN106406516 A CN 106406516A
Authority
CN
China
Prior art keywords
mobile phone
data
user
smartphone
smart mobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610732089.XA
Other languages
English (en)
Inventor
赵宏
陈攀
侯春宁
王丹丹
韩泽宇
曹昶
张乐
张雨丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN201610732089.XA priority Critical patent/CN106406516A/zh
Publication of CN106406516A publication Critical patent/CN106406516A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

一种智能手机本地实时的运动轨迹特征提取与识别方法，分为训练与识别两个阶段，在训练阶段用户携带智能手机做不同的动作，采集其三轴加速度传感器数据；对用户姿态行为提取波峰波谷特征点进而将其二进制编码；编码后特征点向量化；并将波峰波谷数量值相同的动作进行矩阵化，采集多个样本在上位机进行训练，建立用户动作特征标准库。在识别阶段：移植用户动作标准库至手机，用户携带手机做动作，在手机端采集传感器数据，智能手机本地进行特征点提取，匹配用户动作标准库，进而识别用户动作。本发明识别手机运动轨迹所需存储的特征向量为二进制且数据规模小，识别过程较为简单无需进行大量计算，适用于资源受限的智能手机等嵌入式设备。

Description

一种智能手机本地实时的运动轨迹特征提取与识别方法
技术领域
本发明涉及到智能手机轨迹识别技术领域，具体指智能手机本地实时的运动轨迹特征提取与识别方法。
背景技术
手机内置有加速度传感器，根据加速度传感器可用来检测手机加速度的大小和方向，进而感知三维空间中的状态。对于手机加速度传感器有X，Y，Z三个方向的坐标，当用户携带手机做不同的动作时，对于X，Y，Z三个坐标轴方向都会产生不同的数值，三轴同时产生的数据反映了用户的状态。目前对于智能手机运动轨迹特征提取与识别过程比较复杂，且智能手机计算能力弱，存储空间小，需要借助额外设备进行非实时方式的运动轨迹特征提取与识别的现状，无法满足智能手机设备本地实时的进行运动轨迹的识别。
发明内容:
本发明提出一种智能手机本地实时的运动轨迹特征提取与识别方法，该方法识别手机运动轨迹所需存储的特征点向量为二进制且数据规模小，识别过程较为简单无需进行大量计算，适合在资源受限的智能手机等嵌入式设备上进行。
为此，所采用的技术方案为：
一种智能手机本地实时的运动轨迹特征提取与识别方法，该方法分为训练与识别两个阶段；在训练阶段：用户携带智能手机做不同的动作，采集分离智能手机三轴加速度传感器数据；对用户姿态行为提取波峰波谷特征点；对波峰波谷特征点进行二进制编码量化；编码后特征点向量化；并将波峰波谷数量相同的动作进行矩阵化，采集多个样本在上位机进行训练，建立用户动作特征标准库；在识别阶段：移植用户动作特征标准库至智能手机，用户携带智能手机做不同的动作时，在手机端采集传感器数据，在手机端开拓缓冲区，提取运动轨迹数据，建立多线程提取分段特征点，匹配用户动作特征标准库，智能手机本地实时的进行特征点提取，进而识别用户动作。
相对于针对智能手机运动轨迹特征提取与识别过程复杂，而智能手机计算能力弱、存储空间小，需要借助额外设备进行非实时方式的运动轨迹特征提取与识别的现状，本发明对智能手机运动轨迹的识别具有以下优点：(1)可以针对智能手机或者一些小型嵌入式设备进行运动轨迹的识别。(2)计算特征点简单，减少对特征点的归一化处理，适合计算能力弱的智能手机。(3)对运动轨迹特征点进行量化编码之后，识别手机运动轨迹所需存储的特征点向量为二进制且数据规模小，适合存储资源受限的智能手机等嵌入式设备。
附图说明：
图1 为本发明智能手机运动轨迹训练流程图；
图2为本发明智能手机运动轨迹识别流程图；
图3为本发明智能手机传感器产生数据波形图；
图4为本发明分离传感器数据以及特征提取编码图；
图5为本发明利用窗口检测波峰波谷图；
图6为本发明波峰波谷特征向量化图；
图7为本发明特殊动作波峰波谷特征矩阵化图。
具体实施方式：
下面结合附图对本发明作进一步详细说明。
本发明的训练流程示意图如图1所示：
首先是用户携带智能手机或小型嵌入式设备做不同的动作，三轴加速度传感器产生数据，按照X，Y，Z轴将数据进行分离，然后在各个方向上寻找波峰波谷特征点，并进行编码，将特征点向量化，对于波峰波谷数目相同的姿态矩阵化，采集多个样本，利用人工神经网络训练样本，形成用户动作特征标准库。
将智能手机加速度传感器沿着X，Y，Z三轴进行分离。当对于某一动作在X轴方向有其独特性，即可识别。若在X轴无法识别，对于Y，Z轴就不必进行比对。并依次对Y轴，Z轴进行处理。利用该方法可减少在手机端数据的处理，节约智能手机计算资源。
利用一段数据分段的形式对用户姿态行为提取波峰波谷特征点。该方法提供了一种数据波峰波谷特征点的提取方式，方法简单，计算量较小而且可以过滤杂点找出关键特征点。
对编码后的波峰波谷特征点用向量的形式表示，通过向量化可以将特征点格式化，方便进一步计算，而且可以提高计算效率。
波峰波谷数目相同的动作进行矩阵化处理。波峰波谷数目相同的动作形成一个的矩阵，M表示三个坐标轴上波峰波谷的数目。进一步提高了计算效率。
本发明的识别流程示意图如图2所示：
首先将用户动作特征标准库移植到智能手机存储空间内。用户携带智能手机做不同的动作时，在手机端采集传感器数据，在手机端开拓缓冲区，提取运动轨迹数据，建立多线程提取分段特征点，匹配用户动作特征标准库，智能手机本地实时的进行特征点提取，进而识别用户动作。
下面将对流程作进一步的说明。
如图3所示：在用户做动作时，智能手机加速度传感器在X，Y，Z三个方向产生数据，将数据进行处理，然后拼接，就是三条波形。手机坐标轴上的数据反映了用户的运动状态。
如图4所示：根据智能手机传感器X，Y，Z三个方向对加速度传感的三组器数据分别进行处理，根据波峰波谷出现的顺序作为波形的特征点。按照波峰为1，波谷为0的方式将检测到的特征点进行编码。利用二进制编码可节约计算机存储资源。
波峰波谷特征提取的方法：
如图5所示：利用滑动窗口识别一段数据的波峰与波谷。将产生的一段固定数目的数据作为定值滑动窗口，用户运动状态数据都在定值滑动窗口内，将滑动窗口平均分成等份的小滑动窗口，该小滑动窗口内进行波峰波谷数据的检测，每个小滑动窗口内都会有波峰与波谷，按照出现的次序进行排序，将波峰与波谷的各自比对，取值最大的前几个波峰以及值最小的后几个波谷，作为每个轴的特征点。通过这种方法可以过滤掉部分杂点，寻找到关键特征点。
如图6所示：将波峰波谷得到的特征点进行向量化。三组加速度传感器产生的数据按照时间顺序产生的波峰波谷，形成三组向量，每个向量中的数据表示各个方向的特征点以及特征点出现的顺序。
如图7所示：将特殊动作形成的数据进行矩阵化处理。分离传感器各个方向产生的数据，若三个坐标轴波峰波谷长度都相同，可以进行矩阵化处理。形成一个的矩阵。
识别阶段：智能手机传感器每个时刻都会产生数据，对于数据波峰波谷的计算与数据的产生会有同步的问题，采用开拓缓冲区，以及多线程解决同步问题。
实现方法如下：在波峰波谷检测的过程中，定义一个大的滑动窗口缓冲区，将传感器产生的数据不断的迭代存入到一个定长矩阵中，其中N根据显示窗口长度设定的一个长度值，在矩阵内加入最新数据，同时丢弃较早存入的数据，维持矩阵的长度为固定值N，然后将3个定长矩阵等分，对等分后的小的滑动窗口缓冲区开辟多个线程进行波峰波谷特征的检测。
在用户运动状态与样本库比对过程中，首先对X轴数据进行比对，若对于某一动作在X轴方向有其独特性，即可识别。若在X轴无法识别，对于Y，Z轴就不必进行比对。依次对Y轴，Z轴进行处理。
下面通过具体的应用场景进一步说明本发明的效果：
场景1：人机交互领域。对于现在人机交互都需要购买配套的设备，花费比较昂贵。智能手机作为一个集成度非常高的设备，内部布置了许多传感器，每时每刻都在产生了大量的数据，且智能手机计算能力弱、存储空间小，对于产生的数据可以进行关键点的有效存储。识别用户动作，进而映射其他功能，进行人机交互。
场景2：特征点归一化处理。对于一些波形特征处理方面，有时会受到很多的干扰，例如速度，力，对于采集到的特征点需要进行归一化处理，通过本方法可以不必进行同大比例或者同小比例的归一化处理，只需按照时间顺序寻找波峰波谷特征点。
场景3：特征点量化以及计算。对于某些特定的领域，当寻找到特征点之后，无法对特征点进行计算处理。通过本文中对特征点进行矩阵化，可以将特征点作进一步的处理。
综上，本发明通过对智能手机加速度传感器进行数据的分离，特征提取，特征编码，特征点向量化等一系列的处理，有效的解决对智能手机运动轨迹特征提取比较复杂的问题，而且对于波形特征进行编码量化，对关键信息进行有效存储，极大的节约了智能手机存储资源，特征编码可以减少对特征点进行归一化处理，节约了智能手机手机的计算资源，而且不用借助借助额外设备，在本地即可进行实时的运动轨迹特征提取与识别，适用于资源受限的智能手机等嵌入式设备。

Claims (4)

1.一种智能手机本地实时的运动轨迹特征提取与识别方法，其特征在于：该方法分为训练与识别两个阶段；在训练阶段：用户携带智能手机做不同的动作，采集分离智能手机三轴加速度传感器数据；对用户姿态行为提取波峰波谷特征点；对波峰波谷特征点进行二进制编码量化；编码后特征点向量化；并将波峰波谷数量相同的动作进行矩阵化，采集多个样本在上位机进行训练，建立用户动作特征标准库；在识别阶段：移植用户动作特征标准库至智能手机，用户携带智能手机做不同的动作时，在手机端采集传感器数据，在手机端开拓缓冲区，提取运动轨迹数据，建立多线程提取分段特征点，匹配用户动作特征标准库，智能手机本地实时的进行特征点提取，进而识别用户动作。
2.根据权利要求1所述的一种智能手机本地实时的运动轨迹特征提取与识别方法，其特征在于：将智能手机加速度传感器沿着三轴进行分离。
3.根据权利要求1所述的一种智能手机本地实时的运动轨迹特征提取与识别方法，其特征在于：利用一段数据分段的形式对用户姿态行为提取波峰波谷特征点。
4.根据权利要求3所述的一种智能手机本地实时的运动轨迹特征提取与识别方法，其特征在于：所述利用一段数据分段的形式具体为：利用滑动窗口识别一段数据的波峰与波谷，将产生的一段固定数目的数据作为定值滑动窗口，用户运动状态数据都在定值滑动窗口内，将滑动窗口平均分成等份的滑动窗口，在这小的滑动窗口内进行波峰波谷数据的检测，每个小滑动窗口内都会有波峰与波谷，按照出现的次序进行排序，将波峰与波谷的各自比对，取值最大的前几个波峰以及值最小的后几个波谷，作为每个轴的特征点。
CN201610732089.XA 2016-08-26 2016-08-26 一种智能手机本地实时的运动轨迹特征提取与识别方法 Pending CN106406516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610732089.XA CN106406516A (zh) 2016-08-26 2016-08-26 一种智能手机本地实时的运动轨迹特征提取与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610732089.XA CN106406516A (zh) 2016-08-26 2016-08-26 一种智能手机本地实时的运动轨迹特征提取与识别方法

Publications (1)

Publication Number Publication Date
CN106406516A true CN106406516A (zh) 2017-02-15

Family

ID=58004828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610732089.XA Pending CN106406516A (zh) 2016-08-26 2016-08-26 一种智能手机本地实时的运动轨迹特征提取与识别方法

Country Status (1)

Country Link
CN (1) CN106406516A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737623A (zh) * 2018-05-31 2018-11-02 南京航空航天大学 基于智能手机携带位置及携带模式的用户身份识别方法
CN110151187A (zh) * 2019-04-09 2019-08-23 缤刻普达（北京）科技有限责任公司 健身动作识别方法、装置、计算机设备及存储介质
CN113283493A (zh) * 2021-05-19 2021-08-20 Oppo广东移动通信有限公司 样本的获取方法、装置、终端及存储介质
CN113780447A (zh) * 2021-09-16 2021-12-10 郑州云智信安安全技术有限公司 基于流量分析的敏感数据发现识别方法及***
WO2023178594A1 (zh) * 2022-03-24 2023-09-28 广东高驰运动科技股份有限公司 动作的计数方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788861A (zh) * 2009-01-22 2010-07-28 华硕电脑股份有限公司 三维动作识别方法与***
CN102246125A (zh) * 2008-10-15 2011-11-16 因文森斯公司 具有运动姿态识别的移动设备
CN102772211A (zh) * 2012-08-08 2012-11-14 中山大学 一种人体运动状态检测***及检测方法
CN103345627A (zh) * 2013-07-23 2013-10-09 清华大学 动作识别方法和装置
CN103517118A (zh) * 2012-12-28 2014-01-15 Tcl集团股份有限公司 一种遥控器的动作识别方法及***
CN103886323A (zh) * 2013-09-24 2014-06-25 清华大学 基于移动终端的行为识别方法及移动终端
CN103984416A (zh) * 2014-06-10 2014-08-13 北京邮电大学 一种基于加速度传感器的手势识别方法
CN104750386A (zh) * 2015-03-20 2015-07-01 广东欧珀移动通信有限公司 一种手势识别方法及装置
CN104754111A (zh) * 2013-12-31 2015-07-01 北京新媒传信科技有限公司 移动终端应用的控制方法和控制装置
CN105159441A (zh) * 2015-07-28 2015-12-16 东华大学 基于自主式运动识别技术的私人教练智能手环

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102246125A (zh) * 2008-10-15 2011-11-16 因文森斯公司 具有运动姿态识别的移动设备
CN101788861A (zh) * 2009-01-22 2010-07-28 华硕电脑股份有限公司 三维动作识别方法与***
CN102772211A (zh) * 2012-08-08 2012-11-14 中山大学 一种人体运动状态检测***及检测方法
CN103517118A (zh) * 2012-12-28 2014-01-15 Tcl集团股份有限公司 一种遥控器的动作识别方法及***
CN103345627A (zh) * 2013-07-23 2013-10-09 清华大学 动作识别方法和装置
CN103886323A (zh) * 2013-09-24 2014-06-25 清华大学 基于移动终端的行为识别方法及移动终端
CN104754111A (zh) * 2013-12-31 2015-07-01 北京新媒传信科技有限公司 移动终端应用的控制方法和控制装置
CN103984416A (zh) * 2014-06-10 2014-08-13 北京邮电大学 一种基于加速度传感器的手势识别方法
CN104750386A (zh) * 2015-03-20 2015-07-01 广东欧珀移动通信有限公司 一种手势识别方法及装置
CN105159441A (zh) * 2015-07-28 2015-12-16 东华大学 基于自主式运动识别技术的私人教练智能手环

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737623A (zh) * 2018-05-31 2018-11-02 南京航空航天大学 基于智能手机携带位置及携带模式的用户身份识别方法
CN110151187A (zh) * 2019-04-09 2019-08-23 缤刻普达（北京）科技有限责任公司 健身动作识别方法、装置、计算机设备及存储介质
CN110151187B (zh) * 2019-04-09 2022-07-05 缤刻普达（北京）科技有限责任公司 健身动作识别方法、装置、计算机设备及存储介质
CN113283493A (zh) * 2021-05-19 2021-08-20 Oppo广东移动通信有限公司 样本的获取方法、装置、终端及存储介质
CN113780447A (zh) * 2021-09-16 2021-12-10 郑州云智信安安全技术有限公司 基于流量分析的敏感数据发现识别方法及***
CN113780447B (zh) * 2021-09-16 2023-07-11 郑州云智信安安全技术有限公司 基于流量分析的敏感数据发现识别方法及***
WO2023178594A1 (zh) * 2022-03-24 2023-09-28 广东高驰运动科技股份有限公司 动作的计数方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106406516A (zh) 一种智能手机本地实时的运动轨迹特征提取与识别方法
Yang et al. Deep convolutional neural networks on multichannel time series for human activity recognition.
CN105956560B (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN108287989B (zh) 一种基于轨迹的滑动验证码人机识别方法
CN108509859A (zh) 一种基于深度神经网络的无重叠区域行人跟踪方法
CN102034096B (zh) 基于自顶向下运动注意机制的视频事件识别方法
CN107122752B (zh) 一种人体动作比对方法及装置
CN108710913A (zh) 一种基于深度学习的开关柜图像开关状态自动识别方法
Xia et al. An evaluation of deep learning in loop closure detection for visual SLAM
CN104281853A (zh) 一种基于3d卷积神经网络的行为识别方法
CN110232308B (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN105095829A (zh) 一种人脸识别方法及***
CN111723662B (zh) 一种基于卷积神经网络的人体姿态识别方法
CN110674875A (zh) 一种基于深度混合模型的行人运动模式识别方法
Jiang A review of the comparative studies on traditional and intelligent face recognition methods
CN104867162B (zh) 基于多成分鲁棒pca的运动目标检测方法
CN103440667A (zh) 一种遮挡状态下运动目标稳定追踪的自动装置
CN106023249A (zh) 一种基于局部二值相似性模式的运动目标检测方法
CN107506781A (zh) 一种基于bp神经网络的人体行为识别方法
Zhang et al. Trajectory series analysis based event rule induction for visual surveillance
CN109034100A (zh) 人脸图样检测方法、装置、设备及存储介质
CN105631462A (zh) 结合置信度和贡献度的基于时空上下文的行为识别方法
CN109029432B (zh) 一种基于六轴惯性传感信号的人体动作检测与识别方法
CN103440277A (zh) 一种动作模型特征库及其构建方法
Wang Data feature extraction method of wearable sensor based on convolutional neural network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170215

RJ01 Rejection of invention patent application after publication