CN111723624B - 一种头部运动跟踪方法和*** - Google Patents
一种头部运动跟踪方法和*** Download PDFInfo
- Publication number
- CN111723624B CN111723624B CN201910222446.1A CN201910222446A CN111723624B CN 111723624 B CN111723624 B CN 111723624B CN 201910222446 A CN201910222446 A CN 201910222446A CN 111723624 B CN111723624 B CN 111723624B
- Authority
- CN
- China
- Prior art keywords
- head
- information
- position information
- posture
- measured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004886 head movement Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000001133 acceleration Effects 0.000 claims abstract description 79
- 238000005259 measurement Methods 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims description 41
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 25
- 238000001914 filtration Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Control Of Position Or Direction (AREA)
- Image Analysis (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
本发明提供一种头部运动跟踪方法和***。该方法包括采集头部运动的实测角速度和加速度信息;检测脸部信息,并根据脸部信息获得头部实测姿态和位置信息;将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息。该方法能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,从而获得优化的头部姿态和位置信息,相对于头部的实测姿态和位置信息,优化的姿态和位置信息能够获得较高帧率,且其中滤掉了实测姿态和位置信息固有的高频噪声,进而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
Description
技术领域
本发明涉及头部运动检测技术领域,具体地,涉及一种头部运动跟踪方法和***。
背景技术
人脸检测技术是通过检测人脸特征点,计算获得头部位姿的一种有效方法,广泛应用在人机交互等多个领域。人脸检测技术由于复杂的计算过程等因素的影响,频率较低。而且,人脸检测的精度提升困难,对设备要求较高,得到的头部位姿存在高频噪声。不借助任何外部设备辅助,位姿预测值往往偏离头部实际位姿较多,造成场景滞后、跳动等现象,使头部位姿检测不够准确和稳定。
IMU(Inertial measurement unit,惯性测量单元)通常包含角速度计、加速度计,可以测量得到头部实时的角速度、加速度信息。IMU得到的信息频率高,而且根据角速度和加速度信息能在短时间内获得相对比较准确的头部姿态和位置信息。但IMU的长时间积分漂移会影响头部姿态和位置检测的准确性和稳定性。
发明内容
本发明针对现有技术中存在的上述技术问题,提供一种头部运动跟踪方法和***。该头部运动跟踪方法,能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,从而获得优化的头部姿态和位置信息,相对于头部的实测姿态和位置信息,优化的姿态和位置信息能够获得较高帧率,且其中滤掉了实测姿态和位置信息固有的高频噪声,进而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
本发明提供一种头部运动跟踪方法,包括:
采集头部运动的实测角速度和加速度信息;
检测脸部信息,并根据脸部信息获得头部实测姿态和位置信息;还包括:
将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息。
优选地,通过构建扩展卡尔曼滤波融合框架,将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息,该步骤包括:
步骤S120:根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新,以获得头部姿态信息和位置信息的预测数据;
步骤S121:计算头部姿态信息和位置信息的预测数据的不准确程度;
步骤S122:根据所述不准确程度计算卡尔曼增益;
步骤S123:根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值。
优选地,所述通过构建扩展卡尔曼滤波融合框架,将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息在所述步骤S123之后还包括:
步骤S124:根据所述卡尔曼增益计算最优值的不准确程度。
优选地,所述步骤S120包括:
构建以头部实测姿态信息和位置信息为状态量的状态更新方程;
通过头部运动实测加速度信息对头部实测位置信息进行更新,以获得头部位置信息的预测数据;
通过头部运动实测角速度信息对头部实测姿态信息进行更新,以获得头部姿态信息的预测数据。
优选地,所述通过头部运动实测加速度信息对头部实测位置信息进行更新,以获得头部位置信息的预测数据包括:
通过头部运动实测加速度信息对头部运动速度信息进行更新,更新公式为:
通过头部运动速度信息对头部实测位置信息进行更新,更新公式为:
其中,为当前时刻T头部运动速度;/>为上一时刻T-1头部运动速度;/>为当前时刻T头部运动实测加速度;ΔT为当前时刻T与上一时刻T-1之间的时间间隔;/>为当前时刻T的头部位置预测值;/>为上一时刻T-1的头部位置实测值。
优选地,通过头部运动实测角速度信息对头部实测姿态信息进行更新的公式为:
其中,为当前时刻T的头部姿态预测值;/>为上一时刻T-1的头部姿态实测值;wx、wy、wz分别为当前时刻T头部运动实测角速度沿空间坐标系中x轴、y轴、z轴方向的角速度向量;ΔT为当前时刻T与上一时刻T-1之间的时间间隔。
优选地,头部姿态信息和位置信息的预测数据的不准确程度的计算公式为:
其中,为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度;为上一时刻T-1头部姿态信息和位置信息的最优值的不准确程度;A为当前时刻头部姿态信息和位置信息的预测数据,且该预测数据为合并矩阵;AT为矩阵A的转置;C为扩展卡尔曼滤波融合***本身的噪声。
优选地,根据所述不准确程度计算卡尔曼增益的计算公式为:
其中,Kg为卡尔曼增益;H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵;HT为H矩阵的转置;D为扩展卡尔曼滤波融合***的测量噪声矩阵。
优选地,根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值的计算公式为:
其中,为头部姿态信息和位置信息的最优值;/>为当前时刻头部姿态信息和位置信息的预测数据;ZT为头部实测姿态和位置信息,/>h为头部实测姿态信息和位置信息的变化过程函数。
优选地,根据所述卡尔曼增益计算最优值的不准确程度的计算公式为:
其中,为最优值的不准确程度;/>为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度;Kg为卡尔曼增益;H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵。
优选地,实测角速度和加速度信息的采集频率大于或等于实测姿态和位置信息的检测频率;
当前时刻,若同时获得头部运动的实测角速度和加速度信息以及头部实测姿态和位置信息,则实测姿态信息和位置信息为当前时刻实测获得的姿态信息和位置信息;
当前时刻,若只获得头部运动的实测角速度和加速度信息,则实测姿态信息和位置信息为上一时刻的头部姿态信息和位置信息的预测数据。
本发明还提供一种头部运动跟踪***,包括:
采集模块,用于采集头部运动的实测角速度和加速度信息;
检测获取模块,用于检测脸部信息,并根据脸部信息获得头部实测姿态和位置信息;还包括:
数据融合模块,用于将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息。
优选地,所述数据融合模块包括:
融合框架构建单元,用于构建扩展卡尔曼滤波融合框架;
数据预测单元,用于根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新,以获得头部姿态信息和位置信息的预测数据;
第一计算单元,用于计算头部姿态信息和位置信息的预测数据的不准确程度;
第二计算单元,用于根据所述不准确程度计算卡尔曼增益;
最优值估计单元,用于根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值。
优选地,所述数据融合模块还包括:
第三计算单元,用于根据所述卡尔曼增益计算所述最优值的不准确程度。
本发明的有益效果:本发明所提供的头部运动跟踪方法,通过将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,从而获得优化的头部姿态和位置信息,相对于头部的实测姿态和位置信息,优化的姿态和位置信息能够获得较高帧率,且其中滤掉了实测姿态和位置信息固有的高频噪声,进而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
本发明所提供的头部运动跟踪***,通过设置数据融合模块,能实现将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,从而实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,进而获得优化的头部姿态和位置信息,相对于头部的实测姿态和位置信息,优化的姿态和位置信息能够获得较高帧率,且其中滤掉了实测姿态和位置信息固有的高频噪声,进而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
附图说明
图1为本发明实施例1中头部运动跟踪方法的流程图;
图2为本发明实施例2中头部运动跟踪方法的步骤S12的具体流程图;
图3为实测角速度和加速度信息的采集频率与实测姿态和位置信息的检测频率相等的示意图;
图4为实测角速度和加速度信息的采集频率大于实测姿态和位置信息的检测频率的示意图;
图5为优化后的头部姿态曲线与单独通过脸部信息检测获得的头部姿态曲线的对比示意图;
图6为优化后的头部位置曲线与单独通过脸部信息检测获得的头部位置曲线的对比示意图;
图7为优化后的头部姿态曲线与单独采用角速度和加速度信息获得的头部姿态曲线的对比示意图;
图8为优化后的头部位置曲线与单独采用角速度和加速度信息获得的头部位置曲线的对比示意图;
图9为本发明实施例3中头部运动跟踪***的原理框图。
其中的附图标记说明:
1.采集模块;2.检测获取模块;3.数据融合模块;30.融合框架构建单元;31.数据预测单元;32.第一计算单元;33.第二计算单元;34.最优值估计单元;35.第三计算单元。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明所提供的一种头部运动跟踪方法和***作进一步详细描述。
为了解决人脸检测的头部运动位姿不够准确和稳定的技术问题,本发明实施例1提供一种头部运动跟踪方法,如图1所示,包括:
步骤S10:采集头部运动的实测角速度和加速度信息。
步骤S11:检测脸部信息,并根据脸部信息获得头部实测姿态和位置信息。还包括:
步骤S12:将实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息。
该头部运动跟踪方法通常应用于人机交互等领域。人机交互时需要对人头部的运动进行准确、稳定的跟踪,即人机交互时需要获得人头部运动的准确和稳定的姿态和位置信息。
本实施例中的头部运动跟踪方法,通过将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,从而获得优化的头部姿态和位置信息,相对于头部的实测姿态和位置信息,优化的姿态和位置信息能够获得较高帧率,且其中滤掉了实测姿态和位置信息固有的高频噪声,进而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
本发明实施例2提供一种头部运动跟踪方法,包括:
步骤S10:采集头部运动的实测角速度和加速度信息。
该步骤中,通过IMU单元(惯性测量单元)采集头部运动的实测角速度和加速度信息。
步骤S11:检测脸部信息,并根据脸部信息获得头部实测姿态和位置信息。
该步骤中,通过相机等脸部信息检测设备,检测脸部信息,并将脸部信息传输至计算机等数据处理设备,经过对脸部信息进行运算处理后得到头部运动的实测姿态和位置信息。
其中,根据脸部信息检测获得头部实测姿态和位置信息的方法有很多,均为比较成熟的技术,下面简述其中一种:
①利用双目摄像头实时获取人脸图片,在同一时刻,两个摄像头各获取一张图片,分别记为图片A、图片B;
②提取两张图片中人脸的特征点,并完成匹配,获得多组匹配成功的特征点对;
③根据多组特征点对,利用对极几何原理,获得此时人脸相对于摄像头的位置,以及人脸的姿态,即获得上述实测姿态和位置信息。其中,实测姿态信息为旋转矩阵,实测位置信息为平移矩阵。
头部运动跟踪方法还包括:
步骤S12:将实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息。
该步骤通过构建扩展卡尔曼滤波融合框架,将实测角速度和加速度信息与实测姿态和位置信息进行融合,具体包括:如图2所示,
步骤S120:根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新,以获得头部姿态信息和位置信息的预测数据。
该步骤具体包括:
步骤S1201:构建以头部实测姿态信息和位置信息为状态量的状态更新方程。
其中,实测姿态信息通过姿态四元数表征。实测位置信息通过位置矩阵表征。
步骤S1202:通过头部运动实测加速度信息对头部实测位置信息进行更新,以获得头部位置信息的预测数据。
该步骤包括:
通过头部运动实测加速度信息对头部运动速度信息进行更新,更新公式为:
通过头部运动速度信息对头部实测位置信息进行更新,更新公式为:
其中,为当前时刻T头部运动速度;/>为上一时刻T-1头部运动速度;/>为当前时刻T头部运动实测加速度;ΔT为当前时刻T与上一时刻T-1之间的时间间隔;/>为当前时刻T的头部位置预测值;/>为上一时刻T-1的头部位置实测值。
当前时刻T的头部位置预测值通过位置矩阵表征。
步骤S1203:通过头部运动实测角速度信息对头部实测姿态信息进行更新,以获得头部姿态信息的预测数据。
其中,通过头部运动实测角速度信息对头部实测姿态信息进行更新的公式为:
其中,为当前时刻T的头部姿态预测值;/>为上一时刻T-1的头部姿态实测值;wx、wy、wz分别为当前时刻T头部运动实测角速度沿空间坐标系中x轴、y轴、z轴方向的角速度向量;ΔT为当前时刻T与上一时刻T-1之间的时间间隔。
当前时刻T的头部姿态预测值通过姿态四元数表征。
步骤S121:计算头部姿态信息和位置信息的预测数据的不准确程度。
其中,头部姿态信息和位置信息的预测数据的不准确程度的计算公式为:
其中,为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度;为上一时刻T-1头部姿态信息和位置信息的最优值的不准确程度;A为当前时刻头部姿态信息和位置信息的预测数据,且该预测数据为合并矩阵;AT为矩阵A的转置;C为扩展卡尔曼滤波融合***本身的噪声。
步骤S122:根据不准确程度计算卡尔曼增益。
其中,根据不准确程度计算卡尔曼增益的计算公式为:
其中,Kg为卡尔曼增益;H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵;HT为H矩阵的转置;D为扩展卡尔曼滤波融合***的测量噪声矩阵。
步骤S123:根据卡尔曼增益估计头部姿态信息和位置信息的最优值。
其中,根据卡尔曼增益估计头部姿态信息和位置信息的最优值的计算公式为:
其中,为头部姿态信息和位置信息的最优值;/>为当前时刻头部姿态信息和位置信息的预测数据;ZT为头部实测姿态和位置信息,/>h为头部实测姿态信息和位置信息的变化过程函数。
步骤S124:根据卡尔曼增益计算最优值的不准确程度。
其中,根据卡尔曼增益计算最优值的不准确程度的计算公式为:
其中,为最优值的不准确程度;/>为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度;Kg为卡尔曼增益;H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵。
本实施例中,实测角速度和加速度信息的采集频率等于实测姿态和位置信息的检测频率(如图3所示),即每个时刻均是将实测角速度和加速度信息与实测姿态和位置信息进行数据融合,获得头部姿态和位置信息的最优值。需要说明的是,在这种情况下,当前时刻的实测姿态信息和位置信息为当前时刻实测获得的姿态信息和位置信息。
另外需要说明的是,实际中,实测角速度和加速度信息的采集频率往往大于实测姿态和位置信息的检测频率(如图4所示),即在某些时刻,只采集获得实测角速度和加速度信息,而没有获得实测姿态和位置信息,在此种情况下,实测姿态信息和位置信息为上一时刻的头部姿态信息和位置信息的预测数据。
通过在各个不同时刻都循环执行步骤S120-步骤S124,能够获得不同时刻的头部姿态信息和位置信息的最优值,从而使由各个不同时刻构成的连续的头部运动跟踪更加准确和稳定。
步骤S120-步骤S124通过构建扩展卡尔曼滤波融合框架,将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,相对未校正前获得较高帧率的头部姿态和位置信息,滤除掉实测姿态和位置信息固有的高频噪声,使优化后的头部姿态和位置信息相对单独通过脸部信息检测获得的头部姿态和位置信息更加准确和稳定(如图5和图6所示);同时,将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,还能校正实测角速度和加速度信息的长时间积分漂移,使优化后的头部姿态和位置信息相对单独采用角速度和加速度信息获得的头部姿态和位置信息更加准确和稳定(如图7和图8所示),从而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
实施例1-2的有益效果:实施例1-2中所提供的头部运动跟踪方法,通过将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,能够实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,从而获得优化的头部姿态和位置信息,相对于头部的实测姿态和位置信息,优化的姿态和位置信息能够获得较高帧率,且其中滤掉了实测姿态和位置信息固有的高频噪声,进而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
基于实施例2中所提供的头部运动跟踪方法,本发明实施例3提供一种头部运动跟踪***,如图9所示,包括:采集模块1,用于采集头部运动的实测角速度和加速度信息。检测获取模块2,用于检测脸部信息,并根据脸部信息获得头部实测姿态和位置信息。还包括:数据融合模块3,用于将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息。
通过设置数据融合模块3,能实现将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,从而实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,进而获得优化的头部姿态和位置信息,相对于头部的实测姿态和位置信息,优化的姿态和位置信息能够获得较高帧率,且其中滤掉了实测姿态和位置信息固有的高频噪声,进而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
其中,采集模块1采用IMU单元(即惯性测量单元)。检测获取模块2包括脸部信息检测设备和数据处理设备,脸部信息检测设备如相机,数据处理设备如计算机。如相机利用双目摄像头实时获取人脸图片,在同一时刻,两个摄像头各获取一张图片,分别记为图片A、图片B;将图片输入到计算机中,计算机处理单元提取两张图片中人脸的特征点,并完成匹配,获得多组匹配成功的特征点对;然后根据多组特征点对,利用对极几何原理,获得此时人脸相对于摄像头的位置,以及人脸的姿态,即获得上述实测姿态和位置信息。
本实施例中,数据融合模块3包括:融合框架构建单元30,用于构建扩展卡尔曼滤波融合框架。数据预测单元31,用于根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新,以获得头部姿态信息和位置信息的预测数据。第一计算单元32,用于计算头部姿态信息和位置信息的预测数据的不准确程度。第二计算单元33,用于根据不准确程度计算卡尔曼增益。最优值估计单元34,用于根据卡尔曼增益估计头部姿态信息和位置信息的最优值。还包括第三计算单元35,用于根据卡尔曼增益计算最优值的不准确程度。
数据融合模块3通过构建扩展卡尔曼滤波融合框架,对头部的实测角速度和加速度信息与实测姿态和位置信息进行融合计算的具体过程在实施例2中已详细阐述,此处不再赘述。
数据融合模块3通过设置融合框架构建单元30、数据预测单元31、第一计算单元32、第二计算单元33、最优值估计单元34和第三计算单元35,能够通过扩展卡尔曼滤波融合框架,将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,相对未校正前获得较高帧率的头部姿态和位置信息,滤除掉实测姿态和位置信息固有的高频噪声,使优化后的头部姿态和位置信息相对单独通过脸部信息检测获得的头部姿态和位置信息更加准确和稳定;同时,将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,还能校正实测角速度和加速度信息的长时间积分漂移,使优化后的头部姿态和位置信息相对单独采用角速度和加速度信息获得的头部姿态和位置信息更加准确和稳定,从而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
实施例3的有益效果:实施例3中所提供的头部运动跟踪***,通过设置数据融合模块,能实现通过构建扩展卡尔曼滤波融合框架,将头部运动的实测角速度和加速度信息与实测姿态和位置信息进行融合,从而实现实测角速度和加速度信息对实测姿态和位置信息的辅助校正,进而获得优化的头部姿态和位置信息,相对于头部的实测姿态和位置信息,优化的姿态和位置信息能够获得较高帧率,且其中滤掉了实测姿态和位置信息固有的高频噪声,进而避免发生头部运动跟踪的场景滞后和跳动等现象,提高了头部运动跟踪的准确性和稳定性。
可以理解的是,以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式,然而本发明并不局限于此。对于本领域内的普通技术人员而言,在不脱离本发明的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本发明的保护范围。
Claims (12)
1.一种头部运动跟踪方法,包括:
采集头部运动的实测角速度和加速度信息;
检测脸部信息,并根据脸部信息获得头部实测姿态和位置信息;其特征在于,还包括:
将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息;
通过构建扩展卡尔曼滤波融合框架,将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息,该步骤包括:
步骤S120:根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新,以获得头部姿态信息和位置信息的预测数据;
步骤S121:计算头部姿态信息和位置信息的预测数据的不准确程度;
步骤S122:根据所述不准确程度计算卡尔曼增益;
步骤S123:根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值。
2.根据权利要求1所述的头部运动跟踪方法,其特征在于,所述通过构建扩展卡尔曼滤波融合框架,将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息在所述步骤S123之后还包括:
步骤S124:根据所述卡尔曼增益计算最优值的不准确程度。
3.根据权利要求2所述的头部运动跟踪方法,其特征在于,所述步骤S120包括:
构建以头部实测姿态信息和位置信息为状态量的状态更新方程;
通过头部运动实测加速度信息对头部实测位置信息进行更新,以获得头部位置信息的预测数据;
通过头部运动实测角速度信息对头部实测姿态信息进行更新,以获得头部姿态信息的预测数据。
4.根据权利要求3所述的头部运动跟踪方法,其特征在于,所述通过头部运动实测加速度信息对头部实测位置信息进行更新,以获得头部位置信息的预测数据包括:
通过头部运动实测加速度信息对头部运动速度信息进行更新,更新公式为:
通过头部运动速度信息对头部实测位置信息进行更新,更新公式为:
其中,为当前时刻T头部运动速度;/>为上一时刻T-1头部运动速度;/>为当前时刻T头部运动实测加速度;ΔT为当前时刻T与上一时刻T-1之间的时间间隔;/>为当前时刻T的头部位置预测值;/>为上一时刻T-1的头部位置实测值。
5.根据权利要求4所述的头部运动跟踪方法,其特征在于,通过头部运动实测角速度信息对头部实测姿态信息进行更新的公式为:
其中,为当前时刻T的头部姿态预测值;/>为上一时刻T-1的头部姿态实测值;wx、wy、wz分别为当前时刻T头部运动实测角速度沿空间坐标系中x轴、y轴、z轴方向的角速度向量;ΔT为当前时刻T与上一时刻T-1之间的时间间隔。
6.根据权利要求5所述的头部运动跟踪方法,其特征在于,头部姿态信息和位置信息的预测数据的不准确程度的计算公式为:
其中,为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度;/>为上一时刻T-1头部姿态信息和位置信息的最优值的不准确程度;A为当前时刻头部姿态信息和位置信息的预测数据,且该预测数据为合并矩阵;AT为矩阵A的转置;C为扩展卡尔曼滤波融合***本身的噪声。
7.根据权利要求6所述的头部运动跟踪方法,其特征在于,根据所述不准确程度计算卡尔曼增益的计算公式为:
其中,Kg为卡尔曼增益;H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵;HT为H矩阵的转置;D为扩展卡尔曼滤波融合***的测量噪声矩阵。
8.根据权利要求7所述的头部运动跟踪方法,其特征在于,根据所述卡尔曼增益估计当前时刻头部姿态信息和位置信息的最优值的计算公式为:
其中,为当前时刻头部姿态信息和位置信息的最优值;/>为当前时刻头部姿态信息和位置信息的预测数据;ZT为当前时刻头部实测姿态和位置信息,h为头部实测姿态信息和位置信息的变化过程函数。
9.根据权利要求8所述的头部运动跟踪方法,其特征在于,根据所述卡尔曼增益计算当前时刻最优值的不准确程度的计算公式为:
其中,为当前时刻最优值的不准确程度;/>为当前时刻T头部姿态信息和位置信息的预测数据的不准确程度;Kg为卡尔曼增益;H为对头部实测姿态信息和位置信息的变化过程函数求雅各比矩阵得到的状态转移矩阵。
10.根据权利要求9所述的头部运动跟踪方法,其特征在于,实测角速度和加速度信息的采集频率大于或等于实测姿态和位置信息的检测频率;
当前时刻,若同时获得头部运动的实测角速度和加速度信息以及头部实测姿态和位置信息,则实测姿态信息和位置信息为当前时刻实测获得的姿态信息和位置信息;
当前时刻,若只获得头部运动的实测角速度和加速度信息,则实测姿态信息和位置信息为上一时刻的头部姿态信息和位置信息的预测数据。
11.一种头部运动跟踪***,包括:
采集模块,用于采集头部运动的实测角速度和加速度信息;
检测获取模块,用于检测脸部信息,并根据脸部信息获得头部实测姿态和位置信息;其特征在于,还包括:
数据融合模块,用于将头部的实测角速度和加速度信息与实测姿态和位置信息进行融合,以获得优化的头部姿态和位置信息;
所述数据融合模块包括:
融合框架构建单元,用于构建扩展卡尔曼滤波融合框架;
数据预测单元,用于根据实测角速度和加速度信息对实测姿态信息和位置信息进行状态更新,以获得头部姿态信息和位置信息的预测数据;
第一计算单元,用于计算头部姿态信息和位置信息的预测数据的不准确程度;
第二计算单元,用于根据所述不准确程度计算卡尔曼增益;
最优值估计单元,用于根据所述卡尔曼增益估计头部姿态信息和位置信息的最优值。
12.根据权利要求11所述的头部运动跟踪***,其特征在于,所述数据融合模块还包括:
第三计算单元,用于根据所述卡尔曼增益计算所述最优值的不准确程度。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910222446.1A CN111723624B (zh) | 2019-03-22 | 2019-03-22 | 一种头部运动跟踪方法和*** |
PCT/CN2020/076379 WO2020192326A1 (zh) | 2019-03-22 | 2020-02-24 | 一种头部运动跟踪方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910222446.1A CN111723624B (zh) | 2019-03-22 | 2019-03-22 | 一种头部运动跟踪方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111723624A CN111723624A (zh) | 2020-09-29 |
CN111723624B true CN111723624B (zh) | 2023-12-05 |
Family
ID=72562800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910222446.1A Active CN111723624B (zh) | 2019-03-22 | 2019-03-22 | 一种头部运动跟踪方法和*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111723624B (zh) |
WO (1) | WO2020192326A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110147164A (zh) * | 2019-05-22 | 2019-08-20 | 京东方科技集团股份有限公司 | 头部运动跟踪方法、设备、***及存储介质 |
CN113031660B (zh) * | 2021-04-02 | 2023-03-17 | 中北大学 | 一种飞行器定向天线跟踪定位装置 |
CN113536900A (zh) * | 2021-05-31 | 2021-10-22 | 浙江大华技术股份有限公司 | 人脸图像的质量评价方法、装置以及计算机可读存储介质 |
CN117008711A (zh) * | 2022-04-29 | 2023-11-07 | 华为技术有限公司 | 确定头部姿态的方法以及装置 |
CN116578910B (zh) * | 2023-07-13 | 2023-09-15 | 成都航空职业技术学院 | 一种训练动作识别方法及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015217053A (ja) * | 2014-05-15 | 2015-12-07 | 国立大学法人東北大学 | 運動測定装置ならびに運動測定方法 |
CN106017463A (zh) * | 2016-05-26 | 2016-10-12 | 浙江大学 | 一种基于定位传感装置的飞行器定位方法 |
JP2017023436A (ja) * | 2015-07-23 | 2017-02-02 | 国立大学法人北海道大学 | 歩行解析方法および歩行解析システム |
CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101799934A (zh) * | 2010-04-02 | 2010-08-11 | 北京大学软件与微电子学院无锡产学研合作教育基地 | 一种基于微机电惯性传感网络的实时人体运动捕捉*** |
KR20160147735A (ko) * | 2014-04-22 | 2016-12-23 | 소니 주식회사 | 헤드부 위치 검출 장치 및 헤드부 위치 검출 방법, 화상 처리 장치 및 화상 처리 방법, 표시 장치, 및 컴퓨터 프로그램 |
CN109328094B (zh) * | 2016-08-09 | 2021-06-01 | 株式会社比弗雷斯 | 运动识别方法及装置 |
CN106767790B (zh) * | 2017-01-12 | 2019-11-08 | 厦门大学 | 人体下肢运动模型与卡尔曼滤波融合估计行人移动跟踪的方法 |
CN109011506B (zh) * | 2018-07-12 | 2020-09-15 | 深圳市虚数科技有限公司 | 一种训练动作识别方法 |
-
2019
- 2019-03-22 CN CN201910222446.1A patent/CN111723624B/zh active Active
-
2020
- 2020-02-24 WO PCT/CN2020/076379 patent/WO2020192326A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015217053A (ja) * | 2014-05-15 | 2015-12-07 | 国立大学法人東北大学 | 運動測定装置ならびに運動測定方法 |
JP2017023436A (ja) * | 2015-07-23 | 2017-02-02 | 国立大学法人北海道大学 | 歩行解析方法および歩行解析システム |
CN106017463A (zh) * | 2016-05-26 | 2016-10-12 | 浙江大学 | 一种基于定位传感装置的飞行器定位方法 |
CN109376785A (zh) * | 2018-10-31 | 2019-02-22 | 东南大学 | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111723624A (zh) | 2020-09-29 |
WO2020192326A1 (zh) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723624B (zh) | 一种头部运动跟踪方法和*** | |
CN109376785B (zh) | 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法 | |
CN108225308B (zh) | 一种基于四元数的扩展卡尔曼滤波算法的姿态解算方法 | |
CN104501814B (zh) | 一种基于视觉和惯性信息的姿态与位置估计方法 | |
CN103411621B (zh) | 一种面向室内移动机器人的光流场视觉/ins组合导航方法 | |
KR101950359B1 (ko) | 하이브리드 모션캡쳐 시스템의 위치 추정 방법 | |
CN110702107A (zh) | 一种单目视觉惯性组合的定位导航方法 | |
CN108090921A (zh) | 单目视觉和imu融合的自适应室内定位方法 | |
CN110231028B (zh) | 飞行器导航方法、装置和*** | |
US20180075614A1 (en) | Method of Depth Estimation Using a Camera and Inertial Sensor | |
CN110553648A (zh) | 一种用于室内导航的方法和*** | |
CN112683269B (zh) | 一种附有运动加速度补偿的marg姿态计算方法 | |
CN110207693B (zh) | 一种鲁棒立体视觉惯性预积分slam方法 | |
CN104613965B (zh) | 一种基于双向滤波平滑技术的步进式行人导航方法 | |
CN112985450B (zh) | 一种具有同步时间误差估计的双目视觉惯性里程计方法 | |
CN109724602A (zh) | 一种基于硬件fpu的姿态解算***及其解算方法 | |
Zhang et al. | Vision-aided localization for ground robots | |
JP7182020B2 (ja) | 情報処理方法、装置、電子機器、記憶媒体およびプログラム | |
CN112815939A (zh) | 移动机器人的位姿估计方法及计算机可读存储介质 | |
JP2023036796A (ja) | レーンラインと特徴点による測位方法及び測位装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両 | |
CN117739972A (zh) | 一种无全球卫星定位***的无人机进近阶段定位方法 | |
CN112284381A (zh) | 视觉惯性实时初始化对准方法及*** | |
CN106441282B (zh) | 一种星敏感器星跟踪方法 | |
CN115235455B (zh) | 一种基于智能手机pdr与视觉修正的行人定位方法 | |
CN114440877B (zh) | 一种异步多相机视觉惯性里程计定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |