CN108664122A - 一种姿态预测方法和装置 - Google Patents

一种姿态预测方法和装置 Download PDF

Info

Publication number
CN108664122A
CN108664122A CN201810300681.1A CN201810300681A CN108664122A CN 108664122 A CN108664122 A CN 108664122A CN 201810300681 A CN201810300681 A CN 201810300681A CN 108664122 A CN108664122 A CN 108664122A
Authority
CN
China
Prior art keywords
network model
neural network
attitude
training
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810300681.1A
Other languages
English (en)
Inventor
朱育革
戴天荣
蔡磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201810300681.1A priority Critical patent/CN108664122A/zh
Publication of CN108664122A publication Critical patent/CN108664122A/zh
Priority to PCT/CN2018/112854 priority patent/WO2019192172A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种姿态预测方法和装置，方法包括：按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集；根据原始数据集确定神经网络的层数以及各层节点数，得到训练完成的神经网络模型；在一次姿态预测过程中，将采集的预定时间段内的姿态数据输入到神经网络模型中，得到神经网络模型输出的当前时刻之后目标时刻对应的姿态数据；其中，预定时间段是由当前时刻以及当前时刻之前的预定时刻确定的时间段。可见，本发明的技术方案利用机器学习训练出的神经网络模型进行姿态预测不仅满足了效率要求，降低了计算复杂度。而且，能够捕捉历史姿态中的微小的运动模式，预测的精度高，提升了用户的沉浸感等体验。

Description

一种姿态预测方法和装置
技术领域
本发明涉及头戴显示设备技术领域，具体涉及一种姿态预测方法和装置。
背景技术
VR(Virtual Reality，虚拟现实)和AR(Augmented Reality，增强现实)技术通过控制器让用户获得可交互的沉浸式体验。控制器可位于HMD(Head Mounted Display，头戴显示设备)中，也可位于手柄中。控制器过高延迟会破坏沉浸感，尤其对于HMD这种头-眼运动反馈的设备来说，过高的延迟会引发严重的不适感和晕动症，影响用户的生理健康。一个完善的VR/AR***通常需要结合多种优化手段以降低控制器的延迟。VR/AR的控制器中通常集成有IMU(Inertial Measurement Unit，惯性测量单元简称)等姿态传感器，并利用姿态传感器获取用户的姿态数据，通过姿态数据预测来降低用户所察觉到的***延迟。
但是现有基于姿态传感器进行姿态预测的方案要么误差较大，精度达不到要求，要么计算复杂度高，实现起来非常困难，不能满足实际需求，用户体验不佳。
发明内容
为了解决现有虚拟现实或增强现实技术对姿态进行预测时误差较大，计算复杂度高，用户体验不佳的技术问题，本发明实施例提供了一种姿态预测方法和装置。
根据本发明的一个方面，提供了一种姿态预测方法，包括：
按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集；
根据原始数据集和指定预测时长确定初始神经网络模型的层数以及各层的节点数，并使用所述原始数据集对初始神经网络模型训练，以得到训练完成的神经网络模型；
在一次姿态预测过程中，将采集的预定时间段内的姿态数据输入到训练完成的神经网络模型中，得到训练完成的神经网络模型输出的当前时刻之后目标时刻对应的姿态数据；
其中，预定时间段是由当前时刻以及当前时刻之前的预定时刻确定的时间段。
可选地，根据原始数据集和指定预测时长确定初始神经网络模型的层数以及各层的节点数，并使用所述原始数据集对神经网络训练包括：
对原始数据集进行整理，生成指示预定时间段内的姿态数据以及目标时刻的姿态数据的映射关系的映射关系集；
将映射关系集中的数据输入到初始神经网络模型中，并采用监督式学习训练神经网络模型。
可选地，方法还包括：
在采用监督式学习训练神经网络模型过程中，根据训练结果调整神经网络模型的指定参数；指定参数包括：神经网络模型的层数、各层的节点数、激活函数以及损失函数。
可选地，根据训练结果调整神经网络模型的指定参数包括：
根据训练结果将神经网络模型的损失函数设置为采集的实际姿态数据值与预测姿态数据值的均方差。
可选地，方法还包括：
在神经网络模型训练完成后，提取并输出训练完成的神经网络模型的指定参数的值，以在指定终端平台上运行神经网络模型。
可选地，按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集包括：
按照预设采样频率，对用户运动时姿态传感器在正常使用状态下生成的姿态数据进行采样，得到姿态数据的时间序列，作为原始数据集；
姿态数据的时间序列指示下列用户头部或手部运动中的一项或多项：
平滑转动、加速转动、减速转动、预定时间转动到预设位置后停止、预定时间转动到预定位置再向回转动。
根据本发明的另一个方面，提供了一种姿态预测装置，应用于头戴显示设备，包括：
采样单元，用于按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集；
训练单元，用于根据原始数据集和指定预测时长确定初始神经网络模型的层数以及各层的节点数，并使用所述原始数据集对初始神经网络模型训练，以得到训练完成的神经网络模型；
预测单元，用于在一次姿态预测过程中，将采集的预定时间段内的姿态数据输入到训练完成的神经网络模型中，得到训练完成的神经网络模型输出的当前时刻之后目标时刻对应的姿态数据；
其中，预定时间段是由当前时刻以及当前时刻之前的预定时刻确定的时间段。
可选地，训练单元，具体用于对原始数据集进行整理，生成指示预定时间段内的姿态数据以及目标时刻的姿态数据的映射关系的映射关系集；
将映射关系集中的数据输入到初始神经网络模型中，并采用监督式学习训练神经网络模型。
可选地，还包括：训练优化单元，用于在采用监督式学习训练神经网络模型过程中，根据训练结果调整神经网络模型的指定参数；指定参数包括：神经网络模型的层数、各层的节点数、激活函数以及损失函数。
可选地，训练优化单元具体用于，根据训练结果将神经网络模型的损失函数设置为采集的实际姿态数据值与预测姿态数据值的均方差；
装置还包括：平台扩展单元，用于提取并输出训练完成的神经网络模型的指定参数的值，以在指定终端平台上运行训练完成的神经网络模型。
有益效果：本发明实施例的姿态预测方法和装置，通过对用户运动时姿态传感器生成的姿态数据进行采样得到原始数据集，利用原始数据集训练神经网络模型，在姿态预测过程中，利用该神经网络模型，输入过去预定时间段内的姿态数据即可预测出未来某一时刻(即目标时刻)对应的、精确的姿态数据，预测的姿态数据的精确度高，保证了头戴式显示设备能够根据预测出的姿态数据提前计算将要呈现的场景画面使得用户观看到的虚拟图像与用户头部或手部的运动相匹配，从而方便头戴显示设备降低延迟，提高用户体验。更重要的是，本实施例的技术方案利用机器学习的神经网络模型来预测用户运动姿态，神经网络算法，适合基于头戴式设备使用过程中用户的运动模式在姿态数据的时间序列上的特征对未来的姿态做出高精度的预测，并且机器学习训练出的神经网络模型，在计算上表现为一系列的向量矩阵乘法与加法，具体的复杂度主要取决于矩阵与向量的大小以及层数，而运算量最大的函数拟合可放在离线训练时进行，这保证了姿态预测时的计算复杂度较低，从而兼顾了运动姿态预测的计算复杂度和预测精度两项指标，解决了现有姿态预测算法要么误差较大，达不到精度要求，要么计算复杂度高实现困难的技术问题，提高了头戴显示设备的竞争力。
附图说明
图1是应用现有技术多项式拟合法的预测结果对比图；
图2本发明一个实施例的姿态预测方法的流程图；
图3是应用本发明一个实施例的姿态预测方法的预测结果对比图；
图4是本发明一个实施例的姿态预测装置的框图；
图5是本发明一个实施例的电子设备的框图。
具体实施方式
业界普遍认为HMD(Head Mounted Display，头戴显示设备)的延迟应当低于20ms，甚至低于15ms或10ms才能保证流畅的体验。但这些指标对现有的VR/AR软硬件***是一个很高的挑战，在VR/AR软件层面，一种重要的优化手段是对控制器上所集成的姿态传感器(IMU/Optic)未来一段时间的姿态进行预测，以此提前进行响应和准备来降低用户所能察觉到的***延迟。
目前的姿态预测方法主要有：
(一)牛顿运动学法。该算法将当前(即时间轴坐标为0处)的姿态数据(位置、朝向、速度、加速度等)代入到牛顿运动学公式中，以推算出未来时间点0+ΔT处的姿态。该算法假定了[0，ΔT]时间区间内的姿态数据与0点处的姿态数据相同。实际中，若姿态传感器的速度和角速度在[0，ΔT]区间内突然发生变化甚至发生方向折返时，该算法预测出的0+ΔT处的姿态将会有严重的偏差。而姿态预测算法的一个重要指标是误差大小以及误差分布。若误差过大引起用户的觉察，将会更加严重的加剧用户的不适感，这种情况比不做姿态预测还要糟糕。
由上可知，牛顿运动学法的主要是缺点是计算精度非常差，在预测时只利用了当前时间点0处的姿态数据，忽略了历史数据对未来数据的影响，使得预测的精度很差。而实际上在0点之前一段时间，即[-ΔT，0]内的运动状态对0点之后的运动状态有很大的影响。
(二)多项式拟合法。接前述，[-ΔT，0]区间内的数据包含了更深层次的运动信息，比如，加速度的导数等，这些额外的信息可用来提高预测的准确性。因此一些方案提出了采用多项式拟合法，将[-ΔT，0]区间内的姿态变动曲线拟合出高阶的多项式，随后利用得到的多项式推算0+ΔT处的姿态值。多项式拟合法还有一些变种，比如，认为0点之前的历史数据中，越靠近0点的数据对0点之后的运动状态影响更大，因此可以采用滑动窗算法从0点往前滑动并拟合出多个多项式，最后再按权重对多条曲线进行加权平均。
多项式拟合法及其变种的预测效果比牛顿运动学法有所提升，多项式拟合法利用了姿态曲线在历史上的变化趋势，因此在姿态变化较缓慢的时候，相比牛顿运动学法有较高的准确度，但提高的程度有限。多项式拟合法缺点主要是在姿态发生剧烈变化时，比如传感器快速的转动到某一点并马上向反方向转动时，或者在速度方向发生变化的地方，多项式拟合法的预测误差非常大。
图1是应用现有技术多项式拟合法的预测结果对比图；参见图1，横轴表示时间，纵轴表示根据IMU原始数据计算出的欧拉角roll值，单位(度)，101表示多项式拟合法姿态预测值，102是姿态传感器生成的姿态实际值；由图1可知，多项式拟合法与预测的姿态数据与实际的姿态数据误差非常大。
本申请的发明人分析认为原因可能是，多项式拟合法只是简单的对历史数据曲线进行拟合，这样在趋势方向不变的情况下，拟合出的曲线在未来时间点上升或下降的趋势大致符合历史的运动趋势，也符合未来一小段时间的变化趋势。但在方向剧烈变化时，拟合出的曲线在未来时间点上升或下降的趋势虽与历史趋势方向相同，但却与实际的趋势方向相反，从而造成预测误差较大。
同时，多项式拟合法计算复杂度很高(尤其是加权平均的变种方法)，可以说，多项式拟合是一个复杂且耗时的过程，对于加权平均的变种方法来说，根据滑动的次数N，需要做N次多项式拟合，这是一个非常耗时的过程。在移动平台或单片机等计算能力较弱的平台上，该算法实现起来非常困难，不利于大规模实施应用。
对此，本发明提出一种新的对头戴显示设备的姿态传感器未来某一时刻的姿态进行预测的方案，以提升预测精度并降低计算复杂度。本发明实施例的姿态预测方法认为，由于头戴显示设备的控制器是跟随用户的头部或手部进行运动的，而人的头部和手部的运动受肌肉、关节的限制，运动时在空间中的姿态曲线会形成一些特定的模式。在姿态传感器采样率足够高的情况下，这些特定的模式能够被姿态传感器所捕捉到，并体现在姿态传感器所返回的姿态数据中。
基于此，本发明实施例提出一种全新的姿态预测方法，引入机器学习以及深度神经网络，并采集大量传感器在VR/AR应用中的实际姿态数据对神经网络进行训练，使该神经网络能够识别姿态变化曲线中的模式，从而对未来某个时刻的姿态做出高精度的预测。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
图2是本发明一个实施例的姿态预测方法的流程图，参见图2，本实施例的姿态预测方法，包括：
步骤S201，按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集；这里的原始数据集例如是当前时刻之前某个时间段内的姿态数据，比如，[-ΔT，0]区间内对应的按时间轴从旧到新排列的姿态数据，0表示当前时刻(时间坐标轴的0点处)，负号“-”代表方向，表示比当前时刻旧的时刻，ΔT表示时间长度，比如6秒。
步骤S202，根据原始数据集和指定预测时长确定初始神经网络模型的层数以及各层的节点数，并使用所述原始数据集对初始神经网络模型训练，以得到训练完成的神经网络模型；
这里，先根据原始数据集的复杂程度，以及对预测时间长度的需求(比如，想要预测5毫秒后的姿态，那么这里的5毫秒即为预测时长)确定一个初始神经网络模型，然后，随后使用原始数据集对模型进行训练，得到最终用于预测的神经网络模型。
需要说明的是，实际应用中，预测时长的需求不同，比如，一种情况下，要预测5毫秒后的姿态，另一种情况下，要预测2毫秒后的姿态。预测时长的需求不同，在原始数据集相同的情况下，构建的初始神经网络模型也不同(主要是神经网络模型的层数以及各层节点数不同)。
本实施例中，利用原始数据集来训练神经网络模型，由于原始数据集代表了过去一段时间内(即，以某时刻为起点，以时间轴的负方向上某一时刻为终点确定的时间区间对应的姿态数据)的姿态数据，这样在预测时不仅利用某时刻的姿态数据，而且利用了原始数据集包含的更深层次的运动信息，提高了姿态预测的准确度。
步骤S203，在一次姿态预测过程中，将采集的预定时间段内的姿态数据输入到训练完成的神经网络模型中，得到训练完成的神经网络模型输出的当前时刻之后目标时刻对应的姿态数据；
其中，预定时间段是由当前时刻以及当前时刻之前的预定时刻确定的时间段。
由图2所示可知，本实施例的姿态预测方法，利用机器学习训练出神经网络模型，从而将较大的复杂度优化转移到了离线模型训练中，保证实际预测时计算复杂度低，满足效率要求，实现简单。另外，在使用头戴式显示设备的过程中可能频繁出现一些运动模式，如用户头部的加速转动、快速转动到某位置然后突然停止等等模式，这些运动模式在姿态数据的时间序列上都有各自的特征，而神经网络模型能够捕捉历史姿态数据中的微小的运动模式，从而基于捕捉到历史姿态数据中的微小的运动模式进行训练后，即使用户的姿态方向发生剧烈变化，神经网络模型仍然能够保持较高的预测精度，与多项式拟合法的预测精度相比，多项式拟合法只是简单的对历史运动变化曲线进行拟合，这样在趋势方向发生剧烈变化时，拟合出的曲线在未来时间点上升或下降的趋势仍与历史趋势方向相同，而与实际的趋势方向相反，从而预测误差较大。如此，利用机器学习的神经网络模型来精确预测姿态，方便了头戴显示设备根据预测出的精确度较高的姿态数据来提前计算头戴式显示设备的画面，使显示的画面与用户的运动相匹配，从而降低延迟，提升用户的沉浸感体验。
在本发明的一个实施例中，姿态预测方法包括三部分，分别为：(I)采集姿态数据，(II)训练神经网络模型，(III)利用训练出的神经网络模型实现姿态预测，以下分别进行说明。
首先，采集姿态数据。
本实施例中，按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集。具体包括：按照预设采样频率，对用户运动时姿态传感器在正常使用状态下生成的姿态数据进行采样，得到姿态数据的时间序列(Time Series)，保存下来，作为原始数据集；姿态数据的时间序列指示下列用户头部或手部运动中的一项或多项：平滑转动、加速转动、减速转动、预定时间转动到预设位置后停止、预定时间转动到预定位置再向回转动。这里的预定时间转动到预设位置后停止，比如是3秒内头部从初始位置转到右边45度后保持在该角度一定时间。预定时间转动到预定位置再向回转动，比如是，3秒内头部从初始位置转到右边45度后又在2秒内将头部转到初始位置。其中，姿态数据的采样频率例如是1000Hz，那么原始数据集即为每隔1ms进行一次采样得到的时间序列。
其次，训练神经网络。
本实施例中，根据前述采样得到的原始数据集确定神经网络的层数以及各层的节点数。具体包括：对原始数据集进行整理，生成指示预定时间段内的姿态数据以及目标时刻的姿态数据的映射关系的映射关系集；将映射关系集中的数据输入到初始神经网络模型中，并采用监督式学习训练神经网络模型。
实际应用中，先设计一个深度神经网络。可以理解，神经网络的层数以及每一层的节点数量由数据集的复杂程度、历史时间区间的长短、预测时间的长短等实际情况而定，本实施例对此不作限制。
接着利用搜集到的数据集，让神经网络进行监督式学习，这样训练结束后，可以得到一个用于姿态预测的神经网络模型。在实际预测时对该神经网络模型输入任意的长度为ΔT1的姿态数组，比如该数组最后一个元素所在时间为Z，那么，该神经网络模型即可输出Z+ΔT2处所预测的姿态。
本实施例中，经过以上步骤，训练得到下列函数：
Z+T2＝f([Z-ΔT1,Z])
该函数可移植到各个平台上进行实现，具体的，在神经网络模型训练完成后，提取并输出训练完成的神经网络模型的指定参数(神经网络模型的层数、各层的节点数、激活函数、损失函数等)的值，从而在指定终端平台上运行神经网络模型。这里的指定终端平台包括但不限于PC平台、移动平台、单片机等，可知，本实施例的方法对平台要求低，方便大规模推广应用。
需要强调的是，本实施例在采用监督式学***台上实现相应的预测函数。这里之所以根据训练结果调整神经网络模型的指定参数，主要是根据测试的结果确定预测结果是否达到了应用的误差要求，以及神经网络模型是否产生了过拟合或欠拟合，从而提高预测精度，减小误差。比如，理论上，在采用监督学习训练神经网络时，随着迭代的增加，训练集和测试集的精确度均应该上升(尽管有拟合的误差的存在，测试集的精确度没有训练集的精确度那么高)。但实际中，神经网络拟合训练集时可以很好地实现，损失函数很小，精确度很大；但是，在拟合测试集时损失函数很大，精确度在一个比较低的范围内波动，即训练集预测效果好，测试集预测效果差，这样当初始的训练和测试结果表明发生了过拟合时，减少神经网络模型中间层或中间层上节点的数据，或加入dropout，再次训练并测试，反复调整直到误差满足要求即可结束训练。这里的dropout是指在深度学习神经网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃。
需要强调的是，本实施例中，根据训练结果将神经网络模型的损失函数设置为采集的实际姿态数据值与预测姿态数据值的均方差。即，损失函数为实际姿态值与预测姿态值的均方差，这样确保了预测值与实际值间的差值最小，从而误差较小。这里的损失函数(loss function)也叫代价函数(cost function)，是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数值越小，对应预测的结果和真实结果的值就越接近。
最后，利用训练出的模型实现姿态预测。
预测过程是：将采集的预定时间段内的姿态数据输入到神经网络模型中，得到神经网络模型输出的当前时刻之后目标时刻(比如0+ΔT2)对应的姿态数据。预定时间段比如[-ΔT1,0](这里的负号表示方向，是由当前时刻(比如0点)以及当前时刻之前的预定时刻(23点)确定的时间段。这里[-ΔT1,0]时间区间内存放的即为前述姿态数据的时间序列，是按时间轴从旧到新排列，每一条数据代表一次采样所得到的姿态数值，前后两条数据之间的时间间隔即为采样周期(采样频率的倒数)。
至此，在本发明的一个实施例中，该姿态预测方法，通过控制器中的数据收集模块，读取并保存HMD等姿态控制器所返回的原始数据(包括陀螺仪、加速度计等采集的数据)。然后，对收集到的数据进行整理，生成一系列形如[-ΔT1,0]→ΔT2的映射关系数据。接着，将上述生成的映射关系数据代入到神经网络模型中进行训练。根据训练结果调整神经网络的结构，优化预测的准确性，直到预测精度满足要求。训练过程中，主要调整的参数包括神经网络的层数、Batch Size(一个Batch中的样本总数)、Epoch(完整的数据集)、训练集与测试集的大小等重要参数。最后，应用训练完成的神经网络模型实现准确预测。
需要说明的是，在神经网络中，当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个epoch。而在不能将数据一次性通过神经网络时，就需要将数据集分成几个batch。
本实施例的姿态预测方法实现了以下有益效果：基于机器学习神经网络的预测方法，预测时的计算复杂度较低，介于牛顿运动学法与多项式拟合法之间。机器学习训练出的神经网络模型，在计算上表现为一系列的向量矩阵乘法与加法，具体的复杂度主要取决与矩阵与向量的大小以及层数。虽然神经网络在训练时的复杂度较高，但本实施例中将运算量最大的函数拟合在离线训练时进行，这样实时预测时的计算复杂度较低，某种程度上可认为是将较大的复杂度优化转移到了离线训练中。
此外，计算精度较多项式拟合法更好。本实施例的基于神经网络模型的预测方法在姿态方向发生剧烈变化时，预测的精度仍然较高。原因是神经网络在训练时能够捕捉历史姿态中的微小的运动模式，如头部的平滑转动、加速转动、减速转动、快速转动到某位置然后突然停止、快速转动到某个位置再向回转动等等，这些在使用设备的过程中可能频繁出现的运动模式，在姿态数据的时间序列上都有各自的特征，神经网络能够根据这些特征进行更准确、统一的数据预测，从而保证了本实施例的预测精度。
图3是应用本发明一个实施例的姿态预测方法的预测结果对比图，在图3中横轴表示时间，纵轴表示根据IMU原始数据计算出的欧拉角roll值，单位(度)，302表示姿态传感器实际的姿态值，301表示本实施例姿态预测方法的预测值，由图3可知，预测值与姿态实际值非常接近，这也说明了本实施例的姿态预测方法预测精度较高，满足了实际应用需求，有利于头戴显示设备降低延迟，提升了用户体验。
图4是本发明一个实施例的姿态预测装置的框图，参见图4，姿态预测装置400应用于头戴显示设备，包括：
采样单元401，用于按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集；
训练单元402，用于根据原始数据集和指定预测时长确定初始神经网络模型的层数以及各层的节点数，并使用所述原始数据集对初始神经网络模型训练，以得到训练完成的神经网络模型；
预测单元403，用于在一次姿态预测过程中，将采集的预定时间段内的姿态数据输入到训练完成的神经网络模型中，得到训练完成的神经网络模型输出的当前时刻之后目标时刻对应的姿态数据；
其中，预定时间段是由当前时刻以及当前时刻之前的预定时刻确定的时间段。
在本发明的一个实施例中，训练单元402，具体用于对原始数据集进行整理，生成指示预定时间段内的姿态数据以及目标时刻的姿态数据的映射关系的映射关系集；
将映射关系集中的数据输入到初始神经网络模型中，并采用监督式学习训练神经网络模型。
在本发明的一个实施例中，姿态预测装置400还包括：
训练优化单元，用于在采用监督式学习训练神经网络模型过程中，根据训练结果调整神经网络模型的指定参数；指定参数包括：神经网络模型的层数、各层的节点数、激活函数以及损失函数。
在本发明的一个实施例中，训练优化单元具体用于，根据训练结果将神经网络模型的损失函数设置为采集的实际姿态数据值与预测姿态数据值的均方差。
在本发明的一个实施例中，姿态预测装置400还包括：平台扩展单元，用于提取并输出训练完成的神经网络模型的指定参数的值，以在指定终端平台上运行训练完成的神经网络模型。
需要说明的是，本实施例的姿态预测装置是和前述姿态预测方法相对应的，因而本实施例中对姿态预测装置没有描述的内容可参见前述方法实施例中的说明，这里不再赘述。
图5是本发明一个实施例的电子设备的框图，电子设备包括：存储器501和处理器502，所述存储器501和所述处理器502之间通过内部总线503通讯连接，所述存储器501存储有能够被所述处理器502执行的程序指令，所述程序指令被所述处理器502执行时能够实现前述实施例中姿态预测方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种姿态预测方法，其特征在于，包括：
按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集；
根据所述原始数据集和指定预测时长确定初始神经网络模型的层数以及各层的节点数，并使用所述原始数据集对初始神经网络模型训练，以得到训练完成的神经网络模型；
在一次姿态预测过程中，将采集的预定时间段内的姿态数据输入到所述训练完成的神经网络模型中，得到所述训练完成的神经网络模型输出的当前时刻之后目标时刻对应的姿态数据；
其中，所述预定时间段是由当前时刻以及当前时刻之前的预定时刻确定的时间段。
2.根据权利要求1所述的方法，其特征在于，根据所述原始数据集和指定预测时长确定初始神经网络模型的层数以及各层的节点数，并使用所述原始数据集对神经网络训练包括：
对所述原始数据集进行整理，生成指示所述预定时间段内的姿态数据以及目标时刻的姿态数据的映射关系的映射关系集；
将所述映射关系集中的数据输入到初始神经网络模型中，并采用监督式学习训练神经网络模型。
3.根据权利要求2所述的方法，其特征在于，还包括：
在采用监督式学习训练神经网络模型过程中，根据训练结果调整神经网络模型的指定参数；
所述指定参数包括：神经网络模型的层数、各层的节点数、激活函数以及损失函数。
4.根据权利要求3所述的方法，其特征在于，所述根据训练结果调整神经网络模型的指定参数包括：
根据训练结果将神经网络模型的损失函数设置为采集的实际姿态数据值与预测姿态数据值的均方差。
5.根据权利要求1所述的方法，其特征在于，还包括：
在神经网络模型训练完成后，提取并输出训练完成的神经网络模型的指定参数的值，以在指定终端平台上运行所述神经网络模型。
6.根据权利要求1所述的方法，其特征在于，按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集包括：
按照预设采样频率，对用户运动时姿态传感器在正常使用状态下生成的姿态数据进行采样，得到姿态数据的时间序列，作为原始数据集；
所述姿态数据的时间序列指示下列用户头部或手部运动中的一项或多项：
平滑转动、加速转动、减速转动、预定时间转动到预设位置后停止、预定时间转动到预定位置再向回转动。
7.一种姿态预测装置，其特征在于，应用于头戴显示设备，包括：
采样单元，用于按照预设采样频率，对用户运动时姿态传感器生成的姿态数据进行采样，得到原始数据集；
训练单元，用于根据所述原始数据集和指定预测时长确定初始神经网络模型的层数以及各层的节点数，并使用所述原始数据集对初始神经网络模型训练，以得到训练完成的神经网络模型；
预测单元，用于在一次姿态预测过程中，将采集的预定时间段内的姿态数据输入到所述训练完成的神经网络模型中，得到所述训练完成的神经网络模型输出的当前时刻之后目标时刻对应的姿态数据；
其中，所述预定时间段是由当前时刻以及当前时刻之前的预定时刻确定的时间段。
8.根据权利要求7所述的装置，其特征在于，
所述训练单元，具体用于对所述原始数据集进行整理，生成指示所述预定时间段内的姿态数据以及目标时刻的姿态数据的映射关系的映射关系集；
将所述映射关系集中的数据输入到初始神经网络模型中，并采用监督式学习训练神经网络模型。
9.根据权利要求8所述的装置，其特征在于，还包括：
训练优化单元，用于在采用监督式学习训练神经网络模型过程中，根据训练结果调整神经网络模型的指定参数；
所述指定参数包括：神经网络模型的层数、各层的节点数、激活函数以及损失函数。
10.根据权利要求9所述的装置，其特征在于，所述训练优化单元具体用于，根据训练结果将神经网络模型的损失函数设置为采集的实际姿态数据值与预测姿态数据值的均方差；
装置还包括：
平台扩展单元，用于提取并输出训练完成的神经网络模型的指定参数的值，以在指定终端平台上运行所述训练完成的神经网络模型。
CN201810300681.1A 2018-04-04 2018-04-04 一种姿态预测方法和装置 Pending CN108664122A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810300681.1A CN108664122A (zh) 2018-04-04 2018-04-04 一种姿态预测方法和装置
PCT/CN2018/112854 WO2019192172A1 (zh) 2018-04-04 2018-10-31 一种姿态预测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810300681.1A CN108664122A (zh) 2018-04-04 2018-04-04 一种姿态预测方法和装置

Publications (1)

Publication Number Publication Date
CN108664122A true CN108664122A (zh) 2018-10-16

Family

ID=63782107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810300681.1A Pending CN108664122A (zh) 2018-04-04 2018-04-04 一种姿态预测方法和装置

Country Status (2)

Country Link
CN (1) CN108664122A (zh)
WO (1) WO2019192172A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109794935A (zh) * 2019-01-09 2019-05-24 中国工程物理研究院激光聚变研究中心 基于神经网络分析的装配过程力与力矩预测***及方法
CN110068326A (zh) * 2019-04-29 2019-07-30 京东方科技集团股份有限公司 姿态计算方法、装置、电子设备以及存储介质
CN110248178A (zh) * 2019-06-18 2019-09-17 深圳大学 利用物体跟踪和历史轨迹全景视频的视口预测方法及***
WO2019192172A1 (zh) * 2018-04-04 2019-10-10 歌尔股份有限公司 一种姿态预测方法、装置和电子设备
CN111771141A (zh) * 2019-01-30 2020-10-13 百度时代网络技术（北京）有限公司 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
CN112100841A (zh) * 2020-09-09 2020-12-18 中铁二十局集团有限公司 盾构机姿态预测方法、装置、终端设备以及存储介质
CN112649815A (zh) * 2019-10-10 2021-04-13 华为技术有限公司 处理数据的方法和装置
CN112818898A (zh) * 2021-02-20 2021-05-18 北京字跳网络技术有限公司 模型训练方法、装置和电子设备
CN112947180A (zh) * 2021-02-04 2021-06-11 中国地质大学（武汉） 重型机械作业状态识别预测方法、装置、设备及存储介质
WO2021190421A1 (zh) * 2020-03-27 2021-09-30 海信视像科技股份有限公司 基于虚拟现实的控制器光球追踪方法和虚拟现实设备
CN113486214A (zh) * 2021-07-23 2021-10-08 广州酷狗计算机科技有限公司 音乐匹配方法、装置、计算机设备及存储介质
CN113537489A (zh) * 2021-07-09 2021-10-22 厦门大学 一种手肘角度预测方法、终端设备及存储介质
CN113616494A (zh) * 2020-05-08 2021-11-09 未来穿戴技术有限公司 按摩控制方法、装置、计算机设备和计算机可读存储介质
CN113792484A (zh) * 2021-09-07 2021-12-14 珠海格力电器股份有限公司 货物冲击姿态模型构建方法和平台
CN113804189A (zh) * 2021-09-06 2021-12-17 国家***北海预报中心((国家***青岛海洋预报台)(国家***青岛海洋环境监测中心站)) 基于ins/cns的组合导航方法
CN113836795A (zh) * 2021-09-07 2021-12-24 珠海格力电器股份有限公司 货物初始放置姿态模型构建方法和平台
CN114296539A (zh) * 2020-10-07 2022-04-08 财团法人工业技术研究院 方向预测方法、虚拟实境装置及非暂态计算机可读取媒体
US20220137184A1 (en) * 2020-10-30 2022-05-05 KaiKuTek Inc. Impulse-like Gesture Recognition Method, and Impulse-like Gesture Recognition System

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027692A (zh) * 2019-11-04 2020-04-17 中国电子科技集团公司第十四研究所 一种目标运动态势预测方法及装置
CN111343340A (zh) * 2020-03-11 2020-06-26 杭州十域科技有限公司 一种基于大数据的低端硬件设备的姿态判别方法
CN111311714A (zh) * 2020-03-31 2020-06-19 北京慧夜科技有限公司 一种三维动画的姿态预测方法和***
CN112116656B (zh) * 2020-08-03 2024-05-31 歌尔股份有限公司 同步定位与地图构建slam中的增量建图方法和装置
CN113268859B (zh) * 2021-04-25 2023-07-14 北京控制工程研究所 航天器在轨博弈的仿真模拟方法、***及存储介质
CN113221681B (zh) * 2021-04-26 2023-09-26 平安科技（深圳）有限公司 模型训练方法、动作姿态生成方法、装置、设备及介质
JP2022187925A (ja) * 2021-06-08 2022-12-20 本田技研工業株式会社 操作システム、および、操作方法
CN113569327B (zh) * 2021-08-10 2024-02-09 同济大学 一种盾构机姿态优化方法、***及模型训练方法、***
CN113806172B (zh) * 2021-09-14 2024-02-06 北京百度网讯科技有限公司 一种处理设备状态参数的方法、装置、电子设备及存储介质
CN113919236A (zh) * 2021-10-29 2022-01-11 中国国家铁路集团有限公司 预测轨道不平顺的模型生成方法和轨道不平顺的预测方法
CN114096010B (zh) * 2021-11-01 2024-05-07 江苏科技大学 一种面向监测的水下传感器网络能量持续管理方法
CN114187360B (zh) * 2021-12-14 2024-02-06 西安交通大学 基于深度学习和四元数的头部位姿估计方法
CN115469679A (zh) * 2022-10-18 2022-12-13 西安交通大学 一种无人机飞行状态参数预测方法及***
CN116321286B (zh) * 2023-03-13 2023-09-22 湖北华中电力科技开发有限责任公司 应用智能算法的数据偏差鉴定***
CN117560638B (zh) * 2024-01-10 2024-03-22 山东派蒙机电技术有限公司 应用于移动端通信***的融合通信方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778579A (zh) * 2016-12-07 2017-05-31 电子科技大学 一种基于累计属性的头部姿态估计方法
CN107403440A (zh) * 2016-05-18 2017-11-28 株式会社理光 用于确定对象的姿态的方法和装置
WO2018005433A1 (en) * 2016-06-27 2018-01-04 Robin Young Dynamically managing artificial neural networks
CN107688773A (zh) * 2017-07-07 2018-02-13 北京联合大学 一种基于深度学习的手势识别方法
CN107766844A (zh) * 2017-11-13 2018-03-06 杭州有盾网络科技有限公司 一种网纹照人脸识别的方法、装置、设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984416B (zh) * 2014-06-10 2017-02-08 北京邮电大学 一种基于加速度传感器的手势识别方法
US10691698B2 (en) * 2014-11-06 2020-06-23 International Business Machines Corporation Automatic near-real-time prediction, classification, and notification of events in natural language systems
CN106682733B (zh) * 2016-11-07 2018-10-19 上海资誉电子科技有限公司 无人机运动状态分析方法和装置
CN108664122A (zh) * 2018-04-04 2018-10-16 歌尔股份有限公司 一种姿态预测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403440A (zh) * 2016-05-18 2017-11-28 株式会社理光 用于确定对象的姿态的方法和装置
WO2018005433A1 (en) * 2016-06-27 2018-01-04 Robin Young Dynamically managing artificial neural networks
CN106778579A (zh) * 2016-12-07 2017-05-31 电子科技大学 一种基于累计属性的头部姿态估计方法
CN107688773A (zh) * 2017-07-07 2018-02-13 北京联合大学 一种基于深度学习的手势识别方法
CN107766844A (zh) * 2017-11-13 2018-03-06 杭州有盾网络科技有限公司 一种网纹照人脸识别的方法、装置、设备

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019192172A1 (zh) * 2018-04-04 2019-10-10 歌尔股份有限公司 一种姿态预测方法、装置和电子设备
CN109794935B (zh) * 2019-01-09 2022-01-14 中国工程物理研究院激光聚变研究中心 基于神经网络分析的装配过程力与力矩预测***及方法
CN109794935A (zh) * 2019-01-09 2019-05-24 中国工程物理研究院激光聚变研究中心 基于神经网络分析的装配过程力与力矩预测***及方法
CN111771141A (zh) * 2019-01-30 2020-10-13 百度时代网络技术（北京）有限公司 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
CN111771141B (zh) * 2019-01-30 2024-04-09 百度时代网络技术（北京）有限公司 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位
CN110068326A (zh) * 2019-04-29 2019-07-30 京东方科技集团股份有限公司 姿态计算方法、装置、电子设备以及存储介质
CN110068326B (zh) * 2019-04-29 2021-11-30 京东方科技集团股份有限公司 姿态计算方法、装置、电子设备以及存储介质
CN110248178B (zh) * 2019-06-18 2021-11-23 深圳大学 利用物体跟踪和历史轨迹全景视频的视口预测方法及***
CN110248178A (zh) * 2019-06-18 2019-09-17 深圳大学 利用物体跟踪和历史轨迹全景视频的视口预测方法及***
CN112649815A (zh) * 2019-10-10 2021-04-13 华为技术有限公司 处理数据的方法和装置
WO2021190421A1 (zh) * 2020-03-27 2021-09-30 海信视像科技股份有限公司 基于虚拟现实的控制器光球追踪方法和虚拟现实设备
CN113616494A (zh) * 2020-05-08 2021-11-09 未来穿戴技术有限公司 按摩控制方法、装置、计算机设备和计算机可读存储介质
CN113616494B (zh) * 2020-05-08 2023-07-04 未来穿戴技术有限公司 按摩控制方法、装置、计算机设备和计算机可读存储介质
CN112100841B (zh) * 2020-09-09 2024-04-19 中铁二十局集团有限公司 盾构机姿态预测方法、装置、终端设备以及存储介质
CN112100841A (zh) * 2020-09-09 2020-12-18 中铁二十局集团有限公司 盾构机姿态预测方法、装置、终端设备以及存储介质
CN114296539A (zh) * 2020-10-07 2022-04-08 财团法人工业技术研究院 方向预测方法、虚拟实境装置及非暂态计算机可读取媒体
CN114296539B (zh) * 2020-10-07 2024-01-23 财团法人工业技术研究院 方向预测方法、虚拟实境装置及非暂态计算机可读取媒体
US11892562B2 (en) * 2020-10-30 2024-02-06 KaiKuTek Inc. Impulse-like gesture recognition method, and impulse-like gesture recognition system
US20220137184A1 (en) * 2020-10-30 2022-05-05 KaiKuTek Inc. Impulse-like Gesture Recognition Method, and Impulse-like Gesture Recognition System
CN112947180A (zh) * 2021-02-04 2021-06-11 中国地质大学（武汉） 重型机械作业状态识别预测方法、装置、设备及存储介质
CN112947180B (zh) * 2021-02-04 2022-06-24 中国地质大学（武汉） 重型机械作业状态识别预测方法、装置、设备及存储介质
CN112818898B (zh) * 2021-02-20 2024-02-20 北京字跳网络技术有限公司 模型训练方法、装置和电子设备
CN112818898A (zh) * 2021-02-20 2021-05-18 北京字跳网络技术有限公司 模型训练方法、装置和电子设备
CN113537489A (zh) * 2021-07-09 2021-10-22 厦门大学 一种手肘角度预测方法、终端设备及存储介质
CN113537489B (zh) * 2021-07-09 2024-03-19 厦门大学 一种手肘角度预测方法、终端设备及存储介质
CN113486214A (zh) * 2021-07-23 2021-10-08 广州酷狗计算机科技有限公司 音乐匹配方法、装置、计算机设备及存储介质
CN113804189A (zh) * 2021-09-06 2021-12-17 国家***北海预报中心((国家***青岛海洋预报台)(国家***青岛海洋环境监测中心站)) 基于ins/cns的组合导航方法
CN113804189B (zh) * 2021-09-06 2024-05-14 国家***北海预报中心((国家***青岛海洋预报台)(国家***青岛海洋环境监测中心站)) 基于ins/cns的组合导航方法
CN113836795A (zh) * 2021-09-07 2021-12-24 珠海格力电器股份有限公司 货物初始放置姿态模型构建方法和平台
CN113792484A (zh) * 2021-09-07 2021-12-14 珠海格力电器股份有限公司 货物冲击姿态模型构建方法和平台
CN113792484B (zh) * 2021-09-07 2024-02-27 珠海格力电器股份有限公司 货物冲击姿态模型构建方法和平台
CN113836795B (zh) * 2021-09-07 2024-06-07 珠海格力电器股份有限公司 货物初始放置姿态模型构建方法和平台

Also Published As

Publication number Publication date
WO2019192172A1 (zh) 2019-10-10

Similar Documents

Publication Publication Date Title
CN108664122A (zh) 一种姿态预测方法和装置
CN108115682B (zh) 机械学习装置、机器人***以及机械学习方法
Popović et al. Motion sketching for control of rigid-body simulations
CN111402290B (zh) 一种基于骨骼关键点的动作还原方法以及装置
Cheema et al. Predicting mid-air interaction movements and fatigue using deep reinforcement learning
Garrett et al. Model predictive driving simulator motion cueing algorithm with actuator-based constraints
CN109064487B (zh) 一种基于Kinect骨骼节点位置追踪的人体姿势比较方法
CN105892658A (zh) 基于头戴显示设备预测头部姿态的方法和头戴显示设备
CN107851216A (zh) 训练强化学习神经网络
CN106548675A (zh) 虚拟军事训练方法及装置
CN108803499A (zh) 控制装置以及机器学习装置
US11238634B2 (en) Motion model refinement based on contact analysis and optimization
CN108230429A (zh) 基于头部和双手位置及姿态的实时全身姿态重建方法
CN107791246A (zh) 机器人模拟装置
US11731052B2 (en) Animation and physics synchronization
US11644892B2 (en) Synthesizing haptic and sonic feedback for textured materials in interactive virtual environments
JPWO2020049847A1 (ja) 推定装置、学習装置、推定方法、学習方法及びプログラム
CN108051001A (zh) 一种机器人移动控制方法、***及惯性传感控制装置
CN111459280A (zh) Vr空间扩展方法、装置、设备及存储介质
CN101952879A (zh) 用于根据铰接的计算机生成角色来设计电子动画单元的方法和装置
CN114296539B (zh) 方向预测方法、虚拟实境装置及非暂态计算机可读取媒体
CN115035909A (zh) 音乐可视化展示方法及装置
US7583262B2 (en) Optimization of time-critical software components for real-time interactive applications
US9275488B2 (en) System and method for animating a body
CN113843796B (zh) 数据传输方法及装置、联机机器人的控制方法及装置、联机机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181016