CN110363841B - 一种虚拟驾驶环境中手部运动跟踪方法 - Google Patents

一种虚拟驾驶环境中手部运动跟踪方法 Download PDF

Info

Publication number
CN110363841B
CN110363841B CN201810282904.6A CN201810282904A CN110363841B CN 110363841 B CN110363841 B CN 110363841B CN 201810282904 A CN201810282904 A CN 201810282904A CN 110363841 B CN110363841 B CN 110363841B
Authority
CN
China
Prior art keywords
animation
virtual
steering wheel
hand
blueprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810282904.6A
Other languages
English (en)
Other versions
CN110363841A (zh
Inventor
陈禄
李熠
王伟东
芦宏川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Everything Mirror Beijing Computer System Co ltd
Original Assignee
Everything Mirror Beijing Computer System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Everything Mirror Beijing Computer System Co ltd filed Critical Everything Mirror Beijing Computer System Co ltd
Priority to CN201810282904.6A priority Critical patent/CN110363841B/zh
Publication of CN110363841A publication Critical patent/CN110363841A/zh
Application granted granted Critical
Publication of CN110363841B publication Critical patent/CN110363841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种虚拟驾驶环境中手部运动跟踪方法，通过捕捉真实世界人物手势数据，实现与虚拟世界交互。在虚拟驾驶环境中，通过现实世界捕捉用户双手对方向盘操作数据，反馈于虚拟世界中的驾驶员模型，使在虚拟世界中亦可以看到，如现实世界一样自然的双手操作方式，使用Leap Motion设备捕捉的手部姿态数据，通过IK动画精确计算，从而实现整只手臂的动作模拟，增强了仿真体验的真实感和沉浸感。

Description

一种虚拟驾驶环境中手部运动跟踪方法
技术领域
本发明涉及虚拟驾驶仿真领域，具体涉及一种虚拟驾驶环境中手部运动跟踪方法。
背景技术
在传统的计算机图形技术中，视场的改变是通过鼠标或键盘来实现的，用户的视觉***和运动感知***是分离的，如今伴随虚拟现实技术发展，出现了一批虚拟现实技术解决方案，利用头部跟踪来改变图像的视角，用户的视觉***和运动感知***之间就可以联系起来，感觉更逼真。用户不仅可以通过双目立体视觉去认识环境，而且可以通过头部的运动去观察环境，该方案着重解决了虚拟现实技术中的虚拟环境模拟问题，通过佩戴相应设备，可广角、实时、立体、显示由计算机生成的三维图像，但对虚拟现实中的交互感，仍使用传统的手柄操作，用户需要通过按键操作，完成和虚拟世界的交互。
目前的领域中，由于捕捉设备及技术缺陷，只能获取手部的姿态，无法获取人物手部以外部分的姿态特征数据；尚无法精确还原现实手部所有姿态特征；在驾驶员旋转方向盘时，会出现对手势的遮挡，设备无法捕捉到正确手部位置和姿态，导致手势识别失效。另外，在捕捉手部动作数据、将数据传回虚拟世界并赋予模型、驱动模型动画的一系列过程中，会造成延时问题，导致虚拟手部位置无法匹配现实手部位置，从而降低了仿真体验真实感。
为实现更逼真的虚拟现实体验，通过手柄，按键方式实现与虚拟世界的互动并非最佳方案，事实上虚拟现实技术包括了对环境模拟、感知、自然技能和传感设备等多方面。本发明提出一种虚拟驾驶环境中手部运动跟踪方法，通过捉真实世界人物手势数据，实现与虚拟世界交互。
发明内容
本发明提供一种虚拟驾驶环境中手部运动跟踪方法，用户可以在虚拟世界中看到自己的双手对方向盘等物体操作，增强了仿真体验的真实感和沉浸感。
为实现上述目的，本发明提供如下技术方案：一种虚拟驾驶环境中手部运动跟踪方法，包括如下步骤：
步骤一：使用Leap Motion的API，获取设备捕捉到的双手姿态数据；
步骤二：通过Leap Motion的API实时获取的手部姿态数据，经由Unreal Engine动画蓝图实时赋值于虚拟人物手部模型骨骼上，从而实现自然手势运行追踪操作；其中包括：（一）依据Unreal Engine动画蓝图中TwoBoneIK节点进行IK计算，实现虚拟人物手臂的自然控制；（二）依据Unreal Engine动画蓝图中Layeredblendperbone节点进行动画混合，当现实世界中人物手部接近方向盘时，虚拟世界中的人物，会自动切换至播放驾驶员操作方向盘动画状态，并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画。
所述Leap Motion是面向PC以及Mac的体感控制器制造公司Leap发布的体感控制器，用于人体手部动作捕捉。
所述模型动画使用三维建模软件，制作的虚拟人物模型，拥有现实人物一样的外部特征，包括四肢。
所述捕捉数据回传给Unreal4引擎中的虚拟人物，人物使用动画蓝图驱动动画，只需在在动画蓝图中使用Transform Modify Bone节点。
所述Leap Motion未开启或未激活时，虚拟人物动画会依据现实世界的方向盘旋转状态，通过Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画，虚拟人物双手模型会根据方向盘旋转角度而对应旋转。
所述LeapMotion开启并激活时，如果由于遮挡或其他原因造成丢失捕捉数据的情况时，Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画。避免造成虚拟世界中驾驶员操作异常的情况
本发明的有益效果是：
1. 本发明通过捕捉真实世界人物手势数据，实现与虚拟世界交互，用户可以在虚拟世界中看到自己的双手对方向盘等物体操作，增强了仿真体验的真实感和沉浸感。
2. 使用Leap Motion设备捕捉的手部姿态数据，通过IK动画精确计算，从而实现整只手臂的动作模拟。
3.在虚拟驾驶环境中，当现实人物手部接触方向盘，虚拟世界人物自动切换播放动画，并根据Leap Motion捕捉数据计算播放动画位置，使双手紧握方向盘同时，可以根据真实手部位置改变虚拟世界手部在方向盘上的位置。实现虚拟世界完美仿真手握方向盘操作。
4.通过使用预先设置好的动画，可以在Leap Motion丢失捕捉或捕捉错误时自动切换播放动画。避免造成丢失手部数据或延时造成的，虚拟世界仿真不真实情况。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1是本发明所述的捕捉数据流程图；
图2是本发明所述的手部运动跟踪流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
一种虚拟驾驶环境中手部运动跟踪方法，包括如下步骤：
步骤一：参阅图1，使用Leap Motion的API，获取设备捕捉到的双手姿态数据，包括每根手指的位置和旋转数据：通过Leap Motion的API，获取设备捕捉到的双手姿态数据，包括每根手指的位置和旋转数据，将获取的这些数据回传给Unreal Engine引擎中虚拟人物的手部模型的骨骼上，在Unreal Engine中虚拟人物的动作使用动画蓝图进行驱动，动画蓝图中使用Transform Modify Bone节点即可实时控制模型骨骼动画，将Leap Motion捕捉到的双手姿态数据，包括每根手指的位置和旋转数据赋值于动画蓝图中对应的虚拟人物手部模型骨骼上即可。
步骤二：参阅图2，通过Leap Motion的API实时获取的手部姿态数据，经由UnrealEngine动画蓝图实时赋值于虚拟人物手部模型骨骼上，从而实现自然手势运行追踪操作；
其中包括：
(a)手臂运动控制：通过Leap Motion的API实时获取手部根部姿态，依据UnrealEngine动画蓝图中Two Bone IK节点进行IK计算，实现通过手部根部姿态，反向驱动整只手臂运动，从而实现虚拟人物手臂的自然控制；
(b)与方向盘交互：依据Unreal Engine动画蓝图中Layeredblendperbone节点进行动画混合，实现当现实世界中人物手部接近方向盘时，虚拟世界中的人物，会自动切换至播放驾驶员操作方向盘动画状态，并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画。
(c)识别状态丢失，异常或无法识别状态下处理：
当捕捉设备LeapMotion未开启或未激活时，虚拟人物动画会依据现实世界的方向盘旋转状态，通过Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画，虚拟人物双手模型会根据方向盘旋转角度而对应旋转。
在LeapMotion开启并激活时，如果由于遮挡或其他原因造成丢失捕捉数据的情况时，Unreal Engine动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画。避免造成虚拟世界中驾驶员操作异常的情况。
与现有技术相比，通过使用预先设置好的动画，可以在Leap Motion丢失捕捉或捕捉错误时自动切换播放动画。避免造成丢失手部数据或延时造成的，虚拟世界仿真不真实情况；通过捕捉真实世界人物手势数据，实现与虚拟世界交互，用户可以在虚拟世界中看到自己的双手对方向盘等物体操作，增强了仿真体验的真实感和沉浸感。
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，包括如下步骤：
步骤一：使用Leap Motion的API，获取设备捕捉到的双手姿态数据；
步骤二：通过Leap Motion的API实时获取的双手姿态数据，经由Unreal 4引擎动画蓝图实时赋值于虚拟人物手部模型骨骼上，从而实现自然手势运行追踪操作；其中包括：(一)依据Unreal 4引擎动画蓝图中TwoBoneIK节点进行IK计算，实现虚拟人物手臂的自然控制；(二)依据Unreal 4引擎动画蓝图中Layeredblendperbone节点进行动画混合，当现实世界中人物手部接近方向盘时，虚拟世界中的人物，会自动切换至播放驾驶员操作方向盘动画状态，并可以根据现实手部位置播放不同位置驾驶员紧握方向盘动画；
所述Leap Motion未开启或未激活时，虚拟人物动画会依据现实世界的方向盘旋转状态，通过Unreal 4引擎动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘的动画，虚拟人物双手模型会根据方向盘旋转角度而对应旋转；
所述LeapMotion开启并激活时，如果由于遮挡或其他原因造成丢失捕捉数据的情况时，Unreal 4引擎动画蓝图中Layeredblendperbone节点会自动切换至播放驾驶员操作方向盘动画，避免造成虚拟世界中驾驶员操作异常的情况。
2.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，所述Leap Motion是面向PC以及Mac的体感控制器，用于人体手部动作捕捉。
3.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，模型动画使用三维建模软件，制作的虚拟人物模型，拥有现实人物一样的外部特征，包括四肢。
4.根据权利要求1所述的一种虚拟驾驶环境中手部运动跟踪方法，其特征在于，捕捉数据回传给Unreal 4引擎中的虚拟人物，人物使用动画蓝图驱动动画，只需在动画蓝图中使用Transform Modify Bone节点。
CN201810282904.6A 2018-04-02 2018-04-02 一种虚拟驾驶环境中手部运动跟踪方法 Active CN110363841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810282904.6A CN110363841B (zh) 2018-04-02 2018-04-02 一种虚拟驾驶环境中手部运动跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810282904.6A CN110363841B (zh) 2018-04-02 2018-04-02 一种虚拟驾驶环境中手部运动跟踪方法

Publications (2)

Publication Number Publication Date
CN110363841A CN110363841A (zh) 2019-10-22
CN110363841B true CN110363841B (zh) 2022-12-09

Family

ID=68213686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810282904.6A Active CN110363841B (zh) 2018-04-02 2018-04-02 一种虚拟驾驶环境中手部运动跟踪方法

Country Status (1)

Country Link
CN (1) CN110363841B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112908084A (zh) * 2021-02-04 2021-06-04 三一汽车起重机械有限公司 作业机械的模拟训练***、方法、装置和电子设备
CN114356090B (zh) * 2021-12-31 2023-11-07 北京字跳网络技术有限公司 一种控制方法、装置、计算机设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057921A1 (en) * 2016-09-23 2018-03-29 Interdigital Technology Corporation System and method for situation awareness in immersive digital experiences

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057921A1 (en) * 2016-09-23 2018-03-29 Interdigital Technology Corporation System and method for situation awareness in immersive digital experiences

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于手势交互的三维电子沙盘***设计与实现;张玉军等;《指挥控制与仿真》;20160415(第02期);全文 *
基于手势交互的输电线路运维沉浸式操作训练平台;张秋实等;《电力科学与技术学报》;20171228(第04期);全文 *
沉浸式虚拟现实语境下肢体交互模式实现探析;赵锟;《科技与创新》;20180225(第04期);全文 *

Also Published As

Publication number Publication date
CN110363841A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN111694429A (zh) 虚拟对象驱动方法、装置、电子设备及可读存储
US20170039986A1 (en) Mixed Reality Social Interactions
Riley et al. Enabling real-time full-body imitation: a natural way of transferring human movement to humanoids
US20160225188A1 (en) Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
CN105374251A (zh) 一种基于沉浸式输入、输出设备的矿用虚拟现实培训***
CN108369478A (zh) 用于交互反馈的手部跟踪
CN113892074A (zh) 用于人工现实***的手臂凝视驱动的用户界面元素选通
EP2896034A1 (en) A mixed reality simulation method and system
Tsai et al. Unity game engine: Interactive software design using digital glove for virtual reality baseball pitch training
CN113841110A (zh) 具有用于选通用户界面元素的个人助理元素的人工现实***
CN110363841B (zh) 一种虚拟驾驶环境中手部运动跟踪方法
Khattak et al. A real-time reconstructed 3D environment augmented with virtual objects rendered with correct occlusion
US20240036648A1 (en) Multiple-magnet hand-mounted position-tracking device
CN113496168B (zh) 手语数据采集方法、设备、存储介质
EP4235629A1 (en) Recorded physical interaction playback
Besnea et al. Experiments regarding implementation of a virtual training environment for automotive industry
Konietschke et al. A multimodal training platform for minimally invasive robotic surgery
Lin et al. PuppetTalk: Conversation between glove puppetry and internet of things
WO2021240601A1 (ja) 仮想空間体感システム
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
JP2000047563A (ja) 物体の把持動作シミュレーション装置
Li et al. Motion assistance and resistance using pseudo-haptic feedback for upper-limb rehabilitation
Sulema Haptic interaction in educational applications
CN117251058B (zh) 一种多信息体感交互***的控制方法
Wenzhen et al. A Master-Slave Hand System for Virtual reality Interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086

Applicant after: Beijing Wuyi Vision digital twin Technology Co.,Ltd.

Address before: Room 307, 3 / F, public building, Mantingfangyuan community, qingyunli, Haidian District, Beijing

Applicant before: DANGJIA MOBILE GREEN INTERNET TECHNOLOGY GROUP Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220914

Address after: Room 315, 3rd Floor, Supporting Public Building, Mantingfangyuan Community, Qingyunli, Haidian District, Beijing 100000

Applicant after: Everything mirror (Beijing) computer system Co.,Ltd.

Address before: Room 307, 3 / F, supporting public building, Mantingfangyuan community, qingyanli, Haidian District, Beijing 100086

Applicant before: Beijing Wuyi Vision digital twin Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant