CN111191322B - 一种基于深度感知手势识别的虚拟维修性仿真方法 - Google Patents

Abstract

本发明涉及一种基于深度感知手势识别的虚拟维修性仿真方法。本发明包括：1)硬件环境搭建；2)数据准备；3)功能层实现；4)交互层实现。本方法采用无穿戴式深度感知手势识别交互设备，让使用人员能进行自然、直观、高精度的符合人体自然使用习惯的手势交互，能面向更多人员无差别使用。在飞机设计阶段采用本发明对飞机各舱位进行维修性仿真，可以在虚拟现实环境中以人在回路的方式直接对设计数模进行仿真操作，极大简化了维修性仿真过程，提高了效率；同时，通过定义操作步骤和操作手势，解决了人在回路实时维修性仿真存在的交互随意性大、交互精度低的问题，提高了人在回路实时维修性仿真的实用性和准确率。

Description

一种基于深度感知手势识别的虚拟维修性仿真方法

技术领域

本发明属于飞机维修维护技术领域，涉及一种基于深度感知手势识别的虚拟维修性仿真方法。

背景技术

在飞机设计领域，飞机数字化设计技术与VR虚拟现实技术应用日趋成熟，并向设计阶段的虚拟维修性仿真领域进行更深层次和更广泛的应用和发展。虚拟维修性仿真是设计人员对设计过程中的数字样机模型进行维修过程、维修动作的仿真验证、分析过程，验证维修对象的可视性、可达性、维修通道等，通过不断迭代，优化飞机产品的整体设计和维修方案。设计人员可以在基于虚拟现实环境的人在回路仿真环境中以第一人称视角直接与飞机数字样机进行人在回路的交互操作，模拟维修操作过程，分析可达性、可视性等维修性指标，提高维修性设计与仿真的效率和准确度。

当前虚拟维修性仿真的环境主要有多通道沉浸式、桌面式与头盔式三种类型。不同类型的硬件***，其硬件环境、交互设备、人机交互方式均有不同。目前，多通道沉浸式虚拟现实环境典型的交互设备为ART光学跟踪***的交互手柄Flystick，虽然沉浸真实感较好，但是软硬件价格昂贵，Flystick手柄交互功能较单一；桌面式的交互设备通常为键盘/鼠标，很难实现直观的三维交互；头盔式的交互设备通常为与头盔配套使用的手柄，也可以在自然人身上绑定穿戴式动作捕捉套件，但是外部设备的介入虽然使得人体手势动作识别的准确度和稳定性得以提高，却掩盖了手势自然的表达方式，同时穿戴设备也有因穿戴的位置随机性大，不适配所有体型导致自然人手与虚拟人手匹配精度较差，动作走样变形的缺点。同时，人的生物特性决定了手在交互空间的轨迹无法实现规范化，而进行虚拟维修性仿真或训练时手的姿势动作都是实时产生的，与维修模型可能会在任何位置、角度上发生碰撞交互，很多现有人机交互技术难以有效地理解手势输入意图，判定手势是否符合维修操作要求完成交互。

发明内容

本发明的目的是：为了满足飞机虚拟维修性仿真时人机交互能摆脱穿戴式动作捕捉设备的束缚，能进行自然、直观、高精度的符合人体自然使用习惯的手势交互，能面向更多人员无差别使用的要求，结合现有头盔式虚拟现实环境提出了一种基于深度感知手势识别的虚拟维修性仿真方法。

本发明的技术解决方案是：一种基于深度感知手势识别的虚拟维修性仿真方法，包括以下步骤：

1)硬件环境搭建

硬件环境层采用基于深度感知的无穿戴式手势识别交互设备，配合VR头盔，构建人在回路的虚拟仿真环境。

2)数据准备

包括了完成虚拟场景布置所需的样机模型、工具模型、场景模型以及维修任务流程。

所述样机模型包含维修任务流程操作项指定的操作模型。

3)功能层实现

a)手势定义：手势定义是人在回路虚拟维修性仿真***中，操作人员抓取/拾取操作模型是否达到操作要求，提供***有效理解手势输入意图的判定依据。只有当操作人员以规定的手势角度姿势操作时才能操作成功，否则失败。

b)手势判断：在拆装操作模型时，对虚拟手势进行判断，当手势满足手势预定义要求时，允许进行相对位置关系绑定；否则，不能进行绑定。

c)操作模型识别：确定操作模型是否与维修任务流程操作项中指定的操作模型一致，并需满足“虚拟人手，到操作工具，再到操作模型”或“虚拟人手，到操作模型”两种操作关系传递。

d)维修流程控制：在人在回路的自由操作环境中，根据维修任务流程，对操作人员的操作步骤进行逻辑控制。

4)交互层实现

a)深度感知手势识别交互：开发定制手势控制器处理深度识别手势交互设备实时获取的手部运动数据帧，调用手势控制器类启动虚拟手势的识别，并结合交互事件触发类发送事件消息调用事件处理程序完成对交互事件的处理，驱动操作模型运动，驱动UI显示信息。

b)UI交互控制：开发交互事件触发器，利用刚体触发器和碰撞检测技术判断虚拟手模型与操作模型和多级UI交互界面的交互，通过事件委托的方式触发操作模型和UI交互界面的响应。

c)信息显示：开发UI控件完成模型结构树、维修流程树信息的显示。

与传统虚拟现实环境典型的交互设备相比，本方法采用的无穿戴式深度感知手势识别交互设备让使用人员摆脱穿戴式动作捕捉设备的束缚，能进行自然、直观、高精度的符合人体自然使用习惯的手势交互，能面向更多人员无差别使用，在虚拟维修性仿真中工作精度可达到0.01mm。克服传统手势交互由于人生物特性决定的手在交互空间轨迹无法规律化表达需要开发特定控件，以手势为输入产生事件或消息作为输出进行人机交互带来的不直观、不方便的缺点，通过引入面向虚拟维修性仿真的特定的预定义手势，通过实时获取虚拟手的各关节数据与手部空间位置信息，识别当前手势动作是否达到预定义手势要求，当满足条件时，方可执行维修操作，大大提高了手势识别交互的自然感和准确度，同时在手势交互中结合维修流程信息实现操作对象识别，建立了“手势-操作工具-操作模型”的对应关联关系，实现“虚拟人手-操作工具-操作对象”的多级操作传递。

在飞机设计阶段采用该技术对飞机各舱位进行维修性仿真，设计员可以在虚拟现实环境中以人在回路的方式直接对设计数模进行仿真操作，极大简化了仿真过程，提高了维修性仿真效率；同时，通过定义操作步骤和操作手势，解决了人在回路实时仿真存在的交互随意性大、交互精度低的问题，提高了人在回路实时仿真的实用性和准确率。

附图说明

图1为本发明虚拟维修性仿真方法原理示意图；

图2为人在回路的虚拟仿真环境示意图；

图3为GenerateModelInfo场景结构树；

图4为手势模型、工具、交互模型在场景中预定义位置示意图；

图5为Generate Model Info Controller脚本中设置；

图6为维修性仿真流程数据文件；

图7为手势判断流程图；

图8为本发明一实施例深度感知手势识别判断与操作效果图。

具体实施方式

下面结合附图对本发明的具体实施方式做进一步说明。

一种基于深度感知手势识别的虚拟维修性仿真方法，如图1所示，包括以下步骤：

1)硬件环境搭建

本方法技术方案的硬件环境层采用了基于深度感知的无穿戴式手势识别交互设备，配合VR头盔，构建人在回路的虚拟仿真环境如图2所示。深度感知手势识别交互设备采用立体视觉原理，配备双摄像头的控制器如同人眼一样，能够对三维空间物体进行坐标定位。通过两个摄像头同时捕获目标，并且实时计算目标的视差，得到目标的空间位置。VR头盔给穿戴者提供了一个全封闭的VR视景环境，使穿戴者沉浸在数字空间中，深度感知手势识别交互设备绑定在VR头盔前部，随时根据操作者头部的移动，实时获取操作者眼前的手部动作数据。

2)数据准备

包括了完成虚拟场景布置所需的样机模型、工具模型、场景模型以及维修流程。其中样机模型数据来源于产品数据管理***(PDM)，确保维修性仿真样机数据与设计数据同源，经过轻量化处理和格式转换，形成具有完整BOM结构的FBX格式单文件模型。从原始的材质库中匹配材质到具体的模型部件，读取材质信息，完成模型的材质渲染，烘焙渲染模型效果。

3)功能层实现

a)手势定义：手势定义是人在回路虚拟维修性仿真***中，操作人员抓取/拾取操作模型对象是否达到操作要求，提供***有效理解手势输入意图的的判定依据。只有当操作人员以规定的手势角度姿势操作时才能操作成功，否则失败。因此必须对手势进行合理的规划和定义，在Unity3D开发平台中定义维修拆装模型时正确的手势参数范围(包括单/双手操作，手部空间位置，关键关节弯曲值等)。

b)手势判断：在拆装操作模型时，对虚拟手势进行判断，当手势满足手势预定义要求时，允许进行相对位置关系绑定(虚拟手，虚拟工具，拆装操作模型的相对位置固定不变，绑定后操作模型和虚拟工具随虚拟手位置运动)当不满足要求时，不能进行绑定。

c)操作对象识别：确定操作模型是否与维修任务流程操作项中指定模型一致，并需满足“虚拟人手-操作工具-操作对象”和“虚拟人手-操作对象”两种操作关系传递。

d)维修流程控制：在人在回路的自由操作环境中，根据维修任务流程，对操作人员的操作步骤进行逻辑控制。

4)交互层实现

a)深度感知手势识别交互：开发定制手势控制器处理深度识别手势交互设备实时获取的手部运动数据帧(包含手的各关节数据与空间位置信息)，调用手势控制器类启动虚拟手的画圆、挥扫、线性运动、点击、触屏、握、抓、拧等手势的识别，并结合交互事件触发类发送事件消息调用事件处理程序完成对交互事件的处理，驱动操作模型运动，UI显示信息等操作。

b)UI交互控制：开发交互事件触发器，利用刚体触发器和碰撞检测技术判断虚拟手模型与操作模型和多级UI交互界面的交互，通过事件委托的方式触发操作对象和UI交互界面的响应。

c)信息显示：开发UGUI控件完成模型结构树、维修流程树等信息的显示。

实施例：

(1)虚拟场景搭建

1)虚拟维修操作三维场景

导入处理好的三维场景模型到Unity主场景中，调整场景材质效果，添加灯光、阴影，根据需要加入天空盒或预先烘焙好的环境贴图等，调整三维场景模型位置及辅助模型(如操作台等)大小、位置和朝向，确保模型初始化显示在场景中正确位置。

2)虚拟维修操作三维界面

在Photoshop等图形制作软件中设计三维UI交互界面，确保风格统一、功能界面清晰易理解。将界面导入Unity中，添加交互功能组件，如Button、Slider、Toggle等事件触发组件。

(2)飞机样机模型处理

虚拟维修性仿真软件运行时采用动态加载FBX格式的外部飞机样机模型数据，并在运行时显示样机模型原始BOM结构，样机模型BOM结构应尽量避免空节点，需对样机模型BOM结构进行标准化：

1)在CATIA软件中查看样机模型结构，确保各节点命名规范不包括命名为空的模型节点；

2)将模型进行格式转换，可通过GPure导入原始模型进行FBX格式导出，或在CATIA软件中导出OBJ格式模型，通过3DsMax进行模型贴图制作、烘焙渲染后导出FBX格式；

3)若训练科目模型由多个子模型组成，需在CATIA、GPure或3DsMax中进行组合，最终导出一个FBX模型文件(3)维修性仿真流程数据文件生成

维修性仿真过程将根据各步骤的手势、工具预制模型进行匹配识别，从而实现高精度的手势交互操作，因此内置手势、工具预制定义库，并将手势、工具放置在操作模型对应位置、角度进行约束限制，具体步骤为：

1)根据维修性仿真需求，在3DsMax中创建手势和工具模型；

2)将手势和工具模型导入Unity GenerateModelInfo场景中，初始化手势和工具模型的大小、位置和角度，并创建预制体。

3)导入处理好的样机模型到Unity GenerateModelInfo场景中，根据维修性仿真要求创建对应的维修性仿真步骤，新建维修性仿真步骤后，选择虚拟手势模型或工具到三维场景中，按照维修性仿真步骤要求预定义手势或工具的角度、位置信息，以及交互模型运动中间位置、最终位置并进行参数记录。

GenerateModelInfo场景结构树如图3所示，手势模型、工具模型、操作模型在场景中预定义位置如图4所示

4)虚拟手通常采用右手坐标系，但计量单位等参数与Unity默认不同，所以需调整虚拟手坐标系、摄像机位置等初始化参数，确保虚拟手与样机模型能以正确的规格尺度被识别，通过手势行为能够触发虚拟样机正确的动作响应。

5)调整定义好所有维修性仿真步骤对应的手势或工具的位置和角度以及交互模型运动中间位置、最终位置后，在Generate Model Info Controller脚本中设置各步骤对应参数(部分)如图5所示，运行脚本后自动生成完整的维修性仿真流程数据xml文件(部分)如图6所示(4)深度感知手势识别、交互、判断功能开发

在Unity主场景中，添加虚拟手模型预制体，并为虚拟手添加手势控制器，实时接收传感器传送的运动数据帧

1)开发定制控制器处理运动数据帧，调用控制器类启用手势动作变化的识别，检测虚拟手与样机模型发生碰撞，虚拟手张开握拳的操作后，结合交互事件触发类发送的事件消息完成对事件的处理，驱动样机模型的拾取，跟随虚拟手移动、旋转；当识别手势张开数据后，释放对样机模型的拾取。

2)开发手势交互事件触发器，利用刚体触发器和射线检测技术判断虚拟手与UI界面交互，射线检测到碰撞信息，手势交互事件触发器立刻触发事件，发送事件消息调用事件处理程序完成对交互事件的处理

3)开发手势判断控制器，在拆装样机模型时，读取维修性仿真流程数据xml文件中记录的正确手势的数值范围(包括单/双手，手部空间位置、角度，关键关节弯曲值等)对操作人员手势进行判断，当手势满足要求时，允许进行相对位置关系绑定(虚拟手，虚拟工具，操作模型的相对位置固定不变，绑定后操作模型和虚拟工具随虚拟手位置运动)执行维修操作，当不满足要求时，不能进行绑定。手势判断流程如图7所示。本发明实施例深度感知手势识别判断与操作效果如图8所示。

Claims (8)

1.一种基于深度感知手势识别的虚拟维修性仿真方法，其特征为所述虚拟维修性仿真方法包括以下步骤：

1)硬件环境搭建

硬件环境层采用基于深度感知的无穿戴式手势识别交互设备，配合VR头盔，构建人在回路的虚拟仿真环境；

2)数据准备

包括了完成虚拟场景布置所需的样机模型、工具模型、场景模型以及维修任务流程；

所述样机模型包含维修任务流程操作项指定的操作模型；

3)功能层实现

a)手势定义：手势定义是人在回路虚拟维修性仿真***中，操作人员抓取/拾取操作模型是否达到操作要求，提供***有效理解手势输入意图的判定依据；只有当操作人员以规定的手势角度姿势操作时才能操作成功，否则失败；

b)手势判断：在拆装操作模型时，对虚拟手势进行判断，当手势满足手势定义要求时，允许进行相对位置关系绑定；否则，不能进行绑定；

c)操作模型识别：确定操作模型是否与维修任务流程操作项中指定的操作模型一致，并需满足“虚拟人手，到操作工具，再到操作模型”或“虚拟人手，到操作模型”两种操作关系传递；

d)维修流程控制：在人在回路的自由操作环境中，根据维修任务流程，对操作人员的操作步骤进行逻辑控制；

4)交互层实现

a)深度感知手势识别交互：开发定制手势控制器处理深度识别手势交互设备实时获取的手部运动数据帧，调用手势控制器类启动虚拟手势的识别，并结合交互事件触发类发送事件消息调用事件处理程序完成对交互事件的处理，驱动操作模型运动，驱动UI显示信息；

b)UI交互控制：开发交互事件触发器，利用刚体触发器和碰撞检测技术判断虚拟手模型与操作模型和多级UI交互界面的交互，通过事件委托的方式触发操作模型和UI交互界面的响应；

c)信息显示：开发UI控件完成样机模型结构树、维修流程树信息的显示。

2.根据权利要求1所述的虚拟维修性仿真方法，其特征为：所述无穿戴式手势识别交互设备采用立体视觉原理，配备双摄像头的控制器，能够对三维空间物体进行坐标定位。

3.根据权利要求1所述的虚拟维修性仿真方法，其特征为：所述样机模型数据来源于产品数据管理***，确保维修性仿真样机数据与设计数据同源，经过轻量化处理和格式转换，形成具有完整BOM结构的FBX格式单文件模型。

4.根据权利要求1所述的虚拟维修性仿真方法，其特征为：在开发平台中定义维修拆装模型时正确的手势参数范围，所述手势参数包括单/双手操作、手部空间位置、关键关节弯曲值。

5.根据权利要求1所述的虚拟维修性仿真方法，其特征为：所述步骤3)中b)中，所述相对位置关系绑定具体为：虚拟手、虚拟工具、操作模型的相对位置固定不变，绑定后操作模型和虚拟工具随虚拟手位置运动。

6.根据权利要求1所述的虚拟维修性仿真方法，其特征为：所述步骤4)中a)中，所述手部运动数据帧，包含手的各关节数据与空间位置信息。

7.根据权利要求6所述的虚拟维修性仿真方法，其特征为：所述步骤4)中a)中，所述手势的识别内容为：虚拟手的画圆、挥扫、线性运动、点击、触屏、握、抓、拧。

8.根据权利要求4所述的虚拟维修性仿真方法，其特征为：所述开发平台为Unity3D开发平台。

Images