CN116310231A - 一种基于混合现实的工程装备实时交互***及运动仿真方法 - Google Patents

一种基于混合现实的工程装备实时交互***及运动仿真方法 Download PDF

Info

Publication number
CN116310231A
CN116310231A CN202211100913.1A CN202211100913A CN116310231A CN 116310231 A CN116310231 A CN 116310231A CN 202211100913 A CN202211100913 A CN 202211100913A CN 116310231 A CN116310231 A CN 116310231A
Authority
CN
China
Prior art keywords
rigid
rigid body
constraint
real
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211100913.1A
Other languages
English (en)
Inventor
代明远
路易霖
王玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Xugong Construction Machinery Research Institute Co ltd
Yanshan University
Original Assignee
Jiangsu Xugong Construction Machinery Research Institute Co ltd
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Xugong Construction Machinery Research Institute Co ltd, Yanshan University filed Critical Jiangsu Xugong Construction Machinery Research Institute Co ltd
Priority to CN202211100913.1A priority Critical patent/CN116310231A/zh
Publication of CN116310231A publication Critical patent/CN116310231A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G06Q50/2057—Career enhancement or continuing education service
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/04—Constraint-based CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Graphics (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明属于人机交互技术领域，公开了一种基于混合现实的工程装备实时交互***及运动仿真方法，包括混合现实硬件、操纵控制手柄、仿真控制模块、空间映射和碰撞检测模块以及信息存储模块；通过建立工程装备操作仿真中的复杂力学约束关系，引入物理引擎中的简单约束来拟真地表现工程装备各部件的运动过程，解决了运动模拟的实时性与仿真效果的兼顾问题，操作者可在具有真实沉浸感与交互性的混合虚拟环境中，对场景中的工程装备进行虚拟操作，模拟施工过程，从而提供了一种可以满***互性和实时性的独立于平台的虚拟交互仿真方法。

Description

一种基于混合现实的工程装备实时交互***及运动仿真方法
技术领域
本发明属于人机交互技术领域，具体涉及一种基于混合现实的工程装备实时交互***及运动仿真方法。
背景技术
工程装备如高空作业装备、泵车、凿岩台车等结构复杂，操控难度大，危险系数高，对操作人员的技术水平要求较高，为了降低施工风险，提高工作质量和效率，保证施工安全，为模拟操作者操控工程装备产生的相应运动行为，与工程机械相关的模拟操控仿真训练***出现，但是大多使用的是计算机三维成像技术和三维动画技术，不能满***互性，混合现实是一种使真实世界和虚拟物体在同一视觉空间中显示和交互的计算机虚拟技术，将真实世界和虚拟世界进行无缝连接，创造一个全新的可视化环境，逐渐在工业、教育培训、娱乐、医疗等领域有了较快的发展应用。
在工程装备研制过程中，运动仿真大多在专业软件如PRO/E、ADAMS等环境下进行，此类仿真对开发平台的依赖度较高且交互性不高，无法进行训练或实地验证；为使开发过程独立于软件平台，传统的方法是通过转换矩阵计算出工作装置各个不同部分运动的位置坐标然后再显示，其计算结果相对精确，但计算复杂，很难满足实时要求；现有技术有基于虚拟现实建模语言对抢险工程机械的运动进行仿真，可以通过DOF节点的设置简化了运动控制，但是与平台相对应控制接口的开发不够完善。但是，在工程装备虚拟仿真操控领域，目前还没有一项技术能同时满足施工现场实时施工流程验证和训练、装备运动实时操作仿真模拟并通过虚拟可视化的方式进行直观展示。
发明内容
针对现有技术的不足，本发明提供了一种基于混合现实的工程装备实时交互***及运动仿真方法，。
为实现上述目的，本发明提供如下技术方案：
第一方面，本发明提出了一种基于混合现实的工程装备实时交互***，包括混合现实硬件、操纵控制手柄、仿真控制模块、空间映射和碰撞检测模块以及信息存储模块；
所述混合现实硬件分别与仿真控制模块、空间映射和碰撞检测模块通信连接，用于采集并显示工程装备三维模型、识别和采集施工现场环境信息以及获取操作人员位置信息；
所述操纵控制手柄与仿真控制模块通信连接，用于通过手柄驱动将操作的数字信号传输至仿真控制模块；
所述仿真控制模块分别与混合现实硬件、操纵控制手柄、空间映射和碰撞检测模块以及信息存储模块通信连接，用于接收虚拟交互信息，并将虚拟交互信息解析为虚拟三维模型运动相对应的指令信息，虚拟三维模型根据指令实时运动仿真；所述虚拟交互信息包括来自于操纵控制手柄的手柄操作数字信号、混合现实硬件的手柄操作、操作人员手势、操作人员语音的交互指令信息、接收佩戴混合现实硬件的操作人员位置信息以及真实的施工现场环境信息；
所述空间映射和碰撞检测模块分别与混合现实硬件和仿真控制模块通信连接，用于将混合现实硬件采集到的施工现场环境信息与仿真控制模块中的虚拟三维模型，透过混合现实硬件的显示屏将虚拟三维模型显示在真实的施工现场环境中，以虚实融合方式显示，同时进行虚拟物体与真实场景物体间的精确碰撞检测和实时性运动干涉模拟；
所述信息存储模块分别与仿真控制模块、空间映射和碰撞检测模块通信连接，用于保存虚拟训练和虚拟验证时的运动状态信息及碰撞检测信息记录以实现训练和验证结果的复现。
结合第一方面，进一步地，本发明的实时交互***还包括服务器，所述服务器为仿真控制模块、空间映射和碰撞检测模块以及信息存储模块的硬件载体。
结合第一方面，进一步地，所述仿真控制模块包括交互指令采集模块、动力学仿真计算模块以及场景管理及图形图像实时渲染模块；
所述交互指令采集模块，用于接收佩戴混合现实硬件的操作人员的操作信息，所述操作信息为虚拟交互信息；
所述动力学仿真计算模块，是整个仿真***的核心控制模块，用于根据操作人员的操作信息进行实时动力学仿真计算，并将仿真计算结果输出至场景管理及图形图像实时渲染模块；
所述场景管理及图形图像实时渲染模块用于根据动力学仿真计算模块的仿真计算结果对虚拟场景中的工程装备三维模型运动状态实时更新，并利用图形渲染引擎将操作结果可视化的输出至混合现实硬件展示给操作人员。所述仿真控制模块通过动力学仿真计算模块将接收到的虚拟交互信息解析成虚拟三维模型运动相对应的指令信息，虚拟三维模型根据特定的指令实时运动仿真，虚拟三维模型的影像信息经过场景管理及图形图像实时渲染模块、空间映射和碰撞检测模块同步到混合现实硬件的显示屏中显示。
结合第一方面，进一步地，所述操纵控制手柄包括手柄驱动，所述操纵控制手柄通过手柄驱动将操作的数字信号传输至仿真控制模块；所述手柄驱动将操纵控制手柄输入的操作控制流解析成操作数字信号，并将所述操作数字信号传送给仿真控制模块，具体是仿真控制模块中的交互指令采集模块。
结合第一方面，进一步地，所述手柄驱动与仿真控制模块所在服务器采用蓝牙或USB等连接。
第二方面，本发明提出了一种基于混合现实的工程装备运动仿真方法，基于上述的实时拟交互***，所述动力学仿真计算模块通过对工程装备进行多刚体动力学建模，利用物理引擎在工程装备各刚体构件之间建立相应运动学约束，所述运动学约束包括多刚体动力学***和运动约束***。
结合第二方面，进一步地，所述运动仿真方法包括以下步骤：
步骤一：配置混合现实硬件、操纵控制手柄、服务器；即将混合现实硬件与服务器、操纵控制手柄与服务器通信连接。
步骤二：向混合现实硬件加载虚拟模型；即服务器将存储的虚拟场景数据传输至混合现实硬件，混合现实硬件识别实际环境信息后，将虚拟场景与真实场景融合，呈现出虚实融合场景。
步骤三：用户通过操纵控制手柄进行操作输入；若用户操作输入错误，则进行错误信息提示；若用户操作输入正确，进行动力学仿真计算，并将仿真计算结果输出至场景管理及图形图像实时渲染模块，所述场景管理及图形图像实时渲染模块根据动力学仿真计算模块的仿真计算结果对虚拟场景中的工程装备三维模型运动状态实时更新，并将操作结果输出至混合现实硬件展示给操作人员；
步骤四：将所述步骤三中实时更新的虚拟场景中的工程装备三维模型显示在真实的施工现场环境中，以虚实融合方式显示，同时进行虚拟物体与真实场景物体间的碰撞检测和实时性运动干涉模拟；若检测与真实环境发生干涉，则将干涉信息提示发送给佩戴混合现实硬件的操作人员，若检测与真实环境没有发生干涉，则继续执行下一步验证和训练任务；
步骤五：将操作过程写入信息存储模块，进行过程中的操作过程信息记录存储，完成任务。
结合第二方面，进一步地，所述多刚体动力学***包括多刚体***物理模型和多刚体***数学模型；所述多刚体***物理模型为通过对工程装备几何模型进行物理建模，从而形成表达***力学特性的物理模型，所述物理建模包括以下步骤：
步骤S1：根据运动学约束和虚拟三维模型初始位置条件对工程装备几何模型进行装配，通过分析虚拟三维模型各个部件之间的运动依赖关系设置虚拟三维模型部件之间的父子嵌套关系，最终完成整个工程装备模型树的构建；
步骤S2：把每一个几何模型构件看成刚性构件并设定其笛卡尔广义坐标矢量
Figure BDA0003840354650000051
其中l＝1,2,...,n，n表示一个拥有n个点的多刚体***，且将任一相邻的通过铰连接的刚体视作一个单元，即n表示多刚体***的单元数；ql以单个刚体为参考物，用广义坐标对另一个刚体相对此刚体的位置进行描述，表示笛卡尔广义坐标矢量，则可用拉格朗日坐标阵q来描述此***；设rl(x,y,z)为每个刚体构件的质心在绝对坐标基下的矢量，x表示绝对坐标系中x轴，y表示绝对坐标系中y轴，z表示绝对坐标系中z轴，γ＝(ψ,θ,φ)l为刚体构件相对坐标基自身的三个欧拉角，ψ表示进动角，θ表示章动角，φ表示自转角，则整个多刚体动力学***的位形矢量矩阵：
q＝(q1 q2 … qn)T (1)
整个多刚体动力学***的运动学约束方程组表达式为
Figure BDA0003840354650000052
式(2)中，m——约束副的个数，ΓV为一个整体，表示整个多刚体动力学***的运动约束方程组，
Figure BDA0003840354650000053
表示对应的构件单独的运动约束方程，其中，w＝1,2,3，…，m，V是随意取的一个变量作为与驱动约束方程区别所用；
当整个多刚体动力学***总自由度为零时，具有确定运动，因此多刚体动力学***需要的驱动约束个数方程表达式为：
ΓH(q,t)＝0 (3)
其中，Γ(q,t)＝0为驱动约束个数方程，驱动约束是关于广义坐标的时间函数；ΓH(q,t)＝0是驱动约束方程的矢量形式；H是随意取的一个变量作为与运动约束方程区别所用；t表示多刚体***运动时间；对于有n个坐标q＝(q1 q2 … qn)T，m个约束副的多刚体***，多刚体***的坐标系中只有n-m个是独立的，即n-m为多刚体***的自由度数，从运动学角度来看，比如对于平面连杆机构***，只有***的总自由度数为零时，***才具有确定运动，因此***需要确定的驱动约束个数为n-m，其驱动约束方程表达式为ΓH(q,t)＝0。
由式(2)的运动学约束、式(3)的驱动约束以及欧拉参数约束组合成多刚体动力学***所受的全部约束：
Figure BDA0003840354650000061
式(4)构成了整个多刚体动力学***在广义坐标下的n个的非线性位置方程组；Γ(q,t)＝0为整个***驱动约束方程，驱动约束是关于广义坐标的时间函数；
Figure BDA0003840354650000062
为欧拉参数约束方程表达式。
步骤S3：分析工程装备几何模型，根据几何模型构件之间的约束方程类型利用物理引擎对几何模型构件建立相应的约束类型，完成从工程装备几何模型到多刚体***物理模型的物理建模。
结合第二方面，进一步地，所述多刚体***数学模型为在得到多刚体***物理模型后进行的数学建模，得到多刚体***速度和加速度的等数学模型，进而得到多刚体***动力学模型。
结合第二方面，进一步地，所述多刚体***数学模型包括刚体构件运动数学模型和刚体构件转动数学模型。
结合第二方面，进一步地，所述刚体构件运动数学模型的建模过程包括以下步骤：
步骤A：对式(4)求导，则多刚体***速度约束方程为：
Figure BDA0003840354650000071
整个式(5)是对式(4)求导结果，其中Γq为***的雅克比矩阵，即
Figure BDA0003840354650000072
Γt为约束方程对时间的导数，即/>
Figure BDA0003840354650000073
Figure BDA0003840354650000074
为***广义速度；
步骤B：对式(4)二次求导，则多刚体***加速度约束方程为：
Figure BDA0003840354650000075
式中Γq为雅克比矩阵；Γqt为雅克比矩阵对时间的导数，即
Figure BDA0003840354650000076
Γtt为约束方程对时间的二次求导，即/>
Figure BDA0003840354650000077
Figure BDA0003840354650000078
为***广义加速度；
步骤C：由(4)式的多刚体***位置约束方程，(5)式的多刚体***速度约束方程，(6)式的多刚体***加速度约束方程得到多刚体***运动方程的第一类拉式乘子形式：
Figure BDA0003840354650000079
其中，q、v、η∈Rn分别为***广义坐标、速度、加速度向量，
Figure BDA00038403546500000710
λ∈Rm是拉格朗日乘子列向量，是运动副连接的刚体构件之间的内力和内力矩，t∈R是时间，M(q,t)∈Rn×n表示***的质量矩阵，f(q,v,t)∈Rn为广义外力列向量，包括外力和外力矩，Rn中n为n维实数向量空间，数值上与多刚体***的单元数一致；Rm中m为m维实数向量空间,数值上与约束副的个数一致。
结合第二方面，进一步地，所述刚体构件转动数学模型的建模需对三维空间中工程装备各机构采用固联在刚体构件上的随体坐标系来确定多刚体***运动，具体为：用方向余弦矩阵、欧拉角、欧拉四元数三种姿态变量描述刚体构建定点转动；
所述欧拉角为：γl＝(ψ,θ,φ)l (8)
所述方向余弦矩阵为：
Figure BDA0003840354650000081
所述欧拉四元数为：
Figure BDA0003840354650000082
用欧拉四元数表示方向余弦矩阵为：
Figure BDA0003840354650000083
方向余弦矩阵和欧拉四元数中的欧拉参数变量需满足约束方程：
Figure BDA0003840354650000084
其中，a1,a2,a3为欧拉四元数的矢量，a4为欧拉四元数标量，
Figure BDA0003840354650000085
为刚体构件的欧拉参数构成的约束向量。
结合第二方面，进一步地，所述刚体构件广义坐标中随体坐标系相对于全局坐标系的方位参数可用方向余弦矩阵、欧拉角表示，也可用欧拉参数。
结合第二方面，进一步地，所述多刚体***数学模型可通过对多刚体***物理模型采用笛卡尔坐标或拉格朗日坐标建模方法进行数学建模。
结合第二方面，进一步地，所述运动约束***基于多刚体***动力学理论构建，根据约束类型来计算两个连接的刚体构件对象的雅克比矩阵，配合刚体构件形状计算转动惯量，来更新相互连接的刚体构件对象的位置、速度，从而模拟连接对象受力的效果；所述刚体构件之间的约束类型包括铰链约束和滑动杆约束，即运动约束***的运动约束包括铰链(Hinge)约束和滑动杆(Slider)约束。
所述运动约束***在确定刚体构件之间的约束类型之后利用物理引擎中相应的约束来连接，通过为刚体物体赋予真实的物理属性的方式来计算运动、旋转和碰撞反应。
结合第二方面，进一步地，建立工程装备多刚体***动力学模型的运动约束具体包括以下步骤：
步骤1：实际***的多刚体***模型(即虚拟三维模型，在动力学的运动运动约束中，称为多刚体***模型)简化；
将复杂的工程装备实际对象经过理论抽象，简化为体、铰等。体：多刚体***中的构件；铰：刚体间的运动约束，无质量；刚体间的作用关系通过运动约束来限制；
步骤2：构造具备约束连接关系的物理模型；
根据运动学约束和虚拟三维模型初始位置条件对工程装备几何模型进行装配，根据相应的受力分析在刚体构件之间建立对应约束连接。
铰链(Hinge)约束：是在某个节点处建立限制两个刚体构件的转动轴，使其只能绕该轴旋转，这个轴即为铰链轴，如：只绕一个轴转动的门或者车轮，并且用户可以给铰链轴设定旋转角度限制。
滑动杆(Slider)约束：是指两个刚体构件只能沿着某一条轴移动的约束关系。
结合第二方面，进一步地，所述铰链约束的实现步骤为：
步骤Ⅰ：获取第一个、第二个刚体构件的质心，刚体构件质心公式：
Figure BDA0003840354650000091
其中，rc表示刚体构件质心位置矢量；xc、yc、zc分别表示刚体质心x,y,z坐标；i、j、k分别表示向量基。
步骤Ⅱ：计算锚点相对于第一个刚体构件的位置，获取第一个刚体构件的铰链轴；
步骤Ⅲ：计算锚点相对于第二个刚体构件的位置，获取第二个刚体构件的铰链轴；
步骤Ⅳ：对两个刚体构件进行铰链约束。
结合第二方面，进一步地，所述滑动杆约束的实现步骤为：
步骤a：利用式(13)获取第一个、第二个刚体构件的质心；
步骤b：计算第二个刚体构件相对于第一个刚体构件的位置，获取第一个刚体构件的滑动轴；
步骤c：计算第一个刚体构件相对于第二个刚体构件的位置，获取第二个刚体构件的滑动轴；
步骤d：对两个刚体构件进行滑动杆约束。
结合第二方面，进一步地，通过所述物理引擎建立的运动约束***，需对刚体构件的空间姿态或者约束轴进行调整，才能成功使用物理引擎中的函数，所述调整方法为：应用罗德里格斯旋转公式，绕单位向量μ(x,y,z)旋转且旋转角为β的旋转矩阵为：
Figure BDA0003840354650000101
在获取了刚体构件的空间姿态以后，则通过公式(14)对刚体构件进行调整。
结合第二方面，进一步地，所述物理引擎包含重力引擎，可实现与现实中一样的重力测试，如果操作不当引起重心不稳就会发生翻车现象。
与现有技术相比，本发明提供了一种变幅机构、臂架***及排水机器人，具备以下有益效果：
(1)本发明的实时交互***能够有效解决传统工程装备采用真机操作训练时安全风险大，训练成本高，以及虚拟现实训练存在的因真实环境与物理环境隔离而丢失真实感、无法与实际施工场景交互、虚拟环境单一不适合根据实际施工环境进行流程验证等问题，为工程装备操控训练和实地工序工法实时确认提供了更先进的技术手段，从而达到训练操作人员或者验证工序工法的合理性，在实车工作前及时调整，避免施工风险的目的。
(2)本发明的运动仿真方法通过建立工程装备操作仿真中的复杂力学约束关系，引入物理引擎中的简单约束来拟真地表现工程装备各部件的运动过程，解决了运动模拟的实时性与仿真效果的兼顾问题，操作者可在具有真实沉浸感与交互性的混合虚拟环境中，对场景中的工程装备进行虚拟操作，模拟施工过程，从而提供了一种可以满***互性和实时性的独立于平台的虚拟交互仿真方法。
(3)本发明的运动仿真方法通过利用混合现实技术进行施工模拟，在复杂施工现场进行空间定位精准映射、虚拟物体运动过程中与实际环境的干涉检测，实现对施工流程、工序工法的实时确认，从而更高效的完成施工验证和训练任务。
附图说明
图1为本发明实时交互***的结构示意图；
图2为本发明运动仿真方法的动力学建模流程图；
图3为本发明运动仿真方法的实施流程图；
图4为本发明实施例中实时交互***的操纵控制手柄的臂架***控制相关按键示意图。
图中附图标记的含义为：
1-混合现实硬件；2-操纵控制手柄；21-手柄驱动；3-仿真控制模块；31-交互指令采集模块；32-动力学仿真计算模块；33-场景管理及图形图像实时渲染模块；4-空间映射和碰撞检测模块；5-信息存储模块；6-服务器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以还包括不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、、“上”、“下”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为便于描述本发明和简化描述，而不是指示或暗指所指的装置或元件必须具有特定的方位、为特定的方位构造和操作，因而不能理解为对本发明保护内容的限制。
如图1所示，本发明的实时拟交互***，该***包括混合现实硬件1、操纵控制手柄2、仿真控制模块3、空间映射和碰撞检测模块4、信息存储模块5以及服务器6；本实施例中工程装备以高空作业平台为例(其他工程装备方法和原理一样)，混合现实硬件1采用微软的Hololens2或Hololens1或Meta2眼镜，与仿真控制模块3和空间映射和碰撞检测模块4采用通信连接，功能是显示高空作业平台三维模型、识别施工现场环境信息、获取操作人员位置信息，网络通信连接遵循TCP/IP协议，运行时服务器6自动打开网络监听，实时监控网络，等待混合现实硬件1客户端与其进行匹配连接；佩戴Hololens2眼镜的操作人员进入实际工作场地，对虚拟高空作业平台的操作信息通过socket网络传入服务器6。操纵控制手柄2可采用游戏手柄，操纵控制手柄2的手柄驱动21与仿真控制模块3所在服务器6的USB连接，手柄驱动21将手柄输入的操作控制流解析并传送给仿真控制模块3的交互指令采集模块31，可以用操纵控制手柄2上的按键来控制高空作业平台移动，通过操纵控制手柄2的上下左右键把高空作业平台开到目的地，臂架***和转台的操作对应的操纵控制手柄2按键如图4所示，按操纵控制手柄2上的选择图4中的“PgDn”键，开始进行臂架***操作，相应1～6按键可以分别选择对应的下主臂、下伸缩臂、上主臂、两个上伸缩臂、工作平台，然后进行相应的上升“＝”和下降“-”操作，“K”“D”键可以进行转台的旋转。空间映射和碰撞检测模块4分别与混合现实硬件1和仿真控制模块3通信连接，功能是将混合现实硬件1Hololens2眼镜采集到的施工场景信息与仿真控制模块3中的虚拟高空作业平台三维模型，透过混合现实硬件1Hololens2眼镜的显示屏将虚拟高空作业平台三维模型显示在真实的施工现场环境中，以虚实融合方式显示，同时将虚拟高空作业平台的臂架***等运动件在作业状态时与真实的施工现场环境中的物体进行精确碰撞检测和实时性运动干涉模拟，从而达到训练操作人员或者验证工序工法的合理性，在实车工作前及时调整，避免施工风险的目的。信息存储模块4分别与仿真控制模块3、空间映射和碰撞检测模块4通信连接，功能是将高空作业平台虚拟训练、虚拟验证时的运动状态信息、碰撞检测信息记录保存以实现演练、验证结果的复现。仿真控制模块3分别与混合现实硬件1、操纵控制手柄2、空间映射和碰撞检测模块4以及信息存储模块5通信连接，功能是接收来自于操纵控制手柄2、混合现实硬件1的手柄操作、手势、语音的交互指令信息、操作人员位置信息和真实的施工现场环境信息，通过动力学仿真计算模块32将接收到的虚拟交互信息解析成虚拟高空作业平台三维模型运动相对应的指令信息，虚拟高空作业平台三维模型根据特定的指令实时运动仿真，虚拟高空作业平台三维模型影像信息经过场景管理及图形图像实时渲染模块33、空间映射和碰撞检测模块4同步到混合现实硬件1中的显示屏显示。所述服务器6为仿真控制模块3、空间映射和碰撞检测模块4、信息存储模块5的硬件载体。
在本实施例的一种具体实施方式中，仿真控制模块3包括交互指令采集模块31、动力学仿真计算模块32以及场景管理及图形图像实时渲染模块33；交互指令采集模块31的功能是接收佩戴混合现实硬件1的操作人员的操作信息，该操作信息包括来自于混合现实硬件1虚拟交互操作指令中的动作和语音以及手柄驱动21中的操作数字信号；动力学仿真计算模块32是整个仿真***的核心控制模块，功能是根据操作人员的操作信息进行实时动力学仿真计算，将仿真计算结果输出至场景管理及图形图像实时渲染模块33；场景管理及图形图像实时渲染模块33的功能是根据仿真计算结果使虚拟场景中的高空作业平台运动状态实时更新，并利用图形渲染引擎将操作结果可视化的输出至混合现实硬件1展示给操作人员。
如图2所示，本发明的工程装备运动仿真方法，为了实现对高空作业平台这样复杂的机械***进行虚拟运动仿真操控，最基本的问题是要建立它的各个部件的动力学模型。从初始的几何模型，到物理模型的建立，经过对数学模型的数值求解，最后得到动力学模型，所述动力学仿真计算模块32包括多刚体动力学***和运动约束***，其中，所述多刚体动力学***包括多刚体***物理模型、多刚体***数学模型；所述多刚体***物理模型为通过对高空作业平台几何模型进行物理建模，从而形成表达***力学特性的高空作业平台物理模型；所述运动约束***包括铰链(Hinge)约束、滑动杆(Slider)约束，通过对高空作业平台进行多刚体动力学建模，利用物理引擎在高空作业平台各刚体构件之间建立相应运动约束。
为形成表达***力学特性的高空作业平台物理模型，需要对高空作业平台几何模型进行物理建模。物理建模过程中，需要根据运动学约束和初始位置条件对高空作业平台几何模型进行装配，物理建模包括以下步骤：
把每一个几何模型构件看成刚性构件并设定其笛卡尔广义坐标矢量
Figure BDA0003840354650000151
其中l＝1,2,...,n，n表示一个拥有n个点的多刚体***，且将任一相邻的通过铰连接的刚体视作一个单元，即n表示多刚体***的单元数；ql以单个刚体为参考物，用广义坐标对另一个刚体相对此刚体的位置进行描述，表示笛卡尔广义坐标矢量，则可用拉格朗日坐标阵q来描述此***；设rl(x,y,z)为每个刚体构件的质心在绝对坐标基下的矢量，x表示绝对坐标系中x轴，y表示绝对坐标系中y轴，z表示绝对坐标系中z轴，γ＝(ψ,θ,φ)l为刚体构件相对坐标基自身的三个欧拉角，ψ表示进动角，θ表示章动角，φ表示自转角，则整个多刚体动力学***的位形矢量矩阵：
q＝(q1 q2 … qn)T (15)
整个多刚体动力学***的运动学约束方程组表达式为
Figure BDA0003840354650000152
式(16)中，m——约束副的个数，ΓV为一个整体，表示整个多刚体动力学***的运动约束方程组，
Figure BDA0003840354650000161
表示对应的构件单独的运动约束方程，其中，w＝1,2,3，…，m，V是随意取的一个变量作为与驱动约束方程区别所用；
当整个多刚体动力学***总自由度为零时，具有确定运动，因此多刚体动力学***需要的驱动约束个数方程表达式为：
ΓH(q,t)＝0 (17)
其中，Γ(q,t)＝0为驱动约束个数方程，驱动约束是关于广义坐标的时间函数；ΓH(q,t)＝0是驱动约束方程的矢量形式；H是随意取的一个变量作为与运动约束方程区别所用；t表示多刚体***运动时间；对于有n个坐标q＝(q1 q2 … qn)T，m个约束副的多刚体***，多刚体***的坐标系中只有n-m个是独立的，即n-m为多刚体***的自由度数，从运动学角度来看，比如对于平面连杆机构***，只有***的总自由度数为零时，***才具有确定运动，因此***需要确定的驱动约束个数为n-m，其驱动约束方程表达式为ΓH(q,t)＝0。
由式(16)的运动学约束、式(17)的驱动约束以及欧拉参数约束组合成多刚体动力学***所受的全部约束：
Figure BDA0003840354650000162
式(18)构成了整个多刚体动力学***在广义坐标下的n个的非线性位置方程组；Γ(q,t)＝0为整个***驱动约束方程，驱动约束是关于广义坐标的时间函数；
Figure BDA0003840354650000163
为欧拉参数约束方程表达式。
步骤S3：分析工程装备几何模型，根据几何模型构件之间的约束方程类型利用物理引擎对几何模型构件建立相应的约束类型，完成从工程装备几何模型到多刚体***物理模型的物理建模。
在分析完高空作业平台几何模型后，根据构件之间的约束方程类型利用物理引擎对构件建立相应的约束类型，从而成功地完成从几何模型到物理模型的物理建模，省去了对约束方程的求解，便于实时控制高空作业平台。
多刚体***数学模型为在得到多刚体***物理模型后进行的数学建模，采用笛卡尔坐标或拉格朗日坐标建模方法，得到多刚体***速度、加速度等数学模型，最终得到多刚体***动力学模型。所述多刚体***数学模型包括高空作业平台刚体构件运动数学模型以及刚体构件转动数学模型。
刚体构件运动数学模型的建模过程具体包括以下步骤：
步骤A：对式(18)求导，则多刚体***速度约束方程为：
Figure BDA0003840354650000171
整个式(19)是对式(18)求导结果，其中Γq为***的雅克比矩阵，即
Figure BDA0003840354650000172
t为约束方程对时间的导数，即/>
Figure BDA0003840354650000173
Figure BDA0003840354650000174
为***广义速度；
步骤B：对式(18)二次求导，则多刚体***加速度约束方程为：
Figure BDA0003840354650000175
式中Γq为雅克比矩阵；Γqt为雅克比矩阵对时间的导数，即
Figure BDA0003840354650000176
Γtt为约束方程对时间的二次求导，即/>
Figure BDA0003840354650000177
Figure BDA0003840354650000178
为***广义加速度；
步骤C：由(18)式的多刚体***位置约束方程，(19)式的多刚体***速度约束方程，(20)式的多刚体***加速度约束方程得到多刚体***运动方程的第一类拉式乘子形式：
Figure BDA0003840354650000181
其中，q、v、η∈Rn分别为***广义坐标、速度、加速度向量，
Figure BDA0003840354650000182
λ∈Rm是拉格朗日乘子列向量，是运动副连接的刚体构件之间的内力和内力矩，t∈R是时间，M(q,t)∈Rn×n表示***的质量矩阵，f(q,v,t)∈Rn为广义外力列向量，包括外力和外力矩，Rn中n为n维实数向量空间，数值上与多刚体***的单元数一致；Rm中m为m维实数向量空间,数值上与约束副的个数一致。
刚体构件转动数学模型的建模需对三维空间中高空作业平台各机构采用固联在刚体构件上的随体坐标系来确定多刚体***运动，构件的广义坐标，由两个部分组成，一是随体坐标系的原点坐标，二是确定随体坐标系相对于全局坐标系的方位参数，具体为：用方向余弦矩阵、欧拉角、欧拉四元数三种姿态变量描述刚体构建定点转动，另外，所述刚体构件广义坐标中随体坐标系相对于全局坐标系的方位参数可用方向余弦矩阵、欧拉角表示，也可用欧拉参数。
所述欧拉角为：γl＝(ψ,θ,φ)l(22)
所述方向余弦矩阵为：
Figure BDA0003840354650000183
所述欧拉四元数为：
Figure BDA0003840354650000184
用欧拉四元数表示方向余弦矩阵为：
Figure BDA0003840354650000191
方向余弦矩阵和欧拉四元数中的欧拉参数变量需满足约束方程：
Figure BDA0003840354650000192
其中，a1,a2,a3为欧拉四元数的矢量，a4为欧拉四元数标量，
Figure BDA0003840354650000193
为刚体构件的欧拉参数构成的约束向量。
通过对多刚体***进行物理建模和数学建模成功地简化了复杂的机械***，得到多刚体***动力学模型，便于模拟高空作业平台机械***的运动。
高空作业平台的虚拟操控最关键问题是运动的控制，包括多刚体***刚体构件之间的运动约束和整个多刚体***的运动控制。
运动约束***基于多体***动力学理论构建，根据约束类型来计算两个连接的刚体构件对象的雅克比矩阵，配合刚体构件形状计算转动惯量，来更新相互连接的刚体构件对象的位置、速度，从而模拟连接对象受力的效果，建立高空作业平台多刚体***模型的运动约束具体包括以下步骤：
步骤1：实际***的多刚体***模型简化：将高空作业平台工作运动简化为由有限数目的刚体组成的***运动，刚体之间以某种形式的约束连接，如体、铰，根据多刚体理论，将高空作业平台简化为自行式底盘、转台、臂架***等几大部分。自行式底盘完成高空作业平台的牵引和提供动力，转台与自行式底盘连接实现360度旋转，同时保证高空作业车的稳定性，臂架***与转台连接，控制工作平台的作业状态；
步骤2：构造具备约束连接关系的物理模型：根据运动学约束和模型初始位置条件对高空作业平台几何模型进行装配，根据相应的受力分析在刚体构件之间建立对应约束连接，为计算简单，所述运动约束***在确定刚体构件之间的约束类型之后利用物理引擎中相应的约束来连接，物理引擎是一个对物理环境进行实时模拟的集成解决方案，它以刚体力学为基础，通过为刚体物体赋予真实的物理属性的方式来计算运动、旋转和碰撞反应，最终确认需要建立的高空作业平台约束为21个铰链约束、9个滑动约束，共计30个约束。
刚体构件之间的约束类型，具体分为：
铰链(Hinge)约束：是在某个节点处建立限制两个刚体构件的转动轴，使其只能绕该轴旋转，这个轴即为铰链轴，如：只绕一个轴转动的高空作业平台的转台和车轮，并且用户可以给铰链轴设定旋转角度限制。
滑动杆(Slider)约束：是指两个刚体构件只能沿着某一条轴移动的约束关系，如高空作业平台的伸缩油缸和伸缩臂。
铰链(Hinge)约束的实现步骤为：
步骤Ⅰ：获取第一个、第二个刚体构件的质心，刚体构件质心公式：
Figure BDA0003840354650000201
其中，rc表示刚体构件质心位置矢量；xc、yc、zc分别表示刚体质心x,y,z坐标；i、j、k分别表示向量基。
步骤Ⅱ：计算锚点相对于第一个刚体构件的位置，获取第一个刚体构件的铰链轴；
步骤Ⅲ：计算锚点相对于第二个刚体构件的位置，获取第二个刚体构件的铰链轴；
步骤Ⅳ：对两个刚体构件进行铰链约束。
滑动杆(Slider)约束的实现步骤为：
步骤a：利用式(27)获取第一个、第二个刚体构件的质心；
步骤b：计算第二个刚体构件相对于第一个刚体构件的位置，获取第一个刚体构件的滑动轴；
步骤c：计算第一个刚体构件相对于第二个刚体构件的位置，获取第二个刚体构件的滑动轴；
步骤d：对两个刚体构件进行滑动杆约束。
由于在物理引擎中大部分的约束都针对局部坐标系，通过所述物理引擎建立的运动约束***，需对刚体构件的空间姿态或者约束轴进行调整，才能成功使用物理引擎中的函数，具体方法为：应用罗德里格斯旋转公式，绕单位向量μ(x,y,z)旋转且旋转角为β的旋转矩阵为：
Figure BDA0003840354650000211
在获取了刚体构件的空间姿态以后，则通过公式(28)对刚体构件进行调整。
在本实施例的一种具体实施方式中，物理引擎包含重力引擎，可实现与现实中一样的重力测试，如果操作不当引起重心不稳就会发生翻车现象。
如图3所示，本发明的运动仿真方法包括以下步骤：
步骤一：配置混合现实硬件、操纵控制手柄、服务器；即将混合现实硬件与服务器、操纵控制手柄与服务器通信连接。
步骤二：向混合现实硬件加载虚拟模型；即服务器将存储的虚拟场景数据传输至混合现实硬件，混合现实硬件识别实际环境信息后，将虚拟场景与真实场景融合，呈现出虚实融合场景。
步骤三：用户通过操纵控制手柄进行操作输入；若用户操作输入错误，则进行错误信息提示；若用户操作输入正确，进行动力学仿真计算，并将仿真计算结果输出至场景管理及图形图像实时渲染模块，场景管理及图形图像实时渲染模块根据动力学仿真计算模块的仿真计算结果对虚拟场景中的工程装备三维模型运动状态实时更新，并将操作结果输出至混合现实硬件展示给操作人员；
步骤四：将步骤三中实时更新的虚拟场景中的工程装备三维模型显示在真实的施工现场环境中，以虚实融合方式显示，同时进行虚拟物体与真实场景物体间的碰撞检测和实时性运动干涉模拟；若检测与真实环境发生干涉，则将干涉信息提示发送给佩戴混合现实硬件的操作人员，若检测与真实环境没有发生干涉，则继续执行下一步验证和训练任务；
步骤五：将操作过程写入信息存储模块，进行过程中的操作过程信息记录存储，完成任务。
根据高空作业平台实际需求虚拟操控包括三大部分：高空作业平台的方位操作、臂架***的操作和转台的旋转。本***模拟高空作业平台的操控过程，操作人员用手柄控制高空作业平台臂架***，工作过程中先把高空作业平台行驶到目标地，再进行臂架***和转台的操作，将工作平台调整至合适的作业位置并进行调平，在实际操作中，高空作业平台的操作随目标作业点的位置情况而定，操作者可以通过转台的顺时针或者逆时针的旋转调整水平角度，可以通过臂架***的相应操作来调节高度或者垂直角度，本***还引入重力引擎，高空作业平台可以实现与现实中一样的重力测试，如果操作不当引起重心不稳就会发生翻车现象。
本发明通过建立高空作业平台操作仿真中的复杂力学约束关系，引入物理引擎中的简单约束来拟真地表现高空作业平台各部件的运动过程，解决了运动模拟的实时性与仿真效果的兼顾问题，操作者可在具有真实沉浸感与交互性的混合虚拟环境中，对场景中的高空作业平台进行虚拟操作，模拟施工过程，从而提供了一种可以满***互性和实时性的独立于平台的虚拟交互仿真方法；通过利用混合现实技术进行施工模拟，在复杂施工现场进行空间定位精准映射、虚拟高空作业平台运动过程中与实际环境的干涉检测，实现对施工流程、工序工法的实时确认，从而更高效的完成高空作业平台施工验证和训练任务。
需要说明的是，在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (15)

1.一种基于混合现实的工程装备实时交互***，其特征在于：包括混合现实硬件、操纵控制手柄、仿真控制模块、空间映射和碰撞检测模块以及信息存储模块；
所述混合现实硬件分别与仿真控制模块、空间映射和碰撞检测模块通信连接，用于采集并显示工程装备三维模型、识别和采集施工现场环境信息以及获取操作人员位置信息；
所述操纵控制手柄与仿真控制模块通信连接，用于将操作的数字信号传输至仿真控制模块；
所述仿真控制模块分别与混合现实硬件、操纵控制手柄、空间映射和碰撞检测模块以及信息存储模块通信连接，用于接收虚拟交互信息，并将虚拟交互信息解析为虚拟三维模型运动相对应的指令信息，虚拟三维模型根据指令实时运动仿真；
所述空间映射和碰撞检测模块分别与混合现实硬件和仿真控制模块通信连接，用于将混合现实硬件采集到的施工现场环境信息与仿真控制模块中的虚拟三维模型，透过混合现实硬件的显示屏将虚拟三维模型显示在真实的施工现场环境中，以虚实融合方式显示，同时进行虚拟物体与真实场景物体间的碰撞检测和实时性运动干涉模拟；
所述信息存储模块分别与仿真控制模块、空间映射和碰撞检测模块通信连接，用于保存虚拟训练和虚拟验证时的运动状态信息及碰撞检测信息记录以实现训练和验证结果的复现。
2.根据权利要求1所述的一种基于混合现实的工程装备实时交互***，其特征在于：还包括服务器，所述服务器为仿真控制模块、空间映射和碰撞检测模块以及信息存储模块的硬件载体。
3.根据权利要求1所述的一种基于混合现实的工程装备实时交互***，其特征在于：所述仿真控制模块包括交互指令采集模块、动力学仿真计算模块以及场景管理及图形图像实时渲染模块；
所述交互指令采集模块，用于接收佩戴混合现实硬件的操作人员的操作信息，所述操作信息为虚拟交互信息，所述虚拟交互信息包括来自于操纵控制手柄的手柄操作数字信号、混合现实硬件的手柄操作、操作人员手势、操作人员语音的交互指令信息、接收佩戴混合现实硬件的操作人员位置信息以及真实的施工现场环境信息；
所述动力学仿真计算模块用于根据操作人员的操作信息进行实时动力学仿真计算，并将仿真计算结果输出至场景管理及图形图像实时渲染模块；
所述场景管理及图形图像实时渲染模块用于根据动力学仿真计算模块的仿真计算结果对虚拟场景中的工程装备三维模型运动状态实时更新，并将操作结果输出至混合现实硬件展示给操作人员。
4.根据权利要求1所述的一种基于混合现实的工程装备实时拟交互***，其特征在于：所述操纵控制手柄包括手柄驱动，所述操纵控制手柄通过手柄驱动将操作的数字信号传输至仿真控制模块；所述手柄驱动将操纵控制手柄输入的操作控制流解析成操作数字信号，并将所述操作数字信号传送给仿真控制模块。
5.一种基于混合现实的工程装备运动仿真方法，其特征在于：基于权利要求1至4任一所述的实时拟交互***，所述动力学仿真计算模块通过对工程装备进行多刚体动力学建模，在工程装备各刚体构件之间建立相应运动学约束，所述运动学约束包括多刚体动力学***和运动约束***。
6.根据权利要求5所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述运动仿真方法包括以下步骤：
步骤一：配置混合现实硬件、操纵控制手柄、服务器；
步骤二：向混合现实硬件加载虚拟模型；
步骤三：用户通过操纵控制手柄进行操作输入；若用户操作输入错误，则进行错误信息提示；若用户操作输入正确，进行动力学仿真计算，并将仿真计算结果输出至场景管理及图形图像实时渲染模块，所述场景管理及图形图像实时渲染模块根据动力学仿真计算模块的仿真计算结果对虚拟场景中的工程装备三维模型运动状态实时更新，并将操作结果输出至混合现实硬件展示给操作人员；
步骤四：将所述步骤三中实时更新的虚拟场景中的工程装备三维模型显示在真实的施工现场环境中，以虚实融合方式显示，同时进行虚拟物体与真实场景物体间的碰撞检测和实时性运动干涉模拟；若检测与真实环境发生干涉，则将干涉信息提示发送给佩戴混合现实硬件的操作人员，若检测与真实环境没有发生干涉，则继续执行下一步验证和训练任务；
步骤五：将操作过程写入信息存储模块，进行过程中的操作过程信息记录存储，完成任务。
7.根据权利要求5所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述多刚体动力学***包括多刚体***物理模型和多刚体***数学模型；所述多刚体***物理模型为通过对工程装备几何模型进行物理建模，从而形成表达***力学特性的物理模型，所述物理建模包括以下步骤：
步骤S1：根据运动学约束和虚拟三维模型初始位置条件对工程装备几何模型进行装配，通过分析虚拟三维模型各个部件之间的运动依赖关系设置虚拟三维模型部件之间的父子嵌套关系，最终完成整个工程装备模型树的构建；
步骤S2：把每一个几何模型构件看成刚性构件并设定其笛卡尔广义坐标矢量
Figure FDA0003840354640000031
其中l＝1,2,...,n，n表示一个拥有n个点的多刚体***，且将任一相邻的通过铰连接的刚体视作一个单元，即n表示多刚体***的单元数；ql以单个刚体为参考物，用广义坐标对另一个刚体相对此刚体的位置进行描述；设rl(x,y,z)为每个刚体构件的质心在绝对坐标基下的矢量，x表示绝对坐标系中x轴，y表示绝对坐标系中y轴，z表示绝对坐标系中z轴，γ＝(ψ,θ,φ)l为刚体构件相对坐标基自身的三个欧拉角，ψ表示进动角，θ表示章动角，φ表示自转角，则整个多刚体动力学***的位形矢量矩阵：
q＝(q1 q2 … qn)T (1)
整个多刚体动力学***的运动学约束方程组表达式为
Figure FDA0003840354640000041
式(2)中，m——约束副的个数，ΓV为一个整体，表示整个多刚体动力学***的运动约束方程组，
Figure FDA0003840354640000042
表示对应的构件单独的运动约束方程，其中，w＝1,2,3，…，m，V是随意取的一个变量作为与驱动约束方程区别所用；
当整个多刚体动力学***总自由度为零时，具有确定运动，因此多刚体动力学***需要的驱动约束个数方程表达式为：
ΓH(q,t)＝0 (3)
其中，Γ(q,t)＝0为驱动约束个数方程，驱动约束是关于广义坐标的时间函数；ΓH(q,t)＝0是驱动约束方程的矢量形式；H是随意取的一个变量作为与运动约束方程区别所用；t表示多刚体***运动时间。
由式(2)的运动学约束、式(3)的驱动约束以及欧拉参数约束组合成多刚体动力学***所受的全部约束：
Figure FDA0003840354640000043
式(4)构成了整个多刚体动力学***在广义坐标下的n个的非线性位置方程组；Γ(q,t)＝0为整个***驱动约束方程，驱动约束是关于广义坐标的时间函数；
Figure FDA0003840354640000051
为欧拉参数约束方程表达式。
步骤S3：分析工程装备几何模型，根据几何模型构件之间的约束方程类型利用物理引擎对几何模型构件建立相应的约束类型，完成从工程装备几何模型到多刚体***物理模型的物理建模。
8.根据权利要求7所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述多刚体***数学模型为在得到多刚体***物理模型后进行的数学建模，得到多刚体***速度和加速度的数学模型，进而得到多刚体***动力学模型。
9.根据权利要求8所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述多刚体***数学模型包括刚体构件运动数学模型和刚体构件转动数学模型。
10.根据权利要求9所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述刚体构件运动数学模型的建模过程包括以下步骤：
步骤A：对式(4)求导，则多刚体***速度约束方程为：
Figure FDA0003840354640000058
整个式(5)是对式(4)求导结果，其中Γq为***的雅克比矩阵，即
Figure FDA0003840354640000052
Γt为约束方程对时间的导数，即/>
Figure FDA0003840354640000053
Figure FDA0003840354640000054
为***广义速度；
步骤B：对式(4)二次求导，则多刚体***加速度约束方程为：
Figure FDA0003840354640000055
式中Γq为雅克比矩阵；Γqt为雅克比矩阵对时间的导数，即
Figure FDA0003840354640000059
Γtt为约束方程对时间的二次求导，即/>
Figure FDA0003840354640000056
Figure FDA0003840354640000057
为***广义加速度；
步骤C：由(4)式的多刚体***位置约束方程，(5)式的多刚体***速度约束方程，(6)式的多刚体***加速度约束方程得到多刚体***运动方程的第一类拉式乘子形式：
Figure FDA0003840354640000061
其中，q、v、η∈Rn分别为***广义坐标、速度、加速度向量，
Figure FDA0003840354640000064
λ∈Rm是拉格朗日乘子列向量，是运动副连接的刚体构件之间的内力和内力矩，t∈R是时间，M(q,t)∈Rn×n表示***的质量矩阵，f(q,v,t)∈Rn为广义外力列向量，包括外力和外力矩，Rn中n为n维实数向量空间，数值上与多刚体***的单元数一致；Rm中m为m维实数向量空间,数值上与约束副的个数一致。
11.根据权利要求9或10所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述刚体构件转动数学模型的建模需对三维空间中工程装备各机构采用固联在刚体构件上的随体坐标系来确定多刚体***运动，具体为：用方向余弦矩阵、欧拉角、欧拉四元数三种姿态变量描述刚体构建定点转动；
所述欧拉角为：γl＝(ψ,θ,φ)l (8)
所述方向余弦矩阵为：
Figure FDA0003840354640000062
所述欧拉四元数为：
Figure FDA0003840354640000063
用欧拉四元数表示方向余弦矩阵为：
Figure FDA0003840354640000071
方向余弦矩阵和欧拉四元数中的欧拉参数变量需满足约束方程：
Figure FDA0003840354640000072
其中，a1,a2,a3为欧拉四元数的矢量，a4为欧拉四元数标量，
Figure FDA0003840354640000074
为刚体构件的欧拉参数构成的约束向量。
12.根据权利要求5所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述运动约束***根据约束类型来计算两个连接的刚体构件对象的雅克比矩阵，配合刚体构件形状计算转动惯量，来更新相互连接的刚体构件对象的位置、速度，从而模拟连接对象受力的效果；所述刚体构件之间的约束类型包括铰链约束和滑动杆约束。
13.根据权利要求12所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述铰链约束的实现步骤为：
步骤Ⅰ：获取第一个、第二个刚体构件的质心，刚体构件质心公式：
Figure FDA0003840354640000073
其中，rc表示刚体构件质心位置矢量；xc、yc、zc分别表示刚体质心x,y,z坐标；i、j、k分别表示向量基。
步骤Ⅱ：计算锚点相对于第一个刚体构件的位置，获取第一个刚体构件的铰链轴；
步骤Ⅲ：计算锚点相对于第二个刚体构件的位置，获取第二个刚体构件的铰链轴；
步骤Ⅳ：对两个刚体构件进行铰链约束。
14.根据权利要求13所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：所述滑动杆约束的实现步骤为：
步骤a：利用式(13)获取第一个、第二个刚体构件的质心；
步骤b：计算第二个刚体构件相对于第一个刚体构件的位置，获取第一个刚体构件的滑动轴；
步骤c：计算第一个刚体构件相对于第二个刚体构件的位置，获取第二个刚体构件的滑动轴；
步骤d：对两个刚体构件进行滑动杆约束。
15.根据权利要求7所述的一种基于混合现实的工程装备运动仿真方法，其特征在于：通过所述物理引擎建立的运动约束***，需对刚体构件的空间姿态或者约束轴进行调整，才能成功使用物理引擎中的函数，所述调整方法为：应用罗德里格斯旋转公式，绕单位向量μ(x,y,z)旋转且旋转角为β的旋转矩阵为：
Figure FDA0003840354640000081
在获取了刚体构件的空间姿态以后，则通过公式(14)对刚体构件进行调整。
CN202211100913.1A 2022-09-09 2022-09-09 一种基于混合现实的工程装备实时交互***及运动仿真方法 Pending CN116310231A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211100913.1A CN116310231A (zh) 2022-09-09 2022-09-09 一种基于混合现实的工程装备实时交互***及运动仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211100913.1A CN116310231A (zh) 2022-09-09 2022-09-09 一种基于混合现实的工程装备实时交互***及运动仿真方法

Publications (1)

Publication Number Publication Date
CN116310231A true CN116310231A (zh) 2023-06-23

Family

ID=86820935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211100913.1A Pending CN116310231A (zh) 2022-09-09 2022-09-09 一种基于混合现实的工程装备实时交互***及运动仿真方法

Country Status (1)

Country Link
CN (1) CN116310231A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173240A (zh) * 2023-11-03 2023-12-05 天津信天电子科技有限公司 伺服控制驱动器的ar辅助装配方法、装置、设备及介质
CN117688706A (zh) * 2024-01-31 2024-03-12 湘潭大学 一种基于视觉引导的布线设计方法及***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173240A (zh) * 2023-11-03 2023-12-05 天津信天电子科技有限公司 伺服控制驱动器的ar辅助装配方法、装置、设备及介质
CN117173240B (zh) * 2023-11-03 2024-02-06 天津信天电子科技有限公司 伺服控制驱动器的ar辅助装配方法、装置、设备及介质
CN117688706A (zh) * 2024-01-31 2024-03-12 湘潭大学 一种基于视觉引导的布线设计方法及***
CN117688706B (zh) * 2024-01-31 2024-05-10 湘潭大学 一种基于视觉引导的布线设计方法及***

Similar Documents

Publication Publication Date Title
CN116310231A (zh) 一种基于混合现实的工程装备实时交互***及运动仿真方法
Schaal The SL simulation and real-time control software package
USRE39906E1 (en) Gyro-stabilized platforms for force-feedback applications
CN107256284A (zh) 一种实时交互式四足机器人多步态动力学建模方法及***
Rossmann et al. Virtual robotic testbeds: A foundation for e-robotics in space, in industry-and in the woods
CN111251305B (zh) 机器人力控制方法、装置、***、机器人及存储介质
CN107703775B (zh) 刚-柔-液耦合复杂航天器仿真***及方法
RU2308764C2 (ru) Перемещение виртуального сочлененного объекта в виртуальном пространстве с предотвращением столкновений сочлененного объекта с элементами окружающего пространства
CN112497208A (zh) 基于全状态阻抗控制器的移动操作机器人通用控制方法
CN112659124A (zh) 一种基于Android***的虚拟仿真与控制***
Dobrokvashina et al. How to Create a New Model of a Mobile Robot in ROS/Gazebo Environment: An Extended Tutorial
Rossmann erobotics: The symbiosis of advanced robotics and virtual reality technologies
JP3247832B2 (ja) キネマティクス演算装置
Yıldırım et al. ODE (Open Dynamics Engine) based stability control algorithm for six legged robot
CN113119102A (zh) 基于浮动基飞轮倒立摆的仿人机器人建模方法和装置
Zheng et al. Research on virtual driving system of a forestry logging harvester
KR20200097896A (ko) 매니퓰레이터 urdf파일 생성장치 및 방법
Redondo Verdú et al. Mixed reality for industrial robot programming
Mikhalevich et al. Developing of KUKA youBot software for education process
US20220402126A1 (en) Systems, computer program products, and methods for building simulated worlds
Gaut et al. A Jupyter notebook environment for multibody dynamics
Harris Design and implementation of an autonomous robotics simulator
Sanchez et al. Representation of Robots in Matlab
Vargas Cuadros Symbiosis between Human, Robot and Extended Reality
Kenzhetayev et al. A Real-time, Remotely Operated Vehicle, using a Raspberry Pi and a Virtual Reality Headset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination