CN116110270A - 一种基于混合现实的多自由度驾驶模拟器 - Google Patents

一种基于混合现实的多自由度驾驶模拟器 Download PDF

Info

Publication number
CN116110270A
CN116110270A CN202310154487.8A CN202310154487A CN116110270A CN 116110270 A CN116110270 A CN 116110270A CN 202310154487 A CN202310154487 A CN 202310154487A CN 116110270 A CN116110270 A CN 116110270A
Authority
CN
China
Prior art keywords
mixed reality
connecting rod
freedom
seat platform
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310154487.8A
Other languages
English (en)
Inventor
黄辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bangkang Industrial Robot Technology Co ltd
Original Assignee
Shenzhen Bangkang Industrial Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bangkang Industrial Robot Technology Co ltd filed Critical Shenzhen Bangkang Industrial Robot Technology Co ltd
Priority to CN202310154487.8A priority Critical patent/CN116110270A/zh
Publication of CN116110270A publication Critical patent/CN116110270A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/12—Motion systems for aircraft simulators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于混合现实的多自由度驾驶模拟器，包括控制终端、多自由度机械臂、座椅平台及混合现实眼镜；座椅平台内设置有实物操作部件；控制终端获取操作者对所述操作部件的操作，并控制座椅平台进行加速、匀速、减速、拐弯的模拟；混合现实眼镜实时获取座椅平台内的实物视景，并跟踪获取操作者观察时的位置姿态信息；控制终端还生成虚拟视景，并将实物视景及虚拟视景进行融合后得到融合视景并发送至混合现实眼镜进行显示，同时，控制终端根据操作者观察时的位置姿态信息，在混合现实眼镜中同步更新渲染与该位置姿态相匹配的融合视景。本发明提高了模拟驾驶的真实体感效果，又相对于全实物模拟降低成本。

Description

一种基于混合现实的多自由度驾驶模拟器
技术领域
本发明涉及驾驶模拟器技术领域，尤其涉及一种应用于汽车、飞机等行业的基于混合现实的多自由度驾驶模拟器。
背景技术
现有的飞机，汽车等模拟器的模拟平台是把虚拟现实技术运用于多自由度运动平台中，通过计算机技术产生驾驶过程中的虚拟视景、音响效果和运动仿真，使驾驶员沉浸到虚拟驾驶环境中，产生实装驾驶感觉，从而体验、认识和学习现实世界中的驾驶。目前的运动模拟机一般为全实物模拟器及虚拟现实模拟器。
全实物模拟器以大屏幕或投影以及1:1座椅平台为技术特征，实现座舱内外环境模拟，其1:1座舱内设备，比如开关、按钮等全部用实物实现。另外，驾驶舱的操作设备采用带力反馈的三轴操纵***实现主操纵的力感模拟。全实物模拟器的优点是功能强大、模拟逼真度高，缺点是体积庞大、结构负载，同时成本高。
虚拟现实模拟器采用VR技术实现视景模拟(一般采用HMD作为视景显示设备)，其座舱显示设备均以虚拟现实方式仿真呈现，此类模拟器的优点是体积小巧，成本低，通用性较强，在军事领域应用较多。但是虚拟现实模拟器强调操作者在虚拟环境中的视觉、听觉、触觉等完全由计算机生成，操作者各种感觉与现实世界相对隔离，完全沉浸在一个完全由计算机所产生的虚拟环境中，操作者的动作没有在虚拟环境中进行实时的体现，操作者也就无法观看自己的动作，不符合生活中人主要通过视觉反馈引导手完成操作行为，操作者看到的内容与运动过程不一致性，无法达到“看得准”就能“摸得准”的效果，模拟驾驶时的体感效果不佳，真实感不高。
因此，现有技术有待改进。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提供一种基于混合现实的多自由度驾驶模拟器，旨在提高模拟驾驶的真实体感效果，又相对于全实物模拟降低成本。
为实现上述目的，本发明采取了以下技术方案：
一种基于混合现实的多自由度驾驶模拟器，其中，包括：
控制终端、多自由度机械臂、座椅平台及混合现实眼镜；
所述控制终端与所述多自由度机械臂、座椅平台、混合现实眼镜电连接，所述座椅平台连接在所述多自由度机械臂的输出末端；
所述座椅平台内设置有座椅及与真实驾驶舱内相同的实物操作部件；
所述控制终端获取操作者对所述操作部件的操作动作，并根据所述操作动作控制所述多自由度机械臂进行多自由度的运动，从而带动所述座椅平台进行加速、匀速、减速、拐弯驾驶运动的模拟；
所述混合现实眼镜实时获取座椅平台内的实物视景，并实时跟踪获取所述操作者观察时的位置姿态信息；
所述控制终端还生成虚拟视景，所述虚拟视景为在驾驶过程中驾驶舱内外可观察到的图像，所述控制终端将所述实物视景及虚拟视景进行融合后得到融合视景并发送至所述混合现实眼镜进行显示，同时，所述控制终端根据操作者观察时的位置姿态信息，在所述混合现实眼镜中同步更新渲染与该位置姿态相匹配的融合视景。
其中，所述控制终端连接有动作捕捉传感器，用于捕捉操作者手脚动作的方向及力度。
其中，所述混合现实眼镜上配置有双目摄像头及惯性传感器；
所述双目摄像头用于实时拍摄座椅平台内的实物图像；
所述惯性传感器实时获取所述操作者的角速度及加速度。
其中，所述多自由度机械臂包括底座、水平面转台、第一连杆、竖直面转台、第二连杆、第三连杆，还包括及水平转动电机、第一连杆转动电机、竖直转动电机及第二连杆旋转电机；
所述底座与水平面转台转动连接，并通过安装在水平面转台上的水平转动电机驱动水平面转台相对底座在xy平面转动；
所述第一连杆的两端分别与水平面转台、竖直面转台转动连接，其一端通过安装在水平面转台上的第一连杆转动电机驱动第一连杆相对水平面转台在xz平面内转动，其另一端通过安装在竖直面转台上的竖直转动电机驱动竖直面转台相对第一连杆在xz平面内转动；
所述第二连杆的两端分别与竖直面转台、第三连杆转动连接，其与竖直面转台连接的一端通过安装在竖直面转台上的第二连杆旋转电机驱动第二连杆相对第二连杆的中心轴旋转；
所述第三连杆相对第二连杆在xz平面内转动，所述第三连杆远离第二连杆的一端与所述座椅平台连接。
其中，所述水平面转台上还设置有可上下摆动的伸缩缸，所述伸缩缸内设置有可伸出或回收的拉杆，所述拉杆的伸出端与所述第一连杆铰接。
其中，所述混合现实眼镜采用动态场景虚实融合定位算法实时跟踪获取所述操作者观察时的位置姿态信息，所述动态场景虚实融合定位算法包括：
S10，获取操作者头部姿态，包括：
S11，通过混合现实眼镜内的惯性传感器获取操作者的角速度及加速度；
S12，对混合现实眼镜内摄像头进行标定，并通过摄像头拍摄座椅平台内的实物图像；
S13，基于所述角速度、加速度及实物图像通过采用视觉惯性融合语义SLAM算法计算得到操作者的头部姿态；
S20，获取座椅平台的三维坐标，包括：
S21，对摄像头获取的实物图像进行标识物检测得到标识图；
S22，对所述标识图与混合现实眼镜显示屏的相对位姿进行计算得到座椅平台的三维坐标。
其中，所述视觉惯性融合语义SLAM算法包括：
S30，测量值预处理，包括：
S31，对惯性传感器获取的角速度及加速度进行预积分；
S32，对摄像头拍到的实物图像进行特征点检测和跟踪、图像语义分割、对特征点添加语义标签处理；
S40，初始化：
依据所述预积分及特征点进行视觉运动重构及视觉惯性对准；
S50，局部BA优化与重定位：
对S30中预处理后的数据及S40中初始化后的数据进行非线性的、紧耦合的、滑动窗口的视觉惯导BA优化；
S60，回环检测：对进行图像语义分割及对添加语义标签后的关键帧进行检索匹配，判断是否构成回环，消除累积误差；
S70，全局位姿图优化：对S50中局部BA优化与重定位及S60中回环检测后的图进行四自由度的位姿图优化。
其中，所述图像语义分割算法包括：
S81，使用一组具有弱标记的图像，根据分类数据集对编码器fenc进行训练，如公式所示：
Figure BDA0004091806490000051
其中，x为输入，y为输出，θenc表示fenc的参数，ec是分类的交叉熵损失，I为输入、输出组成的域；
S82，将编码器fenc应用于在注意力训练数据集上，过滤与它们的类标签无关的帧，并生成目标类的注意力地图；
S83，通过求解一个优化问题，在每一个相关的视频区间中，将注意力地图与颜色和运动提示相结合，进行时空对象分割并附上标签；
S84，用前一个阶段获得的分割标签对解码器fdec进行训练，如公式所示：
Figure BDA0004091806490000052
其中，v为速度，V为速度的集合，p为像素，P为像素的集合,c为切割变量，θdec为fdec的参数。
S85，通过应用整个编码器fenc、解码器fdec网络来实现静态图像的语义分割。
其中，所述多自由度机械臂的运动采用基于感知反馈的机械臂体感模拟算法进行控制，所述基于感知反馈的机械臂体感模拟算法采用人体的前庭模型作为感知，所述模拟算法具体包括：
定义耳石模型为：
Figure BDA0004091806490000053
其中，ta，ts，tL为耳石模型参数，k为增益因子；
定义半规管模型为：
Figure BDA0004091806490000061
其中，TL，Ts，Ta为半规管模型参数；
设置比力，利用平移低通通道、平移高通通道、耳石模型反馈通道输出座椅平台的实际位移；
设置角速度，利用旋转高通通道、半规管模型反馈通道输出座椅平台的实际角速度。
其中，所述多自由度机械臂在初始化阶段采用强化学习的Actor-Critic算法对机械臂的磨损误差进行自主纠正。
本发明的基于混合现实的多自由度驾驶模拟器，通过在座椅平台内设置真实的实物操作部件，通过混合现实眼镜将操作者的操作动作、实物操作部件与虚拟视景融合后显示，同时及时地将操作动作所对应的加速、匀速、减速、拐弯等运动体验通过多自由度机械臂输出，这样操作者能在融合后的视景中看到自己手脚的动作，操作者所观看到的内容与运动过程有高度的同步一致性，体感效果真实，产生驾驶实机的沉浸感。同时，由于无需使用全实物模拟，从而降低了成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于混合现实的多自由度驾驶模拟器组成示意图；
图2为本发明基于混合现实的多自由度驾驶模拟器实施例一的结构示意图；
图3为本发明多自由度机械臂与座椅平台的连接示意图；
图4为图3结构的分解示意图；
图5为座椅平台上升状态示意图；
图6为本发明动态场景虚实融合定位算法示意图；
图7为本发明视觉惯性融合语义SLAM算法示意图；
图8为本发明图像语义分割算法示意图；
图9为本发明基于感知反馈的机械臂体感模拟算法示意图。
附图标记说明：
100-模拟器，1-控制终端，2-多自由度机械臂，201-底座，202-水平面转台，203-第一连杆，204-竖直面转台，205-第二连杆，206-第三连杆，207-水平转动电机，208-第一连杆转动电机，209-竖直转动电机，210-第二连杆旋转电机，211-伸缩缸，212-拉杆，3-座椅平台，31-座椅，4-混合现实眼镜，41-摄像头，42-惯性传感器，5-动作捕捉传感器，200-操作者。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
请参考图1至图5，本发明提出一种基于混合现实的多自由度驾驶模拟器100，包括控制终端1、多自由度机械臂2、座椅平台3及混合现实眼镜4。
所述控制终端1与所述多自由度机械臂2、座椅平台3、混合现实眼镜(MR)4电连接，所述座椅平台3连接在所述多自由度机械臂2的输出末端。
所述座椅平台3内设置有座椅31及与真实驾驶舱内相同的实物操作部件。
所述实物操作部件可以根据模拟驾驶的项目进行适应性配置，如模拟汽车驾驶时实物操作部件包括方向盘、刹车、油门、离合器、换挡手杆等。同样，模拟飞机驾驶时在座椅平台内配置飞机驾驶舱内的操作部件。
本发明的多自由度机械臂2进行多自由度的运动包括沿x轴、y轴、z轴平移，绕x轴、y轴、z轴转动等运动。根据需要可以设置成5自由度或者6自由度的串联式机械臂。
现有技术中一般采用六个液压缸驱动的并联式运动平台，但是并联六自由度运动平台受到多个缸体运动行程及输出力的影响，无法持续输出装备实际需要的加速度，导致仿真可信度和实际体验下降。而本发明采用串联的多自由度机械臂2，具有更高的灵巧度、更大的运动范围、在工作空间内实现任何末端执行器姿态的可能性。
本发明的控制终端1获取操作者200对所述操作部件的操作动作，并根据所述操作动作控制所述多自由度机械臂2进行多自由度的运动，从而带动所述座椅平台3进行加速、匀速、减速、拐弯驾驶运动的模拟。本发明的控制终端1连接有动作捕捉传感器5，用于捕捉操作者200手脚动作的方向及力度，以获取方向盘、油门、变速、制动等实物操作部件的操作参数，如方向盘向右转30度，油门输入20％等。获得实物操作部件的操作参数后，控制终端1根据操作参数进行座椅平台3的位置和姿态解算，计算后进行机械臂2运动轨迹的规划及关节运动控制的执行，以实现座椅平台3的加速、匀速、减速、拐弯驾驶运动的模拟。
所述混合现实眼镜4实时获取座椅平台3内的实物视景，并实时跟踪获取所述操作者200观察时的位置姿态信。实物视景包括座椅平台3内实物操作部件、操作者200的手脚等。
所述控制终端1还生成虚拟视景，所述虚拟视景为在驾驶过程中驾驶舱内外可观看到的图像。驾驶舱为驾驶项目对应的虚拟舱，如汽车驾驶舱或飞机驾驶舱，驾驶过程中驾驶舱内外可观看的图像如舱内仪表，显示屏，舱外道路，景物等由控制终端1生成。
所述控制终端1将所述实物视景及虚拟视景进行融合后得到融合视景并发送至所述混合现实眼镜4进行显示。本发明的混合现实眼镜4上配置有双目摄像头41及惯性传感器42，所述双目摄像头41用于实时拍摄座椅平台3内的实物图像，所述惯性传感器42实时获取所述操作者200的角速度及加速度。
混合现实眼镜4的双目摄像头41采集座椅平台3内实物操作部件如方向盘、油门及人手等高清影像，然后控制终端1对采集的影像进行前景抽取、光影处理和三维重建与虚拟视景实时融合，融合过程对虚拟驾驶舱内的操作部件进行遮挡处理，将采集的实物操作部件及人手嵌入到虚拟实景内，从而实现虚实融合。
同时，本发明模拟器100的控制终端1根据操作者200观察时的位置姿态信息，在所述混合现实眼镜4中同步更新渲染与该位置姿态相匹配的融合视景。混合现实眼镜4的双目摄像头41及惯性传感器42实现***功能捕捉操作者200在座椅平台3内观察时的空间定位信息及姿态信息并实时更新与该位置姿态信息对应的视景，实现驾驶视角与虚拟视景的完美融合，操作者200能在融合的视景中实时地看到自己手脚的动作，观看到的内容与运动过程高度同步，达到“看得准”就能“摸得准”的效果，从而产生驾驶实机的沉浸感。
同时本发明模拟器100无需全实物模拟，只需真实模拟操作者200在驾驶过程真实观看、触碰的操作部件如方向盘，油门，刹车等，降低了设备成本。
具体地如图3和图4所示，所述多自由度机械臂2包括底座201、水平面转台202、第一连杆203、竖直面转台204、第二连杆205、第三连杆206，还包括及水平转动电机207、第一连杆转动电机208、竖直转动电机209及第二连杆旋转电机210。
所述底座201与水平面转台202转动连接，并通过安装在水平面转台202上的水平转动电机207驱动水平面转台202相对底座201在xy平面转动。水平面转台202带动整个机械臂2在水平面可做360度旋转。水平面转台202的转动为一个自由度。
所述第一连杆203的两端分别与水平面转台202、竖直面转台204转动连接，其一端通过安装在水平面转台202上的第一连杆转动电机208驱动第一连杆203相对水平面转台202在xz平面内转动，其另一端通过安装在竖直面转台204上的竖直转动电机209驱动竖直面转台204相对第一连杆203在xz平面内转动。第一连杆203两端的相对转动为两个自由度。
所述第二连杆205的两端分别与竖直面转台204、第三连杆206转动连接，其与竖直面转台204连接的一端通过安装在竖直面转台204上的第二连杆旋转电机201驱动第二连杆205相对第二连杆205的中心轴旋转。第二连杆205绕其中心轴的旋转为一个自由度。
所述第三连杆206相对第二连杆205在xz平面内转动，所述第三连杆206远离第二连杆205的一端与所述座椅平台3连接。第三连杆206相对第二连杆205的转动为一个自由度。
本实施例中，当第三连杆206与所述座椅平台3的连接为固定连接时整个多自由度机械臂2的运动为5个自由度，当第三连杆206与所述座椅平台3的连接为转动连接时则整个多自由度机械臂2的运动为6个自由度。多自由度运动的配合可实现座椅平台3的上下左右前后移动及倾斜并能体验加速、减速、转弯等体验。如图5所示为座椅平台3上升到高处的状态。
本发明实施例的水平转动电机207、第一连杆转动电机208、竖直转动电机209及第二连杆旋转电机210均可采用直流电机。
优选地，所述水平面转台202上还设置有可上下摆动的伸缩缸211，所述伸缩缸211内设置有可伸出或回收的拉杆212，所述拉杆212的伸出端与所述第一连杆203铰接。可伸缩的拉杆212的设置提高第一连杆203的支撑强度，提示整个机械臂2的稳定性。
本发明的混合现实眼镜4采用动态场景虚实融合定位算法实时跟踪获取所述操作者200观察时的位置姿态信息。
如图6所示，所述动态场景虚实融合定位算法包括：
S10，获取操作者200的头部姿态，具体包括：
S11，通过混合现实眼镜4内的惯性传感器42获取操作者200的角速度及加速度。
S12，对混合现实眼镜4内摄像头41进行标定，并通过摄像头41拍摄座椅平台内的实物图像。
S13，基于所述角速度、加速度及实物图像通过采用视觉惯性融合语义SLAM算法计算得到操作者200的头部姿态。SLAM即(Simultaneous Localization and Mapping),称为同步定位与地图构建。
头部姿态即三维空间中人的头部朝向，获取操作这的头部姿态也即获取操作者观察时的姿态。
S20，获取座椅平台3的三维坐标，具体包括：
S21，对摄像头41获取的实物图像进行标识物检测得到标识图。
S22，对所述标识图与混合现实眼镜4显示屏的相对位姿进行计算得到座椅平台3的三维坐标。
座椅平台3的三维坐标即操作者观察时在三维空间中的位置。
当获得操作者200的头部姿态及座椅平台3的三维坐标后即可计算得出操作者200观察时的位置姿态信息，然后根据该位置姿态信息进行虚实融合。
虚实融合具体是将座椅平台内部分真实的实物操作部件，如方向盘、换挡操作杆，以及操作者的手脚等能在驾驶舱内看到的真实物体与驾驶过程中驾驶舱内外的虚拟图像如，舱内仪表、舱外道路、景物等进行叠加融合。
具体地，如图7所示，本发明的视觉惯性融合语义SLAM算法包括：
S30，测量值预处理，具体包括：
S31，对惯性传感器获取的角速度及加速度进行预积分。
S32，对摄像头拍到的实物图像进行特征点检测和跟踪、图像语义分割、对特征点添加语义标签处理。
S40，初始化：
依据所述预积分及特征点进行视觉运动重构及视觉惯性对准。
S50，局部BA优化与重定位：
对S30中预处理后的数据及S40中初始化后的数据进行非线性的、紧耦合的、滑动窗口的视觉惯导BA优化，BA优化即Bundle Adjustment优化。
S60，回环检测：对进行图像语义分割及对添加语义标签后的关键帧进行检索匹配，判断是否构成回环，消除累积误差。
S70，全局位姿图优化：对S50中局部BA优化与重定位及S60中回环检测后的图进行四自由度的位姿图优化。
本发明的视觉惯性融合语义SLAM算法能提高头部姿态定位的精度。
具体地，如图8所示，本发明实施例的图像语义分割算法包括：
S81，使用一组具有弱标记的图像，根据分类数据集对编码器fenc进行训练，如公式所示：
Figure BDA0004091806490000131
其中，x为输入，y为输出，θenc表示fenc的参数，ec是分类的交叉熵损失，I为输入、输出组成的域。
S82，将编码器fenc应用于在注意力训练数据集上，过滤与它们的类标签无关的帧，并生成目标类的注意力地图。
S83，通过求解一个优化问题，在每一个相关的视频区间中，将注意力地图与颜色和运动提示相结合，进行时空对象分割并附上标签。
S84，用前一个阶段获得的分割标签对解码器fdec进行训练，如公式所示：
Figure BDA0004091806490000132
其中，v为速度，V为速度的集合，p为像素，P为像素的集合,c为切割变量，θdec为fdec的参数。
S85，通过应用整个编码器fenc、解码器fdec网络来实现静态图像的语义分割。
如图9所示，本发明多自由度机械臂2的运动采用基于感知反馈的机械臂体感模拟算法进行控制，所述基于感知反馈的机械臂体感模拟算法采用人体的前庭模型作为感知，模拟算法具体包括：
定义耳石模型为：
Figure BDA0004091806490000141
其中，ta，ts，tL为耳石模型参数，k为增益因子。
定义半规管模型为：
Figure BDA0004091806490000142
其中，TL，Ts，Ta为半规管模型参数。
设置比力，利用平移低通通道、平移高通通道、耳石模型反馈通道输出座椅平台的实际位移。平移低通通道使用平移低通滤波器，平移高通通道使用平移高通滤波器。
设置角速度，利用旋转高通通道、半规管模型反馈通道输出座椅平台的实际角速度。旋转高通通道使用旋转高通滤波器。
基于感知反馈的机械臂体感模拟算法由低通力滤波通道、高通力滤波通道和高通角滤波通道组成，分别产生相应的倾角、瞬间加速度和转动等，从而使在多自由度运动模拟器上产生逼真的运动感觉，同时加入人体的前庭模型作为感知，提升模拟的逼真度，使得机械臂2控制在小空间的运动范围内并使得操作者拥有真实的运动体验。
优选地，本发明模拟器100的多自由度机械臂2在初始化阶段采用强化学习的Actor-Critic算法对机械臂的磨损误差进行自主纠正。
本发明实施例提出的基于混合现实的多自由度驾驶模拟器，通过在座椅平台内设置真实的实物操作部件，通过混合现实眼镜将操作者的操作动作及实物操作部件与虚拟视景融合后显示，同时及时地将操作动作所对应的加速、匀速、减速、拐弯等运动体验通过多自由度机械臂输出，这样操作者能在融合后的视景中看到自己手脚的动作，操作者所观看到的内容与运动过程有高度的同步一致性，体感效果真实，产生驾驶实机的沉浸感。同时，由于无需使用全实物模拟，从而降低了成本。
以上所述仅为清楚地说明本发明所作的举例，并非因此限制本发明的专利范围，这里无法对所有的实施方式予以穷举，凡是在本发明的构思下，利用本发明技术方案中的内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于混合现实的多自由度驾驶模拟器，其特征在于，包括：
控制终端、多自由度机械臂、座椅平台及混合现实眼镜；
所述控制终端与所述多自由度机械臂、座椅平台、混合现实眼镜电连接，所述座椅平台连接在所述多自由度机械臂的输出末端；
所述座椅平台内设置有座椅及与真实驾驶舱内相同的实物操作部件；
所述控制终端获取操作者对所述操作部件的操作动作，并根据所述操作动作控制所述多自由度机械臂进行多自由度的运动，从而带动所述座椅平台进行加速、匀速、减速、拐弯驾驶运动的模拟；
所述混合现实眼镜实时获取座椅平台内的实物视景，并实时跟踪获取所述操作者观察时的位置姿态信息；
所述控制终端还生成虚拟视景，所述虚拟视景为在驾驶过程中驾驶舱内外可观察到的图像，所述控制终端将所述实物视景及虚拟视景进行融合后得到融合视景并发送至所述混合现实眼镜进行显示，同时，所述控制终端根据操作者观察时的位置姿态信息，在所述混合现实眼镜中同步更新渲染与该位置姿态相匹配的融合视景。
2.根据权利要求1所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述控制终端连接有动作捕捉传感器，用于捕捉操作者手脚动作的方向及力度。
3.根据权利要求1所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述混合现实眼镜上配置有双目摄像头及惯性传感器；
所述双目摄像头用于实时拍摄座椅平台内的实物图像；
所述惯性传感器实时获取所述操作者的角速度及加速度。
4.根据权利要求1所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述多自由度机械臂包括底座、水平面转台、第一连杆、竖直面转台、第二连杆、第三连杆，还包括及水平转动电机、第一连杆转动电机、竖直转动电机及第二连杆旋转电机；
所述底座与水平面转台转动连接，并通过安装在水平面转台上的水平转动电机驱动水平面转台相对底座在xy平面转动；
所述第一连杆的两端分别与水平面转台、竖直面转台转动连接，其一端通过安装在水平面转台上的第一连杆转动电机驱动第一连杆相对水平面转台在xz平面内转动，其另一端通过安装在竖直面转台上的竖直转动电机驱动竖直面转台相对第一连杆在xz平面内转动；
所述第二连杆的两端分别与竖直面转台、第三连杆转动连接，其与竖直面转台连接的一端通过安装在竖直面转台上的第二连杆旋转电机驱动第二连杆相对第二连杆的中心轴旋转；
所述第三连杆相对第二连杆在xz平面内转动，所述第三连杆远离第二连杆的一端与所述座椅平台连接。
5.根据权利要求4所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述水平面转台上还设置有可上下摆动的伸缩缸，所述伸缩缸内设置有可伸出或回收的拉杆，所述拉杆的伸出端与所述第一连杆铰接。
6.根据权利要求1所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述混合现实眼镜采用动态场景虚实融合定位算法实时跟踪获取所述操作者观察时的位置姿态信息，所述动态场景虚实融合定位算法包括：
S10，获取操作者头部姿态，包括：
S11，通过混合现实眼镜内的惯性传感器获取操作者的角速度及加速度；
S12，对混合现实眼镜内摄像头进行标定，并通过摄像头拍摄座椅平台内的实物图像；
S13，基于所述角速度、加速度及实物图像通过采用视觉惯性融合语义SLAM算法计算得到操作者的头部姿态；
S20，获取座椅平台的三维坐标，包括：
S21，对摄像头获取的实物图像进行标识物检测得到标识图；
S22，对所述标识图与混合现实眼镜显示屏的相对位姿进行计算得到座椅平台的三维坐标。
7.根据权利要求6所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述视觉惯性融合语义SLAM算法包括：
S30，测量值预处理，包括：
S31，对惯性传感器获取的角速度及加速度进行预积分；
S32，对摄像头拍到的实物图像进行特征点检测和跟踪、图像语义分割、对特征点添加语义标签处理；
S40，初始化：
依据所述预积分及特征点进行视觉运动重构及视觉惯性对准；
S50，局部BA优化与重定位：
对S30中预处理后的数据及S40中初始化后的数据进行非线性的、紧耦合的、滑动窗口的视觉惯导BA优化；
S60，回环检测：对进行图像语义分割及对添加语义标签后的关键帧进行检索匹配，判断是否构成回环，消除累积误差；
S70，全局位姿图优化：对S50中局部BA优化与重定位及S60中回环检测后的图进行四自由度的位姿图优化。
8.根据权利要求7所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述图像语义分割算法包括：
S81，使用一组具有弱标记的图像，根据分类数据集对编码器fenc进行训练，如公式所示：
Figure FDA0004091806470000041
其中，x为输入，y为输出，θenc表示fenc的参数，ec是分类的交叉熵损失，I为输入、输出组成的域；
S82，将编码器fenc应用于在注意力训练数据集上，过滤与它们的类标签无关的帧，并生成目标类的注意力地图；
S83，通过求解一个优化问题，在每一个相关的视频区间中，将注意力地图与颜色和运动提示相结合，进行时空对象分割并附上标签；
S84，用前一个阶段获得的分割标签对解码器fdec进行训练，如公式所示：
Figure FDA0004091806470000042
其中，v为速度，V为速度的集合，p为像素，P为像素的集合,c为切割变量，θdec为fdec的参数。
S85，通过应用整个编码器fenc、解码器fdec网络来实现静态图像的语义分割。
9.根据权利要求1所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述多自由度机械臂的运动采用基于感知反馈的机械臂体感模拟算法进行控制，所述基于感知反馈的机械臂体感模拟算法采用人体的前庭模型作为感知，所述模拟算法具体包括：
定义耳石模型为：
Figure FDA0004091806470000051
其中，ta，ts，tL为耳石模型参数，k为增益因子；
定义半规管模型为：
Figure FDA0004091806470000052
其中，TL，Ts，Ta为半规管模型参数；
设置比力，利用平移低通通道、平移高通通道、耳石模型反馈通道输出座椅平台的实际位移；
设置角速度，利用旋转高通通道、半规管模型反馈通道输出座椅平台的实际角速度。
10.根据权利要求1所述的基于混合现实的多自由度驾驶模拟器，其特征在于，所述多自由度机械臂在初始化阶段采用强化学习的Actor-Critic算法对机械臂的磨损误差进行自主纠正。
CN202310154487.8A 2023-02-10 2023-02-10 一种基于混合现实的多自由度驾驶模拟器 Pending CN116110270A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310154487.8A CN116110270A (zh) 2023-02-10 2023-02-10 一种基于混合现实的多自由度驾驶模拟器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310154487.8A CN116110270A (zh) 2023-02-10 2023-02-10 一种基于混合现实的多自由度驾驶模拟器

Publications (1)

Publication Number Publication Date
CN116110270A true CN116110270A (zh) 2023-05-12

Family

ID=86256044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310154487.8A Pending CN116110270A (zh) 2023-02-10 2023-02-10 一种基于混合现实的多自由度驾驶模拟器

Country Status (1)

Country Link
CN (1) CN116110270A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117193530A (zh) * 2023-09-04 2023-12-08 深圳达普信科技有限公司 基于虚拟现实技术的智能座舱沉浸式用户体验方法及***
CN117506940A (zh) * 2024-01-04 2024-02-06 中国科学院自动化研究所 机器人轨迹语言描述生成方法、装置和可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117193530A (zh) * 2023-09-04 2023-12-08 深圳达普信科技有限公司 基于虚拟现实技术的智能座舱沉浸式用户体验方法及***
CN117193530B (zh) * 2023-09-04 2024-06-11 深圳达普信科技有限公司 基于虚拟现实技术的智能座舱沉浸式用户体验方法及***
CN117506940A (zh) * 2024-01-04 2024-02-06 中国科学院自动化研究所 机器人轨迹语言描述生成方法、装置和可读存储介质
CN117506940B (zh) * 2024-01-04 2024-04-09 中国科学院自动化研究所 机器人轨迹语言描述生成方法、装置和可读存储介质

Similar Documents

Publication Publication Date Title
CN116110270A (zh) 一种基于混合现实的多自由度驾驶模拟器
CN105849771B (zh) 用于跟踪移动设备的方法和***
CN107209854A (zh) 用于支持顺畅的目标跟随的***和方法
Gans et al. A hardware in the loop simulation platform for vision-based control of unmanned air vehicles
CN109311639A (zh) 用于起重机、施工机械和/或托盘搬运车的遥控装置
US10146332B2 (en) Information processing device, information processing system, block system, and information processing method
CN103050028B (zh) 具有立体视觉随动功能的驾驶模拟器
CN104699247A (zh) 一种基于机器视觉的虚拟现实交互***及方法
KR102097180B1 (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
CN112652016A (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN107154197A (zh) 沉浸式飞行模拟器
JPH07311857A (ja) 画像合成表示装置およびシミュレーションシステム
CN110610547A (zh) 基于虚拟现实的座舱实训方法、***及存储介质
CN107134194A (zh) 沉浸式车辆模拟器
CN109891347A (zh) 用于模拟可移动物体状态的方法和***
CN111161586A (zh) 救援车仿真模拟训练装置及操作方法
CN108986223A (zh) 一种三维场景重建的方法与装置
CN109166181A (zh) 一种基于深度学习的混合动作捕捉***
KR101507014B1 (ko) 운송장치 시뮬레이션 시스템 및 그 제어방법
JP2022549562A (ja) 車両運転支援方法およびシステム
CN209821674U (zh) 多自由度虚拟现实运动装置
US10130883B2 (en) Information processing device and information processing method
CN113238556A (zh) 一种基于虚拟现实的水面无人船控制***及方法
CN208880729U (zh) 执法机器人
CN219303183U (zh) 一种基于混合现实的多自由度驾驶模拟器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination