CN106710362A - 使用虚拟现实设备进行的飞行训练方法 - Google Patents

使用虚拟现实设备进行的飞行训练方法 Download PDF

Info

Publication number
CN106710362A
CN106710362A CN201611079044.3A CN201611079044A CN106710362A CN 106710362 A CN106710362 A CN 106710362A CN 201611079044 A CN201611079044 A CN 201611079044A CN 106710362 A CN106710362 A CN 106710362A
Authority
CN
China
Prior art keywords
flight
virtual
environment
virtual reality
training method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611079044.3A
Other languages
English (en)
Inventor
杨青
许召辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Air China (shanghai) Co Ltd
Original Assignee
Air China (shanghai) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Air China (shanghai) Co Ltd filed Critical Air China (shanghai) Co Ltd
Priority to CN201611079044.3A priority Critical patent/CN106710362A/zh
Publication of CN106710362A publication Critical patent/CN106710362A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/12—Motion systems for aircraft simulators

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种使用虚拟现实设备进行的飞行训练方法，其包括下列步骤：步骤一，使用全景相机进行拍摄，获取在任意观察点能够提供水平方向上360度、垂直方向上180度自由浏览的全景视图，然后在软件平台中将获取的全景视图还原为全视角的画面内容；步骤二，在Unity三维引擎中搭建战场环境，将全景相机拍摄的全景图像纹理素材导入到虚拟环境中，并以贴图形式附着在环境模型表面，建立虚拟的全景飞行环境。本发明通过虚拟现实设备模拟飞行环境，参与者在逼真的飞行体验中达到飞行训练的目的，取得优秀训练效果的同时节约了训练成本。

Description

使用虚拟现实设备进行的飞行训练方法
技术领域
本发明涉及一种飞行训练方法，特别是涉及一种使用虚拟现实设备进行的飞行训练方法。
背景技术
虚拟现实(简称VR)技术在军事与航空领域正在展开丰富的应用，国内外已有相关组织机构正在进行相关的研发活动。例如，训练飞行员，战争模拟演习，空军体验招聘，空军教育与授课，空中加油训练，军医培训等。有多个国家已经投入了虚拟现实与军事的相关研究。然而现有的虚拟现实训练多采用计算机生成图像进行仿真，使用传统训练舱或多显示屏拼接等形式，造价昂贵，画面的真实感也较差，难以做到逼真的沉浸感。或采用旧式VR设备，搭配仿制座舱模型，不但增加了训练成本，且容易因硬件的落后导致眩晕等不适感。而近年来尤其是2016年起，VR头显的制造技术有了很大的发展，目前最新上市的虚拟现实头显在沉浸感方面做得较好，且使用感良好，基本无眩晕。通过特定软件能模拟各种在现实中难以布置的战场环境，并使用户能用双手与周围环境进行自然交互，得到身临其境的感受，以及更自由的活动空间，因此能够大大提高模拟训练的效率和效果，并节约下大笔训练成本。
发明内容
本发明所要解决的技术问题是提供一种使用虚拟现实设备进行的飞行训练方法，其过虚拟现实设备模拟飞行环境，参与者在逼真的飞行体验中达到飞行训练的目的，取得优秀训练效果的同时节约了训练成本。
本发明是通过下述技术方案来解决上述技术问题的：一种使用虚拟现实设备进行的飞行训练方法，其包括下列步骤：
步骤一，使用全景相机进行拍摄，获取在任意观察点能够提供水平方向上360度、垂直方向上180度自由浏览的全景视图，然后在软件平台中将获取的全景视图还原为全视角的画面内容；
步骤二，在Unity三维引擎中搭建战场环境，将全景相机拍摄的全景图像纹理素材导入到虚拟环境中，并以贴图形式附着在环境模型表面，建立虚拟的全景飞行环境；
步骤三，使用三维建模软件根据需要构建所需的座舱，仪表，控制器模型，然后将这些模型导入到三维引擎中，使模型与全景环境进行融合并进行手部交互接口的匹配，读取模型交互状态并随模型实时改变全景环境状态。
步骤四，使用VR手柄作为输入设备，通过VR手柄上的传感器和外部摄像头捕捉手部的动作，实现对手部动作的信号输入；
步骤五，架设虚拟双目摄像机，在Unity三维引擎中创建两个摄像机，两个摄像机之间的距离近似于人类双眼的间距，通过立体视觉原理，模拟出真实的3D立体影像；
步骤六，在Unity三维引擎中使用双目立体摄像机渲染输出VR图像，输出的VR图像导入计算机平台或高性能手机平台，计算机平台或高性能手机平台模拟飞行状态，通过VR头戴式显示器进行观看。
优选地，所述步骤三中的三维建模软件为3DsMax、Maya、AutoCAD其中任意一种。
优选地，所述步骤四中VR手柄通过按钮方式进行人机交互，并通过震动马达的方式实现反馈。
优选地，所述步骤五中的虚拟双目摄像机通过调节两个摄像机之间的距离增加立体感。
本发明的积极进步效果在于：本发明通过虚拟现实设备模拟飞行环境，参与者在逼真的飞行体验中达到飞行训练的目的，取得优秀训练效果的同时节约了训练成本。
附图说明
图1为本发明的方法开发流程图。
图2为本发明VR全景交互飞行训练***开发流程图。
图3为本发明中VR全景交互飞行训练***的原理图。
具体实施方式
下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。
如图1所示，本发明使用虚拟现实设备进行的飞行训练方法，其包括以下步骤：
步骤一，使用全景相机进行拍摄，获取在任意观察点能够提供水平方向上360度、垂直方向上180度自由浏览的全景视图，然后在软件平台中将获取的全景视图还原为全视角的画面内容；
步骤二，在Unity三维引擎中搭建战场环境，将全景相机拍摄的全景图像纹理素材导入到虚拟环境中，并以贴图形式附着在环境模型表面，建立虚拟的全景飞行环境；
步骤三，使用三维建模软件根据需要构建所需的座舱，仪表，控制器模型，然后将这些模型导入到三维引擎中，使模型与全景环境进行融合并进行手部交互接口的匹配，读取模型交互状态并随模型实时改变全景环境状态。
步骤四，使用VR手柄作为输入设备，通过VR手柄上的传感器和外部摄像头捕捉手部的动作，实现对手部动作的信号输入；
步骤五，架设虚拟双目摄像机，在Unity三维引擎中创建两个摄像机，两个摄像机之间的距离近似于人类双眼的间距，通过立体视觉原理，模拟出真实的3D立体影像；
步骤六，在Unity三维引擎中使用双目立体摄像机渲染输出VR图像，输出的VR图像导入计算机平台或高性能手机平台，计算机平台或高性能手机平台模拟飞行状态，通过VR头戴式显示器进行观看。
步骤三中的三维建模软件为3DsMax、Maya、AutoCAD其中任意一种，这样避免了固定软件三维建模的局限性。
步骤四中VR手柄通过按钮方式进行人机交互，并通过震动马达的方式实现反馈，这样增强使用者的沉浸感。
步骤五中的虚拟双目摄像机，通过调节两个摄像机之间的距离增加立体感，提高人眼看四周的模拟效果。
本发明目的在于研发一种全景VR飞行训练方法，使飞行员带上VR头戴式显示器后，获得真实感极强的沉浸式的飞行体验。VR图像来源于全景相机空中实拍，通过三维引擎处理后，飞行员能360度实时观察机身内外景观，并能用手势模拟操控座舱，获得绝佳的飞行体验，提高飞行员的战斗水平。
飞行视景全景仿真就是对人眼在战场环境中所看到的景象进行仿真，是虚拟现实技术的重要表现形式。本发明将实拍的全景环境作为输入，采用计算机图形技术，再现真实的飞行环境，同时使用手柄让士兵参与到虚拟飞行环境的交互，从而达到非常逼真的沉浸式效果。VR技术应用于模拟飞行***是未来飞行仿真技术的发展方向。VR通过计算机图形显示技术为核心的新技术，在计算机中生成逼真的视，听，触觉一体化的特定范围的虚拟环境。用户可以使用必要的硬件设备，如VR眼镜及头戴式显示器等，自然的与虚拟环境中的客体进行交互，相互影响，产生亲临现场的感受和体验。人作为一个环节参与到飞行模拟***中，接受仿真***提供的各种感官信息，经过判断和决策对***进行操纵和控制。
本发明具有以下的三个创新点：
一，全景：在虚拟飞行中，通过再现全景立体飞行环境图形图像，包括天气背景、地形环境、飞机设备等，可为使用者创造一个立体飞行环境，增强临场感。
二，交互：使用者可以使用双手对虚拟的飞机设备等进行操作，这些虚拟设备能够及时做出回应。而不是像观看三维动画那样，只能被动地接受信息或仅仅作为一个旁观者。
三，沉浸：虚拟***将参与者置于一种隔离的环境中，使其与现实世界彻底隔绝。参与者在虚拟飞行中，一切感觉都是极其的逼真。用户可以对飞机设备产生感性认识和理性认识。
综上所述，本发明通过虚拟现实设备模拟飞行环境，参与者在逼真的飞行体验中达到飞行训练的目的，取得优秀训练效果的同时节约了训练成本。
以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种使用虚拟现实设备进行的飞行训练方法，其特征在于，其包括下列步骤：
步骤一，使用全景相机进行拍摄，获取在任意观察点能够提供水平方向上360度、垂直方向上180度自由浏览的全景视图，然后在软件平台中将获取的全景视图还原为全视角的画面内容；
步骤二，在Unity三维引擎中搭建战场环境，将全景相机拍摄的全景图像纹理素材导入到虚拟环境中，并以贴图形式附着在环境模型表面，建立虚拟的全景飞行环境；
步骤三，使用三维建模软件根据需要构建所需的座舱，仪表，控制器模型，然后将这些模型导入到三维引擎中，使模型与全景环境进行融合并进行手部交互接口的匹配，读取模型交互状态并随模型实时改变全景环境状态。
步骤四，使用VR手柄作为输入设备，通过VR手柄上的传感器和外部摄像头捕捉手部的动作，实现对手部动作的信号输入；
步骤五，架设虚拟双目摄像机，在Unity三维引擎中创建两个摄像机，两个摄像机之间的距离近似于人类双眼的间距，通过立体视觉原理，模拟出真实的3D立体影像；
步骤六，在Unity三维引擎中使用双目立体摄像机渲染输出VR图像，输出的VR图像导入计算机平台或高性能手机平台，计算机平台或高性能手机平台模拟飞行状态，通过VR头戴式显示器进行观看。
2.如权利要求1所述的使用虚拟现实设备进行的飞行训练方法，其特征在于，所述步骤三中的三维建模软件为3DsMax、Maya、AutoCAD其中任意一种。
3.如权利要求1所述的使用虚拟现实设备进行的飞行训练方法，其特征在于，所述步骤四中的VR手柄通过按钮方式进行人机交互，并通过震动马达的方式实现反馈。
4.如权利要求1所述的使用虚拟现实设备进行的飞行训练方法，其特征在于，所述步骤五中的虚拟双目摄像机通过调节两个摄像机之间的距离增加立体感。
CN201611079044.3A 2016-11-30 2016-11-30 使用虚拟现实设备进行的飞行训练方法 Pending CN106710362A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611079044.3A CN106710362A (zh) 2016-11-30 2016-11-30 使用虚拟现实设备进行的飞行训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611079044.3A CN106710362A (zh) 2016-11-30 2016-11-30 使用虚拟现实设备进行的飞行训练方法

Publications (1)

Publication Number Publication Date
CN106710362A true CN106710362A (zh) 2017-05-24

Family

ID=58934105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611079044.3A Pending CN106710362A (zh) 2016-11-30 2016-11-30 使用虚拟现实设备进行的飞行训练方法

Country Status (1)

Country Link
CN (1) CN106710362A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172059A (zh) * 2018-02-28 2018-06-15 高振峰 一种基于虚拟现实方式警察警械武器使用训练方法
CN109656151A (zh) * 2018-12-21 2019-04-19 青岛科技大学 基于unity的盾构机智能换刀仿真***及实现方法
CN109903636A (zh) * 2019-03-20 2019-06-18 陈勇胜 一种战斗机飞行员便携式俯仰倾斜错觉矫正训练器
CN110021210A (zh) * 2019-03-26 2019-07-16 江苏航空职业技术学院 一种具有可扩展性虚拟空间的无人机vr训练方法
CN110148330A (zh) * 2019-05-09 2019-08-20 中国民航大学 一种基于虚拟现实的飞机航前绕机检查培训***
CN110459091A (zh) * 2019-08-26 2019-11-15 中仿智能科技（上海）股份有限公司 一种模拟飞行器的视景成像方法及***
CN110490969A (zh) * 2019-07-31 2019-11-22 天津大学 基于虚拟现实技术的秦代战车模拟驾驭***的设计方法
CN110536076A (zh) * 2018-05-23 2019-12-03 福建天晴数码有限公司 一种Unity全景视频录制的方法及终端
CN110610547A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 基于虚拟现实的座舱实训方法、***及存储介质
CN110889889A (zh) * 2019-11-12 2020-03-17 四川大学 应用在沉浸式显示设备中倾斜摄影建模数据生成方法
CN111354240A (zh) * 2018-12-05 2020-06-30 西安谷禾航空科技有限公司 一种基于vr的弹射和/或跳伞救生训练方法
CN112034733A (zh) * 2020-08-17 2020-12-04 广东工业大学 一种基于Unity3D的四旋翼无人机城市仿真方法
CN112585661A (zh) * 2018-06-26 2021-03-30 西门子股份公司 用于生成虚拟现实训练会话的方法和***
CN113851024A (zh) * 2021-10-26 2021-12-28 东北大学秦皇岛分校 基于vr的四旋翼无人机遥控器训练方法及***
CN115423949A (zh) * 2022-11-07 2022-12-02 山东捷瑞数字科技股份有限公司 基于三维引擎的空间图像转换三维模型的测量方法及***
CN117711239A (zh) * 2023-11-03 2024-03-15 中国人民解放军总医院第六医学中心 虚拟现实结合控制面板的生理数据测试显示方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
CN101251959A (zh) * 2008-02-04 2008-08-27 于辉 基于虚拟操作的通用飞行模拟器
CN101968890A (zh) * 2009-07-27 2011-02-09 西安费斯达自动化工程有限公司 基于球面显示的360°全景仿真***
KR101279869B1 (ko) * 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
KR101483105B1 (ko) * 2013-07-31 2015-01-16 한국항공우주산업 주식회사 낙하산강하 훈련모드기능이 구비된 비행시뮬레이터장치 및 그 제어방법
EP3067874A1 (de) * 2015-03-13 2016-09-14 Airbus Defence and Space GmbH Verfahren und vorrichtung zum testen eines in einem luftfahrzeug zu bedienenden geräts

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
CN101251959A (zh) * 2008-02-04 2008-08-27 于辉 基于虚拟操作的通用飞行模拟器
CN101968890A (zh) * 2009-07-27 2011-02-09 西安费斯达自动化工程有限公司 基于球面显示的360°全景仿真***
KR101279869B1 (ko) * 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
KR101483105B1 (ko) * 2013-07-31 2015-01-16 한국항공우주산업 주식회사 낙하산강하 훈련모드기능이 구비된 비행시뮬레이터장치 및 그 제어방법
EP3067874A1 (de) * 2015-03-13 2016-09-14 Airbus Defence and Space GmbH Verfahren und vorrichtung zum testen eines in einem luftfahrzeug zu bedienenden geräts

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄颖: "基于Unity3D虚拟现实技术的岳麓书院3D漫游设计", 《优秀硕士学位论文全文库》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172059A (zh) * 2018-02-28 2018-06-15 高振峰 一种基于虚拟现实方式警察警械武器使用训练方法
CN110536076A (zh) * 2018-05-23 2019-12-03 福建天晴数码有限公司 一种Unity全景视频录制的方法及终端
CN112585661A (zh) * 2018-06-26 2021-03-30 西门子股份公司 用于生成虚拟现实训练会话的方法和***
CN111354240A (zh) * 2018-12-05 2020-06-30 西安谷禾航空科技有限公司 一种基于vr的弹射和/或跳伞救生训练方法
CN109656151A (zh) * 2018-12-21 2019-04-19 青岛科技大学 基于unity的盾构机智能换刀仿真***及实现方法
CN109903636A (zh) * 2019-03-20 2019-06-18 陈勇胜 一种战斗机飞行员便携式俯仰倾斜错觉矫正训练器
CN109903636B (zh) * 2019-03-20 2020-03-31 陈勇胜 一种战斗机飞行员便携式俯仰倾斜错觉矫正训练器
CN110021210A (zh) * 2019-03-26 2019-07-16 江苏航空职业技术学院 一种具有可扩展性虚拟空间的无人机vr训练方法
CN110148330A (zh) * 2019-05-09 2019-08-20 中国民航大学 一种基于虚拟现实的飞机航前绕机检查培训***
CN110490969A (zh) * 2019-07-31 2019-11-22 天津大学 基于虚拟现实技术的秦代战车模拟驾驭***的设计方法
CN110459091A (zh) * 2019-08-26 2019-11-15 中仿智能科技（上海）股份有限公司 一种模拟飞行器的视景成像方法及***
CN110459091B (zh) * 2019-08-26 2021-10-22 中仿智能科技（上海）股份有限公司 一种模拟飞行器的视景成像方法及***
CN110610547A (zh) * 2019-09-18 2019-12-24 深圳市瑞立视多媒体科技有限公司 基于虚拟现实的座舱实训方法、***及存储介质
CN110610547B (zh) * 2019-09-18 2024-02-13 瑞立视多媒体科技(北京)有限公司 基于虚拟现实的座舱实训方法、***及存储介质
CN110889889A (zh) * 2019-11-12 2020-03-17 四川大学 应用在沉浸式显示设备中倾斜摄影建模数据生成方法
CN112034733A (zh) * 2020-08-17 2020-12-04 广东工业大学 一种基于Unity3D的四旋翼无人机城市仿真方法
CN113851024A (zh) * 2021-10-26 2021-12-28 东北大学秦皇岛分校 基于vr的四旋翼无人机遥控器训练方法及***
CN115423949A (zh) * 2022-11-07 2022-12-02 山东捷瑞数字科技股份有限公司 基于三维引擎的空间图像转换三维模型的测量方法及***
CN117711239A (zh) * 2023-11-03 2024-03-15 中国人民解放军总医院第六医学中心 虚拟现实结合控制面板的生理数据测试显示方法及装置

Similar Documents

Publication Publication Date Title
CN106710362A (zh) 使用虚拟现实设备进行的飞行训练方法
Greengard Virtual reality
Vince Essential virtual reality fast: how to understand the techniques and potential of virtual reality
Vince Introduction to virtual reality
Lele Virtual reality and its military utility
Vince Virtual reality systems
Craig Understanding augmented reality: Concepts and applications
KR102516124B1 (ko) 증강 및 가상 현실을 위한 시스템 및 방법
CN107016704A (zh) 一种基于增强现实的虚拟现实实现方法
US9159152B1 (en) Mapping between a capture volume and a virtual world in a motion capture simulation environment
CN106157359A (zh) 一种虚拟场景体验***的设计方法
CN107154197A (zh) 沉浸式飞行模拟器
CN207883156U (zh) 一种景区模拟飞行体验装置
CN109951718A (zh) 一种通过5g和vr技术可360度全景实时拍摄直播的方法
CN204406327U (zh) 基于三维体感摄影机的肢体康复模拟仿真训练***
Sooai et al. User perception on 3D stereoscopic cultural heritage ancient collection
Khurana et al. AI frame-worked virtual world application-the ramification of virtual world on real world
Watkins et al. Virtual Reality Excursions with programs in C
CN113941138A (zh) 一种ar交互控制***、装置及应用
Luna Introduction to virtual reality
Liu et al. Research on scene fusion and interaction method based on virtual reality technology
CN111369861A (zh) 一种基于虚拟现实技术的模拟战斗机驾驶***及方法
Li et al. Application of virtual reality and augmented reality technology in Teaching
Lecakes Jr The matrix revisited: A critical assessment of virtual reality technologies for modeling, simulation, and training
CN111913572B (zh) 用于用户劳动学习的人机交互***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170524