JP2020012968A - シミュレータ用映像表示システム - Google Patents

シミュレータ用映像表示システム Download PDF

Info

Publication number
JP2020012968A
JP2020012968A JP2018134935A JP2018134935A JP2020012968A JP 2020012968 A JP2020012968 A JP 2020012968A JP 2018134935 A JP2018134935 A JP 2018134935A JP 2018134935 A JP2018134935 A JP 2018134935A JP 2020012968 A JP2020012968 A JP 2020012968A
Authority
JP
Japan
Prior art keywords
image
simulated
video
camera
simulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018134935A
Other languages
English (en)
Other versions
JP7519754B2 (ja
Inventor
和司 竹田
Kazuji Takeda
和司 竹田
浩二 藤本
Koji Fujimoto
浩二 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Precision Co Ltd
Original Assignee
Mitsubishi Precision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Precision Co Ltd filed Critical Mitsubishi Precision Co Ltd
Priority to JP2018134935A priority Critical patent/JP7519754B2/ja
Publication of JP2020012968A publication Critical patent/JP2020012968A/ja
Application granted granted Critical
Publication of JP7519754B2 publication Critical patent/JP7519754B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

【課題】仮想空間の映像に操縦操作を撮影した現実映像を重畳するためのシステムを容易に構成することが可能なシミュレータ用映像表示システムを提供する。【解決手段】航空機シミュレータ用の模擬操縦席と、模擬操縦装置101と、模擬映像作成手段102と、頭部装着具103と、頭部装着具103に取り付けたカメラ104と、模擬映像作成手段102が作成した仮想空間映像の所定領域にカメラ104が撮影した現実映像を重畳する映像重畳手段105と、頭部装着具103の装着者の両眼を覆うように装着して映像重畳手段105が重畳する合成映像を表示する表示装置106とからなる。【選択図】図1

Description

本発明は、シミュレータ装置の操作時に操作者が頭部に装着してシミュレーション映像を表示する映像表示システムに関するものである。
例えば、飛行機の操縦訓練において、実機を用いることなく、訓練者がみる仮想空間を映像生成手段により生成し、訓練者はこの映像が示す情景に応じて操縦するようにして、仮想空間内で飛行機を運用する。この際、訓練者は、仮想空間の映像を表示する映像表示装置を頭部に装着し、操縦者の視界を外界から遮断し、操縦装置を操作する。そのために装着する機器をヘッドマウントディスプレイ(以下、“HMD”ということがある。)という。
操縦者がみる仮想空間は、飛行機の操縦席前方と操縦席からみる機外の情景であり、機外の情景は操縦に伴う移動する飛行機の位置に応じた操縦席からみた情景であるが、操縦席前方の操縦桿、計器板等を含む操縦機器部分の映像は操縦機器の操作に応じて生成されなければ操縦操作と操縦者が視認する映像表示とに違和感が生じることがある。
そのため、本願発明者は、HMDにカメラを搭載し、そのカメラで操縦機器を撮影し、その映像と仮想空間の映像とを合成することを提案する。
初期には、仮想空間内にHMDのカメラによる現実映像を重畳するために、現実空間に配置したマーカないし色を基に重畳していた。
ところが、現実空間にマーカないし色を配置するため、システムが大掛かりなものとなってしまう。
特開昭62−4699号公報
解決しようとする問題点は、仮想空間の映像に操縦操作を撮影した現実映像を重畳するためのシステムが大掛かりなものとなる点である。
本発明の請求項1に係るシミュレータ用映像表示システムは、航空機シミュレータ用の模擬操縦席と、模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像の所定領域に前記カメラが撮影した現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするものである。
本発明の請求項2に係る移動体シミュレータ用の模擬操縦席と、移動体例えば電車あるいは自動車用の模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像の所定領域に前記カメラが撮影した現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするシミュレータ用映像表示システム。
本発明の請求項1に係るシミュレータ用映像表示システムは、模擬映像作成手段が作成した仮想空間映像の所定領域に前記カメラが撮影した現実映像を重畳する映像重畳手段を備えるから、仮想空間映像の所定領域の指定が仮想空間で容易に指定することができ、システムが大掛かりとならずに構成することができる利点がある。
本発明の請求項2に係るシミュレータ用映像表示システムは、模擬映像作成手段が作成した仮想空間映像の所定領域に前記カメラが撮影した現実映像を重畳する映像重畳手段を備えるから、仮想空間映像の所定領域の指定が仮想空間で容易に指定することができ、システムが大掛かりとならずに構成することができる利点がある。
本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図である。 映像の合成の一例を説明する図である。 本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図である。 映像の合成の一例を説明する図である。
(航空機シミュレータへの応用)
図1は、本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図であって、101は航空機シミュレータ用の模擬操縦席に備えられる操縦桿、計器板等の模擬操縦装置、102は模擬操縦装置101の操作状況に応じて設定する領域を模擬移動するときに変化する情景の模擬映像を作成する模擬映像作成手段、103は頭部装着具、104は前記頭部装着具に取り付けた動画用のカメラ、105は模擬映像作成手段102が作成した仮想空間映像に前記カメラ104が撮影した現実映像を重畳する映像重畳手段、106は前記頭部装着具103の装着者の両眼を覆うように装着して前記映像重畳手段105が重畳する合成映像を表示する表示装置、107は本発明装置全体を制御する制御部(コンピュータにより構成される)である。
模擬映像作成手段102が作成する映像は模擬操縦席から頭部装着具103を装着した操縦者がみることができる範囲の映像であり、その可能な範囲から操縦者が装着する表示装置106の表示面に頭部装着具103または表示装置106が向いている方向に応じた映像が操縦者からみることになる。
頭部装着具103は例えばヘルメットであり、所定の基準方向からの変位を測定する図示しない測定器を備える。カメラ104は頭部装着具103が向いている方向を撮影する。操縦者は模擬操縦装置101の前に座り、表示装置106の表示映像を見ながら模擬操縦装置101を操作する。このとき、カメラ104が模擬操縦装置101の方向を撮影していれば、その映像を模擬映像作成手段102が作成する操縦席内の情景および航空機窓外の情景に重畳する。
模擬映像作成手段102が作成する情景の中に、カメラ104の映像を重畳する所定の領域がある場合は、その領域(合成領域)を特定の識別信号または色信号としておく。模擬映像作成手段102が作成する情景は、模擬操縦席に座った操縦者からみる情景であるから、その視点は模擬操縦席から所定の高さであり、そこからみる重畳すべき模擬操縦装置101の位置は模擬映像作成手段102が作成する仮想空間において一定の位置に設定することができる。その仮想空間の一定の位置の信号を特定の識別信号または色信号としておくのである。
映像重畳手段105は模擬映像作成手段102が作成した仮想空間映像にある特定の識別信号または色信号が所定の領域(合成領域)に前記カメラ104が撮影した現実映像を重畳して合成する。
表示装置106は前記映像重畳手段105が重畳する合成映像を頭部装着具103からの測定方向に応じてその方向に見た映像を表示する。
図2により、映像の合成を説明する。
図2(a)は、模擬映像作成手段102が、あらかじめ設定した仮想空間内で模擬航空機を飛行させるときの操縦席と飛行状況に応じた飛行機窓外を操縦席からみた情景を作成したときの映像の一例である。さらに、模擬映像作成手段102はこの映像の操縦装置の部分について特定の識別信号または色信号を設定しておく。設定する操縦装置の部分すなわち合成領域(図2(a)において、破線の閉曲線201aで示す)は、仮想空間を設定する際にあらかじめ定めておく。
図2(b)はカメラ104が撮影した実写映像の一例であり、操縦席前方ある計器板、操縦桿、タッチパネル等の模擬操縦装置101が撮影されている。この映像は操縦席からのものであるから、航空機の操縦状況にかかわらず、模擬操縦装置101とカメラ104との距離はほとんど一定であり、ピント調節、ズーム等は必要ない。
図2(c)は合成映像の一例であり、図(a)の映像に図(b)の映像を映像重畳手段105により重畳した合成映像の一例である。模擬映像作成手段102で作成される映像の姿勢は現実映像を撮影するカメラ104の姿勢でみている方向が一致する。映像重畳手段105は、模擬映像作成手段102が作成した模擬映像の合成領域をカメラ104が撮影した映像に置き換えて、合成画像を得る。図2(c)においてカメラ104の映像を破線の閉曲線201aで示しているが、表示装置106には表示されない。
カメラ104で撮像した映像は模擬映像作成手段102の合成領域を透き通って模擬映像と合成されるから、模擬操縦装置101を操作する状況がカメラ104から撮影されて表示装置106から見ることができ、その模擬操縦装置101の操作状況の模擬映像を作成する必要がない。
(電車または自動車等の移動体シミュレータへの応用)
図3は、本発明に係るシミュレータ用映像表示システムの一実施例を示すブロック図であって、301は移動体シミュレータ用の模擬操縦席に備えられる運転操作機器、計器板等の模擬操縦装置、302は模擬操縦装置301の操作状況に応じて設定する領域を模擬移動するときに変化する情景の模擬映像を作成する模擬映像作成手段、303は頭部装着具、304は前記頭部装着具に取り付けた動画用のカメラ、305は模擬映像作成手段302が作成した仮想空間映像に前記カメラ304が撮影した現実映像を重畳する映像重畳手段、306は前記頭部装着具303の装着者の両眼を覆うように装着して前記映像重畳手段305が重畳する合成映像を表示する表示装置、307は本発明装置全体を制御する制御部(コンピュータにより構成される)である。
模擬映像作成手段302が作成する映像は模擬操縦席から頭部装着具303を装着した操縦者がみることができる範囲の映像であり、その可能な範囲から操縦者が装着する表示装置306の表示面に頭部装着具303または表示装置306が向いている方向に応じた映像が操縦者からみることになる。
頭部装着具303は例えばヘルメットであり、所定の基準方向からの変位を測定する図示しない測定器を備える。カメラ304は頭部装着具303が向いている方向を撮影する。操縦者は模擬操縦装置301の前に座り、表示装置306の表示映像を見ながら模擬操縦装置301を操作する。このとき、カメラ304が模擬操縦装置301の方向を撮影していれば、その映像を模擬映像作成手段302が作成する操縦席内の情景および移動体窓外の情景に重畳する。
模擬映像作成手段302が作成する情景の中に、カメラ304の映像を重畳する所定の領域がある場合は、その領域(合成領域)を特定の識別信号または色信号としておく。模擬映像作成手段302が作成する情景は、模擬操縦席に座った操縦者からみる情景であるから、その視点は模擬操縦席から所定の高さであり、そこからみる重畳すべき模擬操縦装置301の位置は模擬映像作成手段302が作成する仮想空間において一定の位置に設定することができる。その仮想空間の一定の位置の信号を特定の識別信号または色信号としておくのである。
映像重畳手段305は模擬映像作成手段302が作成した仮想空間映像にある特定の識別信号または色信号が所定の領域(合成領域)に前記カメラ304が撮影した現実映像を重畳して合成する。
表示装置306は前記映像重畳手段305が重畳する合成映像を頭部装着具303からの測定方向に応じてその方向に見た映像を表示する。
図4により、映像の合成を説明する。図4は自動車のシミュレータの場合を示す。
図4(a)は、模擬映像作成手段302が、あらかじめ設定した仮想空間内で模擬自動車を走行させるときの運転席と運転状況に応じた車両窓外を運転席(操縦席)からみた情景例えば道路上交差点付近の映像を作成したときの一例である。さらに、模擬映像作成手段302はこの映像の操縦装置の部分について特定の識別信号または色信号を設定しておく。設定する操縦装置の部分すなわち合成領域(図4(a)において、破線の閉曲線401aで示す)は、仮想空間を設定する際にあらかじめ定めておく。
図4(b)はカメラ304が撮影した実写映像の一例であり、操縦席前方ある計器板、ハンドル、タッチパネル等の模擬操縦装置301が撮影されている。この映像は操縦席からのものであるから、移動体の操縦状況にかかわらず、模擬操縦装置301とカメラ304との距離はほとんど一定であり、ピント調節、ズーム等は必要ない。
図4(c)は合成映像の一例であり、図4(a)の映像に図4(b)の映像を映像重畳手段305により重畳した合成映像の一例である。模擬映像作成手段302で作成される映像の姿勢は現実映像を撮影するカメラ304の姿勢でみている方向が一致する。映像重畳手段305は、模擬映像作成手段302が作成した模擬映像の合成領域をカメラ304が撮影した映像に置き換えて、合成画像を得る。図4(c)においてカメラ304の映像を破線の閉曲線401aで示しているが、表示装置306には表示されない。
カメラ304で撮像した映像は模擬映像作成手段302の合成領域を透き通って模擬映像と合成されるから、模擬操縦装置301を操作する状況がカメラ304から撮影されて表示装置306から見ることができ、その模擬操縦装置301の操作状況の模擬映像を作成する必要がない。
電車のシミュレータに応用する場合は、図4に相当する図は窓外に線路が表示され、カメラにより撮影された運転装置の映像が、模擬映像作成手段(図3の模擬映像作成手段302に相当する。)が作成した映像に合成される。
101 模擬操縦装置
102 模擬映像作成手段
103 頭部装着具
104 カメラ
105 映像重畳手段
106 表示装置
107 制御部

Claims (2)

  1. 航空機シミュレータ用の模擬操縦席と、模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像の所定領域に前記カメラが撮影した現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするシミュレータ用映像表示システム。
  2. 移動体シミュレータ用の模擬操縦席と、模擬操縦装置と、模擬映像作成手段と、頭部装着具と、前記頭部装着具に取り付けたカメラと、模擬映像作成手段が作成した仮想空間映像の所定領域に前記カメラが撮影した現実映像を重畳する映像重畳手段と、前記頭部装着具の装着者の両眼を覆うように装着して前記映像重畳手段が重畳する合成映像を表示する表示装置とからなることを特徴とするシミュレータ用映像表示システム。

JP2018134935A 2018-07-18 2018-07-18 シミュレータ用映像表示システム Active JP7519754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018134935A JP7519754B2 (ja) 2018-07-18 2018-07-18 シミュレータ用映像表示システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018134935A JP7519754B2 (ja) 2018-07-18 2018-07-18 シミュレータ用映像表示システム

Publications (2)

Publication Number Publication Date
JP2020012968A true JP2020012968A (ja) 2020-01-23
JP7519754B2 JP7519754B2 (ja) 2024-07-22

Family

ID=69170992

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018134935A Active JP7519754B2 (ja) 2018-07-18 2018-07-18 シミュレータ用映像表示システム

Country Status (1)

Country Link
JP (1) JP7519754B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022154860A (ja) * 2021-03-30 2022-10-13 三菱プレシジョン株式会社 画像生成装置及び画像生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
JPH10282877A (ja) * 1997-04-08 1998-10-23 Canon Inc 画像生成方法、画像生成装置、シュミレーションシステム、及び記憶媒体
JP2000061144A (ja) * 1998-08-25 2000-02-29 Namco Ltd 画像生成装置、ゲーム装置及び情報記憶媒体
JP2000506632A (ja) * 1996-12-20 2000-05-30 シーメンス アクチエンゲゼルシヤフト 少なくとも一人の乗員のための情報表示システム
JP2017196312A (ja) * 2016-04-28 2017-11-02 株式会社バンダイナムコエンターテインメント シミュレーションシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101279869B1 (ko) 2012-03-23 2013-06-28 국방과학연구소 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
JP6176131B2 (ja) 2014-01-28 2017-08-09 豊田合成株式会社 半導体装置の製造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
JP2000506632A (ja) * 1996-12-20 2000-05-30 シーメンス アクチエンゲゼルシヤフト 少なくとも一人の乗員のための情報表示システム
JPH10282877A (ja) * 1997-04-08 1998-10-23 Canon Inc 画像生成方法、画像生成装置、シュミレーションシステム、及び記憶媒体
JP2000061144A (ja) * 1998-08-25 2000-02-29 Namco Ltd 画像生成装置、ゲーム装置及び情報記憶媒体
JP2017196312A (ja) * 2016-04-28 2017-11-02 株式会社バンダイナムコエンターテインメント シミュレーションシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022154860A (ja) * 2021-03-30 2022-10-13 三菱プレシジョン株式会社 画像生成装置及び画像生成方法
JP7286113B2 (ja) 2021-03-30 2023-06-05 三菱プレシジョン株式会社 画像生成装置及び画像生成方法

Also Published As

Publication number Publication date
JP7519754B2 (ja) 2024-07-22

Similar Documents

Publication Publication Date Title
US9202385B2 (en) Method for training a crew member of a, in particular, military vehicle
JP6026088B2 (ja) 遠隔操作システム
CA2891377C (en) Method and device for the combined simulation and control of remote-controlled vehicles using a user-friendly projection system
KR101279869B1 (ko) 두부 장착형 디스플레이를 이용한 비행 시뮬레이터 영상 시현 장치 및 방법
KR20170005971A (ko) 증강현실 기술을 이용한 특수 차량 훈련용 시뮬레이터시스템 및 그 방법
KR20120044461A (ko) 융합 현실을 이용한 가상 훈련 장치 및 방법
CN106163872A (zh) 用于显示信息的设备和方法
CN104781873A (zh) 图像显示装置、图像显示方法、移动装置、图像显示***、以及计算机程序
JP4614456B2 (ja) 再帰性反射材、投影装置、航空機、および航空機用シミュレータ
US11151775B2 (en) Image processing apparatus, display system, computer readable recoring medium, and image processing method
CN105911696A (zh) 一种虚拟现实映像装置以及一体式虚拟现实设备
Van Erp et al. Vibrotactile waypoint navigation at sea and in the air: two case studies
JP2020012968A (ja) シミュレータ用映像表示システム
US10567744B1 (en) Camera-based display method and system for simulators
Ernst et al. Implementation of a mixed-reality flight simulator: blending real and virtual with a video-see-through head-mounted display
KR101892238B1 (ko) Hmd를 이용한 시뮬레이션 시스템 및 그 제어방법
KR101772431B1 (ko) Hmd와 크로마키 기술을 이용한 운전 시뮬레이션시스템
JP2020031413A (ja) 表示装置、移動体、移動体制御システム、これらの製造方法、および映像の表示方法
KR20170009304A (ko) 항공 시뮬레이션 장치
CN112673620B (zh) 用于辅助驾驶飞行器的光电装备
RU2695480C1 (ru) Способ исключения эффекта разделения изображения рамками мониторов визуализации внекабинной обстановки авиационных тренажеров
Lueken et al. Virtual cockpit instrumentation using helmet mounted display technology
JPH08322064A (ja) ヘッドマウントディスプレイ装置
DE19906244A1 (de) Vorrichtung zur elektrischen realen Raumbildvermittlung ferngelenkter selbstbeweglicher Vorrichtungen
KR20150131745A (ko) 원근법에 의한 교통수단의 3d 가상훈련 화면 구현 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220524

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220623

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220713

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220902

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240709