JP2023173299A - フライトシミュレーションシステム - Google Patents

フライトシミュレーションシステム Download PDF

Info

Publication number
JP2023173299A
JP2023173299A JP2022085459A JP2022085459A JP2023173299A JP 2023173299 A JP2023173299 A JP 2023173299A JP 2022085459 A JP2022085459 A JP 2022085459A JP 2022085459 A JP2022085459 A JP 2022085459A JP 2023173299 A JP2023173299 A JP 2023173299A
Authority
JP
Japan
Prior art keywords
flight simulation
head
user
haptic device
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022085459A
Other languages
English (en)
Inventor
浩 藤澤
Hiroshi Fujisawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2022085459A priority Critical patent/JP2023173299A/ja
Priority to US18/140,802 priority patent/US20230386357A1/en
Priority to EP23173532.5A priority patent/EP4283594A1/en
Publication of JP2023173299A publication Critical patent/JP2023173299A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/24—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer including display or recording of simulated flight path
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/307—Simulation of view from aircraft by helmet-mounted projector or display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/165—Condition of cabin, cockpit or pilot's accessories
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30—Simulation of view from aircraft
    • G09B9/301—Simulation of view from aircraft by computer-processed or -generated image
    • G09B9/302—Simulation of view from aircraft by computer-processed or -generated image the image being transformed by computer processing, e.g. updating the image to correspond to the changing point of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】安価で、且つ、汎用性に優れたフライトシミュレーションシステムを提供する。【解決手段】フライトシミュレーションシステムは、仮想現実画像を表示するヘッドマウントディスプレイと、現実空間において配置される触覚デバイスと、制御装置とを備え、触覚デバイスは、触覚デバイスに対するユーザの接触位置を検出する接触センサと、接触位置を振動させるバイブレーターとを有し、制御装置は、プロセッサと、複数の機種に関し、各機種の操縦室に設置された複数の操作部の座標位置を表す座標データを記憶するメモリと、を有し、プロセッサは、触覚デバイスにユーザが接触した場合、接触位置をバイブレーターにより振動させることと、座標データおよび接触位置に基づいて、選択された機種の複数の操作部のうち、接触位置に対応する１つの操作部を特定することとを含む処理を実行する。【選択図】図２

Description

本発明は、フライトシミュレーションシステムに関する。
従来のフライトシミュレーションシステムには、ドーム型スクリーンを持つフライトシミュレーションシステムがある。ドーム型スクリーンを持つフライトシミュレーションシステムは、ドーム内に航空機の操縦席を再現し、実際の航空機の飛行を正確に模擬体験することができる。一方で、ドーム型スクリーンを持つフライトシミュレーションシステムは、設置するために一定の広さの空間を要し、また、システム自体が高価なものであった。そこで、小型で、且つ、安価で、実際の航空機の飛行を模擬体験する技術がある。例えば、特許文献１のように、ヘッドマウントディスプレイを利用したフライトシミュレーションシステムである。
特表２０２１－５１３１２２号公報
上記特許文献１に記載の従来のヘッドマウントディスプレイを利用したフライトシミュレーションシステムは、操縦輪やラダーペダル、スイッチ等のＨＭＩ（Ｈｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅ）の物理的な入力部を備える。しかしながら、航空機は、機種によって、計器盤や各種スイッチ等の操作部の配置が異なる場合がある。そのため、異なる機種の航空機のフライトシミュレーションを実行する場合、航空機の機種ごとにＨＭＩを準備する必要があり、１つのフライトシミュレーションシステムで、複数の機種の航空機に対応することに限界があった。
そこで、本発明は、安価で、且つ、汎用性に優れたフライトシミュレーションシステムを提供することを目的とする。
上記課題を解決するために、本発明の一実施形態に係るフライトシミュレーションシステムは、
航空機の複数の機種に関するフライトシミュレーションを実行可能に構成されたフライトシミュレーションシステムであって、
ユーザに装着可能であり、仮想空間における航空機の操縦室を表す仮想現実画像を表示するヘッドマウントディスプレイと、
現実空間において、前記仮想現実画像の前記操縦室に設置された複数の操作部に対応する位置に配置される触覚デバイスと、
前記ヘッドマウントディスプレイおよび前記触覚デバイスを用いた前記フライトシミュレーションを制御する制御装置と、
を備え、
前記触覚デバイスは、
前記触覚デバイスに対する前記ユーザの接触位置を検出する接触センサと、
前記接触位置を振動させるバイブレーターと、
を有し、
前記制御装置は、
プロセッサと、
前記複数の機種に関し、各機種の前記操縦室に設置された前記複数の操作部の座標位置を表す座標データを記憶するメモリと、
を有し、
前記プロセッサは、
前記複数の機種の中から前記ユーザによって選択された１つの機種のフライトシミュレーションを実行することと、
前記選択された１つの機種の前記複数の操作部が描画された前記仮想現実画像を、前記ヘッドマウントディスプレイに表示させることと、
前記触覚デバイスに前記ユーザが接触した場合、前記接触位置を前記バイブレーターにより振動させることと、
前記選択された１つの機種の前記座標データおよび前記接触位置に基づいて、前記選択された１つの機種の前記複数の操作部のうち、前記接触位置に対応する１つの操作部を特定することと、
前記特定された１つの操作部に対する操作を、前記選択された１つの機種のフライトシミュレーションに反映させることと、
を含む処理を実行する。
本発明によれば、安価で、且つ、汎用性に優れたフライトシミュレーションシステムを提供することができる。
図１は、第１の実施形態に係るフライトシミュレーションシステムの全体構成を示す概略図である。 図２は、第１の実施形態に係るフライトシミュレーションシステムの使用態様の一例を示す斜視図である。 図３は、第１の実施形態に係るフライトシミュレーションシステムで表示される仮想現実画像の一例を示す概略図である。 図４は、第１の実施形態に係るフライトシミュレーションシステムの機能構成の一例を示すブロック図である。 図５は、第１の実施形態に係る制御装置によるフライトシミュレーション制御処理を示すフローチャートである。 図６は、第２の実施形態に係るフライトシミュレーションシステムの機能構成の一例を示すブロック図である。 図７は、第２の実施形態に係るフライトシミュレーションシステムの使用態様の一例を示す斜視図である。 図８は、第２の実施形態に係る制御装置によるフライトシミュレーション制御処理を示すフローチャートである。 図９は、第２の実施形態に係る制御装置による座標位置補正処理を示すフローチャートである。
以下に添付図面を参照しながら、本発明の実施形態について詳細に説明する。かかる実施形態に示す具体的な寸法、材料、数値等は、発明の理解を容易にするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
［１．第１の実施形態に係るフライトシミュレーションシステムの全体構成］
まず、図１、図２、図３を参照して、本発明の第１の実施形態に係るフライトシミュレーションシステム１の全体構成について説明する。図１は、第１の実施形態に係るフライトシミュレーションシステム１の全体構成を示す概略図である。図２は、第１の実施形態に係るフライトシミュレーションシステム１の使用態様の一例を示す斜視図である。図３は、第１の実施形態に係るフライトシミュレーションシステム１で表示される仮想現実画像４００の一例を示す概略図である。
フライトシミュレーションシステム１は、航空機の複数の機種に関するフライトシミュレーションを実行可能に構成される。図１および図２に示すように、フライトシミュレーションシステム１は、制御装置１０と、ヘッドマウントディスプレイ２０と、触覚デバイス３０と、操縦輪４０と、ラダーペダル５０と、操縦席６０とを備える。
制御装置１０は、例えば、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン等で構成されてもよい。制御装置１０は、ヘッドマウントディスプレイ２０、触覚デバイス３０、操縦輪４０、および、ラダーペダル５０と、有線または無線で相互に通信可能に接続される。制御装置１０は、ヘッドマウントディスプレイ２０および触覚デバイス３０を用いたフライトシミュレーションを制御する。フライトシミュレーションは、航空機などの飛行の操縦訓練または搭乗体験などをするために飛行状況を模擬することである。本実施形態に係るフライトシミュレーションでは、例えば、特定の航空機の飛行状況を仮想空間において再現し、現実空間のユーザ２の操作に応じて、仮想空間上で航空機４０２の模擬飛行を実行する。現実空間は、フライトシミュレーションシステム１が実際に設置される空間である。仮想空間は、コンピュータ等の演算によって作り出された、コンピュータ上の人工的な空間である。制御装置１０は、例えば、現実空間のユーザ２の操作に応じて、仮想空間において再現された航空機４０２の模擬飛行を制御する。制御装置１０は、プロセッサ１２と、プロセッサ１２に接続されたメモリ１４とを有する。
プロセッサ１２は、コンピュータに搭載される演算処理装置である。プロセッサ１２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で構成されるが、その他のマイクロプロセッサで構成されてもよい。また、プロセッサ１２は、１つまたは複数のプロセッサで構成されてもよい。プロセッサ１２は、メモリ１４または他の記憶媒体に記憶されているプログラムを実行することにより、制御装置１０における各種の処理が実行される。
メモリ１４は、プログラムおよびその他の各種データを記憶する記憶媒体である。メモリ１４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。ＲＯＭは、プロセッサ１２が使用するプログラム、およびプログラムを動作させるためのデータ等を記憶する不揮発性メモリである。ＲＡＭは、プロセッサ１２により実行される処理に用いられる変数、演算パラメータ、演算結果等のデータを一時記憶する揮発性メモリである。ＲＯＭに記憶されたプログラムは、ＲＡＭに読み出され、ＣＰＵなどのプロセッサ１２により実行される。
ヘッドマウントディスプレイ２０は、ユーザ２の頭部の装着可能な表示デバイスである。図２に示すように、例えば、ヘッドマウントディスプレイ２０は、ユーザ２の視界を完全に覆うように装着可能な非透過型の表示装置である。ヘッドマウントディスプレイ２０は、制御装置１０と通信可能に接続されており、制御装置１０から情報を受信し、ユーザ２に対してフライトシミュレーションに関する画像を表示する。例えば、ヘッドマウントディスプレイ２０は、仮想現実画像４００を表示する。図３に示すように、仮想現実画像４００は、仮想空間における航空機４０２の操縦室４０４を表す画像である。例えば、仮想現実画像４００は、操縦室４０４の室内に設置された複数の操作部４１１、４１２、４１３、４１４、４１５（以下、総称して単に「操作部４１０」ということがある。）を表す画像や、計器盤４２０を表す画像などを含む。
操作部４１０は、航空機４０２の操縦室４０４内に配置される各種の操作装置である。具体的には、操作部４１０は、航空機４０２の飛行制御、操縦、または航空機４０２の運航に関連するその他の制御などに用いられる各種の操作具、デバイスである。操作部４１０は、例えば、航空機４０２の操縦に用いられるスイッチ、レバー、ノブ（つまみ）またはボタン等の物理的な操作具であってもよいし、これらの物理的な操作具を疑似的に表示するタッチパネル等であってもよい。例えば、操作部４１０は、押しボタンスイッチ、スナップスイッチ、ロッカスイッチ、ロータリースイッチ、スライドスイッチ等であってもよい。計器盤４２０は、航空機４０２に設けられる各種センサ等によって計測された値を可視化する表示装置である。
また、仮想現実画像４００は、例えば、操縦室４０４の室内を表す画像の他に、操縦室４０４から見える航空機４０２の外部環境４０６（図２中においてハッチングで表す。）を表す画像を含む。外部環境４０６は、仮想空間における航空機４０２の外部の環境であり、例えば、操縦室４０４から視認可能な上空または地上の風景等である。
図１に戻り、ヘッドマウントディスプレイ２０は、外部カメラ２２と、姿勢センサ２４を有する。外部カメラ２２は、撮像部の一例であり、例えば、可視光カメラで構成される。また、外部カメラ２２は、可視光カメラに限定されず、例えば、近赤外線カメラ等で構成されてもよい。外部カメラ２２は、例えば、ヘッドマウントディスプレイ２０の外側の正面前方に設置され、現実空間におけるヘッドマウントディスプレイ２０の周辺環境を撮像する。外部カメラ２２は、ユーザ２の操縦席６０の周辺環境を撮像する。例えば、外部カメラ２２は、ユーザ２の前方の環境を中心に撮像する。
姿勢センサ２４は、例えば、ジャイロセンサ、角速度センサ、加速度センサ等である。姿勢センサ２４は、ヘッドマウントディスプレイ２０の内部に設置される。姿勢センサ２４は、ヘッドマウントディスプレイ２０を装着したユーザ２の頭部の各種の動き、姿勢、向きなどを検出する。例えば、ヘッドマウントディスプレイ２０を装着したユーザ２が、顔を右側に向けた場合、姿勢センサ２４によって、当該姿勢を検出し、制御装置１０に姿勢の情報を送信する。
触覚デバイス３０は、振動、力、動き、熱または静電気などの触感によって、ユーザ２に皮膚感覚フィードバックを与えることが可能な装置である。触覚デバイス３０は、例えば、矩形板状のタッチパネルで構成される。１つまたは複数の触覚デバイス３０は、ユーザ２が着座する操縦席６０の周囲に配置される。例えば、図２の例では、触覚デバイス３０は、操縦席６０の前方に１つ、操縦席６０の右側に２つの計３つ配置されるが、これに限定されない。触覚デバイス３０は、２つ以下、または、４つ以上配置されてもよい。また、触覚デバイス３０は、例えば、操縦席６０の前方上方に配置されてもよく、あるいは、操縦席６０の左側に配置されてもよい。触覚デバイス３０は、現実空間において、仮想現実画像４００の操縦室４０４に設置された複数の操作部４１０に対応する位置に配置される。
例えば、図２に示すように、触覚デバイス３０は、操縦席６０に対向する位置もしくは操縦席６０の右側の位置に配置される。例えば、仮想空間において、ユーザ２が着座する操縦席の位置から図３に示す操作部４１１、４１２、４１３、４１４、４１５の座標位置までの距離および方向と、現実空間において、ユーザ２が着座する操縦席６０の位置から図２に示す操作部設定位置３１１、３１２、３１３、３１４、３１５（以下、総称して単に「操作部設定位置３１０」ということがある。）までの距離および方向が同一になるように、触覚デバイス３０が設置される。操作部設定位置３１０は、現実空間における座標位置であって、触覚デバイス３０の表面のうちの特定位置を表す座標位置である。触覚デバイス３０の表面に設定される複数の操作部設定位置３１０はそれぞれ、仮想空間における複数の操作部４１０の座標位置に対応している。
ここで、座標位置について説明する。本実施形態に係るフライトシミュレーションシステム１では、仮想現実画像４００に描画される航空機４０２の操縦室４０４の複数の操作部４１０のそれぞれの３次元座標位置（仮想空間）が設定される。この３次元座標位置（仮想空間）は、特定の第１基準位置を原点としたＸＹＺ軸座標であってよい。このような仮想現実画像４００における複数の操作部４１０の３次元座標位置（仮想空間）はそれぞれ、現実空間における実際の航空機の操縦室に配置された複数の操作部の３次元座標位置（現実空間）と対応する位置に設定される。ここで、上記特定の第１基準位置は、例えば、操縦席６０の中央の位置でもよく、航空機４０２の操縦室４０４の中央の位置でもよい。
そして、仮想現実画像４００における複数の操作部４１０の３次元座標位置（仮想空間）のそれぞれに対応して、現実空間における触覚デバイス３０の表面に操作部設定位置３１０（現実空間の３次元座標位置）が設定される。操作部設定位置３１０（現実空間の３次元座標位置）は、触覚デバイス３０の表面上における特定の第２基準位置を原点としたＸＹＺ軸座標であってよい。特定の第２基準位置は、例えば、触覚デバイス３０の表面中央の位置でもよく、触覚デバイス３０の四隅のいずれかの位置でもよい。
図１に戻り、触覚デバイス３０は、接触センサ３２と、バイブレーター３４と、液晶ディスプレイ３６を有する。接触センサ３２は、触覚デバイス３０の表面に設置される。接触センサ３２は、触覚デバイス３０に対するユーザ２が接触した位置である接触位置を検出する。例えば、ユーザ２の手指が触覚デバイス３０の表面に接触すると、接触センサ３２は、当該接触位置を検出し、制御装置１０に接触位置の情報を送信する。
バイブレーター３４は、触覚デバイス３０の内部に１つまたは複数配置される。バイブレーター３４は、例えば、触覚デバイス３０の表面上において、複数のバイブレーター３４が、縦横に所定間隔で配列されてもよい。バイブレーター３４は、接触センサ３２によって検出された接触位置を振動させる。例えば、ユーザ２の手指が触覚デバイス３０に触れた場合、接触センサ３２によって検出された接触位置、もしく、接触位置付近にあるバイブレーター３４が振動する。
液晶ディスプレイ３６は、表示部の一例である。液晶ディスプレイ３６は、触覚デバイス３０の表面に設置される。液晶ディスプレイ３６は、制御装置１０から送信された情報を受信し、当該情報に関する画像を表示する。
操縦輪４０は、フライトシミュレーションでユーザ２が航空機４０２を操縦するための操作具である。操縦輪４０は、操縦席６０の前方に配置される。例えば、ユーザ２が両手で操縦輪４０を把持できるように、操縦輪４０には把持部が設けられている。操縦輪４０は、制御装置１０と通信可能に接続される。ユーザ２により操縦輪４０が操作されると、当該操縦輪４０の操作内容を表す情報が制御装置１０に送信され、制御装置１０は、当該操縦輪４０の操作内容をフライトシミュレーションに反映される。ユーザ２は、操縦輪４０を押込むもしくは引く操作を行うと、フライトシミュレーションで飛行する航空機４０２の機体を上昇もしくは降下させることができる。また、ユーザ２は、操縦輪４０に対して回転操作を行うと、フライトシミュレーションで飛行する航空機４０２の機体を旋回させることができる。なお、ここでは航空機４０２を操縦するための操作具を操縦輪として説明したが、これに限らず操縦桿であってもよい。
ラダーペダル５０は、フライトシミュレーションでユーザ２が航空機４０２を操縦するための操作具である。ラダーペダル５０は、操縦席６０の前方下方に配置される。例えば、ユーザ２が足でラダーペダル５０を踏み込む操作ができるように、ラダーペダル５０にはペダルが設けられている。ラダーペダル５０は、制御装置１０と通信可能に接続される。ユーザ２によりラダーペダル５０が操作されると、当該ラダーペダル５０の操作内容を表す情報が制御装置１０に送信され、制御装置１０は、当該ラダーペダル５０の操作内容をフライトシミュレーションに反映される。ユーザ２は、ラダーペダル５０を踏み込む操作を行うと、フライトシミュレーションで飛行する航空機４０２の機首の方向を変更することができる。
操縦席６０は、フライトシミュレーションを実行中にユーザ２が着座するための椅子である。操縦席６０は、例えば、フライトシミュレーション専用の椅子であってもよいし、一般的な椅子であってもよい。操縦席６０は、触覚デバイス３０、操縦輪４０、ラダーペダル５０と対向する位置に隣接して配置される。これにより、操縦席６０に着座したユーザ２は、自身の手足を用いて、触覚デバイス３０、操縦輪４０、ラダーペダル５０を操作することができる。
［２．第１の実施形態に係るフライトシミュレーションシステムの機能構成］
次に、図４を参照して、第１の実施形態に係るフライトシミュレーションシステム１の機能構成について説明する。図４は、第１の実施形態に係るフライトシミュレーションシステム１の機能構成の一例を示すブロック図である。
図４に示すように、制御装置１０は、制御部１００と、表示制御部１０２と、接触位置取得部１０４と、判定部１０６と、振動制御部１０８と、座標位置データベース１１０を含む。
座標位置データベース１１０は、予めメモリ１４に記憶される。座標位置データベース１１０には、第１座標データと、第２座標データと、操作部４１０の識別情報とが関連付けられている。プロセッサ１２は、第１座標データ、第２座標データ、操作部４１０の識別情報のうちいずれか１つの情報を用いて、座標位置データベース１１０を検索することにより、当該１つの情報に関連付けられた他の情報を一意に導出することができる。座標位置データベース１１０は、航空機の機種ごとに、第１座標データと、第２座標データと、操作部４１０の識別情報とが関連付けられたテーブルを有する。
第１座標データは、航空機の複数の機種に関し、各機種の仮想空間における航空機４０２の操縦室４０４に設置された複数の操作部４１０の座標位置（仮想空間）を表す座標データである。例えば、本実施形態に係る第１座標データは、図３に示す仮想現実画像４００に含まれる複数の操作部４１０のそれぞれの座標位置を表す。
第２座標データは、現実空間の触覚デバイス３０の表面における座標位置（現実空間）であって、上記複数の操作部４１０の座標位置（仮想空間）に対応する座標位置（現実空間）を表す座標データである。より具体的には、本実施形態に係る第２座標データは、図２に示す触覚デバイス３０の表面上における操作部設定位置３１０の座標位置（現実空間）を表す。現実空間における複数の操作部設定位置３１１、３１２、３１３、３１４、３１５（現実空間）は、仮想現実画像４００における複数の操作部４１１、４１２、４１３、４１４、４１５の座標位置（仮想空間）にそれぞれ対応している。
操作部４１０の識別情報は、複数の操作部４１０のそれぞれを特定するための識別情報である。操作部４１０の識別情報は、複数の操作部４１０のそれぞれに対して生成される識別番号、識別記号などであってもよい。航空機の機種ごとに、操縦室４０４に設置される複数の操作部４１０の種類や設置数は異なるので、操作部４１０の識別情報は、航空機の機種ごとに設定される。この識別情報により、航空機４０２の各機種の操縦室４０４に設置された複数の操作部４１０のそれぞれを一意に特定することができる。
制御部１００は、フライトシミュレーションを制御する。制御部１００は、例えば、複数の機種の中から、ユーザ２によって選択された１つの機種のフライトシミュレーションを実行する。例えば、制御部１００は、ユーザ２によって選択された１つの機種の航空機４０２の模擬飛行を、仮想空間で再現し、制御する。制御部１００は、例えば、ユーザ２による触覚デバイス３０、操縦輪４０、ラダーペダル５０等の操作に応じて、当該操作内容を、実行中のフライトシミュレーションの飛行動作に反映させる。また、制御部１００は、例えば、仮想空間において、航空機４０２以外の外的環境を制御する。外的環境は、航空機４０２の飛行に影響し得る環境条件であり、例えば、天候や気温、風速等である。
表示制御部１０２は、フライトシミュレーションに関する画像をヘッドマウントディスプレイ２０に表示させる。例えば、表示制御部１０２は、図２に示した仮想現実画像４００をヘッドマウントディスプレイ２０に表示させる。表示制御部１０２は、例えば、ユーザ２によって選択された機種の操縦室４０４に配置された複数の操作部４１０が描画された仮想現実画像４００を、ヘッドマウントディスプレイ２０に表示させる。
また、表示制御部１０２は、例えば、姿勢センサ２４による検出結果に基づいて、仮想現実画像４００の操縦室４０４の表示態様を変更する。具体的には、表示制御部１０２は、ヘッドマウントディスプレイ２０を装着しているユーザ２の頭部の各種の動き、姿勢、向きなどに連動して、ヘッドマウントディスプレイ２０に表示されている仮想現実画像４００の操縦室４０４の表示態様を変更する。例えば、ヘッドマウントディスプレイ２０を装着したユーザ２が操縦席６０に着座して正面を向いている場合、表示制御部１０２は、仮想空間における操縦室４０４のうち操縦席の正面に視認される領域を表す仮想現実画像４００を、ヘッドマウントディスプレイ２０に表示させる。そして、ヘッドマウントディスプレイ２０を装着したユーザ２が操縦席６０に着座して右側を向いた場合、表示制御部１０２は、仮想空間における操縦室４０４のうち操縦席の右側に視認される領域を表す仮想現実画像４００を、ヘッドマウントディスプレイ２０に表示させる。なお、ユーザ２が左側、後側、上側、もしくは、下側を向いた場合も、同様に、操縦室４０４のうち操縦席の左側、後側、上側、もしくは、下側に視認される領域を表す仮想現実画像４００を表示させる。このように、表示制御部１０２は、例えば、姿勢センサ２４で検出したユーザ２の頭部の各種の動き、姿勢、向きなどに連動して、仮想空間における航空機４０２の操縦室４０４の３６０度の全方向の仮想現実画像４００を表示させることが可能となる。これにより、フライトシミュレーションにおけるユーザ２の没入感を向上させることができる。
接触位置取得部１０４は、接触センサ３２から第２座標データを取得する。接触位置取得部１０４は、例えば、触覚デバイス３０の表面にある操作部設定位置３１０にユーザ２の手指が接触した場合に、当該接触位置に対応する操作部設定位置３１０の第２座標データを、接触センサ３２から取得する。例えば、触覚デバイス３０の表面における特定の操作部設定位置３１１にユーザ２の手指が接触した場合、接触センサ３２は、当該接触位置である操作部設定位置３１１の座標位置を検出し、操作部設定位置３１１の第２座標データを制御装置１０に送信する。そして、接触位置取得部１０４は、接触センサ３２により送信された操作部設定位置３１１の第２座標データを取得する。この第２座標データを取得することにより、フライトシミュレーション中にユーザ２がどの操作部４１０を操作したかを特定することができる。
判定部１０６は、例えば、触覚デバイス３０の接触センサ３２の検出結果に基づいて、触覚デバイス３０に対してユーザ２の手指が接触したか否かを判定する。例えば、判定部１０６は、触覚デバイス３０の表面に設定された複数の操作部設定位置３１０のうちのいずれかに対し、ユーザ２の手指が接触したか否かを判定する。例えば、触覚デバイス３０の表面における特定の操作部設定位置３１１にユーザ２の手指が接触した場合、接触センサ３２は、当該接触位置である操作部設定位置３１１の座標位置を検出し、操作部設定位置３１１の第２座標データを制御装置１０に送信する。そして、判定部１０６は、接触センサ３２より操作部設定位置３１１の第２座標データが送信された場合、操作部設定位置３１１にユーザ２の手指が接触したと判定する。
また、判定部１０６は、座標位置データベース１１０および接触位置（操作部設定位置３１０）に基づいて、当該接触位置に対応する操作部４１０および操作部４１０の座標位置を特定する。詳細には、判定部１０６は、接触位置取得部１０４により取得された接触位置に対応する第２座標データを用いて、ユーザ２によって選択された１つの機種の座標位置データベース１１０を検索し、当該第２座標データに関連付けられた１つの操作部４１０の識別情報と第１座標データを検出し、当該１つの操作部４１０および当該１つの操作部４１０の座標位置を特定する。ここで、１つの操作部４１０とは、ユーザ２によって選択された１つの機種の操縦室４０４に配置された複数の操作部４１０のうち、接触位置（操作部設定位置３１０）に対応する１つの操作部４１０である。
例えば、判定部１０６は、ユーザ２が図２に示す触覚デバイス３０の操作部設定位置３１１に接触した場合、接触位置に対応する操作部４１０として、図３に示す仮想現実画像４００の操作部４１１および操作部４１１の座標位置を特定する。詳細には、ユーザ２が操作部設定位置３１１に接触した場合、接触位置取得部１０４は、現実空間における接触位置である操作部設定位置３１１の第２座標データを取得する。そして、判定部１０６は、第２座標データを用いて、座標位置データベース１１０を検索し、当該第２座標データに関連付けられた操作部４１１の識別情報および第１座標データを取得する。そして、判定部１０６は、当該操作部４１１の識別情報および第１座標データに基づいて、操作部４１１および操作部４１１の座標位置を特定する。
また、判定部１０６は、例えば、接触位置取得部１０４により取得された第２座標データを用いて、座標位置データベース１１０を検索し、当該第２座標データに対応する操作部４１０の識別情報と第１座標データが、座標位置データベース１１０に登録されているか否かを判定してもよい。この結果、もし当該第１座標データが登録されていなければ、触覚デバイス３０に対するユーザ２の接触は、操作部４１０に対する操作ではないと判定することができる。
振動制御部１０８は、バイブレーター３４の振動を制御する。振動制御部１０８は、触覚デバイス３０の表面にユーザ２が接触した場合、触覚デバイス３０の表面のうち当該接触位置をバイブレーター３４により振動させる。例えば、振動制御部１０８は、触覚デバイス３０におけるユーザ２の接触位置に対応する１つの操作部４１０が特定された場合に、当該接触位置をバイブレーター３４により振動させる。
また、振動制御部１０８は、触覚デバイス３０にユーザ２が接触した場合、接触位置から特定された、仮想空間における１つの操作部４１０の種類に応じて、バイブレーター３４による振動態様を変更してもよい。例えば、振動制御部１０８は、接触位置から特定された１つの操作部４１０が押しボタンスイッチである場合、ボタンを押込んだ際と、ボタンから離す際のタイミングでバイブレーター３４を２回振動させる。また、振動制御部１０８は、接触位置から特定された１つの操作部４１０がスナップスイッチである場合、スナップスイッチを傾ける際のタイミングでバイブレーター３４を１回振動させる。
［３．第１の実施形態に係るフライトシミュレーションシステムの処理フロー］
次に、図５を参照して、第１の実施形態に係るフライトシミュレーションシステム１の制御装置１０による処理フローについて説明する。図５は、第１の実施形態に係る制御装置１０によるフライトシミュレーション制御処理を示すフローチャートである。
図５に示すように、ユーザ２は、複数の機種の中から、フライトシミュレーション対象の航空機の機種を選択する（ステップＳ１００）。そして、制御部１００は、ユーザ２によって選択された１つの機種を、フライトシミュレーションを実行する機種として設定する。
次に、表示制御部１０２は、ユーザ２によって選択された１つの機種について、操縦室４０４に配置された複数の操作部４１０が描画された仮想現実画像４００をメモリ１４から取得する。次いで、表示制御部１０２は、取得した仮想現実画像４００をヘッドマウントディスプレイ２０に表示させる（ステップＳ１０２）。
その後、制御部１００は、選択された機種によるフライトシミュレーションを開始する（ステップＳ１０４）。このフライトシミュレーションの実行中は、制御部１００および表示制御部１０２は、ヘッドマウントディスプレイ２０に表示される仮想現実画像４００の内容を、シミュレーション内容やユーザ２による操作内容に応じて変化させる。
フライトシミュレーションが開始されると、判定部１０６は、ユーザ２が触覚デバイス３０の表面にある操作部設定位置３１０に接触したか否かを判定する（ステップＳ１０６）。
その結果、ユーザ２が触覚デバイス３０に接触していないと判定した場合（ステップＳ１０６におけるＮＯ）、処理をステップＳ１１６に移す。一方で、ユーザ２が触覚デバイス３０に接触したと判定した場合（ステップＳ１０６におけるＹＥＳ）、接触位置取得部１０４は、当該接触位置に対応する操作部設定位置３１０の第２座標データを、接触センサ３２から取得する（ステップＳ１０８）。例えば、ユーザ２が接触した接触位置が操作部設定位置３１１である場合、接触位置取得部１０４は、接触位置である操作部設定位置３１１の第２座標データを、接触センサ３２から取得する。
その後、判定部１０６は、ステップＳ１０８で取得した接触位置に対応する操作部設定位置３１０の第２座標データと座標位置データベース１１０に基づいて、接触位置に対応する操作部４１０および操作部４１０の座標位置を特定する（ステップＳ１１０）。
その後、制御部１００は、当該特定された１つの操作部４１０に対する操作を、選択された機種のフライトシミュレーションに反映させる（ステップＳ１１２）。
制御部１００は、例えば、ユーザ２の接触位置が操作部設定位置３１０である場合、当該操作部設定位置３１０に対応する操作部４１０が操作されたと判断して、当該操作部４１０に対する操作内容を、実行中のフライトシミュレーションの飛行動作に反映させる。例えば、操作部４１１が航空機４０２の特定の動作を実行するスイッチである場合、制御部１００は、現実空間の操作部設定位置３１１にユーザ２が接触すると、操作部４１１が操作されたと判断して、実行中のフライトシミュレーションの飛行動作に当該特定の動作を反映させる。例えば、仮想空間における操作部４１１がエンジンスターターに関するスイッチであり、かつ、操作部４１１がオフの状態である場合、制御部１００は、現実空間の操作部設定位置３１１にユーザ２が接触すると、操作部４１１を、オフからオンに切り替える。そして、制御部１００は、操作部４１１がオンに操作されたと判断して、仮想空間における航空機４０２のエンジンを始動させるようにフライトシミュレーションの飛行動作に反映させる。また、表示制御部１０２は、特定された１つの操作部４１０に対する操作を、仮想現実画像４００に反映し、ヘッドマウントディスプレイ２０に表示させる。例えば、表示制御部１０２は、仮想空間における操作部４１１がオフである場合、現実空間の操作部設定位置３１１にユーザ２が接触すると、仮想空間における操作部４１１がオフからオンに切り替わった仮想現実画像４００を、ヘッドマウントディスプレイ２０に表示させる。
その後、振動制御部１０８は、触覚デバイス３０の接触位置を、当該特定された操作部４１０の種類に応じたバイブレーター３４の振動態様で、振動させる（ステップＳ１１４）。
ステップＳ１０６においてユーザ２が触覚デバイス３０に接触していないと判定した場合（ステップＳ１０６におけるＮＯ）、もしくは、ステップＳ１１４において触覚デバイス３０を振動させた場合、制御部１００は、フライトシミュレーションが終了したか否かを判定する（ステップＳ１１６）。その結果、フライトシミュレーションが終了していないと判定した場合（ステップＳ１１６におけるＮＯ）、処理をステップＳ１０６から繰り返し、フライトシミュレーションを継続する。一方で、フライトシミュレーションが終了したと判定した場合（ステップＳ１１６におけるＹＥＳ）、フライトシミュレーション制御処理を終了する。
以上のように、第１の実施形態に係るフライトシミュレーションシステム１によれば、予め、航空機４０２の複数の機種に関し、各機種の仮想空間における航空機４０２の操縦室４０４に設置された複数の操作部４１０の座標位置を表す第１座標データが記憶されている。そして、ユーザ２が選択した機種のフライトシミュレーションを実行中に、ユーザ２が触覚デバイス３０に接触した場合、制御装置１０は、第１座標データと第２座標データとが予め関連付けられた座標位置データベース１１０と、実際の接触位置を表す第２座標データとに基づいて、ユーザ２が操作した操作部４１０を特定することができる。これにより、同一のフライトシミュレーションシステム１において、操作部４１０の配置が異なる機種のフライトシミュレーションを実行する場合であっても、同一の触覚デバイス３０を用いて、異なる機種の複数の操作部４１０を疑似的に再現することが可能となる。このように、複数の機種のうち、１つの機種のフライトシミュレーションを実行する際に、当該機種に対応したハードウェアを準備する必要がなくなるため、安価で、且つ、汎用性に優れたフライトシミュレーションシステムを提供することができる。
また、第１の実施形態に係るフライトシミュレーションシステム１によれば、触覚デバイス３０の表面にユーザ２が接触した場合、振動制御部１０８は、当該接触位置をバイブレーター３４によって振動させる。これにより、仮想現実画像４００に表示されている操作部４１０をユーザ２が操作した場合に、当該操作部４１０の操作が実行されたことを、振動によってユーザ２に伝えることができ、ユーザ２が仮想空間の操作部４１０を確実に操作することが可能となる。
また、第１の実施形態に係るフライトシミュレーションシステム１によれば、振動制御部１０８は、触覚デバイス３０にユーザ２が接触した場合、接触位置から特定された、仮想空間における１つの操作部４１０の種類に応じて、バイブレーター３４による振動態様を変更する。これにより、振動態様によって、仮想空間におけるどの操作部４１０を操作したかをユーザ２が容易に理解することができ、フライトシミュレーションにおける触覚デバイス３０に対する操作性や、操作部４１０のリアリティーを向上することができる。
［４．第２の実施形態に係るフライトシミュレーションシステムの機能構成］
次に、図６および図７を参照して、本発明の第２の実施形態に係るフライトシミュレーションシステム１について詳細に説明する。なお、第２の実施形態は、第１の実施形態の変形例であり、主に、第１の実施形態と相違する点について以下に説明し、第１の実施形態と同様の構成および機能等については、その詳細な説明を省略する。
上述した第１の実施形態に係るフライトシミュレーションシステム１では、メモリ１４に記憶された座標位置データベース１１０と、ユーザ２が接触した触覚デバイス３０の接触位置に基づいて、仮想空間における操作部４１０と当該操作部４１０の座標位置を特定する。しかし、第１の実施形態に係るフライトシミュレーションシステム１では、触覚デバイス３０が、操作部４１０の座標位置（仮想空間）に対応する適正な座標位置（現実空間）に設置されていることが前提となる。
したがって、触覚デバイス３０が適正な位置（現実空間）からずれた位置に設置されている場合、現実空間における触覚デバイス３０の操作部設定位置３１０と、座標位置データベース１１０に記憶されている第１座標データが表す操作部４１０の座標位置が一致しなくなる。
そこで、第２の実施形態に係るフライトシミュレーションシステム１では、触覚デバイス３０の液晶ディスプレイ３６に、操作部設定位置３１０を表す二次元バーコード５１１、５１２、５１３、５１４、５１５（以下、総称して単に「二次元バーコード５１０」ということがある。）を表示し（図７参照。）、ヘッドマウントディスプレイ２０の外部カメラ２２により当該二次元バーコード５１０を撮像する。これにより、第２の実施形態に係るフライトシミュレーションシステム１は、現実空間において二次元バーコード５１０が液晶ディスプレイ３６に表示された位置である表示位置（即ち、操作部設定位置３１０）に基づいて、仮想空間の操作部４１０の座標位置を補正することができ、仮想空間の操作部４１０の座標位置と、二次元バーコード５１０の表示位置を正確に一致させることができる。
図６は、第２の実施形態に係るフライトシミュレーションシステム１の機能構成の一例を示すブロック図である。図７は、第２の実施形態に係るフライトシミュレーションシステム１の使用態様の一例を示す斜視図である。図６に示すように、第２の実施形態に係るフライトシミュレーションシステム１の制御装置１０は、上記第１の実施形態に係るフライトシミュレーションシステム１の制御装置１０の構成要素である制御部１００と、表示制御部１０２と、接触位置取得部１０４と、判定部１０６と、振動制御部１０８と、座標位置データベース１１０に加え、識別情報表示制御部２００と、識別情報取得部２０２と、座標位置補正部２０４をさらに含む。
識別情報表示制御部２００は、触覚デバイス３０の液晶ディスプレイ３６に１または複数の二次元バーコード５１０を表示させる。二次元バーコード５１０は、識別情報の一例である。二次元バーコード５１０は、仮想空間における複数の操作部４１０のそれぞれを識別するために、複数の操作部４１０のそれぞれに対して生成される識別情報である。なお、操作部４１０の二次元バーコード５１０は、二次元バーコードの例に限定されず、ＱＲコード（登録商標）であってもよいし、または、一次元バーコード、操作部４１０の識別情報、識別記号等のテキスト情報、各種の図柄などであってもよいし、または、赤外線ランプの発光態様など、操作部４１０を識別可能に表現する情報であれば、任意の情報であってもよい。
識別情報表示制御部２００は、例えば、メモリ１４に予め記憶された座標位置データベース１１０を参照し、仮想空間における複数の操作部４１０のうち、１つの操作部４１０に対応する、現実空間の触覚デバイス３０の表面における座標位置と二次元バーコード５１０を特定する。そして、識別情報表示制御部２００は、触覚デバイス３０の当該座標位置に、当該１つの操作部４１０に対応する二次元バーコード５１０を表示させる。識別情報表示制御部２００は、例えば、図７に示すように、二次元バーコード５１１、５１２、５１３、５１４、５１５を、液晶ディスプレイ３６に表示させる。二次元バーコード５１１、５１２、５１３、５１４、５１５は、それぞれ図３に示す仮想現実画像４００中の操作部４１１、４１２、４１３、４１４、４１５に対応する識別情報である。例えば、識別情報表示制御部２００は、図３に示す仮想現実画像４００中の操作部４１１の第１座標データを用いて、座標位置データベース１１０を検索し、当該第１座標データに対応する第２座標データを導出する。そして、識別情報表示制御部２００は、当該第２座標データに対応する現実空間の触覚デバイス３０の表面における座標位置に、図７に示すように二次元バーコード５１１を表示させる。
また、本実施形態に係る座標位置データベース１１０は、第１座標データと、第２座標データと、操作部４１０の識別情報に加え、二次元バーコード５１０とが関連付けられて、記憶される。
識別情報取得部２０２は、例えば、外部カメラ２２によって撮像された二次元バーコード５１０および当該二次元バーコード５１０が撮像された位置である撮像位置を取得する。識別情報取得部２０２は、例えば、撮像位置として、ユーザ２が着座する操縦席６０の位置から撮像された二次元バーコード５１０までの距離および方向を取得する。
座標位置補正部２０４は、仮想空間における操作部４１０の座標位置を補正する。座標位置補正部２０４は、例えば、識別情報取得部２０２により取得された二次元バーコード５１０の撮像位置と、当該二次元バーコード５１０に対応する仮想空間における操作部４１０の座標位置とが一致しているかを判定する。例えば、座標位置補正部２０４は、現実空間において、ユーザ２が着座する操縦席６０の位置から撮像された二次元バーコード５１０までの距離および方向と、仮想空間において、ユーザ２が着座する操縦席の位置から当該二次元バーコード５１０に対応する操作部４１０の座標位置までの距離および方向が一致しているか否かを判定する。
そして、座標位置補正部２０４は、例えば、二次元バーコード５１０の撮像位置と仮想空間の操作部４１０の座標位置とが一致していない場合、仮想空間の操作部４１０の座標位置を補正する。座標位置補正部２０４は、例えば、外部カメラ２２により撮像された二次元バーコード５１０の撮像位置に基づいて、当該二次元バーコード５１０に対応する仮想空間における操作部４１０の座標位置を補正する。詳細には、座標位置補正部２０４は、ユーザ２が着座する操縦席６０の位置から撮像された二次元バーコード５１０までの距離および方向を、仮想空間に置き換えて、仮想空間において、ユーザ２が着座する操縦席の位置からの同一の距離および方向にある座標位置を、当該二次元バーコード５１０に対応する操作部４１０の新しい座標位置として補正する。
表示制御部１０２は、仮想空間における操作部４１０を表す画像を、仮想現実画像４００に重畳して表示させる。仮想現実画像４００は、外部環境４０６を表す画像、操縦室４０４を表す画像、計器盤４２０を表す画像、操作部４１０を表す画像の順に、それぞれの画像を重畳して表示される。表示制御部１０２は、外部カメラ２２により撮像された二次元バーコード５１０に対応する操作部４１０を表す画像を、ヘッドマウントディスプレイ２０に表示される仮想現実画像４００上に重畳して表示させる。また、表示制御部１０２は、例えば、座標位置補正部２０４によって仮想空間における操作部４１０の座標位置が補正された場合、当該操作部４１０を表す画像を、補正する前の座標位置から、補正された新しい座標位置に変更し、仮想現実画像４００上に重畳して表示させる。
［５．第２の実施形態に係るフライトシミュレーションシステムの処理フロー］
次に、図８および図９を参照し、第２の実施形態に係るフライトシミュレーションシステム１の制御装置１０による処理フローについて説明する。図８は、第２の実施形態に係る制御装置１０によるフライトシミュレーション制御処理を示すフローチャートである。なお、図８に示す処理は、ステップＳ２００を除いて、図５に示す第１の実施形態に係る制御装置１０によるフライトシミュレーション制御処理と同一であり、ステップＳ２００以外の説明を省略する。
図８に示すように、ステップＳ１０２においてヘッドマウントディスプレイ２０に仮想現実画像４００を表示した後、制御装置１０は、図９の座標位置補正処理を実行する（ステップＳ２００）。
ステップＳ２００において、制御装置１０は、触覚デバイス３０の液晶ディスプレイ３６に、二次元バーコード５１０を表示させる。そして、当該二次元バーコード５１０を外部カメラ２２により撮像し、制御装置１０は、外部カメラ２２から当該二次元バーコード５１０の撮像位置を取得する。そして、制御装置１０は、当該二次元バーコード５１０の撮像位置と、当該二次元バーコード５１０に対応する操作部４１０の座標位置が一致しているかを判定する。その結果、当該二次元バーコード５１０の撮像位置と、当該二次元バーコード５１０に対応する操作部４１０の座標位置が一致しない場合、制御装置１０は、当該二次元バーコード５１０に対応する操作部４１０の座標位置を補正する。そして、制御装置１０は、補正した座標位置に基づいて、ヘッドマウントディスプレイ２０に操作部４１０を表示させる。
その後、図８に示すステップＳ１０４に処理を移す。図８に示すステップＳ１０４からステップＳ１１６までの処理は、図５に示す第１の実施形態に係る制御装置１０によるフライトシミュレーション制御処理のステップＳ１０４からステップＳ１１６までの処理と同一であり、説明を省略する。
ここで、図８の座標位置補正処理（ステップＳ２００）について、図９を参照して、より詳細に説明する。図９は、第２の実施形態に係る制御装置１０による上記座標位置補正処理（ステップＳ２００）を示すフローチャートである。
図９に示すように、識別情報表示制御部２００は、ユーザ２によって選択された１つの機種について、触覚デバイス３０の液晶ディスプレイ３６に、当該機種の操縦室４０４に配置された複数の操作部４１０を表す二次元バーコード５１０を全て表示させる（ステップＳ２０２）。触覚デバイス３０の液晶ディスプレイ３６は、識別情報表示制御部２００から情報を受信し、現実空間における、複数の操作部４１０に対応する位置に、当該複数の操作部４１０の二次元バーコード５１０を表示する。
その後、ヘッドマウントディスプレイ２０の外部カメラ２２は、触覚デバイス３０の液晶ディスプレイ３６に表示された二次元バーコード５１０を検出する。次いで、識別情報取得部２０２は、検出された二次元バーコード５１０と当該二次元バーコード５１０の撮像位置を、外部カメラ２２から取得する（ステップＳ２０４）。
その後、座標位置補正部２０４は、識別情報取得部２０２により取得された二次元バーコード５１０の撮像位置と、当該二次元バーコード５１０に対応する仮想空間における操作部４１０の座標位置とが一致しているかを判定する（ステップＳ２０６）。
その結果、二次元バーコード５１０の撮像位置と操作部４１０の座標位置が一致していると判定した場合（ステップＳ２０６におけるＹＥＳ）、当該座標位置補正処理を終了する。一方、二次元バーコード５１０の撮像位置と操作部４１０の座標位置が一致してないと判定した場合（ステップＳ２０６におけるＮＯ）、座標位置補正部２０４は、識別情報取得部２０２により取得された二次元バーコード５１０の撮像位置に基づいて、当該二次元バーコード５１０に対応する仮想空間における操作部４１０の座標位置を補正する（ステップＳ２０８）。
その後、表示制御部１０２は、二次元バーコード５１０に対応する仮想空間における操作部４１０を表す画像を、補正する前の座標位置から、補正された新しい座標位置に変更して、ヘッドマウントディスプレイ２０に表示させ（ステップＳ２１０）、当該座標位置補正処理を終了する。表示制御部１０２は、二次元バーコード５１０に対応する操作部４１０を表す画像を、ヘッドマウントディスプレイ２０に表示されている仮想現実画像４００上に重畳して、補正後の座標位置に表示させる。
以上のように、第２の実施形態に係るフライトシミュレーションシステム１によれば、液晶ディスプレイ３６に二次元バーコード５１０を表示し、外部カメラ２２は、当該二次元バーコード５１０を撮像する。これにより、座標位置補正部２０４は、当該二次元バーコード５１０の撮像位置に基づいて、当該二次元バーコード５１０に対応する仮想空間における操作部４１０の座標位置を補正することができる。そして、表示制御部１０２は、仮想現実画像４００に重畳するように、当該補正された操作部４１０の座標位置に、当該操作部４１０の画像を表示させる。これにより、触覚デバイス３０が適切な位置に配置されていない場合であっても、現実空間における液晶ディスプレイ３６に表示される二次元バーコード５１０の表示位置と、当該二次元バーコード５１０に対応する仮想空間における操作部４１０の座標位置を一致させることができ、ユーザ２が仮想空間の操作部４１０を正確に操作することが可能となる。
以上、添付図面を参照しながら本発明の実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、触覚デバイス３０は、矩形板状であると説明したが、かかる例に限定されない。触覚デバイス３０は、例えば、多角形板状であってもよいし、湾曲形状であってもよい。
なお、上述した実施形態に係るフライトシミュレーションシステム１による一連の処理は、ソフトウェア、ハードウェア、または、ソフトウェアとハードウェアとの組合せのうちいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部または外部に設けられる非一時的な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）に予め格納される。そして、プログラムは、例えば、非一時的な記憶媒体（例えば、ＲＯＭ）から一時的な記憶媒体（例えば、ＲＡＭ）に読み出され、ＣＰＵなどのプロセッサにより実行される。
また、上述した実施形態によれば、上記フライトシミュレーションシステム１の各機能の処理を実行するためのプログラムを提供することができる。さらに、当該プログラムが格納された、コンピュータにより読み取り可能な非一時的な記録媒体を提供することもできる。非一時的な記録媒体は、例えば、光ディスク、磁気ディスク、光磁気ディスク等のディスク型記録媒体であってもよいし、または、フラッシュメモリ、ＵＳＢメモリ等の半導体メモリであってもよい。
１ フライトシミュレーションシステム
２ ユーザ
１０ 制御装置
１２ プロセッサ
１４ メモリ
２０ ヘッドマウントディスプレイ
２２ 外部カメラ（撮像部）
２４ 姿勢センサ
３０ 触覚デバイス
３２ 接触センサ
３４ バイブレーター
３６ 液晶ディスプレイ（表示部）
１００ 制御部
１０２ 表示制御部
１０６ 判定部
１０８ 振動制御部
２０４ 座標位置補正部
４００ 仮想現実画像
４０２ 航空機
４０４ 操縦室
４１０ 操作部
５１０ 二次元バーコード

Claims (5)

  1. 航空機の複数の機種に関するフライトシミュレーションを実行可能に構成されたフライトシミュレーションシステムであって、
    ユーザに装着可能であり、仮想空間における航空機の操縦室を表す仮想現実画像を表示するヘッドマウントディスプレイと、
    現実空間において、前記仮想現実画像の前記操縦室に設置された複数の操作部に対応する位置に配置される触覚デバイスと、
    前記ヘッドマウントディスプレイおよび前記触覚デバイスを用いた前記フライトシミュレーションを制御する制御装置と、
    を備え、
    前記触覚デバイスは、
    前記触覚デバイスに対する前記ユーザの接触位置を検出する接触センサと、
    前記接触位置を振動させるバイブレーターと、
    を有し、
    前記制御装置は、
    プロセッサと、
    前記複数の機種に関し、各機種の前記操縦室に設置された前記複数の操作部の座標位置を表す座標データを記憶するメモリと、
    を有し、
    前記プロセッサは、
    前記複数の機種の中から前記ユーザによって選択された１つの機種のフライトシミュレーションを実行することと、
    前記選択された１つの機種の前記複数の操作部が描画された前記仮想現実画像を、前記ヘッドマウントディスプレイに表示させることと、
    前記触覚デバイスに前記ユーザが接触した場合、前記接触位置を前記バイブレーターにより振動させることと、
    前記選択された１つの機種の前記座標データおよび前記接触位置に基づいて、前記選択された１つの機種の前記複数の操作部のうち、前記接触位置に対応する１つの操作部を特定することと、
    前記特定された１つの操作部に対する操作を、前記選択された１つの機種のフライトシミュレーションに反映させることと、
    を含む処理を実行する、フライトシミュレーションシステム。
  2. 前記プロセッサは、前記触覚デバイスに前記ユーザが接触した場合、前記特定された１つの操作部の種類に応じて、前記バイブレーターによる振動態様を変更する、請求項１に記載のフライトシミュレーションシステム。
  3. 前記ヘッドマウントディスプレイは、前記現実空間における前記ヘッドマウントディスプレイの周辺環境を撮像する撮像部を有し、
    前記触覚デバイスは、前記現実空間における前記複数の操作部に対応する位置に前記複数の操作部の識別情報を表示する表示部をさらに有し、
    前記プロセッサは、
    前記撮像部により撮像された前記識別情報に対応する操作部を、前記ヘッドマウントディスプレイに表示される前記仮想現実画像上に重畳して表示させる、請求項１または２に記載のフライトシミュレーションシステム。
  4. 前記撮像部により撮像された前記識別情報の位置に基づいて、前記仮想現実画像上に重畳表示される前記操作部の座標位置を補正する、請求項３に記載のフライトシミュレーションシステム。
  5. 前記ヘッドマウントディスプレイは、前記ヘッドマウントディスプレイを装着した前記ユーザの頭部の動きを検出する姿勢センサを有し、
    前記プロセッサは、
    前記姿勢センサによる検出結果に基づいて、前記ヘッドマウントディスプレイを装着している前記ユーザの頭部の動きに連動して、前記ヘッドマウントディスプレイに表示される前記仮想現実画像の前記操縦室の表示態様を変更する、請求項１または２に記載のフライトシミュレーションシステム。
JP2022085459A 2022-05-25 2022-05-25 フライトシミュレーションシステム Pending JP2023173299A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022085459A JP2023173299A (ja) 2022-05-25 2022-05-25 フライトシミュレーションシステム
US18/140,802 US20230386357A1 (en) 2022-05-25 2023-04-28 Flight simulation system
EP23173532.5A EP4283594A1 (en) 2022-05-25 2023-05-16 Flight simulation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022085459A JP2023173299A (ja) 2022-05-25 2022-05-25 フライトシミュレーションシステム

Publications (1)

Publication Number Publication Date
JP2023173299A true JP2023173299A (ja) 2023-12-07

Family

ID=86386797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022085459A Pending JP2023173299A (ja) 2022-05-25 2022-05-25 フライトシミュレーションシステム

Country Status (3)

Country Link
US (1) US20230386357A1 (ja)
EP (1) EP4283594A1 (ja)
JP (1) JP2023173299A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US20170293351A1 (en) * 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device
US20200098185A1 (en) * 2017-01-17 2020-03-26 Pravaedi Llc Virtual reality training device
DE102017202517A1 (de) * 2017-02-16 2018-08-16 Siemens Healthcare Gmbh Bedienvorrichtung und Bedienverfahren zum Bedienen eines medizinischen Geräts
JP7298932B2 (ja) 2018-02-02 2023-06-27 アクセス ヴァーチャル， エルエルシー 仮想現実に基づくパイロット訓練システム
US10884525B1 (en) * 2019-04-23 2021-01-05 Lockheed Martin Corporation Interactive mixed masking system, method and computer program product for a simulator
US20210327295A1 (en) * 2020-04-17 2021-10-21 Rockwell Collins, Inc. Head tracking with virtual avionics training products

Also Published As

Publication number Publication date
US20230386357A1 (en) 2023-11-30
EP4283594A1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
US11112856B2 (en) Transition between virtual and augmented reality
US11144121B2 (en) Wearable interactive user interface
US11366512B2 (en) Systems and methods for operating an input device in an augmented/virtual reality environment
EP3599532B1 (en) A system for importing user interface devices into virtual/augmented reality
JP6116064B2 (ja) 車両インターフェース用ジェスチャ基準制御システム
US20210333864A1 (en) Systems and methods for configuring a hub-centric virtual/augmented reality environment
JP4921113B2 (ja) 接触提示装置及び方法
JP4356983B2 (ja) 画像処理方法、画像処理装置
JP2009276996A (ja) 情報処理装置、情報処理方法
KR101338043B1 (ko) 실감 인터랙션을 이용한 인지재활 시스템 및 방법
EP3549127B1 (en) A system for importing user interface devices into virtual/augmented reality
US11209916B1 (en) Dominant hand usage for an augmented/virtual reality device
JP2015519624A (ja) ジェスチャー認識装置及び方法
US20150227200A1 (en) Tactile force sense presentation device, information terminal, tactile force sense presentation method, and computer-readable recording medium
WO2012172548A1 (en) Method for translating a movement and an orientation of a predefined object into a computer generated data
EP3118725A1 (en) Walk simulation system and method
RU2662399C1 (ru) Система и способ для захвата движений и положения тела человека и частей тела человека
JP4678428B2 (ja) 仮想空間内位置指示装置
JP2023173299A (ja) フライトシミュレーションシステム
WO2019127325A1 (zh) 信息处理方法、装置、云处理设备及计算机程序产品
CN114167997A (zh) 一种模型显示方法、装置、设备和存储介质
US20040243538A1 (en) Interaction with a three-dimensional computer model
WO1997042620A1 (en) Virtual motion controller
KR102354559B1 (ko) 콘텐츠 제어용 다종 인터페이스 장치
WO2022097271A1 (ja) 仮想空間体感システム