WO2020149062A1 - 仮想空間画像表示制御装置および仮想空間画像表示制御用プログラム - Google Patents

仮想空間画像表示制御装置および仮想空間画像表示制御用プログラム Download PDF

Info

Publication number
WO2020149062A1
WO2020149062A1 PCT/JP2019/048640 JP2019048640W WO2020149062A1 WO 2020149062 A1 WO2020149062 A1 WO 2020149062A1 JP 2019048640 W JP2019048640 W JP 2019048640W WO 2020149062 A1 WO2020149062 A1 WO 2020149062A1
Authority
WO
WIPO (PCT)
Prior art keywords
movement
head
user
virtual space
motion information
Prior art date
Application number
PCT/JP2019/048640
Other languages
English (en)
French (fr)
Inventor
拓宏 水野
Original Assignee
株式会社アルファコード
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アルファコード filed Critical 株式会社アルファコード
Publication of WO2020149062A1 publication Critical patent/WO2020149062A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Definitions

  • the present invention relates to a virtual space image display control device and a virtual space image display control program, and is particularly suitable for use in a device that performs display control of a virtual space image for displaying as virtual reality on a head mounted display. ..
  • VR virtual reality
  • an HMD that displays a virtual space image is equipped with an acceleration sensor and a gyro sensor, and it is possible to detect the movement of the head of the user wearing the HMD.
  • the computer controls the display of the virtual space image such that the visual field of the virtual space image realized on the display of the HMD dynamically changes according to the movement of the head of the user detected by the sensor of the HMD.
  • a virtual space image is displayed on the HMD such that the virtual space within a certain range of the front (the field of view set in the center of the virtual space) expands, and the user can see x from the front to the right or left
  • a virtual space image is displayed on the HMD such that the virtual space of the field of view, which is displaced by x degrees from the front field of view to the right or left, expands.
  • VR is used in various situations, and it may be used in a moving vehicle.
  • a technique devised on the premise of using VR in a moving vehicle is known (for example, see Patent Document 1).
  • the content viewing device described in Patent Document 1 is intended to suppress VR sickness caused by movement of a moving body, and together with viewing content viewed by an occupant, a behavior image corresponding to the behavior of the vehicle. Is displayed on the HMD. Specifically, a behavior image in which the form or position changes according to the acceleration generated along with the behavior of the vehicle is displayed on the HMD. As a result, the occupant can be imprinted with a sense of matching behavior regardless of the movement in the viewing content, and VR sickness caused by the movement of the vehicle can be suppressed.
  • the acceleration sensor and the gyro sensor mounted on the HMD are not limited to the acceleration and the angular velocity based on the movement of the head of the user who wears the HMD. Also, the acceleration and the angular velocity based on the movement of the vehicle (for example, right turn or left turn at the intersection, traveling on a curved road, etc.) are detected. Therefore, there is a problem that the field of view of the virtual space image displayed on the HMD may arbitrarily change according to the movement of the vehicle, even if the user wearing the HMD does not move the head. .. Further, there is a problem that even when the user moves his/her head, a virtual space image that does not match the movement may be displayed.
  • the present invention has been made to solve such a problem, and when a user riding on a moving body wears an HMD and watches a virtual space image, the movement of the user's head is moved. It is an object of the present invention to display a virtual space image in which the field of view changes properly according to.
  • second motion information detected by, and by detecting the motion of the user's head by canceling the motion represented by the second motion information from the motion represented by the first motion information A virtual space image corresponding to the movement of the user's head is generated and displayed on the head mounted display.
  • the sensor mounted on the HMD detects the virtual space image.
  • the first movement information described above reflects not only the movement of the head of the user wearing the HMD but also the movement based on the movement of the moving body.
  • second motion information detected by a sensor installed in the moving body is acquired, and the second motion information is converted from the motion indicated by the first motion information.
  • the movements shown are offset. Since the second motion information reflects only the motion based on the motion of the moving body, only the motion component of the user's head is extracted by the above-described cancellation, and the motion of the user's head is extracted.
  • the virtual space image whose field of view changes according to the component is displayed on the HMD.
  • the virtual field of view changes properly according to the movement of the user's head. Can be displayed on the HMD.
  • FIG. 1 It is a block diagram showing an example of functional composition of a virtual space image display control device by this embodiment. It is a figure which shows the example of arrangement
  • FIG. 1 is a block diagram showing an example of the functional arrangement of a virtual space image display control device according to this embodiment.
  • the virtual space image display control device of the present embodiment is built in, for example, a head mounted display (HMD), and the functional configuration thereof includes a first motion information acquisition unit 11 and a second motion information acquisition unit 11.
  • the virtual space image display control device of the present embodiment is connected to an image data storage unit 10 that stores image data used for generating a virtual space image.
  • Each of the functional blocks 11 to 15 can be configured by any of hardware, DSP (Digital Signal Processor), and software.
  • DSP Digital Signal Processor
  • each of the functional blocks 11 to 15 is actually configured by including a CPU, RAM, ROM, etc. of a computer incorporated in the HMD, and is stored in a recording medium such as RAM, ROM, hard disk or semiconductor memory. It is realized by operating the stored program.
  • the first motion information acquisition unit 11 acquires the first motion information detected by the sensor mounted on the HMD worn by the user on the head.
  • the sensor mounted on the HMD (hereinafter, referred to as HMD sensor) is, for example, an acceleration sensor or a gyro sensor.
  • the HMD sensor and a computer with a built-in HMD are connected by an internal bus, and the first motion information acquisition unit 11 realized by the computer outputs acceleration information and angular velocity information from the HMD sensor via the internal bus. 1 as motion information.
  • the first motion information acquisition unit 11 may acquire the attitude angle (roll angle, pitch angle) and azimuth angle of the HMD detected by the HMD sensor from the acceleration information and the angular velocity information.
  • the second motion information acquisition unit 12 acquires the second motion information detected by the sensor installed in the moving body on which the user is boarding.
  • the sensor mounted on the moving body (hereinafter referred to as the moving body sensor) is, for example, an acceleration sensor or a gyro sensor.
  • the second motion information acquisition unit 12 realized by a built-in computer of the HMD is connected between these mobile body sensors and the HMD by wireless communication means such as Wi-Fi (registered trademark) or Bluetooth (registered trademark). , And obtains acceleration information and angular velocity information as second motion information from the moving body sensor via the wireless communication means.
  • the second motion information acquisition unit 12 may acquire the posture angle and azimuth angle of the moving body detected by the moving body sensor from the acceleration information and the angular velocity information.
  • FIG. 2 is a diagram showing an arrangement example of the sensors installed in the moving body.
  • FIG. 2 shows a shared bus as an example of a moving body.
  • four moving body sensors 201 to 204 are installed at a total of four locations, two on the left and right on the front side and two on the left and right sides of the bus.
  • the second motion information acquisition unit 12 respectively acquires a plurality of second motion information detected by the plurality of mobile body sensors 201 to 204 installed on the bus.
  • a user wearing the HMD 100 can sit in any seat of the bus.
  • An HMD sensor 101 is mounted on the HMD 100 worn by the user on the head.
  • the sensor information detection unit 13 has boarded a moving body (bus in FIG. 2) among the plurality of second movement information obtained from the plurality of moving body sensors 201 to 204 by the second movement information obtaining unit 12.
  • the motion information transmitted from the moving body sensor installed at the position closest to the user is detected.
  • the sensor information detection unit 13 measures the radio field intensity when the second motion information acquisition unit 12 receives the second motion information from the plurality of mobile body sensors 201 to 204, and the received radio field intensity is the strongest.
  • the second motion information is detected as motion information transmitted from a mobile sensor (hereinafter referred to as a recent sensor) installed at a position closest to the user.
  • the four moving body sensors 201 to 204 it is not essential to specifically specify which of the four moving body sensors 201 to 204 is closest to the user, and the four moving body sensors 201 to 204 send the information.
  • the second motion information it is sufficient to at least identify which is the one sent from the nearest moving body sensor.
  • the head movement detection unit 14 detects the movement of the user's head by offsetting the movement indicated by the second movement information from the movement indicated by the first movement information.
  • the movement indicated by the second movement information is the movement of the moving body detected by the moving body sensors 201 to 204.
  • the movement indicated by the first movement information is the movement of the HMD 100 detected by the HMD sensor 101 mounted on the HMD 100 worn by the user on the head.
  • the HMD sensor 101 is the head of the user.
  • the motion information including not only the motion of the HMD 100 but also the motion of the moving body is detected as the motion information of the HMD 100.
  • the motion information associated with the travel is detected by the HMD sensor 101 and the mobile body sensors 201 to 204.
  • the first motion information detected by the HMD sensor 101 and the second motion information detected by the moving body sensors 201 to 204 are the seating position of the user (the position of the HMD sensor 101) and the moving body sensor 201.
  • the mobile body sensors 201 to 204 detect only the motion information associated with the traveling of the mobile body, while the HMD sensor 101 detects the motion of the user's head in response to the movement of the mobile body.
  • the added motion information is detected.
  • the first motion information detected by the HMD sensor 101 and the second motion information detected by the mobile body sensors 201 to 204 have a difference by a value according to the motion of the user's head. ..
  • the head movement detection unit 14 determines the movement indicated by the movement information most recently detected by the sensor information detection unit 13 among the plurality of second movement information detected by the plurality of moving body sensors 201 to 204. The movement of the user's head is detected by offsetting the movement indicated by the first movement information.
  • the value of the motion information indicating the motion of the moving object may differ depending on the position of the sensor (HMD sensor 101 or moving object sensors 201 to 204) in the moving object. Therefore, when offsetting the movement indicated by the second movement information detected by the moving body sensors 201 to 204 from the movement indicated by the first movement information detected by the HMD sensor 101, the position where the HMD sensor 101 is located It is preferable to cancel the second motion information detected by the moving body sensor located closest to the (user's sitting position).
  • any known technology can be applied as the specific processing content regarding the movement cancellation.
  • the image display control unit 15 uses the image data stored in the image data storage unit 10 to generate a virtual space image according to the movement of the user's head detected by the head movement detection unit 14 to generate the HMD 100.
  • the display 102 is displayed.
  • a virtual space image in which the field of view correctly changes according to only the motion component of the user's head, which is obtained by excluding the motion component of the moving body from the first motion information detected by the HMD sensor 101, is generated. It can be displayed on the display 102 of the HMD 100.
  • the installation position is not limited to this.
  • three moving body sensors may be installed vertically along the front-rear direction of the bus, such as the center of the front wheel axis, the center of center of the bus, and the center of the rear wheel.
  • a shared bus has been described as an example of the moving body, but the moving body to which the virtual space image display control device of the present invention is applicable is not limited to this.
  • the virtual space image display control device of the present invention can be applied to a train, a taxi, an airplane, a ship, or the like.
  • the present invention is not limited to this.
  • a portable computer may be provided separately from the HMD 100, and the portable computer may include the virtual space image display control device of the present embodiment.
  • the HMD 100 and the portable computer are connected by wire or wirelessly, and the display of the virtual space image is controlled from the portable computer to the HMD 100.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ＨＭＤの搭載センサにより検出される第１の動き情報を取得する第１の動き情報取得部１１と、移動体に設置されたセンサにより検出される第２の動き情報を取得する第２の動き情報取得部１２と、第１の動き情報から第２の動き情報を相殺することによってユーザの頭部の動きを検出する頭部動き検出部１４と、当該ユーザの頭部の動きに応じた仮想空間画像を生成してＨＭＤに表示させる画像表示制御部１５とを備え、第１の動き情報の中からユーザの頭部の動き成分だけを検出して仮想空間画像の視界を変化させることにより、ユーザの頭部の動きに合わせて正しく視界が変化する仮想空間画像を表示させることができるようにする。

Description

仮想空間画像表示制御装置および仮想空間画像表示制御用プログラム
　本発明は、仮想空間画像表示制御装置および仮想空間画像表示制御用プログラムに関し、特に、ヘッドマウントディスプレイに仮想現実として表示するための仮想空間画像の表示制御を行う装置に用いて好適なものである。
　近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術の活用が広がりを見せつつある。ＶＲの応用例は様々であるが、ユーザがＨＭＤ（ヘッドマウントディスプレイ）を装着して、コンピュータによりＨＭＤに対して３次元画像（仮想空間画像）として描き出された仮想空間の中で自由に行動することにより、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。
　一般に、仮想空間画像が表示されるＨＭＤには、加速度センサやジャイロセンサが搭載されており、ＨＭＤを装着したユーザの頭の動きを検出することが可能となっている。コンピュータは、ＨＭＤのセンサにより検出されたユーザの頭の動きに応じて、ＨＭＤの表示上に実現される仮想空間画像の視界が動的に変わるように、仮想空間画像の表示を制御する。これにより、ユーザが正面を向けば、正面の一定範囲（仮想空間の中央に設定された視界）の仮想空間が広がるような仮想空間画像がＨＭＤに表示され、ユーザが正面から右側または左側にｘ度の方向を向けば、正面の視界から右側または左側にｘ度だけ変移した視界の仮想空間が広がるような仮想空間画像がＨＭＤに表示される。
　ところで、ＶＲの利用シーンは様々であり、移動車両の中で利用されることもある。従来、移動車両の中でＶＲを利用することを前提として考案された技術が知られている（例えば、特許文献１参照）。特許文献１に記載のコンテンツ視聴装置は、移動体の移動に起因するＶＲ酔いを抑制することを目的としたものであり、乗員が視聴する視聴コンテンツと併せて、車両の挙動に対応する挙動画像をＨＭＤに表示させるようにしている。具体的には、車両の挙動に伴って発生する加速度に応じて形態または位置が変化する挙動画像をＨＭＤに表示させる。これにより、視聴コンテンツ内の動きにかかわらず、挙動の一致感を乗員に対して潜在的に刷り込ませることが可能となり、車両の移動に起因するＶＲ酔いを抑制することが可能となる。
特開２０１８－１５７３１９号公報
　移動する車両に乗車しているユーザがＨＭＤを装着している場合、ＨＭＤに搭載された加速度センサやジャイロセンサは、ＨＭＤを装着したユーザの頭部の動きに基づく加速度や角速度のみならず、車両の移動（例えば、交差点での右折や左折、カーブ道路の走行など）に基づく加速度や角速度も検出する。そのため、ＨＭＤを装着しているユーザが頭を動かしていないにもかかわらず、ＨＭＤに表示される仮想空間画像の視界が車両の移動に応じて勝手に変わってしまうことがあるという問題があった。また、ユーザが頭を動かしているときでも、その動きに合わない仮想空間画像が表示されてしまうことがあるという問題があった。
　本発明は、このような問題を解決するために成されたものであり、移動体に乗っているユーザがＨＭＤを装着して仮想空間画像を視聴しているときに、ユーザの頭部の動きに合わせて正しく視界が変化する仮想空間画像を表示させることができるようにすることを目的とする。
　上記した課題を解決するために、本発明では、ユーザが頭部に装着したヘッドマウントディスプレイに搭載されたセンサにより検出される第１の動き情報と、ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報とを取得し、第１の動き情報で示される動きから第２の動き情報で示される動きを相殺することによってユーザの頭部の動きを検出した上で、当該ユーザの頭部の動きに応じた仮想空間画像を生成してヘッドマウントディスプレイに表示させるようにしている。
　上記のように構成した本発明によれば、移動体に乗っているユーザがヘッドマウントディスプレイ（ＨＭＤ）を装着して仮想空間画像を視聴しているときに、ＨＭＤに搭載されたセンサにより検出される第１の動き情報は、ＨＭＤを装着したユーザの頭部の動きだけでなく、移動体の移動に基づく動きも反映されたものとなる。本発明では、この第１の動き情報とは別に、移動体に設置されたセンサにより検出される第２の動き情報が取得され、第１の動き情報で示される動きから第２の動き情報で示される動きが相殺される。第２の動き情報は、移動体の移動に基づく動きのみが反映されたものであるため、上記のような相殺によって、ユーザの頭部の動き成分だけが抽出され、当該ユーザの頭部の動き成分に応じて視界が変化した仮想空間画像がＨＭＤに表示されるようになる。これにより、本発明によれば、移動体に乗っているユーザがＨＭＤを装着して仮想空間画像を視聴しているときに、ユーザの頭部の動きに合わせて正しく視界が変化する仮想空間画像をＨＭＤに表示させることができる。
本実施形態による仮想空間画像表示制御装置の機能構成例を示すブロック図である。 移動体に設置されるセンサの配置例を示す図である。
　以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による仮想空間画像表示制御装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の仮想空間画像表示制御装置は、例えばヘッドマウントディスプレイ（ＨＭＤ）に内蔵されるものであり、その機能構成として、第１の動き情報取得部１１、第２の動き情報取得部１２、最近センサ情報検出部１３、頭部動き検出部１４および画像表示制御部１５を備えている。また、本実施形態の仮想空間画像表示制御装置には、仮想空間画像の生成に用いる画像データを記憶した画像データ記憶部１０が接続されている。
　上記各機能ブロック１１～１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１～１５は、実際にはＨＭＤが内蔵するコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
　第１の動き情報取得部１１は、ユーザが頭部に装着したＨＭＤに搭載されたセンサにより検出される第１の動き情報を取得する。ＨＭＤに搭載されるセンサ（以下、ＨＭＤセンサという）は、例えば加速度センサやジャイロセンサである。これらのＨＭＤセンサとＨＭＤ内蔵のコンピュータとが内部バスにより接続されており、当該コンピュータにより実現される第１の動き情報取得部１１は、ＨＭＤセンサから内部バスを介して加速度情報および角速度情報を第１の動き情報として取得する。なお、第１の動き情報取得部１１は、ＨＭＤセンサにおいて加速度情報および角速度情報から検出されるＨＭＤの姿勢角（ロール角、ピッチ角）および方位角を取得するものとしてもよい。
　第２の動き情報取得部１２は、ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する。移動体に搭載されるセンサ（以下、移動体センサという）は、例えば加速度センサやジャイロセンサである。これらの移動体センサとＨＭＤとの間はＷｉ－Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信手段により接続され、ＨＭＤの内蔵コンピュータにより実現される第２の動き情報取得部１２は、移動体センサから無線通信手段を介して加速度情報および角速度情報を第２の動き情報として取得する。なお、第２の動き情報取得部１２は、移動体センサにおいて加速度情報および角速度情報から検出される移動体の姿勢角および方位角を取得するものとしてもよい。
　図２は、移動体に設置されるセンサの配置例を示す図である。図２は、移動体の一例として乗合バスを示している。図２に示すように、バスの前方側の左右２箇所と後方側の左右２箇所との合計４箇所に、４つの移動体センサ２０１～２０４が設置されている。第２の動き情報取得部１２は、バスに設置された複数の移動体センサ２０１～２０４により検出される複数の第２の動き情報をそれぞれ取得する。ＨＭＤ１００を装着したユーザは、バスの任意の座席に着座することが可能である。ユーザが頭部に装着しているＨＭＤ１００には、ＨＭＤセンサ１０１が搭載されている。
　最近センサ情報検出部１３は、第２の動き情報取得部１２により複数の移動体センサ２０１～２０４から取得される複数の第２の動き情報のうち、移動体（図２のバス）に搭乗したユーザから最も近い位置に設置されている移動体センサから送信された動き情報を検出する。例えば、最近センサ情報検出部１３は、第２の動き情報取得部１２が複数の移動体センサ２０１～２０４から第２の動き情報を受信する際の電波強度を測定し、受信電波強度が最も強い第２の動き情報を、ユーザから最も近い位置に設置された移動体センサ（以下、最近センサという）から送信された動き情報として検出する。
　なお、本実施形態では、４つの移動体センサ２０１～２０４のうちどれがユーザから最も近いかを具体的に特定することまでは必須でなく、４つの移動体センサ２０１～２０４から送られてくる第２の動き情報のうち、どれが最も近くの移動体センサから送られてきたものかを少なくとも特定すればよい。
　頭部動き検出部１４は、第１の動き情報で示される動きから第２の動き情報で示される動きを相殺することによってユーザの頭部の動きを検出する。ここで、第２の動き情報で示される動きとは、移動体センサ２０１～２０４により検出される移動体の動きのことである。一方、第１の動き情報で示される動きとは、ユーザが頭部に装着しているＨＭＤ１００に搭載されたＨＭＤセンサ１０１により検出されるＨＭＤ１００の動きであるが、ＨＭＤセンサ１０１は、ユーザの頭の動きだけでなく移動体の動きも含んだ動き情報をＨＭＤ１００の動き情報として検出している。
　例えば、ユーザが頭を全く動かしていなくても、移動体が交差点で右左折したりカーブ道路を走行したりすると、その走行に伴う動き情報がＨＭＤセンサ１０１および移動体センサ２０１～２０４により検出される。この場合、ＨＭＤセンサ１０１により検出される第１の動き情報と、移動体センサ２０１～２０４により検出される第２の動き情報は、ユーザの着座位置（ＨＭＤセンサ１０１の位置）と移動体センサ２０１～２０４の設置位置との違いにより多少の違いはあるものの、ほぼ同じ値を示すこととなる。
　また、ユーザが頭を動かすと、移動体センサ２０１～２０４では移動体の走行に伴う動き情報だけが検出される一方、ＨＭＤセンサ１０１では、移動体の走行に伴う動きにユーザの頭の動きを加えた動き情報が検出される。この場合、ＨＭＤセンサ１０１により検出される第１の動き情報と、移動体センサ２０１～２０４により検出される第２の動き情報は、ユーザの頭の動きに応じた値だけ差分を有するものとなる。
　従って、第１の動き情報で示される動き（ユーザの頭部の動きおよび移動体の動きが反映された動き）から第２の動き情報で示される動き（移動体の動き）を相殺することにより、ユーザの頭部の動き成分だけを抽出することが可能である。ここで、頭部動き検出部１４は、複数の移動体センサ２０１～２０４により検出される複数の第２の動き情報のうち、最近センサ情報検出部１３により検出された動き情報で示される動きを第１の動き情報で示される動きから相殺することによってユーザの頭部の動きを検出する。
　移動体の動きを表す動き情報は、移動体の中のどの位置にあるセンサ（ＨＭＤセンサ１０１または移動体センサ２０１～２０４）で検出するかによって値に差が生じる可能性がある。従って、ＨＭＤセンサ１０１により検出される第１の動き情報で示される動きから移動体センサ２０１～２０４により検出される第２の動き情報で示される動きを相殺する際に、ＨＭＤセンサ１０１がある位置（ユーザの着座位置）から最も近い位置にある移動体センサにより検出された第２の動き情報を相殺するのが好ましい。
　なお、動きの相殺に関する具体的な処理内容としては、任意の公知技術を適用することが可能である。例えば、第１の動き情報および第２の動き情報をそれぞれ３軸の情報に分解し、それぞれの軸情報ごとに、第１の動き情報から第２の動き情報を減算する方法を用いることが可能である。
　画像表示制御部１５は、画像データ記憶部１０に記憶されている画像データを用いて、頭部動き検出部１４により検出されたユーザの頭部の動きに応じた仮想空間画像を生成してＨＭＤ１００のディスプレイ１０２に表示させる。これにより、ＨＭＤセンサ１０１により検出される第１の動き情報の中から、移動体の動き成分を排除して成るユーザの頭部の動き成分だけに応じて、視界が正しく変化する仮想空間画像をＨＭＤ１００のディスプレイ１０２に表示させることができる。
　なお、上記実施形態では、バスの前後左右の４箇所に４個の移動体センサ２０１～２０４を設置する例について説明したが、設置位置はこれに限定されない。例えば、前輪の軸中央、バスの重心中央、後輪の軸中央など、バスの前後方向に沿って縦に３つの移動体センサを設置するようにしてもよい。
　また、上記実施形態では、４個の移動体センサ２０１～２０４のうち、ユーザの着座位置から最も近い位置の移動体センサにより検出される第２の動き情報のみを用いて相殺を行う例について説明したが、本発明はこれに限定されない。例えば、４個の移動体センサ２０１～２０４により検出される４個の第２の動き情報を平均化し、この平均値を用いて相殺を行うようにしてもよい。
　また、上記実施形態では、移動体の例として乗合バスを挙げて説明したが、本発明の仮想空間画像表示制御装置を適用可能な移動体はこれに限定されない。例えば、電車、タクシー、飛行機、船などにおいて本発明の仮想空間画像表示制御装置を適用することも可能である。
　また、上記実施形態では、ＨＭＤ１００が本実施形態の仮想空間画像表示制御装置を内蔵する構成について説明したが、本発明はこれに限定されない。例えば、ＨＭＤ１００とは別体として可搬型のコンピュータを設け、この可搬型のコンピュータが本実施形態の仮想空間画像表示制御装置を備える構成としてもよい。この場合、ＨＭＤ１００と可搬型のコンピュータとの間を有線または無線で接続し、可搬型のコンピュータからＨＭＤ１００に対して仮想空間画像の表示を制御する。
　その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１１　第１の動き情報取得部
　１２　第２の動き情報取得部
　１３　最近センサ情報検出部
　１４　頭部動き検出部
　１５　画像表示制御部
　１００　ＨＭＤ
　１０１　ＨＭＤセンサ
　２０１～２０４　移動体センサ

Claims (3)

  1. 　ユーザが頭部に装着したヘッドマウントディスプレイに搭載されたセンサにより検出される第１の動き情報を取得する第１の動き情報取得部と、
    　上記ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する第２の動き情報取得部と、
    　上記第１の動き情報で示される動きから上記第２の動き情報で示される動きを相殺することによって上記ユーザの頭部の動きを検出する頭部動き検出部と、
    　上記頭部動き検出部により検出された上記ユーザの頭部の動きに応じた仮想空間画像を生成して上記ヘッドマウントディスプレイに表示させる画像表示制御部とを備えたことを特徴とする仮想空間画像表示制御装置。
  2. 　上記第２の動き情報取得部は、上記移動体に設置された複数のセンサにより検出される複数の第２の動き情報をそれぞれ取得し、
    　上記複数の第２の動き情報のうち、上記ユーザから最も近い位置に設置されているセンサから送信された動き情報を検出する最近センサ情報検出部を更に備え、
    　上記頭部動き検出部は、上記複数の第２の動き情報のうち、上記最近センサ情報検出部により検出された動き情報で示される動きを上記第１の動き情報で示される動きから相殺することによって上記ユーザの頭部の動きを検出することを特徴とする請求項１に記載の仮想空間画像表示制御装置。
  3. 　ユーザが頭部に装着したヘッドマウントディスプレイに搭載されたセンサにより検出される第１の動き情報を取得する第１の動き情報取得手段、
    　上記ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する第２の動き情報取得手段、
    　上記第１の動き情報で示される動きから上記第２の動き情報で示される動きを相殺することによって上記ユーザの頭部の動きを検出する頭部動き検出手段、および
    　上記頭部動き検出手段により検出された上記ユーザの頭部の動きに応じた仮想空間画像を生成して上記ヘッドマウントディスプレイに表示させる画像表示制御手段
    としてコンピュータを機能させるための仮想空間画像表示制御用プログラム。
PCT/JP2019/048640 2019-01-17 2019-12-12 仮想空間画像表示制御装置および仮想空間画像表示制御用プログラム WO2020149062A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019006325A JP2020115274A (ja) 2019-01-17 2019-01-17 仮想空間画像表示制御装置および仮想空間画像表示制御用プログラム
JP2019-006325 2019-03-26

Publications (1)

Publication Number Publication Date
WO2020149062A1 true WO2020149062A1 (ja) 2020-07-23

Family

ID=71614342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048640 WO2020149062A1 (ja) 2019-01-17 2019-12-12 仮想空間画像表示制御装置および仮想空間画像表示制御用プログラム

Country Status (2)

Country Link
JP (1) JP2020115274A (ja)
WO (1) WO2020149062A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7379253B2 (ja) * 2020-03-30 2023-11-14 日産自動車株式会社 挙動推定システム及び挙動推定方法
TWI757872B (zh) * 2020-09-16 2022-03-11 宏碁股份有限公司 整合動作感測器的擴增實境系統與擴增實境顯示方法
CN114253389B (zh) * 2020-09-25 2023-05-23 宏碁股份有限公司 整合动作感测器的增强现实***与增强现实显示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006143159A (ja) * 2004-11-25 2006-06-08 Alpine Electronics Inc 車両用動き認識装置
US20180031829A1 (en) * 2016-07-27 2018-02-01 Brillio LLC Method and system for automatically calibrating hmd device
WO2018163560A1 (ja) * 2017-03-06 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006143159A (ja) * 2004-11-25 2006-06-08 Alpine Electronics Inc 車両用動き認識装置
US20180031829A1 (en) * 2016-07-27 2018-02-01 Brillio LLC Method and system for automatically calibrating hmd device
WO2018163560A1 (ja) * 2017-03-06 2018-09-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JP2020115274A (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
WO2020149062A1 (ja) 仮想空間画像表示制御装置および仮想空間画像表示制御用プログラム
JP7197621B2 (ja) 車体運動および乗員体験を制御するための方法およびシステム
CN106663377B (zh) 驾驶员的驾驶不能状态检测装置
JP6913765B2 (ja) 移動体内で使用可能な頭部装着型の視覚的出力デバイスのためのモバイルセンサ装置を有する表示システムおよびそれを動作させるための方法
US20090002142A1 (en) Image Display Device
JP6690179B2 (ja) 挙動推定システム、及び挙動推定方法
JP2004224315A (ja) 車載表示装置および携帯表示装置
KR20200062266A (ko) 멀미를 겪지 않고 차량에서 디지털 콘텐츠 보기
US20230296383A1 (en) Relative Inertial Measurement System with Visual Correction
Cho et al. RideVR: reducing sickness for in-car virtual reality by mixed-in presentation of motion flow information
TWM545478U (zh) 具擴增實境與虛擬實境的頭盔
JP2021003906A (ja) 車両制御システム
JP2009251687A (ja) 映像表示装置
GB2558361B (en) Autonomous vehicle having an external movable shock-absorbing energy dissipation padding
JP2008242251A (ja) 映像表示装置
CN110447244A (zh) 用于为两轮车骑车者提供空间可感知的声学信号的方法
JP2018205429A (ja) 表示制御装置
US11409104B2 (en) Method and system for operating at least two display devices carried by respective vehicle occupants on the head
TW200940116A (en) A motion sickness prevention device
JP2009286153A (ja) 乗員姿勢補助装置及びプログラム
JP2008026265A (ja) ヘッドモーショントラッカ装置
JP2004106596A (ja) 画像表示装置、及び画像表示方法、計測装置、及び計測方法
JP4175167B2 (ja) 車載情報提供装置
JP7095593B2 (ja) 興味推定システム
JP7379253B2 (ja) 挙動推定システム及び挙動推定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19910834

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19910834

Country of ref document: EP

Kind code of ref document: A1