JP6968326B1 - Display device, display method and its display program - Google Patents

Display device, display method and its display program Download PDF

Info

Publication number
JP6968326B1
JP6968326B1 JP2021069492A JP2021069492A JP6968326B1 JP 6968326 B1 JP6968326 B1 JP 6968326B1 JP 2021069492 A JP2021069492 A JP 2021069492A JP 2021069492 A JP2021069492 A JP 2021069492A JP 6968326 B1 JP6968326 B1 JP 6968326B1
Authority
JP
Japan
Prior art keywords
display
image
predetermined
virtual image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021069492A
Other languages
Japanese (ja)
Other versions
JP2022164170A (en
Inventor
研 深澤
俊介 村上
綾乃 上村
Original Assignee
ティフォン株式会社
株式会社新潟放送
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ティフォン株式会社, 株式会社新潟放送 filed Critical ティフォン株式会社
Priority to JP2021069492A priority Critical patent/JP6968326B1/en
Application granted granted Critical
Publication of JP6968326B1 publication Critical patent/JP6968326B1/en
Publication of JP2022164170A publication Critical patent/JP2022164170A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】所定の空間内で、ユーザが装着する表示装置における表示ずれにより映像が視認できなくなる可能性を抑制する表示装置を提供する。【解決手段】 ユーザが装着する表示装置であって、画像を表示する表示部と、自装置の位置を取得する位置情報取得部と、所定の空間の壁面に対して所定の仮想画像を重畳するように表示部に表示させる表示制御部と、所定の空間において、壁面に対して表示される仮想画像よりも内側に設けられた仮想基準線よりも外側に自装置が位置するか否かを判定する判定部と、判定部が仮想基準線よりも外側に自装置が位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正部と、を備える。【選択図】図8PROBLEM TO BE SOLVED: To provide a display device for suppressing a possibility that an image cannot be visually recognized due to a display shift in a display device worn by a user in a predetermined space. SOLUTION: This is a display device worn by a user, and a display unit for displaying an image, a position information acquisition unit for acquiring the position of the own device, and a predetermined virtual image are superimposed on a wall surface of a predetermined space. It is determined whether or not the own device is located outside the virtual reference line provided inside the virtual image displayed on the wall surface in a predetermined space and the display control unit displayed on the display unit. A determination unit is provided, and a correction unit that corrects the display position of a predetermined virtual image when the determination unit determines that the own device is located outside the virtual reference line. [Selection diagram] FIG. 8

Description

本発明は、ユーザの位置に応じた画像を表示する表示装置に関する。 The present invention relates to a display device that displays an image according to the position of a user.

従来、様々な遊興施設として立体迷路やお化け屋敷などを備える遊園地があり、多数のユーザにより楽しまれている。 Conventionally, there are amusement parks equipped with three-dimensional mazes and haunted houses as various entertainment facilities, which are enjoyed by many users.

特許文献1には、そのような遊興施設において利用可能な電子機器に関する発明が開示されている。 Patent Document 1 discloses an invention relating to an electronic device that can be used in such amusement facilities.

特開2016−048301号公報Japanese Unexamined Patent Publication No. 2016-048301

ところで、特許文献1のように、ユーザがウェアラブル端末を装着して、ウェアラブル端末を通じて表示された映像によりエンターテインメントを提供することが考えられる。昨今においては、AR、MRなど、現実と仮想映像との組み合わせによるエンターテインメントが提供される。このようなエンターテインメントにあっては、ユーザの位置に応じた映像提供することが考えられるが、常時正しい位置情報を取得できるとは限らず、エンターテイメントの提供者が意図しない態様の映像が提供される可能性があった。 By the way, as in Patent Document 1, it is conceivable that a user wears a wearable terminal and provides entertainment by an image displayed through the wearable terminal. Nowadays, entertainment such as AR and MR is provided by combining real and virtual images. In such entertainment, it is conceivable to provide images according to the user's position, but it is not always possible to obtain correct position information, and images in a mode not intended by the entertainment provider are provided. There was a possibility.

そこで、本発明は上記要望に鑑みて成されたものであり、ユーザに対して、視聴して欲しい映像や画像を視認できる表示装置を提供することを目的とする。 Therefore, the present invention has been made in view of the above demands, and an object of the present invention is to provide a display device capable of visually recognizing an image or an image desired to be viewed by a user.

上記課題を解決するために、本発明の一態様に係る表示装置は、ユーザが装着する表示装置であって、画像を表示する表示部と、自装置の位置を取得する位置情報取得部と、所定の空間の壁面に対して所定の仮想画像を重畳するように表示部に表示させる表示制御部と、所定の空間において、壁面に対して表示される仮想画像よりも内側に設けられた仮想基準線よりも外側に自装置が位置するか否かを判定する判定部と、判定部が仮想基準線よりも外側に自装置が位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正部と、を備える。 In order to solve the above problems, the display device according to one aspect of the present invention is a display device worn by a user, and includes a display unit for displaying an image, a position information acquisition unit for acquiring the position of the own device, and a display device. A display control unit that displays a predetermined virtual image on the wall surface of a predetermined space so as to be superimposed on the wall surface, and a virtual reference provided inside the virtual image displayed on the wall surface in the predetermined space. A determination unit that determines whether or not the own device is located outside the line, and a determination unit that determines that the own device is located outside the virtual reference line, corrects the display position of a predetermined virtual image. It is provided with a correction unit.

上記課題を解決するために、本発明の一態様に係る仮想画像表示方法は、ユーザが装着し画像を表示する表示部を有する表示装置のコンピュータが、自装置の位置を取得する位置情報取得ステップと、所定の空間の壁面に対して所定の仮想画像を重畳して表示部に表示させる表示制御ステップと、所定の空間において、壁面に対して表示される仮想画像よりも内側に設けられた仮想基準線よりも外側に自装置が位置するか否かを判定する判定ステップと、判定ステップにおいて自装置が仮想基準線よりも外側に位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正ステップと、を実行する。 In order to solve the above problems, the virtual image display method according to one aspect of the present invention is a position information acquisition step in which a computer of a display device having a display unit worn by a user and displaying an image acquires a position of the own device. A display control step of superimposing a predetermined virtual image on the wall surface of the predetermined space and displaying it on the display unit, and a virtual image provided inside the virtual image displayed on the wall surface in the predetermined space. A determination step for determining whether or not the own device is located outside the reference line, and a determination step for determining whether the own device is located outside the virtual reference line, the display position of a predetermined virtual image is corrected. Perform the correction steps and.

上記課題を解決するために、本発明の一態様に係る仮想画像表示プログラムは、ユーザが装着し画像を表示する表示部を有する表示装置のコンピュータに、自装置の位置を取得する位置情報取得機能と、所定の空間の壁面に対して所定の仮想画像を重畳して表示部に表示させる表示制御機能と、所定の空間において、壁面に対して表示される仮想画像よりも内側に設けられた仮想基準線よりも外側に自装置が位置するか否かを判定する判定機能と、判定機能が自装置が仮想基準線よりも外側に位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正機能と、を実現させる。 In order to solve the above problems, the virtual image display program according to one aspect of the present invention has a position information acquisition function for acquiring the position of its own device on a computer of a display device having a display unit for displaying an image worn by a user. A display control function that superimposes a predetermined virtual image on the wall surface of a predetermined space and displays it on the display unit, and a virtual image provided inside the virtual image displayed on the wall surface in the predetermined space. A judgment function that determines whether or not the own device is located outside the reference line, and a judgment function that corrects the display position of a predetermined virtual image when the judgment function determines that the own device is located outside the virtual reference line. The correction function to be performed and realized.

上記表示装置において、補正部は、前記判定部が前記仮想基準線よりも外側に自装置が位置すると判定したときに、前記表示装置から相対的に近い前記所定の空間の壁面に表示すべき仮想画像の表示位置を、自装置から遠ざけるように補正することとしてもよい。 In the display device, when the determination unit determines that the own device is located outside the virtual reference line, the correction unit should display on the wall surface of the predetermined space relatively close to the display device. The display position of the image may be corrected so as to be far from the own device.

上記表示装置において、補正部は、前記判定部が前記仮想基準線よりも外側に自装置が位置すると判定したときに、前記表示装置から相対的に近い前記所定の空間の壁面に表示すべき仮想画像の表示位置を、所定距離だけ自装置から遠い位置に変更するよう補正することとしてもよい。 In the display device, when the determination unit determines that the own device is located outside the virtual reference line, the correction unit should display on the wall surface of the predetermined space relatively close to the display device. The display position of the image may be corrected so as to be changed to a position far from the own device by a predetermined distance.

上記表示装置において、前記表示装置は、前記ユーザの視野方向を撮像する撮像部を備え、前記表示制御部は、前記撮像部により撮像される前記所定の空間に含まれる範囲内の所定の仮想画像を前記表示部に表示させることとしてもよい。 In the display device, the display device includes an image pickup unit that captures an image of the user's visual field direction, and the display control unit is a predetermined virtual image within a range included in the predetermined space imaged by the image pickup unit. May be displayed on the display unit.

上記表示装置において、前記所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いるオブジェクトが配置され、前記表示装置は、前記撮像部により撮像された撮像画像であって前記オブジェクトを含む撮像画像を用いて、前記仮想画像の表示位置を調整するための調整部を備えることとしてもよい。 In the display device, an object used for adjusting the display position of a virtual image is arranged at a predetermined position in the predetermined space, and the display device is an image captured by the image pickup unit and is the image captured by the image pickup unit. An adjustment unit for adjusting the display position of the virtual image may be provided by using the captured image including the object.

上記表示装置において、所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いるオブジェクトが配置され、表示制御部は、オブジェクトとの位置関係を決定するための所定の画像を表示部に表示させるとともに、オブジェクトと所定の画像についての位置関係を指示するメッセージを表示部に表示させ、表示装置は、オブジェクトと所定の画像が位置関係になったことを示す入力を受け付ける入力部と、入力部からの入力があった場合に、オブジェクトの位置に基づいて、仮想画像の表示位置を調整するための調整部を備えることとしてもよい。 In the display device, an object used for adjusting a display position of a virtual image is arranged at a predetermined position in a predetermined space, and a display control unit sets a predetermined image for determining a positional relationship with the object. In addition to displaying on the display unit, a message indicating the positional relationship between the object and the predetermined image is displayed on the display unit, and the display device receives an input indicating that the object and the predetermined image have a positional relationship. And, when there is an input from the input unit, an adjustment unit for adjusting the display position of the virtual image based on the position of the object may be provided.

上記表示装置において、前記仮想基準線は、前記所定の空間内において矩形状となるように設けられることとしてもよい。 In the display device, the virtual reference line may be provided so as to have a rectangular shape in the predetermined space.

本発明の一態様に係る表示装置は、表示装置上で、所定の空間における壁面内に表示対象の画像が表示されてしまうことにより、結果として、提供したい映像をユーザが視認しにくくなる可能性があるところ、仮想基準線により仮想画像が表示されるべき位置からずれていることを検知して、画像の表示位置を補正することにより、ユーザが必ず映像を視認できるようにすることができる。 In the display device according to one aspect of the present invention, the image to be displayed is displayed on the display device in the wall surface in a predetermined space, and as a result, it may be difficult for the user to visually recognize the image to be provided. However, by detecting that the virtual image is deviated from the position where the virtual image should be displayed by the virtual reference line and correcting the display position of the image, the user can be sure to visually recognize the image.

システムの概要を示す斜視図である。It is a perspective view which shows the outline of the system. 坑道の構図例を示す平面図である。It is a top view which shows the composition example of a tunnel. AR画像を表示するテクスチャの位置の例を示す平面図である。It is a top view which shows the example of the position of the texture which displays an AR image. (a)AR画像がない表示例を示す図である。(b)AR画像をある表示例を示す図である。(A) It is a figure which shows the display example which does not have an AR image. (B) It is a figure which shows a certain display example of an AR image. AR画像がずれることを示す坑道の平面図である。It is a top view of the mine shaft which shows that the AR image shifts. 仮想基準線の例を示す図である。It is a figure which shows the example of the virtual reference line. AR画像の表示位置の補正例を示す図である。It is a figure which shows the correction example of the display position of an AR image. 情報処理装置の構成例を示すブロック図である。It is a block diagram which shows the configuration example of an information processing apparatus. 情報処理装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of an information processing apparatus. 仮想基準線の他の例を示す図である。It is a figure which shows the other example of a virtual reference line. 坑道内のチェックポイントの例を示す図である。It is a figure which shows the example of the checkpoint in a tunnel. チェックポイントでのキャリブレーションの例を示す図である。It is a figure which shows the example of the calibration at a checkpoint. AR画像の表示位置のその他の補正例を示す図である。It is a figure which shows the other correction example of the display position of an AR image. AR画像の表示位置のその他の補正例を示す図である。It is a figure which shows the other correction example of the display position of an AR image.

以下、本発明の一実施態様に係る表示装置について、図面を参照しながら詳細に説明する。 Hereinafter, the display device according to one embodiment of the present invention will be described in detail with reference to the drawings.

<実施の形態>
<構成>
図1は、実施例に係る表示装置100を利用する場面を説明するための模式的な斜視図である。
<Embodiment>
<Structure>
FIG. 1 is a schematic perspective view for explaining a scene in which the display device 100 according to the embodiment is used.

図1は、ユーザ10が表示装置100を装着して、所定の空間、一例として、鉱山における坑道や天然洞窟などを含む洞窟20内を探索する様子の一例を示す斜視図である。また、図2は、図1に示す洞窟20の平面図の一例である。 FIG. 1 is a perspective view showing an example of a user 10 wearing a display device 100 and exploring a predetermined space, for example, a cave 20 including a tunnel, a natural cave, or the like in a mine. Further, FIG. 2 is an example of a plan view of the cave 20 shown in FIG.

ユーザ10は、表示装置100を装着した状態で、図2の矢印21で示されるように、洞窟20内を移動する。ここで、表示装置100は、洞窟20内の様子に仮想映像を重畳した映像を表示することができる装置であって、例えば、ヘッドマウントディスプレイ、ウェアラブルグラス(眼鏡)などにより実現されるものであってよい。表示装置100は、洞窟20内を探索する際のアトラクションを提供するためのエンターテイメント装置であってよい。 The user 10 moves in the cave 20 with the display device 100 attached, as shown by the arrow 21 in FIG. Here, the display device 100 is a device capable of displaying an image in which a virtual image is superimposed on the state inside the cave 20, and is realized by, for example, a head-mounted display, wearable glasses (glasses), or the like. You can do it. The display device 100 may be an entertainment device for providing attractions when exploring the inside of the cave 20.

表示装置100は、洞窟20の壁面に重畳するようにして様々なAR画像を表示することとしてよい。表示装置100は、洞窟20の壁面に重ね合わせるような態様でAR画像を表示することで、より自然な画像をユーザ10に提供することができる。なお、本実施例では表示する画像をAR(Augmented Reality)画像として説明するが、これは、VR(Virtual Reality)画像であってもよいし、MR(Mixed Reality)画像であってもよいし、SR(Substitutional Reality)画像であってもよい。 The display device 100 may display various AR images so as to be superimposed on the wall surface of the cave 20. The display device 100 can provide the user 10 with a more natural image by displaying the AR image in such a manner as to superimpose it on the wall surface of the cave 20. In this embodiment, the image to be displayed will be described as an AR (Augmented Reality) image, but this may be a VR (Virtual Reality) image, an MR (Mixed Reality) image, or the like. It may be an SR (Substitutional Reality) image.

図3は、AR画像と洞窟20の壁面との関係を模式的に示した洞窟20の平面図の一例である。図3において、符号32は、洞窟20の壁面を示し、符号31は、洞窟20の壁面に重畳して表示されるAR画像のテクスチャの表示位置を示す一点鎖線である。図3に示すように、AR画像31は、壁面32にほぼ重畳するように表示されることが望ましい。 FIG. 3 is an example of a plan view of the cave 20 schematically showing the relationship between the AR image and the wall surface of the cave 20. In FIG. 3, reference numeral 32 indicates the wall surface of the cave 20, and reference numeral 31 is a alternate long and short dash line indicating the display position of the texture of the AR image displayed superimposed on the wall surface of the cave 20. As shown in FIG. 3, it is desirable that the AR image 31 is displayed so as to substantially superimpose on the wall surface 32.

図4(a)と、図4(b)は、表示装置100を通して、洞窟20内の表示例を示す図であり、図4(a)は、AR画像を表示していない状態の洞窟20内の様子を示す図であり、図4(b)は、AR画像を表示した状態の洞窟20内の様子を示す図である。 4 (a) and 4 (b) are views showing an example of display in the cave 20 through the display device 100, and FIG. 4 (a) shows the inside of the cave 20 in a state where the AR image is not displayed. 4 (b) is a diagram showing the inside of the cave 20 in a state where the AR image is displayed.

図4(a)は、表示装置100のレンズを通してユーザ10が見た洞窟20内の様子そのままであってもよいし、表示装置100により撮像された洞窟20内の映像を表示したものであってもよいし、表示装置100により生成された洞窟20内の仮想映像を表示したものであってもよい。 FIG. 4A may be the same as the inside of the cave 20 seen by the user 10 through the lens of the display device 100, or the image in the cave 20 captured by the display device 100 is displayed. Alternatively, the virtual image in the cave 20 generated by the display device 100 may be displayed.

図4(b)は、表示装置100の表示部に表示される洞窟20内容の様子に、AR画像を表示した一例を示している。図4(b)に示す例では、洞窟20の壁面32に対して、木や花を示すAR画像や、鉱石や水晶を示すAR画像を表示した例を示している。また、AR画像は、壁面32に対して重畳するように表示するものに限定するものではなく、洞窟20内の所定の場所、あるいは、ユーザ10に対して所定の相対位置関係にある場所に表示されるものであってよく、それは、アトラクションを提供する提供者により生成されたキャラクタであってもよい。 FIG. 4B shows an example in which an AR image is displayed in the state of the contents of the cave 20 displayed on the display unit of the display device 100. In the example shown in FIG. 4B, an AR image showing trees and flowers and an AR image showing ore and crystals are displayed on the wall surface 32 of the cave 20. Further, the AR image is not limited to the one displayed so as to be superimposed on the wall surface 32, and is displayed at a predetermined place in the cave 20 or a place having a predetermined relative positional relationship with the user 10. It may be, and it may be a character generated by the provider who provides the attraction.

ところで、表示装置100は、ユーザ10、ひいては、自装置の洞窟20内における位置に応じて適切にAR画像を表示する。つまり、ユーザ10は洞窟20内を、自由に動き回るが、その際に、ユーザ10の場所に応じて、洞窟20の壁面等に表示したAR画像は、壁面からずれることなく表示されることがエンターテイメント上望ましい。しかしながら、この制御を実現するには、表示装置100が、表示装置100の洞窟20内における正確な位置情報を取得している必要がある。位置情報を取得する一例としては、GPSを含むGNSSを利用することが考えられるが、これらは、衛星からの信号を利用する都合上、洞窟20内にあっては正確に測定できない可能性がある。 By the way, the display device 100 appropriately displays the AR image according to the position in the cave 20 of the user 10 and the own device. That is, the user 10 freely moves around in the cave 20, but at that time, the AR image displayed on the wall surface of the cave 20 or the like is displayed without deviating from the wall surface depending on the location of the user 10. Above desirable. However, in order to realize this control, the display device 100 needs to acquire accurate position information in the cave 20 of the display device 100. As an example of acquiring position information, it is conceivable to use GNSS including GPS, but these may not be accurately measured in the cave 20 due to the convenience of using signals from satellites. ..

そのため、本来図3の状態で表示されるべきAR画像31の表示装置100における表示位置がずれて、図5に一例を示すように、AR画像31が、洞窟20の壁面内に位置するように制御される可能性がある。この場合、AR画像31は洞窟20内の壁面32内に埋もれるようにして表示されることになるので、エンターテイメントとしてユーザ10に確認してもらうべき情報が確認してもらえないとともに、製作者側が意図したエンターテイメントとしての質が低下するという問題を生じる。 Therefore, the display position of the AR image 31 that should be originally displayed in the state of FIG. 3 in the display device 100 is displaced, and the AR image 31 is located in the wall surface of the cave 20 as shown in FIG. 5 as an example. May be controlled. In this case, since the AR image 31 is displayed so as to be buried in the wall surface 32 in the cave 20, the information that should be confirmed by the user 10 as entertainment cannot be confirmed, and the creator side intends to do so. It causes the problem that the quality of entertainment is reduced.

そこで、本実施形態に係る表示装置100は、図6に示すように、洞窟20内において、仮想基準線61を設定する。仮想基準線61は、洞窟20の壁面32よりも内側に設定される仮想的な境界線であって、表示装置100(ユーザ10)の位置が、この仮想基準線61を超えた場合に、表示装置100がAR画像の表示位置を補正するトリガとするための境界線である。仮想基準線61の位置は、洞窟20の壁面32に重畳するように表示されるべきAR画像31に対応付けられて記憶部140に記憶される。したがって、AR画像31の表示位置が本来表示されることが望まれている位置からずれた場合には、仮想基準線61も共にずれることになる。洞窟20内においては、ユーザ10が行動可能な範囲は予め定められていることが多い。そのような状況下にあって、図7に示すように、仮想基準線61を表示装置100が超えて壁面32寄りに移動した場合には、AR画像31は、壁面32内に表示される可能性がより高くなる。そこで、本実施形態に係る表示装置100は、図7に示すように、AR画像31の表示位置を補正する。具体的には、ユーザ10(表示装置100)が超えた側の仮想基準線61に対応する側のAR画像31、即ち、相対的にユーザ10に近い方のAR画像31をユーザから遠ざけるようにAR画像31の表示位置を補正する。言い換えれば、ユーザ10から遠い側の壁面に対応するAR画像31の表示位置は、ユーザに近づくことになる。即ち、表示装置100は、AR画像31をユーザ10寄りに、即ち、矢印70で示されるように、表示位置をずらす。表示装置100は、AR画像31が正確に表示されていようといまいと表示位置をユーザ10側にずらすが、これは、AR画像31の表示位置が大きくずれると製作者側が意図しない表現となってエンターテイメントとしてマイナスとなる可能性があるからである。 Therefore, as shown in FIG. 6, the display device 100 according to the present embodiment sets a virtual reference line 61 in the cave 20. The virtual reference line 61 is a virtual boundary line set inside the wall surface 32 of the cave 20, and is displayed when the position of the display device 100 (user 10) exceeds the virtual reference line 61. This is a boundary line for the device 100 to serve as a trigger for correcting the display position of the AR image. The position of the virtual reference line 61 is stored in the storage unit 140 in association with the AR image 31 to be displayed so as to be superimposed on the wall surface 32 of the cave 20. Therefore, when the display position of the AR image 31 deviates from the position where it is originally desired to be displayed, the virtual reference line 61 also deviates. In the cave 20, the range in which the user 10 can act is often predetermined. Under such circumstances, as shown in FIG. 7, when the display device 100 exceeds the virtual reference line 61 and moves toward the wall surface 32, the AR image 31 can be displayed in the wall surface 32. The sex becomes higher. Therefore, the display device 100 according to the present embodiment corrects the display position of the AR image 31 as shown in FIG. Specifically, the AR image 31 on the side corresponding to the virtual reference line 61 on the side beyond the user 10 (display device 100), that is, the AR image 31 relatively closer to the user 10 is kept away from the user. The display position of the AR image 31 is corrected. In other words, the display position of the AR image 31 corresponding to the wall surface on the side far from the user 10 is closer to the user. That is, the display device 100 shifts the display position of the AR image 31 toward the user 10, that is, as indicated by the arrow 70. The display device 100 shifts the display position to the user 10 side regardless of whether the AR image 31 is displayed accurately, but this is an expression not intended by the producer side when the display position of the AR image 31 is greatly deviated. This is because it can be negative as entertainment.

その他の補正例としては、図13、あるいは、図14に示すようにAR画像31の表示位置を補正することとしてよい。 As another example of correction, the display position of the AR image 31 may be corrected as shown in FIG. 13 or FIG.

図13の例では、AR画像31は、本来表示されるべき壁面32よりも下側(図13における下側、南側)にずれてしまっている例を示している。そうすると、図13に示すように、ユーザ10(表示装置100)が、下がってきた仮想基準線61を超えることがある。このような場合には、図13の矢印71に示されるように、AR画像31の表示位置を補正する。即ち、ユーザ10(表示装置100)から見て、相対的に近い方のAR画像31をユーザ10から遠ざけるように、その表示位置を補正する。必然的に、ユーザ10(表示装置100)から見て、相対的に遠い方のAR画像31はユーザ10に近づくように表示位置が補正されることになる。 In the example of FIG. 13, the AR image 31 shows an example in which the AR image 31 is displaced to the lower side (lower side and south side in FIG. 13) than the wall surface 32 that should be originally displayed. Then, as shown in FIG. 13, the user 10 (display device 100) may exceed the lowered virtual reference line 61. In such a case, the display position of the AR image 31 is corrected as shown by the arrow 71 in FIG. That is, the display position of the AR image 31 which is relatively close to the user 10 (display device 100) is corrected so as to be far from the user 10. Inevitably, the display position of the AR image 31 which is relatively far from the user 10 (display device 100) is corrected so as to be closer to the user 10.

図14に示す例では、AR画像31の表示位置が、紙面左斜め上方向にずれている例を示している。そうすると、図14に示すように、ユーザ10(表示装置100)が下側で仮想基準線61を超えることがある。このような場合には、図14の矢印72に示されるように、AR画像31の表示位置を補正する。即ち、ユーザ10(表示装置100)から見て、相対的に近い方のAR画像31をユーザ10から遠ざけるように、その表示位置を補正する。 In the example shown in FIG. 14, the display position of the AR image 31 is shifted diagonally upward to the left of the paper surface. Then, as shown in FIG. 14, the user 10 (display device 100) may cross the virtual reference line 61 on the lower side. In such a case, the display position of the AR image 31 is corrected as shown by the arrow 72 in FIG. That is, the display position of the AR image 31 which is relatively close to the user 10 (display device 100) is corrected so as to be far from the user 10.

なお、図6、図13、図14のAR画像31の表示位置の補正の方向であるが、これは、表示装置100の位置情報が、仮想基準線61を超えたと判定されたときの位置情報と、その前に取得された位置情報とから、特定される方向、即ち、前回(前々回やその前のものも含んでもよい)取得した位置情報から今回取得した位置情報に向かう向きを、AR画像31の表示位置をずらす方向としてよい。 The direction of correction of the display position of the AR image 31 of FIGS. 6, 13, and 14 is the position information when it is determined that the position information of the display device 100 exceeds the virtual reference line 61. And the direction to be specified from the position information acquired before that, that is, the direction from the position information acquired last time (including the one before the previous time and the one before it) to the position information acquired this time, AR image. The display position of 31 may be shifted.

なお、仮想基準線61は、基本的には表示されずユーザ10はその位置を確認できないが、表示できるように構成してもよい。また、ユーザ10の行動範囲は、図6に示される状態の仮想基準線61よりも内側のみであることが望ましい。 The virtual reference line 61 is basically not displayed and the user 10 cannot confirm its position, but it may be configured so that it can be displayed. Further, it is desirable that the action range of the user 10 is only inside the virtual reference line 61 in the state shown in FIG.

以下、表示装置100について詳細に説明する。 Hereinafter, the display device 100 will be described in detail.

<構成>
図8は、表示装置100の構成例を示すブロック図である。図8に示すように、表示装置100は、表示部110と、位置情報取得部120と、撮像部130と、記憶部140と、制御部150と、入力部170とを備える。表示装置100の各部は、バス160を介して互いに通信可能に接続されてよい。なお、ここでは、表示装置100は撮像部130を備える例を説明するが、撮像部130は必須の構成ではない。
<Structure>
FIG. 8 is a block diagram showing a configuration example of the display device 100. As shown in FIG. 8, the display device 100 includes a display unit 110, a position information acquisition unit 120, an image pickup unit 130, a storage unit 140, a control unit 150, and an input unit 170. Each part of the display device 100 may be communicably connected to each other via the bus 160. Here, an example in which the display device 100 includes an image pickup unit 130 will be described, but the image pickup unit 130 is not an essential configuration.

表示装置100は、ユーザ10により装着されて、画像を表示して提供する装置であり、例えば、ヘッドマウントディスプレイやウェアラブルグラスにより実現される。 The display device 100 is a device worn by the user 10 to display and provide an image, and is realized by, for example, a head-mounted display or a wearable glass.

表示部110は、制御部150により指定される画像を表示する機能を有するモニタである。表示部110は、表示装置100がウェアラブルグラスの場合には、透過型スクリーンにより実現されるものであってもよい。即ち、表示部110は、眼鏡としてのレンズとして機能してもよい。表示部110は、一例として、洞窟20内で洞窟20の壁面32等に重畳するように、あるいは、洞窟20内の指定の場所、あるいは、ユーザ10から見て、定められた距離及び方向に、制御部150から指定されるAR画像を表示する。 The display unit 110 is a monitor having a function of displaying an image designated by the control unit 150. When the display device 100 is a wearable glass, the display unit 110 may be realized by a transmissive screen. That is, the display unit 110 may function as a lens as eyeglasses. As an example, the display unit 110 is superimposed on the wall surface 32 or the like of the cave 20 in the cave 20, a designated place in the cave 20, or a predetermined distance and direction as seen from the user 10. The AR image designated by the control unit 150 is displayed.

位置情報取得部120は、洞窟20における表示装置100の位置を示す位置情報を取得する。位置情報取得部120は、洞窟20における表示装置100の絶対座標を位置情報として取得することとしてもよいし、洞窟20に対する相対座標による位置情報を取得することとしてもよい。位置情報取得部120は、一例として、GPSを含むGNSS等を利用した測位システムにより、表示装置100の位置情報を取得することとしてよい。また、例えば、位置情報取得部120は、表示装置100に取り付けたカメラや赤外線センサによって周囲の環境をスキャンして位置や姿勢を特定するインサイド・アウト方式や、部屋の天井や壁に設置したカメラや赤外線照射デバイスを用いてマーカーや表示装置100の位置や姿勢を取得するアウトサイド・イン方式を用いて位置を特定することとしてよい。なお、赤外線以外に、例えば、UWB(Ultra Wide Band)帯を用いたRF(Radio Frequency)ベースの通信方式を利用したポジショントラッキングを用いてもよい。あるいは、位置情報取得部120は、洞窟20に設置されたビーコン発生器から発せられたビーコンを受信し、そのビーコンに含まれるビーコン発生器の位置を表示装置の位置情報として取得してもよい。位置情報取得部120は、取得した位置情報を制御部150に伝達する。また、位置情報取得部120は、6軸センサ(3軸の向きと、加速度)を含んでよく、表示装置100の位置とともに、表示装置100の向きや高さの情報を取得し、位置情報に含ませて制御部150に伝達することとしてよい。 The position information acquisition unit 120 acquires position information indicating the position of the display device 100 in the cave 20. The position information acquisition unit 120 may acquire the absolute coordinates of the display device 100 in the cave 20 as the position information, or may acquire the position information by the relative coordinates with respect to the cave 20. As an example, the position information acquisition unit 120 may acquire the position information of the display device 100 by a positioning system using GNSS or the like including GPS. Further, for example, the position information acquisition unit 120 has an inside-out method of scanning the surrounding environment with a camera attached to the display device 100 or an infrared sensor to specify the position and posture, or a camera installed on the ceiling or wall of a room. The position may be specified by using an outside-in method for acquiring the position and posture of the marker or the display device 100 by using an infrared irradiation device or an infrared irradiation device. In addition to infrared rays, for example, position tracking using an RF (Radio Frequency) -based communication method using a UWB (Ultra Wide Band) band may be used. Alternatively, the position information acquisition unit 120 may receive the beacon emitted from the beacon generator installed in the cave 20 and acquire the position of the beacon generator included in the beacon as the position information of the display device. The position information acquisition unit 120 transmits the acquired position information to the control unit 150. Further, the position information acquisition unit 120 may include a 6-axis sensor (three-axis orientation and acceleration), and acquires information on the orientation and height of the display device 100 as well as the position of the display device 100, and uses the position information as the position information. It may be included and transmitted to the control unit 150.

撮像部130は、表示装置100の正面方向を撮像可能なカメラである。撮像部130は、深度カメラであってもよく、撮像対象までの距離を取得可能なものであってもよく、それによって、表示装置100から撮像対象(例えば、壁面32)までの距離を測定可能なものであってもよい。撮像部130は、撮像により得られた映像(画像)を制御部150に伝達する。 The image pickup unit 130 is a camera capable of taking an image in the front direction of the display device 100. The image pickup unit 130 may be a depth camera or may be capable of acquiring a distance to an image pickup target, whereby the distance from the display device 100 to the image pickup target (for example, the wall surface 32) can be measured. It may be anything. The image pickup unit 130 transmits the image (image) obtained by the image pickup to the control unit 150.

記憶部140は、表示装置100が動作上必要とする各種のプログラム及びデータを記憶する機能を有する記憶媒体である。記憶部140は、例えば、HDD(Hard Disc Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現することができる。記憶部140は、洞窟20内で表示するAR画像に関する情報を記憶する。また、記憶部140は、仮想基準線61の位置を示す情報を記憶する。 The storage unit 140 is a storage medium having a function of storing various programs and data required for operation by the display device 100. The storage unit 140 can be realized by, for example, an HDD (Hard Disc Drive), an SSD (Solid State Drive), a flash memory, or the like. The storage unit 140 stores information about the AR image to be displayed in the cave 20. Further, the storage unit 140 stores information indicating the position of the virtual reference line 61.

制御部150は、記憶部140に記憶されている各種プログラムを実行して、表示装置100の各部を制御する機能を有するプロセッサである。制御部150は、各プログラムを実行することにより、表示制御部151、判定部152、補正部153、調整部154としての機能を実現する。 The control unit 150 is a processor having a function of executing various programs stored in the storage unit 140 to control each unit of the display device 100. By executing each program, the control unit 150 realizes functions as a display control unit 151, a determination unit 152, a correction unit 153, and an adjustment unit 154.

表示制御部151は、表示部110(レンズ)を通して見える範囲内の所定の空間、即ち、洞窟20の壁面に対して所定の仮想画像が重畳されるように、仮想画像を表示部110に表示させる。また、表示制御部151は、撮像部130が撮像した撮像画像に含まれる所定の空間、つまり、洞窟20の壁面に対して所定の仮想画像(AR画像31)を重畳して表示部110に表示させることとしてもよい。表示制御部151は、位置情報取得部120から伝達された表示装置100の位置情報、姿勢情報、高さ情報などの情報に基づき、洞窟20内における表示装置100の位置や姿勢を特定する。そして、表示制御部151は、特定した位置、姿勢の場合にユーザから見えるはずの映像(AR画像)を、記憶部140に記憶されているプログラムやデータを用いて生成し、表示部110に表示させる。 The display control unit 151 causes the display unit 110 to display the virtual image so that the predetermined virtual image is superimposed on the predetermined space within the range visible through the display unit 110 (lens), that is, the wall surface of the cave 20. .. Further, the display control unit 151 superimposes a predetermined virtual image (AR image 31) on a predetermined space included in the image captured by the image pickup unit 130, that is, the wall surface of the cave 20 and displays it on the display unit 110. You may let it. The display control unit 151 specifies the position and posture of the display device 100 in the cave 20 based on the information such as the position information, the posture information, and the height information of the display device 100 transmitted from the position information acquisition unit 120. Then, the display control unit 151 generates an image (AR image) that should be visible to the user in the case of the specified position and posture by using the program or data stored in the storage unit 140, and displays it on the display unit 110. Let me.

判定部152は、位置情報取得部120から伝達された表示装置100の位置情報に基づいて、所定の空間、即ち、洞窟20内において、その壁面よりも内側に設定されている仮想基準線61よりも外側に表示装置100が位置するか否かを判定する。換言すると、判定部152は、所定の空間における中央側から、壁面に向かう外側に向かって、仮想基準線61を表示装置100が超えたか否かを判定する。判定部152は、仮想基準線61よりも外側に表示装置100が位置すると判定した場合には、その旨を補正部153に伝達する。 The determination unit 152 is based on the position information of the display device 100 transmitted from the position information acquisition unit 120, from the virtual reference line 61 set inside the wall surface in a predetermined space, that is, in the cave 20. Also determines whether or not the display device 100 is located on the outside. In other words, the determination unit 152 determines whether or not the display device 100 has crossed the virtual reference line 61 from the central side in the predetermined space toward the outside toward the wall surface. When the determination unit 152 determines that the display device 100 is located outside the virtual reference line 61, the determination unit 152 transmits to that effect to the correction unit 153.

補正部153は、判定部152から、表示装置100が仮想基準線61よりも外側に表示装置100が位置すると判定したことを通知された場合に、所定の空間の壁面に表示するAR画像の表示位置を補正する。補正部153は、表示装置100が仮想基準線61を超えたときに表示装置100が超えた仮想基準線61に対応する部分のAR画像が相対的に表示装置100から遠ざかるように、AR画像の表示位置を補正する。一例として、補正部153は、AR画像の表示位置として設定された位置(一度以上補正された後の位置である可能性もある)から、ユーザ10から相対的に遠ざかる方向に所定距離(例えば、10cmとしてよいが、これに限定するものではない)だけ移動させた位置を表示位置に補正する。したがって、ユーザ10から見ると、ユーザ10に近い方の壁面32に重畳するように表示されるべきAR画像31がユーザ10から遠ざかるように表示され、ユーザ10に遠い方の壁面32に重畳するように表示されるべきAR画像31はユーザ10に近づくように表示されることになる。なお、表示装置100は、超音波センサ等を備えて、表示装置100から最も近い壁面までの距離を特定し、特定した壁面までの距離に応じて、AR画像を表示する表示位置を変更する距離を特定し、特定した距離だけ移動させることで補正することとしてもよい。 The correction unit 153 displays an AR image to be displayed on the wall surface of a predetermined space when the determination unit 152 notifies that the display device 100 determines that the display device 100 is located outside the virtual reference line 61. Correct the position. The correction unit 153 displays the AR image so that when the display device 100 exceeds the virtual reference line 61, the AR image of the portion corresponding to the virtual reference line 61 exceeded by the display device 100 is relatively far from the display device 100. Correct the display position. As an example, the correction unit 153 is a predetermined distance (for example, a predetermined distance) in a direction relatively away from the user 10 from a position set as a display position of an AR image (which may be a position after being corrected once or more). It may be 10 cm, but it is not limited to this), and the moved position is corrected to the display position. Therefore, when viewed from the user 10, the AR image 31 that should be displayed so as to be superimposed on the wall surface 32 closer to the user 10 is displayed so as to be away from the user 10, and is superimposed on the wall surface 32 farther from the user 10. The AR image 31 to be displayed in is displayed so as to approach the user 10. The display device 100 includes an ultrasonic sensor or the like, specifies the distance from the display device 100 to the nearest wall surface, and changes the display position for displaying the AR image according to the distance to the specified wall surface. May be corrected by specifying and moving by a specified distance.

調整部154は、所定の空間、即ち、洞窟20内に設置された所定の場所、例えば、チェックポイントなどにおいて、ユーザからの入力に基づいて、表示するAR画像の位置を調整するためのキャリブレーションを実行する。調整部154によるキャリブレーションは、補正部153による画像の表示位置の補正と異なり、厳密なAR画像の表示位置の調整を行うものである。 The adjustment unit 154 is calibrated to adjust the position of the AR image to be displayed based on the input from the user in a predetermined space, that is, a predetermined place installed in the cave 20, for example, a checkpoint. To execute. The calibration by the adjustment unit 154 is different from the correction of the display position of the image by the correction unit 153, and the calibration is a strict adjustment of the display position of the AR image.

入力部170は、ユーザ10からの入力を受け付ける入力インターフェースである。入力部170は、表示装置100に設けられたハードキー等により実現されることとしてよい。入力部170は、入力された入力内容を制御部150に伝達する。 The input unit 170 is an input interface that accepts input from the user 10. The input unit 170 may be realized by a hard key or the like provided on the display device 100. The input unit 170 transmits the input content to the control unit 150.

以上が、表示装置100の構成例である。 The above is a configuration example of the display device 100.

<動作>
図9を用いて、表示装置100の動作例を説明する。
<Operation>
An operation example of the display device 100 will be described with reference to FIG.

表示装置100の制御部150は、表示装置100がAR画像を表示する上での初期設定を行う(ステップS901)。ここでいう初期設定には、所定の空間としての洞窟20における初期位置とAR画像の表示位置との位置合わせを行うことを含んでよい。なお、初期設定は必須ではない。 The control unit 150 of the display device 100 performs initial settings for the display device 100 to display an AR image (step S901). The initial setting referred to here may include aligning the initial position in the cave 20 as a predetermined space with the display position of the AR image. The initial settings are not essential.

ユーザ10は、表示装置100を装着して、洞窟20内の探索を開始する(ステップS902)。 The user 10 attaches the display device 100 and starts a search in the cave 20 (step S902).

表示装置100の位置情報取得部120は、逐次、表示装置100の位置を示す位置情報を取得する(ステップS903)。位置情報取得部120は、得られた位置情報及び表示装置100の姿勢や高さを示す情報を、制御部150に伝達する。制御部150の判定部152は、伝達された位置情報と、記憶部140に記憶されている仮想基準線61の位置とに基づいて、仮想基準線61の外側に表示装置100が位置するか否かを判定する(ステップS904)。 The position information acquisition unit 120 of the display device 100 sequentially acquires position information indicating the position of the display device 100 (step S903). The position information acquisition unit 120 transmits the obtained position information and information indicating the posture and height of the display device 100 to the control unit 150. The determination unit 152 of the control unit 150 determines whether or not the display device 100 is located outside the virtual reference line 61 based on the transmitted position information and the position of the virtual reference line 61 stored in the storage unit 140. (Step S904).

判定部152は、仮想基準線61の外側に表示装置100が位置すると判定した場合には(ステップS904のYES)、その旨を補正部153に伝達する。補正部153は、判定部152から表示装置100が仮想基準線61よりも外側に位置する旨を伝達された場合には、表示装置100が超えた仮想基準線61に対応するAR画像の表示位置が、相対的にユーザ10(表示装置100)から遠ざかる位置になるように、表示位置の補正を実行する(ステップS905)。表示制御部151は、補正後の表示位置に従って、AR画像を表示部110に表示させる。 When the determination unit 152 determines that the display device 100 is located outside the virtual reference line 61 (YES in step S904), the determination unit 152 transmits to that effect to the correction unit 153. When the determination unit 152 notifies that the display device 100 is located outside the virtual reference line 61, the correction unit 153 displays the AR image display position corresponding to the virtual reference line 61 exceeded by the display device 100. However, the display position is corrected so that the position is relatively far from the user 10 (display device 100) (step S905). The display control unit 151 causes the display unit 110 to display the AR image according to the corrected display position.

表示装置100は、入力部170に対してユーザ10からキャリブレーションの実行入力を受け付けているか否かを判定する(ステップS906)。受け付けていない場合には(ステップS906のNO)、ステップS908の処理に移行する。キャリブレーションの実行入力を受け付けている場合には(ステップS906のYES)、調整部154は、ユーザの位置、即ち、表示装置100の位置と、撮像部130が撮像した撮像画像に基づいて、キャリブレーションを実行し(ステップS907)、ステップS908の処理に移行する。 The display device 100 determines whether or not the input unit 170 is receiving the calibration execution input from the user 10 (step S906). If it is not accepted (NO in step S906), the process proceeds to step S908. When the execution input of the calibration is accepted (YES in step S906), the adjustment unit 154 calibrates based on the position of the user, that is, the position of the display device 100 and the image captured by the image pickup unit 130. The operation is executed (step S907), and the process proceeds to the process of step S908.

表示装置100は、ユーザ10からのAR画像の表示の終了入力を受け付けたか否かを判定する(ステップS908)。そして、終了入力を受け付けていない場合には(ステップS908のNO)、ステップS903の処理に戻り、受け付けた場合には(ステップS908のYES)、処理を終了する。 The display device 100 determines whether or not the end input of the display of the AR image from the user 10 has been accepted (step S908). Then, if the end input is not accepted (NO in step S908), the process returns to the process of step S903, and if it is accepted (YES in step S908), the process is terminated.

以上が、表示装置100の動作例の説明である。なお、ステップS904、S905の処理と、ステップS906、S907の処理とは、互いに並列に実行されてもよいし、その実行順序が前後してもよい。 The above is the description of the operation example of the display device 100. The processes of steps S904 and S905 and the processes of steps S906 and S907 may be executed in parallel with each other, or the execution order may be changed.

<まとめ>
上記実施の形態に示した表示装置100は、所定の空間内の通路等において所定の空間における壁面よりも内側に位置するように設定された仮想基準線を越えて、外側に自装置が位置すると判定した場合に、壁面内に表示される可能性がある仮想画像の表示位置を補正することができる。結果、ユーザが仮想画像を視認できないという可能性を抑制することができる。
<Summary>
When the display device 100 shown in the above embodiment has its own device located outside the virtual reference line set to be located inside the wall surface in the predetermined space in a passage or the like in the predetermined space. When the determination is made, the display position of the virtual image that may be displayed on the wall surface can be corrected. As a result, it is possible to suppress the possibility that the user cannot visually recognize the virtual image.

<補足>
上記実施の形態に係る表示装置は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
<Supplement>
Needless to say, the display device according to the above embodiment is not limited to the above embodiment, and may be realized by another method. Hereinafter, various modification examples will be described.

(1) 上記実施形態において、表示装置100が全ての機能を実現する例を示したが、これはその限りではない。表示装置100を含む複数の装置により、上記実施形態に示した機能を実現することとしてもよい。例えば、表示装置100に表示するAR画像を、外部の装置が生成し、外部の装置が生成したAR画像とその表示位置を、通信により表示装置100に送信する。表示装置100は、当該外部の装置と無線により通信を実行する通信部を備えることとしてよい。通信部は、外部の装置が生成したAR画像とその表示位置の情報を受信し、受信したAR画像を指定されている表示位置に表示する。このように、表示装置100の機能は複数の装置により実現されるものであってもよい。 (1) In the above embodiment, an example in which the display device 100 realizes all the functions is shown, but this is not the case. The function shown in the above embodiment may be realized by a plurality of devices including the display device 100. For example, an AR image to be displayed on the display device 100 is generated by an external device, and the AR image generated by the external device and its display position are transmitted to the display device 100 by communication. The display device 100 may include a communication unit that wirelessly communicates with the external device. The communication unit receives the AR image generated by the external device and the information of the display position thereof, and displays the received AR image at the designated display position. As described above, the function of the display device 100 may be realized by a plurality of devices.

(2) 上記実施形態において、仮想基準線61を、洞窟20の壁面32の形状に沿う態様で設定する例を説明したが、仮想基準線61は、壁面32よりも内側に設定されていればよく、壁面32の形状に沿う必要はない。図10は、仮想基準線61の他の例を示す図である。図10は、洞窟20を進行方向に向かって見た場合の正面図である。図10の例では、仮想基準線61を図示の通り、矩形状に設定した例を示している。鉱山や洞窟における坑道は、基本的には、人間が通行可能な進行ルートが設定されている。その進行ルートに沿う態様で矩形状の筒状に仮想基準線61を設定するようにしてもよい。また、仮想基準線61の壁面32からの距離は、洞窟20全体を通して一定であってもよいし、一定でなくてもよい。例えば、洞窟20内の通路が狭い場所では壁面32からの距離が短くなるように、洞窟20内の通路が広い場所では壁面32からの距離が長くなるように仮想基準線61の位置を設定することとしてよい。 (2) In the above embodiment, an example of setting the virtual reference line 61 in a manner that follows the shape of the wall surface 32 of the cave 20 has been described, but if the virtual reference line 61 is set inside the wall surface 32, Well, it is not necessary to follow the shape of the wall surface 32. FIG. 10 is a diagram showing another example of the virtual reference line 61. FIG. 10 is a front view of the cave 20 when viewed in the direction of travel. In the example of FIG. 10, an example in which the virtual reference line 61 is set in a rectangular shape as shown in the figure is shown. The tunnels in mines and caves are basically set along routes that humans can pass through. The virtual reference line 61 may be set in a rectangular cylinder in a manner along the traveling route. Further, the distance of the virtual reference line 61 from the wall surface 32 may or may not be constant throughout the cave 20. For example, the position of the virtual reference line 61 is set so that the distance from the wall surface 32 is short in a place where the passage in the cave 20 is narrow, and the distance from the wall surface 32 is long in a place where the passage in the cave 20 is wide. Good as it is.

(3) 上記実施形態において、ユーザ10が洞窟20内を行動する例を示したが、ユーザ10が行動する場所は、壁面が存在するような場所であればどこであってよい。例えば、ユーザ10が行動する場所は、一例として、ビルの中などであってもよいし、トンネルの中などであってもよいし、立体迷路などであってもよい。 (3) In the above embodiment, the example in which the user 10 acts in the cave 20 is shown, but the place where the user 10 acts may be any place where a wall surface exists. For example, the place where the user 10 acts may be, for example, in a building, in a tunnel, or in a three-dimensional maze.

(4) 上記実施の形態においては、特に記載していなかったが、ユーザは、バーチャル映像世界に影響を与えるためのコントローラを保持してもよい。その場合に、当該コントローラは、所定の空間(洞窟20)内での位置、及び、向きを特定できるようにセンサを備え、仮想映像に影響させてもよい。ここで、影響とは、例えば、コントローラを懐中電灯と見立てて、ユーザが保持しているコントローラの向きに応じて、映像世界内を明るく照らすように映像を加工してもよいし、コントローラを銃に見立てて、映像世界内で、ユーザが引き金を引いたら、コントローラを向けている方向に向けて銃撃を行うように映像を加工してもよい。なお、ここで、コントローラを利用した映像の加工例は一例であり、その他の加工を行ってもよいし、コントローラを別の事物にみたててもよい。 (4) Although not particularly described in the above embodiment, the user may hold a controller for influencing the virtual video world. In that case, the controller may include a sensor so that the position and orientation in a predetermined space (cave 20) can be specified, and may affect the virtual image. Here, the influence means, for example, that the controller may be regarded as a flashlight and the image may be processed so as to illuminate the inside of the image world brightly according to the orientation of the controller held by the user, or the controller may be a gun. In the video world, when the user pulls the trigger, the video may be processed so that the controller is pointed in the direction of the shooting. Here, the example of processing an image using the controller is an example, and other processing may be performed, or the controller may be viewed as another thing.

(5) 上記実施の形態に示した調整部154によるキャリブレーションの一例を図11、図12を用いて説明する。 (5) An example of calibration by the adjusting unit 154 shown in the above embodiment will be described with reference to FIGS. 11 and 12.

洞窟20内においては、キャリブレーションを実行するためのチェックポイントが1以上設定されてもよい。キャリブレーションはAR画像の表示位置の調整を行うことをいう。より具体的には、ここでいうキャリブレーションは、洞窟20内において、予め正確な位置を測定し、その位置において、表示装置100がどのようにAR画像を表示すべきかが定められている場所で、表示装置100から設定されている見え方がされるように表示装置100の位置情報(表示装置100の向き、高さを含む)とAR画像の表示位置との位置合わせを行うことをいう。図11には、洞窟20内に、チェックポイント1101、1102を設けた例を示している。 In the cave 20, one or more checkpoints for performing calibration may be set. Calibration refers to adjusting the display position of the AR image. More specifically, the calibration referred to here is a place in the cave 20 where an accurate position is measured in advance and how the display device 100 should display the AR image at that position is defined. It means aligning the position information (including the orientation and height of the display device 100) of the display device 100 with the display position of the AR image so that the appearance set from the display device 100 can be obtained. FIG. 11 shows an example in which checkpoints 1101 and 1102 are provided in the cave 20.

ユーザ10は、チェックポイント1101、1102に到達するとキャリブレーションを実行するための所定の入力(例えば、表示装置100に設けられた特定のボタンの押下など)を行う。すると、表示制御部151は、図12(a)のメッセージ1204に示すように、ユーザ10にとって欲しい行動を示す文章を表示する。ここでは、表示制御部151は、カーソル1203を表示し、そのカーソル1203が、洞窟20内のチェックポイント1101として設けられたオブジェクトとの位置合わせを行うためのメッセージを表示した場合の例を示している。ユーザ10は、カーソル1203がチェックポイント1101として設けられているオブジェクトと合うように自身の位置や見る方向を調整する。そして、図12(b)に示すように、カーソル1203とオブジェクトとの位置合わせを行い、調整部154は、この時に取得される表示装置100の位置情報と、オブジェクト(チェックポイント1101)の位置とに基づいて、AR画像を表示する表示位置を決定するためのキャリブレーションを行う。このようにして、所定の空間内の各所において、適宜、正確なAR画像の表示位置の位置合わせを行うように構成してもよい。 When the checkpoints 1101 and 1102 are reached, the user 10 performs a predetermined input for executing calibration (for example, pressing a specific button provided on the display device 100). Then, the display control unit 151 displays a sentence indicating the action desired by the user 10, as shown in the message 1204 of FIG. 12 (a). Here, the display control unit 151 shows an example in which the cursor 1203 is displayed and the cursor 1203 displays a message for aligning with the object provided as the checkpoint 1101 in the cave 20. There is. The user 10 adjusts his / her position and viewing direction so that the cursor 1203 matches the object provided as the checkpoint 1101. Then, as shown in FIG. 12B, the cursor 1203 and the object are aligned, and the adjusting unit 154 determines the position information of the display device 100 acquired at this time and the position of the object (checkpoint 1101). Based on the above, calibration is performed to determine the display position for displaying the AR image. In this way, it may be configured to appropriately align the display position of the AR image at various places in the predetermined space.

なお、ここでは、撮像部130から撮像された撮像画像に基づいて、カーソル1203が、オブジェクトとの位置合わせができていることを確認できるようにして、キャリブレーションを実行する例を示したが、これはその限りではない。表示部110(レンズ)を通して視認できる視野において、ユーザ10が、カーソル1203が、オブジェクトとの位置合わせができていると確認できたタイミングで、表示装置100の入力部170に対する入力を行うことで、そのときの位置情報に基づいて、キャリブレーションを実行するようにしてもよい。 Here, an example of performing calibration is shown so that it can be confirmed that the cursor 1203 is aligned with the object based on the captured image captured by the imaging unit 130. This is not the case. In the field of view that can be visually recognized through the display unit 110 (lens), the user 10 inputs to the input unit 170 of the display device 100 at the timing when the cursor 1203 can be confirmed to be aligned with the object. Calibration may be executed based on the position information at that time.

また、ここでは、チェックポイントとして、オブジェクトを用いる例を示したが、これは、所定の画像が洞窟20の壁面等に貼られたものを利用してもよく、その所定の画像は、二次元バーコード等の何らかの情報が盛り込まれた画像であってもよい。二次元バーコードを用いる場合には、ユーザ10から表示装置100に対する入力ではなく、撮像部130が二次元バーコードを読み取ったことをトリガとして、調整部154によるキャリブレーションを開始することとしてもよい。 Further, here, an example of using an object as a checkpoint is shown, but for this, an image in which a predetermined image is attached to the wall surface of the cave 20 or the like may be used, and the predetermined image is two-dimensional. The image may include some information such as a barcode. When the two-dimensional bar code is used, the calibration by the adjusting unit 154 may be started by the image pickup unit 130 reading the two-dimensional bar code as a trigger instead of the input from the user 10 to the display device 100. ..

(6) また、上記実施の形態においては、表示装置100においてユーザの移動に伴う映像を提供する手法として、表示装置のプロセッサが仮想画像表示プログラム等を実行することにより、実現することとしているが、これは装置に集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって実現してもよい。また、これらの回路は、1または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を1つの集積回路により実現されることとしてもよい。LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。 (6) Further, in the above embodiment, as a method of providing an image accompanying the movement of the user in the display device 100, it is realized by the processor of the display device executing a virtual image display program or the like. This may be realized by a logic circuit (hardware) or a dedicated circuit formed in an integrated circuit (IC (Integrated Circuit) chip, LSI (Large Scale Integration)) or the like in the apparatus. Further, these circuits may be realized by one or a plurality of integrated circuits, and the functions of the plurality of functional units shown in the above embodiment may be realized by one integrated circuit. LSI may be referred to as VLSI, super LSI, ultra LSI, or the like depending on the degree of integration.

また、上記仮想画像表示プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記仮想画像表示プログラムは、当該仮想画像表示プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記プロセッサに供給されてもよい。本発明は、上記仮想画像表示プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 Further, the virtual image display program may be recorded on a recording medium readable by a processor, and the recording medium may be a "non-temporary tangible medium" such as a tape, a disk, a card, a semiconductor memory, or a programmable medium. A logic circuit or the like can be used. Further, the virtual image display program may be supplied to the processor via an arbitrary transmission medium (communication network, broadcast wave, etc.) capable of transmitting the virtual image display program. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the virtual image display program is embodied by electronic transmission.

なお、上記仮想画像表示プログラムは、例えば、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective-C、Java(登録商標)などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。 The above virtual image display program is implemented using, for example, a script language such as ActionScript and JavaScript (registered trademark), an object-oriented programming language such as Objective-C and Java (registered trademark), and a markup language such as HTML5. can.

(7)上記実施の形態、及び、各補足に示した各種の変形例は、適宜、組み合わせることとしてもよい。 (7) The above-described embodiment and various modifications shown in each supplement may be combined as appropriate.

20 坑道
31 AR画像
32 坑道壁面
61 仮想基準線
100 表示装置
110 表示部
120 位置情報取得部
130 撮像部
140 記憶部
150 制御部
151 表示制御部
152 判定部
153 補正部
154 調整部
20 Tunnel 31 AR image 32 Tunnel wall surface 61 Virtual reference line 100 Display device 110 Display unit 120 Position information acquisition unit 130 Imaging unit 140 Storage unit 150 Control unit 151 Display control unit 152 Judgment unit 153 Correction unit 154 Adjustment unit

Claims (11)

画像を表示する表示部と、
自装置の位置を取得する位置情報取得部と、
所定の空間の実体の壁面に対して所定の仮想画像を重畳するように前記表示部に表示させる表示制御部と、
前記所定の空間において、前記壁面に対して表示される仮想画像よりも自装置寄りに設けられた仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置するか否かを判定する判定部と、
前記判定部が前記仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正部と、
を備えるユーザが装着する表示装置であって、
前記所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いる実物体のオブジェクトが配置され、
前記表示制御部は、前記オブジェクトとの位置関係を決定するための所定の画像を前記表示部に表示させるとともに、前記オブジェクトと前記所定の画像についての位置関係を指示するメッセージを前記表示部に表示させ、
前記表示装置は、
前記オブジェクトと前記所定の画像が前記位置関係になったことを示す入力をユーザから受け付ける入力部と、
前記入力部からの入力があった場合に、前記オブジェクトの位置と前記自装置の位置とに基づいて、前記仮想画像の表示位置を調整するための調整部を備える。
A display unit that displays images and
The position information acquisition unit that acquires the position of the own device,
A display control unit that displays a predetermined virtual image on the wall surface of an entity in a predetermined space so as to be superimposed on the display unit.
Whether or not the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line provided closer to the own device than the virtual image displayed on the wall surface in the predetermined space. Judgment unit to determine
A correction unit that corrects the display position of a predetermined virtual image when the determination unit determines that the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line.
A display device worn by the user with a,
At a predetermined position in the predetermined space, a real object used for adjusting the display position of the virtual image is arranged.
The display control unit displays a predetermined image for determining the positional relationship with the object on the display unit, and displays a message instructing the positional relationship between the object and the predetermined image on the display unit. Let me
The display device is
An input unit that accepts an input from the user indicating that the object and the predetermined image have the positional relationship.
An adjustment unit for adjusting the display position of the virtual image based on the position of the object and the position of the own device when there is an input from the input unit is provided.
画像を表示する表示部と、
自装置の位置を取得する位置情報取得部と、
所定の空間の実体の壁面に対して所定の仮想画像を重畳するように前記表示部に表示させる表示制御部と、
前記所定の空間において、前記壁面に対して表示される仮想画像よりも自装置寄りに設けられた仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置するか否かを判定する判定部と、
前記判定部が前記仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正部と、
を備え、ユーザが装着する表示装置であって、
前記所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いる実物体のオブジェクトが配置され、
前記表示制御部は、前記オブジェクトとの位置関係を決定するための所定の画像を前記表示部に表示させるとともに、前記オブジェクトと前記所定の画像についての位置関係を指示するメッセージを前記表示部に表示させ、
前記表示装置は、
ユーザの視野方向を撮像する撮像部と、
前記撮像部により撮像される前記オブジェクトと前記所定の画像が前記位置関係になった場合に、前記オブジェクトの位置と前記自装置の位置とに基づいて、前記仮想画像の表示位置を調整するための調整部を備える。
A display unit that displays images and
The position information acquisition unit that acquires the position of the own device,
A display control unit that displays a predetermined virtual image on the wall surface of an entity in a predetermined space so as to be superimposed on the display unit.
Whether or not the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line provided closer to the own device than the virtual image displayed on the wall surface in the predetermined space. Judgment unit to determine
A correction unit that corrects the display position of a predetermined virtual image when the determination unit determines that the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line.
Is a display device worn by the user.
At a predetermined position in the predetermined space, a real object used for adjusting the display position of the virtual image is arranged.
The display control unit displays a predetermined image for determining the positional relationship with the object on the display unit, and displays a message instructing the positional relationship between the object and the predetermined image on the display unit. Let me
The display device is
An image pickup unit that captures the user's field of view,
To adjust the display position of the virtual image based on the position of the object and the position of the own device when the object captured by the image pickup unit and the predetermined image have the positional relationship. It is equipped with an adjustment unit.
前記仮想基準線は、前記所定の空間内に複数の壁面が存在する場合に、各壁面に対して設定され、
前記補正部は、前記判定部が前記仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置すると判定したときに、前記表示装置が前記壁面に対して表示される仮想画像側に位置すると判定した仮想基準線に対応する仮想画像と自装置との間の距離が大きくなるように当該仮想画像の表示位置を補正する
ことを特徴とする請求項1又は2に記載の表示装置。
The virtual reference line is set for each wall surface when a plurality of wall surfaces exist in the predetermined space.
The correction unit determines that the display device is displayed on the wall surface when the determination unit determines that the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line. The invention according to claim 1 or 2, wherein the display position of the virtual image is corrected so that the distance between the virtual image corresponding to the virtual reference line determined to be located on the image side and the own device becomes large. Display device.
前記補正部は、前記判定部が前記仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置すると判定したときに、前記表示装置が前記壁面に対して表示される仮想画像側に位置すると判定した仮想基準線に対応する仮想画像の表示位置を、所定距離だけ自装置から遠い位置に変更するよう補正する
ことを特徴とする請求項3記載の表示装置。
The correction unit determines that the display device is displayed on the wall surface when the determination unit determines that the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line. The display device according to claim 3, wherein the display position of the virtual image corresponding to the virtual reference line determined to be located on the image side is corrected so as to be changed to a position far from the own device by a predetermined distance.
前記表示装置は、
前記ユーザの視野方向を撮像する撮像部を備え、
前記表示制御部は、前記撮像部により撮像される前記所定の空間に含まれる範囲内の所定の仮想画像を前記表示部に表示させる
ことを特徴とする請求項1〜のいずれか一項に記載の表示装置。
The display device is
It is provided with an imaging unit that captures the viewing direction of the user.
The present invention according to any one of claims 1 to 4 , wherein the display control unit displays a predetermined virtual image within a range included in the predetermined space imaged by the image pickup unit on the display unit. The display device described.
前記所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いるオブジェクトが配置され、
前記表示装置は、前記撮像部により撮像された撮像画像であって前記オブジェクトを含む撮像画像を用いて、前記仮想画像の表示位置を調整するための調整部を備える
ことを特徴とする請求項に記載の表示装置。
An object used for adjusting the display position of the virtual image is arranged at a predetermined position in the predetermined space.
The display device according to claim 5, characterized in that it comprises using a captured image including the object an image captured by the imaging unit, an adjustment unit for adjusting a display position of the virtual image The display device described in.
前記仮想基準線は、前記所定の空間内において、前記表示装置を囲む矩形状となるように設けられる
ことを特徴とする請求項1〜6のいずれか一項に記載の表示装置。
The display device according to any one of claims 1 to 6, wherein the virtual reference line is provided so as to form a rectangular shape surrounding the display device in the predetermined space.
ユーザが装着し画像を表示する表示部を有する表示装置のコンピュータが、
自装置の位置を取得する位置情報取得ステップと、
所定の空間の実体の壁面に対して所定の仮想画像を重畳するように前記表示部に表示させる表示制御ステップと、
前記所定の空間において、前記壁面に対して表示される仮想画像よりも自装置寄りに設けられた仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置するか否かを判定する判定ステップと、
前記判定ステップが前記仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正ステップと、を実行し、
前記所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いる実物体のオブジェクトが配置され、
前記表示制御ステップは、前記オブジェクトとの位置関係を決定するための所定の画像を前記表示部に表示させるとともに、前記オブジェクトと前記所定の画像についての位置関係を指示するメッセージを前記表示部に表示させ、
前記コンピュータが、
前記オブジェクトと前記所定の画像が前記位置関係になったことを示す入力をユーザから受け付ける入力ステップと、
前記入力ステップからの入力があった場合に、前記オブジェクトの位置と前記自装置の位置とに基づいて、前記仮想画像の表示位置を調整するための調整ステップと、
を実行する仮想画像表示方法。
A computer of a display device having a display unit worn by a user and displaying an image is
The position information acquisition step to acquire the position of the own device, and
A display control step for displaying a predetermined virtual image on the display unit so as to superimpose a predetermined virtual image on the wall surface of an entity in a predetermined space.
Whether or not the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line provided closer to the own device than the virtual image displayed on the wall surface in the predetermined space. Judgment step to determine
When the determination step determines that the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line, the correction step of correcting the display position of the predetermined virtual image is executed .
At a predetermined position in the predetermined space, a real object used for adjusting the display position of the virtual image is arranged.
In the display control step, a predetermined image for determining a positional relationship with the object is displayed on the display unit, and a message instructing the positional relationship between the object and the predetermined image is displayed on the display unit. Let me
The computer
An input step that accepts an input from the user indicating that the object and the predetermined image have the positional relationship.
An adjustment step for adjusting the display position of the virtual image based on the position of the object and the position of the own device when there is an input from the input step, and an adjustment step.
Virtual image display method to execute.
ユーザが装着し画像を表示する表示部を有する表示装置のコンピュータが、
自装置の位置を取得する位置情報取得ステップと、
所定の空間の実体の壁面に対して所定の仮想画像を重畳するように前記表示部に表示させる表示制御ステップと、
前記所定の空間において、前記壁面に対して表示される仮想画像よりも自装置寄りに設けられた仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置するか否かを判定する判定ステップと、
前記判定ステップが前記仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正ステップと、
を実行し、
前記所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いる実物体のオブジェクトが配置され、
前記表示制御ステップは、前記オブジェクトとの位置関係を決定するための所定の画像を前記表示部に表示させるとともに、前記オブジェクトと前記所定の画像についての位置関係を指示するメッセージを前記表示部に表示させ、
前記コンピュータが、
ユーザの視野方向を撮像する撮像ステップと、
前記撮像ステップにより撮像される前記オブジェクトと前記所定の画像が前記位置関係になった場合に、前記オブジェクトの位置と前記自装置の位置とに基づいて、前記仮想画像の表示位置を調整するための調整ステップと、
を実行する仮想画像表示方法。
A computer of a display device having a display unit worn by a user and displaying an image is
The position information acquisition step to acquire the position of the own device, and
A display control step for displaying a predetermined virtual image on the display unit so as to superimpose a predetermined virtual image on the wall surface of an entity in a predetermined space.
Whether or not the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line provided closer to the own device than the virtual image displayed on the wall surface in the predetermined space. Judgment step to determine
A correction step for correcting the display position of a predetermined virtual image when the determination step determines that the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line.
And run
At a predetermined position in the predetermined space, a real object used for adjusting the display position of the virtual image is arranged.
In the display control step, a predetermined image for determining a positional relationship with the object is displayed on the display unit, and a message instructing the positional relationship between the object and the predetermined image is displayed on the display unit. Let me
The computer
An imaging step that captures the user's field of view,
When the object captured by the imaging step and the predetermined image have the positional relationship, the display position of the virtual image is adjusted based on the position of the object and the position of the own device. Adjustment steps and
Virtual image display method to execute.
ユーザが装着し画像を表示する表示部を有する表示装置のコンピュータに、
自装置の位置を取得する位置情報取得機能と、
所定の空間の実体の壁面に対して所定の仮想画像を重畳するように前記表示部に表示させる表示制御機能と、
前記所定の空間において、前記壁面に対して表示される仮想画像よりも自装置寄りに設けられた仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置するか否かを判定する判定機能と、
前記判定機能が前記仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正機能と、
を実現させ
前記所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いる実物体のオブジェクトが配置され、
前記表示制御機能は、前記オブジェクトとの位置関係を決定するための所定の画像を前記表示部に表示させるとともに、前記オブジェクトと前記所定の画像についての位置関係を指示するメッセージを前記表示部に表示させ、
前記コンピュータに、
前記オブジェクトと前記所定の画像が前記位置関係になったことを示す入力をユーザから受け付ける入力機能と、
前記入力機能からの入力があった場合に、前記オブジェクトの位置と前記自装置の位置とに基づいて、前記仮想画像の表示位置を調整するための調整機能と、
を実現させる仮想画像表示プログラム。
On the computer of the display device having a display unit that is worn by the user and displays an image,
The location information acquisition function to acquire the position of the own device and
A display control function for displaying a predetermined virtual image on the display unit so as to superimpose a predetermined virtual image on the wall surface of an entity in a predetermined space.
Whether or not the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line provided closer to the own device than the virtual image displayed on the wall surface in the predetermined space. Judgment function to judge
A correction function for correcting the display position of a predetermined virtual image when the determination function determines that the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line.
Realized ,
At a predetermined position in the predetermined space, a real object used for adjusting the display position of the virtual image is arranged.
The display control function displays a predetermined image for determining a positional relationship with the object on the display unit, and displays a message instructing the positional relationship between the object and the predetermined image on the display unit. Let me
To the computer
An input function that accepts from the user an input indicating that the object and the predetermined image have the positional relationship.
An adjustment function for adjusting the display position of the virtual image based on the position of the object and the position of the own device when there is an input from the input function, and an adjustment function.
A virtual image display program that realizes.
ユーザが装着し画像を表示する表示部を有する表示装置のコンピュータに、
自装置の位置を取得する位置情報取得機能と、
所定の空間の実体の壁面に対して所定の仮想画像を重畳するように前記表示部に表示させる表示制御機能と、
前記所定の空間において、前記壁面に対して表示される仮想画像よりも自装置寄りに設けられた仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置するか否かを判定する判定機能と、
前記判定機能が前記仮想基準線よりも前記壁面に対して表示される仮想画像側に自装置が位置すると判定した場合に、所定の仮想画像の表示位置を補正する補正機能と、
を実現させ、
前記所定の空間の所定の位置には、仮想画像の表示位置を調整するために用いる実物体のオブジェクトが配置され、
前記表示制御機能は、前記オブジェクトとの位置関係を決定するための所定の画像を前記表示部に表示させるとともに、前記オブジェクトと前記所定の画像についての位置関係を指示するメッセージを前記表示部に表示させ、
前記コンピュータに、
ユーザの視野方向を撮像する撮像機能と、
前記撮像機能により撮像される前記オブジェクトと前記所定の画像が前記位置関係になった場合に、前記オブジェクトの位置と前記自装置の位置とに基づいて、前記仮想画像の表示位置を調整するための調整機能と、
を実現させる仮想画像表示プログラム。
On the computer of the display device having a display unit that is worn by the user and displays an image,
The location information acquisition function to acquire the position of the own device and
A display control function for displaying a predetermined virtual image on the display unit so as to superimpose a predetermined virtual image on the wall surface of an entity in a predetermined space.
Whether or not the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line provided closer to the own device than the virtual image displayed on the wall surface in the predetermined space. Judgment function to judge
A correction function for correcting the display position of a predetermined virtual image when the determination function determines that the own device is located on the virtual image side displayed on the wall surface with respect to the virtual reference line.
Realized,
At a predetermined position in the predetermined space, a real object used for adjusting the display position of the virtual image is arranged.
The display control function displays a predetermined image for determining a positional relationship with the object on the display unit, and displays a message instructing the positional relationship between the object and the predetermined image on the display unit. Let me
To the computer
An imaging function that captures the user's field of view and
To adjust the display position of the virtual image based on the position of the object and the position of the own device when the object captured by the imaging function and the predetermined image have the positional relationship. Adjustment function and
A virtual image display program that realizes.
JP2021069492A 2021-04-16 2021-04-16 Display device, display method and its display program Active JP6968326B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021069492A JP6968326B1 (en) 2021-04-16 2021-04-16 Display device, display method and its display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021069492A JP6968326B1 (en) 2021-04-16 2021-04-16 Display device, display method and its display program

Publications (2)

Publication Number Publication Date
JP6968326B1 true JP6968326B1 (en) 2021-11-17
JP2022164170A JP2022164170A (en) 2022-10-27

Family

ID=78509666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021069492A Active JP6968326B1 (en) 2021-04-16 2021-04-16 Display device, display method and its display program

Country Status (1)

Country Link
JP (1) JP6968326B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005005A (en) * 2016-07-04 2018-01-11 ソニー株式会社 Information processing device, information processing method, and program
WO2019187862A1 (en) * 2018-03-30 2019-10-03 ソニー株式会社 Information processing device, information processing method, and recording medium
JP2020095712A (en) * 2018-12-12 2020-06-18 レノボ・シンガポール・プライベート・リミテッド Information handling method, information handling device, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005005A (en) * 2016-07-04 2018-01-11 ソニー株式会社 Information processing device, information processing method, and program
WO2019187862A1 (en) * 2018-03-30 2019-10-03 ソニー株式会社 Information processing device, information processing method, and recording medium
JP2020095712A (en) * 2018-12-12 2020-06-18 レノボ・シンガポール・プライベート・リミテッド Information handling method, information handling device, and storage medium

Also Published As

Publication number Publication date
JP2022164170A (en) 2022-10-27

Similar Documents

Publication Publication Date Title
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
CN110544280B (en) AR system and method
KR101899531B1 (en) Omni-stereo capture for mobile devices
US10389937B2 (en) Information processing device, information processing method, and program
EP1404126B1 (en) Video combining apparatus and method
US9569898B2 (en) Wearable display system that displays a guide for a user performing a workout
JP2013258614A (en) Image generation device and image generation method
ES2688643T3 (en) Apparatus and augmented reality method
US11365974B2 (en) Navigation system
CN108682036A (en) Pose determines method, apparatus and storage medium
JP2006059136A (en) Viewer apparatus and its program
CN110221691B (en) Immersive virtual experience method, system and device
JP2020008917A (en) Augmented reality display system, augmented reality display method, and computer program for augmented reality display
JP6665402B2 (en) Content display terminal, content providing system, content providing method, and content display program
CN109844600A (en) Information processing equipment, information processing method and program
JP6968326B1 (en) Display device, display method and its display program
JP2023075236A (en) Locus display device
WO2017212999A1 (en) Video generation device, video generation method, and video generation program
CN107168521B (en) Film viewing guide method and device and head-mounted display equipment
KR20150066941A (en) Device for providing player information and method for providing player information using the same
CN113143185A (en) Gastroscope system, image display method and device and readable storage medium
JP2019023770A (en) Image generating apparatus, image generating method, and image generating program
CN105745917A (en) Interactive augmented reality using a self-propelled device
JP6888436B2 (en) Position determination device, position determination system, position determination method and program
JP2017167611A (en) Terminal device, data processing system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210520

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210902

R150 Certificate of patent or registration of utility model

Ref document number: 6968326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150