JP2016033611A - Information provision system, display device, and method of controlling display device - Google Patents

Information provision system, display device, and method of controlling display device Download PDF

Info

Publication number
JP2016033611A
JP2016033611A JP2014156698A JP2014156698A JP2016033611A JP 2016033611 A JP2016033611 A JP 2016033611A JP 2014156698 A JP2014156698 A JP 2014156698A JP 2014156698 A JP2014156698 A JP 2014156698A JP 2016033611 A JP2016033611 A JP 2016033611A
Authority
JP
Japan
Prior art keywords
information
unit
display
display device
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2014156698A
Other languages
Japanese (ja)
Inventor
薫 千代
Kaoru Sendai
薫 千代
津田　敦也
Atsuya Tsuda
敦也 津田
高野　正秀
Masahide Takano
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014156698A priority Critical patent/JP2016033611A/en
Publication of JP2016033611A publication Critical patent/JP2016033611A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information provision system capable of identifying a user and displaying information accordingly using a display device worn by the user, and to provide a display device and a method of controlling the display device.SOLUTION: An information provision system 1 includes head-mounted display devices 100 worn by users for use, and an information provision device 4 communicably connected with the head-mounted display devices 100. The information provision device 4 includes a communication unit 401, a discrimination unit 411 for discriminating the head-mounted display devices 100, and a communication control unit 412 which identifies a target head-mounted display device 100 for sending information and transmits the information using the communication unit 401. Each head-mounted display device 100 includes a second communication unit for communicating with the information provision device 4, and an information display control unit which receives information from the information provision device 4 using the second communication unit and displays the information on a display unit.SELECTED DRAWING: Figure 2

Description

本発明は、情報提供システム、表示装置、および、表示装置の制御方法に関する。   The present invention relates to an information providing system, a display device, and a display device control method.

従来、ウェアラブル表示装置において、外界視野と重畳して表示を行うものが知られている（例えば、特許文献１参照）。特許文献１記載の装置は、外界視野と文字を重畳して表示し、表示する一部の文字又は単語についてフォントサイズや文字の色等の表示属性を変更する機能を有する。これにより、例えば街中にいる人や移動中の人が、ウェアラブル表示装置を使用して文章データを読むことができる。   2. Description of the Related Art Conventionally, wearable display devices are known that perform display while being superimposed on an external field of view (see, for example, Patent Document 1). The device described in Patent Document 1 has a function of superimposing and displaying an external field of view and characters, and changing display attributes such as font size and character color for some characters or words to be displayed. Thereby, for example, a person in the city or a person on the move can read the text data using the wearable display device.

特開２０１４−５６２１７号公報JP 2014-56217 A

特許文献１は、ウェアラブル表示装置を、予め作成される文章データを読む用途に用いる構成が開示するが、従来、この種の表示装置が使用者を特定した表示を行う手法は、提案されていない。
本発明は、上述した事情に鑑みてなされるものであり、使用者が装着して使用する表示装置によって、使用者を特定した表示を行うことが可能な情報提供システム、表示装置、および、表示装置の制御方法を提供することを目的とする。 Patent Document 1 discloses a configuration in which a wearable display device is used for reading pre-prepared text data. However, conventionally, there has not been proposed a method in which a display device of this type specifies a user. .
The present invention has been made in view of the above-described circumstances, and provides an information providing system, a display device, and a display capable of performing display specifying a user by a display device worn and used by the user An object is to provide a method for controlling an apparatus.

上記目的を達成するために、本発明の情報提供システムは、使用者の身体に装着して使用される表示装置と、前記表示装置と通信可能に接続される情報提供装置と、を備え、前記情報提供装置は、前記表示装置と通信する第１の通信部と、前記表示装置を識別する識別部と、前記識別部によって情報の送信先の前記表示装置を識別し、前記第１の通信部により情報を送信する通信制御部と、を備え、前記表示装置は、前記情報提供装置と通信する第２の通信部と、前記第２の通信部により前記情報提供装置から情報を受信して前記表示部に表示する情報表示制御部と、を備えること、を特徴とする。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。 In order to achieve the above object, an information providing system of the present invention includes a display device that is used while being worn on a user's body, and an information providing device that is communicably connected to the display device, The information providing apparatus includes: a first communication unit that communicates with the display device; an identification unit that identifies the display device; and the identification unit that identifies the display device that is a transmission destination of information, and the first communication unit A communication control unit that transmits information by the second communication unit that communicates with the information providing device, and the second communication unit receives information from the information providing device and receives the information from the information providing device. And an information display control unit to be displayed on the display unit.
ADVANTAGE OF THE INVENTION According to this invention, with respect to the display apparatus with which a user's body is mounted | worn and used, a display apparatus can be identified and information can be transmitted, and information is separately provided to the user who uses a display apparatus it can.

また、本発明は、上記情報提供システムにおいて、前記表示装置は、使用者に画像を視認させるとともに外景を透過する前記表示部と、前記使用者の視線方向の対象物を検出する対象検出部と、を備え、前記情報表示制御部は、前記対象検出部で検出した前記対象物に関連する関連情報を前記表示部に表示し、前記第２の通信部により前記情報提供装置から受信する情報を前記表示部に表示させること、を特徴とする。
本発明によれば、使用者の視線方向に位置する対象物に関連する関連情報、及び、情報提供装置が表示装置に送信する情報を、外景とともに見えるように表示できる。このため、外景を透過する表示部の特性を生かして、使用者に情報を見せることができる。 Further, according to the present invention, in the information providing system, the display device allows the user to visually recognize an image and transmits the outside scene, and an object detection unit that detects an object in the visual line direction of the user. The information display control unit displays related information related to the object detected by the target detection unit on the display unit, and receives information from the information providing apparatus by the second communication unit. It is displayed on the display unit.
ADVANTAGE OF THE INVENTION According to this invention, the relevant information relevant to the target object located in a user's gaze direction and the information which an information provision apparatus transmits to a display apparatus can be displayed so that it can be seen with an external scene. For this reason, it is possible to show information to the user by making use of the characteristics of the display unit that transmits the outside scene.

また、本発明は、上記情報提供システムにおいて、前記情報表示制御部は、前記第２の通信部で前記情報提供装置から受信する情報を、前記関連情報とともに、前記関連情報よりも強調される態様で前記表示部に表示すること、を特徴とする。
本発明によれば、使用者の視線方向に位置する対象物に関連する関連情報と、情報提供装置が表示装置に送信する情報とを合わせて表示できる。また、情報提供装置が表示装置に送信する情報を、関連情報よりも強調して表示し、使用者に強く注目させることができる。 In the information providing system according to the aspect of the invention, the information display control unit may emphasize information received from the information providing apparatus by the second communication unit, together with the related information, over the related information. And displaying on the display unit.
ADVANTAGE OF THE INVENTION According to this invention, the relevant information relevant to the target object located in a user's gaze direction and the information which an information provision apparatus transmits to a display apparatus can be displayed collectively. In addition, information transmitted from the information providing device to the display device can be displayed with emphasis over the related information, and the user can be strongly noticed.

また、本発明は、上記情報提供システムにおいて、前記情報表示制御部は、前記情報提供装置から受信する情報を、前記外景に重なる表示位置に表示すること、を特徴とする。
本発明によれば、外景に重なるように情報を表示できる。このため、例えば外景として使用者が見る事物に関する案内や説明を表示できる。 Further, the present invention is characterized in that in the information providing system, the information display control unit displays information received from the information providing apparatus at a display position overlapping the outside scene.
According to the present invention, information can be displayed so as to overlap the outside scene. For this reason, for example, guidance and explanation regarding things that the user sees as an outside scene can be displayed.

また、本発明は、上記情報提供システムにおいて、前記情報提供装置の前記通信制御部は、前記使用者を誘導する画像を含む誘導情報を、前記第１の通信部により前記表示装置に送信し、前記情報表示制御部は、前記第２の通信部で受信する前記誘導情報に基づき、前記使用者を誘導する画像を前記表示部で表示すること、を特徴とする。
本発明によれば、使用者に画像を見せることにより使用者をスムーズに誘導できる。 Further, in the information providing system according to the present invention, the communication control unit of the information providing device transmits guidance information including an image for guiding the user to the display device by the first communication unit, The information display control unit displays an image for guiding the user on the display unit based on the guidance information received by the second communication unit.
According to the present invention, a user can be smoothly guided by showing an image to the user.

また、本発明は、上記情報提供システムにおいて、前記情報提供装置の前記識別部は、前記表示装置を識別して各々の前記表示装置の位置を特定し、前記通信制御部は、前記識別部により特定した前記表示装置の位置に対応する前記誘導情報を前記第１の通信部で送信すること、を特徴とする。
本発明によれば、情報提供装置が表示装置を識別し、表示装置の位置に対応する誘導情報を送信できる。これにより、表示装置を使用する使用者に対し、使用者の位置に対応した情報を提供して、より適切に誘導できる。 In the information providing system according to the present invention, the identification unit of the information providing device identifies the display device to identify the position of each display device, and the communication control unit uses the identification unit. The guidance information corresponding to the specified position of the display device is transmitted by the first communication unit.
According to the present invention, the information providing device can identify the display device and transmit the guide information corresponding to the position of the display device. Thereby, it is possible to provide information corresponding to the position of the user to the user who uses the display device and guide it more appropriately.

また、本発明は、上記情報提供システムにおいて、前記情報提供装置の前記通信制御部は、複数の前記表示装置に対して共通の情報を送信し、さらに、特定の前記表示装置を前記識別部で識別して前記共通の情報とは異なる情報を送信すること、を特徴とする。
本発明によれば、複数の表示装置に共通の情報を送信して表示させ、そのうち特定の表示装置に対しては共通でない情報を送信できる。このため、複数の表示装置に対して、様々な形態で情報を送信し、表示させることができる。 In the information providing system according to the present invention, the communication control unit of the information providing apparatus transmits common information to the plurality of display devices, and the specific display device is assigned to the identification unit. It is characterized by transmitting information different from the common information that is identified.
According to the present invention, common information can be transmitted and displayed on a plurality of display devices, and non-common information can be transmitted to a specific display device. For this reason, information can be transmitted and displayed in various forms to a plurality of display devices.

また、本発明は、上記情報提供システムにおいて、前記表示装置は、撮像部を備え、前記対象検出部は、前記撮像部の撮像画像に基づいて、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、を特徴とする。
本発明によれば、使用者の視線方向の対象物を速やかに検出できる。 Further, according to the present invention, in the information providing system, the display device includes an imaging unit, and the target detection unit is visually recognized by the user through the display unit based on a captured image of the imaging unit. Detecting the object to be detected.
According to the present invention, an object in the user's line-of-sight direction can be quickly detected.

また、本発明は、上記情報提供システムにおいて、前記撮像部は、ＩＲ（赤外線）カメラ、暗視カメラ、または、サーモグラフィーカメラであること、を特徴とする。
本発明によれば、対象物が、人間の目には見えない、或いは、見えにくい状態であっても検出できる。 In the information providing system according to the present invention, the imaging unit is an IR (infrared) camera, a night vision camera, or a thermography camera.
According to the present invention, an object can be detected even if it is invisible to human eyes or difficult to see.

また、本発明は、上記情報提供システムにおいて、前記表示装置は、前記対象検出部により検出された前記対象物と前記使用者との距離を検出する距離検出部を備え、前記情報表示制御部は、前記距離検出部が検出した距離に応じた態様で情報を表示すること、を特徴とする。
本発明によれば、情報の表示態様に、対象物との距離を反映できるので、対象物との距離を使用者に知覚させることができる。 In the information providing system according to the present invention, the display device includes a distance detection unit that detects a distance between the object detected by the target detection unit and the user, and the information display control unit includes: The information is displayed in a manner corresponding to the distance detected by the distance detection unit.
According to the present invention, since the distance to the object can be reflected in the information display mode, the user can perceive the distance to the object.

また、上記目的を達成するために、本発明は、使用者の身体に装着して使用される表示装置であって、前記使用者に画像を視認させるとともに外景を透過する表示部と、外部の情報提供装置と通信する通信部と、前記使用者の視線方向の対象物を検出する対象検出部と、前記対象検出部で検出した前記対象物に関連する関連情報、及び、前記通信部により前記情報提供装置から受信する情報を、前記表示部に表示する情報表示制御部と、を備えることを特徴とする。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。 In order to achieve the above object, the present invention provides a display device that is used by being worn on a user's body, the display unit allowing the user to visually recognize an image and transmitting an outside scene, and an external device. A communication unit that communicates with the information providing device, a target detection unit that detects a target in the user's line-of-sight direction, related information related to the target detected by the target detection unit, and the communication unit And an information display control unit that displays information received from the information providing device on the display unit.
ADVANTAGE OF THE INVENTION According to this invention, with respect to the display apparatus with which a user's body is mounted | worn and used, a display apparatus can be identified and information can be transmitted, and information is separately provided to the user who uses a display apparatus it can.

また、上記目的を達成するために、本発明は、使用者に画像を視認させるとともに外景を透過する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、外部の情報提供装置と通信して前記情報提供装置が送信する情報を受信し、前記使用者の視線方向の対象物を検出し、前記対象物に関連する関連情報、及び、前記情報提供装置から受信する情報を、前記表示部により表示すること、を特徴とする。
本発明によれば、使用者の身体に装着して使用される表示装置に対し、表示装置を識別して情報を送信することができ、表示装置を使用する使用者に、個別に情報を提供できる。 In order to achieve the above object, the present invention provides a control method for a display device that is provided with a display unit that allows a user to visually recognize an image and transmits an outside scene, and is used by being worn on the user's body. , Communicating with an external information providing device, receiving information transmitted by the information providing device, detecting an object in the direction of the user's line of sight, related information related to the object, and the information providing device The information received from is displayed on the display unit.
ADVANTAGE OF THE INVENTION According to this invention, with respect to the display apparatus with which a user's body is mounted | worn and used, a display apparatus can be identified and information can be transmitted, and information is separately provided to the user who uses a display apparatus it can.

頭部装着型表示装置の外観構成を示す説明図である。It is explanatory drawing which shows the external appearance structure of a head mounted type display apparatus. 情報提供システムの概略構成を示す図である。It is a figure which shows schematic structure of an information provision system. 頭部装着型表示装置の機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of a head mounted display apparatus. 頭部装着型表示装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of a head mounting type display apparatus. 情報提供システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of an information provision system. 情報提供システムの典型的な適用例を示す説明図である。（Ａ）は使用環境の説明図であり、（Ｂ）〜（Ｅ）は頭部装着型表示装置の表示例を示す。It is explanatory drawing which shows the typical application example of an information provision system. (A) is explanatory drawing of a use environment, (B)-(E) shows the example of a display of a head mounted display apparatus.

図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成される画像光を射出することを「画像を表示する」ともいう。   FIG. 1 is an explanatory diagram showing an external configuration of the head-mounted display device 100. The head-mounted display device 100 is a display device that is mounted on the head, and is also referred to as a head mounted display (HMD). The head-mounted display device 100 of the present embodiment is an optically transmissive head-mounted display device that allows a user to visually recognize a virtual image and at the same time directly view an outside scene. In this specification, a virtual image visually recognized by the user with the head-mounted display device 100 is also referred to as a “display image” for convenience. Moreover, emitting image light generated based on image data is also referred to as “displaying an image”.

頭部装着型表示装置１００は、使用者の頭部に装着される状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備える。制御装置１０は、使用者が頭部装着型表示装置１００を操作するためのコントローラーとしても機能する。画像表示部２０は、単に「表示部」とも呼ぶ。   The head-mounted display device 100 includes an image display unit 20 that allows a user to visually recognize a virtual image when mounted on the user's head, and a control device 10 that controls the image display unit 20. The control device 10 also functions as a controller for the user to operate the head-mounted display device 100. The image display unit 20 is also simply referred to as a “display unit”.

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３と、を備える。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続される。   The image display unit 20 is a wearing body that is worn on the user's head, and has a glasses shape in the present embodiment. The image display unit 20 includes a right holding unit 21, a right display driving unit 22, a left holding unit 23, a left display driving unit 24, a right optical image display unit 26, a left optical image display unit 28, and a camera 61. (Imaging unit) and a microphone 63. The right optical image display unit 26 and the left optical image display unit 28 are arranged so as to be positioned in front of the right and left eyes of the user when the user wears the image display unit 20, respectively. One end of the right optical image display unit 26 and one end of the left optical image display unit 28 are connected to each other at a position corresponding to the eyebrow of the user when the user wears the image display unit 20.

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。   The right holding unit 21 extends from the end ER which is the other end of the right optical image display unit 26 to a position corresponding to the user's temporal region when the user wears the image display unit 20. It is a member. Similarly, the left holding unit 23 extends from the end EL which is the other end of the left optical image display unit 28 to a position corresponding to the user's temporal region when the user wears the image display unit 20. It is a member provided. The right holding unit 21 and the left holding unit 23 hold the image display unit 20 on the user's head like a temple of glasses.

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置される。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。   The right display drive unit 22 and the left display drive unit 24 are arranged on the side facing the user's head when the user wears the image display unit 20. Hereinafter, the right holding unit 21 and the left holding unit 23 are collectively referred to simply as “holding unit”, and the right display driving unit 22 and the left display driving unit 24 are collectively referred to simply as “display driving unit”. The right optical image display unit 26 and the left optical image display unit 28 are collectively referred to simply as “optical image display unit”.

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図３参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図３参照）と調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４から出力される画像光を使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼゼロのもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰または反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６および左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは右導光板２６１、左導光板２６２を保護し、右導光板２６１、左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは右光学像表示部２６および左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。 The display drive units 22 and 24 include liquid crystal displays 241 and 242 (Liquid Crystal Display, hereinafter also referred to as “LCDs 241 and 242”), projection optical systems 251 and 252 (see FIG. 3). Details of the configuration of the display driving units 22 and 24 will be described later. The optical image display units 26 and 28 as optical members include light guide plates 261 and 262 (see FIG. 3) and a light control plate 20A. The light guide plates 261 and 262 are formed of a light transmissive resin or the like, and guide the image light output from the display driving units 22 and 24 to the user's eyes. The light control plate 20A is a thin plate-like optical element, and is disposed so as to cover the front side of the image display unit 20 which is the side opposite to the user's eye side. As the light control plate 20A, various ones such as one having almost no light transmission, one having near transparency, one having a light amount attenuated to transmit light, one having a specific wavelength attenuated or reflected, and the like are used. Can do. By appropriately selecting the optical characteristics (light transmittance, etc.) of the light control plate 20A, the external light amount incident on the right optical image display unit 26 and the left optical image display unit 28 from the outside is adjusted to visually recognize the virtual image. You can adjust the ease. In the present embodiment, a case will be described in which at least a light control plate 20A having such a light transmittance that a user wearing the head-mounted display device 100 can visually recognize an outside scene is used. The light control plate 20A protects the right light guide plate 261 and the left light guide plate 262, and suppresses damage to the right light guide plate 261 and the left light guide plate 262, adhesion of dirt, and the like.
The light control plate 20A may be detachable with respect to the right optical image display unit 26 and the left optical image display unit 28, and a plurality of types of light control plates 20A may be exchanged and may be omitted.

カメラ６１は、右光学像表示部２６の他端である端部ＥＲに配置される。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。図１に示す本実施形態のカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。
カメラ６１の撮影方向すなわち画角は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮影する方向である。また、カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界（外景）を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮影できるようにカメラ６１の撮像範囲が設定されていると、より好ましい。
また、カメラ６１は、赤外光を受光して撮像するＩＲ（赤外線）カメラ、微弱な光や可視近赤外領域（ＶＮＩＲ：Visible and Near Infrared）の光を受光する暗視カメラ、或いは、赤外光を受光して撮像範囲の熱分布を示す撮像画像を生成するサーモグラフィーカメラ等の、人間の目には見えない、或いは、見えにくい波長の光を撮影するカメラとしてもよい。 The camera 61 is disposed at the end ER that is the other end of the right optical image display unit 26. The camera 61 captures an outside scene that is an external scenery in a direction opposite to the user's eye side, and acquires an outside scene image. The camera 61 of this embodiment shown in FIG. 1 is a monocular camera, but may be a stereo camera.
The shooting direction of the camera 61, that is, the angle of view, is taken from the front side direction of the head-mounted display device 100, in other words, at least a part of the outside view in the user's viewing direction when the head-mounted display device 100 is worn Direction. In addition, although the angle of view of the camera 61 can be set as appropriate, the imaging range of the camera 61 includes the outside world (outside scene) that the user visually recognizes through the right optical image display unit 26 and the left optical image display unit 28. A range is preferable. Furthermore, it is more preferable that the imaging range of the camera 61 is set so that the entire field of view of the user through the light control plate 20A can be captured.
The camera 61 is an IR (infrared) camera that receives infrared light to pick up an image, a night vision camera that receives weak light and light in the visible near infrared region (VNIR: Visible and Near Infrared), or red. It may be a camera that captures light of a wavelength that is not visible to human eyes or difficult to see, such as a thermographic camera that receives external light and generates a captured image showing the heat distribution in the imaging range.

画像表示部２０は、さらに、画像表示部２０を制御装置１０に接続するための接続部４０を有する。接続部４０は、制御装置１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を備える。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。   The image display unit 20 further includes a connection unit 40 for connecting the image display unit 20 to the control device 10. The connection unit 40 includes a main body cord 48 connected to the control device 10, a right cord 42, a left cord 44, and a connecting member 46. The right cord 42 and the left cord 44 are codes in which the main body cord 48 is branched into two. The right cord 42 is inserted into the housing of the right holding unit 21 from the distal end AP in the extending direction of the right holding unit 21 and is connected to the right display driving unit 22. Similarly, the left cord 44 is inserted into the housing of the left holding unit 23 from the distal end AP in the extending direction of the left holding unit 23 and connected to the left display driving unit 24.

連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延びる。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。   The connecting member 46 is provided at a branch point between the main body cord 48, the right cord 42 and the left cord 44, and has a jack for connecting the earphone plug 30. A right earphone 32 and a left earphone 34 extend from the earphone plug 30. A microphone 63 is provided in the vicinity of the earphone plug 30. The earphone plug 30 to the microphone 63 are combined into one cord, and the cord branches from the microphone 63 and is connected to each of the right earphone 32 and the left earphone 34.

マイク６３の具体的な仕様は任意であり、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。指向性を有するマイクとしては、例えば単一指向性（Cardioid）、狭指向性（Super cardioid）、鋭指向性（Hypercardioid）、超指向性（Ultra Cardioid）等が挙げられる。マイク６３が指向性を有する場合、頭部装着型表示装置１００を装着した使用者の視線方向からの音声を特に良好に集音し、検出する構成とすればよい。この場合、マイク６３の指向性を確保するため、マイク６３またはマイク６３を収容する部品に構造的な特徴を持たせてもよい。例えば図１の例において、使用者が右イヤホン３２及び左イヤホン３４を装着した状態で、マイク６３の集音部が、使用者の視線方向を向くように、マイク６３及び連結部材４６が設計されていればよい。或いは、マイク６３を、右保持部２１または左保持部２３に埋込設置してもよい。この場合、右保持部２１または左保持部２３の前面側、すなわち右光学像表示部２６、左光学像表示部２８に並ぶ面に集音用の穴を穿設すれば、使用者の視線方向に対応する指向性を持たせることができる。使用者の視線方向とは、例えば、右光学像表示部２６及び左光学像表示部２８が面する方向、使用者が右光学像表示部２６及び左光学像表示部２８越しに見る視界の中心を向く方向、カメラ６１の撮影方向等と言い換えることができる。なお、マイク６３の指向性の方向を可変としてもよい。この場合、使用者の視線方向を検出して、その方向を向くようにマイク６３の視線方向を調整する構成としてもよい。   The specific specifications of the microphone 63 are arbitrary, and may be a directional microphone or an omnidirectional microphone. Examples of directional microphones include unidirectionality (Cardioid), narrow directivity (Super cardioid), sharp directivity (Hypercardioid), and superdirectivity (Ultra Cardioid). In the case where the microphone 63 has directivity, the sound from the line of sight of the user wearing the head-mounted display device 100 may be particularly well collected and detected. In this case, in order to ensure the directivity of the microphone 63, the microphone 63 or a part that accommodates the microphone 63 may have a structural feature. For example, in the example of FIG. 1, the microphone 63 and the connecting member 46 are designed so that the sound collection unit of the microphone 63 faces the user's line-of-sight direction with the user wearing the right earphone 32 and the left earphone 34. It only has to be. Alternatively, the microphone 63 may be embedded in the right holding unit 21 or the left holding unit 23. In this case, if a sound collecting hole is formed in the front side of the right holding unit 21 or the left holding unit 23, that is, the surface aligned with the right optical image display unit 26 and the left optical image display unit 28, the direction of the user's line of sight The directivity corresponding to can be given. The line-of-sight direction of the user is, for example, the direction that the right optical image display unit 26 and the left optical image display unit 28 face, and the center of the field of view that the user sees through the right optical image display unit 26 and the left optical image display unit 28. In other words, the shooting direction of the camera 61, and the like. Note that the direction of directivity of the microphone 63 may be variable. In this case, it may be configured to detect the user's line-of-sight direction and adjust the line-of-sight direction of the microphone 63 so as to face the direction.

なお、右コード４２と左コード４４とを一本のコードにまとめることも可能である。具体的には、右コード４２の内部の導線を、画像表示部２０の本体内部を通して左保持部２３側に引き込み、左コード４４内部の導線とともに樹脂で被覆して、一本のコードにまとめてもよい。   It is also possible to combine the right code 42 and the left code 44 into one code. Specifically, the lead wire inside the right cord 42 is drawn into the left holding portion 23 side through the inside of the main body of the image display unit 20, and is covered with a resin together with the lead wire inside the left cord 44 to be combined into one cord. Also good.

画像表示部２０と制御装置１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御装置１０と、のそれぞれには、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとの嵌合／嵌合解除により、制御装置１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。   The image display unit 20 and the control device 10 transmit various signals via the connection unit 40. Each of the end of the main body cord 48 opposite to the connecting member 46 and the control device 10 is provided with a connector (not shown) that fits with each other. By fitting / releasing the connector of the main body cord 48 and the connector of the control device 10, the control device 10 and the image display unit 20 are connected or disconnected. For the right cord 42, the left cord 44, and the main body cord 48, for example, a metal cable or an optical fiber can be adopted.

制御装置１０は、頭部装着型表示装置１００を制御するための装置である。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が指によりタッチ操作するトラックパッド１４を備える。   The control device 10 is a device for controlling the head-mounted display device 100. The control device 10 includes switches including an enter key 11, a lighting unit 12, a display switching key 13, a luminance switching key 15, a direction key 16, a menu key 17, and a power switch 18. In addition, the control device 10 includes a track pad 14 that is touched by a user with a finger.

決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとを切り替える信号を出力する。   The determination key 11 detects a pressing operation and outputs a signal for determining the content operated by the control device 10. The lighting unit 12 notifies the operation state of the head-mounted display device 100 by its light emission state. Examples of the operating state of the head-mounted display device 100 include power ON / OFF. As the lighting unit 12, for example, an LED (Light Emitting Diode) is used. The display switching key 13 detects a pressing operation and outputs a signal for switching the display mode of the content moving image between 3D and 2D, for example.

トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。   The track pad 14 detects the operation of the user's finger on the operation surface of the track pad 14 and outputs a signal corresponding to the detected content. As the track pad 14, various track pads such as an electrostatic type, a pressure detection type, and an optical type can be adopted. The luminance switching key 15 detects a pressing operation and outputs a signal for increasing or decreasing the luminance of the image display unit 20. The direction key 16 detects a pressing operation on a key corresponding to the up / down / left / right direction, and outputs a signal corresponding to the detected content. The power switch 18 switches the power-on state of the head-mounted display device 100 by detecting a slide operation of the switch.

図２は、頭部装着型表示装置１００を有する情報提供システム１の概略構成を示す図である。
情報提供システム１は、頭部装着型表示装置１００と、情報提供装置４とを通信可能に接続した構成を有する。頭部装着型表示装置１００と情報提供装置４との間の通信は、本実施形態では無線通信回線を介して行う。情報提供システム１は、頭部装着型表示装置１００及び情報提供装置４の他に、通信を仲介する無線アクセスポイント装置やルーター装置等の通信装置（図示略）を備えてもよい。 FIG. 2 is a diagram showing a schematic configuration of the information providing system 1 having the head-mounted display device 100.
The information providing system 1 has a configuration in which the head-mounted display device 100 and the information providing device 4 are communicably connected. Communication between the head-mounted display device 100 and the information providing device 4 is performed via a wireless communication line in this embodiment. In addition to the head-mounted display device 100 and the information providing device 4, the information providing system 1 may include a communication device (not shown) such as a wireless access point device or a router device that mediates communication.

情報提供装置４は、複数の頭部装着型表示装置１００と通信可能であり、情報提供システム１が備える頭部装着型表示装置１００の数について特に制限はない。
情報提供装置４は、頭部装着型表示装置１００と通信する通信部４０１、情報提供装置４を操作するオペレーターの入力操作を受け付ける入力部４０２、及び、入力部４０２による入力内容や処理結果を表示する表示部４０３を備える。通信部４０１（第１の通信部）は、ＩＥＥＥ８０２．１１規格に準拠した無線ＬＡＮ、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の各種無線通信を実行する。入力部４０２はキーボード、マウス、タッチパネル等の入力デバイスを備えてもよく、表示部４０３は、液晶ディスプレイ等の表示画面を備えていてもよい。また、情報提供装置４は、情報提供装置４と通信可能な他のコンピューターによりリモートアクセスされて操作されてもよい。
情報提供装置４は、据え置き型のコンピューターであっても携帯型のデバイスであってもよく、例えば、パーソナルコンピューター、サーバーコンピューター、タブレット型コンピューター、スマートフォン、携帯型電話機を用いて実現してもよい。また、情報提供装置４の位置について特に制限はない。 The information providing device 4 can communicate with a plurality of head-mounted display devices 100, and the number of head-mounted display devices 100 included in the information providing system 1 is not particularly limited.
The information providing device 4 displays a communication unit 401 that communicates with the head-mounted display device 100, an input unit 402 that receives an input operation of an operator who operates the information providing device 4, and input contents and processing results by the input unit 402. The display unit 403 is provided. The communication unit 401 (first communication unit) executes various types of wireless communication such as a wireless LAN, WiFi (registered trademark), and Bluetooth (registered trademark) that comply with the IEEE 802.11 standard. The input unit 402 may include an input device such as a keyboard, a mouse, and a touch panel, and the display unit 403 may include a display screen such as a liquid crystal display. Further, the information providing apparatus 4 may be operated by being remotely accessed by another computer that can communicate with the information providing apparatus 4.
The information providing apparatus 4 may be a stationary computer or a portable device, and may be realized using, for example, a personal computer, a server computer, a tablet computer, a smartphone, or a portable phone. Moreover, there is no restriction | limiting in particular about the position of the information provision apparatus 4. FIG.

情報提供装置４は、制御部４１０を備える。制御部４１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＲＯＭに記憶した基本制御プログラムを読み出して実行し、情報提供装置４の各部を制御する。制御部４１０は、上記基本制御プログラムを実行することにより、識別部４１１、通信制御部４１２、及び送信情報生成部４１３として機能する。
また、情報提供装置４は、制御部４１０が処理するデータ等を記憶する記憶部４２０を備える。記憶部４２０は、電磁的記憶媒体、光学的記憶媒体または半導体メモリーによりデータやプログラムを不揮発的に記憶する記憶装置を利用できる。記憶部４２０を、制御部４１０が備えるＲＯＭまたはＲＡＭの記憶領域を利用して実現してもよい。本実施形態で、記憶部４２０は、ＨＭＤ識別情報４２１、ＨＭＤ位置情報４２２、及び送信用情報４２３を記憶する。 The information providing apparatus 4 includes a control unit 410. The control unit 410 includes a CPU, a ROM, a RAM, and the like (not shown), reads and executes a basic control program stored in the ROM, and controls each unit of the information providing apparatus 4. The control unit 410 functions as an identification unit 411, a communication control unit 412, and a transmission information generation unit 413 by executing the basic control program.
Further, the information providing apparatus 4 includes a storage unit 420 that stores data processed by the control unit 410. The storage unit 420 can use a storage device that stores data and programs in a nonvolatile manner using an electromagnetic storage medium, an optical storage medium, or a semiconductor memory. The storage unit 420 may be realized using a storage area of a ROM or a RAM included in the control unit 410. In the present embodiment, the storage unit 420 stores HMD identification information 421, HMD position information 422, and transmission information 423.

識別部４１１は、情報提供システム１が有する頭部装着型表示装置１００を識別する。識別部４１１は、少なくとも複数の頭部装着型表示装置１００のうちいずれか１台を、他の頭部装着型表示装置１００と区別できればよい。例えば、情報提供システム１において、いずれか１台の頭部装着型表示装置１００が特定対象として設定される場合、識別部４１１は、個々の頭部装着型表示装置１００が特定対象か否かを判定できればよい。より複雑な制御が可能な場合、識別部４１１は、情報提供システム１の頭部装着型表示装置１００のうち、特定対象の複数の頭部装着型表示装置１００を、他の頭部装着型表示装置１００と区別できればよい。さらに、特定対象の複数の頭部装着型表示装置１００を、相互に識別できる構成としてもよい。また、識別部４１１が、情報提供システム１の全ての頭部装着型表示装置１００を、個別に識別できる構成としてもよい。   The identification unit 411 identifies the head-mounted display device 100 included in the information providing system 1. The identification unit 411 only needs to distinguish at least one of the plurality of head-mounted display devices 100 from other head-mounted display devices 100. For example, in the information providing system 1, when any one head-mounted display device 100 is set as a specific target, the identification unit 411 determines whether or not each head-mounted display device 100 is a specific target. It only needs to be able to judge. In a case where more complicated control is possible, the identification unit 411 displays a plurality of head-mounted display devices 100 to be identified among the head-mounted display devices 100 of the information providing system 1 as other head-mounted display devices. It is only necessary to distinguish from the device 100. Furthermore, it is good also as a structure which can mutually identify the several head mounting type display apparatus 100 of specific object. Moreover, it is good also as a structure which the identification part 411 can identify all the head mounted display apparatuses 100 of the information provision system 1 individually.

本実施形態では、各々の頭部装着型表示装置１００に、情報提供システム１の内部で他の頭部装着型表示装置１００と区別できるように、識別情報が割り当てられる。情報提供システム１が無線ＬＡＮを使用する場合、頭部装着型表示装置１００が有するＭＡＣ（Media Access Control）アドレスまたはＩＰ（Internet Protocol）アドレスを識別情報として使用できる。また、各々の頭部装着型表示装置１００に、予め固有の識別情報が割り当てられてもよい。例えば、頭部装着型表示装置１００の名称、番号、等である。この場合、頭部装着型表示装置１００は、割り当てられた識別情報を記憶する。識別部４１１は、通信部４０１により通信可能な頭部装着型表示装置１００の識別情報を、頭部装着型表示装置１００から取得して、ＨＭＤ識別情報４２１に書き込む。この構成では、情報提供システム１の頭部装着型表示装置１００を、個別に特定できる。   In the present embodiment, identification information is assigned to each head-mounted display device 100 so that it can be distinguished from other head-mounted display devices 100 within the information providing system 1. When the information providing system 1 uses a wireless LAN, a MAC (Media Access Control) address or an IP (Internet Protocol) address of the head-mounted display device 100 can be used as identification information. Further, unique identification information may be assigned to each head-mounted display device 100 in advance. For example, the name, number, and the like of the head-mounted display device 100. In this case, the head-mounted display device 100 stores the assigned identification information. The identification unit 411 acquires identification information of the head-mounted display device 100 that can communicate with the communication unit 401 from the head-mounted display device 100 and writes the identification information in the HMD identification information 421. In this configuration, the head-mounted display device 100 of the information providing system 1 can be specified individually.

ＨＭＤ識別情報４２１は、識別部４１１が取得した頭部装着型表示装置１００の識別情報と、情報提供システム１において頭部装着型表示装置１００を呼び出すために必要な呼出情報とを対応付けて含む。呼出情報とは、例えば、頭部装着型表示装置１００のネットワークアドレス等である。頭部装着型表示装置１００の識別情報が、ネットワークアドレスを使用している場合、ＨＭＤ識別情報４２１はネットワークアドレスのみを含む構成であってもよい。
ＨＭＤ識別情報４２１には、頭部装着型表示装置１００の識別情報に対応付けて、頭部装着型表示装置１００が情報提供装置４と通信可能な状態か否かを示す情報を含んでもよいし、頭部装着型表示装置１００を使用する使用者を特定する情報を含んでもよい。使用者を特定する情報とは氏名、使用者に付与された固有の番号等である。 The HMD identification information 421 includes identification information of the head-mounted display device 100 acquired by the identification unit 411 and call information necessary for calling the head-mounted display device 100 in the information providing system 1 in association with each other. . The call information is, for example, a network address of the head-mounted display device 100. When the identification information of the head-mounted display device 100 uses a network address, the HMD identification information 421 may include only the network address.
The HMD identification information 421 may include information indicating whether the head-mounted display device 100 is communicable with the information providing device 4 in association with the identification information of the head-mounted display device 100. Information that identifies a user who uses the head-mounted display device 100 may be included. The information for identifying the user is a name, a unique number assigned to the user, and the like.

また、識別部４１１は、情報提供システム１が有する頭部装着型表示装置１００の位置を特定する機能を有する。識別部４１１は、各々の頭部装着型表示装置１００の位置を、識別情報に対応付けてＨＭＤ位置情報４２２に書き込む。ＨＭＤ位置情報４２２は、頭部装着型表示装置１００の識別情報と位置とを対応付けて含む情報である。   The identification unit 411 has a function of specifying the position of the head-mounted display device 100 included in the information providing system 1. The identification unit 411 writes the position of each head-mounted display device 100 in the HMD position information 422 in association with the identification information. The HMD position information 422 is information including the identification information and the position of the head-mounted display device 100 in association with each other.

識別部４１１が頭部装着型表示装置１００の位置を特定する方法としては、以下の方法が挙げられる。
第１の方法は、頭部装着型表示装置１００が位置を検出し、検出した位置を示す位置情報を情報提供装置４に送信する方法である。識別部４１１は、通信部４０１が頭部装着型表示装置１００から受信する位置情報を取得することで、頭部装着型表示装置１００の位置を特定する。
なお、この第１の方法で頭部装着型表示装置１００が位置を検出する具体的な方法は、例えば、頭部装着型表示装置１００が備えるＧＰＳ１１５を利用する方法がある。また、頭部装着型表示装置１００が使用されるエリアに複数の無線送信機（図示略）を設置し、これら無線送信機が送信する無線信号を頭部装着型表示装置１００が通信部１１７により受信する方法で位置検出を行える。この場合、頭部装着型表示装置１００は、無線送信機の位置と各無線送信機から受信する無線信号とに基づいて現在位置を算出する。また、頭部装着型表示装置１００が設置されるエリアに現在位置を示すタグを配置し、頭部装着型表示装置１００がタグを読み取って、タグから読み取った情報を情報提供装置４に送信する方法がある。識別部４１１は、上記エリアに配置されたタグとタグの位置とを対応付ける情報を有し、この情報に基づいて、頭部装着型表示装置１００の位置を特定できる。タグとしては非接触型の無線通信タグ（例えば、ＲＦＩＤ（Radio Frequency IDentifier）タグ）や、図形コード（バーコード、二次元コードを含む）等を利用できる。 As a method for the identification unit 411 to specify the position of the head-mounted display device 100, the following method may be mentioned.
The first method is a method in which the head-mounted display device 100 detects a position and transmits position information indicating the detected position to the information providing apparatus 4. The identification unit 411 specifies the position of the head-mounted display device 100 by acquiring position information received from the head-mounted display device 100 by the communication unit 401.
A specific method for detecting the position of the head-mounted display device 100 in the first method is, for example, a method using the GPS 115 provided in the head-mounted display device 100. In addition, a plurality of wireless transmitters (not shown) are installed in an area where the head-mounted display device 100 is used, and the head-mounted display device 100 uses the communication unit 117 to transmit wireless signals transmitted by these wireless transmitters. The position can be detected by the receiving method. In this case, the head-mounted display device 100 calculates the current position based on the position of the wireless transmitter and the wireless signal received from each wireless transmitter. Further, a tag indicating the current position is arranged in an area where the head-mounted display device 100 is installed, the head-mounted display device 100 reads the tag, and transmits information read from the tag to the information providing device 4. There is a way. The identification unit 411 has information for associating the tag arranged in the area with the position of the tag, and can identify the position of the head-mounted display device 100 based on this information. As the tag, a non-contact wireless communication tag (for example, an RFID (Radio Frequency IDentifier) tag), a graphic code (including a barcode and a two-dimensional code), or the like can be used.

第２の方法は、頭部装着型表示装置１００が使用されるエリア及びエリアにおける仕様位置を定める方法である。例えば、図６を参照して後述する情報提供システム１の適用例では、頭部装着型表示装置１００が劇場ＴＨで使用される。各々の頭部装着型表示装置１００が座席番号に対応付けられている場合、この座席番号を頭部装着型表示装置１００の位置情報とすることができる。   The second method is a method of determining an area where the head-mounted display device 100 is used and a specification position in the area. For example, in an application example of the information providing system 1 described later with reference to FIG. 6, the head-mounted display device 100 is used in a theater TH. When each head-mounted display device 100 is associated with a seat number, this seat number can be used as position information of the head-mounted display device 100.

第３の方法は、識別部４１１が頭部装着型表示装置１００の位置を検出する動作を実行する方法である。例えば、識別部４１１は、通信部４０１が頭部装着型表示装置１００と通信を行うときの通信遅延等に基づき、頭部装着型表示装置１００の位置を算出できる。この第３の方法では、１つの通信部４０１を利用して、頭部装着型表示装置１００と情報提供装置４との間の大まかな距離を求め、頭部装着型表示装置１００の位置を推定できる。また、通信部４０１に相当する通信装置を情報提供装置４に接続して用いれば、より正確に頭部装着型表示装置１００の位置を求めることができる。   The third method is a method in which the identification unit 411 performs an operation of detecting the position of the head-mounted display device 100. For example, the identification unit 411 can calculate the position of the head-mounted display device 100 based on a communication delay or the like when the communication unit 401 communicates with the head-mounted display device 100. In the third method, a rough distance between the head-mounted display device 100 and the information providing device 4 is obtained using one communication unit 401, and the position of the head-mounted display device 100 is estimated. it can. If a communication device corresponding to the communication unit 401 is connected to the information providing device 4 and used, the position of the head-mounted display device 100 can be obtained more accurately.

識別部４１１は、上述した方法により頭部装着型表示装置１００の位置を取得して、取得した位置を示す情報を、頭部装着型表示装置１００の識別情報に対応付けてＨＭＤ位置情報４２２に書き込む。   The identification unit 411 acquires the position of the head-mounted display device 100 by the method described above, and associates the information indicating the acquired position with the identification information of the head-mounted display device 100 in the HMD position information 422. Write.

通信制御部４１２は、通信部４０１を利用した頭部装着型表示装置１００との通信を制御する。
通信制御部４１２は、入力部４０２が受け付ける操作により、特定の頭部装着型表示装置１００が指定され、指定された頭部装着型表示装置１００に通信するよう要求された場合に、ＨＭＤ識別情報４２１を参照する。通信制御部４１２は、ＨＭＤ識別情報４２１に含まれる情報に基づいて、通信部４０１を制御し、頭部装着型表示装置１００への通信を実行する。 The communication control unit 412 controls communication with the head-mounted display device 100 using the communication unit 401.
The communication control unit 412 specifies the HMD identification information when a specific head-mounted display device 100 is specified by an operation received by the input unit 402 and communication with the specified head-mounted display device 100 is requested. 421 is referred to. The communication control unit 412 controls the communication unit 401 based on information included in the HMD identification information 421 and executes communication with the head-mounted display device 100.

送信情報生成部４１３は、頭部装着型表示装置１００に送信する情報を生成する。送信情報生成部４１３が生成する情報は、通信部４０１により頭部装着型表示装置１００に送信され、頭部装着型表示装置１００が表示する。つまり、送信情報生成部４１３が生成する情報は頭部装着型表示装置１００の装着者に見せることを目的とする情報である。
送信情報生成部４１３が生成する情報は特に制限されないが、本実施形態では、テキスト（文字）のみを含むテキスト情報、及び、画像を含む画像情報を生成する場合を例に挙げる。この情報に含まれる画像の実体はベクターデータであってもラスターデータであってもよい。また、複数の画像を含んでもよい。
本実施形態では、図６を参照して後述する適用例において、頭部装着型表示装置１００を装着する使用者を誘導するための文字や画像を含む情報を、誘導情報とする。誘導情報の具体的な態様は任意であり、例えば、誘導情報の画像は、文字を画像化した画像、記号、矢印、誘導用の直線等の図形を含む画像、使用者の周辺を図案化した画像（例えば、建物内の経路図、地図など）等が挙げられる。また、文字のみを含む誘導情報、記号、図形、あるいは画像のみを含む誘導情報であってもよい。 The transmission information generation unit 413 generates information to be transmitted to the head-mounted display device 100. Information generated by the transmission information generation unit 413 is transmitted to the head-mounted display device 100 by the communication unit 401 and displayed on the head-mounted display device 100. That is, the information generated by the transmission information generation unit 413 is information intended to be shown to the wearer of the head-mounted display device 100.
Information generated by the transmission information generation unit 413 is not particularly limited, but in the present embodiment, a case where text information including only text (characters) and image information including an image is generated as an example. The entity of the image included in this information may be vector data or raster data. A plurality of images may be included.
In the present embodiment, in an application example described later with reference to FIG. 6, information including characters and images for guiding a user wearing the head-mounted display device 100 is referred to as guidance information. The specific mode of the guidance information is arbitrary. For example, the guidance information image is a graphic image of a character, an image including symbols, arrows, guidance lines, etc., and a user's surroundings. An image (for example, a route map in a building, a map, etc.) is mentioned. Further, guidance information including only characters, guidance information including only symbols, figures, or images may be used.

送信情報生成部４１３が生成する情報は、特定の頭部装着型表示装置１００に対して送信することを目的とする情報と、複数の頭部装着型表示装置１００に共通して送信することを目的とする情報とがある。送信情報生成部４１３は、複数の頭部装着型表示装置１００に送信する情報を生成する場合、定型の文字列や画像を利用できる。これらの定型の文字列や画像は記憶部４２０に予め記憶される。また、送信情報生成部４１３は、特定の頭部装着型表示装置１００に適する情報を生成することも可能であり、この場合は、文字列や画像を生成し、或いは、定型の文字列や画像に、別の文字列や画像を付加してもよい。   The information generated by the transmission information generation unit 413 is information that is intended to be transmitted to a specific head-mounted display device 100, and is transmitted in common to a plurality of head-mounted display devices 100. There is target information. When generating information to be transmitted to the plurality of head-mounted display devices 100, the transmission information generation unit 413 can use a fixed character string or image. These fixed character strings and images are stored in the storage unit 420 in advance. The transmission information generation unit 413 can also generate information suitable for a specific head-mounted display device 100. In this case, the transmission information generation unit 413 generates a character string or an image, or a fixed character string or image. In addition, another character string or image may be added.

送信情報生成部４１３は、通信制御部４１２の制御により頭部装着型表示装置１００に送信する情報を生成する。送信情報生成部４１３が生成する情報が、テキスト情報か画像情報かは、入力部４０２で入力される内容または通信制御部４１２が設定する内容により決まる。また、送信情報生成部４１３が、特定の頭部装着型表示装置１００に対する情報を生成するか、複数の頭部装着型表示装置１００に共通の情報を生成するかも、同様に、入力部４０２で入力される内容または通信制御部４１２が設定する内容により決まる。   The transmission information generation unit 413 generates information to be transmitted to the head-mounted display device 100 under the control of the communication control unit 412. Whether the information generated by the transmission information generation unit 413 is text information or image information is determined by the content input by the input unit 402 or the content set by the communication control unit 412. Similarly, the transmission information generation unit 413 generates information for a specific head-mounted display device 100 or generates information common to the plurality of head-mounted display devices 100. It depends on the content to be input or the content set by the communication control unit 412.

送信情報生成部４１３が生成する情報は、記憶部４２０に送信用情報４２３として記憶される。通信制御部４１２は、記憶部４２０から送信用情報４２３を読み出して、通信部４０１により送信する。   Information generated by the transmission information generation unit 413 is stored in the storage unit 420 as transmission information 423. The communication control unit 412 reads the transmission information 423 from the storage unit 420 and transmits it by the communication unit 401.

図３は、頭部装着型表示装置１００の機能的構成を示すブロック図である。
図３には、頭部装着型表示装置１００に接続可能な外部機器ＯＡを図示する。外部機器ＯＡは、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等である。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置として用いられる。 FIG. 3 is a block diagram illustrating a functional configuration of the head-mounted display device 100.
FIG. 3 illustrates an external device OA that can be connected to the head-mounted display device 100. The external device OA is, for example, a personal computer (PC), a mobile phone terminal, a game terminal, or the like. The external device OA is used as an image supply device that supplies an image to the head-mounted display device 100.

頭部装着型表示装置１００の制御装置１０は、制御部１４０と、操作部１３５と、入力情報取得部１１０と、記憶部１２０と、電源１３０と、インターフェイス１８０と、送信部（Ｔｘ）５１および送信部（Ｔｘ）５２と、を有する。
操作部１３５は、使用者による操作を検出する。操作部１３５は、図１に示した決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８の各部を備える。 The control device 10 of the head-mounted display device 100 includes a control unit 140, an operation unit 135, an input information acquisition unit 110, a storage unit 120, a power supply 130, an interface 180, a transmission unit (Tx) 51, and And a transmission unit (Tx) 52.
The operation unit 135 detects an operation by the user. The operation unit 135 includes the determination key 11, the display switching key 13, the track pad 14, the luminance switching key 15, the direction key 16, the menu key 17, and the power switch 18 shown in FIG.

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。
電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。 The input information acquisition unit 110 acquires a signal corresponding to an operation input by the user. As a signal corresponding to the operation input, for example, there is an operation input to the track pad 14, the direction key 16, and the power switch 18.
The power supply 130 supplies power to each part of the head-mounted display device 100. As the power supply 130, for example, a secondary battery can be used.

記憶部１２０は、種々のコンピュータープログラムを格納する。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成される。記憶部１２０には、頭部装着型表示装置１００の画像表示部２０に表示する画像データが格納されていても良い。また、記憶部１２０は、データ取得部ＤＡが取得した表示データ、及び、通信部１１７が情報提供装置４から受信した情報等を記憶してもよい。   The storage unit 120 stores various computer programs. The storage unit 120 is configured by a ROM, a RAM, or the like. The storage unit 120 may store image data to be displayed on the image display unit 20 of the head-mounted display device 100. The storage unit 120 may store display data acquired by the data acquisition unit DA, information received from the information providing device 4 by the communication unit 117, and the like.

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができる。   The interface 180 is an interface for connecting various external devices OA that are content supply sources to the control device 10. As the interface 180, for example, an interface corresponding to a wired connection such as a USB interface, a micro USB interface, or a memory card interface can be used.

制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行することにより、各部の機能を実現する。すなわち、制御部１４０は、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、音声処理部１７０、対象検出部１７１、距離検出部１７３、情報表示制御部１７８、及び、表示制御部１９０として機能する。   The control unit 140 reads out and executes the computer program stored in the storage unit 120, thereby realizing the function of each unit. That is, the control unit 140 functions as an operating system (OS) 150, an image processing unit 160, an audio processing unit 170, an object detection unit 171, a distance detection unit 173, an information display control unit 178, and a display control unit 190.

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、３軸センサー１１３の検出値を制御部１４０が取得可能である。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。   A three-axis sensor 113, a GPS 115, and a communication unit 117 are connected to the control unit 140. The triaxial sensor 113 is a triaxial acceleration sensor, and the control unit 140 can acquire the detection value of the triaxial sensor 113. The GPS 115 includes an antenna (not shown), receives a GPS (Global Positioning System) signal, and obtains the current position of the control device 10. The GPS 115 outputs the current position and the current time obtained based on the GPS signal to the control unit 140. Further, the GPS 115 may have a function of acquiring the current time based on information included in the GPS signal and correcting the time counted by the control unit 140 of the control device 10.

通信部１１７（第２の通信部）は、ＩＥＥＥ８０２．１１規格に準拠した無線ＬＡＮ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ等の各種無線通信を実行する。また、通信部１１７は、Ｍｉｒａｃａｓｔ（登録商標）による画像データの送受信を行ってもよい。
外部機器ＯＡが、通信部１１７に無線接続された場合には、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示するための制御を行う。一方、外部機器ＯＡが、インターフェイス１８０に有線接続された場合には、制御部１４０は、コンテンツデータをインターフェイス１８０より取得して、画像表示部２０に画像を表示するための制御を行う。よって、通信部１１７、及び、インターフェイス１８０を、以下総称してデータ取得部ＤＡと呼ぶ。
データ取得部ＤＡは、外部機器ＯＡから、頭部装着型表示装置１００により表示するコンテンツデータを取得する。コンテンツデータは後述する表示データを含み、表示データは画像データやテキストデータ等の種々のデータとすることができる。 The communication unit 117 (second communication unit) performs various types of wireless communication such as wireless LAN, WiFi, Bluetooth, and the like that comply with the IEEE 802.11 standard. The communication unit 117 may transmit and receive image data using Miracast (registered trademark).
When the external device OA is wirelessly connected to the communication unit 117, the control unit 140 acquires content data from the communication unit 117 and performs control for displaying an image on the image display unit 20. On the other hand, when the external device OA is wired to the interface 180, the control unit 140 acquires content data from the interface 180 and performs control for displaying an image on the image display unit 20. Therefore, the communication unit 117 and the interface 180 are hereinafter collectively referred to as a data acquisition unit DA.
The data acquisition unit DA acquires content data to be displayed by the head-mounted display device 100 from the external device OA. The content data includes display data to be described later, and the display data can be various data such as image data and text data.

また、通信部１１７は、情報提供装置４（図２）の通信部４０１から送信される情報を受信して、制御部１４０に出力する。制御部１４０は、通信部１１７により情報提供装置４から受信した情報を、後述するように情報表示制御部１７８の機能により処理する。   Further, the communication unit 117 receives information transmitted from the communication unit 401 of the information providing apparatus 4 (FIG. 2) and outputs the information to the control unit 140. The control unit 140 processes the information received from the information providing apparatus 4 by the communication unit 117 by the function of the information display control unit 178 as will be described later.

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。 The image processing unit 160 acquires an image signal included in the content. The image processing unit 160 separates synchronization signals such as the vertical synchronization signal VSync and the horizontal synchronization signal HSync from the acquired image signal. Further, the image processing unit 160 generates a clock signal PCLK using a PLL (Phase Locked Loop) circuit or the like (not shown) according to the period of the separated vertical synchronization signal VSync and horizontal synchronization signal HSync. The image processing unit 160 converts the analog image signal from which the synchronization signal is separated into a digital image signal using an A / D conversion circuit or the like (not shown). Thereafter, the image processing unit 160 stores the converted digital image signal in the DRAM in the storage unit 120 frame by frame as image data (Data in the figure) of the target image. This image data is, for example, RGB data.
Note that the image processing unit 160 may execute image processing such as various tone correction processing such as resolution conversion processing, brightness and saturation adjustment, and keystone correction processing on the image data as necessary. .

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信された画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信された画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。   The image processing unit 160 transmits the generated clock signal PCLK, vertical synchronization signal VSync, horizontal synchronization signal HSync, and image data Data stored in the DRAM in the storage unit 120 via the transmission units 51 and 52, respectively. To do. The image data Data transmitted via the transmission unit 51 is also referred to as “right eye image data”, and the image data Data transmitted via the transmission unit 52 is also referred to as “left eye image data”. The transmission units 51 and 52 function as a transceiver for serial transmission between the control device 10 and the image display unit 20.

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。   The display control unit 190 generates control signals for controlling the right display drive unit 22 and the left display drive unit 24. Specifically, the display control unit 190 controls driving of the right LCD 241 by the right LCD control unit 211, driving ON / OFF of the right backlight 221 by the right backlight control unit 201, and left LCD control unit according to control signals. The left LCD 242 driving ON / OFF by 212, the left backlight 222 driving ON / OFF by the left backlight control unit 202, and the like are individually controlled. Thus, the display control unit 190 controls the generation and emission of image light by the right display driving unit 22 and the left display driving unit 24, respectively. For example, the display control unit 190 may cause both the right display driving unit 22 and the left display driving unit 24 to generate image light, generate only one image light, or neither may generate image light.

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。   The display control unit 190 transmits control signals for the right LCD control unit 211 and the left LCD control unit 212 via the transmission units 51 and 52, respectively. In addition, the display control unit 190 transmits control signals to the right backlight control unit 201 and the left backlight control unit 202, respectively.

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６と、を備える。   The image display unit 20 includes a right display drive unit 22, a left display drive unit 24, a right light guide plate 261 as a right optical image display unit 26, a left light guide plate 262 as a left optical image display unit 28, and a camera 61. And a vibration sensor 65 and a nine-axis sensor 66.

振動センサー６５は、加速度センサーを利用して構成され、図１に示すように画像表示部２０の内部に配置される。図１の例では右保持部２１において、右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。   The vibration sensor 65 is configured using an acceleration sensor, and is arranged inside the image display unit 20 as shown in FIG. In the example of FIG. 1, the right holding unit 21 is built in the vicinity of the end ER of the right optical image display unit 26. When the user performs an operation of hitting the end ER (knock operation), the vibration sensor 65 detects vibration caused by this operation and outputs the detection result to the control unit 140. Based on the detection result of the vibration sensor 65, the control unit 140 detects a knocking operation by the user.

９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられる。このため、使用者が頭部に画像表示部２０を装着している状態で、９軸センサー６６は使用者の頭部の動きを検出する。検出される使用者の頭部の動きから画像表示部２０の向きがわかるため、制御部１４０は、使用者の視線方向を推定できる。   The 9-axis sensor 66 is a motion sensor that detects acceleration (3 axes), angular velocity (3 axes), and geomagnetism (3 axes). The 9-axis sensor 66 is provided in the image display unit 20. For this reason, the 9-axis sensor 66 detects the movement of the user's head while the user wears the image display unit 20 on the head. Since the orientation of the image display unit 20 is known from the detected movement of the user's head, the control unit 140 can estimate the user's line-of-sight direction.

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を備える。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。   The right display driving unit 22 includes a receiving unit (Rx) 53, a right backlight (BL) control unit 201 and a right backlight (BL) 221 that function as a light source, a right LCD control unit 211 that functions as a display element, and a right An LCD 241 and a right projection optical system 251 are provided. The right backlight control unit 201 and the right backlight 221 function as a light source. The right LCD control unit 211 and the right LCD 241 function as display elements. The right backlight control unit 201, the right LCD control unit 211, the right backlight 221 and the right LCD 241 are collectively referred to as “image light generation unit”.

受信部５３は、制御装置１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力される制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されるクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａ１と、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。   The receiving unit 53 functions as a receiver for serial transmission between the control device 10 and the image display unit 20. The right backlight control unit 201 drives the right backlight 221 based on the input control signal. The right backlight 221 is a light emitter such as an LED or electroluminescence (EL). The right LCD control unit 211 drives the right LCD 241 based on the clock signal PCLK, the vertical synchronization signal VSync, the horizontal synchronization signal HSync, and the right eye image data Data1 that are input via the reception unit 53. . The right LCD 241 is a transmissive liquid crystal panel in which a plurality of pixels are arranged in a matrix.

右投写光学系２５１は、右ＬＣＤ２４１から射出される画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力される画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。   The right projection optical system 251 is configured by a collimator lens that changes image light emitted from the right LCD 241 to light beams in a parallel state. The right light guide plate 261 as the right optical image display unit 26 guides the image light output from the right projection optical system 251 to the right eye RE of the user while reflecting the image light along a predetermined optical path. The right projection optical system 251 and the right light guide plate 261 are collectively referred to as “light guide unit”.

左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を備える。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出される画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力される画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。   The left display drive unit 24 has the same configuration as the right display drive unit 22. The left display driving unit 24 includes a receiving unit (Rx) 54, a left backlight (BL) control unit 202 and a left backlight (BL) 222 that function as a light source, a left LCD control unit 212 and a left that function as a display element. An LCD 242 and a left projection optical system 252 are provided. The left backlight control unit 202 and the left backlight 222 function as a light source. The left LCD control unit 212 and the left LCD 242 function as display elements. The left backlight control unit 202, the left LCD control unit 212, the left backlight 222, and the left LCD 242 are also collectively referred to as “image light generation unit”. The left projection optical system 252 is configured by a collimating lens that converts image light emitted from the left LCD 242 to light beams in a parallel state. The left light guide plate 262 as the left optical image display unit 28 guides the image light output from the left projection optical system 252 to the left eye LE of the user while reflecting the light along a predetermined optical path. The left projection optical system 252 and the left light guide plate 262 are collectively referred to as “light guide unit”.

頭部装着型表示装置１００は、使用者が右光学像表示部２６及び左光学像表示部２８を透過して外景を見ている場合に、この外景に重なるように表示データを表示する。
対象検出部１７１は、カメラ６１に撮像を実行させる制御を行い、撮像画像を取得する。この撮像画像はカラー画像データまたはモノクロ画像データとしてカメラ６１から出力されるが、カメラ６１が画像信号を出力して、対象検出部１７１が画像信号から所定のファイルフォーマットに適合する画像データを生成してもよい。
対象検出部１７１は、取得した撮像画像データを解析する。対象検出部１７１は、撮像画像において、所定の特徴に適合する画像を検索し、適合する画像を対象物の画像として検出する。対象物とは、カメラ６１の撮像方向すなわち使用者の視線方向に存在する物体または人である。対象検出部１７１が使用する対象物の特徴は、例えば、記憶部１２０に特徴量のデータとして記憶される。この特徴量のデータは、撮像画像から検出する画像の特徴量を含み、撮像画像のデータから特徴量のデータに該当する部分を検索することで、対象物を特定できる。本実施形態では、カメラ６１の撮像方向が使用者の視線方向となっているため、対象検出部１７１は撮像画像データに基づき対象物を検出できる。対象物は、周囲の背景や別の物体と区別可能な人や物体であり、その大きさや、移動可能であるか否かは問わない。 The head-mounted display device 100 displays display data so as to overlap the outside scene when the user views the outside scene through the right optical image display unit 26 and the left optical image display unit 28.
The target detection unit 171 performs control for causing the camera 61 to perform imaging, and acquires a captured image. The captured image is output from the camera 61 as color image data or monochrome image data. The camera 61 outputs an image signal, and the target detection unit 171 generates image data that conforms to a predetermined file format from the image signal. May be.
The target detection unit 171 analyzes the acquired captured image data. The target detection unit 171 searches the captured image for an image that matches a predetermined feature, and detects the matching image as an image of the object. The target object is an object or a person that exists in the imaging direction of the camera 61, that is, the user's line-of-sight direction. The feature of the target used by the target detection unit 171 is stored in the storage unit 120 as feature amount data, for example. The feature amount data includes the feature amount of the image detected from the captured image, and the target object can be specified by searching a portion corresponding to the feature amount data from the captured image data. In the present embodiment, since the imaging direction of the camera 61 is the line-of-sight direction of the user, the target detection unit 171 can detect the target object based on the captured image data. The object is a person or an object that can be distinguished from the surrounding background or another object, and it does not matter whether the object is movable or not.

距離検出部１７３は、対象検出部１７１が検出した対象物までの距離を求める。例えば、距離検出部１７３は、カメラ６１の撮像画像において対象検出部１７１が検出した対象物の画像のサイズに基づき、対象物までの距離を求める。
また、頭部装着型表示装置１００は、レーザー光または超音波を利用して対象物までの距離を検出する距離計を備えていてもよい。この距離計は、例えば、レーザー光の光源と、この光源が発したレーザー光の反射光を受光する受光部とを備え、レーザー光の受光状態に基づき対象物までの距離を検出する。また、距離計は、例えば、超音波式の距離計としてもよい。すなわち、超音波を発する音源と、対象物に反射した超音波を検出する検出部とを備え、反射した超音波に基づき対象物までの距離を検出する距離計を用いてもよい。さらに、この距離計は、レーザー光を利用する距離計と超音波を用いる距離計とを合わせた構成とすることもできる。このような距離計は、画像表示部２０の右保持部２１または右表示駆動部２２に設けることが好ましく、例えば、調光板２０Ａと並ぶ面に、前方を向いて設置するとよい。この距離計が距離を測定する方向は、カメラ６１の撮像方向と同様に、使用者の視線方向であることが望ましい。
距離検出部１７３は、カメラ６１または距離計から対象物までの距離を検出するが、この距離は、頭部装着型表示装置１００の使用者から対象物までの距離と見なすことができる。また、対象検出部１７１が検出する対象物が特定の物体でない場合、距離検出部１７３は、例えば撮像画像の中央を仮想の対象物として、この対象物までの距離を検出する。 The distance detection unit 173 obtains the distance to the object detected by the object detection unit 171. For example, the distance detection unit 173 obtains the distance to the object based on the size of the image of the object detected by the object detection unit 171 in the captured image of the camera 61.
The head-mounted display device 100 may include a distance meter that detects the distance to the object using laser light or ultrasonic waves. For example, the distance meter includes a light source of laser light and a light receiving unit that receives reflected light of the laser light emitted from the light source, and detects a distance to an object based on a light receiving state of the laser light. The distance meter may be an ultrasonic distance meter, for example. That is, a distance meter that includes a sound source that emits ultrasonic waves and a detection unit that detects ultrasonic waves reflected on the object, and detects the distance to the object based on the reflected ultrasonic waves may be used. Further, the distance meter can be configured by combining a distance meter using laser light and a distance meter using ultrasonic waves. Such a distance meter is preferably provided in the right holding unit 21 or the right display driving unit 22 of the image display unit 20, and may be installed, for example, facing the front side on the surface aligned with the light control plate 20A. The direction in which the distance meter measures the distance is preferably the user's line-of-sight direction, similar to the imaging direction of the camera 61.
The distance detection unit 173 detects the distance from the camera 61 or the distance meter to the object, and this distance can be regarded as the distance from the user of the head-mounted display device 100 to the object. When the target detected by the target detection unit 171 is not a specific object, the distance detection unit 173 detects the distance to this target, for example, using the center of the captured image as a virtual target.

情報表示制御部１７８は、データ取得部ＤＡにより取得した表示データに基づき、文字や画像を画像表示部２０に表示させる。情報表示制御部１７８は、データ取得部ＤＡが表示データを取得するときに、取得した表示データに基づく表示を行ってもよい。また、情報表示制御部１７８は、データ取得部ＤＡが取得した表示データの中から表示対象のデータを抽出し、抽出したデータに基づき文字や画像を表示してもよい。本実施形態の情報表示制御部１７８は、データ取得部ＤＡが取得した表示データの中から、対象検出部１７１が検出する対象物に関連する表示データを抽出する。   The information display control unit 178 displays characters and images on the image display unit 20 based on the display data acquired by the data acquisition unit DA. The information display control unit 178 may perform display based on the acquired display data when the data acquisition unit DA acquires the display data. Further, the information display control unit 178 may extract display target data from the display data acquired by the data acquisition unit DA, and display characters and images based on the extracted data. The information display control unit 178 of the present embodiment extracts display data related to the object detected by the object detection unit 171 from the display data acquired by the data acquisition unit DA.

また、情報表示制御部１７８は、通信部１１７が情報提供装置４から受信する情報に基づき、文字や画像を表示するためのデータを生成して表示制御部１９０に出力し、画像表示部２０に文字や画像を表示させる。
ここで、情報表示制御部１７８は、情報提供装置４から受信する情報に基づいて表示する文字や画像の表示属性を設定してもよい。この場合、情報提供装置４から受信する情報に基づく文字や画像を、表示データに基づき表示する文字や画像よりも目立つように、表示してもよい。
情報表示制御部１７８は、表示制御部１９０を制御して、画像生成部１７７が生成した表示用画像のデータに基づき、画像表示部２０によって、画像を表示させる。 Further, the information display control unit 178 generates data for displaying characters and images based on information received by the communication unit 117 from the information providing device 4, outputs the data to the display control unit 190, and outputs the data to the image display unit 20. Display text and images.
Here, the information display control unit 178 may set display attributes of characters and images to be displayed based on information received from the information providing device 4. In this case, the characters and images based on the information received from the information providing device 4 may be displayed so as to stand out from the characters and images displayed based on the display data.
The information display control unit 178 controls the display control unit 190 to cause the image display unit 20 to display an image based on the display image data generated by the image generation unit 177.

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続される右イヤホン３２内のスピーカー（図示略）および左イヤホン３４内のスピーカー（図示略）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれから、例えば周波数等が変えられた異なる音が出力される。   The audio processing unit 170 acquires an audio signal included in the content, amplifies the acquired audio signal, and a speaker (not shown) in the right earphone 32 and a speaker in the left earphone 34 (not shown) connected to the connecting member 46. (Not shown). For example, when the Dolby (registered trademark) system is adopted, processing is performed on the audio signal, and different sounds with different frequencies or the like are output from each of the right earphone 32 and the left earphone 34, for example.

また、音声処理部１７０は、マイク６３により集音される音声を取得してディジタル音声データに変換し、音声に係る処理を行う。例えば、音声処理部１７０は、取得した音声から特徴を抽出してモデル化することで、複数の人の声を別々に認識して、声ごとに話している人を特定する話者認識を行ってもよい。   In addition, the sound processing unit 170 acquires sound collected by the microphone 63, converts it into digital sound data, and performs processing related to sound. For example, the speech processing unit 170 performs speaker recognition that identifies a person who speaks for each voice by recognizing voices of a plurality of persons separately by extracting and modeling features from the acquired speech. May be.

制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、及び通信部１１７が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得して、制御装置１０の動き及び動きの方向を検出可能である。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を求める。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御装置１０の制御部１４０が計時する時刻を修正させる機能を備えていてもよい。 A three-axis sensor 113, a GPS 115, and a communication unit 117 are connected to the control unit 140. The triaxial sensor 113 is a triaxial acceleration sensor, and the control unit 140 can detect the detection value of the triaxial sensor 113 and detect the movement and the direction of movement of the control device 10.
The GPS 115 includes an antenna (not shown), receives a GPS (Global Positioning System) signal, and obtains the current position of the control device 10. The GPS 115 outputs the current position and the current time obtained based on the GPS signal to the control unit 140. Further, the GPS 115 may have a function of acquiring the current time based on information included in the GPS signal and correcting the time counted by the control unit 140 of the control device 10.

インターフェイス１８０は、制御装置１０に対して、コンテンツの供給元となる種々の画像供給装置ＯＡを接続するためのインターフェイスである。画像供給装置ＯＡが供給するコンテンツは、静止画像または動画像を含み、音声を含んでもよい。画像供給装置ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を利用できる。
ここで、画像供給装置ＯＡを無線通信回線により制御装置１０に接続することも可能である。この場合、画像供給装置ＯＡは、通信部１１７と無線通信を実行して、コンテンツのデータをＭｉｒａｃａｓｔ等の無線通信技術により送信する。 The interface 180 is an interface for connecting various image supply apparatuses OA that are content supply sources to the control apparatus 10. The content supplied by the image supply device OA includes a still image or a moving image, and may include sound. Examples of the image supply device OA include a personal computer (PC), a mobile phone terminal, and a game terminal. As the interface 180, for example, a USB interface, a micro USB interface, a memory card interface, or the like can be used.
Here, it is also possible to connect the image supply device OA to the control device 10 by a wireless communication line. In this case, the image supply device OA performs wireless communication with the communication unit 117 and transmits content data using a wireless communication technique such as Miracast.

図４は、頭部装着型表示装置１００の動作を示すフローチャートであり、特に、情報表示制御部１７８の機能を利用する表示処理を示す。この表示処理は、使用者が右光学像表示部２６及び左光学像表示部２８を通して外景を見ている間に、外景に関連する表示データに基づき文字や画像を画像表示部２０により表示する処理である。   FIG. 4 is a flowchart showing the operation of the head-mounted display device 100, and particularly shows a display process using the function of the information display control unit 178. This display process is a process in which characters and images are displayed on the image display unit 20 based on display data related to the outside scene while the user views the outside scene through the right optical image display unit 26 and the left optical image display unit 28. It is.

制御部１４０は、まず、データ取得部ＤＡにより表示データを取得し（ステップＳ１１）、取得されたデータを記憶部１２０に記憶する（ステップＳ１２）。
続いて、対象検出部１７１が対象物検出処理を実行する（ステップＳ１３）。情報表示制御部１７８は、対象検出部１７１が検出した対象物に関連する表示データを、記憶部１２０が記憶する表示データの中から選択し、選択した表示データに基づき文字や画像を表示する（ステップＳ１４）。ここで情報表示制御部１７８が選択する情報は、関連情報に相当する。関連情報は、対象検出部１７１が検出する対象物に関連を有する情報であり、文字、画像、動画像、図形等、画像表示部２０が表示可能な情報であれば何でも良い。関連情報は、例えば記憶部１２０に予め記憶され、例えば、対象検出部１７１が対象物を検出する場合に用いる特徴量のデータに関連付けられる。この場合、対象検出部１７１が検出した対象物の特徴量のデータから、この対象物に関連を有する関連情報を取得できる。 First, the control unit 140 acquires display data by the data acquisition unit DA (step S11), and stores the acquired data in the storage unit 120 (step S12).
Subsequently, the target detection unit 171 executes a target detection process (step S13). The information display control unit 178 selects display data related to the object detected by the object detection unit 171 from the display data stored in the storage unit 120, and displays characters and images based on the selected display data ( Step S14). Here, the information selected by the information display control unit 178 corresponds to related information. The related information is information related to the object detected by the object detection unit 171, and may be any information that can be displayed by the image display unit 20, such as characters, images, moving images, and graphics. The related information is stored in advance in the storage unit 120, for example, and is associated with feature amount data used when the target detection unit 171 detects the target, for example. In this case, related information related to the object can be acquired from the feature amount data of the object detected by the object detection unit 171.

その後、制御部１４０はステップＳ１１で取得したデータの全てについてステップＳ１２〜Ｓ１４で処理したか否かを判定する（ステップＳ１５）。未処理のデータがある場合（ステップＳ１５；ＮＯ）、制御部１４０はステップＳ１３に戻り、未処理のデータに対する処理を行う。例えば、情報表示制御部１７８は、ステップＳ１４で対象検出部１７１が検出した対象物に関連する表示データを選択するが、ここで選択されなかった表示データは、処理済みとしてもよい。
全てのデータの処理が済んだ場合（ステップＳ１５；ＹＥＳ）、制御部１４０は表示を終了するか否かを判定する（ステップＳ１６）。表示を継続する場合（ステップＳ１６；ＮＯ）、制御部１４０はステップＳ１１に戻る。また、操作部１３５が検出した操作等に従って表示を終了する場合（ステップＳ１６；ＹＥＳ）、制御部１４０は表示制御部１９０による表示を停止させて本処理を終了する。 Thereafter, the control unit 140 determines whether or not all of the data acquired in step S11 has been processed in steps S12 to S14 (step S15). If there is unprocessed data (step S15; NO), the control unit 140 returns to step S13 and performs processing on the unprocessed data. For example, the information display control unit 178 selects display data related to the object detected by the object detection unit 171 in step S14, but the display data not selected here may be processed.
When all the data has been processed (step S15; YES), the control unit 140 determines whether or not to end the display (step S16). When the display is continued (step S16; NO), the control unit 140 returns to step S11. When the display is terminated according to the operation detected by the operation unit 135 (step S16; YES), the control unit 140 stops the display by the display control unit 190 and ends the present process.

図５は、情報提供システム１の動作を示すフローチャートであり、（Ａ）は情報提供装置４の動作を示し、（Ｂ）は頭部装着型表示装置１００の動作を示す。図５（Ｂ）には情報提供システム１が備える複数の頭部装着型表示装置１００のうち、情報の送信対象となった頭部装着型表示装置１００の動作を示す。
この図５の動作は、情報提供装置４が情報を生成して頭部装着型表示装置１００に送信し、頭部装着型表示装置１００が表示を行う動作である。図５の動作は情報提供装置４に対する指示操作をトリガーとして開始される。このため、例えば、頭部装着型表示装置１００が図４の処理の実行中に、図５の動作が開始されることもある。 FIG. 5 is a flowchart showing the operation of the information providing system 1, (A) shows the operation of the information providing device 4, and (B) shows the operation of the head-mounted display device 100. FIG. 5B illustrates the operation of the head-mounted display device 100 that is the target of information transmission among the plurality of head-mounted display devices 100 included in the information providing system 1.
The operation in FIG. 5 is an operation in which the information providing device 4 generates information and transmits the information to the head-mounted display device 100, and the head-mounted display device 100 performs display. The operation in FIG. 5 is started with an instruction operation on the information providing apparatus 4 as a trigger. For this reason, for example, the operation of FIG. 5 may be started while the head-mounted display device 100 is executing the processing of FIG.

情報提供装置４は、情報送信の指示がなされるまで待機する（ステップＳ２１）。入力部４０２によって情報送信の指示を受け付けた場合（ステップＳ２１；ＹＥＳ）、識別部４１１は、頭部装着型表示装置１００の位置を特定し、特定した位置をＨＭＤ位置情報４２２に書き込む（ステップＳ２２）。ステップＳ２２で、頭部装着型表示装置１００は、必要に応じて、情報提供装置４に対して位置データを送信する等の処理を行う（ステップＳ３１）。
ステップＳ２２で、識別部４１１は、入力部４０２の入力により指定された情報の送信先の頭部装着型表示装置１００についてのみ、位置を特定すればよい。また、識別部４１１は、予め定められた周期で頭部装着型表示装置１００の位置を特定してＨＭＤ位置情報４２２を更新する動作を行ってもよく、この場合、ステップＳ２２の動作を省略してもよい。 The information providing apparatus 4 waits until an information transmission instruction is given (step S21). When the information transmission instruction is received by the input unit 402 (step S21; YES), the identification unit 411 identifies the position of the head-mounted display device 100 and writes the identified position in the HMD position information 422 (step S22). ). In step S22, the head-mounted display device 100 performs processing such as transmitting position data to the information providing device 4 as necessary (step S31).
In step S <b> 22, the identification unit 411 only needs to specify the position of the head-mounted display device 100 that is the transmission destination of the information specified by the input of the input unit 402. Further, the identification unit 411 may perform an operation of specifying the position of the head-mounted display device 100 at a predetermined cycle and updating the HMD position information 422, and in this case, the operation of step S22 is omitted. May be.

通信制御部４１２は、入力部４０２で受け付けた入力内容に基づき、情報の送信先の頭部装着型表示装置１００を選択する（ステップＳ２３）。通信制御部４１２が選択する頭部装着型表示装置１００の数に制限はないが、複数の頭部装着型表示装置１００を選択する場合、これら複数の頭部装着型表示装置１００には同じ情報が送信される。また、情報提供装置４において、入力部４０２に対する操作によって全ての頭部装着型表示装置１００に同じ情報を送信する一斉呼び出しが可能な構成としてもよく、この場合、ステップＳ２３では全ての頭部装着型表示装置１００が選択される。
続いて、送信情報生成部４１３が、頭部装着型表示装置１００に送信する情報を生成する（ステップＳ２４）。ここで生成する情報の内容は、上記のように、入力部４０２で受け付けた入力内容による。送信情報生成部４１３は生成した情報を記憶部４２０に記憶する。 The communication control unit 412 selects the head-mounted display device 100 as the information transmission destination based on the input content received by the input unit 402 (step S23). The number of head-mounted display devices 100 selected by the communication control unit 412 is not limited, but when selecting a plurality of head-mounted display devices 100, the same information is stored in the plurality of head-mounted display devices 100. Is sent. Further, the information providing device 4 may be configured to be able to perform a simultaneous call for transmitting the same information to all the head-mounted display devices 100 by an operation on the input unit 402. In this case, in step S23, all the head-mounted devices are mounted. The mold display device 100 is selected.
Subsequently, the transmission information generation unit 413 generates information to be transmitted to the head-mounted display device 100 (step S24). The content of the information generated here depends on the input content received by the input unit 402 as described above. The transmission information generation unit 413 stores the generated information in the storage unit 420.

通信制御部４１２は、記憶部４２０から、送信情報生成部４１３が生成した送信用情報４２３を読み出して、ステップＳ２３で選択した頭部装着型表示装置１００に送信する（ステップＳ２５）。
頭部装着型表示装置１００は、情報提供装置４が送信した情報を通信部１１７により受信し（ステップＳ３２）、情報表示制御部１７８が、受信した情報を表示するためのデータを生成して表示制御部１９０に出力し、表示を実行する（ステップＳ３３）。
通信制御部４１２は、指示された全ての頭部装着型表示装置１００に対する情報の送信が完了したか否かを判定し（ステップＳ２６）、送信が完了していない場合（ステップＳ２６；ＮＯ）、ステップＳ２３に戻って別の頭部装着型表示装置１００への送信を実行する。また、指示された送信が完了した場合は（ステップＳ２６；ＹＥＳ）、本処理を終了する。 The communication control unit 412 reads out the transmission information 423 generated by the transmission information generation unit 413 from the storage unit 420 and transmits it to the head-mounted display device 100 selected in step S23 (step S25).
The head-mounted display device 100 receives the information transmitted from the information providing device 4 by the communication unit 117 (step S32), and the information display control unit 178 generates and displays data for displaying the received information. It outputs to the control part 190 and performs a display (step S33).
The communication control unit 412 determines whether or not the transmission of information to all the head-mounted display devices 100 instructed has been completed (step S26). If the transmission has not been completed (step S26; NO), Returning to step S23, transmission to another head-mounted display device 100 is executed. When the instructed transmission is completed (step S26; YES), this process is terminated.

図６は、情報提供システム１の典型的な適用例を示す説明図である。（Ａ）は使用環境の説明図であり、（Ｂ）〜（Ｅ）は頭部装着型表示装置の表示例を示す。
図６（Ａ）に示す劇場ＴＨは、ステージＳＴを向くように、頭部装着型表示装置１００の使用者を含む観客用の座席ＳＨが多数配置された構成を有する。頭部装着型表示装置１００の使用者は、座席ＳＨに着席してステージＳＴを見るときに、頭部装着型表示装置１００を使用する。本実施形態では複数の使用者が劇場ＴＨに居り、頭部装着型表示装置１００を使用する。 FIG. 6 is an explanatory diagram illustrating a typical application example of the information providing system 1. (A) is explanatory drawing of a use environment, (B)-(E) shows the example of a display of a head mounted display apparatus.
The theater TH shown in FIG. 6A has a configuration in which a large number of seats SH for the audience including the user of the head-mounted display device 100 are arranged so as to face the stage ST. The user of the head-mounted display device 100 uses the head-mounted display device 100 when sitting on the seat SH and looking at the stage ST. In this embodiment, a plurality of users are in the theater TH and use the head-mounted display device 100.

図６（Ｂ）の視野ＶＲは、画像表示部２０の右光学像表示部２６及び左光学像表示部２８越しに、使用者が見る視野を示している。画像表示部２０は外景を透過して視認可能であるという特性を有するので、視野ＶＲには、ステージＳＴが見えている。視野ＶＲには、ステージＳＴの上方及び左右端に配置されたカーテンＣＴ、ステージＳＴの左右の側方にある舞台袖ＳＳが含まれる。ステージＳＴには出演者Ａの姿が見える。この例ではステージＳＴ上に出演者Ａが居り、使用者は出演者Ａを見ている。   The visual field VR in FIG. 6B shows the visual field seen by the user through the right optical image display unit 26 and the left optical image display unit 28 of the image display unit 20. Since the image display unit 20 has a characteristic that it can be seen through the outside scene, the stage ST is visible in the visual field VR. The visual field VR includes a curtain CT disposed above and on the left and right ends of the stage ST, and stage sleeves SS on the left and right sides of the stage ST. The performer A can be seen on the stage ST. In this example, there is a performer A on the stage ST, and the user is watching the performer A.

この例で、頭部装着型表示装置１００がステップＳ１１（図４）で取得する表示データは、劇場ＴＨで上演される演劇プログラムに関するテキストデータであり、出演者Ａが発話する台詞、及び、演劇プログラムに関する説明のテキストを含む。制御部１４０は、ステップＳ１１で、演劇プログラム全体、または、一部についてテキストデータを取得する。情報表示制御部１７８は、取得したテキストデータの中から、使用者の視線方向に位置する対象物である出演者Ａの台詞を選択して表示する。ここで表示される台詞を、音声対応文字列３０１として図示する。
情報表示制御部１７８は、演劇プログラムの進行に合わせて、表示データを取得または選択して、表示する。 In this example, the display data acquired by the head-mounted display device 100 in step S11 (FIG. 4) is text data related to the theater program performed at the theater TH, and the dialogue and the theater that the performer A speaks. Contains descriptive text about the program. In step S11, the control unit 140 acquires text data for all or part of the play program. The information display control unit 178 selects and displays the line of the performer A, which is an object located in the user's line-of-sight direction, from the acquired text data. The dialogue displayed here is illustrated as a speech-corresponding character string 301.
The information display control unit 178 acquires or selects display data and displays it in accordance with the progress of the play program.

図６（Ｃ）には、情報提供装置４が送信する情報を表示した例を示す。図６（Ｃ）の例では、頭部装着型表示装置１００は、音声対応文字列３０１を表示した状態で、情報提供装置４が送信する情報に基づいて呼出文字列３２１を表示する。呼出文字列３２１は、頭部装着型表示装置１００を装着する使用者に対し、受付に来るように要請する文字列である。呼出文字列３２１は、頭部装着型表示装置１００を装着する使用者本人にしか見えない。このため、劇場ＴＨにいる他の人に気づかれることがなく、呼出文字列３２１は劇場ＴＨで上映中の演劇の妨げにもならない。
このように、情報提供装置４が頭部装着型表示装置１００を識別して選択し、選択した頭部装着型表示装置１００に情報を送信することにより、選択された頭部装着型表示装置１００を装着する使用者に情報を伝えることができる。 FIG. 6C shows an example in which information transmitted by the information providing device 4 is displayed. In the example of FIG. 6C, the head-mounted display device 100 displays the calling character string 321 based on the information transmitted by the information providing device 4 in a state where the voice-corresponding character string 301 is displayed. The calling character string 321 is a character string that requests the user wearing the head-mounted display device 100 to come to the reception. The calling character string 321 is visible only to the user who wears the head-mounted display device 100. For this reason, it is not noticed by other people in the theater TH, and the calling character string 321 does not disturb the theater being shown in the theater TH.
As described above, the information providing device 4 identifies and selects the head-mounted display device 100, and transmits information to the selected head-mounted display device 100, whereby the selected head-mounted display device 100 is selected. Information can be conveyed to the user wearing the.

また、図６（Ｃ）に示すように、頭部装着型表示装置１００は、音声対応文字列３０１よりも呼出文字列３２１を強調して表示する。図６（Ｃ）の例では文字サイズを大きくすることで強調しているが、文字の表示色を音声対応文字列３０１とは異なる色にする、太字、斜体字、下線等の文字装飾を付与する等の方法により強調してもよい。また、呼出文字列３２１に背景色を付して強調してもよい。また、呼出文字列３２１及び呼出文字列３２１の背景の透明度を低くすることで、呼出文字列３２１に重なる範囲で外景の視認性を低くすることで、強調してもよい。これにより、頭部装着型表示装置１００を装着する使用者が呼出文字列３２１に速やかに気づくので、より速やかに情報を伝えることができる。   As shown in FIG. 6C, the head-mounted display device 100 displays the call character string 321 with emphasis over the voice-corresponding character string 301. In the example of FIG. 6C, emphasis is made by increasing the character size, but character decorations such as bold, italic, underline, etc., that make the display color of the character different from the voice-corresponding character string 301 are added. You may emphasize by the method of doing. Further, the calling character string 321 may be emphasized by adding a background color. Further, the call character string 321 and the background of the call character string 321 may be emphasized by reducing the transparency of the background in a range overlapping the call character string 321 by lowering the transparency of the background. Thereby, the user wearing the head-mounted display device 100 notices the calling character string 321 promptly, so that information can be transmitted more quickly.

図６（Ｄ）は情報提供装置４から頭部装着型表示装置１００に画像を含む情報を送信する場合の表示例を示す。図６（Ｄ）では頭部装着型表示装置１００により、誘導画像３２５が表示される。
図６（Ｄ）に示すように、頭部装着型表示装置１００は、情報提供装置４から受信した情報に基づく表示を行う場合に、それまで表示していた音声対応文字列３０１の表示を停止してもよい。
誘導画像３２５は、使用者に対して受付に来るよう案内する呼出文字列３２６と、この呼出文字列３２６で指定した受付の場所を示す画像とを含む。この画像は劇場ＴＨの平面図であって、劇場ＴＨにおける座席ＳＨの配置、及び、受付の場所を示す記号を含む。この誘導画像３２５により、使用者に対し、メッセージとともに詳細な情報を伝えることができる。
誘導画像３２５は、使用者を受付に呼び出す場合には、使用者の現在位置や使用者の属性にかかわらず使用可能な情報である。呼出文字列３２１、３２６も同様である。従って、誘導画像３２５及び呼出文字列３２１、３２６は、情報提供装置４において、予め記憶部４２０に記憶しておき、送信情報生成部４１３は、記憶部４２０が記憶する誘導画像３２５及び呼出文字列３２１、３２６を、そのまま送信用情報４２３にすればよい。 FIG. 6D shows a display example when information including an image is transmitted from the information providing device 4 to the head-mounted display device 100. In FIG. 6D, the guidance image 325 is displayed by the head-mounted display device 100.
As shown in FIG. 6D, when the head-mounted display device 100 performs display based on the information received from the information providing device 4, the display of the speech-corresponding character string 301 displayed so far is stopped. May be.
The guide image 325 includes a calling character string 326 that guides the user to come to the reception, and an image showing the reception location designated by the calling character string 326. This image is a plan view of the theater TH, and includes symbols indicating the arrangement of the seats SH and the place of reception in the theater TH. The guidance image 325 can convey detailed information to the user along with the message.
The guidance image 325 is information that can be used regardless of the current position of the user and the user's attributes when the user is called for reception. The same applies to the calling character strings 321 and 326. Therefore, the guide image 325 and the call character strings 321 and 326 are stored in the storage unit 420 in advance in the information providing apparatus 4, and the transmission information generation unit 413 stores the guide image 325 and the call character string stored in the storage unit 420. 321 and 326 may be used as transmission information 423 as they are.

図６（Ｅ）は、情報提供装置４から頭部装着型表示装置１００に画像を含む情報を送信する場合の別の表示例を示し、誘導画像３２７が表示される。
誘導画像３２７は、使用者に対して受付に来るよう案内する呼出文字列３２６と、この呼出文字列３２６で指定した受付の場所を示す画像と、頭部装着型表示装置１００の位置から受付までの経路を案内する誘導情報３２８とを含む。誘導情報３２８は、識別部４１１により特定された頭部装着型表示装置１００の位置に基づいて、送信情報生成部４１３が生成する情報である。この誘導情報３２８を含む誘導画像３２７により、使用者に対し、使用者の位置に適応する情報を伝えることができる。 FIG. 6E shows another display example when information including an image is transmitted from the information providing device 4 to the head-mounted display device 100, and a guide image 327 is displayed.
The guidance image 327 includes a call character string 326 that guides the user to come to the reception, an image showing the reception location specified by the call character string 326, and the position from the position of the head-mounted display device 100 to the reception. Guidance information 328 for guiding the route of The guidance information 328 is information generated by the transmission information generation unit 413 based on the position of the head-mounted display device 100 specified by the identification unit 411. By using the guide image 327 including the guide information 328, information adapted to the position of the user can be transmitted to the user.

ところで、外景の明るさが暗い場合、例えば照明を暗くした劇場ＴＨ内、映画館の室内等では、情報表示制御部１７８が表示する誘導画像３２５の表示輝度が外景に対して相対的に高くなる。この場合、誘導画像３２５が良好に視認される一方、外景が視認しにくくなる可能性がある。
そこで、情報表示制御部１７８は、誘導画像を、外景に重ねて視認されることを前提として、外景の状態に合わせて誘導画像を含む情報の表示形態を調整してもよい。例えば、画像表示部２０越しに見える外景の明るさが所定以下の場合に、外景に重なるように表示する情報の視認性を低下させてもよい。例えば、情報の表示輝度を低下させると、情報を透過して外景を見やすくなり、情報よりも外景が見やすくなる。また、画像を表示する場合に輪郭のみ表示することで、外景を視認しやすくすることができる。 By the way, when the brightness of the outside scene is dark, the display brightness of the guide image 325 displayed by the information display control unit 178 is relatively high with respect to the outside scene, for example, in the theater TH where the illumination is darkened, or in a movie theater. . In this case, the guidance image 325 can be visually recognized well, but the outside scene may be difficult to visually recognize.
Therefore, the information display control unit 178 may adjust the display form of the information including the guidance image according to the state of the outside scene on the assumption that the guidance image is visually recognized while being superimposed on the outside scene. For example, when the brightness of the outside scene seen through the image display unit 20 is not more than a predetermined value, the visibility of the information displayed so as to overlap the outside scene may be reduced. For example, when the display brightness of information is lowered, it becomes easier to see the outside scene through the information, and the outside scene becomes easier to see than the information. In addition, when only an outline is displayed when displaying an image, it is possible to make it easy to visually recognize the outside scene.

また、例えば、誘導画像として矢印や直線を用い、使用者が通る通路が外景として見える場合に、この外景の通路に重なるように矢印や直線を表示してもよい。この場合、通路に矢印や直線が付加されたＡＲ（Augmented Reality：拡張現実）により、通路が目立って見えるため、認識しやすくなる。ここで、矢印や直線等の情報の表示の輝度を、外景に合わせて調整してもよい。また、外景をカメラ６１で撮像した撮像画像の全部または一部を情報表示制御部１７８により表示してもよい。この場合、情報表示制御部１７８は、撮像画像の表示位置を、使用者が画像表示部２０越しに見る外景に合わせて調整できることが好ましい。これにより、外景が暗く、見えづらい状態で、外景と同じ撮像画像を見やすく（視認性の高い状態で）表示することで、使用者の視覚を補助することができる。ここで、情報表示制御部１７８は、画像表示部２０で表示する撮像画像に情報を重畳した合成画像を表示してもよい。また、カメラ６１が、上記のようにＩＲカメラ、暗視カメラ、または、サーモグラフィーカメラである場合には、使用者が裸眼で見えない、或いは見えにくい状態の外景を視認しやすく表示できるため、使用者の視覚をより効果的に補助できる。   In addition, for example, when an arrow or a straight line is used as the guidance image and a passage through which the user passes is seen as an outside scene, the arrow or the straight line may be displayed so as to overlap the passage of the outside scene. In this case, since the passage looks conspicuous by AR (Augmented Reality) in which an arrow or a straight line is added to the passage, it is easy to recognize. Here, the display brightness of information such as arrows and straight lines may be adjusted according to the outside scene. Further, the information display control unit 178 may display all or a part of the captured image obtained by capturing the outside scene with the camera 61. In this case, it is preferable that the information display control unit 178 can adjust the display position of the captured image according to the outside scene that the user sees through the image display unit 20. As a result, it is possible to assist the user's vision by displaying the same captured image as the outside scene in an easy-to-view (high visibility state) state where the outside scene is dark and difficult to see. Here, the information display control unit 178 may display a composite image in which information is superimposed on the captured image displayed on the image display unit 20. In addition, when the camera 61 is an IR camera, a night vision camera, or a thermography camera as described above, the user can easily view the outside scene that is not visible or difficult to see with the naked eye. Can help people's vision more effectively.

図６に示した例のほか、情報提供システム１の具体的な適用について例示する。
（１）情報提供システム１により屋外における案内を行うことが可能である。具体的には、屋外における頭部装着型表示装置１００の位置に対応して、案内の音声や画像を頭部装着型表示装置１００が出力する。限られた範囲の市街地または地域において、名所、旧跡、寺社、店舗等を対象として観光案内の音声や画像を出力する例が挙げられる。この場合、図６（Ｃ）〜（Ｅ）のように案内用のテキストや画像を出力するだけでなく、案内を行う人物の画像を、例えばアバターの画像として画像表示部２０に表示し、この人物が言葉を発する様子を模した画像を、頭部装着型表示装置１００の位置に対応して出力する形態が考えられる。この画像の表示とともに、音声処理部１７０により音声を出力してもよい。この例では、アバターを利用したＡＲによる案内を行うことができる。
（２）空港や駅等の公共交通機関の拠点において、頭部装着型表示装置１００を装着する使用者が乗客となる場合に、交通機関への乗車または搭乗の案内を行う例が挙げられる。より具体的には、空港において飛行機への搭乗案内、航空会社カウンターにおけるチェックイン、空港の出国審査、手荷物検査、飛行機への搭乗までの一連の行動について、使用者の位置に応じて誘導および案内をする例が挙げられる。例えば、飛行機のファーストクラスに搭乗する顧客に頭部装着型表示装置１００を貸し出して、誘導及び案内のサービスを行うビジネスに適用できる。
（３）野球場やオリンピックのスタジアムなど、スポーツ施設における入り口、座席、トイレ、売店、その他必要な場所までの誘導及び案内を行う例にも適用できる。
（４）百貨店などの大規模店舗、複数の店舗や施設を有するモールにおいて、店舗、施設、トイレ、その他の必要な場所への誘導及び案内を行う例にも適用できる。
（５）上記のように特定の運営主体が管理する施設や限られ地域に限定されず、屋外、屋内と問わず案内を行うことも可能である。例えば、カメラ６１の撮像画像、マイク６３が集音する音声、９軸センサー６６が検出する頭部装着型表示装置１００の動き等に基づき、使用者に危険を及ぼす可能性がある場合に、警告の情報を含む画像や音声を出力する。例えば、頭部装着型表示装置１００が、使用者が通行する方向における障害物、段差の存在、人や物の接近等を検知し、警告の情報を出力する。接近する人や物については、接近速度や、画像の特徴から、危険度を判定して情報を出力してもよい。また、カメラ６１が赤外光を受光するカメラ、暗視カメラ、広角カメラ等、人間の視覚では認知が困難な物や人を検知可能なものであれば、より有用である。
上記の各例において、頭部装着型表示装置１００の位置を求める方法としては、例えば、ＧＰＳ１１５で現在位置を検出する方法、既知の場所に設置される無線アクセスポイントと通信部１１７との無線通信により頭部装着型表示装置１００の位置を算出する方法、赤外光等の光を利用する光ビーコンや電波ビーコンを頭部装着型表示装置１００が受信して位置を算出する方法等を利用できる。また、頭部装着型表示装置１００に情報を提供する情報提供装置４は、頭部装着型表示装置１００と直接無線通信を実行可能な位置に設置されてもよいし、頭部装着型表示装置１００から離れた遠隔地に設置され、無線通信回線や有線通信回線を経由して、頭部装着型表示装置１００に接続されてもよい。さらに、情報提供システム１を、複数の情報提供装置４と、複数の頭部装着型表示装置１００とを含む構成とすることも勿論可能である。 In addition to the example shown in FIG. 6, a specific application of the information providing system 1 will be illustrated.
(1) The information providing system 1 can provide outdoor guidance. Specifically, the head-mounted display device 100 outputs guidance voices and images corresponding to the position of the head-mounted display device 100 outdoors. An example of outputting tourist guide voices and images for famous places, historic sites, temples and shrines, stores, etc. in a limited area of a city or region is given. In this case, not only outputting guidance text and images as shown in FIGS. 6C to 6E, but also displaying the image of the person performing guidance on the image display unit 20 as an avatar image, for example. A mode is conceivable in which an image simulating a person speaking a word is output corresponding to the position of the head-mounted display device 100. Along with the display of this image, the sound processing unit 170 may output sound. In this example, guidance by AR using an avatar can be performed.
(2) In a public transportation facility such as an airport or a station, when a user who wears the head-mounted display device 100 becomes a passenger, an example of getting on or boarding the transportation facility is given. More specifically, guidance and guidance according to the location of the user regarding the series of actions from airplane guidance at the airport, check-in at the airline counter, departure from the airport, baggage inspection, boarding the airplane. An example is given. For example, the present invention can be applied to a business that lends the head-mounted display device 100 to a customer who is on a first class of an airplane and provides guidance and guidance services.
(3) The present invention can also be applied to an example in which guidance and guidance to entrances, seats, toilets, shops, and other necessary places in sports facilities such as baseball fields and Olympic stadiums are performed.
(4) In a large-scale store such as a department store or a mall having a plurality of stores and facilities, the present invention can be applied to an example in which guidance and guidance to stores, facilities, toilets, and other necessary places are performed.
(5) As described above, it is possible to provide guidance regardless of whether it is outdoors or indoors, without being limited to facilities and limited areas managed by a specific operating entity. For example, if there is a possibility of danger to the user based on the captured image of the camera 61, the sound collected by the microphone 63, the movement of the head-mounted display device 100 detected by the 9-axis sensor 66, etc. Outputs images and sounds that contain the information. For example, the head-mounted display device 100 detects an obstacle, the presence of a step, the approach of a person or an object in the direction in which the user passes, and outputs warning information. For approaching people and objects, the degree of danger may be determined from the approach speed and the characteristics of the image, and information may be output. In addition, it is more useful if the camera 61 can detect an object or a person that is difficult to recognize by human vision, such as a camera that receives infrared light, a night vision camera, or a wide-angle camera.
In each of the above examples, as a method of obtaining the position of the head-mounted display device 100, for example, a method of detecting the current position with the GPS 115, a wireless communication between the wireless access point installed at a known location and the communication unit 117 The method of calculating the position of the head-mounted display device 100 by the above, the method of calculating the position by receiving the light beacon using the light such as infrared light or the radio wave beacon by the head-mounted display device 100 can be used. . Further, the information providing device 4 that provides information to the head-mounted display device 100 may be installed at a position where direct wireless communication with the head-mounted display device 100 can be performed, or the head-mounted display device. It may be installed in a remote place away from 100 and connected to the head-mounted display device 100 via a wireless communication line or a wired communication line. Furthermore, the information providing system 1 can of course be configured to include a plurality of information providing devices 4 and a plurality of head-mounted display devices 100.

以上説明したように、本発明を適用した実施形態に係る情報提供システム１は、使用者の身体に装着して使用される頭部装着型表示装置１００と、頭部装着型表示装置１００と通信可能に接続される情報提供装置４と、を備える。情報提供装置４は、頭部装着型表示装置１００と通信する通信部４０１と、頭部装着型表示装置１００を識別する識別部４１１と、情報の送信先の頭部装着型表示装置１００を識別し、通信部４０１により情報を送信する通信制御部４１２とを備える。頭部装着型表示装置１００は、情報提供装置４と通信する通信部１１７と、情報提供装置４から情報を受信して画像表示部２０に表示する情報表示制御部１７８と、を備える。このため、頭部装着型表示装置１００を識別して情報を送信することができ、頭部装着型表示装置１００を使用する使用者に、個別に情報を提供できる。   As described above, the information providing system 1 according to the embodiment to which the present invention is applied is a head-mounted display device 100 that is used while being worn on a user's body, and communicates with the head-mounted display device 100. And an information providing device 4 that can be connected. The information providing device 4 identifies a communication unit 401 that communicates with the head-mounted display device 100, an identification unit 411 that identifies the head-mounted display device 100, and a head-mounted display device 100 that is an information transmission destination. And a communication control unit 412 that transmits information by the communication unit 401. The head-mounted display device 100 includes a communication unit 117 that communicates with the information providing device 4 and an information display control unit 178 that receives information from the information providing device 4 and displays the information on the image display unit 20. Therefore, the head-mounted display device 100 can be identified and transmitted, and information can be individually provided to the user who uses the head-mounted display device 100.

また、頭部装着型表示装置１００は、使用者に画像を視認させるとともに外景を透過する画像表示部２０を備える。頭部装着型表示装置１００は、使用者の視線方向の対象物を検出する対象検出部１７１を備え、情報表示制御部１７８は、対象検出部１７１で検出した対象物に関連する関連情報を画像表示部２０に表示する。さらに、情報表示制御部１７８は、通信部１１７により情報提供装置４から受信する情報を画像表示部２０に表示させる。このため、使用者の視線方向に位置する対象物に関連する関連情報、及び、情報提供装置４が頭部装着型表示装置１００に送信する情報を、外景とともに見えるように表示できる。このため、外景を透過する画像表示部２０の特性を生かして、使用者に情報を見せることができる。   The head-mounted display device 100 includes an image display unit 20 that allows a user to visually recognize an image and transmits an outside scene. The head-mounted display device 100 includes a target detection unit 171 that detects a target in the direction of the user's line of sight, and the information display control unit 178 displays related information related to the target detected by the target detection unit 171 as an image. It is displayed on the display unit 20. Further, the information display control unit 178 causes the image display unit 20 to display information received from the information providing apparatus 4 through the communication unit 117. For this reason, the related information related to the object located in the user's line-of-sight direction and the information transmitted by the information providing device 4 to the head-mounted display device 100 can be displayed so as to be seen together with the outside scene. For this reason, information can be shown to the user by making use of the characteristics of the image display unit 20 that transmits the outside scene.

ここで、情報表示制御部１７８は、右光学像表示部２６及び左光学像表示部２８により、関連情報を含む視差（輻輳角）を有する画像を表示させて、使用者に立体（３Ｄ）画像を視認させるようにしてもよい。この場合、関連情報を立体画像として表示するか平面画像として表示するかを、表示態様の１つとして情報表示制御部１７８が設定、変更してもよい。
情報表示制御部１７８は、距離検出部１７３で対象物までの距離を検出する場合に、検出された距離に応じた態様で情報を表示できる。例えば、立体画像を視認させる場合、情報表示制御部１７８は、距離検出部１７３が求めた距離に対応して、使用者に見せる画像の視差を決定する。一例としては、情報表示制御部１７８は、対象物までの距離が近いほど視差が小さく、距離が遠いほど視差が大きくなるように、データ取得部ＤＡにより取得したデータから表示用の立体画像データを生成する。また、情報表示制御部１７８は、対象物の種類に対応して立体画像データを生成してもよい。例えば、対象検出部１７１が検出する対象物が、特定の人間または人間を模したキャラクターの顔であるか、一般的な人間の顔または人間の顔に類似するものであるか、顔である場合は顔の向きは正面か、等に対応して、視差を変更してもよい。この場合、対象物が、使用者の正面から使用者を見る向きの顔である場合に、視差を小さくして、この顔に重なる画像が使用者の近くに見えるようにしてもよい。さらに、画像表示制御部１７６は、カメラ６１の撮像画像における対象物の画像のサイズに対応して、視差を大きくしたり、小さくしたりしてもよい。また、この場合、対象検出部１７１が使用する特徴量のデータに、対象物の属性を示すデータを含ませれば、対象検出部１７１が、対象物を検出するとともに対象物の属性を判定できる。 Here, the information display control unit 178 causes the right optical image display unit 26 and the left optical image display unit 28 to display an image having parallax (angle of convergence) including related information, and allows the user to display a stereoscopic (3D) image. You may make it visually recognize. In this case, the information display control unit 178 may set or change whether the related information is displayed as a stereoscopic image or a planar image as one display mode.
When the distance detection unit 173 detects the distance to the object, the information display control unit 178 can display information in a manner corresponding to the detected distance. For example, when viewing a stereoscopic image, the information display control unit 178 determines the parallax of the image shown to the user in accordance with the distance obtained by the distance detection unit 173. As an example, the information display control unit 178 displays the stereoscopic image data for display from the data acquired by the data acquisition unit DA so that the parallax is smaller as the distance to the object is shorter and the parallax is larger as the distance is longer. Generate. The information display control unit 178 may generate stereoscopic image data corresponding to the type of the object. For example, when the target detected by the target detection unit 171 is a specific human or a human face imitating a character, or is similar to a general human face or a human face, or is a face The parallax may be changed according to whether the face is in front or the like. In this case, when the object is a face that faces the user from the front of the user, the parallax may be reduced so that an image overlapping the face can be seen near the user. Furthermore, the image display control unit 176 may increase or decrease the parallax according to the size of the image of the object in the captured image of the camera 61. In this case, if the data indicating the attribute of the object is included in the feature amount data used by the object detection unit 171, the object detection unit 171 can detect the object and determine the attribute of the object.

さらに、対象検出部１７１は、カメラ６１の撮像画像から対象物の画像を検出することで対象物を検出するものに限定されない。例えば、対象検出部１７１は、使用者の視線方向に超音波や光を照射し、その反射に基づき、対象物を検出してもよい。
或いは、対象検出部１７１は、カメラ６１として上記のＩＲカメラを使用してもよく、この場合に、赤外線撮像画像から対象物の画像を検出するための画像の特徴量のデータを、記憶部１２０に記憶してもよい。 Furthermore, the object detection unit 171 is not limited to the one that detects the object by detecting the image of the object from the captured image of the camera 61. For example, the target detection unit 171 may irradiate ultrasonic waves or light in the direction of the user's line of sight and detect the target object based on the reflection.
Alternatively, the target detection unit 171 may use the above IR camera as the camera 61. In this case, the storage unit 120 stores image feature amount data for detecting an image of the target from the infrared captured image. May be stored.

さらにまた、対象検出部１７１、距離検出部１７３が処理する撮像画像データに代えて、頭部装着型表示装置１００に外部接続されるカメラが撮像し入力する撮像画像データを利用してもよい。外部接続されるカメラは、例えば、インターフェイス１８０にＵＳＢ等で接続されるカメラであってもよいし、通信部１１７と通信可能な無線通信機能を備え、撮像画像データを無線送信するカメラであってもよい。   Furthermore, instead of the captured image data processed by the target detection unit 171 and the distance detection unit 173, captured image data captured and input by a camera externally connected to the head-mounted display device 100 may be used. The externally connected camera may be, for example, a camera connected to the interface 180 via USB or the like, or a camera that has a wireless communication function capable of communicating with the communication unit 117 and wirelessly transmits captured image data. Also good.

また、情報表示制御部１７８は、通信部１１７で情報提供装置４から受信する情報を、関連情報とともに、関連情報よりも強調される態様で画像表示部２０に表示してもよい。この場合、使用者の視線方向に位置する対象物に関連する関連情報と、情報提供装置４が頭部装着型表示装置１００に送信する情報とを合わせて表示できる。また、情報提供装置４が頭部装着型表示装置１００に送信する情報を、関連情報よりも強調して表示し、使用者に強く注目させることができる。
例えば、通信制御部４１２は、使用者を誘導する画像を含む誘導情報を、通信部４０１により頭部装着型表示装置１００に送信してもよい。この場合、情報表示制御部１７８は、通信部１１７で受信する誘導情報に基づき、使用者を誘導する誘導画像３２５、３２７を画像表示部２０で表示するので、使用者をスムーズに誘導できる。 Further, the information display control unit 178 may display the information received from the information providing device 4 by the communication unit 117 on the image display unit 20 in a manner that is emphasized over the related information together with the related information. In this case, the related information related to the object located in the user's line of sight and the information transmitted from the information providing device 4 to the head-mounted display device 100 can be displayed together. In addition, the information transmitted from the information providing device 4 to the head-mounted display device 100 can be displayed with emphasis over the related information, and the user can be strongly noticed.
For example, the communication control unit 412 may transmit guidance information including an image for guiding the user to the head-mounted display device 100 through the communication unit 401. In this case, the information display control unit 178 displays the guidance images 325 and 327 for guiding the user on the image display unit 20 based on the guidance information received by the communication unit 117, so that the user can be guided smoothly.

また、識別部４１１は、頭部装着型表示装置１００を識別して各々の頭部装着型表示装置１００の位置を特定する。通信制御部４１２は、識別部４１１により特定した頭部装着型表示装置１００の位置に対応する誘導情報を通信部４０１で送信してもよい。この場合、頭部装着型表示装置１００の位置に対応する誘導情報を送信し、頭部装着型表示装置１００は、例えば誘導画像３２７を表示する。この場合、頭部装着型表示装置１００を使用する使用者に対し、使用者の位置に対応した情報を提供して、より適切に誘導できる。   The identifying unit 411 identifies the head-mounted display device 100 and specifies the position of each head-mounted display device 100. The communication control unit 412 may transmit guidance information corresponding to the position of the head-mounted display device 100 specified by the identification unit 411 using the communication unit 401. In this case, guidance information corresponding to the position of the head-mounted display device 100 is transmitted, and the head-mounted display device 100 displays a guidance image 327, for example. In this case, information corresponding to the position of the user can be provided to the user who uses the head-mounted display device 100 to guide the user more appropriately.

また、通信制御部４１２は、複数の頭部装着型表示装置１００に対して共通の情報を送信してもよい。さらに、特定の頭部装着型表示装置１００を識別部４１１で識別して共通の情報とは異なる情報を送信してもよい。これにより、複数の頭部装着型表示装置１００に共通の情報を送信して表示させ、そのうち特定の頭部装着型表示装置１００に対しては共通でない情報を送信できる。例えば、通信制御部４１２は、複数の頭部装着型表示装置１００に対し、図６（Ｄ）に示す誘導画像３２５に関する情報を送信し、そのうち一部の頭部装着型表示装置１００に対しては、図６（Ｅ）に示す誘導情報３２８に関する情報を付加して送信する。この場合、一部の頭部装着型表示装置１００は、誘導画像３２５を表示し、一部の頭部装着型表示装置１００は誘導情報３２８を含む誘導画像３２７を表示する。このように、複数の頭部装着型表示装置１００に対して、様々な形態で情報を送信し、表示させることができる。   The communication control unit 412 may transmit common information to the plurality of head-mounted display devices 100. Further, a specific head-mounted display device 100 may be identified by the identification unit 411 and information different from the common information may be transmitted. Thereby, common information can be transmitted and displayed on the plurality of head-mounted display devices 100, and information that is not common to a specific head-mounted display device 100 can be transmitted. For example, the communication control unit 412 transmits information on the guidance image 325 illustrated in FIG. 6D to the plurality of head-mounted display devices 100, and among them, some of the head-mounted display devices 100. Transmits the information related to the guidance information 328 shown in FIG. In this case, some head-mounted display devices 100 display a guidance image 325, and some head-mounted display devices 100 display a guidance image 327 including guidance information 328. In this way, information can be transmitted and displayed in various forms to the plurality of head-mounted display devices 100.

なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
上記実施形態においては、頭部装着型表示装置１００がデータ取得部ＤＡにより取得した表示データに基づく表示を行っている間に、情報提供装置４から受信した情報に基づく表示を行う例を示したが、本発明はこれに限定されない。頭部装着型表示装置１００が動作中であって情報提供装置４から情報を受信可能であれば、いつでも図５に示す動作を実行して、情報提供装置４が送信する情報に基づき頭部装着型表示装置１００が表示を実行できる。また、頭部装着型表示装置１００は、対象検出部１７１が検出する対象物に関連する表示データ（関連情報）に限らず、データ取得部ＤＡにより取得した表示データを全て表示することも可能である。この表示データの表示中に、情報提供装置４から受信した情報に基づく表示を行うことも勿論可能である。 In addition, this invention is not restricted to the structure of the said embodiment, In the range which does not deviate from the summary, it can be implemented in a various aspect.
In the said embodiment, the example which performs the display based on the information received from the information provision apparatus 4 was shown, while the head mounted display apparatus 100 is performing the display based on the display data acquired by the data acquisition part DA. However, the present invention is not limited to this. If the head-mounted display device 100 is operating and information can be received from the information providing device 4, the operation shown in FIG. The mold display device 100 can perform display. Further, the head-mounted display device 100 is not limited to display data (related information) related to the object detected by the object detection unit 171 and can also display all display data acquired by the data acquisition unit DA. is there. Of course, it is possible to perform display based on the information received from the information providing apparatus 4 during the display of the display data.

また、画像表示部として、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されるヘッドマウントディスプレイとして構成されてもよいし、自動車のフロントガラスに用いられるヘッドアップディスプレイ（Head-up Display；ＨＵＤ）であってもよい。   Further, as the image display unit, instead of the image display unit 20, another type of image display unit such as an image display unit worn like a hat may be adopted, corresponding to the left eye of the user. What is necessary is just to provide the display part which displays an image, and the display part which displays an image corresponding to a user's right eye. The display device of the present invention may be configured as a head mounted display mounted on a vehicle such as an automobile or an airplane. Further, for example, it may be configured as a head-mounted display incorporated in a body protective device such as a helmet, or may be a head-up display (HUD) used for a windshield of an automobile.

さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続部４０を介して接続される構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０と画像表示部２０とが、より長いケーブルまたは無線通信回線により接続され、制御装置１０として、ノート型コンピューター、タブレット型コンピューターまたはデスクトップ型コンピューター、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。 Furthermore, although the image display unit 20 and the control device 10 are separated and described as an example in the above embodiment and connected via the connection unit 40, the control device 10 and the image display unit 20 are integrated. It is also possible to be configured to be mounted on the user's head.
In addition, the control device 10 and the image display unit 20 are connected by a longer cable or a wireless communication line. As the control device 10, a notebook computer, a tablet computer or a desktop computer, a game machine, a portable phone, a smartphone, A portable electronic device including a portable media player, other dedicated devices, or the like may be used.

また、例えば、画像表示部２０において画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよいし、ＬＣＯＳ（Liquid crystal on silicon, LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、画像生成部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。レーザー網膜投影型のヘッドマウントディスプレイを採用する場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。   Further, for example, as a configuration for generating image light in the image display unit 20, a configuration including an organic EL (Organic Electro-Luminescence) display and an organic EL control unit may be used, or an LCOS (Liquid crystal) may be provided. On silicon and LCoS are registered trademarks), and digital micromirror devices can also be used. Further, for example, the present invention can be applied to a laser retinal projection type head mounted display. That is, the image generation unit includes a laser light source and an optical system that guides the laser light source to the user's eye, makes the laser light enter the user's eye, scans the retina, and forms an image on the retina. A configuration that allows the user to visually recognize an image may be employed. When a laser retina projection type head-mounted display is employed, the “image light emitting area in the image light generation unit” can be defined as an image area recognized by the user's eyes.

画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。   As an optical system that guides image light to the user's eyes, an optical member that transmits external light that is incident from the outside toward the apparatus and that enters the user's eyes together with the image light can be employed. Moreover, you may use the optical member which is located ahead of a user's eyes and overlaps a part or all of a user's visual field. Further, a scanning optical system that scans a laser beam or the like to obtain image light may be employed. Further, the optical member is not limited to guiding the image light inside the optical member, and may have only a function of guiding the image light by refracting and / or reflecting it toward the user's eyes.

また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。   Further, the present invention can be applied to a display device that employs a scanning optical system using a MEMS mirror and uses MEMS display technology. That is, as an image display element, a signal light forming unit, a scanning optical system having a MEMS mirror that scans light emitted from the signal light forming unit, and an optical member on which a virtual image is formed by light scanned by the scanning optical system May be provided. In this configuration, the light emitted from the signal light forming unit is reflected by the MEMS mirror, enters the optical member, is guided through the optical member, and reaches the virtual image forming surface. When the MEMS mirror scans the light, a virtual image is formed on the virtual image forming surface, and the user recognizes the virtual image with the eyes, thereby recognizing the image. The optical component in this case may be one that guides light through a plurality of reflections, such as the right light guide plate 261 and the left light guide plate 262 of the above embodiment, and may use a half mirror surface. .

また、本発明の表示装置は頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。本発明の表示装置は、外光とともに画像光により画像を視認させるものであればよく、例えば、外光を透過させる光学部材により画像光による画像を視認させる構成が挙げられる。具体的には、上記のヘッドマウントディスプレイにおいて外光を透過する光学部材を備えた構成の他、使用者から離れた位置に固定的にまたは可動に設置される透光性の平面や曲面（ガラスや透明なプラスチック等）に、画像光を投射する表示装置にも適用可能である。一例としては、車両の窓ガラスに画像光を投射し、乗車中の使用者や車両の外にいる使用者に、画像光による画像とともに、車両内外の景色を視認させる表示装置の構成が挙げられる。また、例えば、建物の窓ガラスなど固定的に設置される透明また半透明、或いは有色透明な表示面に画像光を投射し、表示面の周囲にいる使用者に、画像光による画像とともに、表示面を透かして景色を視認させる表示装置の構成が挙げられる。   The display device of the present invention is not limited to a head-mounted display device, and can be applied to various display devices such as a flat panel display and a projector. The display device of the present invention may be any device that allows an image to be visually recognized by external light and image light. For example, a configuration in which an image by image light is visually recognized by an optical member that transmits external light is exemplified. Specifically, the above-described head-mounted display includes an optical member that transmits external light, and a light-transmitting flat surface or curved surface (glass) that is fixedly or movably installed at a position away from the user. It is also applicable to a display device that projects image light onto a transparent plastic or the like. As an example, there is a configuration of a display device that projects image light onto a window glass of a vehicle so that a user on board or a user outside the vehicle can visually recognize the scenery inside and outside the vehicle together with the image by the image light. . In addition, for example, image light is projected onto a transparent, translucent, or colored transparent display surface that is fixedly installed such as a window glass of a building, and is displayed along with the image by the image light to a user around the display surface. A configuration of a display device that visually recognizes a scene through the surface can be given.

また、図３に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図３に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されるプログラムを通信部１１７またはインターフェイス１８０を介して取得して実行する構成としてもよい。また、制御装置１０に形成される構成の内、操作部１３５のみが単独の使用者インターフェース（ＵＩ）として形成されてもよいし、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよい。また、制御装置１０に形成される構成が重複して画像表示部２０に形成されていてもよい。例えば、図３に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成される制御部１４０と画像表示部２０に形成されるＣＰＵとが行なう機能が別々に分けられている構成としてもよい。   Further, at least a part of each functional block shown in FIG. 3 may be realized by hardware, or may be realized by cooperation of hardware and software, as shown in FIG. It is not limited to a configuration in which independent hardware resources are arranged. The program executed by the control unit 140 may be stored in the storage unit 120 or a storage device in the control device 10, or the program stored in an external device is acquired via the communication unit 117 or the interface 180. It is good also as a structure to execute. Further, in the configuration formed in the control device 10, only the operation unit 135 may be formed as a single user interface (UI), or the power source 130 in the above embodiment is formed independently and is replaceable. It may be a configuration. Further, the configuration formed in the control device 10 may be formed in the image display unit 20 in an overlapping manner. For example, the control unit 140 illustrated in FIG. 3 may be formed in both the control device 10 and the image display unit 20, or the control unit 140 formed in the control device 10 and the CPU formed in the image display unit 20. It is good also as a structure by which the function to perform is divided | segmented separately.

１…情報提供システム、４…情報提供装置、１０…制御装置、２０…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ（撮像部）、６３…マイク、１００…頭部装着型表示装置（表示装置）、１１７…通信部（第２の通信部）、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１７０…音声処理部、１７１…対象検出部、１７３…距離検出部、１７８…情報表示制御部、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、４０１…通信部（第１の通信部）、４０２…入力部、４０３…表示部、４１０…制御部、４１１…識別部、４１２…通信制御部、４１３…送信情報生成部、４２０…記憶部、４２１…ＨＭＤ識別情報、４２２…ＨＭＤ位置情報、４２３…送信用情報、ＤＡ…データ取得部。   DESCRIPTION OF SYMBOLS 1 ... Information provision system, 4 ... Information provision apparatus, 10 ... Control apparatus, 20 ... Image display part (display part), 21 ... Right holding part, 22 ... Right display drive part, 23 ... Left holding part, 24 ... Left display Drive unit, 26 ... right optical image display unit, 28 ... left optical image display unit, 61 ... camera (imaging unit), 63 ... microphone, 100 ... head-mounted display device (display device), 117 ... communication unit (first) 2 communication units), 120 ... storage unit, 140 ... control unit, 150 ... operating system, 160 ... image processing unit, 170 ... audio processing unit, 171 ... target detection unit, 173 ... distance detection unit, 178 ... information display control , 180 ... interface, 190 ... display control unit, 201 ... right backlight control unit, 202 ... left backlight control unit, 211 ... right LCD control unit, 212 ... left LCD control unit, 221 ... right backlight, 222 ... Backlight, 241 ... right LCD, 242 ... left LCD, 251 ... right projection optical system, 252 ... left projection optical system, 261 ... right light guide plate, 262 ... left light guide plate, 401 ... communication unit (first communication unit) , 402 ... input unit, 403 ... display unit, 410 ... control unit, 411 ... identification unit, 412 ... communication control unit, 413 ... transmission information generation unit, 420 ... storage unit, 421 ... HMD identification information, 422 ... HMD position information 423: Information for transmission, DA: Data acquisition unit.

Claims (12)

使用者の身体に装着して使用される表示装置と、前記表示装置と通信可能に接続される情報提供装置と、を備え、
前記情報提供装置は、
前記表示装置と通信する第１の通信部と、
前記表示装置を識別する識別部と、
前記識別部によって情報の送信先の前記表示装置を識別し、前記第１の通信部により情報を送信する通信制御部と、を備え、
前記表示装置は、
前記情報提供装置と通信する第２の通信部と、
前記第２の通信部により前記情報提供装置から情報を受信して表示部に表示する情報表示制御部と、を備えること、
を特徴とする情報提供システム。 A display device used by being worn on a user's body, and an information providing device connected to be able to communicate with the display device,
The information providing apparatus includes:
A first communication unit communicating with the display device;
An identification unit for identifying the display device;
A communication control unit that identifies the display device to which information is transmitted by the identification unit, and transmits information by the first communication unit;
The display device
A second communication unit that communicates with the information providing device;
An information display control unit that receives information from the information providing device by the second communication unit and displays the information on a display unit;
An information provision system characterized by 前記表示装置は、
使用者に画像を視認させるとともに外景を透過する前記表示部と、
前記使用者の視線方向の対象物を検出する対象検出部と、を備え、
前記情報表示制御部は、前記対象検出部で検出した前記対象物に関連する関連情報を前記表示部に表示し、
前記第２の通信部により前記情報提供装置から受信する情報を前記表示部に表示させること、
を特徴とする請求項１記載の情報提供システム。 The display device
The display unit that allows a user to visually recognize an image and transmits an outside scene;
An object detection unit for detecting an object in the user's line-of-sight direction,
The information display control unit displays related information related to the object detected by the object detection unit on the display unit,
Causing the display unit to display information received from the information providing apparatus by the second communication unit;
The information providing system according to claim 1. 前記情報表示制御部は、前記第２の通信部で前記情報提供装置から受信する情報を、前記関連情報とともに、前記関連情報よりも強調される態様で前記表示部に表示すること、を特徴とする請求項２記載の情報提供システム。   The information display control unit displays information received from the information providing apparatus by the second communication unit on the display unit together with the related information in a manner that is emphasized more than the related information. The information providing system according to claim 2. 前記情報表示制御部は、前記情報提供装置から受信する情報を、前記外景に重なる表示位置に表示すること、を特徴とする請求項２または３記載の情報提供システム。   4. The information providing system according to claim 2, wherein the information display control unit displays information received from the information providing device at a display position overlapping the outside scene. 前記情報提供装置の前記通信制御部は、前記使用者を誘導する画像を含む誘導情報を、前記第１の通信部により前記表示装置に送信し、
前記情報表示制御部は、前記第２の通信部で受信する前記誘導情報に基づき、前記使用者を誘導する画像を前記表示部で表示すること、を特徴とする請求項１から４のいずれかに記載の情報提供システム。 The communication control unit of the information providing device transmits guidance information including an image for guiding the user to the display device by the first communication unit,
The said information display control part displays the image which guide | induces the said user on the said display part based on the said guidance information received by a said 2nd communication part, The any one of Claim 1 to 4 characterized by the above-mentioned. Information providing system described in 1. 前記情報提供装置の前記識別部は、前記表示装置を識別して各々の前記表示装置の位置を特定し、
前記通信制御部は、前記識別部により特定した前記表示装置の位置に対応する前記誘導情報を前記第１の通信部で送信すること、を特徴とする請求項５記載の情報提供システム。 The identification unit of the information providing device identifies the display device and identifies the position of each display device;
The information providing system according to claim 5, wherein the communication control unit transmits the guidance information corresponding to the position of the display device specified by the identification unit using the first communication unit. 前記情報提供装置の前記通信制御部は、複数の前記表示装置に対して共通の情報を送信し、さらに、特定の前記表示装置を前記識別部で識別して前記共通の情報とは異なる情報を送信すること、を特徴とする請求項１から６のいずれかに記載の情報提供システム。   The communication control unit of the information providing device transmits common information to a plurality of the display devices, and further identifies information specific to the display device by the identification unit and differs from the common information. The information providing system according to claim 1, wherein the information providing system transmits the information. 前記表示装置は、
撮像部を備え、
前記対象検出部は、前記撮像部の撮像画像に基づいて、前記使用者が前記表示部を透過して視認する前記対象物を検出すること、
を特徴とする請求項２または３記載の情報提供システム。 The display device
With an imaging unit,
The target detection unit is configured to detect the target that the user sees through the display unit based on a captured image of the imaging unit;
The information providing system according to claim 2 or 3, characterized by the above. 前記撮像部は、ＩＲカメラ、暗視カメラ、または、サーモグラフィーカメラであること、を特徴とする請求項８記載の情報提供システム。   The information providing system according to claim 8, wherein the imaging unit is an IR camera, a night vision camera, or a thermography camera. 前記表示装置は、前記対象検出部により検出された前記対象物と前記使用者との距離を検出する距離検出部を備え、
前記情報表示制御部は、前記距離検出部が検出した距離に応じた態様で情報を表示すること、を特徴とする請求項１から９のいずれかに記載の情報提供システム。 The display device includes a distance detection unit that detects a distance between the object detected by the target detection unit and the user,
10. The information providing system according to claim 1, wherein the information display control unit displays information in a manner corresponding to the distance detected by the distance detection unit. 使用者の身体に装着して使用される表示装置であって、
前記使用者に画像を視認させるとともに外景を透過する表示部と、
外部の情報提供装置と通信する通信部と、
前記使用者の視線方向の対象物を検出する対象検出部と、
前記対象検出部で検出した前記対象物に関連する関連情報、及び、前記通信部により前記情報提供装置から受信する情報を、前記表示部に表示する情報表示制御部と、
を備えることを特徴とする表示装置。 A display device used by being worn on a user's body,
A display unit for allowing the user to visually recognize an image and transmitting an outside scene;
A communication unit that communicates with an external information providing device;
An object detection unit for detecting an object in the line-of-sight direction of the user;
Information related to the object detected by the object detection unit, and information received from the information providing device by the communication unit, an information display control unit for displaying on the display unit,
A display device comprising: 使用者に画像を視認させるとともに外景を透過する表示部を備え、使用者の身体に装着して使用される表示装置の制御方法であって、
外部の情報提供装置と通信して前記情報提供装置が送信する情報を受信し、
前記使用者の視線方向の対象物を検出し、
前記対象物に関連する関連情報、及び、前記情報提供装置から受信する情報を、前記表示部により表示すること、
を特徴とする表示装置の制御方法。 A method for controlling a display device that is used by being attached to a user's body, including a display unit that allows a user to visually recognize an image and transmit an outside scene.
Communicating with an external information providing device to receive information transmitted by the information providing device;
Detecting an object in the user's gaze direction,
Displaying related information related to the object and information received from the information providing device by the display unit;
A control method of a display device characterized by the above.
JP2014156698A 2014-07-31 2014-07-31 Information provision system, display device, and method of controlling display device Withdrawn JP2016033611A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014156698A JP2016033611A (en) 2014-07-31 2014-07-31 Information provision system, display device, and method of controlling display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014156698A JP2016033611A (en) 2014-07-31 2014-07-31 Information provision system, display device, and method of controlling display device

Publications (1)

Publication Number Publication Date
JP2016033611A true JP2016033611A (en) 2016-03-10

Family

ID=55452537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014156698A Withdrawn JP2016033611A (en) 2014-07-31 2014-07-31 Information provision system, display device, and method of controlling display device

Country Status (1)

Country Link
JP (1) JP2016033611A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072949A (en) * 2016-10-25 2018-05-10 富士通株式会社 Transmission control program, transmission control method and information processing apparatus
JP2019008199A (en) * 2017-06-27 2019-01-17 株式会社システム・サイエンス Image display system, and program
JP2019114050A (en) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 Processing device, display system, and program
WO2022172692A1 (en) * 2021-02-12 2022-08-18 ソニーグループ株式会社 Image processing device, image processing method, and image processing system
EP4088647A1 (en) * 2021-05-10 2022-11-16 J. Morita Manufacturing Corporation Imaging device, ocular movement data processing system, and control method
EP4088648A1 (en) * 2021-05-10 2022-11-16 J. Morita Manufacturing Corporation Imaging device, ocular movement data processing system, and control method

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235163A (en) * 1999-02-12 2000-08-29 Canon Inc Head-mounted type display device and warning display method thereof
JP2003271722A (en) * 2002-03-14 2003-09-26 Mitsubishi Heavy Ind Ltd Customer service support system
JP2004141417A (en) * 2002-10-24 2004-05-20 Toto Ltd Information display device for lavatory and information display system for lavatory
JP2004248116A (en) * 2003-02-17 2004-09-02 Fuji Photo Film Co Ltd Display controller
JP2009237801A (en) * 2008-03-26 2009-10-15 Nippon Tokei Jimu Center:Kk Communication system and communication method
JP2010067083A (en) * 2008-09-11 2010-03-25 Brother Ind Ltd Head mount display
JP2010205030A (en) * 2009-03-04 2010-09-16 Kddi Corp Method, system and program for specifying related information display position
JP2012034216A (en) * 2010-07-30 2012-02-16 Brother Ind Ltd Image providing system, image display device, and image display program
JP2012163853A (en) * 2011-02-08 2012-08-30 Ns Solutions Corp Display device, information service system, information service method, and program
JP2014106490A (en) * 2012-11-29 2014-06-09 Buffalo Inc Code image processing system, code image display apparatus, image display apparatus, and program
JP2014119786A (en) * 2012-12-13 2014-06-30 Seiko Epson Corp Head mounting type display device, control method of head mounting type display device, and work supporting system
JP2014127968A (en) * 2012-12-27 2014-07-07 Seiko Epson Corp Display device and control method for display device

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235163A (en) * 1999-02-12 2000-08-29 Canon Inc Head-mounted type display device and warning display method thereof
JP2003271722A (en) * 2002-03-14 2003-09-26 Mitsubishi Heavy Ind Ltd Customer service support system
JP2004141417A (en) * 2002-10-24 2004-05-20 Toto Ltd Information display device for lavatory and information display system for lavatory
JP2004248116A (en) * 2003-02-17 2004-09-02 Fuji Photo Film Co Ltd Display controller
JP2009237801A (en) * 2008-03-26 2009-10-15 Nippon Tokei Jimu Center:Kk Communication system and communication method
JP2010067083A (en) * 2008-09-11 2010-03-25 Brother Ind Ltd Head mount display
JP2010205030A (en) * 2009-03-04 2010-09-16 Kddi Corp Method, system and program for specifying related information display position
JP2012034216A (en) * 2010-07-30 2012-02-16 Brother Ind Ltd Image providing system, image display device, and image display program
JP2012163853A (en) * 2011-02-08 2012-08-30 Ns Solutions Corp Display device, information service system, information service method, and program
JP2014106490A (en) * 2012-11-29 2014-06-09 Buffalo Inc Code image processing system, code image display apparatus, image display apparatus, and program
JP2014119786A (en) * 2012-12-13 2014-06-30 Seiko Epson Corp Head mounting type display device, control method of head mounting type display device, and work supporting system
JP2014127968A (en) * 2012-12-27 2014-07-07 Seiko Epson Corp Display device and control method for display device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018072949A (en) * 2016-10-25 2018-05-10 富士通株式会社 Transmission control program, transmission control method and information processing apparatus
JP2019008199A (en) * 2017-06-27 2019-01-17 株式会社システム・サイエンス Image display system, and program
JP2019114050A (en) * 2017-12-22 2019-07-11 セイコーエプソン株式会社 Processing device, display system, and program
JP7013850B2 (en) 2017-12-22 2022-02-01 セイコーエプソン株式会社 Processing equipment, display systems, and programs
WO2022172692A1 (en) * 2021-02-12 2022-08-18 ソニーグループ株式会社 Image processing device, image processing method, and image processing system
EP4088647A1 (en) * 2021-05-10 2022-11-16 J. Morita Manufacturing Corporation Imaging device, ocular movement data processing system, and control method
EP4088648A1 (en) * 2021-05-10 2022-11-16 J. Morita Manufacturing Corporation Imaging device, ocular movement data processing system, and control method

Similar Documents

Publication Publication Date Title
JP6476643B2 (en) Head-mounted display device, information system, head-mounted display device control method, and computer program
US9898868B2 (en) Display device, method of controlling the same, and program
US9959591B2 (en) Display apparatus, method for controlling display apparatus, and program
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
CN112130329B (en) Head-mounted display device and method for controlling head-mounted display device
US10303435B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
JP6705124B2 (en) Head-mounted display device, information system, head-mounted display device control method, and computer program
JP6432197B2 (en) Display device, display device control method, and program
JP2016033611A (en) Information provision system, display device, and method of controlling display device
JP6492673B2 (en) Head-mounted display device, method for controlling head-mounted display device, computer program
JP2016004340A (en) Information distribution system, head-mounted type display device, control method of head-mounted type display device and computer program
JP2016033757A (en) Display device, method for controlling display device, and program
US20160021360A1 (en) Display device, method of controlling display device, and program
JP2017091433A (en) Head-mounted type display device, method of controlling head-mounted type display device, and computer program
US20160035137A1 (en) Display device, method of controlling display device, and program
US20160116740A1 (en) Display device, control method for display device, display system, and computer program
JP6364735B2 (en) Display device, head-mounted display device, display device control method, and head-mounted display device control method
JP6539981B2 (en) Display device, control method of display device, display system, and program
JP2016033763A (en) Display device, method for controlling display device, and program
JP6828235B2 (en) Head-mounted display device, how to share the display of the head-mounted display device, computer program
EP4341779A1 (en) Contextual visual and voice search from electronic eyewear device
JP2016142966A (en) Head-mounted display device, information processing device, image display device, image display system, method of sharing displayed images of head-mounted display device, and computer program
JP2016009056A (en) Head-mounted type display device, control method of the same and computer program
JP2016034091A (en) Display device, control method of the same and program
JP6394174B2 (en) Head-mounted display device, image display system, method for controlling head-mounted display device, and computer program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180403

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20180523