JP6492419B2 - Head-mounted display device, method for controlling head-mounted display device, computer program, image display system, and information processing device - Google Patents
Head-mounted display device, method for controlling head-mounted display device, computer program, image display system, and information processing device Download PDFInfo
- Publication number
- JP6492419B2 JP6492419B2 JP2014106842A JP2014106842A JP6492419B2 JP 6492419 B2 JP6492419 B2 JP 6492419B2 JP 2014106842 A JP2014106842 A JP 2014106842A JP 2014106842 A JP2014106842 A JP 2014106842A JP 6492419 B2 JP6492419 B2 JP 6492419B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- mounted display
- head
- display device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
Description
本発明は、頭部装着型表示装置に関する。 The present invention relates to a head-mounted display device.
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ））が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板等を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。このような頭部装着型表示装置は、例えばＭｉｃｒｏＵＳＢ（Universal Serial Bus）等の有線インターフェイスによってスマートフォン等の外部装置と接続されて、ＭＨＬ（Mobile High definition Link）等の規格に準拠して外部装置からの映像信号を受信する。同様に、頭部装着型表示装置は、例えば無線ＬＡＮ等の無線インターフェイスによって外部装置と接続されて、Ｍｉｒａｃａｓｔ等の規格に準拠して外部装置からの映像信号を受信する。頭部装着型表示装置は、このようにして受信した映像信号に基づいて、外部装置の表示画面に表示される画像（表示画像）と同じ虚像を頭部装着型表示装置の使用者に視認させることができる。 A head-mounted display device (Head Mounted Display (HMD)), which is a display device mounted on the head, is known. The head-mounted display device, for example, generates image light representing an image using a liquid crystal display and a light source, and uses the generated image light to a user's eye using a projection optical system, a light guide plate, or the like. By guiding, the user is made to recognize the virtual image. Such a head-mounted display device is connected to an external device such as a smartphone by a wired interface such as MicroUSB (Universal Serial Bus), and is connected to the external device in accordance with a standard such as Mobile High Definition Link (MHL). The video signal is received. Similarly, the head-mounted display device is connected to an external device through a wireless interface such as a wireless LAN, for example, and receives a video signal from the external device in accordance with a standard such as Miracast. The head-mounted display device allows the user of the head-mounted display device to visually recognize the same virtual image as the image (display image) displayed on the display screen of the external device based on the received video signal. be able to.
特許文献１には、携帯情報端末に搭載された所定の機能を、携帯情報端末の表示画面と、頭部装着型表示装置の表示画面との一方に表示させる際に、携帯情報端末の開閉状態に応じて表示先を決定する構成が記載されている。特許文献２には、頭部装着型表示装置に対して時間場所を問わない片手でのテキスト入力を可能とするために、各指の動作を検出する手段と、検出された動作を解析して文字コード等のコードを生成する手段とを備えるテキスト入力システムが記載されている。特許文献３には、頭部装着型表示装置に対して直感性と視認性に優れた入力手段を提供するための仮想マウスが記載されている。特許文献４には、複数の電子装置の間で、Ｗｉ−Ｆｉインフラストラクチャモードの無線通信方式により電子データーを送受信する簡易操作型無線データー送受信システムが記載されている。 In Patent Literature 1, when a predetermined function installed in a portable information terminal is displayed on one of the display screen of the portable information terminal and the display screen of the head-mounted display device, the open / close state of the portable information terminal The structure which determines a display destination according to is described. In Patent Document 2, in order to enable text input with one hand regardless of time and place on the head-mounted display device, means for detecting the motion of each finger and analyzing the detected motion are analyzed. A text input system including means for generating a code such as a character code is described. Patent Document 3 describes a virtual mouse for providing an input unit with excellent intuition and visibility for a head-mounted display device. Patent Document 4 describes a simple operation type wireless data transmission / reception system that transmits and receives electronic data between a plurality of electronic devices by a wireless communication method in a Wi-Fi infrastructure mode.
特許文献１に記載された技術では、携帯情報端末に搭載された所定の機能のみが考慮されており、頭部装着型表示装置に搭載された機能の表示については考慮されていないという課題があった。また、特許文献２〜４に記載された技術では、頭部装着型表示装置において、他の装置の表示画像を表示させることについては考慮されていないという課題があった。 In the technique described in Patent Document 1, only a predetermined function mounted on the portable information terminal is considered, and there is a problem that the display of the function mounted on the head-mounted display device is not considered. It was. In addition, in the techniques described in Patent Documents 2 to 4, there is a problem that the head-mounted display device does not consider displaying the display image of another device.
このため、頭部装着型表示装置の表示画像と、頭部装着型表示装置に接続されている外部装置の表示画像と、の両方を使用者に視認可能とする頭部装着型表示装置が望まれていた。そのほか、頭部装着型表示装置には、ユーザビリティーの向上、汎用性の向上、利便性の向上、信頼性の向上、製造コストの低減といった、種々の要望があった。 Therefore, a head-mounted display device that allows a user to visually recognize both the display image of the head-mounted display device and the display image of an external device connected to the head-mounted display device is desired. It was rare. In addition, the head-mounted display device has various requests such as usability improvement, versatility improvement, convenience improvement, reliability improvement, and manufacturing cost reduction.
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms.
（１）本発明の一形態によれば、使用者が虚像と外景を視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する生成部と；前記生成された一覧画像を表す前記虚像を形成する画像表示部と、を備える。この形態の頭部装着型表示装置によれば、画像表示部は、頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、頭部装着型表示装置が有する画像である第２の画像とが含まれる一覧画像を表す虚像を形成し、使用者に視認させることができる。このため、頭部装着型表示装置の表示画像と外部装置の表示画像との両方を使用者に視認可能とする頭部装着型表示装置を提供することができる。 (1) According to an aspect of the present invention, a head-mounted display device that allows a user to visually recognize a virtual image and an outside scene is provided. The head-mounted display device includes: a first image that is a display image of an external device connected to the head-mounted display device; and a second image that the head-mounted display device has. A generating unit that generates a list image including; and an image display unit that forms the virtual image representing the generated list image. According to the head-mounted display device of this aspect, the image display unit includes the first image that is a display image of an external device connected to the head-mounted display device, and the head-mounted display device. A virtual image representing a list image including the second image that is an image can be formed and made visible to the user. Therefore, it is possible to provide a head-mounted display device that allows the user to visually recognize both the display image of the head-mounted display device and the display image of the external device.
（２）上記形態の頭部装着型表示装置では、さらに；前記外部装置から前記第１の画像を取得する取得部を備え；前記生成部は、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像を生成してもよい。この形態の頭部装着型表示装置によれば、生成部は、第１の領域に対して外部装置から取得された第１の画像を配置し、第２の領域に対して頭部装着型表示装置の第２の画像を配置することによって、簡便に、一覧画像を生成することができる。 (2) The head-mounted display device according to the above aspect further includes: an acquisition unit that acquires the first image from the external device; and the generation unit is configured to acquire the acquired first image with respect to a first region. The list image may be generated in which one image is arranged and the second image is arranged in a second area different from the first area. According to the head-mounted display device of this aspect, the generation unit arranges the first image acquired from the external device with respect to the first region, and the head-mounted display with respect to the second region. By arranging the second image of the device, it is possible to easily generate a list image.
（３）上記形態の頭部装着型表示装置において；前記生成部は、前記頭部装着型表示装置における現在の表示画像を前記第２の画像としてもよい。この形態の頭部装着型表示装置によれば、生成部は、頭部装着型表示装置の表示画像をそのまま第２の画像として使用して、一覧画像を生成することができる。このため、生成部における処理内容を簡潔にすることができる。 (3) In the head-mounted display device according to the above aspect; the generation unit may use a current display image on the head-mounted display device as the second image. According to the head-mounted display device of this aspect, the generation unit can generate a list image using the display image of the head-mounted display device as it is as the second image. For this reason, the processing content in a production | generation part can be simplified.
（４）上記形態の頭部装着型表示装置において；前記生成部は、前記頭部装着型表示装置が有するアイコン画像の配置を変更することで前記第２の画像を生成してもよい。この形態の頭部装着型表示装置によれば、生成部は、頭部装着型表示装置が有するアイコン画像の配置を変更することで、縦横比を自在に変化させた第２の画像を生成し、生成した第２の画像を用いて一覧画像を生成することができる。 (4) In the head-mounted display device according to the above aspect; the generation unit may generate the second image by changing an arrangement of icon images included in the head-mounted display device. According to the head-mounted display device of this aspect, the generation unit generates the second image in which the aspect ratio is freely changed by changing the arrangement of the icon images included in the head-mounted display device. The list image can be generated using the generated second image.
（５）上記形態の頭部装着型表示装置において；前記生成部は、前記第２の画像を生成する際に、さらに、前記アイコン画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施してもよい。この形態の頭部装着型表示装置によれば、生成部は、第２の画像を生成する際に、頭部装着型表示装置のアイコン画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施する。この結果、使用者は、一覧画像において、頭部装着型表示装置のアイコン画像を識別しやすくなる。 (5) In the head-mounted display device of the above aspect; when the generation unit generates the second image, a change in shape and a change in transmittance with respect to the icon image; You may implement at least any one of a change of a color, a change of a magnitude | size, and the provision of a decoration. According to the head-mounted display device of this aspect, when the generation unit generates the second image, the generation unit changes the shape and changes the transmittance of the icon image of the head-mounted display device. Then, at least one of color change, size change, and decoration is performed. As a result, the user can easily identify the icon image of the head-mounted display device in the list image.
（６）上記形態の頭部装着型表示装置において；前記生成部は、さらに、前記第１の画像と前記第２の画像とのうちの少なくとも一方の画像の大きさを変更し、前記変更後の前記画像を用いて前記一覧画像を生成してもよい。この形態の頭部装着型表示装置によれば、生成部は、第１の画像の大きさを第１の領域の大きさに合わせて変更することができる。また、生成部は、第２の画像の大きさを第２の領域の大きさに合わせて変更することができる。 (6) In the head-mounted display device of the above aspect; the generation unit further changes the size of at least one of the first image and the second image, and after the change The list image may be generated using the image. According to the head-mounted display device of this aspect, the generation unit can change the size of the first image in accordance with the size of the first region. In addition, the generation unit can change the size of the second image in accordance with the size of the second region.
（７）上記形態の頭部装着型表示装置において；前記生成部は、さらに、前記第１の画像と前記第２の画像とのうちの少なくとも一方の画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施し、前記実施後の前記画像を用いて前記一覧画像を生成してもよい。この形態の頭部装着型表示装置によれば、生成部は、一覧画像を生成する際に、第１の画像と第２の画像との少なくとも一方に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施することができる。この結果、使用者は、一覧画像において、第１の画像と、第２の画像とを相互に識別しやすくなる。 (7) In the head-mounted display device according to the above aspect; the generation unit may further change a shape and transmit at least one of the first image and the second image. At least one of rate change, color change, size change, and decoration may be implemented, and the list image may be generated using the image after the implementation. According to the head-mounted display device of this aspect, when generating the list image, the generation unit changes the shape and transmits the transmittance for at least one of the first image and the second image. At least one of a change, a color change, a size change, and a decoration can be implemented. As a result, the user can easily identify the first image and the second image in the list image.
（８）上記形態の頭部装着型表示装置では、さらに；前記一覧画像に対する前記使用者の操作を取得する操作取得部と；前記取得された操作が、前記第１の画像に対する操作であった場合に、前記外部装置に対して前記操作を通知する第１の通知部を備えてもよい。この形態の頭部装着型表示装置によれば、第１の通知部は、一覧画像の第１の画像に対する使用者の操作を外部装置に対して通知する。このため、使用者は、頭部装着型表示装置の入力インターフェイスを介して外部装置を操作することができるため、頭部装着型表示装置におけるユーザビリティーを向上させることができる。 (8) In the head-mounted display device according to the above aspect, the operation acquisition unit that acquires the user's operation on the list image; and the acquired operation is an operation on the first image In this case, a first notification unit that notifies the external device of the operation may be provided. According to this form of the head-mounted display device, the first notification unit notifies the external device of the user's operation on the first image of the list image. For this reason, since the user can operate the external device via the input interface of the head-mounted display device, the usability of the head-mounted display device can be improved.
（９）上記形態の頭部装着型表示装置において；前記画像表示部は、前記一覧画像に対して、さらに、ポインター画像を重畳させた前記虚像を形成し；前記生成部は、前記第１の画像に重畳される前記ポインター画像と、前記第２の画像に重畳させる前記ポインター画像と、を異なる画像とさせてもよい。この形態の頭部装着型表示装置によれば、画像表示部は、第１の画像に重畳されるポインター画像と、第２の画像に重畳されるポインター画像とを、異なる画像（虚像）として使用者に視認させることができる。この結果、使用者は、一覧画像において自身が操作しているのが、第１の画像が表す外部装置であるか、第２の画像が表す頭部装着型表示装置であるかを識別しやすくなる。 (9) In the head-mounted display device according to the above aspect; the image display unit forms the virtual image in which a pointer image is further superimposed on the list image; and the generation unit includes the first image The pointer image superimposed on the image and the pointer image superimposed on the second image may be different from each other. According to the head-mounted display device of this aspect, the image display unit uses the pointer image superimposed on the first image and the pointer image superimposed on the second image as different images (virtual images). Can be visually recognized. As a result, the user can easily identify whether the user is operating in the list image is the external device represented by the first image or the head-mounted display device represented by the second image. Become.
（１０）上記形態の頭部装着型表示装置において；前記生成部は、さらに、前記第１の画像の重畳される前記ポインター画像と、前記第２の画像に重畳される前記ポインター画像と、のうちの少なくとも一方に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施させることで、各前記ポインター画像を異なる画像とさせてもよい。この形態の頭部装着型表示装置によれば、生成部は、第１の画像に重畳されるポインター画像と、第２の画像に重畳されるポインター画像と、のうちの少なくとも一方に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施させる。この結果、使用者は、一覧画像においてポインター画像を識別しやすくなる。 (10) In the head-mounted display device according to the above aspect; the generation unit further includes: the pointer image on which the first image is superimposed; and the pointer image that is superimposed on the second image. Each of the pointers is made to perform at least one of a change in shape, a change in transmittance, a change in color, a change in size, and a decoration on at least one of them. The images may be different images. According to the head-mounted display device of this aspect, the generation unit performs at least one of the pointer image superimposed on the first image and the pointer image superimposed on the second image, At least one of a shape change, a transmittance change, a color change, a size change, and a decoration is performed. As a result, the user can easily identify the pointer image in the list image.
（１１）上記形態の頭部装着型表示装置において；前記画像表示部は、前記一覧画像に対して、さらに、ポインター画像を重畳させた前記虚像を形成し；前記ポインター画像が前記第１の画像に重畳されている場合に、前記外部装置の表示画像において、前記ポインター画像が重畳されている位置に対応する位置に前記外部装置用のポインター画像を重畳させるための位置情報を、前記外部装置に対して通知する第２の通知部を備えていてもよい。この形態の頭部装着型表示装置によれば、第２の通知部は、ポインター画像が第１の画像に重畳されている場合に、外部装置の表示画像において、ポインター画像が重畳されている位置に対応する位置に外部装置用のポインター画像を重畳させるための位置情報を、外部装置に対して通知する。このため、外部装置は、取得した位置情報に基づいて外部装置用のポインター画像を表示することができる。この結果、外部装置の使用者は、頭部装着型表示装置の第１の画像上におけるポインター画像を、外部装置において視認することが可能となる。換言すれば、頭部装着型表示装置におけるポインターの表示を外部装置と共有することができる。 (11) In the head-mounted display device according to the above aspect; the image display unit further forms a virtual image in which a pointer image is superimposed on the list image; the pointer image is the first image Position information for superimposing the pointer image for the external device on the position corresponding to the position where the pointer image is superimposed on the display image of the external device. You may provide the 2nd notification part which notifies with respect. According to the head mounted display device of this aspect, the second notification unit is configured such that the pointer image is superimposed on the display image of the external device when the pointer image is superimposed on the first image. Position information for superimposing the pointer image for the external device on the position corresponding to is notified to the external device. Therefore, the external device can display a pointer image for the external device based on the acquired position information. As a result, the user of the external device can visually recognize the pointer image on the first image of the head-mounted display device on the external device. In other words, the pointer display in the head-mounted display device can be shared with the external device.
（１２）上記形態の頭部装着型表示装置において；前記画像表示部は、前記頭部装着型表示装置の入力デバイスにおける指示体の動きと、前記使用者の視線の動きと、のうちの少なくともいずれか一方に基づいて決定された位置に前記ポインター画像が重畳された前記虚像を形成してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置は、入力デバイスにおける指示体の動きと、使用者の視線の動きと、のうちの少なくともいずれか一方に基づいて、ポインター画像の位置を決定することができる。 (12) In the head-mounted display device according to the above aspect; the image display unit includes at least one of a movement of an indicator in an input device of the head-mounted display device and a movement of the line of sight of the user The virtual image in which the pointer image is superimposed at a position determined based on one of the two may be formed. According to the head-mounted display device of this aspect, the head-mounted display device is a pointer based on at least one of the movement of the indicator in the input device and the movement of the user's line of sight. The position of the image can be determined.
（１３）上記形態の頭部装着型表示装置において；前記取得部は、一の前記外部装置から前記第１の画像を取得すると共に、他の前記外部装置から、前記他の外部装置の表示画像である第３の画像を取得し；前記生成部は、前記第１の領域および前記第２の領域とは異なる第３の領域に対して、前記第３の画像が配置された前記一覧画像を生成してもよい。この形態の頭部装着型表示装置によれば、外部装置として複数の装置が接続された場合であっても、頭部装着型表示装置の表示画像と外部装置の表示画像との両方を使用者に視認可能とする頭部装着型表示装置を提供することができる。 (13) In the head-mounted display device according to the above aspect; the acquisition unit acquires the first image from one external device, and displays the other external device from another external device. The generation unit obtains the list image in which the third image is arranged with respect to a third region different from the first region and the second region. It may be generated. According to the head-mounted display device of this aspect, even when a plurality of devices are connected as external devices, both the display image of the head-mounted display device and the display image of the external device are displayed to the user. It is possible to provide a head-mounted display device that can be visually recognized.
（１４）本発明の一形態によれば、画像表示システムが提供される。この画像表示システムは；使用者が虚像と外景を視認可能な頭部装着型表示装置と；前記頭部装着型表示装置に接続されている外部装置と、を備え；前記外部装置は；前記外部装置の表示画像である第１の画像を取得すると共に、前記取得された第１の画像を前記頭部装着型表示装置へ送信する送信部を備え；前記頭部装着型表示装置は；前記第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する生成部と；前記生成された一覧画像を表す前記虚像を形成する画像表示部と、を備える。 (14) According to an aspect of the present invention, an image display system is provided. The image display system includes: a head-mounted display device that allows a user to visually recognize a virtual image and an outside scene; and an external device connected to the head-mounted display device; the external device; A transmission unit configured to acquire a first image that is a display image of the device and to transmit the acquired first image to the head-mounted display device; the head-mounted display device; A generating unit that generates a list image including one image and a second image included in the head-mounted display device; and an image display unit that forms the virtual image representing the generated list image; Prepare.
（１５）本発明の一形態によれば、頭部装着型表示装置に接続され、前記頭部装着型表示装置に表示させるための画像を生成する情報処理装置が提供される。この情報処理装置は、前記頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を取得する取得部と；前記取得された第１の画像と、前記取得された第２の画像と、を含む一覧画像を生成する一覧画像生成部と；前記生成された一覧画像を前記頭部装着型表示装置へ送信する一覧画像送信部と、を備える。この形態の情報処理装置によれば、頭部装着型表示装置に接続されている情報処理装置を利用して上記形態と同様の効果を得ることができる。 (15) According to one aspect of the present invention, there is provided an information processing apparatus that is connected to a head-mounted display device and generates an image to be displayed on the head-mounted display device. This information processing apparatus acquires a first image that is a display image of an external device connected to the head-mounted display device, and a second image that the head-mounted display device has A list image generation unit that generates a list image including the acquired first image and the acquired second image; and the generated list image as the head-mounted display device. A list image transmitting unit for transmitting to According to the information processing apparatus of this aspect, the same effect as that of the above aspect can be obtained by using the information processing apparatus connected to the head-mounted display device.
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。 A plurality of constituent elements of each embodiment of the present invention described above are not essential, and some or all of the effects described in the present specification are to be solved to solve part or all of the above-described problems. In order to achieve the above, it is possible to appropriately change, delete, replace with a new component, and partially delete the limited contents of some of the plurality of components. In order to solve some or all of the above-described problems or achieve some or all of the effects described in this specification, technical features included in one embodiment of the present invention described above. A part or all of the technical features included in the other aspects of the present invention described above may be combined to form an independent form of the present invention.
例えば、本発明の一形態は、生成部と、画像表示部と、の２つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、生成部を有していてもよく、有していなくてもよい。また、この装置は、画像表示部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。 For example, one embodiment of the present invention can be realized as an apparatus including a part or all of the two elements of the generation unit and the image display unit. That is, this apparatus may or may not have the generation unit. Moreover, this apparatus may or may not have an image display unit. Such a device can be realized, for example, as a head-mounted display device, but can also be realized as a device other than the head-mounted display device. Any or all of the technical features of each form of the head-mounted display device described above can be applied to this device.
なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を用いた画像表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。 The present invention can be realized in various modes. For example, a head-mounted display device, a method for controlling the head-mounted display device, an image display system using the head-mounted display device, The present invention can be realized in the form of a computer program for realizing the functions of these methods, apparatuses, or systems, and a recording medium on which the computer program is recorded.
Ａ．第１実施形態：
Ａ−１．画像表示システムの構成：
図１は、本発明の一実施形態における画像表示システム１０００の概略構成を示す説明図である。画像表示システム１０００は、頭部装着型表示装置１００と、外部装置としての携帯情報端末３００とを備えている。画像表示システム１０００は、携帯情報端末３００の表示画像と、頭部装着型表示装置１００が有する画像と、を含む一覧画像を頭部装着型表示装置１００に表示させるシステムである。ここで、「スマートフォン３００の表示画像」とは、スマートフォン３００の表示画面に表示されている画像を意味する。なお、スマートフォン３００の表示画像には、表示画面に表示されるべき画像であるものの外部出力の結果として表示されない画像も含む。また、「頭部装着型表示装置１００が有する画像」とは、頭部装着型表示装置１００の表示画面に現在表示されている画像を意味する。なお、頭部装着型表示装置１００の表示画像には、表示画面に表示されるべき画像であるものの外部出力の結果として表示されない画像も含む。
A. First embodiment:
A-1. Image display system configuration:
FIG. 1 is an explanatory diagram showing a schematic configuration of an
頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のヘッドマウントディスプレイ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。携帯情報端末３００は、携帯可能な情報通信端末である。本実施形態では、携帯情報端末として、スマートフォン（smartphone）を例示する。ヘッドマウントディスプレイ１００と、スマートフォン３００とは、無線通信または有線通信可能に接続されている。
The head-mounted
Ａ−２．頭部装着型表示装置の構成：
図２は、ヘッドマウントディスプレイ１００の構成を機能的に示すブロック図である。図１、２に示すように、ヘッドマウントディスプレイ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。画像表示部２０と制御部１０とは、接続部４０によって接続され、接続部４０を介して各種信号の伝送を行う。接続部４０には、金属ケーブルや光ファイバーを採用することができる。
A-2. Configuration of head mounted display device:
FIG. 2 is a block diagram functionally showing the configuration of the head mounted
Ａ−２−１．制御部の構成：
制御部１０は、ヘッドマウントディスプレイ１００を制御するための装置である。制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている（図２）。
A-2-1. Configuration of control unit:
The
入力情報取得部１１０は、例えば、タッチパッド、十字キー、フットスイッチ（使用者の足により操作するスイッチ）、ジェスチャー検出（カメラ等を用いて使用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得する）、視線検出（赤外線センサー等を用いて使用者の視線を検出し、視線の動きに対応付けられたコマンドによる操作入力を取得する）、マイクロホン等の入力デバイスに対する操作入力に応じた信号を取得する。なお、ジェスチャー検出の際は、使用者の指先や、使用者の手に付けられた指輪や、使用者が手に持つ道具等を動き検出のための目印にしてもよい。フットスイッチ、視線検出、マイクロホンによる操作入力を取得することとすれば、使用者が手を用いて操作することが困難な現場（例えば、医療現場、建設業や製造業などの手元作業を必要とする現場など）において、ヘッドマウントディスプレイ１００が使用される場合の、使用者の利便性を大きく向上させることができる。
The input
記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０は、領域情報記憶部１２２を含んでいる。領域情報記憶部１２２は、少なくとも１つの領域情報を記憶している。領域情報は、配置処理（図５）において生成される一覧画像の領域を規定する情報である。換言すれば、領域情報は、ヘッドマウントディスプレイ１００が有する画像と、スマートフォン３００の表示画像とを配置するための枠として使用される。
The
図３は、領域情報記憶部１２２に記憶されている領域情報の一例を示す説明図である。図３に示す領域情報ＡＩは、長方形状の領域（以降、「領域ＡＩ」とも呼ぶ。）を有している。領域ＡＩは、ヘッドマウントディスプレイ１００の表示素子（図２：右ＬＣＤ２４１、左ＬＣＤ２４２）の縦横比と同じ縦横比を有することが好ましい。
FIG. 3 is an explanatory diagram illustrating an example of area information stored in the area
領域ＡＩは、第１の領域ＡＲ１と、第２の領域ＡＲ２との２つの領域を含んでいる。第１の領域ＡＲ１は、配置処理（図５）においてスマートフォン３００の表示画像が配置される領域である。第２の領域ＡＲ２は、配置処理においてヘッドマウントディスプレイ１００が有する画像が配置される領域である。図３の例では、第１の領域ＡＲ１は、領域ＡＩを水平方向に等分した一方に配置され、第２の領域ＡＲ２は領域ＡＩを水平方向に等分した他方に配置されている。すなわち、第１の領域ＡＲ１と、第２の領域ＡＲ２とは、同じ大きさの領域である。
The region AI includes two regions, a first region AR1 and a second region AR2. 1st area | region AR1 is an area | region where the display image of the
なお、図３に示した第１の領域ＡＲ１と、第２の領域ＡＲ２との配置および大きさは一例であり、任意に定めることができる。例えば、第１の領域ＡＲ１と第２の領域ＡＲ２とは、領域ＡＩを水平方向にｎ等分（ｎは３以上の整数）した大きさとしてもよい。この場合、領域情報ＡＩを用いて生成された一覧画像がヘッドマウントディスプレイ１００に表示された際、使用者の視界を妨げないという観点から、第１の領域ＡＲ１と第２の領域ＡＲ２とは、領域ＡＩの端部（左右の端部）に配置されることが好ましい。また、第１の領域ＡＲ１と第２の領域ＡＲ２とは、領域ＡＩを鉛直方向にｍ等分（ｍは２以上の整数）した大きさとしてもよい。ここで、ｍが３以上の場合、第１の領域ＡＲ１と第２の領域ＡＲ２とは、領域ＡＩの端部（上下の端部）に配置されることが好ましい。また、第１の領域ＡＲ１と第２の領域ＡＲ２とは、異なる大きさとしてもよい。また、第１の領域ＡＲ１と、第２の領域ＡＲ２とは、領域の少なくとも一部が重なっていてもよい。
In addition, arrangement | positioning and magnitude | size of 1st area | region AR1 and 2nd area | region AR2 which were shown in FIG. 3 are examples, and can be defined arbitrarily. For example, the first area AR1 and the second area AR2 may have a size obtained by dividing the area AI into n equal parts (n is an integer of 3 or more) in the horizontal direction. In this case, when the list image generated using the area information AI is displayed on the head mounted
電源１３０は、ヘッドマウントディスプレイ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、所定の無線通信規格（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）に例示される近距離無線通信、ＩＥＥＥ８０２．１１に例示される無線ＬＡＮ等）に則って、外部装置との間で無線通信を行う。外部装置とは、ヘッドマウントディスプレイ１００以外の他の機器を意味し、図１に示したスマートフォン３００のほか、タブレット、パーソナルコンピューター、ゲーム端末、ＡＶ（Audio Video）端末、家電製品等がある。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ヘッドマウントディスプレイ１００の使用者の現在位置を検出し、使用者の現在位置情報を表す現在位置情報を生成する。なお、現在位置情報は、例えば緯度経度を表す座標によって実現することができる。
The
ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、生成部１４２、通知部１４４、オペレーティングシステム（ОＳ）１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。
The
生成部１４２は、配置処理（図４）において、ヘッドマウントディスプレイ１００が有する画像と、スマートフォン３００の表示画像とを用いて一覧画像を生成する。通知部１４４は、通知処理（図８）において、一覧画像のうちの、スマートフォン３００の表示画像に対する操作が行われた場合に、スマートフォン３００に対して操作内容を通知する。
The
画像処理部１６０は、生成部１４２や、インターフェイス１８０や、無線通信部１３２等からＯＳ１５０を介して入力される映像信号に基づいて信号を生成する。画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０における表示を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。
The
例えば、ディジタル形式の場合、ディジタルＲ信号と、ディジタルＧ信号と、ディジタルＢ信号と、クロック信号ＰＣＬＫとが同期した状態の映像信号が入力される。画像処理部１６０は、ディジタルＲ信号、ディジタルＧ信号、ディジタルＢ信号からなる画像データーＤａｔａに対して、必要に応じて周知の解像度変換処理、輝度彩度の調整などの種々の色調補正処理、キーストーン補正処理等の画像処理を実行する。その後、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データーＤａｔａとを、送信部５１、５２を介して送信する。
For example, in the case of a digital format, a video signal in a state where a digital R signal, a digital G signal, a digital B signal, and a clock signal PCLK are synchronized is input. The
アナログ形式の場合、アナログＲ信号と、アナログＧ信号と、アナログＢ信号と、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとからなる映像信号が入力される。画像処理部１６０は、入力された信号から垂直同期信号ＶＳｙｎｃと水平同期信号ＨＳｙｎｃを分離し、それらの周期に応じて、図示しないＰＬＬ回路等を用いてクロック信号ＰＣＬＫを生成する。また、画像処理部１６０は、アナログＲ信号と、アナログＧ信号と、アナログＢ信号とを、Ａ／Ｄ変換回路等を用いてディジタル信号に変換する。画像処理部１６０は、変換後のディジタルＲ信号、ディジタルＧ信号、ディジタルＢ信号からなる画像データーＤａｔａに対して、必要に応じて周知の画像処理を実行した後、クロック信号ＰＣＬＫと、画像データーＤａｔａと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとを、送信部５１、５２を介して送信する。なお、以降では、送信部５１を介して送信される画像データーＤａｔａを「右眼用画像データーＤａｔａ１」とも呼び、送信部５２を介して送信される画像データーＤａｔａを「左眼用画像データーＤａｔａ２」とも呼ぶ。
In the case of an analog format, a video signal including an analog R signal, an analog G signal, an analog B signal, a vertical synchronization signal VSync, and a horizontal synchronization signal HSync is input. The
表示制御部１９０は、画像表示部２０が有する右表示駆動部２２と左表示駆動部２４とを制御する制御信号を生成する。制御信号とは、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを個別に切り替えるための信号である。表示制御部１９０は、これらの制御信号によって、右表示駆動部２２と左表示駆動部２４とにおける画像光の生成および射出を制御する。表示制御部１９０は、生成した制御信号を、送信部５１、５２を介して送信する。
The
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２の図示しないスピーカーと、左イヤホン３４の図示しないスピーカーとに対して供給する。
The
インターフェイス１８０は、所定の有線通信規格（例えば、ＭｉｃｒｏＵＳＢ（Universal Serial Bus）、ＵＳＢ、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、ＩＥＥＥ８０２．３に例示される有線ＬＡＮ等）に則って、外部装置との間で無線通信を行う。外部装置とは、ヘッドマウントディスプレイ１００以外の他の機器を意味し、図１に示したスマートフォン３００のほか、タブレット、パーソナルコンピューター、ゲーム端末、ＡＶ端末、家電製品等がある。
The
Ａ−２−２．画像表示部の構成：
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６（図１）と、左光学像表示部２８（図１）と、９軸センサー６６とを含んでいる。
A-2-2. Configuration of image display:
The
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者のこめかみに対向する位置に配置されている。本実施形態における右表示駆動部２２と左表示駆動部２４とは、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）や投写光学系を用いて、画像を表す画像光を生成し射出する。右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。
The right
受信部５３は、送信部５１から送信されるデーターを受信する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、入力されたクロック信号ＰＣＬＫと右眼用画像データーＤａｔａ１と、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。
The receiving
左表示駆動部２４は、右表示駆動部２２とほぼ同様の構成を有し、右表示駆動部２２と同様に動作する。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。詳細な説明は省略する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
The left
右光学像表示部２６と左光学像表示部２８とは、使用者が画像表示部２０を装着した際に使用者の左右の眼前にそれぞれ位置するように配置されている（図１参照）。右光学像表示部２６は、右導光板２６１と、図示しない調光板を含んでいる。右導光板２６１は、光透過性の樹脂材料等によって形成されている。右導光板２６１は、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥへ導く。右導光板２６１には、回折格子を用いても良いし半透過反射膜を用いても良い。調光板は、薄板状の光学素子であり、画像表示部２０の表側を覆うように配置されている。調光板は、右導光板２６１を保護し、右導光板２６１の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
The right optical
左光学像表示部２８は、右光学像表示部２６とほぼ同様の構成を有し、右光学像表示部２６と同様に動作する。すなわち、左光学像表示部２８は、左導光板２６２と、図示しない調光板を含み、左表示駆動部２４から出力された画像光を、使用者の左眼ＬＥへ導く。詳細な説明は省略する。
The left optical
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００の使用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。
The 9-
図４は、使用者に視認される虚像の一例を示す説明図である。図４では、使用者の視野ＶＲを例示している。上述のようにして、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像ＶＩを視認することができる。図４の例では、虚像ＶＩは、ヘッドマウントディスプレイ１００のＯＳの待ち受け画面である。また、使用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のヘッドマウントディスプレイ１００の使用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後の外景ＳＣとを見ることができる。また、使用者は、視野ＶＲのうち虚像ＶＩが表示されていない部分については、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを直接見ることができる。なお、本明細書において、「ヘッドマウントディスプレイ１００が画像を表示する」ことには、ヘッドマウントディスプレイ１００の使用者に対して虚像を視認させることも含む。
FIG. 4 is an explanatory diagram illustrating an example of a virtual image visually recognized by the user. FIG. 4 illustrates the visual field VR of the user. As described above, the image light guided to both eyes of the user of the head mounted
Ａ−３．配置処理：
図５は、配置処理の手順を示すシーケンス図である。配置処理は、ヘッドマウントディスプレイ１００が有する画像と、スマートフォン３００の表示画像とが並べて配置された一覧画像を生成し、生成された一覧画像をヘッドマウントディスプレイ１００に表示させる処理である。配置処理は、主として生成部１４２により実行される。
A-3. Placement process:
FIG. 5 is a sequence diagram showing the procedure of the arrangement process. The arrangement process is a process of generating a list image in which an image of the head mounted
ステップＳ１００において、配置処理を行うためのアプリケーションが起動される。ステップＳ１００のアプリケーションの起動は、入力情報取得部１１０が使用者による起動操作を検出したことをトリガーとしてもよく、他のアプリケーションからの起動命令の検出をトリガーとしてもよい。ステップＳ１００のアプリケーションの起動によって、ＣＰＵ１４０に対して、生成部１４２および通知部１４４の機能が実現される。
In step S100, an application for performing arrangement processing is activated. The activation of the application in step S100 may be triggered by the input
ステップＳ１０２において無線通信部１３２またはインターフェイス１８０は、スマートフォン３００が接続されたことを検出する。なお、以降では、ヘッドマウントディスプレイ１００とスマートフォン３００とがＩＥＥＥ８０２．１１に準拠した無線ＬＡＮを用いて通信する場合を例示する。ステップＳ１０４において生成部１４２は、無線通信部１３２を介して接続されているスマートフォン３００の認証を行う。この認証は、種々の認証技術を利用して実施することが可能である。例えば、生成部１４２は、スマートフォン３００のＭＡＣ（Media Access Control）アドレスを用いてスマートフォン３００を認証してもよく、ユーザ名とパスワードを用いてスマートフォン３００を認証してもよい。また、生成部１４２は、認証局が発行するディジタル証明書を用いてスマートフォン３００を認証してもよく、使用者の身体的特徴（顔、指紋、声紋）を認識してスマートフォン３００を認証してもよい。ステップＳ１０４における認証が成功した後、ステップＳ１０６において生成部１４２は、スマートフォン３００との間でコネクションを確立する。
In step S102, the
ステップＳ１０８においてスマートフォン３００は、スマートフォン３００の表示画像を取得する。具体的には、スマートフォン３００は、スマートフォン３００において再生中のコンテンツや、アプリケーションＧＵＩ（Graphical User Interface）等、スマートフォン３００において表示されている画面を所定の規格に従ってレンダリングし、フレーム画像を取得する。ステップＳ１０８において取得されたフレーム画像は、スマートフォン３００の表示画像であり、以降「第１の画像」とも呼ぶ。
In step S108, the
ステップＳ１１０においてスマートフォン３００は、取得した第１の画像をヘッドマウントディスプレイ１００へ送信する。ヘッドマウントディスプレイ１００の生成部１４２は、無線通信部１３２を介して第１の画像を取得する。このとき、生成部１４２と無線通信部１３２とは「取得部」として機能する。
In step S110, the
ステップＳ１１２において生成部１４２は、ヘッドマウントディスプレイ１００が有する画像として、ヘッドマウントディスプレイ１００の表示画面に現在表示されている画像を取得する。具体的には、生成部１４２は、ステップＳ１０８と同様の方法用いて、フレーム画像を取得する。なお、生成部１４２は、画像処理部１６０またはビデオメモリーから直接フレーム画像を取得してもよい。ステップＳ１１２において取得されたフレーム画像は、ヘッドマウントディスプレイ１００が有する画像であり、以降「第２の画像」とも呼ぶ。
In step S <b> 112, the
ステップＳ１１４において生成部１４２は、第１の画像と第２の画像とを拡大、縮小する。具体的には、生成部１４２は、ステップＳ１１０で取得した第１の画像を、領域情報ＡＩ（図３）の第１の領域ＡＲ１の大きさに合うように、拡大または縮小する。同様に、生成部１４２は、ステップＳ１１２で取得した第２の画像を、領域情報ＡＩの第２の領域ＡＲ２の大きさに合うように、拡大または縮小する。なお、生成部１４２は、第１の画像および第２の画像の縦横比をそれぞれ維持したまま、拡大または縮小することが好ましい。そうすれば、生成部１４２は、スマートフォン３００の表示画像と、ヘッドマウントディスプレイ１００が有する画像（表示画像）を忠実に再現した一覧画像を生成することができる。
In step S114, the
ステップＳ１１６において生成部１４２は、第１の画像を領域情報ＡＩの第１の領域ＡＲ１に配置し、第２の画像を領域情報ＡＩの第２の領域ＡＲ２に配置して、一覧画像を生成する。この際、生成部１４２は、第１の画像と第２の画像との少なくとも一方に対して、以下のａ１〜ａ５に例示するような加工を施してもよい。なお、加工ａ１〜ａ５は、単独で採用されてもよく、組み合わせて採用されてもよい。
In step S116, the
（ａ１）生成部１４２は、第１、２の画像の形状を変更する。例えば、生成部１４２は、四角形状の第１、２の画像を、円形状や台形状に変更することができる。
（ａ２）生成部１４２は、第１、２の画像の透過率を変更する。第１、２の画像の透過率を変更すれば、虚像として表示されている一覧画像を視認した際に、使用者の視界が一覧画像によって妨げられることを抑制することができる。
（ａ３）生成部１４２は、第１、２の画像の色変換処理を施す。例えば、画像表示部２０に対して、使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得するカメラを備える構成とする。そして、生成部１４２は、第１、２の画像に対して外景画像の補色を強める、または、弱める色変換処理を施す。このようにすれば、生成部１４２は、第１、２の画像を外景と比して目立たせることができる。
(A1) The
(A2) The
(A3) The
（ａ４）生成部１４２は、第１、２の画像の大きさを変更する。例えば、生成部１４２は、第１、２の画像を、領域情報ＡＩの第１、２の領域の大きさとは無関係に拡大または縮小する。
（ａ５）生成部１４２は、第１、２の画像に対して、文字、図形、記号等の装飾を付加する。例えば、生成部１４２は、第１、２の画像に対して、画像を説明するための文字を付加することができる。また、例えば、生成部１４２は、第１、２の画像に対して、画像の周囲を縁取る枠を追加することもできる。
(A4) The
(A5) The
このようにして、第１の画像と、第２の画像との一方に対して上記ａ１〜ａ５のような加工を施すこととすれば、一覧画像を視認した使用者は、一覧画像において、第１の画像と、第２の画像とを相互に識別しやすくなる。また、第１の画像と、第２の画像との両方に対して、異なる態様を用いて上記ａ１〜ａ５のような加工を施しても、同様に使用者における識別性を向上させることができる。 In this way, if processing such as a1 to a5 is performed on one of the first image and the second image, the user who visually recognizes the list image is The first image and the second image can be easily distinguished from each other. Moreover, even if it processes like said a1-a5 using a different aspect with respect to both a 1st image and a 2nd image, the discriminability in a user can be improved similarly. .
ステップＳ１１８において生成部１４２は、ヘッドマウントディスプレイ１００に一覧画像を表示させる。具体的には、生成部１４２は、ステップＳ１１６で生成した一覧画像を、画像処理部１６０へ送信する。一覧画像を受信した画像処理部１６０では、上述の表示処理が行われる。この結果、ヘッドマウントディスプレイ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、ヘッドマウントディスプレイ１００の使用者は、視野に一覧画像の虚像を視認することができる。換言すれば、ヘッドマウントディスプレイ１００は、一覧画像を表示することができる。
In step S118, the
図６は、ヘッドマウントディスプレイ１００において、一覧画像が表示されている様子を示す説明図である。図６に示すように、ヘッドマウントディスプレイ１００の使用者は、視野ＶＲにおいて、領域情報ＡＩ（図３）の第１の領域ＡＲ１に第１の画像ＩＭ１が配置され、第２の領域ＡＲ２に第２の画像ＩＭ２が配置された一覧画像を、虚像ＶＩとして視認することができる。また、第２の画像ＩＭ２には、太枠ＢＣを用いた装飾が付加されている。このため、使用者は、第１の画像と、第２の画像とを容易に識別することができる。
FIG. 6 is an explanatory diagram showing a state in which a list image is displayed on the head mounted
なお、動画像に対して図５の配置処理を適用する場合、上記ステップＳ１０８〜Ｓ１１８を繰り返し実行する。また、動画像を圧縮する規格が使用される場合は、ステップＳ１０８において、原画像やフレーム画像から変化した部分を表す差分画像（フレーム間差分）が送信されることがある。この場合、生成部１４２は、ステップＳ１１０とＳ１１２との間で、前回のフレーム画像と、取得したフレーム間差分とを用いてフレーム画像を合成する処理を行えばよい。
Note that when applying the arrangement processing of FIG. 5 to a moving image, the above steps S108 to S118 are repeatedly executed. When a standard for compressing moving images is used, a difference image (interframe difference) representing a portion changed from the original image or the frame image may be transmitted in step S108. In this case, the
図７は、一覧画像におけるポインター画像の変化を説明するための説明図である。図７（Ａ）は、第１の画像ＩＭ１に重畳されるポインター画像ＰＯ１を表している。図の例では、ポインター画像ＰＯ１は二重丸を表す図形である。図７（Ｂ）は、第２の画像ＩＭ２に重畳されるポインター画像ＰＯ２を表している。図の例では、ポインター画像ＰＯ２は円形に笑顔の描かれた図形である。上述したように、配置処理（図５）のステップＳ１１８において生成部１４２は、一覧画像をＯＳ１５０経由で画像処理部１６０へ送信する。この際、ＯＳ１５０は、入力情報取得部１１０から取得した使用者の操作に応じて、一覧画像に対してポインター画像を重畳して描画する。生成部１４２は、ＯＳ１５０に対して、一覧画像の第１の画像ＩＭ１に重畳して描画されるポインター画像と、第２の画像ＩＭ２に重畳して描画されるポインター画像とを異なる画像とするように指示する。
FIG. 7 is an explanatory diagram for explaining a change in the pointer image in the list image. FIG. 7A shows a pointer image PO1 superimposed on the first image IM1. In the illustrated example, the pointer image PO1 is a figure representing a double circle. FIG. 7B shows a pointer image PO2 superimposed on the second image IM2. In the illustrated example, the pointer image PO2 is a figure in which a smile is drawn in a circle. As described above, in step S118 of the arrangement process (FIG. 5), the
この結果、図７（Ａ）、（Ｂ）に示すように、画像表示部は、一覧画像の第１の画像ＩＭ１に重畳されるポインター画像ＰＯ１と、第２の画像ＩＭ２に重畳されるポインター画像ＰＯ２とを、異なる虚像ＶＩとして使用者に視認させることができる。このようにすれば、ヘッドマウントディスプレイ１００の使用者は、一覧画像において自身が操作しているのが、第１の画像ＩＭ１が表すスマートフォン３００（外部装置）であるか、第２の画像ＩＭ２が表すヘッドマウントディスプレイ１００（頭部装着型表示装置）であるかを識別しやすくなる。
As a result, as shown in FIGS. 7A and 7B, the image display unit displays the pointer image PO1 superimposed on the first image IM1 of the list image and the pointer image superimposed on the second image IM2. The user can visually recognize PO2 as a different virtual image VI. In this way, the user of the head-mounted
なお、生成部１４２は、図７で説明した指示に変えて、または、図７で説明した指示と共に、ポインター画像ＰＯ１とＰＯ２とのうちの少なくとも一方の形状を変更させる旨の指示をＯＳ１５０へ送信することで、一覧画像の第１の画像ＩＭ１に重畳して描画されるポインター画像ＰＯ１と、第２の画像ＩＭ２に重畳して描画されるポインター画像ＰＯ２と、を異なる画像とさせてもよい。また、生成部１４２は、上述した「形状の変更」に代えて、透過率の変更、色変換処理の実施、大きさの変更、文字図形記号等の装飾の付加、等を指示してもよい。このようにすれば、ヘッドマウントディスプレイ１００の使用者は、一覧画像に表示されるポインターＰＯ１、２を識別しやすくなる。
Note that the
以上のように、第１実施形態の配置処理によれば、画像表示部２０は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）に接続されているスマートフォン３００（外部装置）の表示画像である第１の画像と、ヘッドマウントディスプレイ１００が有する画像である第２の画像とが含まれる一覧画像（図６）を表す虚像ＶＩを形成し、使用者に視認させることができる。このため、ヘッドマウントディスプレイ１００の表示画像とスマートフォン３００の表示画像との両方を使用者に視認可能とするヘッドマウントディスプレイ１００を提供することができる。
As described above, according to the arrangement processing of the first embodiment, the
さらに、第１実施形態の配置処理によれば、生成部１４２は、領域情報ＡＩ（図３）に基づいて、第１の領域ＡＲ１に対してスマートフォン３００（外部装置）から取得された第１の画像を配置し、第２の領域ＡＲ２に対してヘッドマウントディスプレイ１００（頭部装着型表示装置）の第２の画像を配置することによって、簡便に、一覧画像を生成することができる。
Furthermore, according to the arrangement process of the first embodiment, the
さらに、第１実施形態の配置処理によれば、生成部１４２は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）が有する画像として、ヘッドマウントディスプレイ１００の表示画面に現在表示されているフレーム画像（表示画像）を取得し、取得された表示画像をそのまま第２の画像として使用して、一覧画像を生成することができる。このため、生成部における配置処理の処理内容を簡潔にすることができる。
Furthermore, according to the arrangement process of the first embodiment, the
Ａ−４．通知処理：
図８は、通知処理の手順を示すシーケンス図である。通知処理は、一覧画像のうちの第１、２の画像に対する操作が行われた場合、スマートフォン３００またはヘッドマウントディスプレイ１００に対して操作内容を通知する処理である。通知処理は、主として通知部１４４により実行される。なお、このとき通知部１４４は「第１の通知部」として機能する。
A-4. Notification processing:
FIG. 8 is a sequence diagram showing the procedure of the notification process. The notification process is a process of notifying the
ステップＳ２００において入力情報取得部１１０は、一覧画像に対する使用者の操作（例えば、クリック、ダブルクリック、ドラッグ、オンフォーカス、タップ、ダブルタップ、フリック等）を検出し、操作の座標（ｘ、ｙ）を取得する。この時、入力情報取得部１１０は「操作取得部」として機能する。
In step S200, the input
ステップＳ２０２において通知部１４４は、入力情報取得部１１０から座標（ｘ、ｙ）を受信し、以下の手順ｉ、ｉｉを実行する。
（ｉ）受信した座標に基づいて、操作が行われた画像が第１の画像であるか、第２の画像であるかを特定する。
（ｉｉ）受信した座標に基づいて、配置処理（図５）のステップＳ１１４の拡大、縮小前の画像における座標を求める。
In step S202, the notification unit 144 receives the coordinates (x, y) from the input
(I) Based on the received coordinates, it is specified whether the image on which the operation has been performed is the first image or the second image.
(Ii) Based on the received coordinates, the coordinates in the image before enlargement / reduction in step S114 of the arrangement process (FIG. 5) are obtained.
図９は、通知処理のステップＳ２０２について説明するための説明図である。図９（Ａ）は、上記手順ｉについて説明するための説明図である。通知処理のステップＳ２０２において通知部１４４は、入力情報取得部１１０から座標ＣＯ１（ｘ１、ｙ１）を受信する。座標ＣＯ１は、一覧画像の左上端部の座標を（０、０）とした場合の、ｘ方向の変化量と、ｙ方向の変化量とを表す数値である。通知部１４４は、配置処理（図５）のステップＳ１１６における処理内容に基づき、座標ＣＯ１（ｘ１、ｙ１）が第１の画像ＩＭ１上に位置するか、第２の画像ＩＭ２上に位置するかを特定する。図９（Ａ）の例では、座標ＣＯ１（ｘ１、ｙ１）は、第１の画像ＩＭ１、すなわち、スマートフォン３００の表示画像上に位置している。
FIG. 9 is an explanatory diagram for explaining step S202 of the notification process. FIG. 9A is an explanatory diagram for explaining the procedure i. In step S202 of the notification process, the notification unit 144 receives the coordinate CO1 (x1, y1) from the input
図９（Ｂ）は、上記手順ｉｉについて説明するための説明図である。通知部１４４は、配置処理（図５）のステップＳ１１４で用いた拡大、縮小率を用いて、一覧画像に対して、ステップＳ１１４で行った変換とは逆の変換を施す。すなわち、ステップＳ１１４で縮小した場合は一覧画像を拡大し、ステップＳ１１４で拡大した場合は一覧画像を縮小する。その後、通知部１４４は、図９（Ａ）で特定された画像（すなわち、第１の画像ＩＭ１または第２の画像ＩＭ２）の左上端部の座標を（０、０）とした場合の、座標ＣＯ１（ｘ１、ｙ１）と同じ位置に相当する座標ＣＯ２（ｘ２、ｙ２）を求める。 FIG. 9B is an explanatory diagram for explaining the procedure ii. The notification unit 144 performs conversion opposite to the conversion performed in step S114 on the list image using the enlargement / reduction ratio used in step S114 of the arrangement process (FIG. 5). That is, if the list image is reduced in step S114, the list image is enlarged. If the list image is enlarged in step S114, the list image is reduced. Thereafter, the notification unit 144 sets the coordinates when the coordinates of the upper left end of the image (that is, the first image IM1 or the second image IM2) specified in FIG. 9A are (0, 0). A coordinate CO2 (x2, y2) corresponding to the same position as CO1 (x1, y1) is obtained.
ステップＳ２０４において通知部１４４は、ステップＳ２０２で特定された画像が第２の画像、すなわち、ヘッドマウントディスプレイ１００が有する画像（表示画像）であるか判定する。第２の画像である場合、通知部１４４は、ＯＳ１５０に対して、座標ＣＯ２（ｘ２、ｙ２）と、操作内容（例えば、クリック、ダブルクリック、ドラッグ、オンフォーカス、タップ、ダブルタップ、フリック等）を送信する。ＯＳ１５０では、受信した座標と操作内容に応じて、アプリケーションの起動等の処理が行われる。
In step S204, the notification unit 144 determines whether the image specified in step S202 is a second image, that is, an image (display image) included in the head mounted
ステップＳ２０６において通知部１４４は、ステップＳ２０２で特定された画像が第１の画像、すなわち、スマートフォン３００の表示画像であるか判定する。第１の画像である場合、通知部１４４は、スマートフォン３００に対して座標ＣＯ２（ｘ２、ｙ２）と、操作内容を送信する。スマートフォン３００では、受信した座標と操作内容に応じて、アプリケーションの起動等の処理が行われる（ステップＳ２０８）。
In step S206, the notification unit 144 determines whether the image specified in step S202 is the first image, that is, the display image of the
以上のように、第１実施形態の通知処理によれば、通知部１４４（第１の通知部）は、一覧画像の第２の画像ＩＭ２（図９）に対する使用者の操作をＯＳ１５０に通知するだけでなく、第１の画像ＩＭ１（図９）に対する使用者の操作をスマートフォン３００（外部装置）に対して通知することができる。このため、使用者は、ヘッドマウントディスプレイ１００（頭部装着型表示装置）の入力インターフェイスを介してヘッドマウントディスプレイ１００を操作するだけでなく、ヘッドマウントディスプレイ１００（頭部装着型表示装置）の入力インターフェイスを介してスマートフォン３００をも遠隔操作することができる。この結果、利用者は、例えば、ヘッドマウントディスプレイ１００に接続されている外部装置（本実施形態ではスマートフォン３００）をカバンやポケットに入れたまま、当該外部装置を操作することが可能となり、ヘッドマウントディスプレイ１００におけるユーザビリティーを向上させることができる。
As described above, according to the notification process of the first embodiment, the notification unit 144 (first notification unit) notifies the
Ｂ．第２実施形態：
本発明の第２実施形態では、「頭部装着型表示装置が有する画像」として、アイコン画像から生成された第２の画像を用いる構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。
B. Second embodiment:
In the second embodiment of the present invention, a configuration in which a second image generated from an icon image is used as the “image of the head-mounted display device” will be described. Below, only the part which has a different structure and operation | movement from 1st Embodiment is demonstrated. In the figure, the same components as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment described above, and detailed description thereof is omitted.
Ｂ−１．画像表示システムの構成：
第２実施形態における画像表示システムの概略構成は、図１に示す第１実施形態と同様である。
B-1. Image display system configuration:
The schematic configuration of the image display system in the second embodiment is the same as that of the first embodiment shown in FIG.
Ｂ−２．頭部装着型表示装置の構成：
図１０は、第２実施形態におけるヘッドマウントディスプレイ１００ａの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ａを備える点である。制御部１０ａは、生成部１４２に代えて生成部１４２ａを備え、通知部１４４に代えて通知部１４４ａを備え、記憶部１２０に代えて記憶部１２０ａを備える。
B-2. Configuration of head mounted display device:
FIG. 10 is a block diagram functionally showing the configuration of the head mounted
生成部１４２ａは、配置処理の処理内容が図５で説明した第１実施形態と異なる。通知部１４４ａは、通知処理の処理内容が図８で説明した第１実施形態と異なる。記憶部１２０ａは、領域情報記憶部１２２に加えて、さらにフレーム情報１２４を備える。フレーム情報１２４には、少なくとも１つのフレームが記憶されている。フレーム情報１２４に記憶されているフレームは、第２実施形態の配置処理（図１２）において、第２の画像（すなわち、ヘッドマウントディスプレイ１００ａが有するアイコン画像の配置を変更して生成される画像）を生成する際に、アイコン画像を配置するための枠として使用される。
The
本実施形態において、「アイコン画像」とは、プログラムやデバイスの内容を図、絵、文字、記号等を用いて分かり易く表現した画像を意味する。本実施形態の「アイコン画像」は、ヘッドマウントディスプレイ１００ａにインストールされているアプリケーションの起動用の画像を意味する。なお、「アイコン画像」には、このほか、ヘッドマウントディスプレイ１００ａにインストールされているアプリケーション（いわゆるウィジェットやガジェット）によって描画されている画像や、ヘッドマウントディスプレイ１００ａに記憶されているデーター（各種のファイル）の起動用の画像、ヘッドマウントディスプレイ１００ａに含まれるデバイスの存在を表す画像等を含んでもよい。を含んでもよい。アイコン画像は、換言すれば、アプリケーション（プログラム）やデーターやデバイスを抽象化したシンボルとも言える。
In the present embodiment, the “icon image” means an image that expresses the contents of a program or device in an easy-to-understand manner using diagrams, pictures, characters, symbols, and the like. The “icon image” in the present embodiment means an image for starting an application installed in the head mounted
図１１は、フレーム情報１２４に記憶されているフレームの一例を示す説明図である。図１１に示すフレームＦＭ１は、長方形状の領域（以降、「フレームＦＭ１の領域」とも呼ぶ。）の内側に、画像リストＬＴ１と、画像リストＬＴ２と、これらを区切るための区切り線ＢＡとが配置された構成を有する。フレームＦＭ１の領域は、領域情報ＡＩの第２の領域ＡＲ２と同じ縦横比を有することが好ましい。
FIG. 11 is an explanatory diagram illustrating an example of a frame stored in the
画像リストＬＴ１、ＬＴ２は、第２実施形態の配置処理において、アイコン画像が実際に配置される領域である。図３の例では、画像リストＬＴ１、ＬＴ２は、フレームＦＭ１の領域の下端の全体にわたって２段に配置されている。なお、画像リストＬＴ１、ＬＴ２は、フレームＦＭ１の任意の場所に配置することができる。例えば、画像リストＬＴ１、ＬＴ２は、フレームＦＭ１の領域の下端の一部に配置されてもよく、フレームＦＭ１の領域の上端の一部または全体に配置されてもよく、フレームＦＭ１の領域の右端の一部または全体に配置されてもよく、フレームＦＭ１の領域の左端の一部または全体に配置されてもよく、フレームＦＭ１の全ての領域に配置されてもよい。 The image lists LT1 and LT2 are areas where icon images are actually arranged in the arrangement processing of the second embodiment. In the example of FIG. 3, the image lists LT1 and LT2 are arranged in two stages over the entire lower end of the area of the frame FM1. Note that the image lists LT1 and LT2 can be arranged at any location in the frame FM1. For example, the image lists LT1 and LT2 may be arranged at a part of the lower end of the area of the frame FM1, may be arranged at a part of the entire upper end of the area of the frame FM1, or at the right end of the area of the frame FM1. It may be arranged partly or entirely, may be arranged partly or entirely of the left end of the area of the frame FM1, and may be arranged in all areas of the frame FM1.
画像リストＬＴ１は、複数（図の例では５個）長方形状の画像枠Ｂ１〜Ｂ５を含んでいる。画像枠Ｂ１〜Ｂ５は、画像リストＬＴ１内において、長方形状の長辺が互いに隣接するように配置されている。画像リストＬＴ２は、複数の長方形状の画像枠Ｂ６〜Ｂ１０を含んでいる。画像枠Ｂ６〜Ｂ１０は、画像リストＬＴ２内において、長方形状の長辺が互いに隣接するように配置されている。画像枠Ｂ１〜Ｂ１０は、第２実施形態の配置処理（図１２）において、ヘッドマウントディスプレイ１００ａが有するアイコン画像を配置するための領域である。
The image list LT1 includes a plurality (five in the illustrated example) of rectangular image frames B1 to B5. The image frames B1 to B5 are arranged so that the long sides of the rectangle are adjacent to each other in the image list LT1. The image list LT2 includes a plurality of rectangular image frames B6 to B10. The image frames B6 to B10 are arranged so that the long sides of the rectangular shape are adjacent to each other in the image list LT2. Image frames B1 to B10 are areas for arranging icon images of the head mounted
Ｂ−３．配置処理：
図１２は、第２実施形態における配置処理の手順を示すシーケンス図である。図５に示した第１実施形態との違いは、ステップＳ１１２に代えてステップＳ３００とステップＳ３０２とを備える点のみであり、他の処理内容は第１実施形態と同じである。
B-3. Placement process:
FIG. 12 is a sequence diagram showing the procedure of the arrangement process in the second embodiment. The only difference from the first embodiment shown in FIG. 5 is that it includes steps S300 and S302 instead of step S112, and the other processing contents are the same as those of the first embodiment.
ステップＳ３００において生成部１４２ａは、ヘッドマウントディスプレイ１００ａが有するアイコン画像を収集する。具体的には、生成部１４２ａは、記憶部１２０の所定の領域に記憶されている複数のアイコン画像のうち、ヘッドマウントディスプレイ１００ａの待ち受け画面に表示されるべき複数のアイコン画像を収集する。アイコン画像の一例としては、例えば、カメラやスピーカー等の各種デバイス、ＳＮＳサービス、メールサービス等の各種サービスの起動用アイコンがある。
In step S300, the
ステップＳ３０２において生成部１４２ａは、ステップＳ３００で収集した複数のアイコン画像の配置を変更することで、第２の画像を生成する。具体的には、生成部１４２ａは、フレーム情報１２４に記憶されているフレームＦＭ１（図１１）を取得する。生成部１４２ａは、フレームＦＭ１の画像リストＬＴ１の画像枠Ｂ１〜Ｂ５と、画像リストＬＴ２の画像枠Ｂ６〜Ｂ１０に対して、取得した複数のアイコン画像を順次配置する。
In step S302, the
なお、生成部１４２ａは、ステップＳ３００とＳ３０２との間に、以下のような処理ｂ１〜ｂを行ってもよい。
Note that the
（ｂ１）アイコン画像のフィルタリング処理。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像から、画像解析やファイル名解析を用いて重複したアイコン画像を求めて、重複したアイコン画像の一方を破棄してもよい。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像から、画像解析やファイル名解析を用いてアイコン画像が表すアプリケーションを特定し、所定のアプリケーションに関するアイコン画像を破棄してもよい。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像に付随する情報を参照して、アイコン画像が表すアプリケーションの使用頻度を求めて、使用頻度が低いアイコン画像を破棄してもよい。
(B1) Icon image filtering processing.
For example, the
For example, the
For example, the
（ｂ２）アイコン画像のグルーピングおよびソート処理。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像から、画像解析やファイル名解析を用いてアイコン画像の種類（アプリケーション起動用の画像か、アプリケーションによって描画されている画像か、データー起動用の画像か）を特定し、特定したアイコン画像の種類に応じてアイコン画像をグルーピングまたはソートしてもよい。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像から、画像解析やファイル名解析を用いてアイコン画像が表すアプリケーションの種類や名前を特定し、特定したアプリケーションの種類や名前に応じてアイコン画像をグルーピングまたはソートしてもよい。
・例えば、生成部１４２ａは、ステップＳ３００で収集したアイコン画像に付随する情報を参照して、アイコン画像が表すアプリケーションの使用頻度を求めて、使用頻度に応じてアイコン画像をグルーピングまたはソートしてもよい。
(B2) Icon image grouping and sorting processing.
For example, the
For example, the
For example, the
（ｂ３）アイコン画像の加工処理。
・例えば、生成部１４２ａは、アイコン画像の形状、透過率、大きさを任意に変更してもよい。
・例えば、生成部１４２ａは、アイコン画像に対して色変換処理を施してもよい。この場合、画像表示部２０に対して、使用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得するカメラを備える構成とする。そして、生成部１４２ａは、アイコン画像に対して外景画像の補色を強める色変換処理を施す。このようにすれば、生成部１４２ａは、アイコン画像を外景と比して目立たせることができる。
・例えば、生成部１４２ａは、アイコン画像に文字、図形、記号等の装飾を付加する。具体的には、生成部１４２ａは、アイコン画像に対して、アイコン画像を説明するための文字を追加することができる。このようにすれば、虚像として表示されている第２の画像を視認した際に、使用者は、第２の画像に含まれる各アイコン画像が何であるかを識別しやすくなる。また、生成部１４２ａは、アイコン画像に対して、アイコン画像の周囲を縁取る枠を追加することもできる。このようにすれば、生成部１４２ａは、アイコン画像を外景と比して目立たせることができる。
(B3) Icon image processing.
For example, the
For example, the
For example, the
図１３は、ヘッドマウントディスプレイ１００ａにおいて、一覧画像が表示されている様子を示す説明図である。図１２に示すように、第２実施形態のヘッドマウントディスプレイ１００ａの使用者は、視野ＶＲにおいて、領域情報ＡＩ（図３）の第１の領域ＡＲ１に第１の画像ＩＭ１が配置されると共に、第２の領域ＡＲ２には、ヘッドマウントディスプレイ１００ａのアイコン画像を用いて生成された第２の画像ＩＭ２が配置された一覧画像を、虚像ＶＩとして視認することができる。
FIG. 13 is an explanatory diagram showing a state in which a list image is displayed on the head mounted
なお、動画像に対して図１２の配置処理を適用する場合、第１実施形態と同様に、上記ステップＳ１０８〜Ｓ１１８を繰り返し実行する。また、一覧画像におけるポインター画像の変化についても、第１実施形態と同様である。 Note that when the arrangement process of FIG. 12 is applied to a moving image, the steps S108 to S118 are repeatedly executed as in the first embodiment. The change of the pointer image in the list image is the same as in the first embodiment.
以上のように、第２実施形態の配置処理によれば、生成部１４２ａは、ヘッドマウントディスプレイ１００（頭部装着型表示装置）が有するアイコン画像の配置を変更することで、フレームＦＭ１に従って縦横比を自在に変化させた第２の画像ＩＭ２を生成し、生成した第２の画像ＩＭ２を用いて一覧画像を生成することができる。この結果、生成部１４２ａは、領域情報ＡＩ（図３）の第２の領域ＡＲ２の大きさに応じて、最適な第２の画像を生成し、画像表示部２０に表示させることができる。
As described above, according to the arrangement processing of the second embodiment, the
Ｂ−４．通知処理：
第２実施形態における通知処理は、図８で説明した第１実施形態とほぼ同様である。ただし、ステップＳ２０２の手順ｉにおいて特定された画像が第２の画像である場合、上記手順ｉｉは以下のｉｉｉに読み替える。
（ｉｉｉ）通知部１４４ａは、配置処理（図１２）のステップＳ３０２における処理内容（すなわち、アイコン画像の配置）に基づいて、入力情報取得部１１０から取得された座標ＣＯ１（ｘ１、ｙ１）に相当する座標ＣＯ２（ｘ２、ｙ２）を求める。
B-4. Notification processing:
The notification process in the second embodiment is substantially the same as that in the first embodiment described in FIG. However, when the image specified in the procedure i in step S202 is the second image, the procedure ii is replaced with the following iii.
(Iii) The
Ｃ．第３実施形態：
本発明の第３実施形態では、一のヘッドマウントディスプレイに対して、外部装置として複数の他のヘッドマウントディスプレイが接続されると共に、一のヘッドマウントディスプレイにおけるポインターの表示を外部装置と共有する構成について説明する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成部分については先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。
C. Third embodiment:
In the third embodiment of the present invention, a configuration in which a plurality of other head mounted displays are connected as an external device to one head mounted display, and the pointer display on the one head mounted display is shared with the external device. Will be described. Below, only the part which has a different structure and operation | movement from 1st Embodiment is demonstrated. In the figure, the same components as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment described above, and detailed description thereof is omitted.
Ｃ−１．画像表示システムの構成：
図１４は、第３実施形態における画像表示システム１０００ｂの概略構成を示す説明図である。図１に示した第１実施形態との違いは、ヘッドマウントディスプレイ１００に代えてヘッドマウントディスプレイ１００ｂを備える点と、スマートフォン３００に代えてヘッドマウントディスプレイ１００ｘおよびヘッドマウントディスプレイ１００ｙを備える点である。
C-1. Image display system configuration:
FIG. 14 is an explanatory diagram illustrating a schematic configuration of an
ヘッドマウントディスプレイ１００ｂと、１００ｘとは、無線通信または有線通信可能に接続されている。同様に、ヘッドマウントディスプレイ１００ｂと、１００ｙとは、無線通信または有線通信可能に接続されている。ヘッドマウントディスプレイ１００ｘと、１００ｙとの構成は、ヘッドマウントディスプレイ１００ｂと同様であるため、説明を省略する。
The head mounted
Ｃ−２．頭部装着型表示装置の構成：
図１５は、第３実施形態におけるヘッドマウントディスプレイ１００ｂの構成を機能的に示すブロック図である。図２に示した第１実施形態との違いは、制御部１０に代えて制御部１０ｂを備える点と、画像表示部２０に代えて画像表示部２０ｂを備える点である。
C-2. Configuration of head mounted display device:
FIG. 15 is a block diagram functionally showing the configuration of the head mounted
制御部１０ｂは、生成部１４２に代えて生成部１４２ｂを備え、通知部１４４に代えて通知部１４４ｂを備えている。生成部１４２ｂは、配置処理の処理内容が図５で説明した第１実施形態と異なる。通知部１４４ｂは、通知処理の処理内容が図８で説明した第１実施形態と異なる。また、通知部１４４ｂは、後述のポインター通知処理を実行する。
The
画像表示部２０ｂは、第１実施形態で説明した各部に加えてさらに、視線検出部６２を備えている。視線検出部６２は、使用者が画像表示部２０ｂを装着した際の右側の目じりに対応する位置に配置されている（図１４）。視線検出部６２は、可視光カメラを備えている。視線検出部６２は、可視光カメラを用いてヘッドマウントディスプレイ１００ｂを装着した状態における使用者の左右の眼を撮像し、得られた眼の画像を解析することによって使用者の視線の方向を検出する。なお、視線検出部６２は、可視光カメラに代えて赤外線センサーを用いて、使用者の視線の方向を検出してもよい。
The
図１６は、第３実施形態において、領域情報記憶部１２２に記憶されている領域情報の一例を示す説明図である。図３に示した第１実施形態との違いは、長方形状の領域ＡＩｂが、第１の領域ＡＲ１と、第２の領域ＡＲ２とに加えて、第３の領域ＡＲ３を備える点、および、各領域の配置である。第１の領域ＡＲ１は、配置処理（図１７）においてヘッドマウントディスプレイ１００ｘの表示画像が配置される領域である。第２の領域ＡＲ２は、配置処理においてヘッドマウントディスプレイ１００ｂの表示画像が配置される領域である。第３の領域ＡＲ３は、配置処理においてヘッドマウントディスプレイ１００ｙの表示画像が配置される領域である。
FIG. 16 is an explanatory diagram illustrating an example of region information stored in the region
第２の領域ＡＲ１は、領域ＡＩｂの全面に亘って配置されている。第１の領域ＡＲ２と、第３の領域ＡＲ３とは、領域ＡＩｂを水平方向に等分した左右それぞれの略中央部に配置されている。第１、３の領域ＡＲ１、ＡＲ３の鉛直方向における長さは、第２の領域ＡＲ２の鉛直方向における長さよりも短い。第１、３の領域ＡＲ１、ＡＲ３の水平方向における長さは、第２の領域ＡＲ２の水平方向における長さを２で除したものよりも短い。また、第１、３の領域ＡＲ１、ＡＲ３は、第２の領域ＡＲ２の上にレイヤーとして重畳されている。 The second area AR1 is disposed over the entire area AIb. The first area AR2 and the third area AR3 are disposed at substantially central portions on the left and right sides of the area AIb equally divided in the horizontal direction. The length in the vertical direction of the first and third areas AR1 and AR3 is shorter than the length in the vertical direction of the second area AR2. The length in the horizontal direction of the first and third regions AR1 and AR3 is shorter than the length in the horizontal direction of the second region AR2 divided by two. The first and third areas AR1 and AR3 are superimposed as a layer on the second area AR2.
Ｃ−３．配置処理：
図１７は、第３実施形態における配置処理の手順を示すシーケンス図である。図５に示した第１実施形態との違いは、ステップＳ１０２〜Ｓ１１６に代えて、ステップＳ４０２〜Ｓ４２０を備える点である。
C-3. Placement process:
FIG. 17 is a sequence diagram showing the procedure of the arrangement process in the third embodiment. The difference from the first embodiment shown in FIG. 5 is that steps S402 to S420 are provided instead of steps S102 to S116.
ステップＳ４０２において、ヘッドマウントディスプレイ１００ｂの無線通信部１３２は、ヘッドマウントディスプレイ１００ｘが接続されたことを検出し、ヘッドマウントディスプレイ１００ｙが接続されたことを検出する。詳細は図５のステップＳ１０２と同様である。ステップＳ４０４においてヘッドマウントディスプレイ１００ｂの生成部１４２ｂは、接続されているヘッドマウントディスプレイ１００ｘの認証を実施し、ヘッドマウントディスプレイ１００ｙの認証を実施する。詳細は図５のステップＳ１０４と同様である。認証成功後、ステップＳ４０６において生成部１４２ｂは、ヘッドマウントディスプレイ１００ｂと１００ｘとの間にコネクションを確立し、ヘッドマウントディスプレイ１００ｂと１００ｙとの間にコネクションを確立する。
In step S402, the
ステップＳ４０８においてヘッドマウントディスプレイ１００ｘは、ヘッドマウントディスプレイ１００ｘの表示画像を取得する。詳細は図５のステップＳ１０８と同様である。ステップＳ４０８において取得されたフレーム画像は、外部装置としてのヘッドマウントディスプレイ１００ｘの表示画像であり、以降「第１の画像」とも呼ぶ。ステップＳ４１０においてヘッドマウントディスプレイ１００ｘは、取得した第１の画像をヘッドマウントディスプレイ１００ｂへ送信する。詳細は図５のステップＳ１１０と同様である。
In step S408, the head mounted
ステップＳ４１２においてヘッドマウントディスプレイ１００ｙは、ヘッドマウントディスプレイ１００ｙの表示画像を取得する。詳細は図５のステップＳ１０８と同様である。ステップＳ４１２において取得されたフレーム画像は、外部装置としてのヘッドマウントディスプレイ１００ｙの表示画像であり、以降「第３の画像」とも呼ぶ。ステップＳ４１４においてヘッドマウントディスプレイ１００ｙは、取得した第３の画像をヘッドマウントディスプレイ１００ｂへ送信する。詳細は図５のステップＳ１１０と同様である。
In step S412, the head mounted
ステップＳ４１６においてヘッドマウントディスプレイ１００ｂの生成部１４２ｂは、ヘッドマウントディスプレイ１００ｂの表示画面に現在表示されている画像を取得する。詳細は図５のステップＳ１１２と同様である。
In step S416, the
ステップＳ４１８において生成部１４２ｂは、第１の画像と、第２の画像と、第３の画像と、を拡大縮小する。具体的には、生成部１４２ｂは、ステップＳ４１０で取得した第１の画像を、領域情報ＡＩｂ（図１６）の第１の領域ＡＲ１の大きさに合うように、拡大または縮小する。同様に、生成部１４２ｂは、ステップＳ４１６で取得した第２の画像を、領域情報ＡＩｂの第２の領域ＡＲ２の大きさに合うように拡大または縮小し、ステップＳ４１４で取得した第３の画像を、領域情報ＡＩｂの第３の領域ＡＲ３の大きさに合うように拡大または縮小する。なお、ステップＳ４１８において生成部１４２ｂは、拡大縮小に代えて、取得した第１〜３の画像ＩＭ１〜３の一部を、第１〜３の領域ＡＲ１〜３に合う大きさに切り出してもよい。
In step S418, the
ステップＳ４２０において生成部１４２ｂは、第１の画像を領域情報ＡＩｂの第１の領域ＡＲ１に配置し、第２の画像を領域情報ＡＩｂの第２の領域ＡＲ２に配置し、第３の画像を領域情報ＡＩｂの第３の領域ＡＲ３に配置して、一覧画像を生成する。詳細は図５のステップＳ１１６と同様である。
In step S420, the
図１８は、ヘッドマウントディスプレイ１００ｂにおいて、一覧画像が表示されている様子を示す説明図である。図１８では、図示の便宜上、使用者が左右の光学像表示部２６、２８を透過して視認する外景ＳＣ（図４）については、図示を省略している。図示のように、ヘッドマウントディスプレイ１００ｂの使用者は、視野ＶＲにおいて、領域情報ＡＩｂ（図１６）の第１の領域ＡＲ１に第１の画像ＩＭ１が配置され、第２の領域ＡＲ２に第２の画像ＩＭ２が配置され、第３の領域ＡＲ３に第３の画像ＩＭ３が配置された一覧画像を、虚像ＶＩとして視認することができる。なお、図の例では、第１の画像ＩＭ１は、ヘッドマウントディスプレイ１００ｂのＯＳの待ち受け画面の画像、第２の画像ＩＭ２は、ヘッドマウントディスプレイ１００ｘのＯＳの待ち受け画面の画像、第３の画像ＩＭ３は、ヘッドマウントディスプレイ１００ｙのカメラによって撮影された画像である。
FIG. 18 is an explanatory diagram showing a state in which a list image is displayed on the head mounted
なお、第３実施形態の配置処理（図１７）においても、第１実施形態と同様に、以下のような変形が可能である。各変形の詳細は、第１実施形態で説明した通りである。
・第１〜３の画像ＩＭ１〜３に異なる装飾（枠等）を付与する。
・動画像に対して第３実施形態の配置処理を適用する。
・第１〜３の画像ＩＭ１〜３に重畳されるポインター画像を、それぞれ異なる画像とする。
In the arrangement process (FIG. 17) of the third embodiment, the following modifications are possible as in the first embodiment. The details of each modification are as described in the first embodiment.
A different decoration (frame or the like) is given to the first to third images IM1 to IM3.
-The arrangement process of the third embodiment is applied to a moving image.
The pointer images superimposed on the first to third images IM1 to IM3 are different from each other.
以上のように、第３実施形態の配置処理によれば、外部装置として複数の装置が接続された場合であっても、第１実施形態の配置処理と同様の効果を得ることができる。 As described above, according to the arrangement process of the third embodiment, the same effect as the arrangement process of the first embodiment can be obtained even when a plurality of devices are connected as external devices.
Ｃ−４．通知処理：
第３実施形態において、通知部１４４ｂは、ポインター通知処理と、通知処理と、を並列して実行する。ここで、ポインター通知処理は、一のヘッドマウントディスプレイにおけるポインターの表示を、外部装置と共有するための処理である。通知処理は、一覧画像に対する操作が行われた場合に、画像の取得元である装置に対して操作内容を通知する処理である。
C-4. Notification processing:
In the third embodiment, the
Ｃ−４−１．ポインター通知処理：
図１９は、第３実施形態におけるポインター通知処理の手順を示すシーケンス図である。ポインター通知処理は、主として通知部１４４ｂにより実行される。なお、このとき通知部１４４ｂは「第２の通知部」として機能する。本実施形態では、一のヘッドマウントディスプレイとしてヘッドマウントディスプレイ１００ｂを、外部装置としてヘッドマウントディスプレイ１００ｘ、１００ｙを例示する。
C-4-1. Pointer notification processing:
FIG. 19 is a sequence diagram illustrating a procedure of pointer notification processing according to the third embodiment. The pointer notification process is mainly executed by the
ステップＳ５００において、ヘッドマウントディスプレイ１００ｂの入力情報取得部１１０は、ヘッドマウントディスプレイ１００ｂの入力デバイスを介して与えられる指示体の動きを検出し、入力デバイス上における指示体の座標（ｘ、ｙ）を取得する。ここで「指示体」とは、例えば、使用者の指やタッチペンである。また、入力デバイスとは、例えば、タッチパッド、十字キー、フットスイッチ等である。この時、入力情報取得部１１０は「位置取得部」として機能する。ステップＳ５０２において、ヘッドマウントディスプレイ１００ｂの通知部１４４ｂは、入力情報取得部１１０から指示体の座標を受信し、受信した指示体の座標をＯＳ１５０へ送信する。ＯＳ１５０では、一覧画像のうち、受信した指示体の座標の位置にポインター画像を重畳させて描画する描画処理が実行される。
In step S500, the input
図２０は、ヘッドマウントディスプレイ１００ｂにおいて、一覧画像にポインター画像が重畳されて表示されている様子を示す説明図である。図２０においても、図１８と同様に、外景ＳＣ（図４）については図示を省略している。図示のように、ヘッドマウントディスプレイ１００ｂの使用者は、視野ＶＲにおいて、第１〜３の画像ＩＭ１〜３に対して、自身の指の動きに対応した位置にポインター画像ＰＯ１が重畳された画像を、虚像ＶＩとして視認することができる。図の例では、ポインター画像ＰＯ１は二重丸を表す図形である。
FIG. 20 is an explanatory diagram showing a state in which the pointer image is superimposed on the list image on the head mounted
図１９のステップＳ５０４において、ヘッドマウントディスプレイ１００ｂの通知部１４４ｂは、ステップＳ５０２で取得した指示体の座標が第１の画像上に位置する場合に、第１の画像の取得元である外部装置、すなわち、ヘッドマウントディスプレイ１００ｘに対して、指示体の座標を送信する。なお、指示体の座標が第１の画像上に位置するか否かの判定方法は、図８のステップＳ２０２の手順ｉと同様である。また、図１９のステップＳ５０４において、通知部１４４ｂは、図８のステップＳ２０２の手順ｉｉに準じた変換後の座標ＣＯ２（ｘ２、ｙ２）を送信する。ステップＳ５０６において、ヘッドマウントディスプレイ１００ｘのＯＳは、ステップＳ５０４で受信した指示体の座標の位置にポインター画像を重畳させて描画する描画処理を実行する。
In step S504 in FIG. 19, the
図２１は、外部装置としてのヘッドマウントディスプレイ１００ｘにおいて、一覧画像にポインター画像が重畳されて表示されている様子を示す説明図である。図２１においても、図１８と同様に、外景ＳＣ（図４）については図示を省略している。図示のように、ヘッドマウントディスプレイ１００ｘの使用者は、視野ＶＲにおいて、ヘッドマウントディスプレイ１００ｘの表示画面に現在表示されている画像ＩＭｘに対して、ヘッドマウントディスプレイ１００ｂの使用者の指の動きに対応した位置にポインター画像ＰＯ２が重畳された画像を、虚像ＶＩとして視認することができる。図の例では、ポインター画像ＰＯ２は円形に笑顔の描かれた図形である。
FIG. 21 is an explanatory diagram showing a state in which a pointer image is superimposed on a list image and displayed on a head-mounted
図１９のステップＳ５０８において、ヘッドマウントディスプレイ１００ｂの通知部１４４ｂは、ステップＳ５０２で取得した指示体の座標が第３の画像上に位置する場合に、第３の画像の取得元である外部装置、すなわち、ヘッドマウントディスプレイ１００ｙに対して、指示体の座標を送信する。詳細はステップＳ５０４と同様である。ステップＳ５１０において、ヘッドマウントディスプレイ１００ｙのＯＳは、ステップＳ５０８で受信した指示体の座標の位置にポインター画像を重畳させて描画する描画処理を実行する。この結果、図２１と同様に、ヘッドマウントディスプレイ１００ｙの使用者は、ヘッドマウントディスプレイ１００ｙの表示画面に現在表示されている画像に対して、ヘッドマウントディスプレイ１００ｂの使用者の指の動きに対応した位置にポインター画像が重畳された画像を虚像として視認することができる。
In step S508 of FIG. 19, the
なお、ポインター通知処理では「指示体の動き」に代えて、または、「指示体の動き」と共に、使用者の「視線の動き」に基づくポインターを表示させてもよい。「視線の動き」を用いる場合、ステップＳ５００においてヘッドマウントディスプレイ１００ｂの視線検出部６２は、使用者の視線の動きを取得し、通知部１４４ｂへ送信する。それ以降のステップにおいては、「指示体の動き」と記載した部分を「使用者の視線の動き」に読み替えればよい。なお、指示体の動きと視線の動きとの両方に基づくポインターを表示させる場合、指示体の動きと視線の動きの両方を検出した場合に、どちらを優先させるかが予め設定されていることが好ましい。このようにすれば、ヘッドマウントディスプレイ１００ｂ（頭部装着型表示装置）のＯＳ１５０は、ヘッドマウントディスプレイ１００ｂの入力デバイスにおける指示体の動きと、使用者の視線の動きと、のうちの少なくともいずれか一方に基づいて、ポインター画像ＰＯ１の位置を決定することができる。
In the pointer notification process, a pointer based on the “movement of the line of sight” of the user may be displayed instead of “movement of the pointer” or together with “movement of the pointer”. When “line-of-sight movement” is used, in step S500, the line-of-
以上のように、第３実施形態のポインター通知処理によれば、通知部１４４ｂ（第２の通知部）は、ポインター画像ＰＯ１が一覧画像のうちの第１の画像ＩＭ１に重畳されている場合に、ヘッドマウントディスプレイ１００ｘ（外部装置）の表示画像ＩＭｘにおいて、ポインター画像ＰＯ１が重畳されている位置に対応する位置に外部装置用のポインター画像ＰＯ２を重畳させるための座標ＣＯ２（位置情報）を、ヘッドマウントディスプレイ１００ｘに対して通知する。このため、ヘッドマウントディスプレイ１００ｘは、取得した座標ＣＯ２に基づいて外部装置用のポインター画像ＰＯ２を表示することができる。この結果、ヘッドマウントディスプレイ１００ｘの使用者は、ヘッドマウントディスプレイ１００ｂ（頭部装着型表示装置）の第１の画像ＩＭ１上におけるポインター画像ＰＯ１を、ヘッドマウントディスプレイ１００ｘにおいて視認することが可能となる（図２１）。換言すれば、ヘッドマウントディスプレイ１００ｂにおけるポインターの表示を、外部装置としてのヘッドマウントディスプレイ１００ｘと共有することができる。
As described above, according to the pointer notification process of the third embodiment, the
Ｃ−４−２．通知処理：
図２２は、第３実施形態における通知処理の手順を示すシーケンス図である。図８に示した第１実施形態との違いは、ステップＳ２０６、Ｓ２０８に代えて、ステップＳ６００〜Ｓ６０６を備える点である。なお、このとき通知部１４４ｂは「第１の通知部」として機能する。
C-4-2. Notification processing:
FIG. 22 is a sequence diagram illustrating a procedure of notification processing according to the third embodiment. The difference from the first embodiment shown in FIG. 8 is that steps S600 to S606 are provided instead of steps S206 and S208. At this time, the
ステップＳ６００において通知部１４４ｂは、ステップＳ２０２で特定された画像が第１の画像、すなわち、ヘッドマウントディスプレイ１００ｘの表示画像であるか判定する。第１の画像である場合、通知部１４４ｂは、ヘッドマウントディスプレイ１００ｘに対して、ステップＳ２０２の手順ｉｉに準じた変換後の座標ＣＯ２（ｘ２、ｙ２）と、操作内容とを送信する。ヘッドマウントディスプレイ１００ｘでは、受信した座標と操作内容に応じて、アプリケーションの起動や、起動中のアプリケーションに対する操作等の処理が行われる（ステップＳ６０２）。
In step S600, the
ステップＳ６０４において通知部１４４ｂは、ステップＳ２０２で特定された画像が第３の画像、すなわち、ヘッドマウントディスプレイ１００ｙの表示画像であるか判定する。第３の画像である場合、通知部１４４ｂは、ヘッドマウントディスプレイ１００ｙに対して、ステップＳ２０２の手順ｉｉに準じた変換後の座標ＣＯ２（ｘ２、ｙ２）と、操作内容とを送信する。ヘッドマウントディスプレイ１００ｙでは、受信した座標と操作内容に応じて、アプリケーションの起動や、起動中のアプリケーションに対する操作等の処理が行われる（ステップＳ６０６）。
In step S604, the
図２３は、第３実施形態における通知処理のステップＳ６００〜Ｓ６０６について説明するための説明図である。図２３は、ヘッドマウントディスプレイ１００ｂにおいて、一覧画像が表示されている様子を示している。
FIG. 23 is an explanatory diagram for describing steps S600 to S606 of the notification process according to the third embodiment. FIG. 23 shows a state in which a list image is displayed on the head mounted
例えば、ヘッドマウントディスプレイ１００ｂの使用者が、画像ＩＭ１として表示されている文書アプリケーション上において、何らかの操作（例えば、文字入力や文字削除等の編集操作、文書の承認操作、保存操作等）を実施する。このとき、通知処理（図２２）のステップＳ６００が実行されることにより、操作の座標と操作内容とがヘッドマウントディスプレイ１００ｘに送信される。そして、通知処理のステップＳ６０２が実行されることにより、ヘッドマウントディスプレイ１００ｘの文書アプリケーション上においても、ヘッドマウントディスプレイ１００ｂの利用者の操作内容が反映される。
For example, the user of the head mounted
また、例えば、ヘッドマウントディスプレイ１００ｂの使用者が、画像ＩＭ３として表示されているカメラアプリケーション上において、何らかの操作（例えば、ズームイン／アウト操作、シャッター押下操作、設定操作等）を実施する。この場合も同様に、通知処理のステップＳ６０４、Ｓ６０６が実行されることにより、ヘッドマウントディスプレイ１００ｙのカメラアプリケーション上において、ヘッドマウントディスプレイ１００ｂの利用者の操作内容が反映される。
Further, for example, the user of the head mounted
以上のように、第３実施形態の通知処理によれば、外部装置として複数の装置が接続された場合であっても、第１実施形態の通知処理と同様の効果を得ることができる。 As described above, according to the notification process of the third embodiment, the same effect as the notification process of the first embodiment can be obtained even when a plurality of devices are connected as external devices.
Ｄ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
D. Variation:
In the above embodiment, a part of the configuration realized by hardware may be replaced by software, and conversely, a part of the configuration realized by software may be replaced by hardware. Good. In addition, the following modifications are possible.
・変形例１：
上記実施形態では、画像表示システムの構成について例示した。しかし、画像表示システムの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、画像表示システムを構成する各装置の追加・削除・変換等を行うことができる。また、画像表示システムを構成する装置のネットワーク構成の変更を行うことができる。
・ Modification 1:
In the said embodiment, it illustrated about the structure of the image display system. However, the configuration of the image display system can be arbitrarily determined without departing from the gist of the present invention. For example, addition, deletion, conversion, and the like of each device configuring the image display system can be performed. In addition, it is possible to change the network configuration of the devices constituting the image display system.
例えば、ヘッドマウントディスプレイには、複数の外部装置（例えば、スマートフォンとＰＤＡ）が接続されてもよい。この場合、第１、２実施形態と同様にして、生成部は、第１の外部装置の表示画像と、第２の外部装置の表示画像と、第ｍ（ｍは３以上の整数）の外部装置の表示画像と、の全てが並べて配置された一覧画像を生成してもよい。このようにすれば、画像表示部は、ヘッドマウントディスプレイが有する画像と、ヘッドマウントディスプレイに接続されている複数の外部装置の表示画像と、が並べて配置された一覧画像を虚像として使用者に視認させることができる。このため、ヘッドマウントディスプレイにおける使用者の利便性をより一層向上させることができる。 For example, a plurality of external devices (for example, a smartphone and a PDA) may be connected to the head mounted display. In this case, in the same manner as in the first and second embodiments, the generation unit displays the display image of the first external device, the display image of the second external device, and the mth (m is an integer of 3 or more) externals. A list image in which all of the display images of the apparatus are arranged side by side may be generated. In this way, the image display unit visually recognizes a list image in which the image of the head mounted display and the display images of a plurality of external devices connected to the head mounted display are arranged side by side as virtual images. Can be made. For this reason, the convenience of the user in a head mounted display can be improved further.
例えば、上記実施形態におけるスマートフォンの代わりに、インターネットＩＮＴを介したクラウドサーバーが使用されてもよい。また、ヘッドマウントディスプレイに複数の外部装置が接続される場合において、外部装置のうちの少なくとも１つとして、インターネットＩＮＴを介したクラウドサーバーが使用されてもよい。この場合であっても、生成部は、上記第１、２実施形態と同様の処理を行うことにより、上記第１実施形態および第２実施形態と同様の効果を得ることができる。 For example, a cloud server via the Internet INT may be used instead of the smartphone in the above embodiment. Further, when a plurality of external devices are connected to the head mounted display, a cloud server via the Internet INT may be used as at least one of the external devices. Even in this case, the generation unit can obtain the same effects as those in the first and second embodiments by performing the same processing as in the first and second embodiments.
例えば、上記実施形態のヘッドマウントディスプレイの生成部の機能は、ヘッドマウントディスプレイとは異なる情報処理装置によって提供されてもよい。情報処理装置として、例えば、インターネットＩＮＴを介したクラウドサーバーが使用されてもよい。この場合、情報処理装置は、ヘッドマウントディスプレイ（頭部装着型表示装置）に接続されている外部装置の表示画像である第１の画像と、ヘッドマウントディスプレイが有する第２の画像と、を取得する取得部と、取得された第１の画像と、取得された第２の画像と、を含む一覧画像を生成する一覧画像生成部と、生成された一覧画像をヘッドマウントディスプレイへ送信する一覧画像送信部と、を備える。一覧画像生成部は、上記実施形態で説明したヘッドマウントディスプレイの生成部と同様の処理を行うことで、ヘッドマウントディスプレイへ送信する一覧画像を生成する。 For example, the function of the generation unit of the head mounted display of the above embodiment may be provided by an information processing apparatus different from the head mounted display. As the information processing apparatus, for example, a cloud server via the Internet INT may be used. In this case, the information processing apparatus acquires a first image that is a display image of an external device connected to the head-mounted display (head-mounted display device) and a second image that the head-mounted display has. A list image generating unit that generates a list image including the acquiring unit, the acquired first image, and the acquired second image, and a list image that transmits the generated list image to the head mounted display A transmission unit. The list image generation unit generates a list image to be transmitted to the head mounted display by performing the same processing as the head mounted display generation unit described in the above embodiment.
・変形例２：
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
Modification 2
In the said embodiment, it illustrated about the structure of the head mounted display. However, the configuration of the head-mounted display can be arbitrarily determined without departing from the gist of the present invention. For example, each component can be added, deleted, converted, and the like.
上記実施形態における制御部と、画像表示部とに対する構成要素の割り振りはあくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。（i）制御部にＣＰＵやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様、（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）、（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、（ｖ）制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部（コード）を廃した態様。（ｖｉ）制御部からタッチパッドを廃し、画像表示部にタッチパッドを設けた態様。 The allocation of components to the control unit and the image display unit in the above embodiment is merely an example, and various aspects can be employed. For example, the following aspects may be adopted. (I) A mode in which processing functions such as a CPU and a memory are mounted on the control unit, and only a display function is mounted on the image display unit. (Ii) Processing functions such as a CPU and a memory are provided in both the control unit and the image display unit. (Iii) a mode in which the control unit and the image display unit are integrated (for example, a mode in which the control unit is included in the image display unit and functions as a glasses-type wearable computer), (iv) instead of the control unit A mode in which a smartphone or a portable game machine is used, and (v) a mode in which the connection unit (code) is eliminated by adopting a configuration in which the control unit and the image display unit can perform wireless communication and wireless power feeding. (Vi) A mode in which the touch pad is eliminated from the control unit, and the touch pad is provided in the image display unit.
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図５に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続されていてもよい。 In the above embodiment, for convenience of explanation, the control unit includes a transmission unit, and the image display unit includes a reception unit. However, each of the transmission unit and the reception unit of the above-described embodiment has a function capable of bidirectional communication, and can function as a transmission / reception unit. Further, for example, the control unit illustrated in FIG. 5 is connected to the image display unit via a wired signal transmission path. However, the control unit and the image display unit may be connected by connection via a wireless signal transmission path such as a wireless LAN, infrared communication, or Bluetooth.
例えば、図２に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部は、上述した各種の入力デバイス（タッチパッド、十字キー、フットスイッチ、ジェスチャー検出、視線検出、マイクロホン）のほか、種々の入力デバイス（例えば、操作用スティック、キーボード、マウス等）を備えることができる。また、上記実施形態では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。 For example, the configurations of the control unit and the image display unit illustrated in FIG. 2 can be arbitrarily changed. Specifically, for example, the control unit includes various input devices (for example, operation sticks, keyboards) in addition to the above-described various input devices (touch pad, cross key, foot switch, gesture detection, line of sight detection, microphone). A mouse, etc.). Moreover, in the said embodiment, although the secondary battery was used as a power supply, as a power supply, not only a secondary battery but a various battery can be used. For example, a primary battery, a fuel cell, a solar cell, a thermal cell, or the like may be used.
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、使用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、例えば、帽子のように装着するタイプの画像表示部等、他の形状の画像表示部を採用したヘッドマウントディスプレイとしてもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。さらに、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。そのほか、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。 For example, the head mounted display is a binocular transmissive head mounted display, but may be a monocular head mounted display. Further, it may be configured as a non-transmissive head mounted display in which the transmission of the outside scene is blocked when the user wears the head mounted display. In the above embodiment, it is assumed that the image display unit is a head-mounted display that is worn like glasses, but, for example, a head that employs an image display unit of another shape such as an image display unit that is worn like a hat. It is good also as a mount display. The earphone may be an ear-hook type or a headband type, or may be omitted. Furthermore, for example, it may be configured as a head-up display (HUD, Head-Up Display) mounted on a vehicle such as an automobile or an airplane. In addition, it may be configured as a head mounted display built in a body protective device such as a helmet.
図２４は、変形例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。図２４（Ａ）の例では、画像表示部２０ｃが、右光学像表示部２６に代えて右光学像表示部２６ｃを備え、左光学像表示部２８に代えて左光学像表示部２８ｃを備えている。右光学像表示部２６ｃおよび左光学像表示部２８ｃは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め上に配置されている。図２４（Ｂ）の例では、画像表示部２０ｄが、右光学像表示部２６に代えて右光学像表示部２６ｄを備え、左光学像表示部２８に代えて左光学像表示部２８ｄを備えている。右光学像表示部２６ｄおよび左光学像表示部２８ｄは、第１実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼および左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとして実現することもできる。なお、図２４のような構成とした場合においても、使用者における視認性を向上させつつヘッドマウントディスプレイに適した態様となるように、一覧画像における第１の画像と第２の画像の配置を適宜調整することができる。この場合、上記実施形態に例示した配置の例には限られない。
FIG. 24 is an explanatory diagram showing an external configuration of a head mounted display in a modified example. In the example of FIG. 24A, the
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、ＬＣＤと、ＬＣＤ制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、表示駆動部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部と、投写光学系とを備える構成としても良い。また、例えば、表示駆動部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。 For example, in the above embodiment, the display driving unit is configured using a backlight, a backlight control unit, an LCD, an LCD control unit, and a projection optical system. However, the above aspect is merely an example. The display drive unit may include a component for realizing another method together with these components or instead of these components. For example, the display driving unit may include an organic EL (Organic Electro-Luminescence) display, an organic EL control unit, and a projection optical system. Further, for example, the display drive unit can use a digital micromirror device or the like instead of the LCD. Further, for example, the present invention can be applied to a laser retinal projection type head-mounted display device.
例えば、生成部、通知部、画像処理部、表示制御部、音声処理部等の各機能部は、ＣＰＵがＲＯＭやハードディスクに格納されているコンピュータープログラムをＲＡＭに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。 For example, each function unit such as a generation unit, a notification unit, an image processing unit, a display control unit, and an audio processing unit is realized by a CPU developing and executing a computer program stored in a ROM or a hard disk on the RAM. It was described as a thing. However, these functional units may be configured using an ASIC (Application Specific Integrated Circuit) designed to realize the function.
・変形例３：
上記実施形態では、配置処理の一例を示した。しかし、配置処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
・ Modification 3:
In the above embodiment, an example of the arrangement process has been described. However, the arrangement processing procedure is merely an example, and various modifications are possible. For example, some steps may be omitted, and other steps may be added. Further, the order of the steps to be executed may be changed.
例えば、生成部は、領域情報を使用せずに一覧画像を生成してもよい。具体的には、ステップＳ１１６において生成部は、領域情報に代えて、予め定められた座標位置に第１の画像と、第２の画像とを配置することで一覧画像を生成してもよい。他の例として、ステップＳ１１６において生成部は、取得した第１の画像および第２の画像の大きさから動的に計算した座標位置に第１の画像と、第２の画像とを配置することで一覧画像を生成してもよい。このようにすれば、領域情報を必要とせずに一覧画像を生成することができる。 For example, the generation unit may generate the list image without using the area information. Specifically, in step S116, the generation unit may generate the list image by arranging the first image and the second image at predetermined coordinate positions instead of the area information. As another example, in step S116, the generation unit arranges the first image and the second image at coordinate positions dynamically calculated from the sizes of the acquired first image and second image. A list image may be generated by. In this way, a list image can be generated without requiring area information.
例えば、ステップＳ１１４における第１、２の画像の拡大、縮小の処理は省略してもよい。また、例えば、ステップＳ１０４のスマートフォンの認証と、Ｓ１０６のコネクションの確立と、はいずれか一方を省略してもよく、実行順序を入れ替えてもよい。 For example, the enlargement / reduction processing of the first and second images in step S114 may be omitted. Further, for example, either the smartphone authentication in step S104 or the connection establishment in S106 may be omitted, and the execution order may be changed.
例えば、上記実施形態で説明した一覧画像は、２次元的に表現された画像を想定した。しかし、画像処理部は、右眼用画像データーと左眼用画像データーとを異なるデーターとすることで、一覧画像を３次元的に表現してもよい。 For example, the list image described in the above embodiment is assumed to be an image expressed two-dimensionally. However, the image processing unit may represent the list image three-dimensionally by using different data for the right eye image data and the left eye image data.
例えば、生成部は、一覧画像の第１、２の画像に重畳して描画されるポインター画像をそれぞれ異なる画像にするとした。しかし、生成部は、一覧画像の第１の領域に重畳して描画されるポインター画像と、第２の領域に重畳して描画されるポインター画像とを、それぞれ異なる画像とするように、ＯＳに指示してもよい。 For example, the generation unit changes the pointer images drawn to be superimposed on the first and second images of the list image into different images. However, the generation unit causes the OS to make the pointer image drawn superimposed on the first area of the list image and the pointer image drawn drawn superimposed on the second area different from each other. You may instruct.
例えば、一覧画像の第１の画像に重畳して描画されるポインター画像と、第２の画像に重畳して描画されるポインター画像としては、同一の形状で、色や装飾に変化を持たせた画像を用いてもよい。 For example, the pointer image drawn superimposed on the first image of the list image and the pointer image drawn superimposed on the second image have the same shape and have changed colors and decorations. An image may be used.
例えば、一覧画像の第１の画像に重畳して描画されるポインター画像と、第２の画像に重畳して描画されるポインター画像と、を異なる画像とすることに代えて、他の方法を用いて、使用者が操作している画像を視認可能な構成とすることもできる。具体的には、使用者の操作している一方の画像の透過率を下げ、他方の画像の透過率を上げてもよい。また、使用者の操作している一方の画像に対して、外景と比して画像を強調するような色変換処理を施し、他方の画像に対して、外景と画像を同化させるような色変換処理を施してもよい。また、使用者の操作している一方の画像に装飾を施し、他方の画像は未装飾のままとしてもよい。このように、第１の画像と第２の画像の透過率や、色や、装飾の有無を用いて、使用者が操作している画像を視認可能な構成とすることもできる。 For example, instead of making the pointer image drawn superimposed on the first image of the list image and the pointer image drawn superimposed on the second image different from each other, another method is used. Thus, the image operated by the user can be viewed. Specifically, the transmittance of one image operated by the user may be reduced and the transmittance of the other image may be increased. In addition, color conversion that enhances the image compared to the outside scene is performed on one image being operated by the user, and color conversion is performed to assimilate the outside scene and the image on the other image. Processing may be performed. Alternatively, one image being operated by the user may be decorated, and the other image may be left undecorated. In this way, the image operated by the user can be visually recognized using the transmittance, color, and presence / absence of decoration of the first image and the second image.
例えば、上記第２実施形態において、生成部は、フレームを使用せずに第２の画像を生成してもよい。具体的には、生成部は、予め定められた座標位置にアイコン画像を配置することで第２の画像を生成してもよい。他の例として、生成部は、取得したアイコン画像の大きさから動的に計算した座標位置にアイコン画像を配置することで第２の画像を生成してもよい。このようにすれば、フレーム情報を必要とせずに第２の画像を生成することができる。 For example, in the second embodiment, the generation unit may generate the second image without using a frame. Specifically, the generation unit may generate the second image by arranging an icon image at a predetermined coordinate position. As another example, the generation unit may generate the second image by arranging the icon image at a coordinate position dynamically calculated from the size of the acquired icon image. In this way, the second image can be generated without requiring frame information.
例えば、上記第２実施形態において、生成部は、使用者の視線方向を避けるように、動的に第２の画像を生成してもよい。具体的には、上記ヘッドマウントディスプレイにおいて、使用者の眼を撮像するカメラや赤外線センサー等、使用者の視線方向を検出する構成（「視線方向検出部」とも呼ぶ。）を追加する。生成部は、フレーム備える複数の画像リストのうち、検出された視線方向に遠い画像リストを優先的に選択し、アイコン画像の配置を行うこともできる。このようにすれば、第２の画像において、使用者の視線方向を避けた動的なアイコン画像の配置が可能となる。 For example, in the second embodiment, the generation unit may dynamically generate the second image so as to avoid the user's line-of-sight direction. Specifically, in the head mounted display, a configuration for detecting the user's line-of-sight direction (also referred to as “line-of-sight direction detection unit”) such as a camera or an infrared sensor that captures the user's eyes is added. The generation unit can preferentially select an image list far from the detected line-of-sight direction from among a plurality of image lists provided in the frame, and can arrange icon images. In this way, in the second image, it is possible to arrange a dynamic icon image avoiding the user's line-of-sight direction.
・変形例４：
上記実施形態では、通知処理の一例を示した。しかし、通知処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。また、実行されるステップの順序を変更してもよい。
-Modification 4:
In the above embodiment, an example of the notification process has been described. However, the procedure of the notification process is merely an example, and various modifications can be made. For example, some steps may be omitted, and other steps may be added. Further, the order of the steps to be executed may be changed.
・変形例５：
上記実施形態（図３）では、領域情報記憶部に記憶されている領域情報の例を示した。しかし、上記領域情報の詳細はあくまで一例であり、種々の変更が可能である。例えば、構成要素の追加、削除、変更を行うことができる。
-Modification 5:
In the said embodiment (FIG. 3), the example of the area | region information memorize | stored in the area | region information storage part was shown. However, the details of the area information are merely examples, and various changes can be made. For example, a component can be added, deleted, or changed.
例えば、領域情報記憶部には、複数の領域情報が記憶されていてもよい。また、ヘッドマウントディスプレイの使用者の好み（設定）、使用者の視線の動き、使用者の頭の動き、周囲の明るさ等、任意の条件によって、一覧画像を生成する際に使用されるフレームが選択されてもよい。 For example, the area information storage unit may store a plurality of area information. In addition, frames used when generating a list image according to arbitrary conditions such as the user's preference (setting) of the head mounted display, the movement of the user's line of sight, the movement of the user's head, the ambient brightness, etc. May be selected.
・変形例６：
上記第２実施形態（図１１）では、フレーム情報に記憶されているフレームの例を示した。しかし、上記フレームの詳細はあくまで一例であり、種々の変更が可能である。例えば、構成要素の追加、削除、変更を行うことができる。
Modification 6:
In the second embodiment (FIG. 11), examples of frames stored in the frame information are shown. However, the details of the frame are merely examples, and various changes can be made. For example, a component can be added, deleted, or changed.
例えば、フレーム情報には、複数のフレームが記憶されていてもよい。また、ヘッドマウントディスプレイの使用者の好み（設定）、使用者の視線の動き、使用者の頭の動き、周囲の明るさ等、任意の条件によって、第２の画像を生成する際に使用されるフレームが選択されてもよい。 For example, a plurality of frames may be stored in the frame information. In addition, it is used when generating the second image according to arbitrary conditions such as the user's preference (setting) of the head mounted display, the movement of the user's line of sight, the movement of the user's head, the ambient brightness, etc. A frame may be selected.
例えば、フレームは、２つの画像リストＬＴ１、ＬＴ２を有するものとした。しかし、フレームが有する画像リストは１つでもよいし、３つ以上でもよい。また、画像リスト内の画像枠の形状、大きさ、個数は任意に定めることができる。さらに、フレームの領域の大きさ（縦横比）は、領域情報の第２の領域と同じ大きさ（縦横比）でなくともよい。 For example, a frame has two image lists LT1 and LT2. However, the frame may have one image list or three or more image lists. Further, the shape, size, and number of image frames in the image list can be arbitrarily determined. Further, the size (aspect ratio) of the region of the frame may not be the same size (aspect ratio) as the second region of the region information.
・変形例７：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
Modification 7:
The present invention is not limited to the above-described embodiments, examples, and modifications, and can be realized with various configurations without departing from the spirit thereof. For example, the technical features in the embodiments, examples, and modifications corresponding to the technical features in each embodiment described in the summary section of the invention are to solve some or all of the above-described problems, or In order to achieve part or all of the above-described effects, replacement or combination can be performed as appropriate. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.
１０…制御部
２０…画像表示部
２２…右表示駆動部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…接続部
５１…送信部
５２…送信部
５３…受信部
１００、１００ａ、１００ｂ…ヘッドマウントディスプレイ（頭部装着型表示装置）
１００ｘ…ヘッドマウントディスプレイ（外部装置）
１００ｙ…ヘッドマウントディスプレイ（外部装置）
１１０…入力情報取得部（操作取得部）
１２０…記憶部
１２２…領域情報記憶部
１２４…フレーム情報
１３０…電源
１３２…無線通信部（取得部）
１４０…ＣＰＵ
１４２、１４２ａ、１４２ｂ…生成部（取得部、生成部）
１４４、１４４ａ…通知部（第１の通知部）
１４４ｂ…通知部（第１の通知部、第２の通知部）
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…スマートフォン（外部装置）
１０００、１０００ａ、１０００ｂ…画像表示システム
Ｄａｔａ…画像データー
Ｂ１〜Ｂ１０…画像枠
ＢＣ…太枠
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＡＩ、ＡＩｂ…領域情報
ＶＩ…虚像
ＶＲ…視野
ＦＭ１…フレーム
ＩＭ１…第１の画像
ＩＭ２…第２の画像
ＩＭ３…第３の画像
ＰＯ１…ポインター画像
ＰＯ２…ポインター画像
ＡＲ１…第１の領域
ＡＲ２…第２の領域
ＡＲ３…第３の領域
ＬＴ１…画像リスト
ＬＴ２…画像リスト
ＩＮＴ…インターネット
DESCRIPTION OF
100x ... Head mounted display (external device)
100y ... Head mounted display (external device)
110: Input information acquisition unit (operation acquisition unit)
DESCRIPTION OF
140 ... CPU
142, 142a, 142b ... generating unit (acquiring unit, generating unit)
144, 144a ... Notification unit (first notification unit)
144b ... Notification unit (first notification unit, second notification unit)
DESCRIPTION OF
1000, 1000a, 1000b ... Image display system Data ... Image data B1 to B10 ... Image frame BC ... Thick frame SC ... Outside view RE ... Right eye LE ... Left eye AI, AIb ... Area information VI ... Virtual image VR ... Field of view FM1 ... Frame IM1 ... first image IM2 ... second image IM3 ... third image PO1 ... pointer image PO2 ... pointer image AR1 ... first area AR2 ... second area AR3 ... third area LT1 ... image list LT2 ... image List INT ... Internet
Claims (15)
前記頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する生成部と、
前記生成された一覧画像を表す前記虚像を形成する画像表示部と、
前記画像表示部を制御する制御部と、
前記外部装置から前記第１の画像を取得する取得部と、
を備え、
前記生成部は、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像を生成し、
前記制御部には、前記外部装置が用いられ、
前記外部装置は、前記外部装置の入力デバイスに対する操作入力に応じた信号を取得する入力情報取得部を備える、
頭部装着型表示装置。 A head-mounted display device that allows a user to visually recognize a virtual image and an outside scene,
A generating unit that generates a list image including a first image that is a display image of an external device connected to the head-mounted display device and a second image that the head-mounted display device has; ,
An image display unit for forming the virtual image representing the generated list image;
A control unit for controlling the image display unit;
An acquisition unit for acquiring the first image from the external device;
With
The generation unit includes the list in which the acquired first image is arranged in a first area, and the second image is arranged in a second area different from the first area. Generate an image,
The control unit uses the external device,
The external device includes an input information acquisition unit that acquires a signal according to an operation input to the input device of the external device.
Head-mounted display device.
前記生成部は、前記頭部装着型表示装置における現在の表示画像を前記第２の画像とする、頭部装着型表示装置。 The head-mounted display device according to claim 1 ,
The generation unit is a head-mounted display device in which a current display image on the head-mounted display device is the second image.
前記生成部は、前記頭部装着型表示装置が有するアイコン画像の配置を変更することで前記第２の画像を生成する、頭部装着型表示装置。 The head-mounted display device according to claim 1 ,
The generation unit is a head-mounted display device that generates the second image by changing an arrangement of icon images of the head-mounted display device.
前記生成部は、前記第２の画像を生成する際に、さらに、前記アイコン画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施する、頭部装着型表示装置。 The head-mounted display device according to claim 3 ,
When the generation unit generates the second image, the generation unit further changes the shape, the transmittance, the color, the size, and the decoration on the icon image. And a head-mounted display device that implements at least one of the above.
前記生成部は、さらに、前記第１の画像と前記第２の画像とのうちの少なくとも一方の画像の大きさを変更し、前記変更後の前記画像を用いて前記一覧画像を生成する、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 4 ,
The generation unit further changes a size of at least one of the first image and the second image, and generates the list image using the changed image. Part-mounted display device.
前記生成部は、さらに、前記第１の画像と前記第２の画像とのうちの少なくとも一方の画像に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施し、前記実施後の前記画像を用いて前記一覧画像を生成する、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 5 ,
The generation unit further changes the shape, the transmittance, the color, and the size of at least one of the first image and the second image. And a head-mounted display device that performs at least one of decoration and generates the list image using the image after the execution.
前記一覧画像に対する前記使用者の操作を取得する操作取得部と、
前記取得された操作が、前記第１の画像に対する操作であった場合に、前記外部装置に対して前記操作を通知する第１の通知部を備える、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 6 , further comprising:
An operation acquisition unit for acquiring an operation of the user with respect to the list image;
A head-mounted display device comprising a first notification unit that notifies the external device of the operation when the acquired operation is an operation on the first image.
前記画像表示部は、前記一覧画像に対して、さらに、ポインター画像を重畳させた前記虚像を形成し、
前記生成部は、前記第１の画像に重畳される前記ポインター画像と、前記第２の画像に重畳される前記ポインター画像と、を異なる画像とさせる、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 7 ,
The image display unit further forms a virtual image in which a pointer image is superimposed on the list image,
The head-mounted display device, wherein the generation unit causes the pointer image superimposed on the first image and the pointer image superimposed on the second image to be different images.
前記生成部は、さらに、前記第１の画像の重畳される前記ポインター画像と、前記第２の画像に重畳される前記ポインター画像と、のうちの少なくとも一方に対して、形状の変更と、透過率の変更と、色の変更と、大きさの変更と、装飾の付与と、のうちの少なくともいずれかを実施させることで、各前記ポインター画像を異なる画像とさせる、頭部装着型表示装置。 The head-mounted display device according to claim 8 ,
The generating unit may further change a shape and transmit at least one of the pointer image superimposed on the first image and the pointer image superimposed on the second image. A head-mounted display device that causes each pointer image to be a different image by performing at least one of a rate change, a color change, a size change, and a decoration.
前記画像表示部は、前記一覧画像に対して、さらに、ポインター画像を重畳させた前記虚像を形成し、
前記ポインター画像が前記第１の画像に重畳されている場合に、前記外部装置の表示画像において、前記ポインター画像が重畳されている位置に対応する位置に前記外部装置用のポインター画像を重畳させるための位置情報を、前記外部装置に対して通知する第２の通知部を備える、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 9 ,
The image display unit further forms a virtual image in which a pointer image is superimposed on the list image,
When the pointer image is superimposed on the first image, in the display image of the external device, the pointer image for the external device is superimposed at a position corresponding to the position where the pointer image is superimposed A head-mounted display device comprising a second notification unit that notifies the external device of the position information.
前記画像表示部は、前記頭部装着型表示装置の入力デバイスにおける指示体の動きと、前記使用者の視線の動きと、のうちの少なくともいずれか一方に基づいて決定された位置に前記ポインター画像が重畳された前記虚像を形成する、頭部装着型表示装置。 The head-mounted display device according to any one of claims 8 to 10 ,
The image display unit includes the pointer image at a position determined based on at least one of a movement of an indicator in the input device of the head-mounted display device and a movement of the line of sight of the user. A head-mounted display device that forms the virtual image on which is superimposed.
前記取得部は、一の前記外部装置から前記第１の画像を取得すると共に、他の前記外部装置から、前記他の外部装置の表示画像である第３の画像を取得し、
前記生成部は、前記第１の領域および前記第２の領域とは異なる第３の領域に対して、前記第３の画像が配置された前記一覧画像を生成する、頭部装着型表示装置。 The head-mounted display device according to any one of claims 1 to 11 ,
The acquisition unit acquires the first image from one external device, and acquires a third image that is a display image of the other external device from another external device,
The head mounted display device, wherein the generation unit generates the list image in which the third image is arranged for a third region different from the first region and the second region.
（ａ）前記頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する工程と、
（ｂ）前記生成された一覧画像を表す虚像を形成する工程と、
（ｃ）入力デバイスに対する操作入力に応じた信号を取得する前記外部装置が前記虚像の形成を制御する工程と、
（ｄ）前記外部装置から前記第１の画像を取得する取得する工程と、
を備え、
前記（ａ）工程では、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像が生成される、方法。 A method for controlling a head-mounted display device,
(A) A list image including a first image that is a display image of an external device connected to the head-mounted display device and a second image that the head-mounted display device has is generated. Process,
(B) forming a virtual image representing the generated list image;
(C) a step of controlling the formation of the virtual image by the external device that acquires a signal corresponding to an operation input to the input device;
(D) acquiring the first image from the external device;
Equipped with a,
In the step (a), the acquired first image is arranged in a first area, and the second image is arranged in a second area different from the first area. The method wherein the list image is generated .
頭部装着型表示装置に接続されている外部装置の表示画像である第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する機能と、
前記生成された一覧画像を表す虚像を、前記頭部装着型表示装置に形成させる機能と、
入力デバイスに対する操作入力に応じた信号を取得する前記外部装置に前記虚像の形成を制御させる機能と、
前記外部装置から前記第１の画像を取得する機能と、
をコンピューターに実現させ、
前記一覧画像を生成する機能は、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像を生成する機能を含む、コンピュータープログラム。 A computer program,
A function of generating a list image including a first image that is a display image of an external device connected to the head-mounted display device and a second image that the head-mounted display device has;
A function of causing the head-mounted display device to form a virtual image representing the generated list image;
A function of controlling the formation of the virtual image by the external device that acquires a signal corresponding to an operation input to the input device;
A function of acquiring the first image from the external device;
To the computer ,
The function of generating the list image is such that the acquired first image is arranged in a first area, and the second image is arranged in a second area different from the first area. A computer program including a function of generating the list image .
使用者が虚像と外景を視認可能な頭部装着型表示装置と、
前記頭部装着型表示装置に接続されている外部装置と、
を備え、
前記外部装置は、
前記外部装置の表示画像である第１の画像を取得すると共に、前記取得された第１の画像を前記頭部装着型表示装置へ送信する送信部を備え、
前記頭部装着型表示装置は、
前記第１の画像と、前記頭部装着型表示装置が有する第２の画像と、を含む一覧画像を生成する生成部と、
前記生成された一覧画像を表す前記虚像を形成する画像表示部と、
前記外部装置から前記第１の画像を取得する取得部と、
を備え、
前記生成部は、第１の領域に対して前記取得された第１の画像が配置され、前記第１の領域とは異なる第２の領域に対して前記第２の画像が配置された前記一覧画像を生成し、
前記外部装置は、前記画像表示部を制御する制御部として用いられ、
前記外部装置は、前記外部装置の入力デバイスに対する操作入力に応じた信号を取得する入力情報取得部を備える、画像表示システム。 An image display system,
A head-mounted display device that allows a user to visually recognize a virtual image and an outside scene;
An external device connected to the head-mounted display device;
With
The external device is
A transmission unit that acquires a first image that is a display image of the external device and transmits the acquired first image to the head-mounted display device,
The head-mounted display device is
A generating unit that generates a list image including the first image and the second image of the head-mounted display device;
An image display unit for forming the virtual image representing the generated list image;
An acquisition unit for acquiring the first image from the external device;
With
The generation unit includes the list in which the acquired first image is arranged in a first area, and the second image is arranged in a second area different from the first area. Generate an image,
The external device is used as a control unit that controls the image display unit,
The image display system, wherein the external device includes an input information acquisition unit that acquires a signal corresponding to an operation input to the input device of the external device.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014106842A JP6492419B2 (en) | 2014-05-23 | 2014-05-23 | Head-mounted display device, method for controlling head-mounted display device, computer program, image display system, and information processing device |
| US14/454,302 US20150062164A1 (en) | 2013-09-05 | 2014-08-07 | Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus |
| CN201410442968.XA CN104423583B (en) | 2013-09-05 | 2014-09-02 | Head-mount type display unit, image display system and information processing unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014106842A JP6492419B2 (en) | 2014-05-23 | 2014-05-23 | Head-mounted display device, method for controlling head-mounted display device, computer program, image display system, and information processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015222891A JP2015222891A (en) | 2015-12-10 |
| JP6492419B2 true JP6492419B2 (en) | 2019-04-03 |
Family
ID=54785711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014106842A Active JP6492419B2 (en) | 2013-09-05 | 2014-05-23 | Head-mounted display device, method for controlling head-mounted display device, computer program, image display system, and information processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6492419B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102662708B1 (en) * | 2016-10-17 | 2024-05-03 | 엘지전자 주식회사 | Head mounted display device |
| JP6845111B2 (en) | 2017-08-23 | 2021-03-17 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and image display method |
| JP7200637B2 (en) * | 2017-12-25 | 2023-01-10 | 株式会社リコー | Head-mounted display and display system |
| US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
| US11567627B2 (en) * | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
| CN110196629A (en) * | 2018-02-27 | 2019-09-03 | 优酷网络技术（北京）有限公司 | Virtual reality interface shows control method and device |
| US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
| CN116224596A (en) | 2018-06-25 | 2023-06-06 | 麦克赛尔株式会社 | Head-mounted display, head-mounted display collaboration system and method thereof |
| JP7065730B2 (en) * | 2018-08-28 | 2022-05-12 | 株式会社Ｎｔｔドコモ | Wearable terminal and display system |
| JP7210406B2 (en) * | 2019-08-23 | 2023-01-23 | 株式会社日立エルジーデータストレージ | Light guide plate, light guide plate manufacturing apparatus, light guide plate manufacturing method, and image display device using the same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0660025A (en) * | 1992-08-11 | 1994-03-04 | Hitachi Ltd | Electronic interaction system |
| JP5957875B2 (en) * | 2011-12-26 | 2016-07-27 | ソニー株式会社 | Head mounted display |
| JP2013172432A (en) * | 2012-02-23 | 2013-09-02 | Panasonic Corp | Equipment control apparatus, equipment control method, equipment control program, and integrated circuit |
| JP5664677B2 (en) * | 2013-02-19 | 2015-02-04 | ソニー株式会社 | Imaging display device and imaging display method |
-
2014
- 2014-05-23 JP JP2014106842A patent/JP6492419B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015222891A (en) | 2015-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6492419B2 (en) | Head-mounted display device, method for controlling head-mounted display device, computer program, image display system, and information processing device | |
| JP6209906B2 (en) | Head-mounted display device, method for controlling head-mounted display device, and image display system | |
| CN104423583B (en) | Head-mount type display unit, image display system and information processing unit | |
| CN104469464B (en) | Image display device, method for controlling image display device, computer program, and image display system | |
| JP6206099B2 (en) | Image display system, method for controlling image display system, and head-mounted display device | |
| US9784976B2 (en) | Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program | |
| US10133532B2 (en) | Display system, display device, information display method, and program | |
| JP6379572B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
| JP2016126365A (en) | Display system, display device, information display method, and program | |
| CN107077363B (en) | Information processing apparatus, method of controlling information processing apparatus, and recording medium | |
| JP6303274B2 (en) | Head-mounted display device and method for controlling head-mounted display device | |
| JP2018137505A (en) | Display device and control method thereof | |
| JP6229381B2 (en) | Head-mounted display device, method for controlling head-mounted display device, image display system, and information processing device | |
| JP2017182228A (en) | Input device, input method, and computer program | |
| JP6638392B2 (en) | Display device, display system, display device control method, and program | |
| JP2015227919A (en) | Image display device, control method of the same, computer program and image display system | |
| JP6740613B2 (en) | Display device, display device control method, and program | |
| JP2015064476A (en) | Image display device, and method of controlling image display device | |
| JP2017062650A (en) | Display system, display unit, information display method, and program | |
| JP6828235B2 (en) | Head-mounted display device, how to share the display of the head-mounted display device, computer program | |
| JP2016142966A (en) | Head-mounted display device, information processing device, image display device, image display system, method of sharing displayed images of head-mounted display device, and computer program | |
| JP6394174B2 (en) | Head-mounted display device, image display system, method for controlling head-mounted display device, and computer program | |
| JP2016092567A (en) | Head-mounted display device, control method for head-mounted display device, and computer program | |
| JP6287399B2 (en) | Head-mounted display device and method for controlling head-mounted display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160530 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190218 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6492419 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |