JP2001056446A - Head-mounted display device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To make a head-mounted display device which is made smaller in size and lighter in weight by imparting the matching property between real images and imaginary images, eliminating the deviation in the timing between both images and imparting the convenience of a line-of-sight input operation function and is provided with an extremely high degree of an information processing function as a head-mounted mobile tool. SOLUTION: The array-like image light from an LED array 9 is made incident via an objective lens 10 on a drive mirror 11 and the reflected rays are made incident via half mirrors 7a and 7b on eyepiece lenses 8a and 8b to project the imaginary images on virtual screens 50a and 50b. The real image light past window parts 3a and 3b is made incident on the objective lenses 6a and 6b, the half mirrors 7a and 7b and the eyepiece lenses 8a and 8b, by which the real images and the imaginary images are superposed on each other. The cursor image is outputted by the LED array 9 and is superposed on the real images. The cursor image is displaced in the real images according to the direction of the line of sight and a desired region is assigned. Image processing, such as, character extraction and interpretation, is executed in this assigned region and the result are projected.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、使用者の視界で現
実画像と架空画像を重ね合わせて見るヘッドマウントデ
ィスプレイ装置に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a head-mounted display device in which a real image and an imaginary image are superimposed and viewed in a field of view of a user.

【０００２】[0002]

【従来の技術】ゴーグルのように頭部に装着して、実際
に見ている現実画像と、人工的に生成した架空画像とを
同時に見ることができる「ミックスド・リアリティ」
（現実と架空の複合）を視覚的に展開するヘッドマウン
トディスプレイ装置（ＨＭＤ）についての技術について
は、すでに幾つかの提案がなされている。例えば、本出
願人の特許出願にかかわる特開平８−２２７０５４号公
報、同じく本出願人の特許出願にかかわる特願平１０−
３１７５４６号、また、別出願人による特開平９−２１
１３７４号公報、特開平９−２１１３７５号公報、特開
平９−２１１３７７号公報、特開平１１−８４３０６号
公報などに開示された技術がある。2. Description of the Related Art "Mixed reality" that allows a user to simultaneously view a real image actually viewed and an artificially generated fictional image by wearing it on the head like goggles.
Some proposals have already been made on the technology of a head mounted display device (HMD) that visually develops (combination of reality and imaginary). For example, Japanese Patent Application Laid-Open No. Hei 8-227504 related to the applicant's patent application and Japanese Patent Application No.
317546, and Japanese Patent Application Laid-Open No. 9-21 by another applicant.
There are techniques disclosed in 1374, JP-A-9-21375, JP-A-9-212377, JP-A-11-84306, and the like.

【０００３】[0003]

【発明が解決しようとする課題】しかしながら、上記の
いずれの公報においても、現実画像の見え方を適正にす
ると、架空画像の見え方に不具合が生じるといった問題
や、逆に、架空画像の見え方を適正にすると、現実画像
の見え方に不具合が生じるといった問題があった。それ
は、主として、現実画像の光学系と架空画像の光学系と
の間の整合性の問題である。そこで、本発明は、現実画
像と架空画像との間の整合性がある、そして、現実画像
と架空画像との間でタイミングのずれのない良好なミッ
クスド・リアリティの得られるヘッドマウントディスプ
レイ装置を提供することを目的としている。さらに、視
線入力操作機能をもっていて利便性が高く、また、頭部
に装着するモバイルツールとして高度な情報処理機能を
もち、あるいは、より小型・軽量で使い勝手の優れたヘ
ッドマウントディスプレイ装置を提供することを目的と
している。However, in any of the above publications, if the appearance of the real image is made appropriate, the appearance of the imaginary image becomes inconvenient, or conversely, the appearance of the imaginary image. There is a problem in that if the value is made appropriate, the appearance of a real image will be inconvenient. It is mainly a matter of consistency between the optical system of the real image and the optical system of the fictitious image. Therefore, the present invention provides a head-mounted display device that has consistency between a real image and an imaginary image, and that can obtain a good mixed reality without a timing shift between the real image and the imaginary image. It is intended to provide. Further, to provide a highly convenient head-mounted display device having a line-of-sight input operation function, and having a sophisticated information processing function as a mobile tool to be worn on the head, or a smaller, lighter, and easier to use. It is an object.

【０００４】[0004]

【課題を解決するための手段】第１の発明のヘッドマウ
ントディスプレイ装置は、使用者の視界で現実画像と架
空画像を重ね合わせて見るということを前提とするもの
である。そして、架空画像を視認するための光学系とし
て、架空画像出力手段とハーフミラーと接眼レンズを設
けてある。さらに、架空画像に重ね合わせるべき現実画
像を視認するための光学系として、視界の前方に対物レ
ンズを設けるとともに、前記の架空画像の光学系におけ
るハーフミラーと接眼レンズとを通して現実画像を視認
するように構成してある。この構成によると、次のよう
な作用がある。すなわち、架空画像出力手段によって出
力された架空画像の光線はハーフミラーによって反射さ
れ、その反射光線が接眼レンズを介して目に入ることに
より、架空画像が使用者の視界に見えることになる。一
方、現実画像の光線は対物レンズを介して入光し、ハー
フミラーを透過し、接眼レンズを介して目に入ることに
より、現実画像が使用者の視界に見えることになる。し
たがって、使用者の視界には現実画像と架空画像とが重
ね合わさった状態で見えることになる。現実画像の光学
系における対物レンズの光学的性状（焦点距離、凸レン
ズ・凹レンズの別など）を適当に定めることにより、現
実画像の見え方を適正なものとしつつ、その現実画像に
整合する状態で架空画像を重ね合わせることが可能とな
る。The head-mounted display device of the first invention is based on the premise that a real image and an imaginary image are superimposed and viewed in the field of view of the user. As an optical system for visually recognizing an imaginary image, an imaginary image output unit, a half mirror, and an eyepiece are provided. Furthermore, as an optical system for visually recognizing a real image to be superimposed on the virtual image, an objective lens is provided in front of the field of view, and the real image is visually recognized through a half mirror and an eyepiece in the optical system for the virtual image. It is configured in. According to this configuration, the following operation is provided. That is, the light beam of the fictitious image output by the fictitious image output means is reflected by the half mirror, and the reflected light beam enters the eyes via the eyepiece, so that the fictitious image can be seen in the field of view of the user. On the other hand, the light beam of the real image enters through the objective lens, passes through the half mirror, and enters the eye through the eyepiece, so that the real image is seen in the field of view of the user. Therefore, in the user's field of view, the real image and the imaginary image are seen in a superimposed state. By appropriately determining the optical properties (focal length, distinction of convex lens / concave lens, etc.) of the objective lens in the optical system of the real image, it is possible to make the appearance of the real image appropriate and to match the real image. It is possible to superimpose fictitious images.

【０００５】第２の発明のヘッドマウントディスプレイ
装置は、上記第１の発明において、前記現実画像の光学
系における現実画像取込み手段を、その光学系における
前記対物レンズの前方に配置した窓部としたものであ
る。この構成によると、現実画像はその窓部を通して直
接に見ることができ、その直接に見ている現実画像に対
して架空画像を重ね合わせた状態で見ることができる。A head-mounted display device according to a second aspect of the present invention is the head-mounted display device according to the first aspect, wherein the real image capturing means in the optical system for the real image is a window disposed in front of the objective lens in the optical system. Things. According to this configuration, the real image can be viewed directly through the window, and the imaginary image can be viewed in a state where the imaginary image is superimposed on the directly viewed real image.

【０００６】第３の発明のヘッドマウントディスプレイ
装置は、上記第２の発明において、前記現実画像の光学
系における現実画像取込み手段を、現実画像を撮像する
例えばＣＣＤカメラなどの撮像手段と、現実画像の光学
系における前記対物レンズの前方に配置されて前記撮像
手段によって撮像される現実画像を映出する例えば液晶
ディスプレイなどの表示手段とで構成したものである。
この構成によると、撮像手段によって撮像した現実画像
の画像データを表示手段に転送して、この表示手段に現
実画像を映出させ、その映出された現実画像を対物レン
ズ、ハーフミラーおよび接眼レンズを介して見ることに
なる。すなわち、現実画像は、架空画像出力手段によっ
て与えられる架空画像と同様に、電子的に生成されたも
のであるから、双方の出力のタイミングを合わせること
が可能となり、重ね合わせられて見える現実画像と架空
画像との間のタイミングのずれを使用者に感じさせない
ですみ、より良好なミックスド・リアリティが得られ
る。A head-mounted display device according to a third aspect of the present invention is the head-mounted display device according to the second aspect, wherein the real image capturing means in the optical system of the real image includes an imaging means such as a CCD camera for capturing a real image; And a display means such as a liquid crystal display for displaying a real image picked up by the image pickup means, which is arranged in front of the objective lens in the optical system.
According to this configuration, the image data of the real image captured by the imaging unit is transferred to the display unit, the real image is projected on the display unit, and the projected real image is displayed on the objective lens, the half mirror, and the eyepiece. Will be seen through. In other words, the real image is generated electronically, like the fictitious image provided by the fictitious image output means, so that the output timing of both can be synchronized, and the real image is viewed as being superimposed. The user does not feel the difference in timing between the virtual image and the imaginary image, and better mixed reality can be obtained.

【０００７】第４の発明のヘッドマウントディスプレイ
装置は、上記第１の発明と同様に、使用者の視界で現実
画像と架空画像を重ね合わせて見るということを前提と
して、架空画像を視認するための光学系として架空画像
出力手段とハーフミラーと接眼レンズを設け、現実画像
を視認するための光学系として対物レンズを設けるとと
もに前記の架空画像の光学系におけるハーフミラーと接
眼レンズを通して現実画像を視認するように構成してあ
る。そして、現実画像を撮像するＣＣＤカメラなどの撮
像手段と、使用者の視線方向を検出する視線検出手段と
を設けてある。加えて、前記架空画像の光学系を介して
架空画像が展開される仮想スクリーン上での架空画像の
一種である領域指定用のカーソル画像の位置を前記視線
検出手段が検出する視線方向に応じて変位させる手段を
設け、さらに、そのカーソル画像の位置を前記撮像手段
が撮像した現実画像の画像データの座標平面上で対応付
けて確定する手段と、その位置が確定されたカーソル画
像によって指定される現実画像の画像データ上での指定
領域のデータを抽出する手段と、その抽出したデータを
画像処理する手段とを設けたものである。この構成にお
いては、使用者が見る現実画像は、上記第２の発明のよ
うに窓部を通して直接見るものであってもよいし、ある
いは上記第３の発明のように撮像手段によって撮像した
現実画像を表示手段に映出したものを見るものであって
もよい。抽出した画像データの画像処理としては、言語
の翻訳をはじめとして任意のものの採用が可能である。
いうまでもなく使用者の視野は二次元的に広がってい
る。しかし、使用者が視覚を通じて認識するのは、その
二次元的な視野の全領域において均等というわけにはい
かない。使用者の眼球の視線方向に対応する視野角３〜
４度程度の狭い領域に限定して鮮明に見えるものであ
り、その明視の領域から遠ざかるにつれて次第にぼやけ
てくるものである。一方、現実画像のうちで画像処理を
行いたい領域としては、選択性をもたせるようにするこ
とが望ましい。すなわち、画像処理を行いたい領域のみ
が見えているというのではなく、視野の全領域の中に見
えているもののうちから画像処理を行いたい領域を探す
ようにすることの方が合理的である。以上のような理由
で、視野はなるべく広くし、その中で視線方向に応じた
領域を選択して画像処理を行うようにするのが好ましい
ことになる。そこで、上記のように視線検出手段を設け
てある。使用者が現に見ている現実画像が窓部を通して
の直接のものであれ、表示手段に映出されたものであ
れ、その現実画像の中で視線検出手段が検出した視線方
向が指し示す現実画像上での二次元平面での座標の確定
に際しては、もちろん情報処理を行う必要がある。その
情報処理のために、使用者が現に見ている現実画像と対
応する状態でその現実画像を撮像する撮像手段が必要と
なっている。使用者が現に見ている現実画像が窓部を通
してのものであれ、表示手段に映出されたものであれ、
架空画像出力手段による架空画像として領域指定用のカ
ーソル画像を出力し、画像処理を行いたい領域に視線を
移すと、視線検出手段が検出した視線方向に応じてカー
ソル画像が変位するようにする。その結果、使用者が視
界内で見ている方向がいずれの方向に変化しても、それ
に追従してカーソル画像が変位し、見ている位置に対応
してカーソル画像が見えていることになる。これもミッ
クスド・リアリティである。そして、撮像手段が撮像し
た現実画像の画像データの座標平面上における座標に対
してカーソル画像の位置ひいては視線方向が指し示す位
置を対応付けることにより、はじめて電子的に両者が関
係付けられる。すなわち、ただ単に、見ている現実画像
の所望の領域にカーソル画像を位置合わせして確定する
だけでは、情報処理上では実際には現実画像の所望領域
とカーソル画像との関連付けを実現できない。それを実
現するには、撮像手段によって撮像した画像データが不
可欠となるのである。以上のようにして、撮像した現実
画像の画像データの座標平面上でカーソル画像の位置を
対応付けて確定し、位置確定されたカーソル画像が指定
する現実画像の画像データ上での指定領域のデータを抽
出して所望の画像処理を行うことができる。これは、一
般的なディスプレイ画面上におけるタッチパネル式の処
理に似ている。つまり、この第４の発明は、ヘッドマウ
ントディスプレイ装置においてミックスド・リアリティ
と、いわば視線による領域指定というタッチパネル的な
選択操作性とを実現するのである。A head-mounted display device according to a fourth aspect of the present invention is for visually recognizing an imaginary image on the assumption that a real image and an imaginary image are superimposed and viewed in a user's field of view, as in the first aspect of the invention. An imaginary image output means, a half mirror and an eyepiece are provided as an optical system, and an objective lens is provided as an optical system for visually recognizing a real image, and a real image is visually recognized through a half mirror and an eyepiece in the optical system for the fictitious image. It is configured to do so. An image pickup device such as a CCD camera for picking up a real image and a line-of-sight detection unit for detecting the line-of-sight direction of the user are provided. In addition, the position of the cursor image for area designation, which is a type of fictitious image on the virtual screen on which the fictitious image is developed via the optical system of the fictitious image, is determined according to the gaze direction detected by the gaze detection unit. Means for displacing, furthermore, means for associating the position of the cursor image on the coordinate plane of the image data of the real image captured by the imaging means, and the position is specified by the determined cursor image There are provided means for extracting data of a designated area on image data of a real image, and means for performing image processing on the extracted data. In this configuration, the real image viewed by the user may be directly viewed through the window as in the second invention, or may be a real image captured by the imaging unit as in the third invention. May be viewed on the display means. As the image processing of the extracted image data, it is possible to employ any processing including language translation.
Needless to say, the field of view of the user is two-dimensionally widened. However, what the user perceives through vision is not equal in all areas of the two-dimensional visual field. Viewing angle 3 to 3 corresponding to the gaze direction of the user's eyeball
It is clearly visible only in a narrow area of about 4 degrees, and gradually blurs away from the area of clear vision. On the other hand, it is desirable that a region to be subjected to image processing in the real image has selectivity. In other words, it is more reasonable to search for the area for which image processing is to be performed among those that are visible in the entire area of the visual field, instead of only seeing the area for which image processing is to be performed. . For the reasons described above, it is preferable that the field of view is made as wide as possible, and an area corresponding to the direction of the line of sight is selected for image processing. Therefore, the line-of-sight detecting means is provided as described above. Regardless of whether the real image that the user is actually viewing is directly through the window or projected on the display means, the real image indicated by the gaze direction detected by the gaze detection means in the real image. When the coordinates on the two-dimensional plane are determined, it is of course necessary to perform information processing. For the information processing, an imaging unit for capturing the real image in a state corresponding to the real image currently being viewed by the user is required. Whether the actual image that the user is actually viewing is through a window or projected on display means,
When an imaginary image output unit outputs a cursor image for specifying an area as an imaginary image and shifts the line of sight to an area where image processing is to be performed, the cursor image is displaced according to the line of sight detected by the line of sight detection unit. As a result, even if the direction in which the user looks in the field of view changes in any direction, the cursor image is displaced in accordance with the direction, and the cursor image is seen corresponding to the viewing position. . This is also mixed reality. Then, by associating the position of the cursor image, and thus the position indicated by the line of sight, with the coordinates on the coordinate plane of the image data of the real image captured by the imaging unit, the two are electronically related only. In other words, simply by aligning the cursor image with the desired area of the real image being viewed and determining the cursor image, it is not possible to actually associate the desired area of the real image with the cursor image in information processing. In order to achieve this, image data captured by the imaging means is indispensable. As described above, the position of the cursor image is determined in association with the coordinate plane of the image data of the captured real image, and the data of the designated area on the image data of the real image specified by the position-determined cursor image To perform desired image processing. This is similar to a touch panel type process on a general display screen. In other words, the fourth aspect of the present invention realizes mixed reality and a touch panel-like selection operability, that is, a so-called area designation by a line of sight in a head-mounted display device.

【０００８】第５の発明のヘッドマウントディスプレイ
装置は、上記第４の発明において、前記現実画像の光学
系における前記対物レンズの前方に表示手段を配置し、
前記撮像手段によって撮像される現実画像を前記表示手
段に表示するように構成したものである。この場合、撮
像手段が上記第４の発明にいうカーソル画像と現実画像
とを関連付けるための手段として機能するとともに、表
示手段に映出して使用者に視認させる現実画像の取込み
手段としても機能することになる。上記第３の発明と同
様に、現実画像と架空画像であるカーソル画像の双方の
出力のタイミングを合わせることが可能となり、重ね合
わせられて見える現実画像と架空画像との間にタイミン
グのずれを使用者に感じさせないですみ、より良好なミ
ックスド・リアリティが得られる。それだけでなく、現
実画像とカーソル画像との関連付けを時間のずれなく高
精度に実現することができる。According to a fifth aspect of the present invention, in the head mounted display device according to the fourth aspect, display means is disposed in front of the objective lens in the optical system of the real image,
A real image picked up by the image pickup means is displayed on the display means. In this case, the imaging means functions as a means for associating the cursor image with the real image according to the fourth aspect of the present invention, and also functions as a real image capturing means that is projected on the display means and visually recognized by the user. become. As in the third aspect, it is possible to match the output timing of both the real image and the cursor image, which is an imaginary image, and to use a timing shift between the real image and the imaginary image that appear to be superimposed. It does not make people feel, and a better mixed reality is obtained. In addition, the association between the real image and the cursor image can be realized with high accuracy without time lag.

【０００９】第６の発明のヘッドマウントディスプレイ
装置は、上記第４または第５の発明において、前記画像
処理する手段として、前記抽出したデータを別の形態の
データに変換する機能を備えたものとしてある。第７の
発明のヘッドマウントディスプレイ装置は、上記第６の
発明をより具体的に表現するものであって、前記画像処
理する手段として、前記抽出したデータが文字データで
あるときに、その文字データを別の言語の文字データに
変換する翻訳機能を備えたものとしてある。このような
構成によると、頭部に装着するモバイルツールとしての
ヘッドマウントディスプレイ装置において、高度な情報
処理の一つであるデータ変換を実現でき、あるいは翻訳
機能を実現することができる。A head-mounted display device according to a sixth aspect of the present invention is the head-mounted display device according to the fourth or fifth aspect, wherein the image processing means has a function of converting the extracted data into data of another form. is there. A head-mounted display device according to a seventh aspect of the present invention more specifically expresses the sixth aspect of the present invention, wherein, when the extracted data is character data, Is provided with a translation function for converting the character data into character data of another language. According to such a configuration, in a head mounted display device as a mobile tool worn on the head, data conversion, which is one of advanced information processing, or a translation function can be realized.

【００１０】第８の発明のヘッドマウントディスプレイ
装置は、上記第４〜第７の発明において、前記画像処理
されたデータを外部のコンピュータなどの情報処理装置
に通信する通信機能を備えたものとしてある。この場合
の通信の形態としては、有線通信、無線通信のいずれで
もよい。この構成によると、頭部に装着するモバイルツ
ールとしてのヘッドマウントディスプレイ装置におい
て、高度な情報処理の一つであるデータ通信を実現する
ことができる。The head-mounted display device according to an eighth aspect of the present invention is the head-mounted display device according to the fourth to seventh aspects, further comprising a communication function of communicating the image-processed data to an information processing device such as an external computer. . In this case, the form of communication may be any of wired communication and wireless communication. According to this configuration, data communication, which is one of advanced information processing, can be realized in a head mounted display device as a mobile tool worn on the head.

【００１１】第９の発明のヘッドマウントディスプレイ
装置は、上記第１〜第８の発明において、前記架空画像
出力手段を、発光素子アレイと、対物レンズと、駆動ミ
ラーなどの光路変換手段とから構成したものである。こ
の構成によると、次のような作用がある。すなわち、１
画面分の架空画像を構成する複数の列状画像のうちの単
位の列状画像の光を時間経過とともに順次に切り換えて
発光素子アレイから出力させる。その単位の列状画像の
光を対物レンズを介して光路変換手段に入射し、光路変
換手段で光路を変換して、ハーフミラーに入射させる。
光路変換手段の動作と単位の列状画像の光の発光素子ア
レイにおけるスキャンとが同期されることにより、光路
変換手段で光路を変換された単位の列状画像の光がハー
フミラーに対して入射する角度がスキャンされ、ハーフ
ミラーから接眼レンズを介して目に入る単位の列状画像
の光像が網膜上においてスキャンされる。したがって、
目にはその眼前に二次元的な仮想スクリーンが現実画像
と重ね合わさって生じることになり、その仮想スクリー
ンに架空画像が二次元的に展開されることとなる。仮
に、架空画像の光源として二次元平面状のものを採用す
ると、その光源自体が大型であるし、それに伴って、対
物レンズや光路変換手段も大型になってしまうが、この
第９の発明のように、架空画像の光源として発光素子ア
レイを採用することにより、架空画像出力手段の全体を
小型化することが可能となり、また軽量化も可能とな
り、頭部に装着するヘッドマウントディスプレイ装置に
とって有効である。According to a ninth aspect of the present invention, in the head mounted display device according to the first to eighth aspects, the imaginary image output means comprises a light emitting element array, an objective lens, and an optical path changing means such as a drive mirror. It was done. According to this configuration, the following operation is provided. That is, 1
The light of the unit line image of the plurality of line images constituting the virtual image for the screen is sequentially switched over time and output from the light emitting element array. The light of the line-shaped image in the unit is incident on the optical path conversion unit via the objective lens, the optical path is converted by the optical path conversion unit, and is incident on the half mirror.
By synchronizing the operation of the light path converting means and the scanning of the light of the unit line image in the light emitting element array, the light of the unit line image whose light path is converted by the light path converting means is incident on the half mirror. The scanning is performed, and a light image of a line image of a unit that enters the eye from the half mirror via the eyepiece is scanned on the retina. Therefore,
In the eyes, a two-dimensional virtual screen is superimposed on the real image before the eyes, and a virtual image is two-dimensionally developed on the virtual screen. If a two-dimensional planar light source is used as the light source for the aerial image, the light source itself becomes large, and accordingly, the objective lens and the optical path conversion means also become large. As described above, by employing the light emitting element array as the light source of the aerial image, it is possible to reduce the size of the aerial image output means as a whole and also to reduce the weight, which is effective for a head mounted display device mounted on the head. It is.

【００１２】なお、この明細書において「現実画像」と
いう表現は広義のものであり、窓部などを通して外部光
を直接に現実画像の光学系に取り込んで、電子的な処理
を何ら施すことなく直接的に取得した現実の被写体像の
場合を含むとともに、ＣＣＤカメラなどの撮像手段が電
子的に取得した被写体像の画像データを液晶ディスプレ
イなどの表示手段に送出して、その表示手段に電子的に
映出した現実の被写体像についての画像の場合も含んで
いる。In this specification, the expression "real image" has a broad meaning, and external light is directly taken into the optical system of the real image through a window or the like, and is directly applied without any electronic processing. Including the case of a real subject image acquired in a specific manner, image data of the subject image electronically acquired by an imaging means such as a CCD camera is transmitted to a display means such as a liquid crystal display, and the display means electronically transmits the image data. This includes the case of an image of a projected real subject image.

【００１３】[0013]

【発明の実施の形態】以下、本発明にかかわるヘッドマ
ウントディスプレイ装置の実施の形態を図面に基づいて
詳細に説明する。DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of a head mounted display device according to the present invention will be described in detail with reference to the drawings.

【００１４】〔実施の形態１〕図１は本発明の実施の形
態１のヘッドマウントディスプレイ装置の概略的な構成
を示す水平断面図、図２は使用者がヘッドマウントディ
スプレイ装置を装着した使用状態を示す斜視図である。[First Embodiment] FIG. 1 is a horizontal sectional view showing a schematic configuration of a head-mounted display device according to a first embodiment of the present invention, and FIG. 2 is a state in which a user wears the head-mounted display device. FIG.

【００１５】頭部において両眼の前方部に装着するハウ
ジング１の左右両端間に後頭部に巻き付けてヘッドマウ
ントディスプレイ装置の全体を頭部に固定するためのバ
ンド２が取り付けられている。ハウジング１の内部にお
いて、架空画像を視認するための光学系として、架空画
像出力手段２０と、左右一対のハーフミラー７ａ，７ｂ
と、左右一対の接眼レンズ８ａ，８ｂとが設けられてい
る。また、ハウジング１の内部において、現実画像を視
認するための光学系として、前方側に左右一対の対物レ
ンズ６ａ，６ｂが設けられているとともに、架空画像の
光学系におけるハーフミラー７ａ，７ｂと接眼レンズ８
ａ，８ｂとを通して現実画像を視認するよう構成されて
いる。現実画像の光学系における現実画像取込み手段と
して、本実施の形態１の場合は、ハウジング１の前面で
両眼の位置に合わせて外部光を取り込むための左右一対
の窓部３ａ，３ｂが設けられている。窓部３ａ，３ｂの
直後において対物レンズ６ａ，６ｂが配置されている。
左側の窓部３ａとハウジング１における左目接眼部３０
ａとの間に左目用の対物レンズ６ａ、ハーフミラー７
ａ、接眼レンズ８ａがこの順に配置され、右側の窓部３
ｂと右目接眼部３０ｂとの間に右目用の対物レンズ６
ｂ、ハーフミラー７ｂ、接眼レンズ８ｂがこの順に配置
されている。A band 2 is attached between the left and right ends of a housing 1 attached to the front part of both eyes at the head to wrap around the back of the head and fix the entire head mounted display device to the head. Inside the housing 1, an imaginary image output unit 20 and a pair of left and right half mirrors 7a and 7b are provided as an optical system for visually recognizing the imaginary image.
And a pair of left and right eyepieces 8a and 8b. Further, inside the housing 1, a pair of left and right objective lenses 6a and 6b are provided on the front side as an optical system for visually recognizing a real image, and the half mirrors 7a and 7b in the optical system for the imaginary image are connected to the eyepiece. Lens 8
a, 8b so as to visually recognize a real image. In the case of the first embodiment, a pair of left and right windows 3a and 3b for taking in external light in accordance with the positions of both eyes is provided on the front surface of the housing 1 as a real image capturing means in the optical system of the real image. ing. Immediately after the windows 3a, 3b, the objective lenses 6a, 6b are arranged.
Left window 3a and left eyepiece 30 in housing 1
a objective lens 6a for the left eye and half mirror 7
a, the eyepiece 8a is arranged in this order,
b between the right eyepiece 30b and the right eyepiece 30b
b, a half mirror 7b, and an eyepiece 8b are arranged in this order.

【００１６】左右一対の接眼レンズ８ａ，８ｂの間およ
び左右一対のハーフミラー７ａ，７ｂの間において、架
空画像出力手段２０が配置されている。すなわち、手前
から前方部にかけて、発光素子アレイとしてのＬＥＤア
レイ９、対物レンズ１０および光路変換手段としての駆
動ミラー１１がこの順に配置されている。An imaginary image output means 20 is arranged between the pair of left and right eyepieces 8a and 8b and between the pair of left and right half mirrors 7a and 7b. That is, from the near side to the front part, the LED array 9 as the light emitting element array, the objective lens 10 and the driving mirror 11 as the optical path changing means are arranged in this order.

【００１７】左目用の窓部３ａの直後の対物レンズ６ａ
の光軸と左目用の接眼レンズ８ａの光軸とは一致してお
り、その対物レンズ６ａと接眼レンズ８ａとの間にある
ハーフミラー７ａは前記の共通光軸Ｘ₁ に対して４５度
傾斜して配置されている。ハーフミラー７ａのミラー面
は鉛直方向に沿っており、前端側が左右方向の中央側で
後端側が外側となる傾斜姿勢となっている。右目用の対
物レンズ６ｂ、ハーフミラー７ｂ、接眼レンズ８ｂは左
目用のそれらと左右対称の状態で配置されている。左目
用の共通光軸Ｘ₁ と右目用の共通光軸Ｘ₂ とは同一水平
面内で平行となっている。左右の両対物レンズ６ａ，６
ｂは焦点距離を初めとして光学特性が互いに同じとなっ
ている。左右の接眼レンズ８ａ，８ｂについても同様で
あり、左右のハーフミラー７ａ，７ｂも光学特性が互い
に同じとなっている。左右の共通光軸Ｘ₁ ，Ｘ₂ の離間
寸法は人間の両眼の間隔の平均値に合わされている。The objective lens 6a immediately after the window 3a for the left eye
Of which coincide with the optical axis and the optical axis of the eyepiece 8a for the left eye, the half mirror 7a is inclined 45 degrees with respect to the common optical axis X ₁ of the in between the objective lens 6a and the eyepiece 8a It is arranged. The mirror surface of the half mirror 7a extends in the vertical direction, and has an inclined posture in which the front end side is the center side in the left-right direction and the rear end side is the outside. The right-eye objective lens 6b, the half mirror 7b, and the eyepiece 8b are arranged symmetrically to those for the left eye. Common optical axis X ₁ for the left eye and the common optical axis X ₂ for the right eye are parallel in the same horizontal plane. Left and right objective lenses 6a, 6
b has the same optical characteristics as the focal length. The same applies to the left and right eyepieces 8a and 8b, and the left and right half mirrors 7a and 7b have the same optical characteristics. The distance between the left and right common optical axes X ₁ and X ₂ is adjusted to the average value of the distance between the human eyes.

【００１８】架空画像出力手段２０における対物レンズ
１０の光軸Ｘ₃ は、前記の共通光軸Ｘ₁ ，Ｘ₂ を共通に
通る水平な１つの平面内で共通光軸Ｘ₁ ，Ｘ₂ と平行で
両共通光軸Ｘ₁ ，Ｘ₂ の丁度中央箇所を通っている。そ
の対物レンズ１０の光軸Ｘ₃上に駆動ミラー１１の回動
軸心が配置されている。この回動軸心は鉛直方向となっ
ている。ＬＥＤアレイ９は対物レンズ１０の光軸Ｘ₃ 上
に配置されている。ＬＥＤアレイ９のアレイ方向は鉛直
方向となっている。駆動ミラー１１は平坦平板状の両面
ミラーとなっている。駆動ミラー１１は同じ方向（例え
ば時計方向）に連続的に等速で回転されるようになって
いる。ＬＥＤアレイ９は対物レンズ１０の焦点よりも対
物レンズ１０の側に寄った状態で配置されている。この
ため、対物レンズ１０によるＬＥＤアレイ９の光学像は
拡大された虚像となる。The optical axis X ₃ of the objective lens 10 at the imaginary image output means 20, parallel to the common optical axis X _1, X ₂ a common optical axis X _1, X ₂ of the horizontal within a single plane through the common Passes through the central portion between the common optical axes X ₁ and X ₂ . The rotation axis of the driving mirror 11 on the optical axis X ₃ of the objective lens 10 is disposed. This rotation axis is in the vertical direction. LED array 9 is disposed on the optical axis X ₃ of the objective lens 10. The array direction of the LED array 9 is vertical. The drive mirror 11 is a flat plate-shaped double-sided mirror. The drive mirror 11 is configured to be continuously rotated at the same speed in the same direction (for example, clockwise). The LED array 9 is arranged closer to the objective lens 10 than the focal point of the objective lens 10. Therefore, the optical image of the LED array 9 by the objective lens 10 becomes an enlarged virtual image.

【００１９】ハウジング１の前面部において、左右一対
の窓部３ａ，３ｂの中間に外部光を取り込むための集光
レンズ４が設けられている。ハウジング１の内部におい
て、集光レンズ４の後方直近に現実画像を撮像するため
の撮像手段としてのＣＣＤカメラ５が配置されている。At the front of the housing 1, a condenser lens 4 for taking in external light is provided between a pair of left and right windows 3a and 3b. Inside the housing 1, a CCD camera 5 as an image pickup unit for picking up a real image is disposed immediately behind the condenser lens 4.

【００２０】図３は実施の形態１のヘッドマウントディ
スプレイ装置の電気的構成を示すブロック図である。図
３において、符号の２１は画像処理手段、２２は操作入
力手段、２３は視線検出手段である。これら各手段の機
能については、後述の動作説明で明らかとなる。FIG. 3 is a block diagram showing an electrical configuration of the head mounted display device according to the first embodiment. In FIG. 3, reference numeral 21 denotes an image processing unit, 22 denotes an operation input unit, and 23 denotes a visual line detection unit. The function of each of these units will be clear in the operation description described later.

【００２１】次に、上記のように構成された実施の形態
１のヘッドマウントディスプレイ装置の動作を説明す
る。Next, the operation of the head-mounted display device according to the first embodiment configured as described above will be described.

【００２２】ＬＥＤアレイ９は、それを構成している鉛
直方向に並んだ複数のＬＥＤの点灯と消灯との組み合わ
せによって列状画像を描画するものである。ＬＥＤの個
数は２４０〜４８０程度である。ＬＥＤアレイ９は、列
状画像のスキャン照射により架空画像を二次元的に供給
する光源となっている。The LED array 9 draws a row image by a combination of turning on and off of a plurality of LEDs arranged in the vertical direction. The number of LEDs is about 240 to 480. The LED array 9 is a light source that supplies a virtual image two-dimensionally by scanning irradiation of the row image.

【００２３】ＬＥＤアレイ９によって出力すべき１画面
分の架空画像を模式的に図４に示す。ＬＥＤアレイ９に
送出する画像データとしては、図４（ａ）に示す左目用
の立体画像データ４０ａと、図４（ｂ）に示す右目用の
立体画像データ４０ｂとがある。これら両立体画像デー
タ４０ａ，４０ｂは同じ物体を異なる方向から撮像した
互いに方向性にずれのあるもの、すなわち視差のあるも
のとなっている。左目用の立体画像データ４０ａにおけ
る列状画像データＳ１と右目用の立体画像データ４０ｂ
における列状画像データＴ１とは時間的に対応したもの
であるが、１画面における矢印Ｘａ，Ｘｂで示すスキャ
ン方向において互いに位置を異にしている。列状画像デ
ータＳ２と列状画像データＴ２との関係についても、列
状画像データＳ３と列状画像データＴ３との関係につい
ても同様である。図４（ａ），（ｂ）はともに１画面分
の架空画像の画像データを表しているが、ＬＥＤアレイ
９に対しては、１画面分の架空画像を構成する複数の列
状画像のうちの単位の列状画像データを時間経過ととも
に順次に切り換えて送出し、ＬＥＤアレイ９からはその
ように順次に切り換えられる列状画像光が出力される。FIG. 4 schematically shows a fictitious image for one screen to be output by the LED array 9. The image data to be transmitted to the LED array 9 includes stereoscopic image data 40a for the left eye shown in FIG. 4A and stereoscopic image data 40b for the right eye shown in FIG. 4B. These two-dimensional image data 40a and 40b are obtained by capturing the same object from different directions and have different directions, that is, have parallax. The columnar image data S1 in the left-eye stereoscopic image data 40a and the right-eye stereoscopic image data 40b
Is time-corresponding to the columnar image data T1 in FIG. 5, but the positions are different from each other in the scanning direction indicated by arrows Xa and Xb on one screen. The same applies to the relationship between the columnar image data S2 and the columnar image data T2 and the relationship between the columnar image data S3 and the columnar image data T3. FIGS. 4A and 4B both show image data of a fictitious image for one screen, but for the LED array 9, among a plurality of columnar images constituting the fictitious image for one screen. Are sequentially switched and transmitted as time elapses, and the LED array 9 outputs such sequentially switched columnar image light.

【００２４】ＬＥＤアレイ９からそのように出力された
列状画像の光線は対物レンズ１０によって拡大され、光
路変換手段としての駆動ミラー１１に入射され、駆動ミ
ラー１１で反射される。その列状画像の光線は、回転し
ている駆動ミラー１１の回転位相に応じて、左側と右側
とに振り分けられる。すなわち、図５に示すように、駆
動ミラー１１が左側のハーフミラー７ａに対してハの字
をなす第１の回転位相範囲θａとなったときに左側のハ
ーフミラー７ａの方に向けて駆動ミラー１１から反射さ
れ、また、図６に示すように、駆動ミラー１１が右側の
ハーフミラー７ｂに対してハの字をなす第２の回転位相
範囲θｂとなったときに右側のハーフミラー７ｂに向け
て駆動ミラー１１から反射される。第１の回転位相範囲
θａも第２の回転位相範囲θｂもある大きさの角度範囲
に渡っており、両者の回転位相範囲θａ，θｂは互いに
ほぼ等しくなっている。駆動ミラー１１は前述したよう
に両面ミラーとなっているから、第１の回転位相範囲θ
ａから第２の回転位相範囲θｂへは９０度の回転で切り
換わり、また、第２の回転位相範囲θｂから第１の回転
位相範囲θａへも９０度の回転で切り換わる。すなわ
ち、３６０度範囲の１回転中に、左側のハーフミラー７
ａに向けて反射する状態と右側のハーフミラー７ｂに向
けて反射する状態がそれぞれ２回ずつある。The light rays of the row image thus output from the LED array 9 are magnified by the objective lens 10, are incident on a driving mirror 11 as an optical path changing means, and are reflected by the driving mirror 11. The rays of the row image are distributed to the left and right sides according to the rotation phase of the rotating drive mirror 11. That is, as shown in FIG. 5, when the driving mirror 11 is in the first rotational phase range θa that forms a U-shape with the left half mirror 7a, the driving mirror 11 moves toward the left half mirror 7a. When the driving mirror 11 enters the second rotation phase range θb in which the driving mirror 11 has a C-shape with respect to the right half mirror 7b, as shown in FIG. And is reflected from the drive mirror 11. Both the first rotational phase range θa and the second rotational phase range θb extend over an angle range of a certain size, and the two rotational phase ranges θa and θb are substantially equal to each other. Since the drive mirror 11 is a double-sided mirror as described above, the first rotational phase range θ
a to the second rotation phase range θb at a rotation of 90 degrees, and also switches from the second rotation phase range θb to the first rotation phase range θa at a rotation of 90 degrees. That is, during one rotation in the 360-degree range, the left half mirror 7
There is a state where the light is reflected toward a and a state where the light is reflected toward the right half mirror 7b twice.

【００２５】まず、駆動ミラー１１が左目用の第１の回
転位相範囲θａにあるときの動作を図５に基づいて説明
する。First, the operation when the drive mirror 11 is in the first rotational phase range θa for the left eye will be described with reference to FIG.

【００２６】第１の回転位相範囲θａにおいて、駆動ミ
ラー１１が点線で示すようにより上手側のＲ１の回転位
相にあるときは、画像処理手段２１は、図４（ａ）に示
す左目用の立体画像データ４０ａにおける先頭側の列状
画像データＳ１を架空画像出力手段２０におけるＬＥＤ
アレイ９に送出し、ＬＥＤアレイ９から出力される列状
画像の光線はＲ１の回転位相にある駆動ミラー１１によ
って反射されて点線で示す光路Ｌ１を通り、左側のハー
フミラー７ａに入射し、このハーフミラー７ａで反射さ
れ、光路Ｌ１′を通って左側の接眼レンズ８ａによって
集光され、左目１００ａの水晶体に入射し、網膜に結像
する。その結果として、使用者の左目１００ａは前方の
仮想スクリーン５０ａに列状架空画像Ｓ１′を見る。In the first rotational phase range θa, when the drive mirror 11 is in the rotational phase of R1 on the upper side as shown by the dotted line, the image processing means 21 outputs the stereoscopic image for the left eye shown in FIG. The columnar image data S1 on the head side in the image data 40a is
The rays of the row image transmitted to the array 9 and output from the LED array 9 are reflected by the driving mirror 11 having the rotation phase of R1, pass through the optical path L1 indicated by a dotted line, and enter the left half mirror 7a. The light is reflected by the half mirror 7a, condensed by the left eyepiece 8a through the optical path L1 ', enters the lens of the left eye 100a, and forms an image on the retina. As a result, the left eye 100a of the user sees the line-shaped imaginary images S1 'on the front virtual screen 50a.

【００２７】駆動ミラー１１が実線で示すように中間の
Ｒ２の回転位相にあるときは、画像処理手段２１は左目
用の立体画像データ４０ａにおける中間の列状画像デー
タＳ２を架空画像出力手段２０におけるＬＥＤアレイ９
に送出し、ＬＥＤアレイ９から出力される列状画像の光
線はＲ２の回転位相にある駆動ミラー１１によって反射
されて実線で示す光路Ｌ２を通り、左側のハーフミラー
７ａに入射して反射され、光路Ｌ２′を通り左側の接眼
レンズ８ａを介して左目１００ａの網膜に結像する。そ
の結果として、左目１００ａは仮想スクリーン５０ａに
列状架空画像Ｓ２′を見る。When the driving mirror 11 is in the intermediate rotation phase of R2 as shown by the solid line, the image processing means 21 outputs the intermediate columnar image data S2 in the left-eye stereoscopic image data 40a to the imaginary image output means 20. LED array 9
Are reflected by the driving mirror 11 in the rotation phase of R2, pass through the optical path L2 indicated by the solid line, enter the half mirror 7a on the left side, and are reflected. An image is formed on the retina of the left eye 100a via the left eyepiece 8a through the optical path L2 '. As a result, the left eye 100a sees the row-shaped imaginary images S2 'on the virtual screen 50a.

【００２８】駆動ミラー１１が一点鎖線で示すように下
手側のＲ３の回転位相にあるときは、画像処理手段２１
は左目用の立体画像データ４０ａにおける末尾側の列状
画像データＳ３を架空画像出力手段２０におけるＬＥＤ
アレイ９に送出し、ＬＥＤアレイ９から出力される列状
画像の光線はＲ３の回転位相にある駆動ミラー１１によ
って反射されて一点鎖線で示す光路Ｌ３を通り、左側の
ハーフミラー７ａに入射して反射され、光路Ｌ３′を通
り左側の接眼レンズ８ａを介して左目１００ａの網膜に
結像する。その結果として、左目１００ａは仮想スクリ
ーン５０ａに列状架空画像Ｓ３′を見る。When the driving mirror 11 is in the lower rotational phase of R3 as shown by the dashed line, the image processing means 21
Is the LED in the fictitious image output means 20 which outputs the last column-shaped image data S3 in the left-eye stereoscopic image data
The light rays of the row image transmitted to the array 9 and output from the LED array 9 are reflected by the driving mirror 11 having the rotation phase of R3, pass through the optical path L3 indicated by a dashed line, and enter the left half mirror 7a. The light is reflected, passes through the optical path L3 ', and forms an image on the retina of the left eye 100a via the left eyepiece 8a. As a result, the left eye 100a sees the row-shaped imaginary images S3 'on the virtual screen 50a.

【００２９】以上のようにして、架空画像出力手段２０
におけるＬＥＤアレイ９から順次に出力された列状画像
光は、全体として、対物レンズ１０と左側の接眼レンズ
８ａによって拡大され、左目１００ａの前方の仮想スク
リーン５０ａに、列状架空画像Ｓ１′，Ｓ２′，Ｓ３′
として網膜上に映し出されることになる。As described above, the imaginary image output means 20
Are sequentially enlarged as a whole by the objective lens 10 and the left eyepiece 8a, and are displayed on the virtual screen 50a in front of the left eye 100a as the column-shaped imaginary images S1 'and S2. ', S3'
Will be projected on the retina.

【００３０】ＬＥＤアレイ９における列状画像光のスキ
ャンと駆動ミラー１１の回転動作とが上記のように同期
されており、駆動ミラー１１の時計方向のＲ１→Ｒ２→
Ｒ３の回転変位に伴って左目１００ａに入射する光路は
Ｌ１′→Ｌ２′→Ｌ３′のようにスキャンされ、それに
対応して、仮想スクリーン５０ａに映し出される列状架
空画像はＳ１′→Ｓ２′→Ｓ３′のように矢印Ｙａの右
方向にスキャンされることになる。このことは、図４
（ａ）に示す左目用の立体画像データ４０ａにおいて列
状画像データが矢印Ｘａの方向にＳ１→Ｓ２→Ｓ３とス
キャンされてＬＥＤアレイ９に送出されることに対応し
ている。The scanning of the row image light in the LED array 9 and the rotating operation of the drive mirror 11 are synchronized as described above, and the clockwise R1 → R2 →
The optical path incident on the left eye 100a with the rotational displacement of R3 is scanned in the order of L1 '→ L2' → L3 ', and the corresponding line-shaped imaginary images projected on the virtual screen 50a are S1' → S2 '→ Scanning is performed in the right direction of the arrow Ya as in S3 '. This is illustrated in FIG.
In the left-eye stereoscopic image data 40a shown in (a), this corresponds to the scanning of the row-shaped image data in the direction of arrow Xa in the order of S1 → S2 → S3 and transmission to the LED array 9.

【００３１】次に、駆動ミラー１１が右目用の第２の回
転位相範囲θｂにあるときの動作を図６に基づいて説明
する。Next, the operation when the driving mirror 11 is in the second rotational phase range θb for the right eye will be described with reference to FIG.

【００３２】第２の回転位相範囲θｂにおいて、駆動ミ
ラー１１が点線で示すようにより上手側のＲ４の回転位
相にあるときは、画像処理手段２１は、図４（ｂ）に示
す右目用の立体画像データ４０ｂにおける先頭側の列状
画像データＴ１を架空画像出力手段２０におけるＬＥＤ
アレイ９に送出し、ＬＥＤアレイ９から出力される列状
画像の光線はＲ４の回転位相にある駆動ミラー１１によ
って反射されて点線で示す光路Ｌ４を通り、右側のハー
フミラー７ｂに入射し、このハーフミラー７ｂで反射さ
れ、光路Ｌ４′を通って右側の接眼レンズ８ｂによって
集光され、右目１００ｂの水晶体に入射し、網膜に結像
する。その結果として、使用者の右目１００ｂは前方の
仮想スクリーン５０ｂに列状架空画像Ｔ１′を見る。In the second rotational phase range θb, when the driving mirror 11 is in the rotational phase of R4 on the upper side as shown by the dotted line, the image processing means 21 outputs the stereoscopic image for the right eye shown in FIG. The columnar image data T1 on the head side in the image data 40b is
The light of the row image transmitted to the array 9 and output from the LED array 9 is reflected by the driving mirror 11 having the rotation phase of R4, passes through the optical path L4 indicated by a dotted line, and enters the right half mirror 7b. The light is reflected by the half mirror 7b, condensed by the right eyepiece 8b through the optical path L4 ', enters the crystalline lens of the right eye 100b, and forms an image on the retina. As a result, the user's right eye 100b sees the line-shaped imaginary images T1 'on the front virtual screen 50b.

【００３３】駆動ミラー１１が実線で示すように中間の
Ｒ５の回転位相にあるときは、画像処理手段２１は右目
用の立体画像データ４０ｂにおける中間の列状画像デー
タＴ２を架空画像出力手段２０におけるＬＥＤアレイ９
に送出し、ＬＥＤアレイ９から出力される列状画像の光
線はＲ５の回転位相にある駆動ミラー１１によって反射
されて実線で示す光路Ｌ５を通り、右側のハーフミラー
７ｂに入射して反射され、光路Ｌ５′を通り右側の接眼
レンズ８ｂを介して右目１００ｂの網膜に結像する。そ
の結果として、右目１００ｂは仮想スクリーン５０ｂに
列状架空画像Ｔ２′を見る。When the drive mirror 11 is in the intermediate rotation phase of R5 as shown by the solid line, the image processing means 21 outputs the intermediate columnar image data T2 in the right-eye stereoscopic image data 40b to the imaginary image output means 20. LED array 9
And the light rays of the columnar image output from the LED array 9 are reflected by the driving mirror 11 having the rotation phase of R5, pass through the optical path L5 indicated by the solid line, enter the right half mirror 7b and are reflected. An image is formed on the retina of the right eye 100b via the right eyepiece 8b through the optical path L5 '. As a result, the right eye 100b sees the line-shaped imaginary images T2 'on the virtual screen 50b.

【００３４】駆動ミラー１１が一点鎖線で示すように下
手側のＲ６の回転位相にあるときは、画像処理手段２１
は右目用の立体画像データ４０ｂにおける末尾側の列状
画像データＴ３を架空画像出力手段２０におけるＬＥＤ
アレイ９に送出し、ＬＥＤアレイ９から出力される列状
画像の光線はＲ６の回転位相にある駆動ミラー１１によ
って反射されて一点鎖線で示す光路Ｌ６を通り、右側の
ハーフミラー７ｂに入射して反射され、光路Ｌ６′を通
り右側の接眼レンズ８ｂを介して右目１００ｂの網膜に
結像する。その結果として、右目１００ｂは仮想スクリ
ーン５０ｂに列状架空画像Ｔ３′を見る。When the driving mirror 11 is in the rotation phase of R6 on the lower side as shown by the dashed line, the image processing means 21
Is the LED in the fictitious image output means 20 which outputs the columnar image data T3 on the tail side in the stereoscopic image data 40b for the right eye.
The rays of the row image transmitted to the array 9 and output from the LED array 9 are reflected by the driving mirror 11 having the rotation phase of R6, pass through the optical path L6 indicated by a dashed line, and enter the right half mirror 7b. The light is reflected, passes through the optical path L6 ', and forms an image on the retina of the right eye 100b via the right eyepiece 8b. As a result, the right eye 100b sees the row-shaped imaginary image T3 'on the virtual screen 50b.

【００３５】以上のようにして、架空画像出力手段２０
におけるＬＥＤアレイ９から順次に出力された列状画像
光は、全体として、対物レンズ１０と右側の接眼レンズ
８ｂによって拡大され、右目１００ｂの前方の仮想スク
リーン５０ｂに、列状架空画像Ｔ１′，Ｔ２′，Ｔ３′
として網膜上に映し出されることになる。As described above, the imaginary image output means 20
Are sequentially magnified by the objective lens 10 and the right eyepiece 8b as a whole, and are displayed on the virtual screen 50b in front of the right eye 100b on the virtual screen images T1 'and T2. ', T3'
Will be projected on the retina.

【００３６】駆動ミラー１１の時計方向のＲ４→Ｒ５→
Ｒ６の回転変位に伴って右目１００ｂに入射する光路は
Ｌ４′→Ｌ５′→Ｌ６′のようにスキャンされ、それに
対応して、仮想スクリーン５０ｂに映し出される列状架
空画像はＴ１′→Ｔ２′→Ｔ３′のように矢印Ｙｂの右
方向にスキャンされることになる。このことは、図４
（ｂ）に示す右目用の立体画像データ４０ｂにおいて列
状画像データが矢印Ｘｂの方向にＴ１→Ｔ２→Ｔ３とス
キャンされてＬＥＤアレイ９に送出されることに対応し
ている。R4 → R5 → in the clockwise direction of the driving mirror 11
The optical path incident on the right eye 100b with the rotational displacement of R6 is scanned in the order of L4 '→ L5' → L6 ', and correspondingly, the line-shaped imaginary images projected on the virtual screen 50b are T1' → T2 '→ Scanning is performed in the right direction of the arrow Yb as in T3 '. This is illustrated in FIG.
In the right-eye stereoscopic image data 40b shown in (b), the column-shaped image data is scanned in the direction of arrow Xb as T1 → T2 → T3 and transmitted to the LED array 9.

【００３７】以上のように、左目１００ａにおける光路
のスキャン方向Ｙａと右目１００ｂにおける光路のスキ
ャン方向Ｙｂとは同一方向（右方向）となっている。こ
のような光路のスキャンにより、架空画像の光源として
のＬＥＤアレイ９が鉛直方向に沿っての一次元アレイで
あっても、使用者の目には二次元的に展開された架空画
像が見えることになる。また、架空画像の光源として一
次元アレイを採用することにより、二次元平面状のもの
を採用した場合に比べて、その光源自体の小型化を図る
ことができるとともに、それに伴って、対物レンズ１０
や駆動ミラー１１も小型化することができ、頭部に装着
するヘッドマウントディスプレイ装置（ＨＭＤ）におけ
る小型・軽量化を促進することができる。As described above, the scanning direction Ya of the optical path in the left eye 100a and the scanning direction Yb of the optical path in the right eye 100b are the same direction (right direction). By scanning such an optical path, even if the LED array 9 as a light source of the fictitious image is a one-dimensional array along the vertical direction, a fictitious image developed two-dimensionally can be seen by the user. become. Further, by employing a one-dimensional array as a light source for the aerial image, it is possible to reduce the size of the light source itself as compared with a case where a two-dimensional planar light source is employed.
Also, the size of the drive mirror 11 can be reduced, and the size and weight of the head mounted display device (HMD) mounted on the head can be promoted.

【００３８】また、左目１００ａと右目１００ｂとに対
して、撮像方向を異にする左目用の立体画像データ４０
ａと右目用の立体画像データ４０ｂを交互に入射するの
で、使用者の両目に対して立体的な架空画像を照射する
ことになる。Further, stereoscopic image data 40 for the left eye having different imaging directions with respect to the left eye 100a and the right eye 100b.
Since a and the stereoscopic image data 40b for the right eye are alternately incident, a stereoscopic imaginary image is radiated to both eyes of the user.

【００３９】しかも、使用者の目には、上記のような仮
想スクリーン５０ａ，５０ｂに映し出される架空画像
が、窓部３ａ，３ｂを透過して対物レンズ６ａ，６ｂ、
ハーフミラー７ａ，７ｂおよび接眼レンズ８ａ，８ｂか
らなる現実画像の光学系を介して入光してくる現実画像
と重ね合わせられて映し込まれることになる。これによ
って、立体的なミックスド・リアリティが実現されるこ
とになる。Moreover, to the user's eyes, the imaginary images projected on the virtual screens 50a and 50b as described above are transmitted through the windows 3a and 3b and the objective lenses 6a and 6b,
The image is superimposed and projected on the incoming real image via the real image optical system including the half mirrors 7a and 7b and the eyepieces 8a and 8b. As a result, a three-dimensional mixed reality is realized.

【００４０】なお、現実画像の光学系における対物レン
ズ６ａ，６ｂの光学的な性状、すなわち、凸レンズとす
るか、凹レンズとするかといったことや、焦点距離をど
のように設定するかによって、現実画像の見え方を、そ
の大きさが肉眼で見たのと同様になるようにとか、正立
像とすることとかについて適正なものとしつつ、その現
実画像に整合する状態で架空画像を重ね合わせることが
できる。例えば、眼前の現実の光景に例えばテーブルが
あり、その現実画像としてのテーブルの上に架空画像と
して例えば花瓶を重ね合わせるようにして映出させるこ
とができる。花瓶についての架空画像はＬＥＤアレイ９
から光学的に出力する。架空画像として花瓶を選択する
とか、その他の所望の形態のものを選択するとかについ
ては、操作入力手段２２での選択操作によって決定す
る。The actual image quality depends on the optical properties of the objective lenses 6a and 6b in the real image optical system, that is, whether the objective lens is a convex lens or a concave lens, and how the focal length is set. It is possible to superimpose a fictitious image in a state that matches the real image while making the appearance of the image appropriate so that its size is the same as that seen by the naked eye, or making it an upright image it can. For example, there is, for example, a table in a real scene in front of the eyes, and a fictitious image, for example, a vase can be projected on the table as the real image so as to be projected. The fictitious image about the vase is LED array 9
Output optically from Whether to select a vase as the imaginary image or to select another desired form is determined by a selection operation on the operation input unit 22.

【００４１】なお、駆動ミラー１１における第１の回転
位相範囲θａ、第２の回転位相範囲θｂの回転上手側端
部から下手側端部までの角度範囲については、例えば７
度に設定する。駆動ミラー１１での７度の回転角度は、
ハーフミラー７ａ，７ｂにおいては２倍の１４度に相当
する。すなわち、左目１００ａ、右目１００ｂそれぞれ
にとって視野角が１４度ということである。もっとも、
駆動ミラー１１における回転位相範囲θａ，θｂの上手
側端部から下手側端部までの角度範囲については、７度
に限定する必要性はなく、必要とする仮想スクリーン幅
に応じて適宜に変更してよいことはいうまでもない。The angle range from the upper end to the lower end of the first rotation phase range θa and the second rotation phase range θb of the drive mirror 11 is, for example, 7 degrees.
Set every time. The rotation angle of 7 degrees on the driving mirror 11 is
In the half mirrors 7a and 7b, the angle is twice as large as 14 degrees. That is, the viewing angle is 14 degrees for each of the left eye 100a and the right eye 100b. However,
The angle range from the upper end to the lower end of the rotational phase range θa, θb in the drive mirror 11 does not need to be limited to 7 degrees, and may be appropriately changed according to the required virtual screen width. Needless to say,

【００４２】駆動ミラー１１の回転位相が第１の回転位
相範囲θａにも第２の回転位相範囲θｂにもないとき
は、ＬＥＤアレイ９の点灯による列状の架空画像は利用
されることはないから、そのようなタイミングではＬＥ
Ｄアレイ９におけるすべてのＬＥＤを消灯することによ
り省電力を図ることが考えられる。When the rotational phase of the drive mirror 11 is neither in the first rotational phase range θa nor in the second rotational phase range θb, the column-shaped imaginary image obtained by turning on the LED array 9 is not used. Therefore, at such timing, LE
It is conceivable to save power by turning off all LEDs in the D array 9.

【００４３】次に、ＣＣＤカメラ５および視線検出手段
２３を含めた動作を説明する。Next, the operation including the CCD camera 5 and the line-of-sight detecting means 23 will be described.

【００４４】視線検出手段２３は、このＨＭＤを装着し
ている使用者の眼球の視線方向を検出するものであっ
て、ＨＭＤにおけるハウジング１の内部に設けられてい
る。この視線検出手段２３としては、例えば、赤外線を
眼球に照射し、その反射光を視線方向検出用のセンサー
（例えばＣＣＤ）で検出するようなものがある。The line-of-sight detecting means 23 detects the line-of-sight direction of the eye of the user wearing the HMD, and is provided inside the housing 1 of the HMD. As the line-of-sight detecting means 23, for example, there is one that irradiates an infrared ray to an eyeball and detects the reflected light with a sensor (for example, a CCD) for detecting the line-of-sight direction.

【００４５】ＣＣＤカメラ５は現実視野を撮像し、その
撮像によって得られた画像データを画像処理手段２１に
送出する。画像処理手段２１は、その画像データを取り
込んで、内部の画像記憶手段に一時的に格納する。この
ＣＣＤカメラ５によって撮像された現実画像の画像デー
タは、直接には、使用者の目に映すものではなく、画像
処理のみに利用される。なお、ＣＣＤカメラ５の光軸Ｘ
₄ は、使用者が窓部３ａ，３ｂを通して現実視野を見る
ときの遠方の視界中心軸Ｘ₀ （図示せず）とほぼ一致し
ている。The CCD camera 5 captures an image of the real field of view and sends image data obtained by the capturing to the image processing means 21. The image processing means 21 takes in the image data and temporarily stores it in an internal image storage means. The image data of the real image captured by the CCD camera 5 is not directly viewed by the user, but is used only for image processing. The optical axis X of the CCD camera 5
Reference numeral ₄ substantially coincides with a distant view center axis X ₀ (not shown) when the user views the real field through the windows 3a and 3b.

【００４６】操作入力手段２２において、所定形状のカ
ーソルを映出させるためのカーソル画像データの出力を
指示する。視線検出手段２３はＨＭＤを頭部に装着して
いる使用者の視線方向を検出し、その視線方向データを
画像処理手段２１に出力する。画像処理手段２１は、操
作入力手段２２における前記の指示に従って架空画像と
してのカーソル画像データを生成するとともに、前記の
視線方向データに応じて仮想スクリーン上におけるカー
ソルの映出位置を決定し、そのように映出位置が決定さ
れたカーソル画像データを架空画像出力手段２０におけ
るＬＥＤアレイ９に送出する。これにより、使用者の目
には眼前の仮想スクリーンにおいてカーソル画像が映出
されることになる。同時に、使用者の目には窓部３ａ，
３ｂから取り込まれて現実画像の光学系（対物レンズ６
ａ，６ｂ、ハーフミラー７ａ，７ｂ、接眼レンズ８ａ，
８ｂ）を介して入光された現実画像も見えている。The operation input means 22 instructs output of cursor image data for displaying a cursor having a predetermined shape. The line-of-sight detection unit 23 detects the line-of-sight direction of the user wearing the HMD on the head, and outputs the line-of-sight direction data to the image processing unit 21. The image processing means 21 generates cursor image data as an imaginary image in accordance with the instruction from the operation input means 22, and determines the projection position of the cursor on the virtual screen according to the line-of-sight direction data. The cursor image data whose projection position has been determined is sent to the LED array 9 in the imaginary image output means 20. As a result, the cursor image is projected on the virtual screen in front of the user's eyes. At the same time, the window 3a,
3b is taken from the optical system of the real image (the objective lens 6
a, 6b, half mirrors 7a, 7b, eyepieces 8a,
8b) is also visible.

【００４７】使用者は、このようなミックスド・リアリ
ティの重ね合わせの視野の全領域において、画像処理を
行おうとする希望の領域に向けて視線を移す。その変位
した視線方向は視線検出手段２３によって検出され、そ
の視線方向データに基づいてＬＥＤアレイ９に対してカ
ーソル画像データを送出するタイミングの制御およびＬ
ＥＤ群の点灯・消灯の制御を行うことにより、仮想スク
リーンに映出されるカーソル画像も変位させる。使用者
が視界内で見ている方向がいずれの方向に変化しても、
それに追従してカーソル画像が変位し、見ている位置に
対応してカーソル画像が見えていることになる。これと
並行して、画像処理手段２１は、ＣＣＤカメラ５が撮像
して画像記憶手段に記憶している現実画像の画像データ
の座標平面上における座標に対して、視線方向データに
対応するカーソル画像の位置を対応付ける。このことに
より、現実画像の画像データとカーソル画像の位置デー
タとが実際的に関連付けられたことになる。The user shifts his / her line of sight to a desired region in which image processing is to be performed in the entire region of the field of view of the superimposition of mixed reality. The displaced line-of-sight direction is detected by the line-of-sight detecting means 23, and based on the line-of-sight direction data, control of the timing of transmitting the cursor image data to the LED array 9 and L
By controlling the turning on and off of the ED group, the cursor image projected on the virtual screen is also displaced. Whatever direction the user sees in the field of view changes,
Following this, the cursor image is displaced, and the cursor image is seen corresponding to the position at which the user is looking. In parallel with this, the image processing means 21 moves the cursor image corresponding to the line-of-sight direction data with respect to the coordinates on the coordinate plane of the image data of the real image stored by the CCD camera 5 and stored in the image storage means. Is associated with the position. As a result, the image data of the real image and the position data of the cursor image are actually associated with each other.

【００４８】使用者は、ミックスド・リアリティの重ね
合わせの視野において、現実画像とカーソル画像との相
対位置関係を確認しながら視線を動かして画像処理した
い希望の領域にカーソル画像を動かし、カーソル画像が
希望の領域に一致させる。このとき、使用者は視線を動
かすことのみに動作を制限されるものではない。頭部を
動かして見える範囲の現実画像を変化させても、また、
同時に視線も変化させてもかまなわないのである。現実
画像を使用者にとって好ましい状態にするために使用者
がその頭部を動かすと、ＣＣＤカメラ５の光軸Ｘ₄ も動
き、画像処理手段２１の画像記憶手段に記憶される現実
画像の画像データも変化する。この現実画像の変化する
状態で使用者が視線を動かすと、それに応じてカーソル
画像も移動する。すなわち、現実画像の変化とカーソル
画像の移動とが同時に、かつ互いに独立して行われる。
操作入力手段２２においてカーソル画像データの大きさ
を可変調整することや、カーソル画像の種類を変更する
ことも可能である。The user moves the line of sight while checking the relative positional relationship between the real image and the cursor image in the field of view of the mixed reality, and moves the cursor image to a desired region where image processing is desired. Match the desired area. At this time, the operation of the user is not limited only to moving the line of sight. Even if you move the head and change the real image in the visible range,
At the same time, the gaze can be changed. When the user moves his / her head to make the real image preferable, the optical axis X ₄ of the CCD camera 5 also moves, and the image data of the real image stored in the image storage unit of the image processing unit 21. Also change. When the user moves his / her gaze while the real image is changing, the cursor image also moves accordingly. That is, the change of the real image and the movement of the cursor image are performed simultaneously and independently of each other.
It is also possible to variably adjust the size of the cursor image data and change the type of cursor image in the operation input unit 22.

【００４９】使用者は、カーソル画像が希望の領域に一
致したことを確認して、操作入力手段２２におけるカー
ソル位置確定操作を行う。これによって、ＣＣＤカメラ
５が撮像して画像処理手段２１の画像記憶手段に記憶さ
れている現実画像の画像データとカーソル画像の位置デ
ータとが関連付けられて固定されたことになる。したが
って、そのあとは、視線を動かしても、あるいは頭部を
動かしても、その対応付けの関係は変化しない。これ
は、一般的なディスプレイ画面上におけるタッチパネル
式の処理に似ている。つまり、ヘッドマウントディスプ
レイ装置においてミックスド・リアリティと、いわば視
線による領域指定というタッチパネル的な選択操作性と
を実現するのである。The user confirms that the cursor image matches the desired area, and performs a cursor position determination operation on the operation input means 22. As a result, the image data of the real image stored in the image storage unit of the image processing unit 21 and the position data of the cursor image are fixed by being associated with each other. Therefore, after that, even if the user moves his / her gaze or his / her head, the association relationship does not change. This is similar to a touch panel type process on a general display screen. That is, in the head-mounted display device, the mixed reality and the touch panel-like selection operability, that is, the so-called area designation by the line of sight, are realized.

【００５０】カーソル位置確定操作が行われると、画像
処理手段２１は、その内部の領域抽出手段において前記
のカーソル画像の位置データで確定された現実画像の画
像データの指定領域のデータを抽出する。When the cursor position determining operation is performed, the image processing means 21 extracts the data of the designated area of the image data of the real image determined by the position data of the cursor image by the area extracting means in the image processing means 21.

【００５１】ここで、使用者は、例えばテーブル上に置
かれている外国語の書類（書籍、新聞など）を見てい
て、その翻訳をしたいとする。Here, it is assumed that the user is looking at a foreign language document (book, newspaper, etc.) placed on a table, for example, and wants to translate it.

【００５２】使用者の操作入力手段２２における操作に
より、翻訳モードを指示したとする。この場合、画像処
理手段２１における文字抽出手段によって前記の指定領
域でのデータから文字データを抽出し、文字判読手段に
よってその文字を判読する。そして、画像処理手段２１
における翻訳手段は、文字判読手段によって判読された
文字に基づいて文章、構文等々の解析を行い、その解析
結果に基づいて辞書手段を参照して翻訳を実行する。そ
して、文字生成手段は翻訳された結果に基づいて文字を
生成する。どのような言語のどのような字体の文字にす
るかは、操作入力手段２２におけるあらかじめの言語種
類指定や文字種類指定による。生成された文字データを
架空画像出力手段２０におけるＬＥＤアレイ９に送出
し、この文字データについての文字の架空画像をＬＥＤ
アレイ９から出力して、仮想スクリーンに映出させる。
その映出の位置をどこにするかは、操作入力手段２２に
おいて指定する。例えば仮想スクリーンの右上隅とか左
下隅とか任意の部位を指定することができる。これによ
り、使用者の目には眼前の仮想スクリーンにおいて現実
画像から自動的に翻訳された文字が目に映ることにな
る。It is assumed that the translation mode is instructed by the operation of the operation input means 22 by the user. In this case, character data is extracted from the data in the designated area by the character extracting means in the image processing means 21, and the character is read by the character reading means. Then, the image processing means 21
Translates a sentence, a syntax, etc., based on the character read by the character reading means, and executes translation by referring to the dictionary based on the result of the analysis. Then, the character generation means generates a character based on the translated result. The character and the font of the language are determined in advance by specifying the language type and the character type in the operation input unit 22. The generated character data is sent to the LED array 9 in the fictitious image output means 20, and the fictitious image of the character for this character data is
The output from the array 9 is projected on a virtual screen.
The location of the projection is specified by the operation input unit 22. For example, an upper right corner, a lower left corner, or any part of the virtual screen can be designated. As a result, characters automatically translated from the real image appear on the virtual screen in front of the user.

【００５３】以上のようにようにしてカーソル画像によ
る領域指定を繰り返すことにより、その指定された領域
における文字または文章が翻訳されて仮想スクリーンに
映し出されることになる。すなわち、頭部に装着するモ
バイルツールとしてのＨＭＤにおいて、高度な情報処理
である翻訳機能を実現している。By repeating the area designation by the cursor image as described above, the characters or sentences in the designated area are translated and displayed on the virtual screen. That is, in the HMD as a mobile tool worn on the head, a translation function as advanced information processing is realized.

【００５４】ＣＣＤカメラ５で撮像して取得した現実画
像データのうちカーソル画像で指定した任意の領域の画
像データや、その画像データに文字抽出や翻訳などの所
要の変換を施した変換データを、ＨＭＤに対してインタ
ーフェイスやケーブルを介して接続された外部のパーソ
ナルコンピュータやプリンタなどの情報処理装置に転送
するようにしてもよい。データを転送するに際しては、
転送に対応した所要のフォーマットのデータに変換する
ものとする。これにより、頭部に装着するモバイルツー
ルとしてのＨＭＤにおいて、高度な情報処理であるデー
タ通信を実現している。The image data of an arbitrary area designated by the cursor image out of the real image data captured and acquired by the CCD camera 5, and converted data obtained by subjecting the image data to required conversion such as character extraction and translation, The data may be transferred to an information processing device such as an external personal computer or a printer connected to the HMD via an interface or a cable. When transferring data,
It is assumed that the data is converted into data of a required format corresponding to the transfer. As a result, in the HMD as a mobile tool worn on the head, data communication as advanced information processing is realized.

【００５５】〔実施の形態２〕実施の形態２は、実施の
形態１の場合の窓部を通して現実画像を見ることに代え
て、撮像手段としてのＣＣＤカメラによって撮像した現
実画像を表示手段としての液晶ディスプレイに映出し
て、その映出された現実画像を見るように構成したもの
である。換言すれば、現実画像の光学系における現実画
像取込み手段として、ＣＣＤカメラと液晶ディスプレイ
とで構成したものである。このようにするのは、次の理
由による。実施の形態１の場合においては、現実画像は
窓部３ａ，３ｂを通して直接に見ているが、架空画像の
方は電子的に生成されたものである。そのため、架空画
像の映出のタイミングが、現実画像に対して時間的に若
干遅れてしまう。このような現実画像と架空画像との時
間差を解消するのが本実施の形態２である。[Second Embodiment] In the second embodiment, instead of viewing the real image through the window in the case of the first embodiment, a real image taken by a CCD camera as an image pickup means is used as a display means. The image is projected on a liquid crystal display, and the projected real image is viewed. In other words, the real image capturing means in the real image optical system is constituted by a CCD camera and a liquid crystal display. This is done for the following reason. In the case of the first embodiment, the real image is directly viewed through the windows 3a and 3b, but the fictitious image is generated electronically. Therefore, the projection timing of the imaginary image is slightly delayed in time from the actual image. Embodiment 2 eliminates such a time difference between the real image and the imaginary image.

【００５６】図７は実施の形態２のヘッドマウントディ
スプレイ装置の概略構成を示す水平断面図である。実施
の形態１についての図１におけるのと同じ符号は本実施
の形態２についての図７においても同一構成要素を指示
しており、またそれらの結合関係も特にことわらない限
りにおいて既述のとおりであるので、ここでは詳しい説
明は省略する。また、実施の形態１において説明した事
項であって本実施の形態２において改めて説明しない事
項についてはそのまま本実施の形態２にも該当するもの
とし、詳しい説明は省略する。本実施の形態２における
構成が実施の形態１と相違する点は以下のとおりであ
る。FIG. 7 is a horizontal sectional view showing a schematic configuration of the head mounted display device according to the second embodiment. The same reference numerals as those in FIG. 1 of the first embodiment indicate the same components in FIG. 7 of the second embodiment, and as described above, unless the coupling relationship between them is particularly specified. Therefore, detailed description is omitted here. In addition, items that have been described in the first embodiment and that are not described again in the second embodiment also apply to the second embodiment as they are, and a detailed description thereof will be omitted. The configuration of the second embodiment is different from that of the first embodiment as follows.

【００５７】本実施の形態２においては、実施の形態１
の場合の窓部３ａ，３ｂはなく、その代わりに、ハウジ
ング１の内部において左右の対物レンズ６ａ，６ｂそれ
ぞれの前方に表示手段としての液晶ディスプレイ１２
ａ，１２ｂを配置してあり、ＣＣＤカメラ５によって撮
像した現実画像を左右の液晶ディスプレイ１２ａ，１２
ｂのそれぞれに映出するように構成してある。左側の液
晶ディスプレイ１２ａに映出された現実画像を、左側の
対物レンズ６ａ、ハーフミラー７ａ、接眼レンズ８ａを
介して左目１００ａで視認し、右側の液晶ディスプレイ
１２ｂに映出された現実画像を、右側の対物レンズ６
ｂ、ハーフミラー７ｂ、接眼レンズ８ｂを介して右目１
００ｂで視認する。In the second embodiment, the first embodiment
In this case, there is no window 3a, 3b, and instead, a liquid crystal display 12 as a display means is provided in front of the left and right objective lenses 6a, 6b inside the housing 1.
a and 12b are arranged, and a real image taken by the CCD camera 5 is displayed on the left and right liquid crystal displays 12a and 12b.
b. The real image projected on the left liquid crystal display 12a is visually recognized by the left eye 100a via the left objective lens 6a, the half mirror 7a, and the eyepiece 8a, and the real image projected on the right liquid crystal display 12b is displayed. Right objective lens 6
b, half mirror 7b, right eye 1 via eyepiece 8b
00b.

【００５８】ＣＣＤカメラ５による現実画像の撮像も液
晶ディスプレイ１２ａ，１２ｂでの現実画像の映出もＬ
ＥＤアレイ９からの架空画像光の出力もすべて電子的な
ものであるから、ＣＣＤカメラ５によって撮像した現実
画像を液晶ディスプレイ１２ａ，１２ｂに映出するタイ
ミングと、ＬＥＤアレイ９から架空画像を出力するタイ
ミングとを合わせることにより、視覚上の現実画像と架
空画像の時間差をなくすことができる。その結果とし
て、重ね合わされて見える現実画像と架空画像との間の
タイミングのずれを使用者に感じさせないですみ、より
良好なミックスド・リアリティを実現できる。Both the imaging of the real image by the CCD camera 5 and the projection of the real image on the liquid crystal displays 12a and 12b are L.
Since the output of the fictitious image light from the ED array 9 is also all electronic, the timing for projecting the real image captured by the CCD camera 5 on the liquid crystal displays 12a and 12b and the fictitious image from the LED array 9 are output. By adjusting the timing, it is possible to eliminate the time difference between the visual real image and the virtual image. As a result, it is not necessary for the user to feel a timing shift between the superimposed real image and the imaginary image, and better mixed reality can be realized.

【００５９】ＣＣＤカメラ５は１つだけであるが、左目
用の液晶ディスプレイ１２ａに映出するタイミングと右
目用の液晶ディスプレイ１２ｂに映出するタイミングを
少しずらすことにより、みかけ上、立体的な現実画像を
得るように構成することは比較的簡単である。Although only one CCD camera 5 is used, the timing of projection on the liquid crystal display 12a for the left eye and the timing of projection on the liquid crystal display 12b for the right eye are slightly shifted from each other, so Arranging to obtain an image is relatively simple.

【００６０】なお、集光レンズ４とＣＣＤカメラ５から
なる撮像系を左右一対として２組用い、これら左右の撮
像系に視差をもたせることにより、左右の液晶ディスプ
レイ１２ａ，１２ｂに映出される左目用の現実画像と右
目用の現実画像とによって立体的な現実画像を得るよう
にしてもよい。It should be noted that two sets of left and right image pickup systems including the condenser lens 4 and the CCD camera 5 are used, and that these left and right image pickup systems are provided with parallax, so that the left and right liquid crystal displays 12a and 12b display left and right images. A three-dimensional real image may be obtained from the real image for the right eye and the real image for the right eye.

【００６１】実施の形態２の場合の動作は、基本的には
実施の形態１の場合と同様である。実施の形態１の場合
に現実画像として窓部３ａ，３ｂから得たものを見てい
るのに対して、実施の形態２の場合には、ＣＣＤカメラ
５で撮像し液晶ディスプレイ１２ａ，１２ｂに映出した
ものを現実画像として見るようにしている。The operation in the second embodiment is basically the same as that in the first embodiment. In the first embodiment, a real image obtained from the windows 3a and 3b is viewed as a real image, whereas in the second embodiment, the image is captured by the CCD camera 5 and displayed on the liquid crystal displays 12a and 12b. I see the output as a real image.

【００６２】例えば、眼前の現実の光景に例えばテーブ
ルがあり、そのテーブルをＣＣＤカメラ５で撮像し、液
晶ディスプレイ１２ａ，１２ｂにテーブルという現実画
像を映出し、それを見る。一方、操作入力手段２２から
の指示によって画像処理手段２１において例えば花瓶と
いう架空画像の画像データを生成し、その架空画像の画
像データをＬＥＤアレイ９に送出して、架空画像の花瓶
を仮想スクリーンに映出させることにより、現実画像と
してのテーブルの上に架空画像としての花瓶を重ね合わ
せるようにして映出させることができる。For example, there is, for example, a table in the real scene in front of the eyes, and the table is imaged by the CCD camera 5, and a real image of the table is projected on the liquid crystal displays 12a, 12b and viewed. On the other hand, the image processing unit 21 generates image data of a fictitious image, for example, a vase, in accordance with an instruction from the operation input unit 22, sends the image data of the fictitious image to the LED array 9, and places the vase of the fictitious image on the virtual screen. By projecting, a vase as a fictitious image can be projected on a table as a real image.

【００６３】また、翻訳等に際しては、液晶ディスプレ
イ１２ａ，１２ｂに映出されている書面の現実画像を見
て、希望の領域に視線を合わせることで、視線検出手段
２３によりカーソル画像の位置を現実画像上で希望の領
域に一致させ、指定領域を確定することにより翻訳を実
行し、翻訳された文字データを液晶ディスプレイ１２
ａ，１２ｂにおいて希望の位置に映出させることができ
る。あるいは、実施の形態１の場合と同様に、翻訳され
た文字データを架空画像としてＬＥＤアレイ９から出力
することも可能である。At the time of translation or the like, the user looks at a real image of a document projected on the liquid crystal displays 12a and 12b and adjusts his / her gaze to a desired area. The translation is executed by matching the desired area on the image and confirming the designated area, and the translated character data is displayed on the liquid crystal display 12.
In a and 12b, it can be projected at a desired position. Alternatively, similarly to the first embodiment, the translated character data can be output from the LED array 9 as a fictitious image.

【００６４】以上、いくつかの実施の形態について説明
してきたが、本発明は次のように構成したものも含み得
るものとする。Although some embodiments have been described above, the present invention can include the following configurations.

【００６５】（１）上記の各実施の形態においては、Ｌ
ＥＤアレイ９について、１画面分の架空画像を構成する
複数の列状画像のうちの１列のみの列状画像の光を順次
に切り換えて出力させるものとして構成したが、２列と
か３列とかを少数列を単位として、その単位の列状画像
の光を出力させるものとして構成してもよい。(1) In each of the above embodiments, L
The ED array 9 is configured to sequentially switch and output light of only one column image among a plurality of column images forming a fictitious image for one screen. May be configured to output light of a row image in the unit of a few rows.

【００６６】（２）上記の各実施の形態においては、撮
像方向を異にする左目用の立体画像データ４０ａと右目
用の立体画像データ４０ｂを切り換えて用いることによ
り、使用者が立体的な架空画像を見えるようにしたが、
必ずしもそのようにする必要性はなく、視差のない全く
同一の画像データを左目用と右目用とに兼用してもよ
い。あるいは、左目用の光学系と右目用の光学系のいず
れか一方を省略することも考えられる。(2) In each of the above embodiments, the user can switch between the stereoscopic image data 40a for the left eye and the stereoscopic image data 40b for the right eye, which have different imaging directions, so that the user can obtain a stereoscopic imaginary image. I made the image visible,
It is not always necessary to do so, and exactly the same image data without parallax may be used for the left eye and the right eye. Alternatively, one of the left-eye optical system and the right-eye optical system may be omitted.

【００６７】（３）上記の各実施の形態においては、架
空画像出力手段２０における駆動ミラー１１として両面
ミラーのものを用いたが、必ずしもそのようにする必要
性はなく、片面ミラーとしてもよい。ただし、両面ミラ
ーの方が好ましい。(3) In each of the above embodiments, a double-sided mirror is used as the drive mirror 11 in the imaginary image output means 20. However, it is not always necessary to use such a mirror, and a single-sided mirror may be used. However, a two-sided mirror is preferred.

【００６８】（４）上記の各実施の形態においては、駆
動ミラー１１の回転方向を時計方向としたが、必ずしも
そのようにする必要性はなく、反時計方向としてもよ
い。この場合、接眼レンズ８ａ，８ｂの直前での光路の
スキャン方向はともに左向きとなるので、これに合わせ
て、ＬＥＤアレイ９での列状画像データのスキャン方向
を逆方向にする。(4) In each of the above embodiments, the rotation direction of the drive mirror 11 is clockwise. However, it is not always necessary to do so, and the rotation direction may be counterclockwise. In this case, the scanning directions of the optical paths immediately before the eyepieces 8a and 8b are both leftward, and accordingly, the scanning direction of the columnar image data by the LED array 9 is reversed.

【００６９】（５）上記の各実施の形態においては、駆
動ミラー１１として一方向回転タイプとしたが、必ずし
もそのようにする必要性はなく、一定角度範囲で振動的
に往復回動するのでもよい。(5) In each of the above embodiments, the driving mirror 11 is of a one-way rotation type. However, it is not always necessary to do so, and the driving mirror 11 may be reciprocally oscillated in a fixed angle range. Good.

【００７０】（６）上記の各実施の形態においては、架
空画像出力手段２０における光路変換手段として駆動ミ
ラー１１を用いたが、必ずしもそのようにする必要性は
なく、駆動ミラー１１に代えてポリゴンミラーとしても
よい。(6) In each of the above embodiments, the drive mirror 11 is used as the optical path conversion means in the imaginary image output means 20. However, it is not always necessary to use such a drive mirror. It may be a mirror.

【００７１】（７）ＬＥＤアレイ９としては、Ｒ
（赤），Ｇ（緑），Ｂ（青）の３原色のＬＥＤのアレイ
としてもよく、このようにするとカラーの架空画像を得
られる。(7) As the LED array 9, R
An array of LEDs of three primary colors (red), G (green), and B (blue) may be used. In this case, a color fictitious image can be obtained.

【００７２】上記の（１）〜（７）は互いに独立した事
項であり、これらのうち任意の事項を任意数適当に組み
合わせてもよきものとする。The above items (1) to (7) are independent from each other, and any number of these items may be appropriately combined.

【００７３】最後に、本件にかかわる明細書の記述につ
いての留意事項を述べる。本件にかかわる明細書（特に
発明の詳細な説明および特許請求の範囲）または図面に
おいては、記載してある任意の事項（任意の要素または
任意の要素の結合関係・組み合わせ関係を含む）につい
て、その省略の可能性を留保する。さらに、特許請求の
範囲に記載していないが発明の詳細な説明または図面に
記載してある任意の事項について特許請求の範囲への追
加の可能性ならびにその追加に伴う説明の変更の可能性
を留保する。Finally, notes on the description of the specification relating to the present case will be described. In the specification (especially, the detailed description of the invention and the claims) or the drawings relating to the present case, regarding any given matter (including any element or a connection relation / combination relation of any element), Reserve the possibility of omission. Furthermore, the possibility of adding any matter not described in the claims but described in the detailed description of the invention or in the drawings to the claims and the possibility of changing the description accompanying the additions is described. Reserve

【００７４】[0074]

【発明の効果】第１の発明によれば、現実画像の光学系
における対物レンズの光学的性状を適正にすることによ
り、現実画像の見え方を適正なものにしながら、その現
実画像に整合する状態で架空画像を重ね合わせることが
できる。According to the first aspect of the present invention, by adjusting the optical properties of the objective lens in the optical system for a real image, the real image is matched with the real image while the appearance of the real image is made appropriate. In this state, the fictitious images can be superimposed.

【００７５】第２の発明によれば、窓部を通して直接に
見ている現実画像に対して架空画像をマッチングさせた
状態で重ね合わせることができる。According to the second aspect, the imaginary image can be superimposed on the real image directly viewed through the window while being matched.

【００７６】第３の発明によれば、現実画像と架空画像
との間にタイミングのずれをなくし、より良好なミック
スド・リアリティを得ることができる。According to the third aspect of the present invention, it is possible to eliminate a timing shift between the real image and the imaginary image, and to obtain better mixed reality.

【００７７】第４の発明によれば、現実画像中でのカー
ソル画像の重ね合わせに基づく、いわば視線による領域
指定というタッチパネル的な選択操作性を導入すること
ができる。According to the fourth aspect of the invention, it is possible to introduce a touch panel-like selection operability, that is, a so-called area designation based on a line of sight based on the superposition of cursor images in a real image.

【００７８】第５の発明によれば、現実画像と架空画像
との間にタイミングのずれをなくし、より良好なミック
スド・リアリティを得ることができるとともに、現実画
像とカーソル画像との関連付けを時間のずれなく高精度
に実現することができる。According to the fifth aspect, it is possible to eliminate a timing shift between the real image and the imaginary image, to obtain better mixed reality, and to associate the real image with the cursor image in time. It can be realized with high accuracy without deviation.

【００７９】第６の発明、第７の発明によれば、頭部に
装着するモバイルツールとしてのヘッドマウントディス
プレイ装置において、高度な情報処理の一つであるデー
タ変換機能、または翻訳機能を実現することができる。According to the sixth and seventh aspects of the present invention, a data conversion function or a translation function, which is one of advanced information processing, is realized in a head mounted display device as a mobile tool mounted on the head. be able to.

【００８０】第８の発明によれば、頭部に装着するモバ
イルツールとしてのヘッドマウントディスプレイ装置に
おいて、高度な情報処理の一つであるデータ通信を実現
することができる。According to the eighth aspect, in a head mounted display device as a mobile tool worn on the head, data communication as one of advanced information processing can be realized.

【００８１】第９の発明によれば、架空画像出力手段の
小型化を通じて、ヘッドマウントディスプレイ装置の全
体の小型化・軽量化を図ることができる。According to the ninth aspect, the overall size and weight of the head mounted display device can be reduced by reducing the size of the imaginary image output means.

【図面の簡単な説明】[Brief description of the drawings]

【図１】 本発明の実施の形態１のヘッドマウントディ
スプレイ装置の概略的な構成を示す水平断面図FIG. 1 is a horizontal sectional view showing a schematic configuration of a head mounted display device according to a first embodiment of the present invention.

【図２】 実施の形態１において使用者がヘッドマウン
トディスプレイ装置を装着した使用状態を示す斜視図FIG. 2 is a perspective view showing a use state in which a user wears a head mounted display device in the first embodiment.

【図３】 実施の形態１のヘッドマウントディスプレイ
装置の電気的構成を示すブロック図FIG. 3 is a block diagram illustrating an electrical configuration of the head mounted display device according to the first embodiment;

【図４】 実施の形態１，２においてＬＥＤアレイによ
って出力すべき１画面分の架空画像の模式図FIG. 4 is a schematic diagram of a fictitious image for one screen to be output by an LED array in the first and second embodiments.

【図５】 実施の形態１，２において左側の光学系につ
いての動作説明図FIG. 5 is an operation explanatory diagram of a left optical system in the first and second embodiments.

【図６】 実施の形態１，２において右側の光学系につ
いての動作説明図FIG. 6 is an operation explanatory diagram of the right optical system in the first and second embodiments.

【図７】 本発明の実施の形態２のヘッドマウントディ
スプレイ装置の概略的な構成を示す水平断面図FIG. 7 is a horizontal sectional view showing a schematic configuration of a head mounted display device according to a second embodiment of the present invention.

【符号の説明】[Explanation of symbols]

１…ハウジング、２…バンド、３ａ，３ｂ…窓部、４…
集光レンズ、５…ＣＣＤカメラ、６ａ，６ｂ…左右の対
物レンズ、７ａ，７ｂ…左右のハーフミラー、８ａ，８
ｂ…左右の接眼レンズ、９…ＬＥＤアレイ、１０…対物
レンズ、１１…駆動ミラー、１２ａ，１２ｂ…左右の液
晶ディスプレイ、２０…架空画像出力手段、２１…画像
処理手段、２２…操作入力手段、２３…視線検出手段、
３０ａ…左目接眼部、３０ｂ…右目接眼部、４０ａ…左
目用の立体画像データ、４０ｂ…右目用の立体画像デー
タ、５０ａ，５０ｂ…左右の仮想スクリーン、１００ａ
…左目、１００ｂ…右目、Ｘ₁ …左目用の共通光軸、Ｘ
₂ …右目用の共通光軸、Ｘ ₃ …架空画像出力手段におけ
る対物レンズの光軸、Ｘ₄ …ＣＣＤカメラの光軸 DESCRIPTION OF SYMBOLS 1 ... Housing, 2 ... Band, 3a, 3b ... Window part, 4 ...
Condensing lens, 5: CCD camera, 6a, 6b: left and right pair
Object lens, 7a, 7b ... left and right half mirrors, 8a, 8
b: Left and right eyepieces, 9: LED array, 10: Objective
Lens, 11: driving mirror, 12a, 12b: left and right liquids
Crystal display, 20 ... fictitious image output means, 21 ... image
Processing means, 22 ... operation input means, 23 ... gaze detection means,
30a left eye eyepiece, 30b right eye eyepiece, 40a left
3D image data for eyes, 40b ... 3D image data for right eyes
, 50a, 50b ... left and right virtual screens, 100a
… Left eye, 100b… right eye, X₁ … Common optical axis for left eye, X
_Two … Common optical axis for right eye, X _Three … In the fictitious image output means
Optical axis of the objective lens, X_Four ... optical axis of CCD camera

───────────────────────────────────────────────────── フロントページの続き (72)発明者 溝口 隆敏 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 蝦名 清志 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 志水 英二 大阪府高槻市塚原６丁目１番10号 Ｆターム(参考） 5B050 BA09 BA20 DA01 EA03 FA02 FA06  ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Takatoshi Mizoguchi 22-22, Nagaikecho, Abeno-ku, Osaka-shi, Osaka Inside Sharp Corporation (72) Inventor Kiyoshi Ena 22-22, Nagaikecho, Abeno-ku, Osaka-shi, Osaka Co., Ltd. (72) Inventor Eiji Shimizu 6-1-10 Tsukahara, Takatsuki-shi, Osaka F-term (reference) 5B050 BA09 BA20 DA01 EA03 FA02 FA06

Claims (9)

【特許請求の範囲】[Claims] 【請求項１】 使用者の視界で現実画像と架空画像を重
ね合わせて見るヘッドマウントディスプレイ装置であっ
て、架空画像を視認するための光学系として架空画像出
力手段とハーフミラーと接眼レンズが設けられており、
現実画像を視認するための光学系として対物レンズが設
けられているとともに前記の架空画像の光学系における
ハーフミラーと接眼レンズを通して現実画像を視認する
ように構成してあることを特徴とするヘッドマウントデ
ィスプレイ装置。1. A head mounted display device for superimposing a real image and an imaginary image in a field of view of a user, wherein an imaginary image output means, a half mirror and an eyepiece are provided as an optical system for visually recognizing the imaginary image. Has been
A head mount provided with an objective lens as an optical system for visually recognizing the real image and configured to visually recognize the real image through a half mirror and an eyepiece in the optical system for the fictitious image. Display device. 【請求項２】 前記現実画像の光学系における現実画像
取込み手段が、その光学系における前記対物レンズの前
方に配置した窓部であることを特徴とする請求項１に記
載のヘッドマウントディスプレイ装置。2. The head mounted display device according to claim 1, wherein the real image capturing means in the real image optical system is a window disposed in front of the objective lens in the optical system. 【請求項３】 前記現実画像の光学系における現実画像
取込み手段が、現実画像を撮像する撮像手段と、現実画
像の光学系における前記対物レンズの前方に配置されて
前記撮像手段によって撮像される現実画像を映出する表
示手段とで構成されていることを特徴とする請求項１に
記載のヘッドマウントディスプレイ装置。3. A real image capturing means in the real image optical system, an image capturing means for capturing a real image, and a real image captured by the image capturing means disposed in front of the objective lens in the real image optical system. 2. The head-mounted display device according to claim 1, wherein the head-mounted display device comprises a display unit for displaying an image. 【請求項４】 使用者の視界で現実画像と架空画像を重
ね合わせて見るヘッドマウントディスプレイ装置であっ
て、架空画像を視認するための光学系として架空画像出
力手段とハーフミラーと接眼レンズが設けられており、
現実画像を視認するための光学系として対物レンズが設
けられているとともに前記の架空画像の光学系における
ハーフミラーと接眼レンズを通して現実画像を視認する
ように構成され、さらに、現実画像を撮像する撮像手段
と、使用者の視線方向を検出する視線検出手段と、前記
架空画像の光学系を介して架空画像が展開される仮想ス
クリーン上での架空画像としてのカーソル画像の位置を
前記視線検出手段が検出する視線方向に応じて変位させ
る手段と、そのカーソル画像の位置を前記撮像手段が撮
像した現実画像の画像データの座標平面上で対応付けて
確定する手段と、その位置が確定されたカーソル画像に
よって指定される現実画像の画像データ上での指定領域
のデータを抽出する手段と、その抽出したデータを画像
処理する手段とを備えていることを特徴とするヘッドマ
ウントディスプレイ装置。4. A head mounted display device for superimposing a real image and an imaginary image in a field of view of a user, wherein an imaginary image output means, a half mirror and an eyepiece are provided as an optical system for visually recognizing the imaginary image. Has been
An objective lens is provided as an optical system for visually recognizing a real image, and the real image is configured to be visually recognized through a half mirror and an eyepiece in the optical system for the fictitious image. Means, a line-of-sight detecting means for detecting the direction of the user's line of sight, and the line-of-sight detecting means determines the position of a cursor image as a virtual image on a virtual screen on which the virtual image is developed via the optical system of the virtual image. Means for displacing according to the direction of the line of sight to be detected, means for associating the position of the cursor image on the coordinate plane of the image data of the real image captured by the imaging means, and a cursor image whose position is determined Means for extracting data of a specified area on the image data of the real image specified by, and means for performing image processing on the extracted data. Head-mounted display device, characterized in that are e. 【請求項５】 前記現実画像の光学系における前記対物
レンズの前方に表示手段が配置され、前記撮像手段によ
って撮像される現実画像を前記表示手段に表示するよう
に構成されていることを特徴とする請求項４に記載のヘ
ッドマウントディスプレイ装置。5. A display device, wherein a display means is arranged in front of the objective lens in the optical system of the real image, and a real image picked up by the image pick-up means is displayed on the display means. The head-mounted display device according to claim 4. 【請求項６】 前記画像処理する手段は、前記抽出した
データを別の形態のデータに変換する機能を備えたもの
である請求項４または請求項５に記載のヘッドマウント
ディスプレイ装置。6. The head-mounted display device according to claim 4, wherein the image processing means has a function of converting the extracted data into another type of data. 【請求項７】 前記画像処理する手段は、前記抽出した
データが文字データであるときに、その文字データを別
の言語の文字データに変換する翻訳機能を備えたもので
ある請求項６に記載のヘッドマウントディスプレイ装
置。7. The image processing means according to claim 6, wherein, when the extracted data is character data, a translation function for converting the character data into character data of another language is provided. Head mounted display device. 【請求項８】 前記画像処理されたデータを外部の情報
処理装置に通信する通信機能を備えていることを特徴と
する請求項４から請求項７までのいずれかに記載のヘッ
ドマウントディスプレイ装置。8. The head-mounted display device according to claim 4, further comprising a communication function of communicating the image-processed data to an external information processing device. 【請求項９】 前記架空画像出力手段が、発光素子アレ
イと、対物レンズと、光路変換手段とから構成されてい
ることを特徴とする請求項１から請求項８までのいずれ
かに記載のヘッドマウントディスプレイ装置。9. The head according to claim 1, wherein the imaginary image output unit includes a light emitting element array, an objective lens, and an optical path changing unit. Mount display device.