JP2017068269A - Virtual image display device - Google Patents
Virtual image display device Download PDFInfo
- Publication number
- JP2017068269A JP2017068269A JP2016211343A JP2016211343A JP2017068269A JP 2017068269 A JP2017068269 A JP 2017068269A JP 2016211343 A JP2016211343 A JP 2016211343A JP 2016211343 A JP2016211343 A JP 2016211343A JP 2017068269 A JP2017068269 A JP 2017068269A
- Authority
- JP
- Japan
- Prior art keywords
- video
- virtual image
- image
- region
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Mechanical Optical Scanning Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、頭部に装着して使用するヘッドマウントディスプレイ等の虚像表示装置に関する。 The present invention relates to a virtual image display device such as a head mounted display that is used by being mounted on a head.
近年、ヘッドマウントディスプレイのように虚像の形成及び観察を可能にする虚像表示装置として、例えば、画像光を走査させて眼の網膜に画像を投影するものが提案されており、虚像を形成する画像光と外界からの光である外界光とを重畳させるために、シースルーにしたものが提案されている(特許文献1参照)。 In recent years, as a virtual image display device that enables formation and observation of a virtual image, such as a head-mounted display, for example, a device that scans image light and projects an image on the retina of an eye has been proposed. In order to superimpose light and external light which is light from the outside world, a see-through light is proposed (see Patent Document 1).
ところで、画像となるべき光を斜め方向から投射する場合、例えば投射画像に生じる歪みを台形補正等する歪補正処理が必要となる。これに対して、ヘッドマウントディスプレイではないが、光走査を行って画像投射を行う走査型画像表示装置に関する技術として、画像投射の際に偏向振幅を変化させることで台形歪みを補正するものが知られている(特許文献2参照)。ヘッドマウントディスプレイにおいても、例えば耳側から或いは鼻側から斜め方向に画像投射をするといった場合には、通常の画像表示装置の場合と同様に画像の歪みを是正するために何らかの補正処理が必要となる。ここで、台形補正のように画像を生成する装置内部での信号処理によって画像についての補正処理をすることも考えられる。 By the way, when projecting light to be an image from an oblique direction, for example, a distortion correction process for correcting a distortion generated in the projected image, for example, a trapezoidal correction is necessary. On the other hand, a technique for correcting a trapezoidal distortion by changing the deflection amplitude at the time of image projection is known as a technique related to a scanning image display device that is not a head mounted display but performs image projection by performing optical scanning. (See Patent Document 2). Even in a head-mounted display, for example, when image projection is performed obliquely from the ear side or the nose side, some correction processing is required to correct image distortion as in the case of a normal image display device. Become. Here, it is also conceivable to perform correction processing on the image by signal processing inside the apparatus that generates the image, such as keystone correction.
投射画像に対して台形補正等を行う場合、一般的に補正量が大きくなるほど映し出される画像が小さくなって解像度が下がり、また、使われないままとなる無駄な領域も増えることになる。従って、例えば高精細な画像を得るには、より高解像度の画像形成ができることが必要となるが、ヘッドマウントディスプレイの場合においては、特に装置の小型化・軽量化が要求されるため、画像を生成する側において確保できる解像度には限界がある。さらに、ヘッドマウントディスプレイの場合、装置の小型化・軽量化の要請から、できるだけ各部の装置を簡易な構造とすることが望ましく、例えば光走査を行って画像投射を行う場合であっても、特許文献2のような複雑な光走査の制御が可能なものではなく、装置の構造が簡易であることが好ましい。 When performing keystone correction or the like on a projected image, generally, the larger the correction amount, the smaller the projected image, the lower the resolution, and the more useless areas that remain unused. Therefore, for example, in order to obtain a high-definition image, it is necessary to be able to form a higher-resolution image. However, in the case of a head-mounted display, the size and weight of the device are particularly required. There is a limit to the resolution that can be secured on the generation side. Furthermore, in the case of a head-mounted display, it is desirable to make the device of each part as simple as possible in order to reduce the size and weight of the device. For example, even when performing image projection by performing optical scanning, It is not possible to control complicated optical scanning as in Document 2, and it is preferable that the structure of the apparatus is simple.
本発明は、画像投射において台形補正を行う場合において、当該台形補正による補正量を低減し、使われないままとなる無駄な領域の発生を極力回避し、歪みのない画像として有効に使える映像領域を広くとることを可能とする虚像表示装置を提供することを目的とする。 The present invention reduces the amount of correction by trapezoidal correction when performing trapezoidal correction in image projection, avoids the generation of useless areas that are not used as much as possible, and effectively uses a video area as a distortion-free image An object of the present invention is to provide a virtual image display device that can take a wide range of images.
上記目的を達成するため、本発明の第1の虚像表示装置は、(a)入力信号に応じて使用者に虚像を視認させるための画像信号の処理を行う画像処理部と、(b)画像処理部からの画像信号に応じて虚像を視認させるための光を生成する映像生成部と、(c)映像生成部からの光を仮想的な映像領域に表示された虚像として視認させる虚像形成部と、を備え、(d)映像生成部において光を生成し映像生成部からの光を虚像形成部によって虚像として認識させるまでの過程で、少なくとも縦横のうち一方向についての台形歪を発生する虚像表示装置であって、(e)画像処理部は、使用者に認識させるべき虚像の台形補正の処理を行う台形補正処理部を有し、(f)画像処理部は、虚像形成部によって視認させる映像領域を、複数に分割した分割映像領域で構成させるとともに、分割映像領域にそれぞれ対応して台形補正処理部による台形補正の処理を含む処理を行う。 In order to achieve the above object, a first virtual image display device of the present invention includes (a) an image processing unit that processes an image signal for allowing a user to visually recognize a virtual image according to an input signal, and (b) an image. A video generation unit that generates light for visually recognizing a virtual image according to an image signal from the processing unit; and (c) a virtual image formation unit that visually recognizes the light from the video generation unit as a virtual image displayed in a virtual video region. (D) a virtual image that generates trapezoidal distortion in at least one of vertical and horizontal directions in a process from generation of light in the video generation unit to recognition of light from the video generation unit as a virtual image by the virtual image formation unit (E) The image processing unit includes a trapezoidal correction processing unit that performs a trapezoidal correction process of a virtual image to be recognized by the user, and (f) the image processing unit is visually recognized by the virtual image forming unit. Divided video area into multiple Causes consists split image area, performs a process including the process of keystone correction by the trapezoidal correction processing unit to correspond to the divided image area.
上記虚像表示装置では、虚像形成部において複数に分割された分割映像領域の状態にある映像領域に対して台形補正処理部による台形補正を含む画像処理が各分割映像領域に応じて個別になされるものとすることができる。この場合、映像領域を複数に分割することで、例えば使われないままとなる無駄な領域が少なくなるようにして、使用する映像領域を広くとることができる。また、この場合、映像領域において分割された各分割映像領域のうち台形補正がなされる領域での補正量を、例えば映像領域を1つの矩形領域とする台形補正の場合における補正量と比較して少なくすることができる。結果的に、歪みの補正に伴う解像度の低下を抑制できる。さらに、複数の映像領域を有することで、多種多様な情報表示が可能となる。 In the virtual image display device, image processing including trapezoid correction by the trapezoid correction processing unit is individually performed for each divided video region with respect to a video region in a divided video region divided into a plurality of portions in the virtual image forming unit. Can be. In this case, by dividing the video area into a plurality of areas, for example, a useless area that remains unused can be reduced, and a wide video area can be used. Further, in this case, the correction amount in the region where the trapezoid correction is performed among the divided video regions divided in the video region is compared with the correction amount in the case of the trapezoid correction in which the video region is one rectangular region, for example. Can be reduced. As a result, it is possible to suppress a decrease in resolution accompanying distortion correction. Furthermore, by having a plurality of video areas, a wide variety of information can be displayed.
本発明の具体的な側面では、台形補正処理部は、分割映像領域にそれぞれ対応して個別の台形補正の処理を行う。この場合、映像領域において分割された各分割映像領域で歪みの補正された画像を形成でき、この際、補正量を、映像領域を1つの矩形領域とする台形補正の場合における補正量と比較して少なくできる。 In a specific aspect of the present invention, the trapezoidal correction processing unit performs individual trapezoidal correction processing corresponding to each divided video area. In this case, a distortion-corrected image can be formed in each divided video area divided in the video area. At this time, the correction amount is compared with the correction amount in the case of trapezoidal correction in which the video area is one rectangular area. Can be less.
本発明の別の側面では、画像処理部は、分割映像領域として、内側に位置する第1映像領域と外側に位置する第2映像領域とを含むように処理を行う。ここで、内側に位置するとは、装着時において他方に比べ使用者(装着者)の鼻側に位置することを意味し、外側に位置するとは、装着時において他方に比べ使用者の耳側に位置することを意味する。この場合、投射される方向が内側からであるか外側からであるかによって、内側と外側とで画像の歪の発生度合に差が出ることがあるが、例えば歪の少ない側の映像領域において主たる映像を形成させ、他方の映像領域に主たる映像を補助する情報を表示する従たる映像を形成させるといったことができる。 In another aspect of the present invention, the image processing unit performs processing so as to include a first video region located inside and a second video region located outside as the divided video regions. Here, “inside” means that it is located closer to the user's (wearer) nose side than the other when worn, and “outside” means closer to the user's ear side than the other when worn. Means to be located. In this case, depending on whether the direction of projection is from the inside or the outside, there may be a difference in the degree of distortion of the image between the inside and the outside. A video can be formed, and a sub video that displays information for assisting the main video in the other video area can be formed.
本発明のさらに別の側面では、使用者からの指示を受け付ける入力受付部をさらに備え、画像処理部は、虚像形成部によって視認させる第2映像領域に、入力受付部で受け付ける動作に関するアイコン表示を行わせる。この場合、例えば第2映像領域に表示される情報に基づいて操作を行うことで、第1映像領域に映し出す映像等を使用者の意思を反映して選択することができる。 In still another aspect of the present invention, the image processing unit further includes an input receiving unit that receives an instruction from the user, and the image processing unit displays an icon display related to the operation received by the input receiving unit in the second video region that is visually recognized by the virtual image forming unit. Let it be done. In this case, for example, by performing an operation based on information displayed in the second video area, it is possible to select a video or the like to be displayed in the first video area, reflecting the user's intention.
本発明のさらに別の側面では、虚像形成部は、左右の眼にそれぞれ対応する右眼側虚像形成部と左眼側虚像形成部との一対で構成され、画像処理部は、右眼側虚像形成部によって視認させる映像領域の第1映像領域として右眼側第1映像領域を含むとともに、映像領域の第2映像領域として右眼側第2映像領域を含むように処理を行い、画像処理部は、左眼側虚像形成部によって視認させる映像領域の第1映像領域として左眼側第1映像領域を含むとともに、映像領域の第2映像領域として左眼側第2映像領域を含むように処理を行い、画像処理部は、右眼側第1映像領域と左眼側第1映像領域とにおいて、左右に共通する映像を表示させる。この場合、右眼側第1映像領域の映像と左眼側第1映像領域の映像とを共通する一つの画像として使用者に認識させることができ、さらに、右眼側第2映像領域及び左眼側第2映像領域において別個の映像を映し出して認識させることができる。 In still another aspect of the present invention, the virtual image forming unit includes a pair of a right eye side virtual image forming unit and a left eye side virtual image forming unit corresponding to the left and right eyes, and the image processing unit is a right eye side virtual image. The image processing unit performs processing so as to include the right eye side first video region as the first video region of the video region visually recognized by the forming unit and include the right eye side second video region as the second video region of the video region. Includes processing the left eye side first video region as the first video region of the video region visually recognized by the left eye side virtual image forming unit and the left eye side second video region as the second video region of the video region. And the image processing unit displays a common video to the left and right in the right eye side first video region and the left eye side first video region. In this case, the video of the right eye side first video area and the video of the left eye side first video area can be recognized by the user as one common image, and the right eye side second video area and the left eye A separate image can be projected and recognized in the eye-side second image area.
本発明のさらに別の側面では、画像処理部は、右眼側第2映像領域に形成される独立な映像を表示させ、左眼側第2映像領域に形成される別の独立な映像を表示させる。この場合、映像のうち中央部の画像として、左右の眼で認識可能な共通する一つの画像を形成させるとともに、映像のうち周辺部として認識される画像に関して、右側には右眼でのみ認識可能な独立の画像を形成させ、左側には左眼でのみ認識可能な別個独立の画像をそれぞれ形成させることができる。 In yet another aspect of the present invention, the image processing unit displays an independent video formed in the right eye side second video region and displays another independent video formed in the left eye side second video region. Let In this case, a common image that can be recognized by the left and right eyes is formed as an image in the center of the video, and an image that is recognized as a peripheral part of the video can be recognized only by the right eye on the right side. Separate independent images can be formed, and separate independent images that can be recognized only by the left eye can be formed on the left side.
本発明のさらに別の側面では、台形補正処理部は、左右に共通する映像が表示される右眼側第1映像領域及び左眼側第1映像領域に対してのみ台形補正を行う。この場合、認識される映像のうち中央部の映像については、補正によって画素合わせを可能にすることで、左右で共通のものとして認識させることができる。一方、周辺部の映像については、実質的な補正を要しないことで、画像処理の負担を減らすことができる。 In yet another aspect of the present invention, the trapezoidal correction processing unit performs trapezoidal correction only on the right eye side first video region and the left eye side first video region in which images common to the left and right are displayed. In this case, the center image among the recognized images can be recognized as common to the left and right by enabling pixel alignment by correction. On the other hand, the image processing in the peripheral portion is not required to be substantially corrected, so that the burden of image processing can be reduced.
本発明のさらに別の側面では、画像処理部は、右眼側虚像形成部によって視認させる右眼側第2映像領域を、使用者が視線を左側に向けた場合に視界から外れる範囲に形成し、左眼側虚像形成部によって視認させる左眼側第2映像領域を、使用者が視線を右側に向けた場合に視界から外れる範囲に形成する。この場合、使用者は、必要な画像情報を必要な時に認識し、不要な情報を視界から排除できる。 In still another aspect of the present invention, the image processing unit forms the right-eye-side second video region to be visually recognized by the right-eye-side virtual image forming unit in a range out of the field of view when the user turns his / her line of sight toward the left side. The left-eye-side second video region that is visually recognized by the left-eye-side virtual image forming unit is formed in a range that is out of the field of view when the user turns his / her line of sight to the right side. In this case, the user can recognize necessary image information when necessary and can exclude unnecessary information from view.
上記目的を達成するため、本発明の第2の虚像表示装置は、(a)入力信号に応じて使用者に虚像を視認させるための画像信号の処理を行う画像処理部と、(b)画像処理部からの画像信号に応じて虚像を視認させための光を生成する映像生成部と、(c)映像生成部からの光を仮想的な映像領域に表示された虚像として視認させる虚像形成部と、を備え、(d)映像生成部において光を生成し映像生成部からの光を虚像形成部によって虚像として視認させるまでの過程で、少なくとも縦横のうち一方向についての台形歪を発生させる虚像表示装置であって、(e)画像処理部は、使用者に認識させるべき虚像の台形補正の処理を行う台形補正処理部を有し、(f)虚像形成部は、左右の眼にそれぞれ対応する右眼側虚像形成部と左眼側虚像形成部との一対で構成され、(g)台形補正処理部は、右眼側虚像形成部側に対する台形補正と左眼側虚像形成部側に対する台形補正とを左右方向に関する対称軸を基準としてミラー対称に行う。 In order to achieve the above object, a second virtual image display device of the present invention includes (a) an image processing unit that processes an image signal for allowing a user to visually recognize a virtual image according to an input signal, and (b) an image. A video generation unit that generates light for visually recognizing a virtual image according to an image signal from the processing unit; and (c) a virtual image formation unit that visually recognizes the light from the video generation unit as a virtual image displayed in a virtual video region. (D) a virtual image that generates a trapezoidal distortion in at least one of the vertical and horizontal directions in the process from the generation of light in the video generation unit until the light from the video generation unit is visually recognized as a virtual image by the virtual image formation unit (E) The image processing unit includes a trapezoidal correction processing unit that performs a trapezoidal correction process of a virtual image to be recognized by the user, and (f) the virtual image forming unit corresponds to the left and right eyes, respectively. Right-eye virtual image forming part and left-eye virtual image (G) The trapezoidal correction processing unit mirrors the trapezoidal correction for the right eye side virtual image forming unit side and the trapezoidal correction for the left eye side virtual image forming unit side with respect to the symmetry axis in the left-right direction. Do it symmetrically.
上記虚像表示装置では、虚像形成部が右眼側虚像形成部と左眼側虚像形成部との一対で構成されており、かつ、台形補正処理部での台形補正が、両虚像形成部に関してミラー対称に行う左右バランスのとれたものとなっており、左右で個別に補正を行うのに比べて、補正処理の負担を軽減できる。また、この場合、左右が揃っていることで、補正量について、例えば右側と左側とで個別に補正をし、かつ、右左の映像領域を共通のものと認識できるように画素を合わせる、といった場合よりも低減できる。 In the virtual image display device, the virtual image forming unit includes a pair of a right eye side virtual image forming unit and a left eye side virtual image forming unit, and the trapezoidal correction in the trapezoidal correction processing unit is mirrored with respect to both virtual image forming units. The left and right balance is symmetrically performed, and the burden of the correction process can be reduced as compared with the case where correction is performed separately on the left and right. Also, in this case, when the left and right are aligned, the correction amount is corrected separately for the right and left sides, for example, and the pixels are aligned so that the right and left video areas can be recognized as common. Can be reduced.
本発明の具体的な側面では、画像処理部は、虚像形成部によって視認させる映像領域を、複数に分割した分割映像領域で構成させ、分割映像領域として、内側に位置する第1映像領域と外側に位置する第2映像領域とを含むように処理を行い、画像処理部は、右眼側虚像形成部によって視認させる映像領域の第1映像領域として右眼側第1映像領域を含むとともに、映像領域の第2映像領域として右眼側第2映像領域を含むように処理を行い、画像処理部は、左眼側虚像形成部によって視認させる映像領域の第1映像領域として左眼側第1映像領域を含むとともに、映像領域の第2映像領域として左眼側第2映像領域を含むように処理を行い、画像処理部は、右眼側第1映像領域と左眼側第1映像領域とにおいて、左右に共通する映像を表示させる。この場合、映像のうち中央部の画像として、左右の眼で認識可能な共通する一つの画像を形成させることができる一方、右眼側第2映像領域と左眼側第2映像領域とにおいて、上記共通する一つの画像とは異なる表示をそれぞれ行うことができる。 In a specific aspect of the present invention, the image processing unit includes a divided video region divided into a plurality of video regions to be visually recognized by the virtual image forming unit, and the first video region located on the inner side and the outer side as the divided video regions. And the image processing unit includes a right eye side first video region as a first video region of the video region visually recognized by the right eye side virtual image forming unit and a video image. Processing is performed so as to include the right-eye-side second video region as the second video region of the region, and the image processing unit performs the left-eye-side first video as the first video region to be visually recognized by the left-eye-side virtual image forming unit. The image processing unit performs processing so as to include the left-eye-side second video region as the second video region of the video region, and the image processing unit performs processing in the right-eye-side first video region and the left-eye-side first video region. , Display common video on left and right To. In this case, one common image that can be recognized by the left and right eyes can be formed as an image in the center of the video, while the right eye side second video region and the left eye side second video region Different displays from the one common image can be performed.
上記目的を達成するため、本発明の第3の虚像表示装置は、(a)入力信号に応じて使用者に虚像を視認させるための画像信号の処理を行う画像処理部と、(b)画像処理部からの画像信号に応じて虚像を視認させるための光を生成する映像生成部と、(c)映像生成部からの光を仮想的な映像領域に表示された虚像として視認させる虚像形成部と、を備え、(d)映像生成部において光を生成し映像生成部からの光を虚像形成部によって虚像として視認させるまでの過程で、少なくとも縦横のうち一方向についての台形歪を発生させる虚像表示装置であって、(e)画像処理部は、使用者に認識させるべき虚像の台形補正の処理を行う台形補正処理部を有し、(f)虚像形成部において、映像領域の中心位置は、装着時における使用者の眼の中心位置からずれている。 In order to achieve the above object, a third virtual image display device of the present invention includes (a) an image processing unit for processing an image signal for allowing a user to visually recognize a virtual image according to an input signal, and (b) an image. A video generation unit that generates light for visually recognizing a virtual image according to an image signal from the processing unit; and (c) a virtual image formation unit that visually recognizes the light from the video generation unit as a virtual image displayed in a virtual video region. (D) a virtual image that generates a trapezoidal distortion in at least one of the vertical and horizontal directions in the process from the generation of light in the video generation unit until the light from the video generation unit is visually recognized as a virtual image by the virtual image formation unit In the display device, (e) the image processing unit includes a trapezoidal correction processing unit that performs a trapezoidal correction process of a virtual image to be recognized by the user. (F) In the virtual image forming unit, the center position of the video area is , User's eyes when wearing It is offset from the center position.
上記虚像表示装置では、虚像形成部での映像領域の中心位置が、装着時における使用者の眼の中心位置からずれている。この場合、例えば、少ない補正量で歪みのない画像が形成できる領域の中心位置に眼の中心位置が一致するようにずらすことが可能となる。この結果として、使用者が注目しやすい領域において、使われないままとなる無駄な領域を少なくして、使用する映像領域を広くとることができる。また、使用者が注目しやすい領域以外の領域についても映像を提供する部分として利用できる。 In the virtual image display device, the center position of the video area in the virtual image forming unit is deviated from the center position of the user's eye when worn. In this case, for example, it is possible to shift the eye so that the center position of the eye coincides with the center position of an area where an image without distortion can be formed with a small correction amount. As a result, it is possible to reduce a useless area that is not used in an area that is easily noticed by the user and to increase a video area to be used. Further, an area other than an area that is easily noticed by the user can be used as a part for providing video.
本発明の具体的な側面では、画像処理部は、虚像形成部によって視認させる映像領域を、複数に分割した分割映像領域で構成させ、分割映像領域として、内側に位置する第1映像領域と外側に位置する第2映像領域とを含むように処理を行い、映像領域のうち第1映像領域の中心位置は、装着時における使用者の眼の中心位置に一致している。この場合、第1映像領域の映像を中心視すべき中心側にあるものとして認識させる一方、第2映像領域の映像を周辺側にあるものとして認識させることができる。 In a specific aspect of the present invention, the image processing unit includes a divided video region divided into a plurality of video regions to be visually recognized by the virtual image forming unit, and the first video region located on the inner side and the outer side as the divided video regions. And the center position of the first video area in the video area coincides with the center position of the user's eye when worn. In this case, the video in the first video area can be recognized as being on the central side to be viewed centrally, while the video in the second video area can be recognized as being on the peripheral side.
本発明のさらに別の側面では、映像生成部及び/又は虚像形成部は、少なくとも横台形歪を発生させる。この場合、例えば装着時において、使用者の鼻側或いは耳側から横方向に光を斜め投射して虚像を形成させる場合に横台形歪が発生するものとなるが、当該横台形歪みについて、歪みの補正された画像形成が可能となる。 In still another aspect of the present invention, the video generation unit and / or the virtual image forming unit generates at least horizontal trapezoidal distortion. In this case, for example, at the time of wearing, when a virtual image is formed by obliquely projecting light laterally from the user's nose side or ear side, horizontal trapezoidal distortion occurs. The corrected image can be formed.
本発明のさらに別の側面では、映像生成部は、画像に対応して変調された信号光を射出する信号光変調部と、信号光変調部から入射した信号光を走査させることにより、走査光として射出させる走査光学系と、を有する。この場合、例えば映像生成部の小型化を図ることができる。 In still another aspect of the present invention, the video generation unit scans the signal light modulation unit that emits the signal light modulated corresponding to the image, and the signal light incident from the signal light modulation unit, thereby scanning light. A scanning optical system. In this case, for example, the video generation unit can be downsized.
〔第1実施形態〕
以下、図面を参照しつつ、本発明の第1実施形態に係る虚像表示装置について詳細に説明する。
[First Embodiment]
Hereinafter, a virtual image display device according to a first embodiment of the present invention will be described in detail with reference to the drawings.
図1に示す実施形態の虚像表示装置100は、眼鏡のような外観を有するヘッドマウントディスプレイであり、この虚像表示装置100を装着した観察者となるべき装着者(使用者)に対して虚像に対応する画像光を認識させることができるとともに、虚像表示装置100の使用者である装着者に外界像をシースルーで観察させることができる。図1では、装着者が虚像表示装置100を装着した状態を一部拡大して示しており、虚像表示装置100は一部省略したものとなっている。具体的には、第1表示装置100Aは、虚像表示装置100のうち右眼側の虚像を形成する部分である。なお、例えば図2に模式的に示すように、虚像表示装置100は、右眼側の第1表示装置100Aと左眼側の第2表示装置100Bとを一対とするものであるが、第2表示装置100Bは、第1表示装置100Aと同様の構造を有し左右を反転させただけであるので、詳しい説明を省略する。なお、第1表示装置100Aは、単独でも虚像表示装置として機能する。
A virtual
ここで、図1等に示す状態において、装着者にとって真正面の方向が光軸OAの方向であり、光軸OAが虚像表示装置100側から装着者側に向かう方向を+X方向とし、装着者にとっての上下方向を±Y方向とし、左右方向を±Z方向とする。
Here, in the state shown in FIG. 1 and the like, the direction in front of the wearer is the direction of the optical axis OA, and the direction of the optical axis OA from the virtual
以下、第1表示装置100Aの構造の一例について説明することで、虚像表示装置100の構造の一例を説明する。図1に示すように、第1表示装置100Aは、信号光を形成するとともに当該信号光を走査光SLとして射出するための光射出装置10と、光射出装置10からの走査光SLを受けて画像光PLを形成する被照射部材である虚像形成部20とを備える。光射出装置10は、装着者の鼻NS周辺に配置され、虚像形成部20は、光射出装置10の前方側(−X側)において装着者の眼EYの前方を覆うように配置されている。
Hereinafter, an example of the structure of the virtual
なお、図2において、虚像表示装置100を装着した状態を正面から見た様子を模式的に示すように、光射出装置10は、フレームFLから延びる支持体SSによって支持されることで、上述したような鼻NS周辺であって虚像形成部20よりも+X側の位置に配置されている。なお、図示の例では、フレームFLの中央部から延びて虚像形成部20を側方から支持する支柱部PPを有し、支柱部PPの先端側には、装着時に虚像表示装置100を鼻NSで支持可能にするための鼻パッド部NPを有している。なお、図示のように、光射出装置10について、右眼用のものを光射出装置10Rとし、左眼用のものを光射出装置10Lとする。
In FIG. 2, the
光射出装置10は、図3(A)及び3(B)に示すように、信号光形成部である信号光変調部11と、走査光学系12と、駆動制御回路13とを有する映像生成部である。なお、図3(A)に示すように、虚像表示装置100は、画像形成の制御を行うための制御部50を備える。制御部50は、ケーブルCBを介して光射出装置10に接続されている。制御部50について詳しくは後述する。
As shown in FIGS. 3A and 3B, the
光射出装置10は、制御部50からの各種信号のうち、画像信号に従って画像形成のための光射出を行うことで、虚像を形成するための光を生成する映像生成部として機能する。光射出装置10のうち、駆動制御回路13は、制御部50から送信される画像信号や駆動信号に応じて、光射出装置10の駆動制御を行う。すなわち、駆動制御回路13は、各種信号に従って、信号光変調部11と走査光学系12とを同期して駆動させるための制御回路である。
The
以下、光射出装置10の構成及び動作の詳細について説明する。信号光変調部11は、合成光形成部11aと、コリメートレンズMLとを有する。合成光形成部11aは、画像光PL(図1参照)となるべき信号光GLである合成光を形成する。このため、合成光形成部11aは、赤(R光)、緑(G光)、及び青(B光)の各色光を発生させる色光源11r,11g,11bと、色光源11r,11g,11bを経た各色光を合成するための第1及び第2ダイクロイックミラーDM1,DM2とを有する。コリメートレンズMLは、合成光形成部11aから射出された合成光である信号光GLの光束状態を調整することで変調して走査光学系12に向けて射出するレンズであり、例えば信号光GLを略平行化させる。また、走査光学系12は、コリメートレンズMLを経た信号光GLを虚像形成部20において2次元走査させるスキャン部であるMEMSミラー部12bを有する。
Hereinafter, the configuration and operation of the
光射出装置10のうち、信号光変調部11において、各色光源11r,11g,11bは、ダイオードレーザ光源又はLED光源であり、赤色光源11rは、赤色光を発生させる特定波長帯域の光を射出し、緑色光源11gは、緑色光を発生させる特定波長帯域の光を射出し、青色光源11bは、青色光を発生させる特定波長帯域の光を射出する。なお、各色光源11r,11g,11bは、例えば各色のLED発光素子で構成されている。各色光源11r,11g,11bは、第1ダイクロイックミラーDM1又は第2ダイクロイックミラーDM2の方向に向かうように光束の方向を調整して各色光を射出する。
In the
第1ダイクロイックミラーDM1は、赤色光を発生させる特定波長帯域にある光を透過させるとともに他の特定波長帯域にある光を反射し、第2ダイクロイックミラーDM2は、赤色光及び緑色光を発生させる特定波長帯域にある光を透過させるとともに他の特定波長帯域にある光を反射する。これにより、赤色光、緑色光、及び青色光の3色の色光を合成した合成光がカラー画像を構成する信号光GLとして形成される。なお、図示の場合、各色光源11r,11g,11bの位置をそれぞれ調整して、合成される3色の色光の光路長が等しくなるようにしている。すなわち各色光は、等価な位置となっている。また、光束の形状に応じて第1ダイクロイックミラーDM1に対する第2ダイクロイックミラーDM2の大きさも調整されている。
The first dichroic mirror DM1 transmits light in a specific wavelength band for generating red light and reflects light in other specific wavelength bands, and the second dichroic mirror DM2 is specified for generating red light and green light It transmits light in the wavelength band and reflects light in other specific wavelength bands. As a result, combined light obtained by combining the three color lights of red light, green light, and blue light is formed as signal light GL constituting the color image. In the case shown in the figure, the positions of the
以上のような構成の合成光形成部11aで合成光形成を行う場合、赤(R光)、緑(G光)、及び青(B光)の色ごとに対応した色光源11r,11g,11bを用いるので、光の利用効率を高いものとなる。
When synthetic light formation is performed by the synthetic
コリメートレンズMLは、合成光形成部11aで形成された合成光である信号光GLの発散角を調整し、例えば光束を若干集光ぎみにさせた略平行の状態にして走査光学系12のうちスキャン部であるMEMSミラー部12bに向けて射出する。
The collimating lens ML adjusts the divergence angle of the signal light GL, which is the combined light formed by the combined
図3(B)に示すように、走査光学系12は、MEMSミラー部12bと、周辺部材12cとを有する。MEMSミラー部12bは、コリメートレンズMLを経た信号光GLを走査光SLとして用いることで被照射部材である虚像形成部20(図1参照)の被照射領域上に照射することで、虚像としての画像を視認させることを可能にする。つまり、MEMSミラー部12bは、走査光学系12の中核部分である。周辺部材12cは、MEMSミラー部12bを周辺から取り囲んでMEMSミラー部12bを収納する孔HLを形成する。言い換えると、MEMSミラー部12bは、走査光学系12の中央部に設けた矩形の孔HLに収められている。MEMSミラー部12bは、任意の方向に傾斜可能となっている。
As shown in FIG. 3B, the scanning
以下、MEMSミラー部12bについて詳しく説明する。MEMSミラー部12bは、信号光変調部11で形成された合成光である信号光GLを虚像形成部20(図1参照)において2次元走査させて虚像形成部20(図1参照)を照射する走査光SLとして射出するスキャン部である。MEMSミラー部12bは、2次元走査を可能とするために、一軸方向について回転可能なMEMSミラー本体部12xと、MEMSミラー本体部12xを囲む枠であるとともに当該一軸方向に垂直な軸方向について回転可能なミラー枠体12yとで構成されている。まず、MEMSミラー本体部12xは、ミラー枠体12yに接続する一対の第1軸SH1を有し、第1軸SH1のまわりに回転可能となっている。また、ミラー枠体12yは、MEMSミラー部12bの周辺部材12cに接続する一対の第2軸SH2を有し、第2軸SH2のまわりに回転可能となっている。第1軸SH1の軸方向と第2軸SH2の軸方向とが互いに垂直であることにより、MEMSミラー部12bは、MEMSミラー本体部12xを互いに垂直な2軸方向について回転可能としている。以上により、MEMSミラー部12bは、任意の方向に傾斜可能であり、射出するビームである走査光SLの2次元走査を可能にしている。つまり、MEMSミラー部12bは、走査光SLを虚像形成部20に向けて照射させるMEMSスキャナーである。
Hereinafter, the
なお、MEMSミラー部12bの光射出側において、光束の発散角を調整するためのリレーレンズを配置することが可能である。
Note that a relay lens for adjusting the divergence angle of the light beam can be disposed on the light exit side of the
図1に戻って、虚像形成部20は、樹脂製の透明基板上に半透過反射膜を有して構成される透明基材である。つまり、虚像形成部20は、ハーフミラーである。虚像形成部20は、フレームFLに組み付けられており、装着者の眼EYの前方であって光射出装置10よりも装着者に対して遠方側に位置するように配置されている。言い換えると、光軸OAに沿った方向に関して装着者の眼EYと虚像形成部20との間に光射出装置10が配置されている。虚像形成部20は、装着者の眼EYを前方から覆うのに十分な大きさを有しており、光射出装置10の走査光学系12から−X方向に傾いて照射された走査光SLを受け、これを反射することで虚像を形成し、装着者に認識させるものとなっている。この際、虚像形成部20は、虚像表示装置100の外観に応じたものとなっており、図1の例では、フレームFLに合わせて曲がった形状を有している。
Returning to FIG. 1, the virtual
また、ハーフミラーである虚像形成部20は、厚さの略均一な板状の部材であり、上記のようにして虚像を形成し視認させるだけでなく、外界光OLを通過させるものとなっている。つまり、装着者の眼EYには、虚像のみならず、外界からの光も入ることになり、虚像表示装置100は、シースルーの構成となっている。
Further, the virtual
以上のような構成の場合、光射出装置10から虚像形成部20に対する光射出が斜め投射の状態となっている。このため、形成される画像については、仮に何ら補正がなされていないものとすると、横台形歪等によって画像の歪が発生することになる。より具体的に説明すると、虚像形成部20に対して横方向(Z方向)についての斜めの投射であり、縦方向(Y方向)及び横方向(Z方向)のうち少なくとも横方向について歪を発生させるものとなる。また、光射出装置10の走査のさせ方や、虚像形成部20が虚像表示装置100の外観に応じて曲がった形状であること等も歪の発生要因となる。本実施形態では、発生する画像の歪に応じて制御部50に備えられている画像処理の台形補正処理において、予め歪補正(台形補正)の処理を行うことで、画像を補正している。
In the case of the above configuration, the light emission from the
また、一般に、台形補正等の歪補正を行う場合、補正量が大きくなるほど、映し出される画像は小さくなり、解像度が下がり、また、使われないままとなる無駄な領域も増えることになる。従って、特に装置の小型化・軽量化の要請から解像度の制限が厳しくなる傾向にある虚像表示装置100のようなヘッドマウントディスプレイの場合においては、補正量が少ないことが望ましい。これに対して、本実施形態では、歪補正をするにあたって、画像を複数の領域に分割することにより、分割された個々の画像における補正量を低減し、使われないままとなる無駄な領域の発生を極力回避し、歪みのない画像として有効に使える映像領域を広くとることを可能としている。
In general, when distortion correction such as trapezoidal correction is performed, the larger the correction amount, the smaller the projected image, the lower the resolution, and the more useless areas that remain unused. Accordingly, in the case of a head-mounted display such as the virtual
以下、図4を参照して、台形補正処理部を含む制御部50の構造を説明し、画像処理の動作について説明する。制御部50は、動作を統括的に制御する主制御回路51と、例えばビデオ信号等の外部から入力される画像信号に基づいて画像処理を行う画像処理部52と、装着者(オペレーター)からの指令等の外部信号を受け付ける入力受付部60と、アイコン等の固定的な内容の映像に関する各種データを保存する内部メモリー80とを備える。なお、制御部50は、例えば図2に示すフレームFLや支持体SS等の内部にケーブルCBを収納し、このケーブルCBを延長することによって、視界を妨げない位置に配置されている。
Hereinafter, the structure of the
画像処理部52は、例えば外部から入力された入力信号に基づいて画像や音声に関する各種信号を作成し、ケーブルCBを介して光射出装置10(10R,10L)に送信する。つまり、画像や音声に関する各種信号は、画像処理部52から光射出装置10の駆動制御回路13(図3参照)に伝達される。認識されるべき虚像としての画像の形成のため、画像処理部52は、第1画像処理部52Rと、第2画像処理部52Lと、台形補正の処理を行うための台形補正処理部53とを備える。特に、画像処理部52は、台形補正の処理を行うための台形補正処理部53を有することで、補正に関する各種処理を可能としている。
For example, the
画像処理部52のうち第1画像処理部52Rは、右眼側の画像として視認されるべき画像の処理を行う。一方、第2画像処理部52Lは、左眼側の画像として視認されるべき画像の処理を行う。本実施形態では、第1画像処理部52R側と第2画像処理部52L側とで別個に画像処理がなされるものとなっている。これにより、右眼側の画像と左眼側とで、異なる投影範囲や内容の画像を表示可能となっている(詳細については図7(A)等により後述する。)。また、右眼側の画像と、左眼側の画像とは、内側(鼻側)と外側(耳側)とにそれぞれ分割された複数の画像を形成している。第1画像処理部52R及び第2画像処理部52Lは、これら分割された画像にそれぞれ対応した分割画像を形成するものとなっている。つまり、第1(右眼側)画像処理部52Rは、内側画像処理部52Raと外側画像処理部52Rbとで構成され、第2(左眼側)画像処理部52Lは、内側画像処理部52Laと外側画像処理部52Lbとで構成されている。
Of the
台形補正処理部53は、右眼側の画像と左眼側の画像との双方に対して、一括して台形補正の処理を行っている。
The trapezoidal
入力受付部60は、入力操作部70を介して装着者(オペレーター)からの外部信号を受け付ける。
The
内部メモリー80は、投影される画像の内容のうち、アイコンや日付、時計等の固定的な内容の映像に関する各種データを格納している。
The
主制御回路51は、動作の統括的な制御の1つとして、例えば入力受付部60で受け付けた信号に応じた各種処理を行うが、例えば各種信号のうち画像処理に関する信号を認識すると、画像処理部52へ伝達する。また、主制御回路51は、必要に応じて、各画像処理部52R,52Lから送信される画像信号となるべき情報のうち、内部メモリー80に各種データに格納されているものを適宜読み出して画像処理部52へ伝達する。
The
ここで、図5を参照して、第1表示装置100Aの虚像形成部20から射出される画像光PLが装着者の眼EYに入射することによって視認される画像に関して説明する。図5は、眼EYの網膜REへ入射する画像光PLと画像光PLによって装着者に視認される仮想面IM上の画像として視認される虚像の範囲を画定した仮想的な領域である映像領域RRとの関係について説明するための概念的な図である。特に、図示において、画像光PLは、分かりやすくするために概念的に示されている。
Here, with reference to FIG. 5, the image visually recognized when the image light PL emitted from the virtual
図示において、仮想面IM上は仮想的な面であり無限遠にあるものとし、装着者の眼EYの網膜REのうち画像光PLが入射する範囲を領域REaとする。ここで、領域REaは、結像面に相当し、仮想面IM上の映像領域RRは、領域REaと共役な関係になっている。このような関係にあることで、網膜REのうち領域REa上の結像面と映像領域RR上の面とは1対1に対応しており、装着者は、虚像形成部20から射出された画像光PLを網膜REの領域REaで受けると、この光路を逆行させた延長上である映像領域RRにおいて虚像としての画像が存在していると認識(視認)する。言い換えると、第1表示装置100Aは、画像光PLによって装着者に映像領域RR上に画像が形成されているかのように視認させることができる。すなわち、第1表示装置100Aは、虚像形成部20から射出される画像光PLを画像形成側での処理等によって制御することで、視認される映像領域RRを所望の状態に調整し、虚像表示装置としての機能を果たしている。
In the figure, it is assumed that the virtual surface IM is a virtual surface and is at infinity, and a range in which the image light PL is incident on the retina RE of the wearer's eye EY is a region REa. Here, the region REa corresponds to the imaging plane, and the video region RR on the virtual surface IM has a conjugate relationship with the region REa. Because of this relationship, the image formation surface on the region REa and the surface on the video region RR in the retina RE have a one-to-one correspondence, and the wearer is ejected from the virtual
以下、図6(A)等を参照して、画像処理部52による画像領域の分割や歪補正の処理の一例について説明する。以下において、映像領域RRや映像領域RRを分割した部分(例えば図6(A)の第1映像領域RR1等)については、現実には、図5の網膜REの領域REa上で結像される画像光PLである。しかし、上記のように、画像光PLによる画像は、映像領域RRの画像として装着者に捉えられるものであり、領域REaと映像領域RRとが共役な関係にある。従って、以下では、領域REa上で結像され装着者に視認される画像を、映像領域RRの画像であるものとして説明する。
Hereinafter, an example of image region division and distortion correction processing by the
まず、図6(A)は、左右のうち、右眼側すなわち第1表示装置100A側において形成される映像領域RRについて概念的に示す図であり、図6(B)は、図6(A)の状態とする際の台形補正処理部53(図3(A)参照)による画像の歪補正(台形補正)について説明するための図である。ここで、図示のように、映像領域RRは、第1映像領域RR1と、第2映像領域RR2との分割された2つの矩形の領域で構成されているものとする。
First, FIG. 6 (A) is a diagram conceptually showing the video region RR formed on the right eye side, that is, the
図中において、領域X1は、画像処理部52(第1画像処理部52R)を含む制御部50側において認識される元の画像データに基づく矩形領域の画像を模式的に示すものである。これに対して、領域D1は、仮に歪補正が無いとした場合に、虚像形成部20上において表示可能な領域(眼EYへの入射領域)の全体を示している。つまり、元の画像データとしては、画素がマトリクス状に並んだ状態で矩形形状を形成していた画像が、補正をしないまま投影すると、虚像形成部20上において領域D1のような外側に広がる扇のような形状となる。本実施形態では、領域D1に示される範囲に対して、台形補正処理部53により歪みを補正する処理をして一部の領域を使わなくすることで、複数の矩形の領域で構成され映像領域RRを構成する複数の分割映像領域である映像領域RR1,RR2を矩形の領域となるように形成している。
In the drawing, an area X1 schematically shows an image of a rectangular area based on original image data recognized on the
また、図示のように、映像領域RRのうち、第1映像領域RR1は、相対的に内側(鼻側)に配置され、第2映像領域RR2は、相対的に外側(耳側)に配置されるものとなっている。言い換えると、各映像領域RR1,RR2は、横方向(Z方向)に並んでいる。ここで、本実施形態のように、鼻側から画像投射を行う投射の場合(図2参照)、領域D1は、特に横方向(Z方向)に関して、相対的に内側(鼻側)については歪が小さく、相対的に外側(耳側)に歪が大きいものとなっている。このため、全体としての歪補正を減らすべく相対的に歪の大きくなる外側の第2映像領域RR2については、横に短く縦に長い矩形形状としている。一方、相対的に歪の少ない内側の第1映像領域RR1については、16:9の比率の横長の矩形形状となっている。以上のように、第1映像領域RR1と第2映像領域RR2とで矩形形状が異なることに対応して、台形補正処理部53は、それぞれ異なる補正処理を行っている。
Further, as shown in the figure, among the video regions RR, the first video region RR1 is disposed relatively on the inner side (nose side), and the second video region RR2 is disposed on the relatively outer side (ear side). Has become. In other words, the video regions RR1 and RR2 are arranged in the horizontal direction (Z direction). Here, as in the present embodiment, in the case of projection in which image projection is performed from the nose side (see FIG. 2), the region D1 is distorted relatively on the inner side (nose side), particularly in the lateral direction (Z direction). And the distortion is relatively large on the outer side (ear side). For this reason, the outer second video region RR2 in which the distortion becomes relatively large in order to reduce the distortion correction as a whole has a rectangular shape that is short horizontally and long vertically. On the other hand, the inner first video region RR1 with relatively little distortion has a horizontally long rectangular shape with a ratio of 16: 9. As described above, the trapezoidal
以下、図6(B)を参照して、分割される各画像についての台形補正による映像の歪みの補正処理について説明するが、ここでは、矩形領域を規定する元の画像データのうち四隅の画素についての座標変換について説明することで、全体の歪補正を説明するものとする。具体的には、元の画像データに対応する領域X1の四隅の画素を画素P1〜P4とし、これらにそれぞれ対応する領域D1の画素を画素Q1〜Q4とする。また、映像領域RRのうち、第1映像領域RR1の四隅の画素を画素A1〜A4とし、第2映像領域RR2の四隅の画素を画素B1〜B4とする。この場合、第1映像領域RR1で形成させる映像については、例えば、領域X1の画素のうち左上隅の画素P1は、領域D1の画素Q1に対応し、さらに、領域D1の画素Q1は、第1映像領域RR1の画素A1に対応する。つまり、画素P1の位置座標にある画像データを画素A1の位置座標に変換するように補正処理を行えば所望の変換ができる。同様に、座標変換によって左下隅の画素P2の情報を画素A2の位置に対応させればよい。また、第1映像領域RR1のうち右下隅の画素A3については、領域X1のうち画素P2と画素P3とを結んだ線分上にある画素PP3を対応させ、右上隅の画素A4については、領域X1のうち画素P1と画素P4とを結んだ線分上にある画素PP4を対応させればよい。 Hereinafter, with reference to FIG. 6B, a description will be given of correction processing of video distortion by trapezoidal correction for each divided image. Here, four corner pixels of original image data defining a rectangular area are described. The overall distortion correction will be explained by explaining the coordinate transformation for. Specifically, the four corner pixels of the region X1 corresponding to the original image data are pixels P1 to P4, and the pixels of the region D1 corresponding to these pixels are pixels Q1 to Q4, respectively. Further, in the video area RR, the pixels at the four corners of the first video area RR1 are pixels A1 to A4, and the pixels at the four corners of the second video area RR2 are pixels B1 to B4. In this case, for the image formed in the first video region RR1, for example, the pixel P1 in the upper left corner of the pixels in the region X1 corresponds to the pixel Q1 in the region D1, and further, the pixel Q1 in the region D1 This corresponds to the pixel A1 of the video area RR1. That is, a desired conversion can be performed by performing correction processing so that the image data at the position coordinates of the pixel P1 is converted into the position coordinates of the pixel A1. Similarly, the information of the pixel P2 at the lower left corner may be made to correspond to the position of the pixel A2 by coordinate conversion. The pixel A3 in the lower right corner of the first video area RR1 is associated with the pixel PP3 on the line segment connecting the pixel P2 and the pixel P3 in the area X1, and the pixel A4 in the upper right corner is The pixel PP4 on the line segment connecting the pixel P1 and the pixel P4 in X1 may be associated.
同様に、第2映像領域RR2の四隅の画素を画素B1〜B4についても、上記と同様に座標変換することで歪補正が可能である。具体的には、左上隅の画素B1については、領域X1のうち画素P1と画素P4とを結んだ線分上にある画素PP1を対応させ、左下隅の画素B2については、領域X1のうち画素P2と画素P3とを結んだ線分上にある画素PP2を対応させればよい。また、右下隅の画素B3については、領域X1の画素のうち画素P3を対応させ、右上隅の画素B4については、領域X1の画素のうち画素P4を対応させればよい。 Similarly, distortion correction is possible by converting the coordinates of the pixels B1 to B4 in the four corners of the second video region RR2 in the same manner as described above. Specifically, the pixel B1 in the upper left corner is associated with the pixel PP1 on the line segment connecting the pixel P1 and the pixel P4 in the region X1, and the pixel B2 in the lower left corner is the pixel in the region X1. The pixel PP2 on the line segment connecting P2 and the pixel P3 may be associated. Further, the pixel B3 in the lower right corner may correspond to the pixel P3 among the pixels in the region X1, and the pixel B4 in the upper right corner may correspond to the pixel P4 in the pixels in the region X1.
以上のように、台形補正処理部53によって、第1映像領域RR1についての補正と第2映像領域RR2についての補正とが、それぞれ個別になされることにより、矩形の領域である第1映像領域RR1及び第2映像領域RR2において歪みのない画像を形成させることができる。
As described above, the correction for the first video area RR1 and the correction for the second video area RR2 are individually performed by the trapezoidal
また、既述のように、領域D1は、元の矩形の領域X1と比較して、横長になって外側(耳側)に向かって広がる扇のような形状となっており、少なくとも横方向について外側に行くほど大きな歪みが発生している。見方を変えると、領域D1のうち内側(鼻側)の領域は、比較的矩形の状態に近い。すなわち、映像領域RRのうち相対的に内側に位置する第1映像領域RR1は、横長にしても比較的少ない補正量で所望の歪補正を達成することができるものとなっており、比較的大きな領域をとっても補正量を抑えることができる。ここでは、第1映像領域RR1を横長の主たる映像を形成させる領域とし、第2映像領域RR2を縦長の従たる映像を形成させる領域とする。 In addition, as described above, the region D1 has a fan-like shape that is horizontally long and spreads outward (ear side) as compared to the original rectangular region X1, and at least in the lateral direction. Larger distortion occurs as it goes outward. In other words, the inner (nose side) region of the region D1 is relatively close to a rectangular state. In other words, the first video area RR1 positioned relatively inside of the video area RR can achieve a desired distortion correction with a relatively small correction amount even when it is horizontally long. Even if the area is taken, the correction amount can be suppressed. Here, the first video region RR1 is a region where a horizontally long main image is formed, and the second video region RR2 is a region where a vertically long sub image is formed.
仮に、図示の場合において、映像領域RRを上記のような2つの映像領域RR1,RR2に分割せずに1つの領域を全画面として領域D1から第1映像領域RR1のような横長の矩形領域を形成させようとする場合、例えば縦方向(Y方向)の解像度が720画素になる画像を形成するには、外側の解像度の圧縮に対応すべく補正前の状態である元の画像データの解像度が1300画素程度必要となる。なお、必要となる解像度は、歪みが少なく最も細かくなる内側の領域においても外側と同じになる。これに対して、第1映像領域RR1のように、相対的に内側に位置する領域のみで、補正を行うものとすれば、補正量を少なくすることができるので、元の画像データの解像度が820画素程度で解像度を720画素の映像を形成させることができる。なお、歪補正の補正量については、全画面を1つの画像に対して行うと1.5倍から2倍程度の補正量が必要になるのに対して、上記のように分割した補正を行うことで、全体としての補正量を1.2倍程度に抑えることができる。 In the case shown in the figure, the video area RR is not divided into the two video areas RR1 and RR2 as described above, and one area is taken as a full screen to form a horizontally long rectangular area such as the first video area RR1 from the area D1. In the case of forming the image, for example, in order to form an image having a resolution of 720 pixels in the vertical direction (Y direction), the resolution of the original image data in a state before correction is required to cope with compression of the outer resolution. About 1300 pixels are required. Note that the required resolution is the same as the outer side in the inner region where distortion is the smallest and the smallest. On the other hand, if the correction is performed only in the relatively inner region such as the first video region RR1, the correction amount can be reduced, so that the resolution of the original image data is reduced. An image having a resolution of about 820 pixels and a resolution of 720 pixels can be formed. As for the correction amount of the distortion correction, when the entire screen is performed on one image, a correction amount of about 1.5 to 2 times is required, but the divided correction is performed as described above. Thus, the correction amount as a whole can be suppressed to about 1.2 times.
また、上記のように、第2映像領域RR2は、第1映像領域RR1として使用されない残りのエリアをできるだけ有効に使うことで補正量を抑え、また、第2映像領域RR2での歪補正は、この領域のみで行えばよいので、補正量を少なくすることができる。 Further, as described above, the second video area RR2 suppresses the correction amount by using the remaining area that is not used as the first video area RR1 as effectively as possible, and the distortion correction in the second video area RR2 is as follows. Since it suffices to perform only in this region, the correction amount can be reduced.
また、第2映像領域RR2は、第1映像領域RR1によって画定される表示エリアの映像の内容と異なる表示ができる。表示内容については、種々のものが考えられるが、例えば、第1映像領域RR1では映画やビデオ撮影した録画といった動画を映し出す一方、第2映像領域RR2では、写した画像の字幕や音量、一時停止、早送り等の指示といった各種情報を表示させることができる。また、例えば第2映像領域RR2において、動作に関するアイコン表示を行わせ、表示される情報に基づいて装着者が入力操作部70(図4参照)の操作を行うことで、画像処理部が入力受付部60で受け付けた入力操作部70からの入力信号に基づいて、第1映像領域RR1に映し出す映像等を装着者の意思を反映して選択できるようにしてもよい。つまり、本来表示させたい画像を第1映像領域RR1において形成し、付加的情報を第2映像領域RR2において形成することで、有効に画素を使って、表示させる情報量を増やすことができる。
Further, the second video area RR2 can be displayed differently from the content of the video in the display area defined by the first video area RR1. Various display contents can be considered. For example, the first video area RR1 displays a movie such as a movie or video recording, while the second video area RR2 displays subtitles, volume, and pause of the captured image. Various information such as an instruction for fast-forwarding can be displayed. Further, for example, in the second video region RR2, an icon related to the operation is displayed, and the wearer operates the input operation unit 70 (see FIG. 4) based on the displayed information, so that the image processing unit accepts input. Based on the input signal from the
ここで、映像領域RRに関して、装着者の眼EYの位置に対する分割された第1映像領域RR1の位置と、第2映像領域RR2の位置とについては、種々の態様が考えられるが、ここでは、図示のように、装着者の眼EYの中心EX1は、映像領域RR全体としての中心AX1ではなく、第1映像領域RR1の中心CX1に一致するものとする。つまり、この場合、装着者は、第1映像領域RR1によって表示される映像を中心側に表示される主たる映像と認識し、第2映像領域RR2によって表示される映像を周辺側に表示される従たる映像と認識するものとなる。 Here, regarding the video region RR, various modes can be considered for the position of the first video region RR1 and the position of the second video region RR2 with respect to the position of the wearer's eye EY. As illustrated, the center EX1 of the wearer's eye EY is not the center AX1 of the entire video region RR, but coincides with the center CX1 of the first video region RR1. That is, in this case, the wearer recognizes the video displayed in the first video area RR1 as the main video displayed on the center side, and the video displayed in the second video area RR2 on the peripheral side. It will be recognized as a video.
見方を変えると、以上のように映像の中心を全映像領域の中心AXからずらすようにして分割された2つの映像領域R1,R2を形成することで、歪みの補正における補正量を少なくすることができるものとなっている。 In other words, the amount of correction in distortion correction is reduced by forming the two video regions R1 and R2 that are divided so that the center of the video is shifted from the center AX of the entire video region as described above. It is possible to do.
なお、以上のような眼EYの中心EX1と第1映像領域RR1の中心CX1との位置合わせが可能となるように、虚像表示装置100は、眼幅調整機構等の位置調整機構(不図示)を有するものとしてもよい。
Note that the virtual
図7(A)は、左右一対の各映像領域RR,LLについて示す図である。上記のように、虚像表示装置100において、第1表示装置100Aと第2表示装置100Bとは、左右を反転させた同じ構造を有するものであるので、扇形状の領域D1,D2は、左右方向(Z方向)に関する対称軸XXを基準としてミラー対称となっている。これに応じて、台形補正処理部53は、右眼側虚像形成部20Rによって視認されるべき映像領域の台形補正と左眼側虚像形成部20Lによって視認されるべき映像領域の台形補正とを対称軸XXを基準としてミラー対称に行うものとなっている。なお、ここでは、右眼側の映像領域RRを構成する第1映像領域RR1は、右眼側第1映像領域であり、第2映像領域RR2は、右眼側第2映像領域であるものとする。同様に、左眼側の映像領域LLを構成する第1映像領域LL1は、左眼側第1映像領域であり、第2映像領域LL2は、左眼側第2映像領域であるものとする。
FIG. 7A is a diagram showing a pair of left and right video regions RR and LL. As described above, in the virtual
以上において、台形補正処理部53による台形補正の処理は、ミラー対称であることから、左右個別に行うことなく実質的に一括して行うことができる。具体的に説明すると、例えば右眼側の第1映像領域RR1での補正と左眼側の第1映像領域LL1での補正とでは、画像処理としては左右で異なるが、矩形形状の領域としての補正すなわち図4(B)で説明した座標変換の処理としては左右について反転対称であるため、実質的に一括して行うことができる。これは、第2映像領域RR2と第2映像領域LL2との関係においても同様である。複数の分割された第1映像領域と第2映像領域とでの映像の内容については、個別の画像処理が必要であるが、右眼側と左眼側という観点では、一括して台形補正の処理が可能である。このため、画像処理については左右で第1画像処理部52Rと第2画像処理部52Lとの2つに分けられているのに対して、台形補正処理については1つの台形補正処理部53で処理可能となっている。台形補正処理部53は、上述のようにして決定される各画素での座標変換に関する情報を第1及び第2画像処理部52R,52Lに送信し、第1及び第2画像処理部52R,52Lは、個々の画像処理に加え、台形補正処理部53からの座標変換すなわち台形補正量を加味した上で画像信号を決定し、駆動制御回路13(図3(A)参照)へ送信している。
In the above, since the trapezoid correction processing by the trapezoid
ここで、以上のようにして形成される虚像に対応する画像に関して、各映像領域RR,LLでの眼EYの中心EX1,EX2は、第1映像領域RR1,LL1の中心CX1,CX2にそれぞれ一致するように調整されている。この際、第1映像領域RR1と第1映像領域LL1とは、画素数が一致している。この場合、第1映像領域RR1の映像と第1映像領域LL1の映像を共通させると、装着者は、左右の画像を1つの共通した画像として認識することになる。一方、第2映像領域RR2と第2映像領域LL2とに映し出される映像については、第2映像領域RR2の映像は右眼のみで認識され、第2映像領域LL2の映像は左眼のみで認識されるものとなる。つまり、図7(B)に概念的に示すように、装着者は両眼で各画像を捉えた結果、中央側に主たる映像として第1映像領域RR1と第1映像領域LL1に共通する映像があるものと認識し、周辺側に従たる映像として第2映像領域RR2における右側の映像と第2映像領域LL2における左側の映像とがあるものとそれぞれ認識する。 Here, regarding the image corresponding to the virtual image formed as described above, the centers EX1 and EX2 of the eye EY in each of the video regions RR and LL respectively coincide with the centers CX1 and CX2 of the first video regions RR1 and LL1. Has been adjusted to. At this time, the first video area RR1 and the first video area LL1 have the same number of pixels. In this case, when the video in the first video area RR1 and the video in the first video area LL1 are made common, the wearer recognizes the left and right images as one common image. On the other hand, for the images projected in the second image area RR2 and the second image area LL2, the image in the second image area RR2 is recognized only by the right eye, and the image in the second image area LL2 is recognized only by the left eye. Will be. That is, as conceptually shown in FIG. 7B, as a result of the wearer capturing each image with both eyes, a video common to the first video region RR1 and the first video region LL1 is displayed as a main video on the center side. Recognize that there is a certain video, and recognize that there are a video on the right side in the second video area RR2 and a video on the left side in the second video area LL2 as videos following the peripheral side.
この場合、例えば共通する映像には、主たる映像として動画等を映し出す一方、第2映像領域RR2,LL2では、各種情報を表示させることができる。特に、この場合、第2映像領域RR2と第2映像領域LL2とで別個独立な画像を形成させることができる。また、第1映像領域RR1と第1映像領域LL1において映し出される共通する映像については、画素単位で完全に一致させた2Dの画像を表示させるだけでなく、共通した画像でありながら左右の視差に応じて画像をずらすことで、3Dの画像を表示させることも可能である。 In this case, for example, a video or the like is displayed as a main video on the common video, while various information can be displayed in the second video regions RR2 and LL2. In particular, in this case, separate and independent images can be formed in the second video area RR2 and the second video area LL2. In addition, for the common video displayed in the first video region RR1 and the first video region LL1, not only a 2D image that is completely matched in pixel units is displayed, but also the left and right parallax while being a common image. It is also possible to display a 3D image by shifting the image accordingly.
なお、以上の画像形成については、第1画像処理部52R及び第2画像処理部52L(図4参照)で画像処理がそれぞれ適宜なされることで実現される。具体的には、まず、中央側(内側)に主たる映像として映し出される第1映像領域RR1,LL1に関しては、各画像処理部52R,52Lのうち内側画像処理部52Ra,52Laによって画像処理がなされる。この場合、例えば動画等の画像データについて、画像処理部52がビデオ信号等の外部から入力される画像信号を受け、この信号に基づいて内側画像処理部52Ra,52Laが画像処理を行う。次に、周辺側(外側)に従たる映像として映し出される第2映像領域RR2,LL2に関しては、各画像処理部52R,52Lのうち外側画像処理部52Rb,52Lbによって画像処理がなされる。この場合、内部メモリー80に格納された各種データに関する信号が適宜読み出されて画像処理部52へ伝達され、当該信号に基づいて、外側画像処理部52Rb,52Lbが画像処理を行う。
The above image formation is realized by appropriately performing image processing in the first
また、図8(A)及び8(B)に示すように、装着者が眼EY(EY1,EY2)を右左に視線を向けた時に認識できる映像の範囲を制限することも可能である。具体的には、図8(A)に示すように両眼EYの視線を右側(−Z側)に向けた場合には、両眼EYのうち、右眼EY1については、第2映像領域RR2の全体と第1映像領域RR1の一部又は全部が視界に入るものとする一方、左眼EY2については、第1映像領域LL1の全部が視界に入るが第2映像領域LL2については視界から外れるように映像領域の範囲を調整するものとしてもよい。また、この場合、逆に、図8(B)に示すように両眼EYの視線を左側(+Z側)に向けた場合には、左眼EY2については、第2映像領域LL2の全体と第1映像領域LL1の一部又は全部が視界に入り、右眼EY1については、第1映像領域RR1の全部が視界に入るが第2映像領域RR2については視界から外れるように映像領域の範囲を調整されるものとしてもよい。 Further, as shown in FIGS. 8A and 8B, it is also possible to limit the range of images that can be recognized when the wearer turns his / her eyes on the eyes EY (EY1, EY2). Specifically, when the line of sight of both eyes EY is directed to the right side (−Z side) as shown in FIG. 8A, the second video region RR2 for the right eye EY1 out of both eyes EY. , And part or all of the first video area RR1 enter the field of view, while for the left eye EY2, the entire first video area LL1 enters the field of view, but the second video area LL2 is out of the field of view. As described above, the range of the video area may be adjusted. In this case, conversely, when the line of sight of both eyes EY is directed to the left side (+ Z side) as shown in FIG. 8B, for the left eye EY2, the entire second video region LL2 and the second The range of the video area is adjusted so that a part or all of one video area LL1 enters the field of view, and for the right eye EY1, the entire first video area RR1 enters the field of view, but the second video area RR2 deviates from the field of view. It is good also as what is done.
また、台形補正処理部53は、左右に共通する映像が表示される右眼側第1映像領域RR1及び左眼側第1映像領域LL1に対してのみ台形補正を行い、右眼側第2映像領域RR2及び左眼側第2映像領域LL2に対応する台形補正の補正量をゼロとするものであってもよい。例えば右眼側第2映像領域RR2及び左眼側第2映像領域LL2に表示させる情報がアイコン表示のようなものであれば、矩形形状とする必要がなく、多少歪んでいても認識させることが可能である。従って、画像補正は、主たる映像を映し出す右眼側第1映像領域RR1及び左眼側第1映像領域LL1に対してのみ行うものとしてもよい。これにより、画像処理の負担を軽減させることができる。
Further, the keystone
以上のように、本実施形態に係る虚像表示装置100では、複数に分割された分割映像領域となっている映像領域RR,LLに対して台形補正処理部53による台形補正(歪補正)が各分割映像領域RR1,RR2,LL1,LL2に応じて個別になされる。この場合、映像領域RR,LLをそれぞれ複数に分割することで、例えば使われないままとなる無駄な領域が少なくなるようにして、使用する映像領域RR,LLを広くとることができる。また、この場合、映像領域RR,LLにおいて分割された各分割映像領域RR1,RR2,LL1,LL2での補正量を、例えば映像領域を1つの矩形領域とする台形補正の場合における補正量と比較して少なくすることができる。結果的に、各分割映像において、歪みの補正に伴う解像度の低下を抑制できる。
As described above, in the virtual
また、虚像形成部20が右眼側虚像形成部20Rと左眼側虚像形成部20Lとの一対で構成されており、かつ、台形補正処理部53での台形補正が、両虚像形成部に関してミラー対称に行うことで、左右方向(Z方向)についての補正のバランスがとれたものとなっている。これにより、左右で個別に補正を行うのに比べて、左右での画素合わせをより正確なものとすることができ、左右の眼でそれぞれ認識される画像を共通する一つの画像として認識させることをより確実にできる。
Further, the virtual
さらに、映像領域RR,LLの中心位置(中心AX1,AX2)が、装着時における装着者の眼の中心位置(中心EX1,EX2)からずれている。この場合、例えば、少ない補正量で歪みのない画像が形成できる領域の中心位置に眼の中心位置が一致するように、ずらすことが可能となる。 Furthermore, the center positions (centers AX1, AX2) of the video regions RR, LL are deviated from the center positions (centers EX1, EX2) of the wearer's eyes at the time of wearing. In this case, for example, it is possible to shift the eye so that the center position of the eye coincides with the center position of a region where an image without distortion can be formed with a small correction amount.
なお、MEMSにおいて、走査における振幅の範囲や速度を変化させることで、歪みの内容に調整することも考えられるが、その場合、MEMS側の駆動装置を複雑にする必要が生じる可能性があり、装置の小型化に困難を生じる可能性がある。本実施形態では、MEMS側においては、装置の軽量化小型化を図るために比較的単純な動作のみを行うものを適用する場合であっても、補正の少ない高品質な画像を提供できる。 In MEMS, it may be possible to adjust the content of distortion by changing the amplitude range or speed in scanning, but in that case, it may be necessary to complicate the driving device on the MEMS side. There is a possibility of difficulty in downsizing the device. In the present embodiment, on the MEMS side, a high-quality image with little correction can be provided even when a device that performs only a relatively simple operation in order to reduce the weight and size of the device is applied.
なお、以上では、虚像表示装置100のうち光射出装置10は、光軸OAに垂直な横方向に関して装着時に装着者の眼EYよりも鼻NS側に位置するような配置となっている。この場合、光射出装置10は、装着者の側方側すなわちZ方向について出っ張ることのない構成となる。また、既述のように、光射出装置10は、装着者の眼EYと虚像形成部20との間に配置されている。この場合、光射出装置10は虚像形成部20よりも前方側には配置されないことになる。
In the above, in the virtual
〔第2実施形態〕
以下、第2実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第1実施形態に係る虚像表示装置100の変形例であり、特に説明しない場合、第1実施形態の虚像表示装置100と同様であるものとする。また、右眼側と左眼側とでは左右を反転させただけであるので、右眼側についてのみ説明し、左側については、説明を省略している。また、本実施形態においても、第1表示装置のみの単独でも虚像表示装置として機能する。
[Second Embodiment]
The virtual image display device according to the second embodiment will be described below. The virtual image display device according to the present embodiment is a modification of the virtual
図9に示すように、本実施形態に係る虚像表示装置は、映像領域RRは、第1映像領域RR1と、第2映像領域RR2と、第3映像領域RR3との3つの領域に分割されている。この場合、第3映像領域RR3において、第1映像領域RR1や第2映像領域RR2によって画定される表示エリアの映像の内容とさらに異なる表示ができる。表示内容については、種々のものが考えられるが、例えば、図示のように、第2映像領域RR2では、アイコン表示による各種指令のための情報を表示させ、第3映像領域RR3では、各種指令によって得た情報を表示させることができる。この場合、第1実施形態と同様に第2映像領域RR2での複数のアイコン表示のうちから指の形状で示すポインターを移動させて一のアイコン表示を選択(タップ)して第1映像領域RR1に移すべき内容を選択することができるというだけでなく、例えば図示のように、外界像SPにおける道路情報について、第2映像領域RR2でアイコン表示から適宜選択することで呼び出し、得られた道路の情報に関して、第3映像領域RR3において表示させることができる。 As shown in FIG. 9, in the virtual image display device according to the present embodiment, the video area RR is divided into three areas of a first video area RR1, a second video area RR2, and a third video area RR3. Yes. In this case, in the third video region RR3, display different from the content of the video in the display area defined by the first video region RR1 and the second video region RR2 can be performed. Various display contents can be considered. For example, as shown in the figure, in the second video area RR2, information for various commands by icon display is displayed, and in the third video area RR3, various commands are displayed. The obtained information can be displayed. In this case, as in the first embodiment, the pointer indicated by the shape of the finger is moved from among the plurality of icon displays in the second video area RR2, and one icon display is selected (tapped) to select the first video area RR1. In addition to being able to select the contents to be transferred to, for example, as shown in the figure, the road information in the external image SP is called by appropriately selecting from the icon display in the second video area RR2, and the obtained road information Information can be displayed in the third video region RR3.
〔第3実施形態〕
以下、第3実施形態に係る虚像表示装置について説明する。なお、本実施形態に係る虚像表示装置は、第1実施形態に係る虚像表示装置100の変形例であり、特に説明しない場合、第1実施形態の虚像表示装置100と同様であるものとする。
[Third Embodiment]
The virtual image display device according to the third embodiment will be described below. The virtual image display device according to the present embodiment is a modification of the virtual
図10は、本実施形態に係る虚像表示装置の平面図である。図示のように、本実施形態に係る虚像表示装置200の第1表示装置200Aは、映像生成部を含む光射出装置10と虚像形成部である導光部材220と、光透過部材250とを備える。導光部材220と光透過部材250とは、それぞれ光透過性のプリズム部材であり、接合によって一体化されている。なお、虚像表示装置200は、画像処理部を含む制御部50を備え、制御部50は、ケーブルCBを介して光射出装置10に接続されている。
FIG. 10 is a plan view of the virtual image display device according to the present embodiment. As illustrated, the first display device 200 </ b> A of the virtual image display device 200 according to the present embodiment includes a
導光部材220は、平面視において顔面に沿うように湾曲した円弧状の部材であり、光学的な機能を有する側面として、光射出側から順に第1〜第6面S11〜S16を有する。このうち、第1面S11と第4面S14とが隣接し、第3面S13と第5面S15とが隣接し、第1面S11と第3面S13との間に第2面S12が配置され、第4面S14と第5面S15との間に第6面S16が配置されている。各面S11〜S16は自由曲面であり、ミラーによる全反射や空気層との屈折率差を利用した内面側での全反射により、光射出装置10から射出された走査光SLを導光部材220内に導くとともに、走査光SLの光路を調整して所望の虚像を形成する画像光PLとして射出する。つまり、導光部材220は、虚像形成部として機能するプリズム部材である。なお、この導光に際して、第3面S13を通過する前後において、像面IIとして示される位置に中間像を形成する。
The
光透過部材250は、導光部材220の透視機能を補助する部材(補助プリズム)であり、導光部材220と同一の材料で形成され、光学的な機能を有する側面として、第1透過面S51と、第2透過面S52と、第3透過面S53とを有する。ここで、第1透過面S51と第3透過面S53との間に第2透過面S52が配置されている。第1透過面S51は、導光部材220の第1面S11を延長した曲面上にあり、第2透過面S52は、当該第2面S12に対して接着層によって接合され一体化されている曲面であり、第3透過面S53は、導光部材220の第3面S13を延長した曲面上にある。このうち第2透過面S52と導光部材220の第2面S12とは、接合によって一体化するため、略同じ曲率の形状を有する。
The
なお、導光部材220において、第1面S11と第3面S13とは、ともに眼EYの正面に配され、かつ、観察者(使用者)に対し凹面形状を成しているものであり、これらを通過させて外界光を見たときに、視度が略0になっている。また、光透過部材250において、第1面S11と第3面S13とをそれぞれ延長した第1透過面S51と第3透過面S53とは、視度を略0にしている。つまり、導光部材220と光透過部材250とを一体化した全体としても、視度を略0にしている。
In the
本実施形態においても、画像処理部を含む制御部50での制御に基づいて、映像領域を複数に分割することで、使用する映像領域を広くとることができ、また、分割された各分割映像領域での補正量を少なくすることができ、各分割映像において、歪みの補正に伴う解像度の低下を抑制できる。
Also in the present embodiment, the video area to be used can be widened by dividing the video area into a plurality of parts based on the control by the
この発明は、上記の各実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。 The present invention is not limited to the above embodiments, and can be implemented in various modes without departing from the scope of the invention.
上記では、映像生成部として、MEMSミラー等で構成される光射出装置10で構成されるものとしているが、画像投射の方式はこれに限らず、例えば液晶パネルや有機EL等を用いて画像を形成するタイプのものにおいて、上記と同様に補正の処理を行うものとしてもよい。
In the above description, the image generation unit is configured by the
また、例えば、矩形領域である第1映像領域RR1のアスペクト比については、動画に合せて16:9であるものとしているが、第1映像領域RR1の形状はこれ以外に種々の物であってもよい。つまり、映し出す映像対象によって対応するアスペクト比に適宜変換するものとしてもよい。また、第1映像領域RR1と第2映像領域RR2との大きさを変化させてもよい。例えば第1映像領域RR1のアスペクト比の変換によって第1映像領域RR1で使用されない範囲が変わる。従って、この変換に伴って第2映像領域RR2の形状を異なるものとしてもよい。 For example, the aspect ratio of the first video area RR1 that is a rectangular area is 16: 9 in accordance with the moving image, but the shape of the first video area RR1 is various in addition to this. Also good. That is, it may be appropriately converted into a corresponding aspect ratio depending on the video object to be projected. Further, the sizes of the first video area RR1 and the second video area RR2 may be changed. For example, the range not used in the first video area RR1 changes due to the conversion of the aspect ratio of the first video area RR1. Therefore, the shape of the second video area RR2 may be different along with this conversion.
また、上記では、画像処理部52において、右眼用と左眼用との2つの画像処理部52R,52Lで構成するものとしているが、これらを1つの画像処理において行うことも可能である。また、光射出装置10についても、光射出装置10R及び光射出装置10Lの2つで構成しているが、例えば1つのMEMSミラーを左右の双方に振り分けることで、2つの映像領域RR,LLにおいて映像をそれぞれ形成させるものとしてもよい。逆に、上記では、台形補正処理部53を1つで構成しているが、右眼用と左眼用との2つの台形補正処理部を有するものとしてもよい。
In the above description, the
また、上述した図3(A)等に示す信号光変調部11の構造では、合成光形成部11aでの信号光GLの形成において各色光源11r,11g,11bからの光を合成するものとしているが、これは、本実施形態の信号光形成における一例であり、他の構成によって信号光GLを形成することもできる。
Further, in the structure of the signal
上記では、光源として、ダイオードレーザ光源又はLED光源を用いるものとしているが、光源は、例えば有機EL等の上記以外のものであってもよい。 In the above description, a diode laser light source or an LED light source is used as the light source, but the light source may be other than the above, such as an organic EL.
また、上記各実施形態の虚像表示装置100等では、右眼及び左眼の双方に対応して設ける構成としているが、右眼又は左眼のいずれか一方に対してのみ光射出装置10等を設け画像を片眼視する構成にしてもよい。
Further, in the virtual
また、上記第1実施形態の虚像形成部20は、走査光学系12から照射された走査光SLを受け、これを反射して装着者に認識させるものとしているが、虚像形成部20に膜状の部材であるホログラム素子を設けることにより画像を形成するものとしてもよい。つまり、ホログラム素子における回折を利用して特定の波長帯域にある画像光によって虚像を形成するとともに、広範囲な波長帯域にある外界光を通過可能とすることで、シースルーの構成にできる。
Further, the virtual
10,10R,10L…光射出装置(映像生成部)、 11…信号光変調部、 11r,11g,11b…色光源、 DM1,DM2…ダイクロイックミラー、 12…走査光学系、 ML…コリメートレンズ、 12b…MEMSミラー、 20,20R,20L…虚像形成部、 50…制御部、 51…主制御回路、 52…画像処理部、 52R…第1画像処理部、 52L…第2画像処理部、 53…台形補正処理部、 60…入力受付部、 70…入力操作部、 100…虚像表示装置、 100A,100B…表示装置、 OA…光軸、 NP…鼻パッド、 NS…鼻、 EY…眼、 EA…耳、 GL…信号光、 SL…走査光、 PL…画像光、 RR,LL…映像領域、 RR1,RR2,RR3,LL1,LL2…映像領域(分割映像領域)、 XX…対称軸
DESCRIPTION OF
Claims (14)
前記画像処理部からの画像信号に応じて前記虚像を視認させるための光を生成する映像生成部と、
前記映像生成部からの光を仮想的な映像領域に表示された前記虚像として視認させる虚像形成部と、を備え、
前記映像生成部において光を生成し前記映像生成部からの光を前記虚像形成部によって前記虚像として視認させるまでの過程で、少なくとも縦横のうち一方向についての台形歪を発生する虚像表示装置であって、
前記画像処理部は、使用者に認識させるべき前記虚像の台形補正の処理を行う台形補正処理部を有し、
前記画像処理部は、前記虚像形成部によって視認させる前記映像領域を、複数に分割した分割映像領域で構成させるとともに、前記分割映像領域にそれぞれ対応して前記台形補正処理部による台形補正の処理を含む処理を行う、虚像表示装置。 An image processing unit for processing an image signal for allowing a user to visually recognize a virtual image according to an input signal;
A video generation unit that generates light for visually recognizing the virtual image according to an image signal from the image processing unit;
A virtual image forming unit that visually recognizes the light from the video generation unit as the virtual image displayed in a virtual video region,
A virtual image display device that generates trapezoidal distortion in at least one of vertical and horizontal directions in a process from generation of light in the video generation unit to visual recognition of light from the video generation unit as the virtual image by the virtual image formation unit. And
The image processing unit has a trapezoidal correction processing unit that performs trapezoidal correction processing of the virtual image to be recognized by a user,
The image processing unit is configured to divide the video region to be visually recognized by the virtual image forming unit into a plurality of divided video regions, and to perform a trapezoid correction process by the trapezoid correction processing unit corresponding to each of the divided video regions. A virtual image display device that performs processing including:
前記画像処理部は、前記虚像形成部によって視認させる前記第2映像領域に、前記入力受付部で受け付ける動作に関するアイコン表示を行わせる、請求項3に記載の虚像表示装置。 An input receiving unit for receiving instructions from the user;
The virtual image display device according to claim 3, wherein the image processing unit causes the second video region to be visually recognized by the virtual image forming unit to display an icon related to an operation received by the input receiving unit.
前記画像処理部は、前記右眼側虚像形成部によって視認させる前記映像領域の前記第1映像領域として右眼側第1映像領域を含むとともに、前記映像領域の前記第2映像領域として右眼側第2映像領域を含むように処理を行い、
前記画像処理部は、前記左眼側虚像形成部によって視認させる前記映像領域の前記第1映像領域として左眼側第1映像領域を含むとともに、前記映像領域の前記第2映像領域として左眼側第2映像領域を含むように処理を行い、
前記画像処理部は、前記右眼側第1映像領域と前記左眼側第1映像領域とにおいて、左右に共通する映像を表示させる、請求項3及び4のいずれか一項に記載の虚像表示装置。 The virtual image forming unit is composed of a pair of a right eye side virtual image forming unit and a left eye side virtual image forming unit corresponding to the left and right eyes, respectively.
The image processing unit includes a right eye side first video region as the first video region of the video region to be visually recognized by the right eye side virtual image forming unit, and a right eye side as the second video region of the video region. Process to include the second video area,
The image processing unit includes a left eye side first video region as the first video region of the video region to be visually recognized by the left eye side virtual image forming unit, and a left eye side as the second video region of the video region. Process to include the second video area,
5. The virtual image display according to claim 3, wherein the image processing unit displays an image common to left and right in the right eye side first video region and the left eye side first video region. 6. apparatus.
前記画像処理部からの画像信号に応じて前記虚像を視認させるための光を生成する映像生成部と、
前記映像生成部からの光を仮想的な映像領域に表示された前記虚像として視認させる虚像形成部と、を備え、
前記映像生成部において光を生成し前記映像生成部からの光を前記虚像形成部によって前記虚像として視認させるまでの過程で、少なくとも縦横のうち一方向についての台形歪を発生させる虚像表示装置であって、
前記画像処理部は、使用者に認識させるべき前記虚像の台形補正の処理を行う台形補正処理部を有し、
前記虚像形成部は、左右の眼にそれぞれ対応する右眼側虚像形成部と左眼側虚像形成部との一対で構成され、
前記台形補正処理部は、前記右眼側虚像形成部側に対する台形補正と前記左眼側虚像形成部側に対する台形補正とを左右方向に関する対称軸を基準としてミラー対称に行う、虚像表示装置。 An image processing unit for processing an image signal for allowing a user to visually recognize a virtual image according to an input signal;
A video generation unit that generates light for visually recognizing the virtual image according to an image signal from the image processing unit;
A virtual image forming unit that visually recognizes the light from the video generation unit as the virtual image displayed in a virtual video region,
A virtual image display device that generates trapezoidal distortion in at least one of vertical and horizontal directions in a process from generation of light in the video generation unit to visual recognition of light from the video generation unit as the virtual image by the virtual image formation unit. And
The image processing unit has a trapezoidal correction processing unit that performs trapezoidal correction processing of the virtual image to be recognized by a user,
The virtual image forming unit is composed of a pair of a right eye side virtual image forming unit and a left eye side virtual image forming unit corresponding to the left and right eyes, respectively.
The trapezoidal correction processing unit is a virtual image display device that performs trapezoidal correction on the right eye side virtual image forming unit side and trapezoidal correction on the left eye side virtual image forming unit side in a mirror symmetry with respect to a symmetry axis in the horizontal direction.
前記画像処理部は、前記右眼側虚像形成部によって視認させる前記映像領域の前記第1映像領域として右眼側第1映像領域を含むとともに、前記映像領域の前記第2映像領域として右眼側第2映像領域を含むように処理を行い、
前記画像処理部は、前記左眼側虚像形成部によって視認させる前記映像領域の前記第1映像領域として左眼側第1映像領域を含むとともに、前記映像領域の前記第2映像領域として左眼側第2映像領域を含むように処理を行い、
前記画像処理部は、前記右眼側第1映像領域と前記左眼側第1映像領域とにおいて、左右に共通する映像を表示させる、請求項9に記載の虚像表示装置。 The image processing unit is configured to configure the video region to be visually recognized by the virtual image forming unit as a divided video region divided into a plurality, and as the divided video region, a first video region located inside and a second located outside. Process to include the video area,
The image processing unit includes a right eye side first video region as the first video region of the video region to be visually recognized by the right eye side virtual image forming unit, and a right eye side as the second video region of the video region. Process to include the second video area,
The image processing unit includes a left eye side first video region as the first video region of the video region to be visually recognized by the left eye side virtual image forming unit, and a left eye side as the second video region of the video region. Process to include the second video area,
The virtual image display device according to claim 9, wherein the image processing unit displays a video that is common to the left and right sides in the first video region on the right eye side and the first video region on the left eye side.
前記画像処理部からの画像信号に応じて前記虚像を視認させるための光を生成する映像生成部と、
前記映像生成部からの光を仮想的な映像領域に表示された前記虚像として視認させる虚像形成部と、を備え、
前記映像生成部において光を生成し前記映像生成部からの光を前記虚像形成部によって前記虚像として視認させるまでの過程で、少なくとも縦横のうち一方向についての台形歪を発生させる虚像表示装置であって、
前記画像処理部は、使用者に認識させるべき前記虚像の台形補正の処理を行う台形補正処理部を有し、
前記虚像形成部において、前記映像領域の中心位置は、装着時における使用者の眼の中心位置からずれている、虚像表示装置。 An image processing unit that performs processing related to an image signal for allowing a user to visually recognize a virtual image according to an input signal;
A video generation unit that generates light for visually recognizing the virtual image according to an image signal from the image processing unit;
A virtual image forming unit that visually recognizes the light from the video generation unit as the virtual image displayed in a virtual video region,
A virtual image display device that generates trapezoidal distortion in at least one of vertical and horizontal directions in a process from generation of light in the video generation unit to visual recognition of light from the video generation unit as the virtual image by the virtual image formation unit. And
The image processing unit has a trapezoidal correction processing unit that performs trapezoidal correction processing of the virtual image to be recognized by a user,
In the virtual image forming unit, the center position of the video area is deviated from the center position of the user's eye when worn.
前記映像領域のうち前記第1映像領域の中心位置は、装着時における使用者の眼の中心位置に一致している、請求項11に記載の虚像表示装置。 The image processing unit is configured to configure the video region to be visually recognized by the virtual image forming unit as a divided video region divided into a plurality, and as the divided video region, a first video region located inside and a second located outside. Process to include the video area,
The virtual image display device according to claim 11, wherein a center position of the first image area in the image area coincides with a center position of a user's eye at the time of wearing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016211343A JP6217827B2 (en) | 2016-10-28 | 2016-10-28 | Virtual image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016211343A JP6217827B2 (en) | 2016-10-28 | 2016-10-28 | Virtual image display device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012252967A Division JP6036209B2 (en) | 2012-11-19 | 2012-11-19 | Virtual image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017068269A true JP2017068269A (en) | 2017-04-06 |
JP6217827B2 JP6217827B2 (en) | 2017-10-25 |
Family
ID=58492473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016211343A Active JP6217827B2 (en) | 2016-10-28 | 2016-10-28 | Virtual image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6217827B2 (en) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06194598A (en) * | 1992-12-25 | 1994-07-15 | Olympus Optical Co Ltd | Display device of head mounting type |
JP2001154637A (en) * | 1999-11-24 | 2001-06-08 | Olympus Optical Co Ltd | Head mount type display device |
JP2003287707A (en) * | 2002-03-27 | 2003-10-10 | Denso Corp | Image conversion method, image processor, headup display and program |
WO2009066465A1 (en) * | 2007-11-20 | 2009-05-28 | Panasonic Corporation | Image display device, display method thereof, program, integrated circuit, glasses type head mounted display, automobile, binoculars, and desktop type display |
WO2009133698A1 (en) * | 2008-04-30 | 2009-11-05 | パナソニック株式会社 | Scanning image display device, eyeglasses-style head-mount display, and automobile |
JP2010096864A (en) * | 2008-10-14 | 2010-04-30 | Canon Inc | Aberration correction method, image processing apparatus and image processing system |
WO2010095347A1 (en) * | 2009-02-20 | 2010-08-26 | ブラザー工業株式会社 | Head mounted display |
JP2011002660A (en) * | 2009-06-18 | 2011-01-06 | Honda Motor Co Ltd | Image display apparatus for vehicle |
JP2011203446A (en) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | Head-mounted display device |
-
2016
- 2016-10-28 JP JP2016211343A patent/JP6217827B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06194598A (en) * | 1992-12-25 | 1994-07-15 | Olympus Optical Co Ltd | Display device of head mounting type |
JP2001154637A (en) * | 1999-11-24 | 2001-06-08 | Olympus Optical Co Ltd | Head mount type display device |
JP2003287707A (en) * | 2002-03-27 | 2003-10-10 | Denso Corp | Image conversion method, image processor, headup display and program |
WO2009066465A1 (en) * | 2007-11-20 | 2009-05-28 | Panasonic Corporation | Image display device, display method thereof, program, integrated circuit, glasses type head mounted display, automobile, binoculars, and desktop type display |
WO2009133698A1 (en) * | 2008-04-30 | 2009-11-05 | パナソニック株式会社 | Scanning image display device, eyeglasses-style head-mount display, and automobile |
JP2010096864A (en) * | 2008-10-14 | 2010-04-30 | Canon Inc | Aberration correction method, image processing apparatus and image processing system |
WO2010095347A1 (en) * | 2009-02-20 | 2010-08-26 | ブラザー工業株式会社 | Head mounted display |
JP2011002660A (en) * | 2009-06-18 | 2011-01-06 | Honda Motor Co Ltd | Image display apparatus for vehicle |
JP2011203446A (en) * | 2010-03-25 | 2011-10-13 | Fujifilm Corp | Head-mounted display device |
Also Published As
Publication number | Publication date |
---|---|
JP6217827B2 (en) | 2017-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6036209B2 (en) | Virtual image display device | |
US11714284B2 (en) | Display device including foveal and peripheral projectors | |
CN105929535B (en) | Image display device | |
US9709809B2 (en) | Head mounted display and optical position adjustment method of the same | |
JP6229260B2 (en) | Virtual image display device | |
US10495883B2 (en) | Image display device with optical systems to guide light to a pupil | |
JP5373892B2 (en) | Beam scanning display device | |
US8398242B2 (en) | Display apparatus | |
EP3062139A1 (en) | Image display device | |
CN107407813B (en) | Image display device | |
TW201621395A (en) | Image display apparatus | |
JP4639721B2 (en) | 3D image display device | |
JP2019061198A (en) | Virtual image display unit | |
JP2007333952A (en) | Video display apparatus and head mount display | |
US12038680B2 (en) | Image projection device | |
WO2020261830A1 (en) | Head-up display device | |
JP2006276319A (en) | Image display device | |
JP6217827B2 (en) | Virtual image display device | |
CN114578559A (en) | Virtual image display device, method of adjusting the same, method of manufacturing the same, and optical unit | |
JP7111070B2 (en) | head-up display device | |
JP2006276405A (en) | Image display device | |
JP2010266775A (en) | Video display apparatus and head mounted display |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6217827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |