JP2000105348A - Picture observation device - Google Patents
Picture observation deviceInfo
- Publication number
- JP2000105348A JP2000105348A JP10267653A JP26765398A JP2000105348A JP 2000105348 A JP2000105348 A JP 2000105348A JP 10267653 A JP10267653 A JP 10267653A JP 26765398 A JP26765398 A JP 26765398A JP 2000105348 A JP2000105348 A JP 2000105348A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- liquid crystal
- information
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、外界の光景（外界
情報）とディスプレイ装置（画像表示手段）による画像
（表示画像）が同一視野内に観察できるようにした画像
観察装置、あるいは観察者が直接見ている現実の光景
（外界情報）にコンピューター等で人工的に作り出した
画像や、ビデオ等によって記録された映像を重ね合わせ
ることによってさまざまな擬似的体験を行うといったこ
とを目的とした画像観察装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image observing apparatus or an image observing apparatus in which an external scene (external information) and an image (display image) by a display device (image display means) can be observed in the same visual field. Image observation for the purpose of performing various simulated experiences by superimposing images artificially created by a computer or the like or video recorded by a video, etc. on the actual scene (external world information) viewed directly It concerns the device.
【０００２】[0002]
【従来の技術】図１８は従来の外界情報と表示画像との
双方を同一視野で観察するようにした画像観察装置の要
部概略図である。同図はディスプレイ１０１上にコンピ
ューターグラフィックス等によって作成した画像を表示
し、その画像をハーフミラー１０２を介し、凹面鏡１０
３で反射させ、再度ハーフミラー１０２を介し一定の倍
率で観察者の眼１０４に映じると同時に、ハーフミラー
１０２を通して観察者がいる現実の外界の光景を重畳し
て直接見られるようにしたものである。2. Description of the Related Art FIG. 18 is a schematic view of a main part of a conventional image observation apparatus in which both external world information and a display image are observed in the same field of view. In FIG. 1, an image created by computer graphics or the like is displayed on a display 101, and the image is transmitted to a concave mirror 10 through a half mirror 102.
The light reflected by the third mirror is reflected on the observer's eye 104 at a fixed magnification again through the half mirror 102, and at the same time, the actual external scene where the observer is present is superimposed and viewed directly through the half mirror 102. It is.
【０００３】このような構成の装置は、例えば、作業者
が実際の作業を行ないながら同時に作業上必要な情報を
ディスプレイ１０１上に表示された文字や映像等により
得られるといった利点がありそうした用途に使用するこ
とが出来る。[0003] The apparatus having such a configuration has an advantage that, for example, an operator can obtain information necessary for the operation at the same time while performing the actual operation by using characters and images displayed on the display 101. Can be used.
【０００４】あるいは、例えば図１９に示すようにコン
ピュータグラフィックス等によって視差の付いた花瓶１
０６の画像を作成し、それを観察者の左右眼用のディス
プレイに表示することにより、あたかも花瓶１０６が現
実空間にある机１０５の上にあるように見せ観察者にさ
まざまな疑似的体験をさせるといった頭部装着型の観察
装置にも使用することが出来る。Alternatively, for example, as shown in FIG. 19, a vase 1 with parallax by computer graphics or the like.
06 is created and displayed on the display for the left and right eyes of the observer, so that the vase 106 appears as if it is on the desk 105 in the real space, and the observer has various pseudo experiences. It can also be used for such head-mounted observation devices.
【０００５】[0005]
【発明が解決しようとする課題】しかし、従来の観察装
置はディスプレイで表示されている画像は虚像として観
察者の眼に映じるため、表示される像は透けた像として
見える。However, in the conventional observation apparatus, the image displayed on the display is reflected on the eyes of the observer as a virtual image, so that the displayed image appears as a transparent image.
【０００６】したがって、特に陽射しの強い戸外などで
は外界情報が明るすぎてディスプレイに表示された文字
や映像等の表示画像が暗くなり見難いといった問題が生
じる。その対策としてフィルター等により外界からの光
量を調整し、ディスプレイ画面を見やすくするといった
ことは可能であるが、文字や映像の背景部分についての
み行うといったことは出来なかった。[0006] Therefore, there is a problem that the outside image is too bright, especially in the outdoors where the sunlight is strong, and the displayed image such as characters and images displayed on the display becomes dark and difficult to see. As a countermeasure, it is possible to adjust the amount of light from the outside using a filter or the like to make the display screen easier to see, but it was not possible to perform only the background of characters and images.
【０００７】また、現実空間内にある机の上にコンピュ
ーターグラフィックス等で作成した花瓶を重ね合わせあ
たかも花瓶が実際に机の上に有るように見せようとして
も、花瓶は透けて見えてしまい、実際に花瓶がある場合
のようには見えない。又、黒い色の画像を表示しようと
しても透けてしまい、表示することができない。[0007] Further, even if a vase created by computer graphics or the like is superimposed on a desk in the real space to make it seem as if the vase is actually on the desk, the vase is seen through, It doesn't look like there's actually a vase. Further, even if an attempt is made to display a black color image, the image is transparent and cannot be displayed.
【０００８】そこでこうした現象を避けるため、現実世
界の光景をCCDカメラ等の撮影装置で電気信号に変換
し、それをコンピュータグラフィックス等で作成した仮
想像と合成するという方法も考えられる。しかしこの場
合、現実の光景はカメラの解像力に依存することにな
り、現状においては直接眼で見るほど緻密な像は得られ
ない。したがって現実とは異なった光景となってしまう
ことを避けられないという問題があった。In order to avoid such a phenomenon, a method of converting a scene in the real world into an electric signal by a photographing device such as a CCD camera and synthesizing it with a virtual image created by computer graphics or the like can be considered. However, in this case, the actual scene depends on the resolving power of the camera, and at present, an image as dense as seen directly with the eyes cannot be obtained. Therefore, there is a problem that it is inevitable that the scene will be different from reality.
【０００９】本発明は、ディスプレイ（画像表示手段）
上に表示された画像（表示画像）の背景部に対する外界
からの外界情報を表示画像に対応させて正確に遮断し、
表示画像と外界画像の双方が見やすくなるようにし、あ
るいはコンピュータグラフィックス等で作成した仮想像
（表示画像）を現実空間の光景（外界情報）に重ね合わ
せた際、仮想像が透けた像にならないようにし、双方の
画像を良好に観察することができる画像観察装置の提供
を目的とする。According to the present invention, a display (image display means) is provided.
The external information from the external world with respect to the background part of the image (display image) displayed above is accurately cut off in accordance with the display image,
When both a display image and an external image are made easy to see, or when a virtual image (display image) created by computer graphics or the like is superimposed on a scene in the real space (external information), the virtual image does not become a transparent image. Thus, an object of the present invention is to provide an image observation device capable of favorably observing both images.
【００１０】[0010]
【課題を解決するための手段】本発明の画像観察装置
は、 （１−１）外界の外界情報と画像表示手段に表示した表
示画像を光路分割手段を介して同一視野内で接眼レンズ
を介して観察する画像観察装置において、該外界情報と
表示画像は2次元画素構造を有する空間変調素子面上に
重畳して結像しており、該空間変調素子によって該外界
情報と表示画像の一部又は全部を同一視野内において面
積的に選択し、該選択した外界情報と画像情報を該接眼
レンズを介して観察していることを特徴としている。The image observation apparatus according to the present invention comprises: (1-1) external information of the external world and a display image displayed on the image display means via an optical path splitting means through an eyepiece in the same field of view via an optical path dividing means. In an image observation apparatus for observing the image, the external world information and the display image are superimposed and formed on a spatial modulation element surface having a two-dimensional pixel structure, and the external world information and a part of the display image are formed by the spatial modulation element. Alternatively, it is characterized in that all of them are selected in area within the same visual field, and the selected external information and image information are observed through the eyepiece.
【００１１】（１−２）外界の外界情報と画像表示手段
に表示した表示画像を光路分割手段を介して同一視野内
で接眼光学系を介して観察する画像観察装置において、
該外界情報は２次元画素構造を有する空間変調素子上に
結像しており、該空間変調素子によって該外界情報と前
記表示手段の一部又は全部を同一視野内において面積的
に選択し、該選択した外界情報と画像情報を前記接眼光
学系を介して観察することを特徴としている。(1-2) An image observation apparatus for observing external world information of the external world and a display image displayed on the image display means via an eyepiece optical system in the same field of view via an optical path dividing means.
The external world information is imaged on a spatial modulation element having a two-dimensional pixel structure, and the external light information and a part or all of the display means are areaally selected in the same field of view by the spatial modulation element. It is characterized in that the selected external world information and image information are observed via the eyepiece optical system.
【００１２】特に、構成（１−１）及び（１−２）にお
いて、 （１−２−１）前記外界情報は結像光学系によって前記
変調素子面上に結像していること。In particular, in the constitutions (1-1) and (1-2), (1-2-1) the outside world information is imaged on the modulation element surface by an imaging optical system.
【００１３】構成（１−１）において、 （１−２−２）前記表示画像は結像光学系によって前記
変調素子面上に結像していること。In the constitution (1-1), (1-2-2) the display image is formed on the modulation element surface by an image forming optical system.
【００１４】構成（１−１）及び（１−２）において、 （１−２−３）前記空間変調素子面上に結像する前記外
界情報と表示画像は互いに直交する直線偏光より成って
いること。In the constitutions (1-1) and (1-2), (1-2-3) the external information and the display image formed on the surface of the spatial modulation element are composed of linearly polarized light orthogonal to each other. thing.
【００１５】（１−２−４）前記空間変調素子は、透過
型の液晶パネルを有していること。(1-2-4) The spatial modulation element has a transmission type liquid crystal panel.
【００１６】（１−２−５）前記空間変調素子は、反射
型の液晶パネルを有していること。(1-2-5) The spatial modulation element has a reflection type liquid crystal panel.
【００１７】（１−２−６）前記空間変調素子と前記画
像表示手段を同一部材より構成したこと。(1-2-6) The spatial modulation element and the image display means are composed of the same member.
【００１８】（１−２−７）前記外界情報と画像入力手
段に入力し、該画像入力手段からの信号と前記画像表示
手段からの信号に基づいて前記空間変調素子の動作を制
御していること。(1-2-7) Inputting the external world information and image input means, and controlling the operation of the spatial modulation element based on a signal from the image input means and a signal from the image display means. thing.
【００１９】（１−２−８）前記画像表示手段は液晶パ
ネル、該液晶パネルを照明する光源、そして該液晶パネ
ルからの光束の偏向状態を制御する偏光部材とを有して
いること。(1-2-8) The image display means includes a liquid crystal panel, a light source for illuminating the liquid crystal panel, and a polarizing member for controlling a deflection state of a light beam from the liquid crystal panel.
【００２０】（１−２−９）前記画像表示手段に表示さ
れた表示画像はコンピュータグラフィックスによって作
成された仮想画像であること。(1-2-9) The display image displayed on the image display means is a virtual image created by computer graphics.
【００２１】（１−２−１０）前記表示画像は2次元画
像情報又は／及び３次元画像情報であること。(1-2-10) The display image is two-dimensional image information and / or three-dimensional image information.
【００２２】（１−２−１１）前記外界情報を前記空間
変調素子上に結像するための結像光学系の焦点距離と前
記接眼光学系の焦点距離が略同じであること。(1-2-11) The focal length of an image forming optical system for forming an image of the external world information on the spatial light modulator and the focal length of the eyepiece optical system are substantially the same.
【００２３】（１−２−１２）前記空間変調素子の近傍
にフィールドレンズを設けたこと。(1-2-12) A field lens is provided near the spatial modulation element.
【００２４】（１−２−１３）前記画像表示手段からの
信号に基づいて前記空間変調素子の動作を制御するこ
と。(1-2-13) Controlling the operation of the spatial modulation element based on a signal from the image display means.
【００２５】（１−２−１４）前記外界情報を撮像する
撮像手段を有すること。(1-2-14) An image pickup means for picking up the external world information.
【００２６】（１−２−１５）前記撮像手段は前記結像
光学系の一部を共用していること。(1-2-15) The imaging means shares a part of the imaging optical system.
【００２７】（１−２−１６）前記撮像手段からの画像
情報を前記表示手段に伝達する伝達手段を有すること。(1-2-16) Transmission means for transmitting the image information from the imaging means to the display means.
【００２８】（１−２−１７）前記撮像手段及び前記画
像表示手段からの信号に基づいて前記空間変調素子の動
作を制御すること。等を特徴としている。(1-2-17) Controlling the operation of the spatial modulation element based on signals from the image pickup means and the image display means. And so on.
【００２９】又、本発明の頭部装着用の画像観察装置
は、 （２−１）構成（１−１）又は（１−２）の画像観察装
置を２つ観察者の右眼と左眼に各々装置するように構成
したことを特徴としている。Further, the head-mounted image observation device of the present invention comprises: (2-1) two image observation devices of the configuration (1-1) or (1-2); It is characterized in that it is constituted so that each device is provided.
【００３０】[0030]
【発明の実施の形態】次に本発明の実施形態について説
明する。本発明の画像観察装置は、現実空間の光景（外
界情報）及び２次元又は３次元画像情報表示装置（以下
ディスプレイと称す）面上に形成された画像（表示画
像）をそれぞれ結像光学系により、２次元画素構造を有
する液晶素子等からなる空間変調素子（以下液晶シャッ
ターと称す）面上に結像させ、液晶シャッターから射出
される光束を接眼光学系を通し観察する。Next, an embodiment of the present invention will be described. An image observation apparatus according to the present invention uses an image forming optical system to convert a scene in a real space (outside world information) and an image (display image) formed on a two-dimensional or three-dimensional image information display device (hereinafter, referred to as a display) surface. An image is formed on a surface of a spatial modulation element (hereinafter, referred to as a liquid crystal shutter) including a liquid crystal element having a two-dimensional pixel structure, and a light beam emitted from the liquid crystal shutter is observed through an eyepiece optical system.
【００３１】この時、液晶シャッター面に結像された画
像の任意の領域に対応する画素に対し、現実空間の光景
とディスプレイ画像のいずれかを選択的に透過するよう
に液晶シャッターを動作させる。At this time, the liquid crystal shutter is operated so that either a scene in the real space or a display image is selectively transmitted to a pixel corresponding to an arbitrary region of the image formed on the liquid crystal shutter surface.
【００３２】例えば、現実空間の光景からの光とディス
プレイ画像からの光が互いに直角な偏光成分を持つよう
にしておき、液晶シャッターがオフ動作の時にはディス
プレイ画像が、オン動作の時には現実の光景がそれぞれ
透過するように画素ごとに液晶シャッターの動作制御を
行う。For example, the light from the scene in the real space and the light from the display image have polarization components perpendicular to each other, so that the display image is displayed when the liquid crystal shutter is off, and the actual scene is displayed when the liquid crystal shutter is on. The operation of the liquid crystal shutter is controlled for each pixel so as to transmit light.
【００３３】このような操作により、現実空間内の物体
像とディスプレイによって表示された仮想像が重なるよ
うな領域において、いずれか一方の像のみが眼に見える
ようにしている。これによって、外部の光が強すぎてデ
ィスプレイの表示画像が見難いといった問題やディスプ
レイによって表示された仮想像が透けて見えるという、
ことを防止している。By such an operation, in an area where the object image in the real space and the virtual image displayed by the display overlap, only one of the images is made visible to the eyes. Due to this, the problem that the display image on the display is difficult to see because the external light is too strong or the virtual image displayed by the display can be seen through,
Is preventing that.
【００３４】次に本発明の各実施形態について説明す
る。図１は本発明の実施形態１の光学系の要部概略図で
ある。Next, each embodiment of the present invention will be described. FIG. 1 is a schematic view of a main part of an optical system according to Embodiment 1 of the present invention.
【００３５】図中、１は２次元画像情報（又は３次元画
像情報）を表示するディスプレイ装置（画像表示手段）
で、光源（面光源）２と、光源２からの光を１画素ごと
に電気的に透過制御可能な液晶パネル３を有している。
この液晶パネル３の前面に設けられている偏光板５は紙
面に垂直方向（図中記号Ｖで示す）に偏光軸を持ってい
る。In the drawing, reference numeral 1 denotes a display device (image display means) for displaying two-dimensional image information (or three-dimensional image information).
A light source (surface light source) 2 and a liquid crystal panel 3 capable of electrically controlling transmission of light from the light source 2 for each pixel.
The polarizing plate 5 provided on the front surface of the liquid crystal panel 3 has a polarization axis in a direction perpendicular to the paper surface (indicated by a symbol V in the drawing).
【００３６】６はディスプレイ装置１の液晶パネル３に
表示された画像（表示画像）をハーフミラー７を介して
液晶シャッター８の液晶素子面８ａに結像するための結
像光学系、７はハーフミラー（光路分割手段）である。Reference numeral 6 denotes an image forming optical system for forming an image (display image) displayed on the liquid crystal panel 3 of the display device 1 on the liquid crystal element surface 8a of the liquid crystal shutter 8 via the half mirror 7, and 7 denotes a half. It is a mirror (optical path dividing means).
【００３７】液晶シャッター８は透明部材８ｂ，８ｃに
よって挟持された液晶素子8aと紙面に平行な方向Hに偏
光軸を有する偏光板９からなる。透明部材8b、8cの液晶
面側にはマトリックス状に１画素ごとに液晶素子の動作
を制御すべく透明電極8d、8eと、１画素ごとに対応した
アクティブ素子（図示せず）が設けられた、いわゆるＴ
ＦＴ液晶パネル構造をしている。The liquid crystal shutter 8 comprises a liquid crystal element 8a sandwiched between transparent members 8b and 8c and a polarizing plate 9 having a polarization axis in a direction H parallel to the plane of the drawing. On the liquid crystal surface side of the transparent members 8b and 8c, transparent electrodes 8d and 8e and an active element (not shown) corresponding to each pixel are provided in a matrix to control the operation of the liquid crystal element for each pixel. So-called T
It has an FT liquid crystal panel structure.
【００３８】10は接眼光学系、11は観察者の眼である。
1２は外界の物体からくる像光（外界情報）Ｌ１を液晶
シャッター８の液晶素子面８aに正立実像として結像さ
せるための結像光学系（光学系）、１３は紙面に平行な
方向Hに偏光軸を有する偏光板である。Reference numeral 10 denotes an eyepiece optical system, and reference numeral 11 denotes an observer's eye.
Reference numeral 12 denotes an image forming optical system (optical system) for forming an image light (external world information) L1 coming from an external object on the liquid crystal element surface 8a of the liquid crystal shutter 8 as an erect real image, and 13 denotes a direction H parallel to the paper surface. Is a polarizing plate having a polarizing axis.
【００３９】１４は同様に紙面に平行な方向Hに偏光軸
を有する偏光板、15は外界からの像光を撮影装置１６の
撮影面に結像する結像光学系である。結像光学系１５は
結像光学系１２に連動し、常に外界からの像光を撮影装
置１６面上に結像すべく焦点調節が行われる。Similarly, reference numeral 14 denotes a polarizing plate having a polarization axis in a direction H parallel to the paper surface, and reference numeral 15 denotes an image forming optical system for forming an image light from the outside onto the photographing surface of the photographing device 16. The image forming optical system 15 is linked with the image forming optical system 12, and focus adjustment is performed so that image light from the outside world is always formed on the surface of the photographing device 16.
【００４０】以上の構成からなる装置を画像観察装置５
１、５２として、図７に示すように観察者５０の左右の
眼にそれぞれ設け、固定手段５３により観察者の頭部に
着脱可能に固定している。 次に本実施形態の動作を説
明する。今、図２（Ａ）に示すように、外界の光景（外
界情報）Aにコンピュータグラフィックス等で作成した
た仮想像（表示画像）を観察者の視野内（枠１７で囲ま
れた部分）に表示する場合について述べる。The apparatus having the above configuration is connected to the image observation device 5.
As shown in FIG. 7, reference numerals 1 and 52 are provided on the left and right eyes of the observer 50, respectively, and are detachably fixed to the observer's head by fixing means 53. Next, the operation of the present embodiment will be described. Now, as shown in FIG. 2A, a virtual image (display image) created by computer graphics or the like in an external scene (external information) A is included in the field of view of the observer (portion surrounded by a frame 17). Will be described.
【００４１】図１において、外界からの像光L１は、結
像光学系１２によりハーフミラー７を透過後、液晶シャ
ッター８の液晶素子面８aに正立像として結像される。In FIG. 1, image light L1 from the outside passes through a half mirror 7 by an image forming optical system 12 and is formed as an erect image on a liquid crystal element surface 8a of a liquid crystal shutter 8.
【００４２】この像光L1は偏光板１３により紙面に平行
な偏光成分を持つ光となっている。The image light L1 is converted into light having a polarization component parallel to the paper by the polarizing plate 13.
【００４３】図６に示すように、液晶シャッター８の画
素がオン動作状態（図中a）では、像光Ｌ１の偏光軸は
変わらないので（TN型液晶の場合）、液晶素子面８aに
結像された像光L1はそのまま偏光板９を透過し接眼光学
系１０により観察者の眼に映ずる。As shown in FIG. 6, when the pixel of the liquid crystal shutter 8 is in the ON state (a in the figure), the polarization axis of the image light L1 does not change (in the case of a TN type liquid crystal), so that it is connected to the liquid crystal element surface 8a. The formed image light L1 passes through the polarizing plate 9 as it is and is reflected on the observer's eyes by the eyepiece optical system 10.
【００４４】液晶シャッター８の画素がオフ動作状態
（図中ｂ）では、外界からの像光L１は液晶素子８ａに
より紙面に垂直な方向に偏光軸が回転するため偏光板９
により遮断され観察者の眼には届かない。When the pixels of the liquid crystal shutter 8 are in the off state (b in the drawing), the image light L1 from the outside world is rotated by the liquid crystal element 8a in the direction perpendicular to the plane of the drawing.
And is not reachable by the observer's eyes.
【００４５】一方、ディスプレイ１に表示された画像光
L２は、結像光学系６により、ハーフミラー７で反射
後、液晶シャッター８の液晶素子面８aに結像される。
この画像光L２は紙面に垂直方向Vに偏光軸を持つ偏光板
５により紙面に垂直方向に偏光成分を持つ光となってい
る。したがって液晶シャッター８の画素がオン動作状態
（図６中a）では偏光板９により遮断され、液晶シャッ
ター８の画素がオフ動作状態（図６中b）では偏光板９
を透過し、接眼光学系１０により観察者の眼１１に映ず
る。On the other hand, the image light displayed on the display 1
L <b> 2 is reflected by the half mirror 7 by the imaging optical system 6 and then imaged on the liquid crystal element surface 8 a of the liquid crystal shutter 8.
This image light L2 is light having a polarization component in a direction perpendicular to the paper surface by a polarizing plate 5 having a polarization axis in a direction V perpendicular to the paper surface. Therefore, when the pixels of the liquid crystal shutter 8 are turned on (a in FIG. 6), they are cut off by the polarizer 9, and when the pixels of the liquid crystal shutter 8 are turned off (b in FIG. 6), the polarizer 9 is turned off.
And reflected on the eye 11 of the observer by the eyepiece optical system 10.
【００４６】したがって外界の光景像Aにディスプレイ
１による仮想像Bを表示する場合は、液晶シャッター８
を１画素づつ順次スキャン走査させながらAの領域（図
２参照）に対応する画素をオン動作させ、Ｂの領域に対
応する画素をオフ動作させる。Therefore, when displaying the virtual image B on the display 1 on the external scene image A, the liquid crystal shutter 8
Are sequentially turned on one pixel at a time, the pixels corresponding to the area A (see FIG. 2) are turned on, and the pixels corresponding to the area B are turned off.
【００４７】図８は上記の操作により液晶シャッター８
面上に外界像Aと仮想像Bのパターンを形成した状態を模
式的に示したもので、図９はそのタイミングチャートで
ある。FIG. 8 shows the operation of the liquid crystal shutter 8 by the above operation.
FIG. 9 is a timing chart schematically showing a state in which a pattern of an external image A and a virtual image B is formed on a surface.
【００４８】図８において、a1〜anは外界の光景像Aに
対応する画素を示し、b1〜b４（斜線で示す画素）は仮
想像Bに対応する画素を示す。スキャン操作は同図に示
すように左上隅の画素a1を起点としてＸ方向に進み、右
下隅の画素anで終了する。このスキャン操作は図９に示
す時間Ts間に行われる。外界の光景像Aの領域に対応し
た画素a1〜anに対してはスキャン操作に対応して駆動パ
ルスPa1〜Panが順次発生する。これにより画素a1〜anは
オン動作し、図９に示すようにその状態を一定時間（図
中Tpで示す）保持する。ディスプレイによる仮想像Bの
領域に対応した画素b1〜b４に対しては、駆動パルスPは
発生せず画素b1〜b4はオフ動作状態になる。そして時間
T１で１画面に対する画像形成操作が終了する。そして
再びスキャン操作が開始され、動作させる画素に対し駆
動パルスPを発生させるというように、順次T2、T3・・
・と画面形成操作が行われて行く。In FIG. 8, a1 to an indicate pixels corresponding to the external scene image A, and b1 to b4 (hatched pixels) indicate pixels corresponding to the virtual image B. The scanning operation proceeds in the X direction starting from the pixel a1 at the upper left corner as shown in the figure, and ends at the pixel an at the lower right corner. This scanning operation is performed during the time Ts shown in FIG. Driving pulses Pa1 to Pan are sequentially generated for the pixels a1 to an corresponding to the area of the scene image A in the outside world in accordance with the scanning operation. As a result, the pixels a1 to an are turned on, and the state is maintained for a certain time (indicated by Tp in the figure) as shown in FIG. For the pixels b1 to b4 corresponding to the area of the virtual image B on the display, the driving pulse P is not generated, and the pixels b1 to b4 are turned off. And time
At T1, the image forming operation for one screen ends. Then, the scanning operation is started again, and a driving pulse P is generated for the pixels to be operated, so that T2, T3,.
And the screen forming operation is performed.
【００４９】以上の操作により、液晶シャッター８の液
晶素子面上８aには図２（a）に示すように外界の像光Ｌ
１のみを透過する領域Aとディスプレイによる表示画像
光Ｌ２のみを透過する領域Bからなる画像パターンが形
成される。By the above operation, as shown in FIG. 2A, the image light L of the external world is displayed on the liquid crystal element surface 8a of the liquid crystal shutter 8.
An image pattern including an area A transmitting only 1 and an area B transmitting only display image light L2 from the display is formed.
【００５０】観察者はこの液晶シャッター面８の液晶表
示面８ｃに形成された画像を接眼光学系１０を通して選
択的に外界の光景像とディスプレイ１による表示画像を
観察する。The observer selectively observes the image formed on the liquid crystal display surface 8 c of the liquid crystal shutter surface 8 through the eyepiece optical system 10 to see the external scene image and the display image on the display 1.
【００５１】したがって、戸外等で外界からの光Ｌ１が
強い場合でもディスプレイ１に表示された画像が見づら
いといったことや、ディスプレイ１によって描かれたコ
ンピュータグラフィックス等による仮想像が透き通って
見えるということは起こらない。Therefore, even when the light L1 from the outside is strong outside or the like, it is difficult to see the image displayed on the display 1 or the virtual image of the computer graphics or the like drawn by the display 1 is seen through. Does not happen.
【００５２】外界の光景とディスプレイ１によって表示
される仮想像に何ら位置的関係が無い場合、例えば観察
者の視野内に単に文字を表示したり、モニターとして画
像を表示するような場合は、あらかじめ決められた領域
に対応した画素に対し上記のような液晶シャッター８の
動作制御を行なうことにより達成できるが、図２の
（ｂ）のように、仮想像Ｂの一部Ｂ２が実際の光景の中
にある物体Cによって遮られるような、現実の光景と仮
想像の間に位置的関係がある場合については以下のよう
な考慮が必要になる。次にそのような場合について述べ
る。When there is no positional relationship between the external scene and the virtual image displayed by the display 1, for example, when characters are simply displayed in the observer's field of view or when an image is displayed as a monitor, This can be achieved by controlling the operation of the liquid crystal shutter 8 as described above for the pixels corresponding to the determined area. As shown in FIG. 2B, a part B2 of the virtual image B is a part of the actual scene. In the case where there is a positional relationship between a real scene and a virtual image, such as being interrupted by an object C inside, the following consideration is necessary. Next, such a case will be described.
【００５３】図１において外部からの光景像L1の一部は
ハーフミラー７により反射され、紙面に平行な偏光軸Ｈ
を有する偏光板１４に達する。外界からの像光L1は偏光
板１３により紙面に平行な偏光成分を持つ光であるの
で、そのまま偏光板１４を透過し結像光学系１５により
撮影装置１６の撮影面に結像される。In FIG. 1, a part of the scene image L1 from the outside is reflected by the half mirror 7, and the polarization axis H is parallel to the plane of the drawing.
Is reached. Since the image light L1 from the outside is a light having a polarization component parallel to the paper surface by the polarizing plate 13, the image light L1 passes through the polarizing plate 14 as it is and is imaged on the imaging surface of the imaging device 16 by the imaging optical system 15.
【００５４】一方ディスプレイ１上に表示された画像光
L2は一部ハーフミラー７を透過し偏光板１４に達する
が、画像光L２の偏光成分は紙面に対し垂直方向である
ため偏光板１４により遮断される。したがって撮影装置
１６は外部の光景のみ常時撮影しその映像を画像情報と
して装置に取り込むことができる。On the other hand, the image light displayed on the display 1
Part of L2 passes through the half mirror 7 and reaches the polarizing plate 14, but the polarization component of the image light L2 is cut off by the polarizing plate 14 because it is perpendicular to the paper surface. Therefore, the photographing device 16 can constantly photograph only an external scene and take in the image as image information into the device.
【００５５】ここで、撮影される像は液晶シャッター８
上に結像され観察者が観察する領域とほぼ同じに設定さ
れている。したがって観察者が観察しているのと同じ画
像情報が得られる。Here, the image to be shot is a liquid crystal shutter 8.
It is set to be substantially the same as the region imaged on the top and observed by the observer. Therefore, the same image information as that observed by the observer is obtained.
【００５６】撮影装置１６により取り込まれた外界から
の光景像は、画像処理回路（図示せず）により電気的に
処理され、現実の光景にある実物体像である輪郭Ｃが抽
出される。また同時に観察者と物体像の位置関係の情報
が取り込まれる。この位置情報は図７に示す、観察者５
０の左右の眼にそれぞれ設けられた画像観察装置５１、
５２内の撮影装置１６で撮影される画像の視差により算
出される。もちろん別に設けられた磁気センサ等、位置
検出センサによって得ることも出来る。The scene image from the outside captured by the photographing device 16 is electrically processed by an image processing circuit (not shown) to extract a contour C which is a real object image in a real scene. At the same time, information on the positional relationship between the observer and the object image is captured. This position information is shown in FIG.
Image observation devices 51 provided for the left and right eyes of 0,
The calculation is performed based on the parallax of the image captured by the image capturing device 16 in 52. Of course, it can also be obtained by a position detection sensor such as a separately provided magnetic sensor.
【００５７】これらの実物体像の輪郭情報と位置情報に
よりディスプレイ１に表示する仮想物体像Ｂのディスプ
レイ１上に表示する領域が算出される。すなわち、仮想
物体像の見える領域B1では、それに対応する液晶シャッ
ター８の画素をオフ動作させディスプレイ１の画像光L2
のみが透過するようにし、実物体像Cによって遮られる
領域B2を含む領域Ｂ１以外の領域では液晶シャッター８
をオン動作させ外界からの光景像光L１のみが透過する
ようにする。The area of the virtual object image B displayed on the display 1 to be displayed on the display 1 is calculated based on the outline information and the position information of the real object image. That is, in the area B1 where the virtual object image can be seen, the corresponding pixel of the liquid crystal shutter 8 is turned off and the image light L2 of the display 1 is turned off.
Only in the area other than the area B1 including the area B2 blocked by the real object image C.
Is turned on so that only the scene image light L1 from the outside is transmitted.
【００５８】この時、図７に示すように、観察者と現実
空間にある物体像との位置情報に基づき左右の眼に映ず
る仮想物体像Ｂに視差を設けてやれば仮想物体像Ｂが立
体的に見え、現実の光景の中に仮想物体Bが存在するか
のように観察される。At this time, as shown in FIG. 7, if the virtual object image B reflected on the left and right eyes is provided with parallax based on the positional information between the observer and the object image in the real space, the virtual object image B is obtained. It looks three-dimensional and is observed as if virtual object B is present in the real scene.
【００５９】ここで、液晶シャッター８上に結像され接
眼レンズ１０により観察される外界の像は、ビデオカメ
ラ等で一旦電子化された像と異なり、光学的に得られた
像である。したがって、双眼鏡等で見るのと同じように
現実の光景を直接見るのとほぼ同等な画質を持った像と
して観察することができる。Here, the external image formed on the liquid crystal shutter 8 and observed by the eyepiece 10 is an image obtained optically, unlike an image once digitized by a video camera or the like. Therefore, it is possible to observe as an image having almost the same image quality as directly viewing an actual scene just like viewing with binoculars or the like.
【００６０】また、液晶シャッター８の液晶面上の左上
隅から右下隅までのスキャン操作を１画面とし、１画面
毎に図２（a）に示す仮想像Bの領域の画素に対しオン、
オフを繰り返せば、外界からの像光Ｌ１とディスプレイ
に表示された像光Ｌ２を交互に観察することになり、仮
想像Bを従来のような透けた状態にして見せることも出
来る。The scanning operation from the upper left corner to the lower right corner on the liquid crystal surface of the liquid crystal shutter 8 is defined as one screen, and for each screen, the pixels in the area of the virtual image B shown in FIG.
By repeating the turning off, the image light L1 from the outside and the image light L2 displayed on the display are alternately observed, and the virtual image B can be shown in a transparent state as in the related art.
【００６１】図３は本発明の実施形態２の要部概略図で
ある。本実施例は、２次元画像情報を表示するディスプ
レイ装置に実施形態１で述べた液晶シャッタ−の機能も
持たせ装置構成をより簡略化したものである。尚、図中
上述したものと同じ機能を有するものは同じ番号で表記
する。FIG. 3 is a schematic view of a main part of a second embodiment of the present invention. In the present embodiment, a display device for displaying two-dimensional image information is also provided with the function of the liquid crystal shutter described in the first embodiment, thereby simplifying the device configuration. In the drawings, those having the same functions as those described above are denoted by the same numbers.
【００６２】図３の装置の説明をする。２１はディスプ
レイ照明用の光源で、R（赤）、G（青）、B（緑）の色
をそれぞれ発光するLED等から構成されている。２２は
水平方向に偏光軸を有する偏光板、２３、２４はハーフ
ミラーである。２５は反射型液晶ディスプレイで、液晶
を駆動するためのトランジスタ回路とアルミニウム等か
らなる電極を兼ねた反射面２５bを有するシリコンウエ
ハ２５aと、液晶素子２５c、そして透明電極２５eを有
する透明部材２５dを有している。そして、それらはマ
トリックス状に配列され、１画素ごとに電気的に動作制
御可能に構成されている。The apparatus shown in FIG. 3 will be described. Reference numeral 21 denotes a light source for display illumination, which includes LEDs for emitting R (red), G (blue), and B (green) colors. 22 is a polarizing plate having a polarization axis in the horizontal direction, and 23 and 24 are half mirrors. Reference numeral 25 denotes a reflection type liquid crystal display, which includes a transistor circuit for driving liquid crystal, a silicon wafer 25a having a reflection surface 25b also serving as an electrode made of aluminum or the like, a liquid crystal element 25c, and a transparent member 25d having a transparent electrode 25e. are doing. Then, they are arranged in a matrix and are configured to be electrically controllable for each pixel.
【００６３】２６は液晶シャッターで、前述した液晶シ
ャッター８とは異なり、画素構造を持たず、外界光Ｌ１
の透過制御を全面に渡り同時に行うシャッター構成にな
っている。この液晶シャッター２６の装置側の面に設け
られた偏光板２６aは紙面に垂直方向に偏光軸を持って
いる。２７は紙面に対し垂直方向に変更軸を有する偏光
板である。Reference numeral 26 denotes a liquid crystal shutter which is different from the liquid crystal shutter 8 described above in that it does not have a pixel structure and has external light L1.
The shutter is configured to simultaneously perform transmission control over the entire surface. The polarizing plate 26a provided on the device-side surface of the liquid crystal shutter 26 has a polarization axis in a direction perpendicular to the plane of the drawing. Reference numeral 27 denotes a polarizing plate having a change axis in a direction perpendicular to the plane of the drawing.
【００６４】次に本実施形態の動作の説明をする。照明
用光源２１からの光Ｌ２は、偏光板２２を介しハーフミ
ラー２３、２４を透過後ディスプレイ２５の反射面２５
bで反射される。そしてハーフミラー２４を通過し、ハ
ーフミラー２３により反射され偏光板２７に達する。反
射型液晶ディスプレイ２５の画素がオン動作状態では反
射後変調され、紙面に対し垂直方向に偏光成分を持った
光となる。Next, the operation of this embodiment will be described. The light L2 from the illumination light source 21 passes through the half mirrors 23 and 24 via the polarizing plate 22 and then is reflected by the reflection surface 25 of the display 25.
Reflected by b. Then, the light passes through the half mirror 24, is reflected by the half mirror 23, and reaches the polarizing plate 27. When the pixels of the reflection type liquid crystal display 25 are in the ON state, they are modulated after reflection and become light having a polarization component in a direction perpendicular to the plane of the drawing.
【００６５】したがって図１０に示すように偏光板２２
により紙面に対し平行な偏光成分を持った光源２１から
の光L2は、紙面に対し垂直な方向に偏光軸を持つ偏光板
２７を透過する。反射型液晶ディスプレイ２５がオフ動
作状態では、反射後も偏光方向は変わらないので偏光板
２７により遮断される。Therefore, as shown in FIG.
Accordingly, the light L2 from the light source 21 having a polarization component parallel to the paper surface passes through a polarizing plate 27 having a polarization axis in a direction perpendicular to the paper surface. When the reflection type liquid crystal display 25 is in the off operation state, the polarization direction does not change even after reflection, so that the light is blocked by the polarizing plate 27.
【００６６】一方、外界からの像光L1はハーフミラー２
４により反射され、結像光学系１２により反射型液晶デ
ィスプレイ２５の液晶素子２５C上に結像される。そし
てこの像光L1は反射型液晶の反射面２５bで反射され、
さらにハーフミラー２４を介してハーフミラー２３によ
り反射された後、偏光板２７に達する。On the other hand, the image light L1 from the outside world is
4 and is imaged on the liquid crystal element 25C of the reflection type liquid crystal display 25 by the imaging optical system 12. This image light L1 is reflected by the reflection surface 25b of the reflection type liquid crystal,
Furthermore, after being reflected by the half mirror 23 via the half mirror 24, the light reaches the polarizing plate 27.
【００６７】反射型液晶ディスプレイ２５がオン動作状
態では、反射型液晶ディスプレイ２５の反射面２５bで
反射された外界からの像光L1は上述した如く変調され、
紙面に対し平行な方向に偏光成分を持った光となる。し
たがって図１０に示すように偏光板２７により遮断され
る。When the reflective liquid crystal display 25 is on, the image light L1 from the outside reflected by the reflective surface 25b of the reflective liquid crystal display 25 is modulated as described above.
The light has a polarization component in a direction parallel to the paper surface. Therefore, the light is blocked by the polarizing plate 27 as shown in FIG.
【００６８】反射型液晶ディスプレイ２５がオフ動作状
態は反射後も偏光方向は変わらず垂直方向に偏光軸を持
った状態となっているので偏光板２７を透過する。When the reflection type liquid crystal display 25 is in the off operation state, the polarization direction does not change even after reflection and the reflection type liquid crystal display 25 has a polarization axis in the vertical direction.
【００６９】以上のように、反射型液晶ディスプレイ２
５がオン動作状態では光源２１の光、すなわち画像情報
に基づきディスプレイ上に形成された画像パターンに対
応する像光Ｌ２のみが観察者の眼に映じ、反射型液晶デ
ィスプレイ２５がオフ動作状態では外界からの光Ｌ１の
みが観察者の眼に映ずる。As described above, the reflection type liquid crystal display 2
5 is on, only the image light L2 corresponding to the image pattern formed on the display based on the image information is reflected on the observer's eyes while the reflective liquid crystal display 25 is off. Only the light L1 from the image appears on the eyes of the observer.
【００７０】図１１は、反射型液晶ディスプレイ面上
に、外界の光景像と、画像情報に基づく画像からなるパ
ターンを形成した状態を模式的に示したもので、図１２
はそのタイミングチャートである。FIG. 11 schematically shows a state in which a pattern composed of an external scene image and an image based on image information is formed on the reflective liquid crystal display surface.
Is a timing chart.
【００７１】図１１において、a1〜anは外界の光景像
（この領域をAとする）に対応する画素を示し、b1、b
2、b3、c 1、c2、c3（斜線で示す画素）は画像情報に基
づく画像（この領域をBとする）に対応する画素を示
す。またｂ、ｃはそれぞれ色が異なることを示してい
る。In FIG. 11, a1 to an represent pixels corresponding to an external scene image (this area is designated as A), and b1, b
2, b3, c1, c2, and c3 (pixels indicated by oblique lines) indicate pixels corresponding to an image based on image information (this area is defined as B). Also, b and c indicate that the colors are different.
【００７２】スキャン操作は図に示すように左上隅の画
素a1を起点としてＸ方向に進み、右下隅の画素anで終了
する。As shown in the figure, the scanning operation proceeds from the pixel a1 at the upper left corner in the X direction, and ends at the pixel an at the lower right corner.
【００７３】このスキャン操作は図１２に示す時間Ts間
に行われる。先ず、スキャン操作に対応して画像領域B
に対応する画素b1、b2、b3、c1、c2、c3に対し、駆動パ
ルスPb1、Pb2、Pb3、Pc1、Pc2、Pc3が順次発生される。
これにより画素b1、b2、b3、c1、c2、c3がオン動作し、
図１１に示すようにその状態を一定時間（図中Tpで示
す）保持する。画像領域Aに対応した画素a1〜anに対し
ては駆動パルスPは発生せず、画素a1〜anはオフ動作状
態になる。この一連の時間をTaで示す。この時間Taの
間、液晶シャッター２６は開いた状態になり、照明用光
源２１は消えた状態になっている。したがってTa間では
領域Aに対応した外界の景色のみが接眼光学系１０を通
して観察者に見える。This scanning operation is performed during the time Ts shown in FIG. First, in response to the scanning operation, the image area B
, The drive pulses Pb1, Pb2, Pb3, Pc1, Pc2, Pc3 are sequentially generated for the pixels b1, b2, b3, c1, c2, c3.
This turns on the pixels b1, b2, b3, c1, c2, and c3,
As shown in FIG. 11, the state is maintained for a certain time (indicated by Tp in the figure). No drive pulse P is generated for the pixels a1 to an corresponding to the image area A, and the pixels a1 to an are turned off. This series of times is indicated by Ta. During this time Ta, the liquid crystal shutter 26 is in the open state, and the illumination light source 21 is in the off state. Therefore, only the external scene corresponding to the region A can be seen by the observer through the eyepiece optical system 10 between Ta.
【００７４】Ta時間後再びスキャン操作が始まり画像領
域Bに対応する画素の内、画素b1、b2、b3に対し駆動パ
ルスPb1、Pb2、Pb3が発生する。これにより画素b1、b
2、b3がTp時間オン動作状態になる。After Ta time, the scanning operation starts again, and the driving pulses Pb1, Pb2, Pb3 are generated for the pixels b1, b2, b3 among the pixels corresponding to the image area B. This allows pixels b1, b
2, b3 is turned on for Tp time.
【００７５】この時、照明用光源２１のR、G、Bの各LED
がそれぞれTrb、Tgb、Tbbの時間点灯する。この各LEDの
点灯時間Trb、Tgb、Tbbは、画素bの色に対応した、あら
かじめ決められ時間長さに設定されている。At this time, the R, G, B LEDs of the illumination light source 21
Lights for Trb, Tgb, and Tbb, respectively. The lighting time Trb, Tgb, Tbb of each LED is set to a predetermined time length corresponding to the color of the pixel b.
【００７６】この一連の時間をTbで示す。この時間Tbの
間、シャッター２６は閉じた状態になっている。したが
って、Tb間では画像領域Bにおける色ｂの画素b1、b2、b
3の領域のみが接眼光学系１０を通して観察者に見え
る。This series of times is indicated by Tb. During this time Tb, the shutter 26 is in a closed state. Therefore, between Tb, the pixels b1, b2, b of the color b in the image area B
Only region 3 is visible to the observer through the eyepiece optical system 10.
【００７７】Tb時間後再びスキャン操作が始まり画像領
域Bに対応する画素の内、画素c1、c2、c3に対し駆動パ
ルスPc1、Pc2、Pc3が発生する。これにより画素c1、c
2、c3がTp時間オン動作状態になる。After the time Tb, the scanning operation starts again, and the driving pulses Pc1, Pc2, and Pc3 are generated for the pixels c1, c2, and c3 among the pixels corresponding to the image area B. This allows pixels c1, c
2, c3 is on for Tp time.
【００７８】この時、照明用光源２１のR、G、Bの各LED
がそれぞれTrc、Tgc、Tbcの時間点灯する。この各LEDの
点灯時間Trc、Tgc、Tbcは、画素bと同様、画素cの色に
対応した、あらかじめ決められた時間長さに設定されて
いる。At this time, the R, G, B LEDs of the illumination light source 21
Lights up for Trc, Tgc, and Tbc, respectively. The lighting time Trc, Tgc, Tbc of each LED is set to a predetermined time length corresponding to the color of the pixel c, similarly to the pixel b.
【００７９】この一連の時間をTcで示す。この時間Tcの
間、シャッター２６は閉じた状態になっている。したが
って、Tc間では画像領域Bにおける色がcの画素c1、c2、
c3の領域のみが接眼光学系１０を通して観察者に見え
る。This series of times is indicated by Tc. During this time Tc, the shutter 26 is in a closed state. Therefore, between Tc, the pixels c1, c2,
Only the area c3 is visible to the observer through the eyepiece optical system 10.
【００８０】以上、時間Ta、Tb、Tcで示すされる操作に
より１画面分の画像パターンが反射型ディスプレイ上に
形成される。As described above, an image pattern for one screen is formed on the reflective display by the operations indicated by the times Ta, Tb, and Tc.
【００８１】ここで、再現する色の種類を増やすには照
明光源であるR、G、Bの点灯時間Tr、Tg、T bの種類と組
み合わせを増やすことによって行うことができる。Here, the number of types of colors to be reproduced can be increased by increasing the types and combinations of the lighting times Tr, Tg, and Tb of the illumination light sources R, G, and B.
【００８２】しかしその場合、種類に対応して時間Ta、
Tb、Tcの時間が小さくなるため、使用する液晶素子の動
作特性等を考慮して対応できる色の種類が決められる。However, in this case, the time Ta,
Since the times of Tb and Tc become shorter, the types of colors that can be handled are determined in consideration of the operation characteristics and the like of the liquid crystal element to be used.
【００８３】以上のように、１画面を形成する時間T1を
Ta、Tb、Tcというように時分割することにより上記のよ
うな画像パターンを形成することができるが、液晶ディ
スプレイに表示する画像が文字等のように単色であれ
ば、実施形態１に示したように時間Ta、Tb、Tcの３回で
１画面を形成する必要はなくTa(=Tb=Tc)の時間で形成で
きる。この場合、シャッター２６は偏光板２６aのみで
よく、照明光源２１も点灯状態でよい。As described above, the time T1 for forming one screen is
The image pattern as described above can be formed by time-sharing such as Ta, Tb, and Tc. However, if the image displayed on the liquid crystal display is a single color such as a character or the like, as described in the first embodiment. As described above, it is not necessary to form one screen in three times Ta, Tb, and Tc, and the screen can be formed in Ta (= Tb = Tc). In this case, only the polarizing plate 26a is required for the shutter 26, and the illumination light source 21 may be in a lighting state.
【００８４】以上説明した如く、実施形態１と同様、反
射型液晶ディスプレイ２５面上に結像された外界からの
像光Ｌ１と、光源２１によって反射型液晶ディスプレイ
２５面上に形成された画像光Ｌ２に対する選択的な射出
制御を行なうことが出来る。そしてそれらの画像を接眼
光学系１０を通して観察する事が出来る。As described above, similarly to the first embodiment, the image light L1 formed on the surface of the reflective liquid crystal display 25 by the light source 21 and the image light L1 formed on the surface of the reflective liquid crystal display 25 by the light source 21. Selective injection control for L2 can be performed. Then, those images can be observed through the eyepiece optical system 10.
【００８５】図４は本発明の実施形態３の要部概略図で
ある。本実施例は、偏光ビームスプリッター３０を用い
て外界からの像光と画像情報に基づいてディスプレイ上
に形成された画像パターンに対応する像光とを切り分け
るようにしたものである。FIG. 4 is a schematic view of a main part of a third embodiment of the present invention. In the present embodiment, the polarizing beam splitter 30 is used to separate image light from the outside from image light corresponding to an image pattern formed on a display based on image information.
【００８６】外界からの像光L1は、実施形態２と同様
に、ハーフミラー２４により反射され結像光学系１２に
より反射型液晶ディスプレイ２５の液晶面２５C上に結
像される。像光Ｌ１は、液晶シャッター２６の偏光板２
６aにより紙面に対し垂直方向の偏光成分を持った光で
あり、反射型ディスプレイ２５がオフ動作状態では、上
述した如く反射型ディスプレイ２５の反射面２５ｂで反
射された後も偏光方向は変わらない。したがって、この
像光Ｌ１は、ハーフミラー２４を透過後、偏光ビームス
プリッタ３０の面３０aで反射され接眼光学系１０によ
り観察者の眼１１に映ずる。The image light L1 from the outside world is reflected by the half mirror 24 and imaged on the liquid crystal surface 25C of the reflection type liquid crystal display 25 by the image forming optical system 12, as in the second embodiment. The image light L1 is transmitted to the polarizing plate 2 of the liquid crystal shutter 26.
6a is a light having a polarization component in a direction perpendicular to the paper surface, and when the reflective display 25 is in the off-operation state, the polarization direction does not change even after being reflected by the reflective surface 25b of the reflective display 25 as described above. Therefore, the image light L1 is transmitted through the half mirror 24, is reflected by the surface 30a of the polarization beam splitter 30, and is reflected on the observer's eye 11 by the eyepiece optical system 10.
【００８７】反射型液晶ディスプレイ２５がオン動作状
態では、上述した如く変調され、反射後紙面に対し平行
な方向に偏光成分を持つ光となる。したがって偏光ビー
ムスプリッター３０の面３０aを透過するため、観察者
の眼１１の方向には向かわない。When the reflection type liquid crystal display 25 is in the ON operation state, the light is modulated as described above and becomes a light having a polarization component in a direction parallel to the paper after reflection. Therefore, since the light passes through the surface 30a of the polarizing beam splitter 30, it does not face the direction of the observer's eye 11.
【００８８】一方、ディスプレイ用光源２１からの光Ｌ
２は、偏光ビームスプリッタ３０の面３０aを透過する
ことで、紙面に対し平行な方向に偏光成分を持った光と
なりハーフミラー２４を介し反射型液晶ディスプレイ２
５の反射面２５ｂに達する。反射型液晶ディスプレイ２
５がオフ動作状態では反射後も偏光方向は変わらないの
で、偏光ビームスプリッター３０の面３０aを透過し、
観察者の眼１１の方向には向かわない。反射型液晶ディ
スプレイがオン動作状態では変調され、反射後偏光方向
が紙面に対し垂直方向に変わる。したがって偏光ビーム
スプリッタ３０の面３０aで反射され観察者の眼１１の
方向に向かう。On the other hand, the light L from the display light source 21
2 is a light having a polarization component in a direction parallel to the plane of the drawing by transmitting through the surface 30 a of the polarization beam splitter 30.
5 reaches the reflection surface 25b. Reflective liquid crystal display 2
Since the polarization direction does not change even after reflection in the off operation state of 5, the light passes through the surface 30a of the polarization beam splitter 30,
It does not face the direction of the observer's eye 11. When the reflective liquid crystal display is turned on, the light is modulated, and after reflection, the polarization direction changes in the direction perpendicular to the plane of the drawing. Therefore, the light is reflected by the surface 30 a of the polarization beam splitter 30 and travels toward the observer's eye 11.
【００８９】以上のような反射型液晶ディスプレイ２５
の動作条件に基づき、実施形態２に述べたように反射型
液晶ディスプレイ２５の各画素、シャッター２６、光源
２１のオン、オフ動作制御を行うことにより、実施形態
２と同様、反射型液晶ディスプレイ２５面上に結像され
た外界からの像光Ｌ１と、光源２１によって反射型液晶
ディスプレイ２５面上に形成された画像光Ｌ２に対する
選択的な射出制御を行なうことが出来る。The reflection type liquid crystal display 25 as described above
As described in the second embodiment, the ON / OFF operation of each pixel, the shutter 26, and the light source 21 of the reflective liquid crystal display 25 is controlled based on the operation conditions described in the second embodiment. It is possible to perform selective emission control on image light L1 formed on the surface from the outside world and image light L2 formed on the surface of the reflective liquid crystal display 25 by the light source 21.
【００９０】図５は本発明の実施形態４の要部概略図で
ある。本実施例は、実施形態２，３で述べた反射型液晶
ディスプレイの代わりに透過型の液晶ディスプレイ３６
を用いたものである。FIG. 5 is a schematic view of a main part of a fourth embodiment of the present invention. In this embodiment, a transmissive liquid crystal display 36 is used instead of the reflective liquid crystal display described in the second and third embodiments.
Is used.
【００９１】ここで、３９は実施形態２の液晶シャッタ
ー２６と同じ機能を有する液晶シャッターで、偏光板３
９aの偏光軸方向が紙面に対し平行であるところが液晶
シャッター２６と異なるものである。Here, reference numeral 39 denotes a liquid crystal shutter having the same function as the liquid crystal shutter 26 of the second embodiment.
9A is different from the liquid crystal shutter 26 in that the polarization axis direction of 9a is parallel to the paper surface.
【００９２】外界からの像光Ｌ１は、ハーフミラー３７
を透過後、結像光学系12により透過型液晶ディスプレイ
３６の液晶素子面３６a上に結像される。この像光Ｌ１
は紙面に対し平行な偏光軸を持つ液晶シャッター３９の
偏光板３９aにより紙面に平行な方向に偏光成分を持っ
た光である。The image light L 1 from the outside world passes through the half mirror 37.
After transmission, the light is imaged on the liquid crystal element surface 36a of the transmission type liquid crystal display 36 by the imaging optical system 12. This image light L1
Is a light having a polarization component in a direction parallel to the paper surface by the polarizing plate 39a of the liquid crystal shutter 39 having a polarization axis parallel to the paper surface.
【００９３】したがって透過型液晶ディスプレイ３６が
オン動作状態では紙面に対し平行方向に偏光軸を有する
偏光板９を透過し、接眼光学系10により観察者の眼１１
に映ずるが、透過型液晶ディスプレイ３６がオフ動作状
態では、紙面に対し垂直方向に偏光するため偏光板９に
より遮断され観察者の眼１１には届かない。Therefore, when the transmission type liquid crystal display 36 is in the ON operation state, the transmission type liquid crystal display 36 transmits through the polarizing plate 9 having a polarization axis in a direction parallel to the paper surface, and the eyepiece optical system 10 causes the observer's eyes 11
However, when the transmissive liquid crystal display 36 is in the off-operation state, the light is polarized in a direction perpendicular to the plane of the drawing and is blocked by the polarizing plate 9 and does not reach the eyes 11 of the observer.
【００９４】一方、照明用光源２１からの光Ｌ２は、ハ
ーフミラー３７により反射され、ディスプレイ３６面上
に照射される。この光Ｌ２は、紙面に対し垂直方向に偏
光軸を有する偏光板38により紙面に対し垂直方向に偏光
成分を持った光である。On the other hand, the light L2 from the illumination light source 21 is reflected by the half mirror 37 and is irradiated on the display 36 surface. This light L2 is light having a polarization component in a direction perpendicular to the paper surface by a polarizing plate 38 having a polarization axis in a direction perpendicular to the paper surface.
【００９５】したがって光Ｌ２は、透過型液晶ディスプ
レイ３６がオン動作状態では偏光板９により遮断され観
察者の眼１１には届かないが、オフ動作状態では偏光方
向が紙面に対し平行な方向に変わるので、偏光板９を透
過し接眼レンズ１０により観察者の眼に映ずる。Therefore, the light L2 is blocked by the polarizer 9 and does not reach the observer's eye 11 when the transmissive liquid crystal display 36 is in the on state, but does not reach the observer's eye 11 when the transmissive liquid crystal display 36 is in the off state. Therefore, the light passes through the polarizing plate 9 and is reflected on the observer's eye by the eyepiece lens 10.
【００９６】したがって１画素づつスキャン操作させな
がら透過型液晶ディスプレイ面上の任意の位置で液晶素
子のオン、オフ動作を行うことにより、上述した実施例
と同様、透過型液晶ディスプレイ３６面上に結像された
外界からの像光Ｌ１と、光源２１によって透過型液晶デ
ィスプレイ３６面上に形成された画像パターンに対応し
た像光Ｌ２に対する選択的な射出制御を行なうことが出
来る。Therefore, by performing the on / off operation of the liquid crystal element at an arbitrary position on the surface of the transmission type liquid crystal display while performing the scanning operation one pixel at a time, the image is formed on the surface of the transmission type liquid crystal display 36 as in the above-described embodiment. It is possible to perform selective emission control on the image light L1 formed from the outside and the image light L2 corresponding to the image pattern formed on the surface of the transmission type liquid crystal display 36 by the light source 21.
【００９７】ここで、透過型液晶ディスプレイ３６に色
情報を持った画像を再現する場合は、実施形態２で述べ
たように透過型液晶ディスプレイの画素のオン、オフ制
御と同時にシャッター３９と、光源２１のオン、オフ制
御を行い、時分割によって画像を形成することによって
達成できる。Here, when an image having color information is reproduced on the transmissive liquid crystal display 36, the shutter 39 and the light source are controlled simultaneously with the on / off control of the pixels of the transmissive liquid crystal display as described in the second embodiment. 21 can be achieved by performing on / off control and forming an image by time division.
【００９８】図１３は本発明による実施形態５の概略を
示した図である。前述した実施例に用いた光学系の場
合、結像光学系１２によって液晶シャッター面８に結像
する像は正立像である必要から、現実的には結像光学系
12が大きくなってしまう可能性がある。FIG. 13 is a diagram schematically showing a fifth embodiment according to the present invention. In the case of the optical system used in the above-described embodiment, the image formed on the liquid crystal shutter surface 8 by the image forming optical system 12 needs to be an erect image.
12 could be large.
【００９９】そこで、本実施形態ではペンタダハプリズ
ム４０を用いることにより、結像光学系１２によって液
晶シャッター面８に結像される像が倒立像であっても良
いようにしたものである。Therefore, in this embodiment, the image formed on the liquid crystal shutter surface 8 by the image forming optical system 12 may be an inverted image by using the penta roof prism 40.
【０１００】すなわち、物体像４５は液晶シャッター8
面上に倒立像４６として結像され、ペンタダハプリズム
４０を介し接眼光学系１０により正立の虚像として観察
される。That is, the object image 45 is displayed on the liquid crystal shutter 8.
The image is formed as an inverted image 46 on the surface, and is observed as an erect virtual image by the eyepiece optical system 10 via the penta roof prism 40.
【０１０１】尚、以上の各実施形態において結像レンズ
１２の倍率を可変し、外部の光景を任意の倍率に拡大縮
小して観察することもできる。この時同時に結像レンズ
１２の倍率に連動させディスプレイ１に表示する仮想像
の倍率を変えることももちろん可能である。In each of the above embodiments, the magnification of the imaging lens 12 can be changed, and an external scene can be observed at an arbitrary magnification. At this time, it is of course possible to simultaneously change the magnification of the virtual image displayed on the display 1 in conjunction with the magnification of the imaging lens 12.
【０１０２】さらに撮影装置１６に高感度のものや、赤
外線や紫外線等の特殊な波長に対応したものを使用し、
それによって得られた映像情報をディスプレイに表示す
ることにより、観察者が見ている以上の視覚情報を与
え、観察者の視覚機能を拡張するといったこともでき
る。Further, a high-sensitivity camera or a camera corresponding to a special wavelength such as infrared rays or ultraviolet rays may be used for the photographing apparatus 16.
By displaying the obtained video information on the display, it is possible to provide visual information more than the observer is looking at and to extend the visual function of the observer.
【０１０３】図１４（Ａ）は本発明の実施形態６の要部
概略図である。本発明の画像観察装置は、結像光学系６
１、紙面と平行な方向に偏光方向を有する直線偏光（以
下ｐ偏光）を通過させる偏光板６２、２次元画素構造を
有する空間変調素子６３、フィールドレンズ６４、ｐ偏
光を透過し、紙面と垂直な方向に偏光方向を有する直線
偏光（以下ｓ偏光）を反射する偏光ビームスプリッター
６５、接眼光学系６６、バックライト、液晶素子、偏光
板等から構成されｓ偏光を含む光束を射出する表示手段
６７から構成される。FIG. 14A is a schematic view of a main part of a sixth embodiment of the present invention. The image observation apparatus according to the present invention includes an imaging optical system 6.
1. A polarizing plate 62 that transmits linearly polarized light (hereinafter, p-polarized light) having a polarization direction parallel to the plane of the paper, a spatial modulation element 63 having a two-dimensional pixel structure, a field lens 64, which transmits the p-polarized light and is perpendicular to the paper. Display means 67 composed of a polarizing beam splitter 65, an eyepiece optical system 66, a backlight, a liquid crystal element, a polarizing plate, and the like, which reflects linearly polarized light (hereinafter referred to as s-polarized light) having a polarized direction in any direction, and emits a light beam containing s-polarized light. Consists of
【０１０４】図中Ｅは観察者の眼である。結像光学系６
１は、例えば図１４（Ｂ）に示すように結像レンズ６８
及びプリズム６９から構成され、外界の像を空間変調素
子６３上に正立実像として結像させる。E in the figure is the eye of the observer. Imaging optical system 6
1 is, for example, an imaging lens 68 as shown in FIG.
And a prism 69, and forms an external image on the spatial modulation element 63 as an erect real image.
【０１０５】空間変調素子６３は、液晶パネル等で構成
され、各画素ごとに入射光の偏光方向を回転させること
ができる機能を有する。結像光学系６１と接眼光学系６
６は同じ焦点距離となるように設定されているため、等
倍で外界を観察可能である。表示手段６７からの光束の
うちｓ偏光成分は、偏光ビームスプリッター６５で反射
され、接眼光学系６６により観察眼Ｅに導かれる。外界
からの光束は結像光学系６１により集束されつつ偏光板
６２を通過することによりｐ偏光となり空間変調素子６
３上に結像する。The spatial modulation element 63 is composed of a liquid crystal panel or the like, and has a function of rotating the polarization direction of incident light for each pixel. Imaging optical system 61 and eyepiece optical system 6
6 are set to have the same focal length, so that the outside world can be observed at the same magnification. The s-polarized light component of the light flux from the display means 67 is reflected by the polarization beam splitter 65 and guided to the observation eye E by the eyepiece optical system 66. The light flux from the outside passes through the polarizing plate 62 while being converged by the imaging optical system 61, and becomes p-polarized light so that the spatial light modulator 6
3 is imaged.
【０１０６】空間変調素子６３を通過したｐ偏光成分の
光束は偏光ビームスプリッター６５を通過し、接眼光学
系６６により観察眼Ｅに導かれる。The light beam of the p-polarized light component that has passed through the spatial modulation element 63 passes through the polarizing beam splitter 65 and is guided to the observation eye E by the eyepiece optical system 66.
【０１０７】一方、空間変調素子６３を通過時に偏光面
を回転されたｓ偏光成分の光束は偏光ビームスプリッタ
ー６５で反射され、観察眼Ｅには達しない。このように
空間変調素子の各画素毎に射出光の偏光方向を制御する
ことにより、外界視野の各場所（画角）ごとに厳密に可
視、不可視を切り替えることが可能となる。On the other hand, the s-polarized light beam whose polarization plane has been rotated when passing through the spatial light modulator 63 is reflected by the polarization beam splitter 65 and does not reach the observation eye E. Thus, by controlling the polarization direction of the emitted light for each pixel of the spatial modulation element, it is possible to strictly switch between visible and invisible for each location (field angle) of the external visual field.
【０１０８】さらに表示手段６７の表示パネルと空間変
調素子６３は接眼光学系６６に関し、光学的に等価な位
置に配置されている。このため、表示手段６７の表示パ
ネルと空間変調素子６３は接眼光学系６６により、同じ
位置に同じ倍率で虚像として結像する。Further, the display panel of the display means 67 and the spatial modulation element 63 are disposed at optically equivalent positions with respect to the eyepiece optical system 66. For this reason, the display panel of the display means 67 and the spatial modulation element 63 are formed as virtual images at the same position and at the same magnification by the eyepiece optical system 66.
【０１０９】表示手段６７の表示パネルと空間変調素子
６３の画素構造を適切に設定すると、表示手段６７の表
示パネルの各画素に厳密に対応する空間変調素子６３の
各画素つまり外界視野の各場所（画角）ごとに可視、不
可視を切り替えることが可能となる。If the pixel structure of the display panel of the display means 67 and the pixel structure of the spatial modulation element 63 are appropriately set, each pixel of the spatial modulation element 63 strictly corresponding to each pixel of the display panel of the display means 67, that is, each location of the external visual field It is possible to switch between visible and invisible for each (angle of view).
【０１１０】フィールドレンズ６４を設けることにより
外界からの光束をテレセントリックに空間変調素子６３
に入射させることができるとともに、入射瞳位置を適切
な位置に移動させることにより、各光学系の大きさを小
さくさせることが可能となる。By providing the field lens 64, a light beam from the outside can be telecentrically transmitted to the spatial light modulator 63.
And the size of each optical system can be reduced by moving the entrance pupil position to an appropriate position.
【０１１１】このように構成することにより、図示しな
い画像生成装置で生成したコンピューターグラフィック
ス等の仮想像を表示手段６７に表示し、その表示領域に
対応する空間変調素子６３上の画素に入射する光束の偏
光方向を９０度回転させることにより、外界の光束を遮
断することができ、図１５（Ａ）に示すように観察域７
４の中で、外界の光景７２の中に透けることなく表示画
像７３を重畳して観察させることができる。With such a configuration, a virtual image such as computer graphics generated by an image generating device (not shown) is displayed on the display means 67, and is incident on pixels on the spatial modulation element 63 corresponding to the display area. By rotating the polarization direction of the light beam by 90 degrees, the light beam in the external world can be blocked, and as shown in FIG.
4, the display image 73 can be superimposed and observed in the external scene 72 without being seen through.
【０１１２】表示画像７３に対応する部分の外界からの
光束は遮断されているため、従来不可能であった“黒い
色”の表示が可能となる。また、外界の光景７２はビデ
オカメラ等で一旦電子化された像と異なり光学的に得ら
れた像であるため、双眼鏡等で見る場合と同じように現
実の光景を直接見る場合とほぼ同等な画質を持った像と
して観察することができる。Since the luminous flux from the outside at the portion corresponding to the display image 73 is blocked, it is possible to display a "black color" which was impossible in the past. Also, since the external scene 72 is an optically obtained image unlike an image once digitized by a video camera or the like, it is almost equivalent to the case of directly viewing the actual scene as in the case of viewing through binoculars or the like. It can be observed as an image with image quality.
【０１１３】さらに、表示領域７４に対応する空間変調
素子６３上の画素に入射する光束の偏光方向の回転角を
９０度ではなく、任意の角度に設定することにより、故
意に透けた像を提示することも可能である。Further, by setting the rotation angle of the polarization direction of the light beam incident on the pixel on the spatial modulation element 63 corresponding to the display area 74 to an arbitrary angle instead of 90 degrees, an intentionally transparent image is presented. It is also possible.
【０１１４】図１６に示すようにｐ偏光を透過しｓ偏光
を反射する偏光ビームスプリッター７０及びＣＣＤ等の
２次元撮像素子７１を設け、外界の情報を取得できるよ
うに構成することもできる。As shown in FIG. 16, a polarizing beam splitter 70 that transmits p-polarized light and reflects s-polarized light and a two-dimensional image sensor 71 such as a CCD may be provided so that information on the outside world can be obtained.
【０１１５】外界からの光束は結像光学系６１により集
束されつつ、偏光ビームスプリッター７０によりｐ偏光
成分は各要素を通過し、観察眼Ｅ側に導かれ、ｓ偏光成
分は反射され撮像素子７１上に外界像を形成する。While a light beam from the outside is focused by the imaging optical system 61, the p-polarized light component passes through each element by the polarizing beam splitter 70, is guided to the observation eye E side, and the s-polarized light component is reflected to the image pickup device 71. An external image is formed thereon.
【０１１６】このように構成すると撮像素子７１からの
情報をもとに、外界の風景に重畳させる仮想像と現実の
物体との位置関係を演算し、表示手段６７及び空間変調
素子６３を制御することにより、図１５（Ｂ）に示すよ
うに観察域７４の中で、表示像（仮想像）７３と現実の
物体７２’の位置関係を考慮した表示が可能となる。さ
らに本観察装置を左右眼にそれぞれ設け、両眼視差量な
どを考慮して表示手段６７及び空間変調素子６３を制御
することにより、より自然に３次元的に観察することが
可能となる。With this configuration, the positional relationship between the virtual image to be superimposed on the external scenery and the real object is calculated based on the information from the image sensor 71, and the display means 67 and the spatial modulation element 63 are controlled. Thus, as shown in FIG. 15B, a display can be performed in the observation area 74 in consideration of the positional relationship between the display image (virtual image) 73 and the real object 72 ′. Further, by providing the present observation device for each of the left and right eyes and controlling the display means 67 and the spatial modulation element 63 in consideration of the amount of binocular parallax, etc., it is possible to more naturally perform three-dimensional observation.
【０１１７】図１７に示すように偏光ビームスプリッタ
ー７０と撮像素子７１の間に変倍光学系７５を設け、空
間変調素子６３と撮像素子７１への結像倍率を変えるこ
とにより空間変調素子６３と撮像素子７１の大きさなど
の選定に自由度を与えることも可能である。As shown in FIG. 17, a variable power optical system 75 is provided between the polarizing beam splitter 70 and the image pickup device 71, and the spatial modulation device 63 and the image pickup device 71 are changed in image forming magnification to change the spatial modulation device 63 and the image pickup device 71. It is also possible to give a degree of freedom in selecting the size of the imaging element 71 and the like.
【０１１８】また上記実施例においては結像光学系６１
と接眼光学系６６の焦点距離を同じとしたが、少なくと
もどちらか一方の光学系の焦点距離を可変としたり、そ
れぞれの位置を可変とすることにより、拡大及び縮小観
察を可能とする構成も可能である。In the above embodiment, the imaging optical system 61 is used.
And the eyepiece optical system 66 have the same focal length, but it is also possible to make the focal length of at least one of the optical systems variable or to make the respective positions variable so that magnification and reduction observations are possible. It is.
【０１１９】図１４（Ａ）及び図１６において、偏光ビ
ームスプリッター６５の代わりに光路分割手段としてハ
ーフミラー及びその直前にｐ偏光を透過する偏光板を設
けるような構成を用いても良い。In FIG. 14A and FIG. 16, instead of the polarizing beam splitter 65, a configuration may be used in which a half mirror and a polarizing plate that transmits p-polarized light are provided immediately before the half mirror as an optical path dividing means.
【０１２０】また図１６において偏光ビームスプリッタ
ー７０の代わりに光路分割手段としてハーフミラー及び
その直後にｐ偏光を透過する偏光板を設けるような構成
を用いても良い。In FIG. 16, instead of the polarization beam splitter 70, a configuration may be used in which a half mirror and a polarizing plate that transmits p-polarized light are provided immediately behind the half mirror as an optical path splitting means.
【０１２１】上記実施形態においては、表示手段６７の
表示素子として透過型の液晶パネルを用いたが、表示素
子として反射型の液晶パネルやＥＬパネル等を用いて構
成することも可能である。In the above-described embodiment, a transmissive liquid crystal panel is used as a display element of the display means 67. However, a reflective liquid crystal panel, an EL panel, or the like may be used as a display element.
【０１２２】[0122]
【発明の効果】本発明によれば以上のように、ディスプ
レイ（画像表示手段）上に表示された画像（表示画像）
の背景部に対する外界からの外界情報を表示画像に対応
させて正確に遮断し、表示画像と外界画像の双方が見や
すくなるようにし、あるいはコンピュータグラフィック
ス等で作成した仮想像（表示画像）を現実空間の光景
（外界情報）に重ね合わせた際、仮想像が透けた像にな
らないようにし、双方の画像を良好に観察することがで
きる画像観察装置を達成することができる。又、“黒い
色”の表示が可能な画像観察装置を達成することができ
る。According to the present invention, as described above, an image (display image) displayed on a display (image display means) is provided.
The background information from the outside world corresponding to the background image is accurately cut off in correspondence with the display image so that both the display image and the outside world image are easy to see, or a virtual image (display image) created by computer graphics or the like is realized. When the virtual image is superimposed on a spatial scene (external world information), the virtual image is prevented from becoming a transparent image, and an image observation device capable of favorably observing both images can be achieved. Further, an image observation device capable of displaying “black color” can be achieved.
【０１２３】特に本発明によれば、外界からの像光にデ
ィスプレイによる画像を重畳させて表示させるような場
合、像の重なった領域において、外界からの像光束を画
素単位で取り除くことが出来る。したがって戸外等、外
界からの光が強い場所においてもディスプレイに表示さ
れた文字や映像等の画像が見にくいといったことが防止
できる。また外界の光景すなわち実像の中にディスプレ
イによって表示された仮想像を合成表示した時に仮想像
が透けて見えるということも防止できる。In particular, according to the present invention, in a case where an image from a display is superimposed on an image light from the outside and displayed, the image light flux from the outside can be removed in a pixel unit in a region where the images overlap. Therefore, it is possible to prevent an image such as a character or an image displayed on the display from being difficult to see even in a place where external light is strong, such as outdoors. Further, it is possible to prevent the virtual image from being seen through when the virtual image displayed by the display is synthesized and displayed in the external scene, that is, the real image.
【０１２４】さらに外界の光景とディスプレイによる表
示画像を交互に切り替えるような液晶シャッターの動作
制御を行えば、従来のように仮想像を透き通ったように
見せることも可能である。 また、観察者の視野領域は
外界の光景とディスプレイの画像を結像する液晶シャッ
ター面の大きさで決まる。すなわち装置と観察者の眼の
位置に依存せず装置のみによって決められる。したがっ
てこの視野領域をCCDカメラ等の撮影装置により撮影
し、その画像情報に基づきディスプレイに表示する画像
位置を決めれば、CCDカメラ等で撮影した現実の光景に
コンピュータグラフィックス等で作成した画像を合成す
る場合と同じような正確な合成ができる。Further, by controlling the operation of the liquid crystal shutter so as to alternately switch between the external scene and the display image on the display, it is possible to make the virtual image look transparent as in the related art. In addition, the field of view of the observer is determined by the size of the liquid crystal shutter surface that forms an external scene and an image on the display. That is, it is determined only by the apparatus without depending on the apparatus and the position of the observer's eye. Therefore, if this field of view is photographed by a photographing device such as a CCD camera and the image position to be displayed on the display is determined based on the image information, an image created by computer graphics or the like is combined with the actual scene photographed by the CCD camera or the like. The same accurate synthesis can be performed.
【０１２５】また外界の光景を任意の倍率に拡大縮小し
て観察できるように結像光学系１２の倍率を可変した
り、撮影装置１６に高感度のものや、赤外線や紫外線等
の特殊な波長に対応したものを使用し、それによって得
られた映像情報をディスプレイに表示することにより、
観察者が見ている以上の視覚情報を与えるといった、観
察者の視覚機能を拡張するといったこともできる。Further, the magnification of the imaging optical system 12 can be changed so that the external scene can be observed at an arbitrary magnification, and the imaging apparatus 16 can have a high sensitivity or a special wavelength such as infrared rays or ultraviolet rays. By using the one corresponding to and displaying the video information obtained by it on the display,
It is also possible to extend the visual function of the observer, for example, to provide visual information more than the observer is looking at.
【図１】本発明の実施形態１に係わる概略構成を示す側
面図FIG. 1 is a side view showing a schematic configuration according to a first embodiment of the present invention.
【図２】実像と仮想像の合成を示す説明図FIG. 2 is an explanatory diagram showing the synthesis of a real image and a virtual image.
【図３】本発明の実施形態２に係わる概略構成を示す側
面図FIG. 3 is a side view showing a schematic configuration according to a second embodiment of the present invention.
【図４】本発明の実施形態３に係わる概略構成を示す側
面図FIG. 4 is a side view showing a schematic configuration according to a third embodiment of the present invention.
【図５】本発明の実施形態４に係わる概略構成を示す側
面図FIG. 5 is a side view showing a schematic configuration according to a fourth embodiment of the present invention.
【図６】液晶シャッターの説明図FIG. 6 is an explanatory view of a liquid crystal shutter.
【図７】本発明による画像観察装置を観察者が装着した
状態を示す斜視図FIG. 7 is a perspective view showing a state where an observer wears the image observation device according to the present invention.
【図８】本発明において液晶シャッター上に形成された
画像パターンを示す説明図FIG. 8 is an explanatory diagram showing an image pattern formed on a liquid crystal shutter in the present invention.
【図９】本発明に係るタイミングチャートFIG. 9 is a timing chart according to the present invention.
【図１０】本発明に係る液晶シャッターの説明図FIG. 10 is an explanatory diagram of a liquid crystal shutter according to the present invention.
【図１１】本発明に係る液晶シャッター上に形成された
画像パターンを示す説明図FIG. 11 is an explanatory diagram showing an image pattern formed on a liquid crystal shutter according to the present invention.
【図１２】本発明に係るタイミングチャートFIG. 12 is a timing chart according to the present invention.
【図１３】本発明の実施形態５に係わる要部概略図FIG. 13 is a schematic view of a main part according to a fifth embodiment of the present invention.
【図１４】本発明の実施形態６の要部概略図FIG. 14 is a schematic view of a main part of a sixth embodiment of the present invention.
【図１５】図１４の観察域の説明図FIG. 15 is an explanatory diagram of the observation area in FIG. 14;
【図１６】図１４の一部を変更した概略図FIG. 16 is a schematic diagram obtained by partially changing FIG. 14;
【図１７】図１４の一部を変更した概略図FIG. 17 is a schematic diagram obtained by partially changing FIG. 14;
【図１８】従来における装置の概略構成を示す側面図FIG. 18 is a side view showing a schematic configuration of a conventional device.
【図１９】現実の物体像と仮想像の合成を示す説明図FIG. 19 is an explanatory diagram showing synthesis of a real object image and a virtual image.
１ 液晶ディスプレイ（画像情報表示手段） ２ 照明用光源 ３ 液晶パネル ５ 偏光板 ６ 結像光学系 ７ ハーフミラー ８ 液晶シャッター（空間変調素子） ９ 偏光板 １０ 接眼光学系 １１ 観察者の眼 １２ 結像光学系 １３ 偏光板 １４ 偏光板 １５ 結像光学系 １６ 撮影装置 １７ 観察者の視野 ２１ 照明用光源 ２２ 偏光板 ２３ ハーフミラー ２４ ハーフミラー ２５ 反射型液晶ディスプレイ ２６ 液晶シャッター ２７ 偏光板 ３０ 偏光ビームスプリッター ３６ 透過型液晶ディスプレイ ３７ ハーフミラー ３８ 偏光板 ３９ 液晶シャッター ４０ ペンタプリズム ５０ 観察者 ５１ 画像観察装置 ５２ 画像観察装置 ５３ 画像観察装置固定手段 １０１ ディスプレイ １０２ ハーフミラー １０３ 凹面鏡 １０４ 観察者の眼 ６１ 結像光学系 ６２ 偏光板 ６３ 空間変調素子 ６４ フィールドレンズ ６５ 偏光ビームスプリッター ６６ 接眼光学系 ６７ 表示手段 ６８ 結像レンズ ６９ プリズム ７０ 偏光ビームスプリッター ７１ 撮像素子 ７２ 外界 ７３ 表示手段 ７４ 観察域 ７５ 変倍光学系 Ｅ 観察者の眼 DESCRIPTION OF SYMBOLS 1 Liquid crystal display (image information display means) 2 Illumination light source 3 Liquid crystal panel 5 Polarizer 6 Imaging optical system 7 Half mirror 8 Liquid crystal shutter (spatial modulation element) 9 Polarizer 10 Eyepiece optical system 11 Eye of observer 12 Image formation Optical system 13 Polarizing plate 14 Polarizing plate 15 Imaging optical system 16 Imaging device 17 Observer's visual field 21 Illumination light source 22 Polarizing plate 23 Half mirror 24 Half mirror 25 Reflective liquid crystal display 26 Liquid crystal shutter 27 Polarizing plate 30 Polarizing beam splitter 36 Transmission liquid crystal display 37 Half mirror 38 Polarizing plate 39 Liquid crystal shutter 40 Pentaprism 50 Observer 51 Image observing device 52 Image observing device 53 Image observing device fixing means 101 Display 102 Half mirror 103 Concave mirror 104 Observer's eye 61 Imaging optical system 62 bias Plate 63 the spatial modulation element 64 field lens 65 polarization beam splitter 66 eyepiece optical system 67 display unit 68 imaging lens 69 prism 70 a polarization beam splitter 71 imaging element 72 outside 73 display means 74 observation region 75 variable power optical system E observer's eye
───────────────────────────────────────────────────── フロントページの続き (72)発明者 谷口 尚郷 神奈川県横浜市西区花咲町６丁目145番地 株式会社エム・アール・システム研究所 内 (72)発明者 須藤 敏行 神奈川県横浜市西区花咲町６丁目145番地 株式会社エム・アール・システム研究所 内 ──────────────────────────────────────────────────続 き Continuation of the front page (72) Inventor Takasato Taniguchi 6-145 Hanasaki-cho, Nishi-ku, Yokohama-shi, Kanagawa Prefecture Inside M.R.Systems Research Institute Co., Ltd. (72) Inventor Toshiyuki Sudo Hanasaki-cho, Nishi-ku, Yokohama-shi, Kanagawa 6-145 MRC System Research Institute
Claims (20)
た表示画像を光路分割手段を介して同一視野内で接眼レ
ンズを介して観察する画像観察装置において、該外界情
報と表示画像は2次元画素構造を有する空間変調素子面
上に重畳して結像しており、該空間変調素子によって該
外界情報と表示画像の一部又は全部を同一視野内におい
て面積的に選択し、該選択した外界情報と画像情報を該
接眼レンズを介して観察していることを特徴とする画像
観察装置。1. An image observation apparatus for observing external world information of an external world and a display image displayed on an image display means via an eyepiece in the same field of view via an optical path dividing means, wherein the external world information and the display image are two-dimensional. An image is formed by superimposing and forming an image on a surface of a spatial modulation element having a pixel structure, and the spatial modulation element selects part or all of the external image and a display image in area within the same field of view, and An image observation device, wherein information and image information are observed through the eyepiece.
た表示画像を光路分割手段を介して同一視野内で接眼光
学系を介して観察する画像観察装置において、該外界情
報は２次元画素構造を有する空間変調素子上に結像して
おり、該空間変調素子によって該外界情報と前記表示手
段の一部又は全部を同一視野内において面積的に選択
し、該選択した外界情報と画像情報を前記接眼光学系を
介して観察することを特徴とする画像観察装置。2. An image observation apparatus for observing external world information of an external world and a display image displayed on an image display means through an eyepiece optical system in the same field of view via an optical path dividing means, wherein the external world information has a two-dimensional pixel structure. An image is formed on the spatial modulation element having the area information, and the external light information and a part or all of the display means are areaally selected in the same field of view by the spatial light modulation element, and the selected external information and image information are selected. An image observation device, wherein the observation is performed via the eyepiece optical system.
変調素子面上に結像していることを特徴とする請求項１
又は２の画像観察装置。3. The image forming apparatus according to claim 1, wherein the external world information is imaged on the modulation element surface by an imaging optical system.
Or the image observation device of 2.
変調素子面上に結像していることを特徴とする請求項１
の画像観察装置。4. The image display apparatus according to claim 1, wherein the display image is formed on the modulation element surface by an image forming optical system.
Image observation device.
界情報と表示画像は互いに直交する直線偏光より成って
いることを特徴とする請求項１，２，３又は４の画像観
察装置。5. The image observation apparatus according to claim 1, wherein the external information and the display image formed on the surface of the spatial light modulator are formed of linearly polarized lights orthogonal to each other.
ルを有していることを特徴とする請求項５の画像観察装
置。6. The image observation apparatus according to claim 5, wherein said spatial modulation element has a transmission type liquid crystal panel.
ルを有していることを特徴とする請求項５の画像観察装
置。7. The image observation apparatus according to claim 5, wherein said spatial modulation element has a reflection type liquid crystal panel.
同一部材より構成したことを特徴とする請求項５の画像
観察装置。8. An image observation apparatus according to claim 5, wherein said spatial modulation element and said image display means are formed of the same member.
該画像入力手段からの信号と前記画像表示手段からの信
号に基づいて前記空間変調素子の動作を制御しているこ
とを特徴とする請求項１から８の何れか1項の画像観察
装置。9. Inputting the external world information to an image input means,
9. The image observation apparatus according to claim 1, wherein the operation of the spatial modulation element is controlled based on a signal from the image input unit and a signal from the image display unit.
晶パネルを照明する光源、そして該液晶パネルからの光
束の偏向状態を制御する偏光部材とを有していることを
特徴とする請求項１又は２の画像観察装置。10. The image display means includes a liquid crystal panel, a light source for illuminating the liquid crystal panel, and a polarizing member for controlling a deflection state of a light beam from the liquid crystal panel. Or the image observation device of 2.
像はコンピュータグラフィックスによって作成された仮
想画像であることを特徴とする請求項１から１０のいず
れか1項の画像観察装置。11. The image observation apparatus according to claim 1, wherein the display image displayed on the image display means is a virtual image created by computer graphics.
結像するための結像光学系の焦点距離と前記接眼光学系
の焦点距離が略同じであることを特徴とする請求項１か
ら１１のいずれか１項に記載の画像観察装置。12. A focal length of an image forming optical system for forming an image of the external world information on the spatial light modulator and a focal length of the eyepiece optical system are substantially the same. The image observation device according to any one of the preceding claims.
レンズを設けたことを特徴とする請求項１２の画像観察
装置。13. An image observation apparatus according to claim 12, wherein a field lens is provided near said spatial modulation element.
て前記空間変調素子の動作を制御することを特徴とする
請求項１２又は１３の画像観察装置。14. An image observation apparatus according to claim 12, wherein an operation of said spatial modulation element is controlled based on a signal from said image display means.
することを特徴とする請求項１２，１３又は１４の画像
観察装置。15. An image observation apparatus according to claim 12, further comprising an image pickup means for picking up the external world information.
を共用していることを特徴とする請求項１５の画像観察
装置。16. An image observation apparatus according to claim 15, wherein said imaging means shares a part of said imaging optical system.
示手段に伝達する伝達手段を有することを特徴とする請
求項１５又は１６の画像観察装置。17. The image observation device according to claim 15, further comprising a transmission unit that transmits image information from the imaging unit to the display unit.
らの信号に基づいて前記空間変調素子の動作を制御する
ことを特徴とする請求項１２から１７のいずれか１項の
画像観察装置。18. The image observation apparatus according to claim 12, wherein the operation of the spatial modulation element is controlled based on signals from the imaging unit and the image display unit.
及び３次元画像情報であることを特徴とする請求項１か
ら１８の何れか１項の画像観察装置。19. The display image includes two-dimensional image information and / or
19. The image observation device according to claim 1, wherein the image observation device is a three-dimensional image information.
観察装置を２つ観察者の右眼と左眼に各々装置するよう
に構成したことを特徴とする頭部装着用の画像観察装
置。20. A head-mounted image observation apparatus, wherein two image observation apparatuses according to any one of claims 1 to 19 are provided for each of a right eye and a left eye of an observer. apparatus.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10267653A JP2000105348A (en) | 1998-07-27 | 1998-09-22 | Picture observation device |
| US09/273,746 US6215532B1 (en) | 1998-07-27 | 1999-03-22 | Image observing apparatus for observing outside information superposed with a display image |
| EP99105843A EP0977071A1 (en) | 1998-07-27 | 1999-03-23 | Image observing apparatus |
| US09/736,242 US6271895B2 (en) | 1998-07-27 | 2000-12-15 | Image observing apparatus for observing outside information superposed with a display image |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21106098 | 1998-07-27 | ||
| JP10-211060 | 1998-07-27 | ||
| JP10267653A JP2000105348A (en) | 1998-07-27 | 1998-09-22 | Picture observation device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000105348A true JP2000105348A (en) | 2000-04-11 |
Family
ID=26518410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10267653A Pending JP2000105348A (en) | 1998-07-27 | 1998-09-22 | Picture observation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000105348A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100358806B1 (en) * | 2000-08-28 | 2002-10-25 | 삼성에스디아이 주식회사 | Optical system of view finder |
| JP2007156096A (en) * | 2005-12-05 | 2007-06-21 | Shimadzu Corp | Head-mounted display device and head-mounted display system |
| JP2009168976A (en) * | 2008-01-15 | 2009-07-30 | Seiko Epson Corp | Display system |
| JP2009207672A (en) * | 2008-03-04 | 2009-09-17 | Sammy Corp | Image performance device and game machine |
| JP2010249907A (en) * | 2009-04-13 | 2010-11-04 | National Institute Of Advanced Industrial Science & Technology | Photographing device and imaging method |
| JP2014235189A (en) * | 2013-05-30 | 2014-12-15 | 株式会社Ｎｔｔドコモ | Display device |
| JP2015519595A (en) * | 2012-04-05 | 2015-07-09 | マジック リープ， インコーポレイテッド | Device for optical see-through head mounted display with mutual shielding and opacity control capability |
| JP2017504819A (en) * | 2013-11-19 | 2017-02-09 | スリーエム イノベイティブ プロパティズ カンパニー | Perspective head-mounted display with liquid crystal module for adjusting the luminance ratio of combined images |
| JP2018060212A (en) * | 2013-11-27 | 2018-04-12 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Virtual and augmented reality system and method |
| CN110959132A (en) * | 2017-05-27 | 2020-04-03 | 李汶基 | Glasses type transparent display using reflector |
| JP2021056462A (en) * | 2019-10-01 | 2021-04-08 | 株式会社Ｎｔｔドコモ | Display device and display method |
| CN114578554A (en) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | Display equipment for realizing virtual-real fusion |
-
1998
- 1998-09-22 JP JP10267653A patent/JP2000105348A/en active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100358806B1 (en) * | 2000-08-28 | 2002-10-25 | 삼성에스디아이 주식회사 | Optical system of view finder |
| JP2007156096A (en) * | 2005-12-05 | 2007-06-21 | Shimadzu Corp | Head-mounted display device and head-mounted display system |
| JP2009168976A (en) * | 2008-01-15 | 2009-07-30 | Seiko Epson Corp | Display system |
| JP2009207672A (en) * | 2008-03-04 | 2009-09-17 | Sammy Corp | Image performance device and game machine |
| JP2010249907A (en) * | 2009-04-13 | 2010-11-04 | National Institute Of Advanced Industrial Science & Technology | Photographing device and imaging method |
| US10451883B2 (en) | 2012-04-05 | 2019-10-22 | Magic Leap, Inc. | Apparatus for optical see-through head mounted display with mutual occlusion and opaqueness control capability |
| JP2019035977A (en) * | 2012-04-05 | 2019-03-07 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Apparatus for optical see-through head mounted display with mutual occlusion and opaqueness control capability |
| US11656452B2 (en) | 2012-04-05 | 2023-05-23 | Magic Leap, Inc. | Apparatus for optical see-through head mounted display with mutual occlusion and opaqueness control capability |
| JP2017161914A (en) * | 2012-04-05 | 2017-09-14 | マジック リープ， インコーポレイテッド | Apparatus for optical see-through head mounted display with mutual occlusion and opaqueness control capability |
| US10901221B2 (en) | 2012-04-05 | 2021-01-26 | Magic Leap, Inc. | Apparatus for optical see-through head mounted display with mutual occlusion and opaqueness control capability |
| US10048501B2 (en) | 2012-04-05 | 2018-08-14 | Magic Leap, Inc. | Apparatus for optical see-through head mounted display with mutual occlusion and opaqueness control capability |
| US10061130B2 (en) | 2012-04-05 | 2018-08-28 | Magic Leap, Inc. | Wide-field of view (FOV) imaging devices with active foveation capability |
| US10162184B2 (en) | 2012-04-05 | 2018-12-25 | Magic Leap, Inc. | Wide-field of view (FOV) imaging devices with active foveation capability |
| US10175491B2 (en) | 2012-04-05 | 2019-01-08 | Magic Leap, Inc. | Apparatus for optical see-through head mounted display with mutual occlusion and opaqueness control capability |
| JP2015519595A (en) * | 2012-04-05 | 2015-07-09 | マジック リープ， インコーポレイテッド | Device for optical see-through head mounted display with mutual shielding and opacity control capability |
| JP2014235189A (en) * | 2013-05-30 | 2014-12-15 | 株式会社Ｎｔｔドコモ | Display device |
| JP2017504819A (en) * | 2013-11-19 | 2017-02-09 | スリーエム イノベイティブ プロパティズ カンパニー | Perspective head-mounted display with liquid crystal module for adjusting the luminance ratio of combined images |
| JP2018060212A (en) * | 2013-11-27 | 2018-04-12 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Virtual and augmented reality system and method |
| CN110959132A (en) * | 2017-05-27 | 2020-04-03 | 李汶基 | Glasses type transparent display using reflector |
| JP2021056462A (en) * | 2019-10-01 | 2021-04-08 | 株式会社Ｎｔｔドコモ | Display device and display method |
| JP7339837B2 (en) | 2019-10-01 | 2023-09-06 | 株式会社Ｎｔｔドコモ | Display device and display method |
| CN114578554A (en) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | Display equipment for realizing virtual-real fusion |
| CN114578554B (en) * | 2020-11-30 | 2023-08-22 | 华为技术有限公司 | Display equipment for realizing virtual-real fusion |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6271895B2 (en) | Image observing apparatus for observing outside information superposed with a display image | |
| US7639208B1 (en) | Compact optical see-through head-mounted display with occlusion support | |
| JPH07222866A (en) | Stereoscopic image game machine | |
| JPH0777665A (en) | Image display device and image photographing device for the same | |
| JP2002082307A (en) | Three-dimensional image recording device and method for displaying three-dimensional image | |
| JPH09505906A (en) | Stereoscope image mechanism and visual mechanism | |
| JP3368204B2 (en) | Image recording device and image reproducing device | |
| JP2000105348A (en) | Picture observation device | |
| JP2005084569A (en) | Picture display device | |
| JP2012002889A (en) | See-through type image display device | |
| JP3386082B2 (en) | Viewfinder in imaging equipment | |
| JP3205552B2 (en) | 3D image pickup device | |
| JPH11109278A (en) | Video display device | |
| JPH06141262A (en) | Head mounted display device | |
| JPH11109279A (en) | Video display device | |
| JP2000214408A (en) | Picture display device | |
| JPH07212680A (en) | Picture display device | |
| JP3739348B2 (en) | 3D display device | |
| JP2004258594A (en) | Three-dimensional image display device realizing appreciation from wide angle | |
| JPH0546530B2 (en) | ||
| JP2000199871A (en) | Video display device | |
| JPH11134505A (en) | Image extracting device and image display device using same | |
| JP2966783B2 (en) | 3D image display device | |
| JPS61144690A (en) | 3-d dispaly unit | |
| JP3369798B2 (en) | 3D stereo display |