JP3604990B2 - 画像観察システム - Google Patents
画像観察システム Download PDFInfo
- Publication number
- JP3604990B2 JP3604990B2 JP2000058737A JP2000058737A JP3604990B2 JP 3604990 B2 JP3604990 B2 JP 3604990B2 JP 2000058737 A JP2000058737 A JP 2000058737A JP 2000058737 A JP2000058737 A JP 2000058737A JP 3604990 B2 JP3604990 B2 JP 3604990B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- imaging
- optical system
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は，画像観察システムに関し、例えば撮像光学系（撮像系）により取得した外界の光景（外界画像，外界情報）をディスプレイ装置（画像表示手段）に表示して観察できるようにした画像観察システム，あるいは現実の光景（外界情報）にコンピューター等で人工的に作り出した画像（仮想画像）や，ビデオ等によって記録された映像を重ね合わせて画像表示手段に表示して様々な疑似的体験を行うといったことを目的とした画像観察システムに好適なものである。
【０００２】
【従来の技術】
従来より，撮像系および表示系を有する画像観察装置を観察者の左右眼用に一対設け，外界画像（外界情報）をＣＣＤカメラ等の撮影装置で電気信号に変換し，それをＣＲＴやＬＣＤなどの表示素子に表示し，表示光学系を介して外界画像を両眼視差を用いて立体観察（以下ビデオシースルー観察）し，あたかも外界を裸眼で観察しているように構成された画像観察システムが知られている。
【０００３】
又カメラによって撮像された外界画像にコンピューターグラフィックス等により生成された画像やビデオ等によって記録された映像を合成表示し，現実空間と仮想空間を合成し観察できるようにした画像観察システムが提案されている。
【０００４】
従来の画像観察システムの要部概略図を図１３に示す。図１３では左右眼用の画像観察装置を１対設けている。図中、左眼用の要素には添字Ｌ、右眼用の要素には添字Ｒを付している。尚、以下の説明では左右眼用の要素を示す添字Ｌ，Ｒを省略している。
【０００５】
図１３において，撮像系１００は撮像光学系１０１と撮像素子１０２で構成され，１０３はその撮像光学系の外界側の光軸である。ミラー１０４は撮像系１００と表示系１１０の光路を分離する。表示系１１０は表示光学系１１１と表示素子１１２で構成され，１１３はその表示光学系の眼球側の光軸である。
【０００６】
撮像系１００及び表示系１１０より成る画像観察装置は左右眼用に一対設けてある。Ｅは観察眼を示す。
【０００７】
図１３に示す撮像系１００及び表示系１００は，撮像素子１０２の中心１０２Ｃと撮像光学系１０１の光軸１０３，表示素子１１２の中心１１２Ｃと表示光学系の光軸１１３を一致させ，さらに左右眼用の撮像光学系の光軸１０３Ｒ，１０３Ｌと表示光学系の光軸１１３Ｒ，１１３Ｌを角度θ傾けて，外界側に設けた基準位置１２０で交差するように構成されている。
【０００８】
各々の表示光学系１１１による表示素子１１２と共役な面１１２’（虚像スクリーン）と撮像光学系１０１による撮像素子１０２と共役な面１０２’（ピント面）は一致しており，それぞれの中心位置１０２Ｃ’，１１２Ｃ’は基準位置１２０で一致している。また左右眼用の中心位置も基準位置１２０で一致している。
【０００９】
図１４，図１５は図１３に示す画像観察システムで外界空間の物体１３０を撮影系１００で撮像し，表示系１１０で表示し，観察者が物体像を観察した場合を示したものである。
【００１０】
図１４において，外界空間の物体１３０はミラー１０４及び撮像光学系１０１により撮像素子１０２上に像１３１を形成し，撮像される。その像位置は，撮像素子１０２と共役なピント面１０２’上で表すと面１３１’であり，ピント面中心１２０から距離Ｐとなる。
【００１１】
撮像系１００で撮像された物体１３０の像１３１は，図１５に示すように表示素子１１２上に像１３２として表示される。図１５において，表示素子１１２からの光束はミラー１０４，表示光学系１１１により観察眼Ｅに導かれる。像１３２は，表示素子１１２と共役な虚像スクリーン１１２’上の像１３２’として観察眼Ｅに観察される。像１３２’の位置は虚像スクリーン中心１２０から距離Ｑとなる。
【００１２】
観察者は，右眼ＥＲで像１３２’Ｒを観察し，左眼ＥＬで像１３２’Ｌを観察する。これにより観察者は，右眼ＥＲの視線１３３Ｒと左眼ＥＬの視線１３３Ｌの交点１３４にあたかも物体１３０が実在するように観察することができる。この時，撮像光学系１０１の入射瞳位置と観察眼Ｅの入射瞳位置を一致させ，また撮像画角と表示画角を一致させると，撮像系ピント面１０２’と表示系虚像スクリーン１１２’はその位置及び大きさが一致するため，距離Ｐと距離Ｑは等しくなる。よって，交点１３４の位置は，実際の外界空間における物体１３０の位置と同じになり，また再現される物体の大きさも物体１３０と等しくなる。
【００１３】
【発明が解決しようとする課題】
図１３に示す画像観察システムにおいて，撮像光学系１０１が変倍機能を有していたり，電子ズームなどを用いて表示倍率を変更した場合には，再現される空間が歪んだり，左右眼用の画像の融像ができない場合が生じてくる。
【００１４】
次にこの現像を図１６，図１７（ａ），図１７（ｂ）を用いて説明する。図１６は図１４に示した外界空間の物体１３０の撮像系１００により得られた撮影像を２倍に拡大して，表示素子に表示し、観察する場合である。ここで，虚像スクリーン１１２’上での表示像１３５’のスクリーン中心１２０からの距離Ｓは，図１５における距離Ｑの２倍となる。図１５の場合と同様に，観察者は右眼ＥＲの視線１３６Ｒと左眼ＥＬの視線１３６Ｌの交点１３７にあたかも物体１３０が実在するように観察することができ，物体に近づいた，あるいは物体が大きくなったように観察することができる。
【００１５】
しかし，左右眼の視線が交差する（左右眼画像の融像ができる）のは，物体１３０がＸＺ平面内にある場合（Ｙ＝０）のみである。図１７（ａ）は図１５に示した状態のＹＺ断面であり，図１７（ｂ）は図１６に示した状態のＹＺ断面である。図１７（ａ），図１７（ｂ）においてＱ，Ｓに付した添字ｙ，ｚは，それぞれのＹ方向成分，Ｚ方向成分を表す。
【００１６】
図１７（ａ）に示すように，変倍機能を用いずに撮影系で撮像し，表示系に表示し，観察している場合は，物体１３０がＸＺ平面内に無い場合（Ｑｙ≠０）でも左右眼ＥＲ，ＥＬの視線１３３Ｒ，１３３ＬはＹＺ面内で一致するため，交差する。しかし，図１７（ｂ）に示すように変倍機能を用いた場合は，左右眼ＥＲ，ＥＬの視線１３６Ｒ，１３６ＬはＹＺ面内で一致しないため交差しない。微小なずれの場合はある程度許容されるが，観察者の疲労や再現空間の歪みが生じる。ずれが大きい場合は，左右眼画像の融像が出来ないという問題が生じる。
【００１７】
また変倍機能を用いた場合でなくても，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，上述したような問題が生じる。
【００１８】
本発明はビデオシースルー観察時に，変倍機能を用いた場合や，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，再現される空間が歪むことがなく，観察者は無理なく左右眼用の画像の融像を行える画像観察システムの提供を目的とする。
【００１９】
【課題を解決するための手段】
請求項１の発明の画像観察システムは、外界画像を撮像光学系で撮像素子上に所定の撮像画角で結像させる撮像系と、
該撮像系で取得した外界画像を表示した表示素子からの光束を表示光学系によって該撮像画角と略一致する表示画角で観察眼へ導く表示系を有し、
該撮像光学系の光軸の一部が該表示光学系の光軸の一部を外界側に延長した軸上に略一致するようにした画像観察装置を、観察者の左右眼用に一対設けた画像観察システムにおいて、
各々の撮影系の撮像素子は該撮像光学系の光軸に対し水平方向に所定距離ずらして配置されており、
表示素子は該表示光学系の光軸に対し水平方向に所定距離ずらして配置されており、
左右眼用の一対の該画像観察装置の表示光学系の光軸の一部は互いに平行であり、
かつ、該表示光学系の光軸の一部を外界側に延長した軸上の該撮像光学系の入射瞳と等価な位置が該表示光学系の射出瞳よりも外界側にずらして配置され、該表示光学系の射出瞳位置に対する該撮像光学系の入射瞳と等価な位置のずらし量をｄとするとき、ｄ＜６０ｍｍを満足していることを特徴としている。
【００２０】
請求項２の発明は請求項１の発明において、前記撮像光学系は外界からの光束を偏向する第１の反射面を有し、また前記表示光学系は該表示素子からの光束を偏向する第２の反射面を介して該射出瞳位置に結像し、該第２の反射面と該射出瞳間の表示光学系の光軸を外界側に延長した軸上に該第１の反射面より外界の撮像光学系の光軸が略一致することを特徴としている。
【００２１】
請求項３の発明は請求項１又は２の発明において、前記左右眼用の撮像光学系のピント位置は一致しており、
前記撮像素子のずらし量は該左右眼用の撮像光学系による各々の該撮像素子中心と共役な位置が一致するように設定され、
かつ、該左右眼用の表示光学系による前記表示素子の虚像形成位置が一致しており、該表示素子のずらし量は該左右眼用の表示光学系による各々の該表示素子中心と共役な位置が一致するように設定されていることを特徴としている。
【００２２】
請求項４の発明は請求項３の発明において、前記ピント位置と前記虚像形成位置が一致していることを特徴としている。
【００２３】
請求項５の発明は請求項１から４のいずれか１項の発明において、画像を生成する画像生成手段及び画像を合成する画像合成手段を有し、該画像合成手段は該画像生成手段からの画像と前記撮像系からの画像を合成して、前記表示素子に表示していることを特徴としている。
【００２４】
請求項６の発明は請求項１から５のいずれか１項の発明において、前記撮像光学系は平面で構成されたプリズムを有し、該プリズムは透過作用及び全反射作用をする面を有しており、該プリズムと前記撮像素子の間の光路中に正の光学的パワーを有する光学要素を設けたことを特徴としている。
【００２５】
請求項７の発明は請求項１から６のいずれか１項の発明において、前記撮像光学系はアジムス角度により光学的パワーの異なる偏心した非回転対称反射面を有していることを特徴としている。
【００２６】
請求項８の発明は請求項１から７のいずれか１項の発明において、前記表示光学系はアジムス角度により光学的パワーの異なる偏心した非回転対称反射面を有していることを特徴としている。
【００２７】
請求項９の発明は請求項１から８のいずれか１項の発明において、前記撮像光学系は変倍光学系であることを特徴としている。
【００２８】
請求項１０の発明は請求項１から９のいずれか１項の発明において、前記撮像系により取得した外界画像を、前記表示素子に表示する際に、表示倍率を変更する画像処理手段を有していることを特徴としている。
【００３７】
【発明の実施の形態】
図１〜５は，本発明の画像観察システムの基本概念の説明図である。本発明による画像観察システムは，表示系２０及び撮像系１０を有する画像観察装置を観察者の左右眼用に一対設けている。各部材として右眼用については添字Ｒを，左眼用のものについては添字Ｌを付して示す。Ｅは観察者の観察眼を示す。
【００３８】
図１において，表示系２０（２０Ｌ，２０Ｒ）は表示光学系２１（２１Ｌ，２１Ｒ）と表示素子２２（２２Ｌ，２２Ｒ）を有し、２３（２３Ｌ，２３Ｒ）はその表示光学系２１の眼球側光軸であり，左右眼の表示光学系２１の光軸２３Ｒ，２３Ｌは平行になるように設定されている。ミラー１４（１４Ｌ，１４Ｒ）は撮像系１０（１０Ｌ，１０Ｒ）と表示系２０の光路を分離する。
【００３９】
表示光学系２１は表示素子２２の表示素子面の拡大虚像を例えば観察眼Ｅの２ｍ先に形成するように位置及び焦点距離等が決められている。面２２’（２２’Ｌ，２２’Ｒ）は表示素子２２の表示面と表示光学系２１に関し共役な虚像が形成される仮想のスクリーン（虚像スクリーン）である。
【００４０】
表示素子２２は、その中心２２Ｃ（２２ＣＬ，２２ＣＲ）が，表示光学系２１の光軸２３と表示素子２２の交点２３Ａ（２３ＡＬ，２３ＡＲ）に対し，ずらして設けてある。そのずらし量は，左右眼用の表示系２０Ｒ，２０Ｌの虚像スクリーン２２’Ｒ，２２’Ｌの中心が点３０で一致するように設定され，虚像スクリーン２２’上で距離Ｄである。
【００４１】
ずらし方向は左右眼の表示系２０Ｌ，２０Ｒで異なり，距離Ｄは観察者の眼間距離の半分である。これにより左右眼用の表示系２０Ｒ，２０Ｌの虚像スクリーン２２’Ｒ，２２’Ｌは一致する。
【００４２】
撮像系１０は撮像光学系１１（１１Ｌ，１１Ｒ）と撮像素子１２（１２Ｌ，１２Ｒ）で構成され，１３（１３Ｌ，１３Ｒ）はその撮像光学系の外界側の光軸である。左右眼の撮像光学系の光軸１３Ｒ，１３Ｌは平行になるように設定され，また左右眼それぞれの表示光学系の光軸２３Ｒ，２３Ｌと略一致している。撮像光学系１１は外界の像を撮像素子１２上に結像する。
【００４３】
面１２’は，撮像素子１２と撮像光学系１１に関し共役な位置であるピント面である。
【００４４】
尚、撮像光学系１１は被写界深度の深い光学系より成り、ピント面１２’Ｒ，１２’Ｌの前後の物体はピントの合った状態で撮像素子１２に結像される。撮像素子１２は、その中心１２Ｃ（１２ＣＬ，１２ＣＲ）が，撮像光学系の光軸１３と撮像素子１２の交点１３Ａ（１３ＡＬ，１３ＡＲ）に対し，ずらして設けてある。そのずらし量は，左右眼用の撮像系１０Ｒ，１０Ｌのピント面１２’Ｒ，１２’Ｌの中心が点３０で一致するように設定され，ピント面１２’上で距離Ｄである。
【００４５】
ずらし方向は左右眼の撮像系１０Ｌ，１０Ｒで異なり，距離Ｄは観察者の眼間距離の半分である。これにより左右眼用の撮像系１０Ｒ，１０Ｌのピント面１２’Ｒ，１２’Ｌは一致する。
【００４６】
図２，図３は外界空間の物体４０を撮像，表示，観察した場合を示したものである。図２において，外界空間の物体４０はミラー１４及び撮像光学系１１により撮像素子１２（１２Ｌ，１２Ｒ）上に像４１（４１Ｌ，４１Ｒ）を形成し，撮像される。その像位置は，撮像素子１２（１２Ｌ，１２Ｒ）と共役なピント面１２’上で表すと４１’（４１’Ｌ，４１’Ｒ）であり，ピント面中心３０からＴ（ＴＬ，ＴＲ）の距離となる。
【００４７】
撮像系１０で撮像された被写界深度内の物体４０の像４１は，図３に示すように表示素子２２上に像４２として表示される。図３において，表示素子２２からの光束はミラー１４，表示光学系２１により観察眼Ｅに導かれる。像４２は，表示素子２２と共役な虚像スクリーン２２’上の像４２’として観察眼Ｅに観察される。像４２’の位置は虚像スクリーン中心３０からＵ（ＵＬ，ＵＲ）の距離となる。
【００４８】
観察者は，右眼ＥＲで像４２’Ｒを観察し，左眼ＥＬで像４２’Ｌを観察する。これにより観察者は，右眼ＥＲの視線４３Ｒと左眼ＥＬの視線４３Ｌの交点４４にあたかも物体４０が実在するように観察（立体視観察）することができる。
【００４９】
このように構成すると，左右眼の観察視野の重なる範囲を大きくすることができるため、視野闘争が生じ観察が困難になることを回避することができ、さらに撮像光学系１１をズームレンズで構成しズーミングを行ったり，電子ズームなどを用いて表示倍率を変更した場合にも，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００５０】
図４，図５（ａ），５（ｂ）を用いて説明する。図４は図２に示した外界空間の物体４０の撮像系１０による撮影像４１を２倍に拡大して，表示素子２２に表示した場合である。ここで，虚像スクリーン２２’上での表示像４５’のスクリーン中心３０からの距離Ｖは，図３における距離Ｕの２倍となる。図３の場合と同様に，観察者は右眼ＥＲの視線４６Ｒと左眼ＥＬの視線４６Ｌの交点４７にあたかも物体４０が実在するように観察することができる。
【００５１】
本発明による画像観察システムは，従来のシステムと異なり，物体４０がＸＺ平面内にない場合（Ｙ≠０）においても左右眼の視線が交差する（左右眼画像の融像ができる）。図５（ａ）は図３に示した状態のＹＺ断面であり，図５（ｂ）は図４に示した状態のＹＺ断面である。
【００５２】
図５（ａ），（ｂ）においてＵ，Ｖに付した添字ｙは，それぞれのＹ方向成分を表す。図５（ａ），（ｂ）に示すように，左右眼の虚像スクリーンはＺ方向に関し，常に一致している。このため，物体４０の位置によらず距離ＵｙＲと距離ＵｙＬは常に同じであり，また距離ＶｙＲと距離ＶｙＬは常に同じである。よって変倍機能を用いる用いないに関わらず，図５（ａ），（ｂ）に示すように，左右眼ＥＲ，ＥＬの視線４３Ｒと４３Ｌ及び視線４６Ｒと４６Ｌは，それぞれＹＺ面内で一致するため交差し，左右眼画像の融像が可能となる。
【００５３】
図２，図３において，撮像光学系１１の入射瞳位置と観察眼Ｅの入射瞳位置を一致させ，また撮像画角と表示画角を一致させると，撮像系ピント面１２’と表示系２０の虚像スクリーン２２’はその位置及び大きさが一致するため，距離Ｔと距離Ｕは等しくなる。
【００５４】
よって，交点４４の位置は，実際の外界空間における物体４０の位置と同じになり，また再現される物体の大きさも４０と等しくなる。
【００５５】
また，撮像光学系１１の入射瞳位置と観察眼Ｅの入射瞳位置を一致させない場合や，撮像画角と表示画角を一致させない場合においても，図５（ａ），（ｂ）に示した理由により，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００５６】
また，以上示した例では，撮像系ピント面１２’（１２’Ｒ，１２’Ｌ）と表示系２０の虚像スクリーン２２’（２２’Ｒ，２２’Ｌ）を一致させているが，本発明はこれに限定されるものではない。
【００５７】
左右眼用の撮像系１０のピント面１２’Ｒと１２’Ｌ，左右眼用の表示系２０の虚像スクリーン２２’Ｒと２２’Ｌがそれぞれ一致していれば，左右眼用の撮像系１０のＹ方向の撮影像高ＴｙＲとＴｙＬ，及び左右眼用の表示系２０のＹ方向表示像高ＵｙＲとＵｙＬがそれぞれ一致するため，図５（ａ），（ｂ）に示した理由により，再現される空間が歪むことが無く，観察者は無理なく左右眼画像の融像を行うことができる。
【００５８】
次に本発明の具体的な実施形態を示す。
【００５９】
（実施形態１）
図６は本発明の画像観察システムの実施形態１の要部概略図である。図６は本発明の画像観察システムの左眼用の画像観察装置ＷＬを示したものである。以下は左眼用としての各部材を示す添字Ｌは図では示しているが、説明においては省略する。
【００６０】
本実施形態による画像観察装置Ｗは表示素子２２に表示した画像情報を観察眼Ｅに導くための表示系２０，外界の画像情報を撮像素子１２に結像させるための撮像系１０とを有し，該撮像系１０で得られた画像情報を該表示系２０の表示素子２２に表示し，観察眼Ｅで観察している。
【００６１】
表示系２０は，ＬＣＤやＥＬパネルなどの表示素子２２，ハーフミラー２４，凹面ミラー２１を有し，２３はその光軸である。撮像系１０は，ミラー１５，正の光学的パワーを有する撮像光学系１１，ＣＣＤなどの撮像素子１２を有し，１３はその光軸である。
【００６２】
本実施形態において，例えばバックライト，偏光板，透過型液晶素子等で構成される表示素子２２を射出した表示光は，ハーフミラー２４でその一部が反射し，凹面ミラー２１で反射され，観察眼Ｅに導かれる。凹面ミラー２１は表示素子２２の拡大虚像を例えば観察者より２ｍ先に形成するように位置及び焦点距離等が決められており，その射出瞳は，観察眼Ｅの入射瞳に一致させてある。表示素子２２の中心は，表示素子２２と光軸２３の交点２５に対し，図１に示した量ずらして設定されている。
【００６３】
一方，外界からの光束はミラー１５で反射され，撮像光学系１１によって撮像素子１２上に結像される。ここで撮像系の光軸１３は，表示系の光軸２３と略一致させてある。撮像素子１２の中心は，撮像素子１２と光軸１３の交点１６に対し，図１に示した量ずらして設定されている。また撮像光学系１１の入射瞳位置と観察眼Ｅの入射瞳位置を一致させている。
【００６４】
撮像系１０で撮像された外界画像情報は表示素子２２に表示され，表示系２０により観察眼Ｅに導かれ，あたかも裸眼で観察しているように外界を観察できるように構成されている。
【００６５】
この時，特に撮像系１０の外界像の撮像画角（撮像素子１２のサイズと撮像光学系１１の焦点距離及びその位置関係で決定される）を，表示系２０の表示画角（表示素子２２のサイズと凹面ミラー２１の焦点距離及びその位置関係で決定される）と略一致させることにより，ビデオシースルー観察時の外界観察倍率を裸眼観察時のそれと合わせることができる。ただし，撮像系１０の外界像の撮像画角を，表示系２０の表示画角に対し大き目に設定し，等倍観察となるように，撮影した外界像の一部を切り取り表示系２０の表示素子２２に表示しても同様の効果が得られる。
【００６６】
本発明の画像観察システムは，図６の左眼用の画像観察装置ＷＬと，図６に対し図１に示した関係の右眼用の画像観察装置ＷＲを，図７に示すように頭部に装着して使用する。
【００６７】
これにより，図１〜５に示した理由により，変倍機能を用いた場合や，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００６８】
さらに，撮像光学系１１を変倍光学系で構成することにより，物体に近づいた，あるいは物体が大きくなったように観察することができるという効果を得ることができる。
【００６９】
以後，簡単のため，説明図は左眼用の画像観察装置ＷＬのみを示す。
【００７０】
（実施形態２）
図８は本発明の画像観察システムの実施形態２の要部概略図である。
【００７１】
表示系２０は，ＬＣＤやＥＬパネルなどの表示素子２２，プリズム体２６を有している。撮像系１０は，平面で構成されたプリズム１７，正の光学的パワーを有する結像光学系１８，ＣＣＤなどの撮像素子１６を有している。
【００７２】
本実施形態において，例えばバックライト，偏光板，透過型液晶素子等で構成される表示素子２２を射出した表示光は面２７で屈折されつつプリズム体２６に入射し，臨界角以上の入射角度で面２８に入射し全反射され，ミラー面２９で反射されて再び臨界角以下の入射角度で面２８に入射し屈折されつつプリズム体２６を射出し，観察眼Ｅに導かれる。プリズム体２６は光学的パワーを有した面が傾いて配置されることに起因する収差を良好に補正するために，アジムス角度により光学的パワーの異なる偏心した非回転対称面で構成されており，表示光学系の小型化を図っている。プリズム体２６は表示素子２２の拡大虚像を例えば観察眼Ｅより２ｍ先に形成するように位置及び焦点距離等が決められており，その射出瞳は観察眼Ｅの入射瞳に一致させてある。
【００７３】
ここでプリズム体２６は表示光学系２１を構成しており、その眼球側光軸２３は表示素子２２の表示光学系２１により形成される虚像スクリーン２２’（不図示）面に垂直で、かつ表示光学系２１の射出瞳中心を通る直線として定義されるものである。
【００７４】
一方，外界からの光束は面５１で屈折されつつプリズム１７に入射し，ミラー面５２で反射され，臨界角以上の入射角度で面５１に入射し全反射され，臨界角以下の入射角度で面５３に入射し屈折されつつプリズム１７を射出し，結像光学系１８によって撮像素子１２上に結像される。撮像系１０の光軸１３は，表示系２０の光軸２３と略一致させてある。またプリズム体２６で構成される撮像光学系の入射瞳位置と観察眼Ｅの入射瞳位置を一致させている。
【００７５】
表示素子２２の中心は表示素子２２と光軸２３の交点２５に対し，また撮像素子１２の中心は撮像素子１２と光軸１３の交点１６に対し，図１に示した量ずらして設定されている。
【００７６】
撮像系１０で撮像された外界画像情報は表示素子２２に表示され，表示系２０により観察眼Ｅに導かれ，あたかも裸眼で観察しているように外界を観察できるように構成されている。
【００７７】
これにより，図１〜５に示した理由により，変倍機能を用いた場合や，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００７８】
また，図９に示したように表示系２０の光軸２３の折り畳み（偏向）方向を撮像系１０の光軸折り畳み（偏向）方向と異なる方向に設定することにより，装置全体の小型化が可能となる。図９において表示系２０及び撮像系１０は図８に示した実施形態２と同じ機能を果たし，表示素子２２の中心は表示素子２２と光軸２３の交点２５に対し，また撮像素子１２の中心は撮像素子１２と光軸１３の交点１６に対し，図１に示した量ずらして設定されている。
【００７９】
（実施形態３）
図１０は本発明の画像観察システムの実施形態３の要部概略図である。本実施形態は図９に示す実施形態２に比べ撮像系１０の形態
（構成）が代わっている以外は同じ構成である。
【００８０】
図１０において表示系２０は図９に示した実施形態２と同じ機能を果たす。外界からの光束はプリズム体５４の面５５で屈折されつつプリズム体５４に入射し，ミラー面５６で反射され，臨界角以上の入射角度で面５５に再び入射し全反射され，臨界角以下の入射角度で面５７に入射し屈折されつつプリズム体５４を射出し，撮像素子１２上に結像される。
【００８１】
プリズム体５４は光学的パワーを有した面が傾いて配置されることに起因する収差を良好に補正するために，アジムス角度により光学的パワーの異なる偏心した非回転対称面で構成されており，撮像系１０の小型化を図っている。
【００８２】
撮像素子１２の中心は撮像素子１２と光軸１３の交点１６に対し，図１に示した量ずらして設定されている。
【００８３】
（実施形態４）
図１１は本発明の画像観察システムの実施形態４の要部概略図である。本実施形態は図９に示す実施形態２に比べ撮像系１０の形態
（構成）が代わっている以外は同じ構成である。
【００８４】
図１１に示す実施形態は，図９に示す実施形態２に対し，プリズム１５及び結像光学系１９で構成される撮像光学系１１の入射瞳位置を，プリズム体２６で構成される表示光学系２１の射出瞳に一致させた観察眼Ｅの入射瞳位置に対し，外界側にずらすことにより装置の小型化を図ることができる。また覗き込み効果により再現空間が小さく感じられることを防ぐことができる。このとき、ずらし量を大きく取り過ぎると、観察者に近い距離（例えば３００ｍｍ程度）の空間においては、物体の距離間隔に対しての影響が大きくなり、裸眼で観察した場合に比べ物体が近い位置に感じられてしまう場合がある。そこで、ずらし量は６０ｍｍ以下が良い。
【００８５】
このように構成しても，図１〜５に示した理由により，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００８６】
以上の各実施形態において，図１２（ａ）に示すように，表示素子２２に表示する画像は撮像系１０で取得した外界画像情報をそのまま表示するだけでなく，図１２（ｂ）に示すように撮像系１０で取得した外界画像情報に，画像生成手段６０で生成した画像情報（コンピューターグラフィックス等により生成された画像やビデオ等によって記録された映像など）を画像合成手段６１で合成して表示素子２２に表示するようにしても良い。
【００８７】
また以上の各実施形態においては，表示素子として透過型液晶素子を用いたが，反射型の液晶素子やＥＬなどの自発光型の素子を用いても良い。また撮像素子としてＣＣＤを用いたが，ＣＭＯＳセンサなどの素子を用いても良い。
【００８８】
【発明の効果】
本発明によれば，以上の構成とすることにより，ビデオシースルー観察時に，変倍機能を用いた場合や，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，再現される空間が歪むことがなく，観察者は無理なく左右眼用の画像の融像を行える画像観察システムを達成することができる。
【００８９】
また、左右眼の観察視野の重なる範囲を大きくすることができるため、視野闘争が生じ観察が困難になることを回避することができる。
【図面の簡単な説明】
【図１】本発明の画像観察システムの基本概念の説明図
【図２】図１の撮影系の説明図
【図３】図１の表示系の説明図
【図４】図１の撮影系の説明図
【図５】図１の表示系の説明図
【図６】本発明の画像観察システムの実施形態１の要部概略図
【図７】本発明の画像観察システムの外観図
【図８】本発明の画像観察システムの実施形態２の要部概略図
【図９】本発明の画像観察システムの実施形態２の一部分を変更したときの説明図
【図１０】本発明の画像観察システムの実施形態３の要部概略図
【図１１】本発明の画像観察システムの実施形態４の要部概略図
【図１２】本発明の画像観察装置に係る信号処理工程と画像観察システムの要部概略図
【図１３】従来の画像観察システムの要部概略図
【図１４】従来の画像観察システムの要部概略図
【図１５】従来の画像観察システムの要部概略図
【図１６】従来の画像観察システムの要部概略図
【図１７】従来の画像観察システムの要部概略図
【符号の説明】
１０ 撮影系
１１ 撮像光学系
１２ 撮像素子
１３ 光軸（外界側光軸）
１４ ミラー
２０ 表示系
２１ 表示光学系
２２ 表示素子
２３ 光軸（眼球側光軸）
Ｅ 観察眼
【発明の属する技術分野】
本発明は，画像観察システムに関し、例えば撮像光学系（撮像系）により取得した外界の光景（外界画像，外界情報）をディスプレイ装置（画像表示手段）に表示して観察できるようにした画像観察システム，あるいは現実の光景（外界情報）にコンピューター等で人工的に作り出した画像（仮想画像）や，ビデオ等によって記録された映像を重ね合わせて画像表示手段に表示して様々な疑似的体験を行うといったことを目的とした画像観察システムに好適なものである。
【０００２】
【従来の技術】
従来より，撮像系および表示系を有する画像観察装置を観察者の左右眼用に一対設け，外界画像（外界情報）をＣＣＤカメラ等の撮影装置で電気信号に変換し，それをＣＲＴやＬＣＤなどの表示素子に表示し，表示光学系を介して外界画像を両眼視差を用いて立体観察（以下ビデオシースルー観察）し，あたかも外界を裸眼で観察しているように構成された画像観察システムが知られている。
【０００３】
又カメラによって撮像された外界画像にコンピューターグラフィックス等により生成された画像やビデオ等によって記録された映像を合成表示し，現実空間と仮想空間を合成し観察できるようにした画像観察システムが提案されている。
【０００４】
従来の画像観察システムの要部概略図を図１３に示す。図１３では左右眼用の画像観察装置を１対設けている。図中、左眼用の要素には添字Ｌ、右眼用の要素には添字Ｒを付している。尚、以下の説明では左右眼用の要素を示す添字Ｌ，Ｒを省略している。
【０００５】
図１３において，撮像系１００は撮像光学系１０１と撮像素子１０２で構成され，１０３はその撮像光学系の外界側の光軸である。ミラー１０４は撮像系１００と表示系１１０の光路を分離する。表示系１１０は表示光学系１１１と表示素子１１２で構成され，１１３はその表示光学系の眼球側の光軸である。
【０００６】
撮像系１００及び表示系１１０より成る画像観察装置は左右眼用に一対設けてある。Ｅは観察眼を示す。
【０００７】
図１３に示す撮像系１００及び表示系１００は，撮像素子１０２の中心１０２Ｃと撮像光学系１０１の光軸１０３，表示素子１１２の中心１１２Ｃと表示光学系の光軸１１３を一致させ，さらに左右眼用の撮像光学系の光軸１０３Ｒ，１０３Ｌと表示光学系の光軸１１３Ｒ，１１３Ｌを角度θ傾けて，外界側に設けた基準位置１２０で交差するように構成されている。
【０００８】
各々の表示光学系１１１による表示素子１１２と共役な面１１２’（虚像スクリーン）と撮像光学系１０１による撮像素子１０２と共役な面１０２’（ピント面）は一致しており，それぞれの中心位置１０２Ｃ’，１１２Ｃ’は基準位置１２０で一致している。また左右眼用の中心位置も基準位置１２０で一致している。
【０００９】
図１４，図１５は図１３に示す画像観察システムで外界空間の物体１３０を撮影系１００で撮像し，表示系１１０で表示し，観察者が物体像を観察した場合を示したものである。
【００１０】
図１４において，外界空間の物体１３０はミラー１０４及び撮像光学系１０１により撮像素子１０２上に像１３１を形成し，撮像される。その像位置は，撮像素子１０２と共役なピント面１０２’上で表すと面１３１’であり，ピント面中心１２０から距離Ｐとなる。
【００１１】
撮像系１００で撮像された物体１３０の像１３１は，図１５に示すように表示素子１１２上に像１３２として表示される。図１５において，表示素子１１２からの光束はミラー１０４，表示光学系１１１により観察眼Ｅに導かれる。像１３２は，表示素子１１２と共役な虚像スクリーン１１２’上の像１３２’として観察眼Ｅに観察される。像１３２’の位置は虚像スクリーン中心１２０から距離Ｑとなる。
【００１２】
観察者は，右眼ＥＲで像１３２’Ｒを観察し，左眼ＥＬで像１３２’Ｌを観察する。これにより観察者は，右眼ＥＲの視線１３３Ｒと左眼ＥＬの視線１３３Ｌの交点１３４にあたかも物体１３０が実在するように観察することができる。この時，撮像光学系１０１の入射瞳位置と観察眼Ｅの入射瞳位置を一致させ，また撮像画角と表示画角を一致させると，撮像系ピント面１０２’と表示系虚像スクリーン１１２’はその位置及び大きさが一致するため，距離Ｐと距離Ｑは等しくなる。よって，交点１３４の位置は，実際の外界空間における物体１３０の位置と同じになり，また再現される物体の大きさも物体１３０と等しくなる。
【００１３】
【発明が解決しようとする課題】
図１３に示す画像観察システムにおいて，撮像光学系１０１が変倍機能を有していたり，電子ズームなどを用いて表示倍率を変更した場合には，再現される空間が歪んだり，左右眼用の画像の融像ができない場合が生じてくる。
【００１４】
次にこの現像を図１６，図１７（ａ），図１７（ｂ）を用いて説明する。図１６は図１４に示した外界空間の物体１３０の撮像系１００により得られた撮影像を２倍に拡大して，表示素子に表示し、観察する場合である。ここで，虚像スクリーン１１２’上での表示像１３５’のスクリーン中心１２０からの距離Ｓは，図１５における距離Ｑの２倍となる。図１５の場合と同様に，観察者は右眼ＥＲの視線１３６Ｒと左眼ＥＬの視線１３６Ｌの交点１３７にあたかも物体１３０が実在するように観察することができ，物体に近づいた，あるいは物体が大きくなったように観察することができる。
【００１５】
しかし，左右眼の視線が交差する（左右眼画像の融像ができる）のは，物体１３０がＸＺ平面内にある場合（Ｙ＝０）のみである。図１７（ａ）は図１５に示した状態のＹＺ断面であり，図１７（ｂ）は図１６に示した状態のＹＺ断面である。図１７（ａ），図１７（ｂ）においてＱ，Ｓに付した添字ｙ，ｚは，それぞれのＹ方向成分，Ｚ方向成分を表す。
【００１６】
図１７（ａ）に示すように，変倍機能を用いずに撮影系で撮像し，表示系に表示し，観察している場合は，物体１３０がＸＺ平面内に無い場合（Ｑｙ≠０）でも左右眼ＥＲ，ＥＬの視線１３３Ｒ，１３３ＬはＹＺ面内で一致するため，交差する。しかし，図１７（ｂ）に示すように変倍機能を用いた場合は，左右眼ＥＲ，ＥＬの視線１３６Ｒ，１３６ＬはＹＺ面内で一致しないため交差しない。微小なずれの場合はある程度許容されるが，観察者の疲労や再現空間の歪みが生じる。ずれが大きい場合は，左右眼画像の融像が出来ないという問題が生じる。
【００１７】
また変倍機能を用いた場合でなくても，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，上述したような問題が生じる。
【００１８】
本発明はビデオシースルー観察時に，変倍機能を用いた場合や，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，再現される空間が歪むことがなく，観察者は無理なく左右眼用の画像の融像を行える画像観察システムの提供を目的とする。
【００１９】
【課題を解決するための手段】
請求項１の発明の画像観察システムは、外界画像を撮像光学系で撮像素子上に所定の撮像画角で結像させる撮像系と、
該撮像系で取得した外界画像を表示した表示素子からの光束を表示光学系によって該撮像画角と略一致する表示画角で観察眼へ導く表示系を有し、
該撮像光学系の光軸の一部が該表示光学系の光軸の一部を外界側に延長した軸上に略一致するようにした画像観察装置を、観察者の左右眼用に一対設けた画像観察システムにおいて、
各々の撮影系の撮像素子は該撮像光学系の光軸に対し水平方向に所定距離ずらして配置されており、
表示素子は該表示光学系の光軸に対し水平方向に所定距離ずらして配置されており、
左右眼用の一対の該画像観察装置の表示光学系の光軸の一部は互いに平行であり、
かつ、該表示光学系の光軸の一部を外界側に延長した軸上の該撮像光学系の入射瞳と等価な位置が該表示光学系の射出瞳よりも外界側にずらして配置され、該表示光学系の射出瞳位置に対する該撮像光学系の入射瞳と等価な位置のずらし量をｄとするとき、ｄ＜６０ｍｍを満足していることを特徴としている。
【００２０】
請求項２の発明は請求項１の発明において、前記撮像光学系は外界からの光束を偏向する第１の反射面を有し、また前記表示光学系は該表示素子からの光束を偏向する第２の反射面を介して該射出瞳位置に結像し、該第２の反射面と該射出瞳間の表示光学系の光軸を外界側に延長した軸上に該第１の反射面より外界の撮像光学系の光軸が略一致することを特徴としている。
【００２１】
請求項３の発明は請求項１又は２の発明において、前記左右眼用の撮像光学系のピント位置は一致しており、
前記撮像素子のずらし量は該左右眼用の撮像光学系による各々の該撮像素子中心と共役な位置が一致するように設定され、
かつ、該左右眼用の表示光学系による前記表示素子の虚像形成位置が一致しており、該表示素子のずらし量は該左右眼用の表示光学系による各々の該表示素子中心と共役な位置が一致するように設定されていることを特徴としている。
【００２２】
請求項４の発明は請求項３の発明において、前記ピント位置と前記虚像形成位置が一致していることを特徴としている。
【００２３】
請求項５の発明は請求項１から４のいずれか１項の発明において、画像を生成する画像生成手段及び画像を合成する画像合成手段を有し、該画像合成手段は該画像生成手段からの画像と前記撮像系からの画像を合成して、前記表示素子に表示していることを特徴としている。
【００２４】
請求項６の発明は請求項１から５のいずれか１項の発明において、前記撮像光学系は平面で構成されたプリズムを有し、該プリズムは透過作用及び全反射作用をする面を有しており、該プリズムと前記撮像素子の間の光路中に正の光学的パワーを有する光学要素を設けたことを特徴としている。
【００２５】
請求項７の発明は請求項１から６のいずれか１項の発明において、前記撮像光学系はアジムス角度により光学的パワーの異なる偏心した非回転対称反射面を有していることを特徴としている。
【００２６】
請求項８の発明は請求項１から７のいずれか１項の発明において、前記表示光学系はアジムス角度により光学的パワーの異なる偏心した非回転対称反射面を有していることを特徴としている。
【００２７】
請求項９の発明は請求項１から８のいずれか１項の発明において、前記撮像光学系は変倍光学系であることを特徴としている。
【００２８】
請求項１０の発明は請求項１から９のいずれか１項の発明において、前記撮像系により取得した外界画像を、前記表示素子に表示する際に、表示倍率を変更する画像処理手段を有していることを特徴としている。
【００３７】
【発明の実施の形態】
図１〜５は，本発明の画像観察システムの基本概念の説明図である。本発明による画像観察システムは，表示系２０及び撮像系１０を有する画像観察装置を観察者の左右眼用に一対設けている。各部材として右眼用については添字Ｒを，左眼用のものについては添字Ｌを付して示す。Ｅは観察者の観察眼を示す。
【００３８】
図１において，表示系２０（２０Ｌ，２０Ｒ）は表示光学系２１（２１Ｌ，２１Ｒ）と表示素子２２（２２Ｌ，２２Ｒ）を有し、２３（２３Ｌ，２３Ｒ）はその表示光学系２１の眼球側光軸であり，左右眼の表示光学系２１の光軸２３Ｒ，２３Ｌは平行になるように設定されている。ミラー１４（１４Ｌ，１４Ｒ）は撮像系１０（１０Ｌ，１０Ｒ）と表示系２０の光路を分離する。
【００３９】
表示光学系２１は表示素子２２の表示素子面の拡大虚像を例えば観察眼Ｅの２ｍ先に形成するように位置及び焦点距離等が決められている。面２２’（２２’Ｌ，２２’Ｒ）は表示素子２２の表示面と表示光学系２１に関し共役な虚像が形成される仮想のスクリーン（虚像スクリーン）である。
【００４０】
表示素子２２は、その中心２２Ｃ（２２ＣＬ，２２ＣＲ）が，表示光学系２１の光軸２３と表示素子２２の交点２３Ａ（２３ＡＬ，２３ＡＲ）に対し，ずらして設けてある。そのずらし量は，左右眼用の表示系２０Ｒ，２０Ｌの虚像スクリーン２２’Ｒ，２２’Ｌの中心が点３０で一致するように設定され，虚像スクリーン２２’上で距離Ｄである。
【００４１】
ずらし方向は左右眼の表示系２０Ｌ，２０Ｒで異なり，距離Ｄは観察者の眼間距離の半分である。これにより左右眼用の表示系２０Ｒ，２０Ｌの虚像スクリーン２２’Ｒ，２２’Ｌは一致する。
【００４２】
撮像系１０は撮像光学系１１（１１Ｌ，１１Ｒ）と撮像素子１２（１２Ｌ，１２Ｒ）で構成され，１３（１３Ｌ，１３Ｒ）はその撮像光学系の外界側の光軸である。左右眼の撮像光学系の光軸１３Ｒ，１３Ｌは平行になるように設定され，また左右眼それぞれの表示光学系の光軸２３Ｒ，２３Ｌと略一致している。撮像光学系１１は外界の像を撮像素子１２上に結像する。
【００４３】
面１２’は，撮像素子１２と撮像光学系１１に関し共役な位置であるピント面である。
【００４４】
尚、撮像光学系１１は被写界深度の深い光学系より成り、ピント面１２’Ｒ，１２’Ｌの前後の物体はピントの合った状態で撮像素子１２に結像される。撮像素子１２は、その中心１２Ｃ（１２ＣＬ，１２ＣＲ）が，撮像光学系の光軸１３と撮像素子１２の交点１３Ａ（１３ＡＬ，１３ＡＲ）に対し，ずらして設けてある。そのずらし量は，左右眼用の撮像系１０Ｒ，１０Ｌのピント面１２’Ｒ，１２’Ｌの中心が点３０で一致するように設定され，ピント面１２’上で距離Ｄである。
【００４５】
ずらし方向は左右眼の撮像系１０Ｌ，１０Ｒで異なり，距離Ｄは観察者の眼間距離の半分である。これにより左右眼用の撮像系１０Ｒ，１０Ｌのピント面１２’Ｒ，１２’Ｌは一致する。
【００４６】
図２，図３は外界空間の物体４０を撮像，表示，観察した場合を示したものである。図２において，外界空間の物体４０はミラー１４及び撮像光学系１１により撮像素子１２（１２Ｌ，１２Ｒ）上に像４１（４１Ｌ，４１Ｒ）を形成し，撮像される。その像位置は，撮像素子１２（１２Ｌ，１２Ｒ）と共役なピント面１２’上で表すと４１’（４１’Ｌ，４１’Ｒ）であり，ピント面中心３０からＴ（ＴＬ，ＴＲ）の距離となる。
【００４７】
撮像系１０で撮像された被写界深度内の物体４０の像４１は，図３に示すように表示素子２２上に像４２として表示される。図３において，表示素子２２からの光束はミラー１４，表示光学系２１により観察眼Ｅに導かれる。像４２は，表示素子２２と共役な虚像スクリーン２２’上の像４２’として観察眼Ｅに観察される。像４２’の位置は虚像スクリーン中心３０からＵ（ＵＬ，ＵＲ）の距離となる。
【００４８】
観察者は，右眼ＥＲで像４２’Ｒを観察し，左眼ＥＬで像４２’Ｌを観察する。これにより観察者は，右眼ＥＲの視線４３Ｒと左眼ＥＬの視線４３Ｌの交点４４にあたかも物体４０が実在するように観察（立体視観察）することができる。
【００４９】
このように構成すると，左右眼の観察視野の重なる範囲を大きくすることができるため、視野闘争が生じ観察が困難になることを回避することができ、さらに撮像光学系１１をズームレンズで構成しズーミングを行ったり，電子ズームなどを用いて表示倍率を変更した場合にも，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００５０】
図４，図５（ａ），５（ｂ）を用いて説明する。図４は図２に示した外界空間の物体４０の撮像系１０による撮影像４１を２倍に拡大して，表示素子２２に表示した場合である。ここで，虚像スクリーン２２’上での表示像４５’のスクリーン中心３０からの距離Ｖは，図３における距離Ｕの２倍となる。図３の場合と同様に，観察者は右眼ＥＲの視線４６Ｒと左眼ＥＬの視線４６Ｌの交点４７にあたかも物体４０が実在するように観察することができる。
【００５１】
本発明による画像観察システムは，従来のシステムと異なり，物体４０がＸＺ平面内にない場合（Ｙ≠０）においても左右眼の視線が交差する（左右眼画像の融像ができる）。図５（ａ）は図３に示した状態のＹＺ断面であり，図５（ｂ）は図４に示した状態のＹＺ断面である。
【００５２】
図５（ａ），（ｂ）においてＵ，Ｖに付した添字ｙは，それぞれのＹ方向成分を表す。図５（ａ），（ｂ）に示すように，左右眼の虚像スクリーンはＺ方向に関し，常に一致している。このため，物体４０の位置によらず距離ＵｙＲと距離ＵｙＬは常に同じであり，また距離ＶｙＲと距離ＶｙＬは常に同じである。よって変倍機能を用いる用いないに関わらず，図５（ａ），（ｂ）に示すように，左右眼ＥＲ，ＥＬの視線４３Ｒと４３Ｌ及び視線４６Ｒと４６Ｌは，それぞれＹＺ面内で一致するため交差し，左右眼画像の融像が可能となる。
【００５３】
図２，図３において，撮像光学系１１の入射瞳位置と観察眼Ｅの入射瞳位置を一致させ，また撮像画角と表示画角を一致させると，撮像系ピント面１２’と表示系２０の虚像スクリーン２２’はその位置及び大きさが一致するため，距離Ｔと距離Ｕは等しくなる。
【００５４】
よって，交点４４の位置は，実際の外界空間における物体４０の位置と同じになり，また再現される物体の大きさも４０と等しくなる。
【００５５】
また，撮像光学系１１の入射瞳位置と観察眼Ｅの入射瞳位置を一致させない場合や，撮像画角と表示画角を一致させない場合においても，図５（ａ），（ｂ）に示した理由により，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００５６】
また，以上示した例では，撮像系ピント面１２’（１２’Ｒ，１２’Ｌ）と表示系２０の虚像スクリーン２２’（２２’Ｒ，２２’Ｌ）を一致させているが，本発明はこれに限定されるものではない。
【００５７】
左右眼用の撮像系１０のピント面１２’Ｒと１２’Ｌ，左右眼用の表示系２０の虚像スクリーン２２’Ｒと２２’Ｌがそれぞれ一致していれば，左右眼用の撮像系１０のＹ方向の撮影像高ＴｙＲとＴｙＬ，及び左右眼用の表示系２０のＹ方向表示像高ＵｙＲとＵｙＬがそれぞれ一致するため，図５（ａ），（ｂ）に示した理由により，再現される空間が歪むことが無く，観察者は無理なく左右眼画像の融像を行うことができる。
【００５８】
次に本発明の具体的な実施形態を示す。
【００５９】
（実施形態１）
図６は本発明の画像観察システムの実施形態１の要部概略図である。図６は本発明の画像観察システムの左眼用の画像観察装置ＷＬを示したものである。以下は左眼用としての各部材を示す添字Ｌは図では示しているが、説明においては省略する。
【００６０】
本実施形態による画像観察装置Ｗは表示素子２２に表示した画像情報を観察眼Ｅに導くための表示系２０，外界の画像情報を撮像素子１２に結像させるための撮像系１０とを有し，該撮像系１０で得られた画像情報を該表示系２０の表示素子２２に表示し，観察眼Ｅで観察している。
【００６１】
表示系２０は，ＬＣＤやＥＬパネルなどの表示素子２２，ハーフミラー２４，凹面ミラー２１を有し，２３はその光軸である。撮像系１０は，ミラー１５，正の光学的パワーを有する撮像光学系１１，ＣＣＤなどの撮像素子１２を有し，１３はその光軸である。
【００６２】
本実施形態において，例えばバックライト，偏光板，透過型液晶素子等で構成される表示素子２２を射出した表示光は，ハーフミラー２４でその一部が反射し，凹面ミラー２１で反射され，観察眼Ｅに導かれる。凹面ミラー２１は表示素子２２の拡大虚像を例えば観察者より２ｍ先に形成するように位置及び焦点距離等が決められており，その射出瞳は，観察眼Ｅの入射瞳に一致させてある。表示素子２２の中心は，表示素子２２と光軸２３の交点２５に対し，図１に示した量ずらして設定されている。
【００６３】
一方，外界からの光束はミラー１５で反射され，撮像光学系１１によって撮像素子１２上に結像される。ここで撮像系の光軸１３は，表示系の光軸２３と略一致させてある。撮像素子１２の中心は，撮像素子１２と光軸１３の交点１６に対し，図１に示した量ずらして設定されている。また撮像光学系１１の入射瞳位置と観察眼Ｅの入射瞳位置を一致させている。
【００６４】
撮像系１０で撮像された外界画像情報は表示素子２２に表示され，表示系２０により観察眼Ｅに導かれ，あたかも裸眼で観察しているように外界を観察できるように構成されている。
【００６５】
この時，特に撮像系１０の外界像の撮像画角（撮像素子１２のサイズと撮像光学系１１の焦点距離及びその位置関係で決定される）を，表示系２０の表示画角（表示素子２２のサイズと凹面ミラー２１の焦点距離及びその位置関係で決定される）と略一致させることにより，ビデオシースルー観察時の外界観察倍率を裸眼観察時のそれと合わせることができる。ただし，撮像系１０の外界像の撮像画角を，表示系２０の表示画角に対し大き目に設定し，等倍観察となるように，撮影した外界像の一部を切り取り表示系２０の表示素子２２に表示しても同様の効果が得られる。
【００６６】
本発明の画像観察システムは，図６の左眼用の画像観察装置ＷＬと，図６に対し図１に示した関係の右眼用の画像観察装置ＷＲを，図７に示すように頭部に装着して使用する。
【００６７】
これにより，図１〜５に示した理由により，変倍機能を用いた場合や，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００６８】
さらに，撮像光学系１１を変倍光学系で構成することにより，物体に近づいた，あるいは物体が大きくなったように観察することができるという効果を得ることができる。
【００６９】
以後，簡単のため，説明図は左眼用の画像観察装置ＷＬのみを示す。
【００７０】
（実施形態２）
図８は本発明の画像観察システムの実施形態２の要部概略図である。
【００７１】
表示系２０は，ＬＣＤやＥＬパネルなどの表示素子２２，プリズム体２６を有している。撮像系１０は，平面で構成されたプリズム１７，正の光学的パワーを有する結像光学系１８，ＣＣＤなどの撮像素子１６を有している。
【００７２】
本実施形態において，例えばバックライト，偏光板，透過型液晶素子等で構成される表示素子２２を射出した表示光は面２７で屈折されつつプリズム体２６に入射し，臨界角以上の入射角度で面２８に入射し全反射され，ミラー面２９で反射されて再び臨界角以下の入射角度で面２８に入射し屈折されつつプリズム体２６を射出し，観察眼Ｅに導かれる。プリズム体２６は光学的パワーを有した面が傾いて配置されることに起因する収差を良好に補正するために，アジムス角度により光学的パワーの異なる偏心した非回転対称面で構成されており，表示光学系の小型化を図っている。プリズム体２６は表示素子２２の拡大虚像を例えば観察眼Ｅより２ｍ先に形成するように位置及び焦点距離等が決められており，その射出瞳は観察眼Ｅの入射瞳に一致させてある。
【００７３】
ここでプリズム体２６は表示光学系２１を構成しており、その眼球側光軸２３は表示素子２２の表示光学系２１により形成される虚像スクリーン２２’（不図示）面に垂直で、かつ表示光学系２１の射出瞳中心を通る直線として定義されるものである。
【００７４】
一方，外界からの光束は面５１で屈折されつつプリズム１７に入射し，ミラー面５２で反射され，臨界角以上の入射角度で面５１に入射し全反射され，臨界角以下の入射角度で面５３に入射し屈折されつつプリズム１７を射出し，結像光学系１８によって撮像素子１２上に結像される。撮像系１０の光軸１３は，表示系２０の光軸２３と略一致させてある。またプリズム体２６で構成される撮像光学系の入射瞳位置と観察眼Ｅの入射瞳位置を一致させている。
【００７５】
表示素子２２の中心は表示素子２２と光軸２３の交点２５に対し，また撮像素子１２の中心は撮像素子１２と光軸１３の交点１６に対し，図１に示した量ずらして設定されている。
【００７６】
撮像系１０で撮像された外界画像情報は表示素子２２に表示され，表示系２０により観察眼Ｅに導かれ，あたかも裸眼で観察しているように外界を観察できるように構成されている。
【００７７】
これにより，図１〜５に示した理由により，変倍機能を用いた場合や，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００７８】
また，図９に示したように表示系２０の光軸２３の折り畳み（偏向）方向を撮像系１０の光軸折り畳み（偏向）方向と異なる方向に設定することにより，装置全体の小型化が可能となる。図９において表示系２０及び撮像系１０は図８に示した実施形態２と同じ機能を果たし，表示素子２２の中心は表示素子２２と光軸２３の交点２５に対し，また撮像素子１２の中心は撮像素子１２と光軸１３の交点１６に対し，図１に示した量ずらして設定されている。
【００７９】
（実施形態３）
図１０は本発明の画像観察システムの実施形態３の要部概略図である。本実施形態は図９に示す実施形態２に比べ撮像系１０の形態
（構成）が代わっている以外は同じ構成である。
【００８０】
図１０において表示系２０は図９に示した実施形態２と同じ機能を果たす。外界からの光束はプリズム体５４の面５５で屈折されつつプリズム体５４に入射し，ミラー面５６で反射され，臨界角以上の入射角度で面５５に再び入射し全反射され，臨界角以下の入射角度で面５７に入射し屈折されつつプリズム体５４を射出し，撮像素子１２上に結像される。
【００８１】
プリズム体５４は光学的パワーを有した面が傾いて配置されることに起因する収差を良好に補正するために，アジムス角度により光学的パワーの異なる偏心した非回転対称面で構成されており，撮像系１０の小型化を図っている。
【００８２】
撮像素子１２の中心は撮像素子１２と光軸１３の交点１６に対し，図１に示した量ずらして設定されている。
【００８３】
（実施形態４）
図１１は本発明の画像観察システムの実施形態４の要部概略図である。本実施形態は図９に示す実施形態２に比べ撮像系１０の形態
（構成）が代わっている以外は同じ構成である。
【００８４】
図１１に示す実施形態は，図９に示す実施形態２に対し，プリズム１５及び結像光学系１９で構成される撮像光学系１１の入射瞳位置を，プリズム体２６で構成される表示光学系２１の射出瞳に一致させた観察眼Ｅの入射瞳位置に対し，外界側にずらすことにより装置の小型化を図ることができる。また覗き込み効果により再現空間が小さく感じられることを防ぐことができる。このとき、ずらし量を大きく取り過ぎると、観察者に近い距離（例えば３００ｍｍ程度）の空間においては、物体の距離間隔に対しての影響が大きくなり、裸眼で観察した場合に比べ物体が近い位置に感じられてしまう場合がある。そこで、ずらし量は６０ｍｍ以下が良い。
【００８５】
このように構成しても，図１〜５に示した理由により，再現される空間が歪むことがなく，観察者は無理なく左右眼画像の融像を行うことができる。
【００８６】
以上の各実施形態において，図１２（ａ）に示すように，表示素子２２に表示する画像は撮像系１０で取得した外界画像情報をそのまま表示するだけでなく，図１２（ｂ）に示すように撮像系１０で取得した外界画像情報に，画像生成手段６０で生成した画像情報（コンピューターグラフィックス等により生成された画像やビデオ等によって記録された映像など）を画像合成手段６１で合成して表示素子２２に表示するようにしても良い。
【００８７】
また以上の各実施形態においては，表示素子として透過型液晶素子を用いたが，反射型の液晶素子やＥＬなどの自発光型の素子を用いても良い。また撮像素子としてＣＣＤを用いたが，ＣＭＯＳセンサなどの素子を用いても良い。
【００８８】
【発明の効果】
本発明によれば，以上の構成とすることにより，ビデオシースルー観察時に，変倍機能を用いた場合や，設計要因，製造誤差などにより，撮像画角と表示画角が一致していない場合や，撮像光学系の入射瞳位置と観察眼の入射瞳位置が一致していない場合などにおいても，再現される空間が歪むことがなく，観察者は無理なく左右眼用の画像の融像を行える画像観察システムを達成することができる。
【００８９】
また、左右眼の観察視野の重なる範囲を大きくすることができるため、視野闘争が生じ観察が困難になることを回避することができる。
【図面の簡単な説明】
【図１】本発明の画像観察システムの基本概念の説明図
【図２】図１の撮影系の説明図
【図３】図１の表示系の説明図
【図４】図１の撮影系の説明図
【図５】図１の表示系の説明図
【図６】本発明の画像観察システムの実施形態１の要部概略図
【図７】本発明の画像観察システムの外観図
【図８】本発明の画像観察システムの実施形態２の要部概略図
【図９】本発明の画像観察システムの実施形態２の一部分を変更したときの説明図
【図１０】本発明の画像観察システムの実施形態３の要部概略図
【図１１】本発明の画像観察システムの実施形態４の要部概略図
【図１２】本発明の画像観察装置に係る信号処理工程と画像観察システムの要部概略図
【図１３】従来の画像観察システムの要部概略図
【図１４】従来の画像観察システムの要部概略図
【図１５】従来の画像観察システムの要部概略図
【図１６】従来の画像観察システムの要部概略図
【図１７】従来の画像観察システムの要部概略図
【符号の説明】
１０ 撮影系
１１ 撮像光学系
１２ 撮像素子
１３ 光軸（外界側光軸）
１４ ミラー
２０ 表示系
２１ 表示光学系
２２ 表示素子
２３ 光軸（眼球側光軸）
Ｅ 観察眼
Claims (10)
- 外界画像を撮像光学系で撮像素子上に所定の撮像画角で結像させる撮像系と、
該撮像系で取得した外界画像を表示した表示素子からの光束を表示光学系によって該撮像画角と略一致する表示画角で観察眼へ導く表示系を有し、
該撮像光学系の光軸の一部が該表示光学系の光軸の一部を外界側に延長した軸上に略一致するようにした画像観察装置を、観察者の左右眼用に一対設けた画像観察システムにおいて、
各々の撮影系の撮像素子は該撮像光学系の光軸に対し水平方向に所定距離ずらして配置されており、
表示素子は該表示光学系の光軸に対し水平方向に所定距離ずらして配置されており、
左右眼用の一対の該画像観察装置の表示光学系の光軸の一部は互いに平行であり、
かつ、該表示光学系の光軸の一部を外界側に延長した軸上の該撮像光学系の入射瞳と等価な位置が該表示光学系の射出瞳よりも外界側にずらして配置され、該表示光学系の射出瞳位置に対する該撮像光学系の入射瞳と等価な位置のずらし量をｄとするとき、ｄ＜６０ｍｍを満足していることを特徴とする画像観察システム。 - 前記撮像光学系は外界からの光束を偏向する第１の反射面を有し、また前記表示光学系は該表示素子からの光束を偏向する第２の反射面を介して該射出瞳位置に結像し、該第２の反射面と該射出瞳間の表示光学系の光軸を外界側に延長した軸上に該第１の反射面より外界の撮像光学系の光軸が略一致することを特徴とする請求項１の画像観察装置。
- 前記左右眼用の撮像光学系のピント位置は一致しており、
前記撮像素子のずらし量は該左右眼用の撮像光学系による各々の該撮像素子中心と共役な位置が一致するように設定され、
かつ、該左右眼用の表示光学系による前記表示素子の虚像形成位置が一致しており、該表示素子のずらし量は該左右眼用の表示光学系による各々の該表示素子中心と共役な位置が一致するように設定されていることを特徴とする請求項１又は２の画像観察システム。 - 前記ピント位置と前記虚像形成位置が一致していることを特徴とする請求項３の画像観察システム。
- 画像を生成する画像生成手段及び画像を合成する画像合成手段を有し、該画像合成手段は該画像生成手段からの画像と前記撮像系からの画像を合成して、前記表示素子に表示していることを特徴とする請求項１から４のいずれか一項の画像観察システム。
- 前記撮像光学系は平面で構成されたプリズムを有し、該プリズムは透過作用及び全反射作用をする面を有しており、該プリズムと前記撮像素子の間の光路中に正の光学的パワーを有する光学要素を設けたことを特徴とする請求項１から５のいずれか一項の画像観察システム。
- 前記撮像光学系はアジムス角度により光学的パワーの異なる偏心した非回転対称反射面を有していることを特徴とする請求項１から６のいずれか一項の画像観察システム。
- 前記表示光学系はアジムス角度により光学的パワーの異なる偏心した非回転対称反射面を有していることを特徴とする請求項１から７のいずれか一項の画像観察システム。
- 前記撮像光学系は変倍光学系であることを特徴とする請求項１から８のいずれか一項の画像観察システム。
- 前記撮像系により取得した外界画像を、前記表示素子に表示する際に、表示倍率を変更する画像処理手段を有していることを特徴とする請求項１から９のいずれか一項の画像観察システム。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000058737A JP3604990B2 (ja) | 2000-03-03 | 2000-03-03 | 画像観察システム |
| US09/653,278 US6980363B1 (en) | 1999-11-08 | 2000-08-31 | Image observation apparatus and system |
| EP02019229A EP1273958B1 (en) | 1999-11-08 | 2000-09-07 | Image observation system |
| AT02019229T ATE322030T1 (de) | 1999-11-08 | 2000-09-07 | System zur bildbeobachtung |
| AT00119607T ATE343150T1 (de) | 1999-11-08 | 2000-09-07 | Apparat zur bildbeobachtung |
| DE60031348T DE60031348T2 (de) | 1999-11-08 | 2000-09-07 | Bild-Beobachtungsvorrichtung und Bild-Beobachtungssystem |
| EP00119607A EP1098217B1 (en) | 1999-11-08 | 2000-09-07 | Image observation apparatus |
| DE60027055T DE60027055T2 (de) | 1999-11-08 | 2000-09-07 | System zur Bildbeobachtung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000058737A JP3604990B2 (ja) | 2000-03-03 | 2000-03-03 | 画像観察システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001249302A JP2001249302A (ja) | 2001-09-14 |
| JP3604990B2 true JP3604990B2 (ja) | 2004-12-22 |
Family
ID=18579285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000058737A Expired - Fee Related JP3604990B2 (ja) | 1999-11-08 | 2000-03-03 | 画像観察システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3604990B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8411365B2 (en) | 2009-10-15 | 2013-04-02 | Canon Kabushiki Kaisha | Image-pickup display device having optical element provided with diffraction element portion |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3984907B2 (ja) | 2002-11-29 | 2007-10-03 | キヤノン株式会社 | 画像観察システム |
| IL250869B (en) * | 2017-03-01 | 2021-06-30 | Eyeway Vision Ltd | Display system with video through the display |
-
2000
- 2000-03-03 JP JP2000058737A patent/JP3604990B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8411365B2 (en) | 2009-10-15 | 2013-04-02 | Canon Kabushiki Kaisha | Image-pickup display device having optical element provided with diffraction element portion |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001249302A (ja) | 2001-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3984907B2 (ja) | 画像観察システム | |
| KR102345444B1 (ko) | 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치 | |
| US7298393B2 (en) | Stereo-observation system | |
| US20110080536A1 (en) | Stereoscopic image display apparatus | |
| EP0982614A2 (en) | Composite display apparatus | |
| EP1098217B1 (en) | Image observation apparatus | |
| JP2001211403A (ja) | 頭部装着型表示装置及び頭部装着型表示システム | |
| EP0577268B1 (en) | Optical system | |
| EP3620844B1 (en) | Eyepiece optical system, medical viewer, and medical viewer system | |
| JP2002365589A (ja) | 立体表示装置 | |
| JP2005049646A (ja) | 双眼立体観察装置、電子画像実体顕微鏡、電子画像立体観察装置、電子画像観察装置 | |
| JP3604990B2 (ja) | 画像観察システム | |
| JP2000310747A (ja) | 画像観察装置 | |
| JP3604979B2 (ja) | 画像観察装置 | |
| JP2004317798A (ja) | 画像表示装置 | |
| JP4302199B2 (ja) | 複数人で観察可能な実体顕微鏡 | |
| JPH116977A (ja) | へッドマウントディスプレイ装置 | |
| JP2021152564A (ja) | 虚像表示装置及び光学ユニット | |
| JP2024011117A (ja) | 光学系及び表示装置 | |
| JP2001013448A (ja) | 映像観察装置 | |
| JPH0795624A (ja) | 光学装置 | |
| WO2009099242A1 (ja) | 望遠鏡及び双眼ボディ部材 | |
| JP2002040366A (ja) | 両眼視差像撮像用アダプターレンズ及びそれを用いた立体像撮像・観察システム | |
| JP2004000602A (ja) | 立体内視鏡及び立体内視鏡システム | |
| JPH10253897A (ja) | 光学拡大装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040930 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |