JP3376023B2 - 立体画像表示方法及び画像表示装置 - Google Patents

立体画像表示方法及び画像表示装置

Info

Publication number
JP3376023B2
JP3376023B2 JP15423193A JP15423193A JP3376023B2 JP 3376023 B2 JP3376023 B2 JP 3376023B2 JP 15423193 A JP15423193 A JP 15423193A JP 15423193 A JP15423193 A JP 15423193A JP 3376023 B2 JP3376023 B2 JP 3376023B2
Authority
JP
Japan
Prior art keywords
image
display
image display
hologram
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15423193A
Other languages
English (en)
Other versions
JPH06342128A (ja
Inventor
尚郷 谷口
正 金子
英樹 森島
敏行 須藤
曜子 ▲吉▼永
辰 小林
進 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP15423193A priority Critical patent/JP3376023B2/ja
Publication of JPH06342128A publication Critical patent/JPH06342128A/ja
Priority to US08/749,182 priority patent/US5790284A/en
Application granted granted Critical
Publication of JP3376023B2 publication Critical patent/JP3376023B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G02B30/35Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers using reflective optical elements in the optical path between the images and the observer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/011Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0132Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7416Projection arrangements for image reproduction, e.g. using eidophor involving the use of a spatial light modulator, e.g. a light valve, controlled by a video signal
    • H04N5/7441Projection arrangements for image reproduction, e.g. using eidophor involving the use of a spatial light modulator, e.g. a light valve, controlled by a video signal the modulator being an array of liquid crystal cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7475Constructional details of television projection apparatus
    • H04N5/7491Constructional details of television projection apparatus of head mounted projectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は立体画像表示方法及び画
像表示装置に関するもので、特に画像表示素子により表
示された画像情報を虚像として観察者に表示する際、小
型で且つ大画面、高精細な表示が可能で、且つ、いわゆ
る「ついたて効果」の生じない、もしくは軽減される立
体画像表示方法及び画像表示装置に関するものである。
【0002】
【従来の技術】従来、液晶等の画像表示素子に表示され
た画像情報を臨場感ある大画面の映像として表示するに
は大型CRTディスプレイ装置、プロジェクションTV
等が用いられている。
【0003】しかしながらこれらの装置には大きなスペ
−スを必要とする、あるいは周囲を暗くしなければ良好
な映像が観察しずらいなどの問題があり、使用状況が制
限を受けていた。
【0004】このため、最近では画像表示素子に表示さ
れた画像からの光束を顔面の極く近くに配置された光学
系により直接目(観察者の瞳)に投光し、等価的に大画
面の画像情報を虚像として観察させるようにした画像表
示装置が提案されている。
【0005】図16はこのような装置の一例で、特開平
4−34512号公報に提案されている画像表示装置の
主要部を説明したものである。画像は信号ライン206
によって送られてくるデータによって液晶表示器(液晶
パネル)201上に表示される。201はバックライト
光源204によって透過照明される。液晶表示器201
に表示された画像情報に基づく光束208は凹レンズと
凸レンズとから成る拡大レンズ203を通過後、ミラー
205で反射し、反射光束209となって観察者210
の目(観察者の瞳)207に入射する。
【0006】従って、観察者は光束209により表示画
像を観察する。このとき、拡大レンズ203は液晶表示
器201に表示された画像を、ミラー205を介して観
察者の瞳207から所定の距離、例えば5m前方の虚像
面202上に虚像として表示を行う。
【0007】観察者はこの結果、虚像面202上に液晶
表示器201に表示された画像情報を観察する。
【0008】この他、VPLリサーチ社から製品化され
ている「アイフォン」と呼ばれるへッド・マウント・デ
ィスプレイでは約3インチの液晶ディスプレイを左右両
眼用として2セット用意し、それぞれの表示画像をフレ
ネルレンズを介して観察することで立体感のある画像を
表示させている。
【0009】これら従来の立体画像表示方法では、左右
両眼それぞれに対応する結像光学系を用意し、視覚差に
応じた画像を表示するなどして立体感を与えることを実
現している。
【0010】立体感のある画像表示の従来例には、この
ほか特開平4−248583号公報に示されるような3
次元画像表示装置もある。図17はそのブロック図であ
る。この方法は、表示物体の各部分をそれぞれ表示位置
を変化させながら選択的に表示するもので、最も自然な
3次元画像の一部となるはずの位置近傍に表示画像が呈
示され、目の残像効果を利用して3次元画像が完成され
る。
【0011】
【発明が解決しようとしている課題】しかしながら図1
6に示された従来の画像表示装置では画像表示素子自体
が小型であるため、表示される画素数が限定されるとい
う問題が存在する。このため単純な拡大投影で大画面の
画像の表示を行うと、画素が観察者に観察されてしま
い、画像情報を良好に観察するのが困難であるという問
題点があった。
【0012】例えば、画像表示素子として小型の液晶表
示器を用いた場合、現行の多くのものは約30万画素程
度である。このためNTSC信号をビデオ出力した場合
と同程度の解像力しかなく、更に大画面の表示をした
り、高精細表示をするのは困難である。
【0013】また「アイフォン」は現状でも重量が約
1.2Kgあり、重いという問題点を抱えている。この状態
で更に大画面の画像を表示しようとすると、装置に使用
するフレネルレンズの直径を更に大きくしなければなら
ない。
【0014】しかしながら日本人の両眼の間隔は平均で
約 62.5mm であるため、フレネルレンズのこれ以上の大
型化は難しく、たとえできたとしても更に重量を増して
しまうという問題がある。
【0015】本発明の第1の目的は上記の点を考慮し、
小型・軽量で、大画面表示の可能な画像表示装置を提供
することにある。
【0016】しかしながら画像表示位置固定の方法に
は、左右の視点の差のみが再現され、像の奥行き位置が
変化しないという問題点がある。このため、日常生活で
経験する左右の目の輻輳角に対し存在すべき像の位置か
ら極端にはずれた奥行き位置に像が表示され、目の疲労
と共に、いわゆる「ついたて効果」が存在するという課
題があった。
【0017】これに対し、実際に画像の表示位置を変化
させて3次元物体を表示する図17等の従来例において
は、像を観察する際に左右視覚差に対応して、表示物体
の陰に隠れて見えないはずの部分が表示されてしまい、
日常の画像とは異質の画像が観察されるという問題があ
る。
【0018】また、表示する像の大きさによる制約があ
り、奥行き位置の変化分だけ表示部を駆動させることも
必要である。特に奥行き差の大きい画像の表示を行う場
合は、各奥行き部分の表示に割り当てられる単位時間あ
たりの割合が減少する。
【0019】従来例では目の残像効果を利用して像表示
を行うために各奥行き部分ごとの表示輝度を高くする必
要があり、観察者の目の安全性の点で事実上限界があっ
た。
【0020】本発明の第2の目的は、上記の点を考慮
し、目に優しいついたて効果の生じない良好なる立体画
像の表示が可能な立体画像表示方法の提供にある。
【0021】
【課題を解決する為の手段】請求項1の発明の画像表示
装置は、観察者の左右眼に各々1以上の画像表示素子を
設け、該画像表示素子からの光束をホログラムを介して
観察者の左右眼に導光して、該画像表示素子の虚像を観
察する画像表示装置において、該ホログラムは観察者の
左右両眼にそれぞれ対応する少なくとも2つの光学的パ
ワーを有し、該ホログラム上で右目用と左目用の有効光
束が重なり合う部分に複数個の干渉縞が重ねて形成され
ており、かつ虚像面上に左右眼用の虚像を輻輳角を有し
て形成することにより観察者の左右眼の焦点位置と前記
虚像面を一致させることが可能となるように構成されて
いることを特徴としている。
【0022】
【0023】請求項2の発明の立体画像表示方法は、観
察者の左右眼に各々視差を有する複数の画像表示素子を
設け、該複数の画像を表示する画像表示素子からの光束
を同一領域に互いに異なった結像作用を有するように形
成されたホログラムを介して観察者の左右眼に導光し、
該複数の画像表示素子の表示を時間的に制御して、該複
数の画像表示素子の虚像を観察者に対して奥行き方向に
形成して観察することを特徴としている。
【0024】
【0025】
【0026】図1は参考例1を示す画像表示装置の要部
概略図である。
【0027】参考例1ではゴ−グル状またはヘルメット
等の部材9に固定された装置を、観察者の頭部に装着し
た状態を示すものである。
【0028】ハロゲンランプや蛍光灯などのバックライ
ト光源1により射出された光束は、干渉フィルタ等の波
長制限素子101で所定の波長の光が選択的に透過さ
れ、LCD素子等の画像表示素子2を照明する。照明光
束は画像表示素子2を透過することで変調され画像表示
光束になり、ガラス或はプラスチック等の基板3上に形
成されたホログラムレンズ4に入射する。
【0029】ホログラムレンズ4は、図2に示すよう
に、左目用のレンズ領域4−1と右目用のレンズ領域4
−2という2つのホログラムレンズ領域より構成され、
2重露光法により作成される。それぞれの領域にはホロ
グラムの干渉縞が記録されており、両者の共通部分であ
る領域4−3に2つの干渉縞が2重露光されている。
【0030】ホログラムレンズ4の作用を図1に戻って
説明を行う。画像表示素子2上の点Bから射出された発
散光束8は右目用のホログラムレンズ4−2で回折さ
れ、光束8より緩い発散光束8′に変換されて、右目6
へ入射する。
【0031】この結果、観察者は点Bから発生した光束
8を、より遠方の点B′から射出された光束8′として
観察する。同様に点Aから射出された光束7も、ホログ
ラムレンズ4−1の回折作用で、より緩い発散光束7′
に変換されて左目5へ入射する。画像表示素子2上の画
像は以上の作用で虚像として拡大され、観察者によって
観察される。
【0032】参考例1のホログラムレンズ4にはアルゴ
ンイオンレーザーを用いた2光束干渉法によって、フォ
トポリマーに記録した体積位相型ホログラムが用いられ
る。このほかにも公知のホログラム作成法が利用でき
る。体積位相型ホログラムは回折光率の入射角依存性を
示す角度選択性が良いという特長がある。
【0033】図3及び図4は体積位相型ホログラムの機
能・効果を示したものである。図3は図1の2重露光さ
れた領域4−3に形成されている干渉縞を模式的に表わ
した図である。領域4−3は両眼に対する有効部が重な
り合っているところであり、左目へ行く光束と右目へ行
く光束を、所望のとおり個々に分離して結像させる機能
を果たさなければならない。
【0034】図3は画像表示素子2上の点Bと点Cから
射出される光束の光路を示している。点Bから射出され
た光束8はホログラムレンズ4−2で観察者の右目6へ
入射する光束8′に変換される。
【0035】一方、点Cから射出された光束10はホロ
グラムレンズ4−1で観察者の左目5へ入射する光束1
0′に変換される。ここでホログラムレンズ4−1には
図中ハッチングで示したG1という格子、領域4−2と
しては実線で示した格子G2が対応し、領域4−3では
両方の格子が共存する構成となっている。点Bから射出
される光束8の主光線は入射角θB でホログラムレンズ
に入射する。
【0036】図4に示したのはホログラムレンズ4−2
の角度選択性である。角度選択性のグラフは入射角θB
を中心にホログラムを回転させ、その回折効率をプロッ
トしたものである。ホログラム製作上の配置から入射角
θB はブラッグ角となっており、θB 付近の入射角を持
つ光線のみが格子G2を持つホログラムレンズ4−2に
よって回折され、右目に到達することが分かる。
【0037】図4よりホログラムレンズ4−2はθB ±
10°内の角度にのみ強い回折効率を持っているため、光
束8の光束広がりは最大でも20°に限定される。この入
射角以外の光はホログラムレンズ4−2では回折されな
い。
【0038】従ってホログラムレンズ4−2は表示素子
上の点Cからからの光束10に対してなんら作用を行わ
ず、単に入射した光を透過させるのみである。
【0039】点Cからの光束には格子G1を持つホログ
ラムレンズ4−1が対応する。格子G1は入射角度がθ
C の光線について回折効率がピ−クとなるように設定さ
れている。角度θC で入射する光束10はホログラムレ
ンズ4−1により左目5の方向へ回折が行われる。表示
素子上の点Bからからの光束8に対しては、ホログラム
レンズ4−1は何んら作用を行わず、単に入射した光を
透過させるのみとなる。
【0040】領域4−3にはホログラムレンズ4−1と
4−2が多重記録されているが、上記のようなホログラ
ムの角度選択性を用いることによって、2つのホログラ
ムレンズは互いにクロスト−クのない、独立したレンズ
機能を発揮することができる。
【0041】以上図1に示されるように、参考例1では
ホログラムレンズ4−1の物点として範囲2−1、ホロ
グラムレンズ4−2の物点として範囲2−2が対応する
ようになっている。領域2−1と領域2−2は画像表示
素子2上で互いにオ−バ−ラップするため、本実施例は
一つの表示画像を両眼で拡大して観察する事例に相当す
る。
【0042】図5は画像表示装置の参考例2の要部概略
図である。説明を簡単にするため、頭部へ装着するため
の部材を省略して光学系に関する部分の構成のみが示さ
れており、参考例1と同一の構成要素については同一の
番号が付けられている。参考例における各部の機能は参
考例1と類似しているため、ここでは異なる部分につい
てのみ説明を行う。
【0043】参考例の特徴は右目用と左目用にLCD等
の画像表示素子12−a,12−bが独立に設けられて
いることである。画像表示素子12−a,12−bには
2つの画像を別個に呈示することができる。
【0044】右目用の画像表示素子12−aから射出さ
れた光束17はホログラムレンズ14で回折されて光束
18に変換され、右目6に入射する。同様に左目用の画
像表示素子12−bから射出された光束19はホログラ
ムレンズ14で回折されて光束20に変換され、左目5
に入射する。
【0045】図5には画像表示素子12−a,12−b
上の各点から射出する光束のうち、いくつかの主光線
(瞳中心を通る光線)を示してある。
【0046】図6は参考例2の光路図を左目用について
更に詳しく示したもので、全く同様の図を右目用につい
ても作成することができる。
【0047】左目用の画像表示素子12−bで変調され
た光、例えば点Dから射出された光束19−1はホログ
ラムレンズ14で回折され、光束20−1に変換されて
左目5へ入射する。画像表示素子12−b上の他の点
E、Fから射出された光束も同様にホログラムレンズ1
4で回折され、左目5に入射する。
【0048】参考例での右目用と左目用の表示素子の分
離は、ホログラムレンズ14に記録されている2つのホ
ログラムレンズの光学的パワーを参考例1より強くする
ことによって達成される。光学的パワーが強いため光は
参考例1より強い偏向作用を受け、結果的に両眼の物点
の画像表示素子上でオーバーラップをなくすことができ
る。それぞれの画像表示素子上の画像は、独立に、対応
する目で観察が行われる。
【0049】このため12−a,12−bで呈示する画
像は互いに異なったものも可能である。例えば両眼視差
に応じた視差画像を画像表示素子12−a,12−bに
表示して、それぞれ右目6、左目5へ入射させることに
より、立体感のある画像を観察させることができる。
【0050】参考例をゲーム等の娯楽用、或は仮想現実
感 (Virtual Reality)用の表示素子へ用いたとすると、
更に大画面の表示が可能である。画角を上下左右に約5
0°程度の広画角のものにすることによって、「誘導視
野」と呼ばれる臨場感のある立体画像を得ることもでき
る。
【0051】図7は参考例3の模式図である。前参考例
と同一の構成要素については、やはり同一の番号が付け
られている。各素子の配置を分かりやすくするために図
は誇張して表されているが、実際の装置は両目5、6と
ホログラムレンズ34との間の距離が約45mm程度と
非常に小型なものである。
【0052】参考例の特徴はホログラムレンズ34を前
記参考例1,2で用いた透過型ホログラムから反射型ホ
ログラムへ変更したことである。31はバックライト光
源、32は画像表示素子で、ホログラムレンズ34のパ
ワーに従って画像表示素子32上には両目用に同一の画
像が表示されても良いし、また両目用に別個の画像が分
離されて表示されてもよい。
【0053】参考例でも左目用のホログラムレンズ34
−1、右目用のホログラムレンズ34−2は領域34−
3で2重に記録され、広い表示画像を実現する。
【0054】参考例に用いられるホログラムを体積位相
型ホログラムとすると、いわゆるリップマンホログラム
の波長選択性(回折効率の波長依存性)の優れた性質を
利用することができる。
【0055】このため参考例では、外界の光景等の他の
画像に、虚像を重畳して、同時に2つの画像を観察する
こともできる。
【0056】図8は本発明の実施例1を示す模式図であ
る。前参考例と同一の作用を有する構成要素については
同一の番号が付されている。本実施例は参考例2及び3
の変形で、画像表示素子を右目用と左目用に画像表示素
子32−a,32−bと2つ用い、これらを両耳の横に
配置している。
【0057】また本実施例では各虚像を両眼の輻輳角θ
a を持たせて表示できるように設定したことも特長で
ある。装置各部の機能は参考例2の透過型ホログラムレ
ンズ14を反射型ホログラムレンズ34へ変更しただけ
で、後は同一である。但し反射型ホログラムを用いるた
め、画像表示素子が表示する画像は、参考例2と鏡像の
関係となる。
【0058】本実施例では右目用の画像表示素子32−
aで表示された画像情報は虚像aとして領域48に観察
者の右目6で観察され、左目用の画像表示素子32−b
で表示された画像情報は虚像bとして領域49に観察者
の左目5で観察される。このとき虚像面47上の点Gを
注視点として設定する、即ち輻輳角θa をつけること
で、それぞれの目の焦点位置と虚像面47とを一致させ
ることができる。
【0059】この結果、従来の頭部搭載型表示装置(H
MD)における問題点であった「虚像位置が無限遠でな
いにもかかわらず視線方向が平行にされている」という
目の疲れや生理的な不快感を解消することができる。
【0060】本実施例では画像表示素子32−a,32
−bが左右双方の目に対応して独立して存在する。この
ため、それぞれの目に対応した視差画像を表示素子に表
示することで、立体感のある画像Cを領域50の部分に
観察することができる。
【0061】また本実施例でも参考例3と同様のスーパ
ーインポウズ機能を付与することができる。この時は画
像表示素子に呈示する画像をコンピュータグラフィック
ス等の画像として人工的な立体画像を生成し、ホログラ
フィックレンズ34越に見える外界の自然画像と同時に
観察する仮想現実感を体験させることも可能である。
【0062】次いで画像表示位置を観察光学系の光軸方
向に複数個設けて3次元画像を表示する方式の実施例に
ついて説明する。
【0063】図9はそのような複数表示法に関する実施
例1の画像表示装置の片目側のブロック図を示したもの
である。説明では図9を画像表示装置の右目ブロック図
として扱うが、左目についても全く同様である。
【0064】画像信号発生部は左右表示画像に時間差を
生じないように同期をとりながら、画像の実データ及び
表示画像選択信号を発生する部分である。画像信号発生
部は具体的にはコンピュータや、ビデオ、レーザーディ
スク等で構成される。ビデオ、レーザーディスク等で発
生される信号は通常画像の実データであるが、垂直同期
信号部分に表示画像選択信号を重畳させて2つの信号を
発生させることもできる。
【0065】本実施例では画像表示部にP,Q,Rの3
台のディスプレイが用意されている。各ディスプレイに
入力される画像の実データは等しく、表示される画像は
全て等しい。これら3台のディスプレイは結像光学系に
より観察者の眼に表示されるが、同一時間に複数のディ
スプレイの画像が同時に観察者に表示されることは無
い。どのディスプレイの画像を観察者に見せるかの選択
は、表示画像選択信号を受けた表示画像選択部が制御す
る。
【0066】図10はディスプレイに表示された画像を
観察者の目に表示する制御の状況を説明したものであ
る。
【0067】図10の液晶ディスプレイP,Q,Rは、
図9の画像表示部P,Q,Rに相当する。各液晶ディス
プレイの後にはそれぞれバックライト光源LP,LQ,
LRが設けられ、該バックライトからの照明光は各バッ
クライト光源内に設けられた不図示の干渉フィルタなど
の波長選択手段により単色光に変換される。
【0068】結像作用を行うホログラムは3重露光して
作成され、3台の液晶ディスプレイに表示された画像を
表示面のサイズ、位置にあわせて、虚像面P,Q,R面
に適切な横倍率で拡大結像するレンズ作用を行う。
【0069】本実施例では、ホログラムの3重露光の機
能を用いて結像光学系を実現したが、代わりに3個のレ
ンズ群とハーフミラーを用いて実現することもできる。
【0070】表示画像選択部は、表示画像選択信号に基
づき、3台の液晶ディスプレイのバックライトの1台を
選択的に点灯させることで、観察者の眼に表示する画像
の奥行き位置を段階的に変化させる役割を行う。バック
ライトの点灯制御の代わりに液晶ディスプレイに供給す
る電力のオンオフや、ディスプレイの前にシャッターを
配置し、開閉しても同様の効果が得られる。
【0071】図11に3重露光ホログラム作成法を示
す。図11の虚像面P,Q,R面は図10の虚像面P,
Q,R面と等価で、液晶ディスプレイに表示された画像
の虚像面位置である。
【0072】図10の液晶ディスプレイP,Q,Rの配
置位置は図11では液晶配置位置P,Q,Rに一致す
る。
【0073】図11でp,q,rは液晶ディスプレイを
配置する位置の中心で、光学的には作成後のホログラム
の主光線と各結像面の交差点に共役な関係となる。ホロ
グラム3重露光に必要な参照光波面はこのp,q,r点
を点光源とする波面、もしくはそれをもとに収差補正さ
れた波面で、これを波面Rp ,Rq ,Rr とする。
【0074】物体光波面はホログラムの主光線と虚像面
P,Q,Rとの交点OP ,OQ ,OR を点光源とする波
面もしくはそれを収差補正した波面で、これを波面O
P ,OQ ,OR とする。Rp とOP によるホログラフィ
ック露光、Rq とOQ によるホログラフィック露光、R
r とOR によるホログラフィック露光を同一ホログラム
感材に対して順次行うと、所望の3重露光ホログラムが
作成できる。
【0075】図12は表示する画像の奥行き位置に関す
る説明図である。図12のP〜R面は図10のP〜R面
に等しく、左右それぞれの目の結像の奥行き位置は同一
面P〜R上にある。
【0076】図12において物体XをQ面とR面の間の
図の位置に存在するようにみせる場合を例に取って考え
る。物体Xの物像表示位置を物体Xと距離の近い、即ち
物体の存在位置が挟まれているQ面及びR面とし、この
2面を交互に表示すれば、日常物体Xが図示の位置にあ
る場合と近い表示像が提供され、眼に優しい違和感の小
さい画像を提供することができる。
【0077】さらに、通常1面(例えばR面)上の物像
L (左目用)とRR (右目用)のみで物体Xを表示す
る場合に生じる「ついたて効果」は、複数の虚像面位置
に左目(右目)Q面上の物像QL (QR )とR面上の物
像RL (RR )を表示することで軽減される。また、Q
面とR面の表示時間比を適宜選択すると、ついたて効果
を更に軽減することができる。QとR面に表示する時間
の比率は例えばXとQ、R面との距離に反比例するよう
な線形の関係にすればよい。また表示する画像について
は隠れ線に対する処理が行われているとよりついたて効
果が軽減される。
【0078】物体Xの他に物体YがP面近くの奥行き位
置に存在する場合、P面も選択表示位置に選ばれる。こ
の場合、物体XのP面上での物像PL とPR は表示する
か、あるいはQ面、R面での表示が主となるため、一切
何も表示しないかいずれでもよい。
【0079】本実施例では奥行き位置を3面のみに限定
したが、より多くの表示奥行き位置(例えば100面)
が存在する場合には各面の表示時間が小さくなる。この
場合には物体Xを観察者に認識させるのに必要な残像効
果への依存度を軽減するため、物体近傍以外の結像面上
でも物像表示が必要となることがある。残像効果に必要
な時間が十分に得られる場合は、この限りでは無い。
【0080】尚、図12において、左右の表示面は必ず
しも同一時間、同一面上にある必要は無い。また、結像
奥行き位置も左右で同一面P,Q,R上にある必要は無
い。
【0081】図13は複数個の表示面によって画像を表
示する実施例2で、装置の右目のブロック図である。同
様のブロック図は左目側においても成立する。画像信号
発生部は互いに時間差の生じない画像を提供するため、
左右のタイミングをとりながら、画像の実データ及び表
示位置信号を発生する。画像の実データは画像観察部内
の画像表示部に表示され、結像光学系により観察者に提
供される。光学系制御部は受け取った表示位置信号に基
づいて、画像観察部を制御しながら表示される画像の奥
行き位置を変化させる。
【0082】図14は図13の系を実際に構成した装置
を示す。装置は結像光学系制御部、ディスプレイ位置制
御部、輻輳角制御部より構成される光学系制御部と、結
像光学系と、ディスプレイにより構成される画像観察部
よりなる。ディスプレイは図13の画像表示部と等し
い。また図14においても片目側の装置構成のみを示す
が、左右ともに同様に構成される。
【0083】観察者は図14の点Oの位置に目を置くこ
とで、ディスプレイに表示された画像を結像光学系によ
って結像された奥行き位置に見ることができる。結像光
学系は図示するように1枚以上のレンズ群より成り、結
像光学系制御部がレンズ位置を図の左右方向に動かし、
ディスプレイ位置制御部がディスプレイの左右位置を制
御して、ディスプレイの表示画像をP面からQ面の間に
結像し、3次元画像が表示される。
【0084】結像光学系全体を位置移動する場合は結像
光学系の焦点距離が変わらないため、レンズ位置の移動
後の結像倍率βは理想的な横倍率α(観察者から結像面
までの距離と像の大きさが比例)とは一致しない。
【0085】このため画像は大きさをβ/α倍に画像処
理して表示される。表示ディスプレイと結像光学系画角
とで決まる最大表示画像サイズをはみ出す画像成分は削
除する。表示奥行き位置ごとに最大画角が異なる場合
は、最も小さい最大画角に表示領域を統一するように画
像成分を削除すれば、どの奥行き位置を選択表示しても
物像が表示されないことが無く、違和感の無い画像が得
られる。
【0086】結像光学系が複数のレンズより構成される
場合には、構成レンズ間隔を結像光学系制御部により変
化させる機能を用い、必要に応じてディスプレイ位置制
御部がディスプレイの左右位置を制御して、結像面P,
Q,Rに応じて光学系自体で理想的な固定横倍率αを得
ることが可能である。この場合には光学系の部分で倍率
が一定値に制御されるため、画像処理部の負担が軽減さ
れる。
【0087】表示奥行き位置ごとに最大画角が異なる場
合は、固定焦点距離のときと同様に最も小さい最大画角
に表示領域を統一するように画像成分を削除すれば、ど
の奥行き位置を選択表示しても物像が表示されないこと
が無く、違和感の無い画像を得ることができる。
【0088】輻輳角制御部は、画像観察部全体の光軸を
点Oを中心としてδ〜εの間で動かして、表示される画
像の奥行き位置と表示される像に対して最適な面内表示
位置を提供する。輻輳角制御は、表示画像の奥行き位置
毎に左右の眼に表示される画像の重なり範囲を変化させ
て、表示画像の鮮鋭度をあげたり、表示画角を広げるこ
とができる等、効果的な画像提供手段となる。
【0089】以上のように本実施例ではどのような表示
奥行き位置に対しても、自然な画像を楽しむことができ
る。また図14で、結像光学系制御部によるレンズ位置
移動機能とディスプレイ位置制御部によるディスプレイ
位置移動機能はいずれか一方のみでも本発明の目的を実
現可能である。また輻輳角制御部は付加機能として取り
扱うことができ、無くても従来より自然な奥行き位置に
画像を表示することが可能である。
【0090】図15は複数の表示面で3次元画像を表示
する第3の実施例における表示装置の片目側のブロック
図である。映像同期制御部を共通化することで、他方の
目の装置も同様に構成することができる。
【0091】図15において、画像信号発生部P,Q,
Rはそれぞれ映像同期制御部の同期信号に基づき、並列
動作を行う。各画像信号発生部の画像の実データは画像
表示部P〜Rにより表示される。画像表示部P,Q,R
の表示画像を観察者に提供する画像合成・結像光学系の
様子を再び図10に基づいて説明する。
【0092】図10でホログラムは図15の画像合成・
結像光学系、液晶ディスプレイP,Q,Rはそれぞれ画
像表示部P,Q,Rに相当する。ホログラムは3重露光
で作成されており、液晶ディスプレイP,Q,Rの画像
をそれぞれP面,Q面,R面の像面に結像する。図9で
説明した実施例との違いは2つあり、 1.液晶ディスプレイが同時に画像を表示すること 2.液晶ディスプレイの表示像がそれぞれ異なること である。
【0093】表示される物体は該表示物***置近傍の結
像面のみに像が表示され、その他の結像面にはその位置
に何も表示されないように液晶ディスプレイが制御され
る。
【0094】図9で説明した実施例と異なり、各結像面
の画像が同時に表示されるため、目の残像効果を考慮し
て、表示物***置から離れた結像面に物体を表示する必
要は無い。また本実施例では、各画像表示部に表示され
る画像は結像横倍率が視点から像面までの距離に比例す
る限り、同一であっても支障は無い。
【0095】また図10に示されるホログラムでは図1
に示されるようなホログラム面における左右両眼の有効
光束の重なりが生じる。その場合には図2に示したよう
に重なり合う部分に多重にホログラムを露光して形成
し、左右両眼に対し選択性のある画像表示を行うことが
可能である。
【0096】
【発明の効果】以上説明したように本発明では画像情報
の大画面表示を可能とした。
【0097】
【0098】また本発明によれば人間が生活する時、通
常経験する範囲内もしくは近傍で立体画像の輻輳角に対
する結像位置を有する立体画像を表示できるため、目に
優しくいわゆる「ついたて効果」の生じない違和感の小
さい、または無い表示像を楽しむことができる。
【図面の簡単な説明】
【図1】 参考例1を示す図
【図2】 参考例1で用いるホログラムレンズの模式図
【図3】 参考例1のホログラムレンズの多重記録部の
結像を示す図
【図4】 ホログラムレンズの角度選択性を示す図、
【図5】 参考例2を示す図
【図6】 参考例2のホログラムレンズの結像を示す図
【図7】 参考例3を示す図
【図8】 本発明の実施例1を示す図
【図9】 本発明の複数結像面表示による3次元画像表
示装置の実施例1のブロック図
【図10】複数結像面表示による3次元画像表示装置の
実施例1の光学系の構成図
【図11】図10で用いる3重露光ホログラムの作成法
を示す図
【図12】複数結像面表示による3次元画像表示装置の
実施例1の結像関係の説明図
【図13】複数結像面表示による3次元画像表示装置の
実施例2ブロック図
【図14】複数結像面表示による3次元画像表示装置の
実施例2の光学系の構成図
【図15】複数結像面表示による3次元画像表示装置の
実施例3ブロック図
【図16】従来の画像表示装置の概略図
【図17】従来の複数結像面表示による3次元画像表示
装置のブロック図
【符号の説明】
1、11,31 バックライト光源 2、12,32 画像表示素子 3、13,33 基板 4、14,34 ホログラムレンズ 5 左目(瞳) 6 右目(瞳) 47 虚像面 48 右目の観察領域 49 左目の観察領域
───────────────────────────────────────────────────── フロントページの続き (72)発明者 森島 英樹 東京都大田区下丸子3丁目30番2号 キ ヤノン株式会社内 (72)発明者 須藤 敏行 東京都大田区下丸子3丁目30番2号 キ ヤノン株式会社内 (72)発明者 ▲吉▼永 曜子 東京都大田区下丸子3丁目30番2号 キ ヤノン株式会社内 (72)発明者 小林 辰 東京都大田区下丸子3丁目30番2号 キ ヤノン株式会社内 (72)発明者 松村 進 東京都大田区下丸子3丁目30番2号 キ ヤノン株式会社内 (56)参考文献 特開 平4−318809(JP,A) 特開 平4−355747(JP,A) 特開 平4−6590(JP,A) 特開 平5−85223(JP,A) 特開 平4−365087(JP,A) 「光学」第21巻第9号、1992年9月、 第574−582頁 3次元ディスプレイの技 術動向(畑田豊彦)

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 観察者の左右眼に各々1以上の画像表示
    素子を設け、該画像表示素子からの光束をホログラムを
    介して観察者の左右眼に導光して、該画像表示素子の虚
    像を観察する画像表示装置において、該ホログラムは観
    察者の左右両眼にそれぞれ対応する少なくとも2つの光
    学的パワーを有し、該ホログラム上で右目用と左目用の
    有効光束が重なり合う部分に複数個の干渉縞が重ねて形
    成されており、かつ虚像面上に左右眼用の虚像を輻輳角
    を有して形成することにより観察者の左右眼の焦点位置
    と前記虚像面を一致させることが可能となるように構成
    されていることを特徴とする画像表示装置。
  2. 【請求項2】 観察者の左右眼に各々視差を有する複数
    の画像を表示する画像表示素子を設け、該複数の画像表
    示素子からの光束を同一領域に互いに異なった結像作用
    を有するように形成されたホログラムを介して観察者の
    左右眼に導光し、該複数の画像表示素子の表示を時間的
    に制御して、該複数の画像表示素子の虚像を観察者に対
    して奥行き方向に形成して観察することを特徴とする立
    体画像表示方法。
JP15423193A 1993-06-01 1993-06-01 立体画像表示方法及び画像表示装置 Expired - Fee Related JP3376023B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP15423193A JP3376023B2 (ja) 1993-06-01 1993-06-01 立体画像表示方法及び画像表示装置
US08/749,182 US5790284A (en) 1993-06-01 1996-11-14 Display apparatus and displaying method for image display producing stereoscopic effect

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15423193A JP3376023B2 (ja) 1993-06-01 1993-06-01 立体画像表示方法及び画像表示装置

Publications (2)

Publication Number Publication Date
JPH06342128A JPH06342128A (ja) 1994-12-13
JP3376023B2 true JP3376023B2 (ja) 2003-02-10

Family

ID=15579718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15423193A Expired - Fee Related JP3376023B2 (ja) 1993-06-01 1993-06-01 立体画像表示方法及び画像表示装置

Country Status (2)

Country Link
US (1) US5790284A (ja)
JP (1) JP3376023B2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69429933T2 (de) * 1993-11-09 2002-08-29 Canon Kk Signalverarbeitungsvorrichtung für Stereoskopische Anzeigevorrichtung
DE69709709D1 (de) * 1996-03-15 2002-02-21 Retinal Display Cayman Ltd Verfahren und vorrichtung zur betrachtung eines bildes
US6037914A (en) * 1997-08-25 2000-03-14 Hewlett-Packard Company Method and apparatus for augmented reality using a see-through head-mounted display
JP4081838B2 (ja) * 1997-12-26 2008-04-30 ノーリツ鋼機株式会社 特定視点画像表示装置及び多視点画像表示装置
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
US6215532B1 (en) 1998-07-27 2001-04-10 Mixed Reality Systems Laboratory Inc. Image observing apparatus for observing outside information superposed with a display image
WO2000007066A1 (en) 1998-07-29 2000-02-10 Digilens, Inc. In-line infinity display system employing one or more switchable holographic optical elements
EP1114340A1 (en) 1998-09-14 2001-07-11 Digilens Inc. Holographic illumination system and holographic projection system
WO2000024204A1 (en) 1998-10-16 2000-04-27 Digilens, Inc. Method and system for display resolution multiplication
WO2000023830A1 (en) * 1998-10-16 2000-04-27 Digilens Inc. Autostereoscopic display based on electrically switchable holograms
AU1209100A (en) 1998-10-16 2000-05-08 Digilens Inc. Holographic technique for illumination of image displays using ambient illumination
US6678078B1 (en) 1999-01-07 2004-01-13 Digilens, Inc. Optical filter employing holographic optical elements and image generating system incorporating the optical filter
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6504629B1 (en) 1999-03-23 2003-01-07 Digilens, Inc. Method and apparatus for illuminating a display
US6507419B1 (en) 1999-03-23 2003-01-14 Digilens, Inc. Illumination system using optical feedback
US6473209B1 (en) 1999-08-04 2002-10-29 Digilens, Inc. Apparatus for producing a three-dimensional image
US6108130A (en) * 1999-09-10 2000-08-22 Intel Corporation Stereoscopic image sensor
US6717728B2 (en) 1999-12-08 2004-04-06 Neurok Llc System and method for visualization of stereo and multi aspect images
US6424437B1 (en) 2000-10-10 2002-07-23 Digilens, Inc. Projection display employing switchable holographic optical elements
JP2002365675A (ja) * 2001-06-04 2002-12-18 Stanley Electric Co Ltd 光学部材および表示装置
JP2002365589A (ja) * 2001-06-06 2002-12-18 Olympus Optical Co Ltd 立体表示装置
TW575739B (en) * 2001-06-21 2004-02-11 Koninkl Philips Electronics Nv Display device
JP2003215496A (ja) * 2002-01-22 2003-07-30 Olympus Optical Co Ltd 立体観察装置及び立体観察システム
US7210784B2 (en) * 2002-02-06 2007-05-01 Brother Kogyo Kabushiki Kaisha Image projecting device
US7497574B2 (en) * 2002-02-20 2009-03-03 Brother Kogyo Kabushiki Kaisha Retinal image display device
JP2004177920A (ja) * 2002-08-09 2004-06-24 Olympus Corp 投影観察装置
WO2004049037A1 (ja) * 2002-11-27 2004-06-10 Brother Kogyo Kabushiki Kaisha 画像表示装置
US7589759B1 (en) * 2004-02-07 2009-09-15 Richard Stewart Freeman Vertical 3D imaging method
JP4874593B2 (ja) 2005-07-25 2012-02-15 コニカミノルタオプト株式会社 映像表示装置およびヘッドマウントディスプレイ
JP4411547B2 (ja) * 2006-03-20 2010-02-10 ソニー株式会社 画像表示装置
US7936489B2 (en) * 2007-02-09 2011-05-03 GM Global Technology Operations LLC Holographic information display
WO2010057219A1 (en) * 2008-11-17 2010-05-20 Luminit Llc Holographic substrate-guided wave-based see-through display
JP6439453B2 (ja) * 2015-01-09 2018-12-19 セイコーエプソン株式会社 画像表示装置、及び画像表示装置の製造方法
US10560683B2 (en) 2016-04-08 2020-02-11 Maxx Media Group, LLC System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects
JOP20190237A1 (ar) 2016-04-08 2017-06-16 Maxx Media Group Llc نظام، وطريقة وبرنامج لإنتاج صور ثلاثية الأبعاد افتراضية يتم عرضها لتسقط أمام أو فوق شاشة إلكترونية
US10469803B2 (en) 2016-04-08 2019-11-05 Maxx Media Group, LLC System and method for producing three-dimensional images from a live video production that appear to project forward of or vertically above an electronic display
US10230939B2 (en) 2016-04-08 2019-03-12 Maxx Media Group, LLC System, method and software for producing live video containing three-dimensional images that appear to project forward of or vertically above a display
US10839593B2 (en) 2016-04-08 2020-11-17 Maxx Media Group, LLC System, method and software for adding three-dimensional images to an intelligent virtual assistant that appear to project forward of or vertically above an electronic display
US10475233B2 (en) 2016-04-08 2019-11-12 Maxx Media Group, LLC System, method and software for converting images captured by a light field camera into three-dimensional images that appear to extend vertically above or in front of a display medium
US10290149B2 (en) 2016-04-08 2019-05-14 Maxx Media Group, LLC System, method and software for interacting with virtual three dimensional images that appear to project forward of or above an electronic display
EP3502765A4 (en) * 2016-08-16 2019-06-26 Konica Minolta, Inc. IMAGE DISPLAY DEVICE
CN110554593B (zh) * 2018-05-31 2021-01-26 京东方科技集团股份有限公司 全息光学元件及其制作方法、像重建方法、增强现实眼镜

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2132376B (en) * 1982-12-17 1986-07-30 Ferranti Plc Head-up display
US5037166A (en) * 1985-10-07 1991-08-06 Astronautics Corporation Of America Holographic optical element for instrument panel displays
CA2044932C (en) * 1990-06-29 1996-03-26 Masayuki Kato Display unit
JPH04248583A (ja) * 1991-02-04 1992-09-04 Fujitsu Ltd 3次元画像表示装置
GB9116108D0 (en) * 1991-07-25 1991-11-06 Pilkington Perkin Elmer Ltd Improvements in or relating to displays
US5198895A (en) * 1991-08-29 1993-03-30 Rockwell International Corporation Holographic head-up display
US5461499A (en) * 1992-05-29 1995-10-24 Yazaki Corporation Non-regular reflection type holographic mirror and method of producing the same in a reflection type display apparatus for vehicle
JP3151766B2 (ja) * 1992-07-31 2001-04-03 キヤノン株式会社 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
「光学」第21巻第9号、1992年9月、第574−582頁 3次元ディスプレイの技術動向(畑田豊彦)

Also Published As

Publication number Publication date
US5790284A (en) 1998-08-04
JPH06342128A (ja) 1994-12-13

Similar Documents

Publication Publication Date Title
JP3376023B2 (ja) 立体画像表示方法及び画像表示装置
JP7418378B2 (ja) 表示装置
JP3151766B2 (ja) 画像表示装置
JP7222968B2 (ja) 視野を拡大するためのディスプレイデバイス
JP2022118025A (ja) ディスプレイシステムのための深度ベース中心窩化レンダリング
KR101398150B1 (ko) 3차원 표현의 재구성물을 생성하기 위한 헤드 장착형 디스플레이 장치
KR20190082916A (ko) 머리-장착 디스플레이 시스템들을 위한 다해상도 디스플레이 어셈블리
JP2020513595A (ja) 正しい単眼奥行き手がかりを持つニアアイシーケンシャルライトフィールドプロジェクタ
JP2000506998A (ja) 画像を見るための方法及び装置
JPH06175075A (ja) 画像表示装置
JP2022526054A (ja) 観察者に対する正しい単眼奥行き手がかりを持つライトフィールド複合現実システム
JP4045347B2 (ja) 立体ディスプレイ装置
JP2000503781A (ja) 3次元観察および投影用システム
JPH0738825A (ja) 眼鏡型表示装置
JP4081838B2 (ja) 特定視点画像表示装置及び多視点画像表示装置
JPH1039255A (ja) 三次元像投写装置
JPH08334730A (ja) 立体像再生装置
JP3022559B1 (ja) 三次元表示システム
JP4443046B2 (ja) 構成可変ホログラフィー光学系に基づく投影システム
WO2022123918A1 (ja) 画像表示装置及び表示装置
JP2022160182A (ja) 光学ユニットおよびそれを用いたヘッドマウントディスプレイ装置
JPH07218861A (ja) 画像表示装置
JP2000193909A (ja) 画像表示装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees