JP2002542505A - 超解像力を有する中心窩画像表示装置 - Google Patents
超解像力を有する中心窩画像表示装置Info
- Publication number
- JP2002542505A JP2002542505A JP2000611496A JP2000611496A JP2002542505A JP 2002542505 A JP2002542505 A JP 2002542505A JP 2000611496 A JP2000611496 A JP 2000611496A JP 2000611496 A JP2000611496 A JP 2000611496A JP 2002542505 A JP2002542505 A JP 2002542505A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display device
- imaging means
- wide area
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/005—Projectors using an electronic spatial light modulator but not peculiar thereto
- G03B21/006—Projectors using an electronic spatial light modulator but not peculiar thereto using LCD's
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
(57)【要約】
【解決手段】 中心窩画像の表示装置(20)である。表示装置(20)はコンピュータ(1)を含む。表示装置(20)は、コンピュータからの画像の詳細部分を作像するための詳細イメージング手段(2)を含む。イメージング手段(2)はコンピュータ(1)に接続されている。表示装置は、画像の詳細部分を集束するためのフォーカス機構(3)を含む。フォーカス機構(3)はイメージング手段(2)に隣接して配置され、コンピュータ(1)に接続されている。表示装置は、画像の広域部分を作像するための広域イメージング手段(6)を含む。広域イメージング手段はコンピュータ(1)に接続されている。表示装置は、中心窩画像を生成するために、詳細部分を広域部分と光学的に合成する手段(22)を含む。表示装置は中心窩画像を所望位置に集束するイメージングレンズ(8)を含む。詳細イメージング手段、フォーカス機構(3)及び広域イメージング手段(6)は可動部を有していない。中心窩画像を生成する方法である。該方法は、詳細イメージング手段を用いて、画像の詳細部分を生成する工程を含む。次に、広域イメージング手段(6)を用いて、画像の広域部分を生成する工程がある。次に、詳細部分を広域イメージング手段と合成(22)する工程があり、中心窩画像が生成される。次に、中心窩画像を所望位置に集束(3)する工程がある。
Description
【０００１】
本発明は、中心窩画像表示装置(foveated display)に関する。より詳細には、
本発明は、詳細イメージング手段、フォーカス機構及び広域イメージング手段が
可動部を全く有しない、中心窩画像表示装置に関するものである。
本発明は、詳細イメージング手段、フォーカス機構及び広域イメージング手段が
可動部を全く有しない、中心窩画像表示装置に関するものである。
【０００２】
デジタル表示装置の解像度は、一般的には、人間の目の分解能より遙かに粗い
。人間の目の中心の「窩(foveal)」領域は、角度１度の中で最大６０のリニアド
ットを解像することができる(即ち、人間の中心窩領域は、線形度(linear degre
e)当たり６０ドットの視力を有している)。この領域は、視力が幾分劣る黄斑と
して知られる領域によって囲まれており、、約４度の角度に広がっている。黄斑
を取り囲む網膜は、視力が比較的劣る広い領域からなり、目の各々について、約
１７０度の角度に広がっている[C., Curcio, K. Sloan, O. Packer, A. Hendric
kson, R. Kalina, (1987) "Distribution of cones in human and monkey retin
a: individual variability and radial asymmetry." Science 236, 579-582]。
この文献はその引用を以て本願への記載加入とする。
。人間の目の中心の「窩(foveal)」領域は、角度１度の中で最大６０のリニアド
ットを解像することができる(即ち、人間の中心窩領域は、線形度(linear degre
e)当たり６０ドットの視力を有している)。この領域は、視力が幾分劣る黄斑と
して知られる領域によって囲まれており、、約４度の角度に広がっている。黄斑
を取り囲む網膜は、視力が比較的劣る広い領域からなり、目の各々について、約
１７０度の角度に広がっている[C., Curcio, K. Sloan, O. Packer, A. Hendric
kson, R. Kalina, (1987) "Distribution of cones in human and monkey retin
a: individual variability and radial asymmetry." Science 236, 579-582]。
この文献はその引用を以て本願への記載加入とする。
【０００３】 人間の眼球は、その中心の周りを迅速に回転することができ、それによって中
心窩は、毎秒約７００度の角速度にて位置変更できる。そのような迅速な運動は
衝動性眼球運動(saccades)と称されている。脳は、小さいが非常に機敏で解像密
度の高い中心窩領域に入る情報を、時間をかけて統合し、均一密度の主観的印象
を生成し、非常に広角度でかつ高解像表示をもたらす。人間の観察者にとって、
主観的印象とは、人間の目が角度１度について６０のリニアドット、つまり、目
の視野全体では約６０×１７０＝１０２,０００のリニアドットを認識できるこ
とである。固定された頭位置から視認できる領域について、100,000,000,000ピ
クセルのオーダを有するデジタル表示装置と同等である。
心窩は、毎秒約７００度の角速度にて位置変更できる。そのような迅速な運動は
衝動性眼球運動(saccades)と称されている。脳は、小さいが非常に機敏で解像密
度の高い中心窩領域に入る情報を、時間をかけて統合し、均一密度の主観的印象
を生成し、非常に広角度でかつ高解像表示をもたらす。人間の観察者にとって、
主観的印象とは、人間の目が角度１度について６０のリニアドット、つまり、目
の視野全体では約６０×１７０＝１０２,０００のリニアドットを認識できるこ
とである。固定された頭位置から視認できる領域について、100,000,000,000ピ
クセルのオーダを有するデジタル表示装置と同等である。
【０００４】 静止型表示装置(static display)が人間の視力を十分に活用できるようにする
には、何万という従来の表示装置を組み合わせて巨大モザイクにする必要がある
。これは費用が非常にかかるし、扱いにくい。
には、何万という従来の表示装置を組み合わせて巨大モザイクにする必要がある
。これは費用が非常にかかるし、扱いにくい。
【０００５】 多くの研究者たちは、人間の目の中心窩構造をうまく利用するために、ディス
プレイの表面で解像度が変化する表示装置を作ってきた。そのような中心窩画像
表示装置は、中心部の解像力が、周辺部よりもすぐれている。使用者がその表示
装置の中心を直接見るとき、一様密度の表示装置の場合よりも、ピクセル当たり
の情報をより多く受け取ることができる。しかし、最も古いタイプの中心窩画像
表示装置の場合、解像度が最も高い単一方向に、目を長時間注視せねばならなか
った。これは、人間の視力を実験的に測定するのには有用であるが、人間は、一
方向だけを長時間注視することを非常に不快に感じるから、殆どの用途に対して
実用的でない。
プレイの表面で解像度が変化する表示装置を作ってきた。そのような中心窩画像
表示装置は、中心部の解像力が、周辺部よりもすぐれている。使用者がその表示
装置の中心を直接見るとき、一様密度の表示装置の場合よりも、ピクセル当たり
の情報をより多く受け取ることができる。しかし、最も古いタイプの中心窩画像
表示装置の場合、解像度が最も高い単一方向に、目を長時間注視せねばならなか
った。これは、人間の視力を実験的に測定するのには有用であるが、人間は、一
方向だけを長時間注視することを非常に不快に感じるから、殆どの用途に対して
実用的でない。
【０００６】 ルボイら(Levoy et al.)は、中心窩領域の高視力に適合させるために、回転ミ
ラーを用いて、固定された大型表示装置の内部で、解像密度の高い小型表示装置
の位置を能動的に変えることにより、使用者の頭の位置を追跡した。比較的低視
力で視野の大部分をカバーするのに、大型の表示装置が用いられている。この装
置は、使用者の頭の回転に追随するものであるが、高密度領域は、使用者の注視
方向ではなく、使用者の頭が面する方向に対応するため、使用者は前方を真直ぐ
に注視する必要があった。
ラーを用いて、固定された大型表示装置の内部で、解像密度の高い小型表示装置
の位置を能動的に変えることにより、使用者の頭の位置を追跡した。比較的低視
力で視野の大部分をカバーするのに、大型の表示装置が用いられている。この装
置は、使用者の頭の回転に追随するものであるが、高密度領域は、使用者の注視
方向ではなく、使用者の頭が面する方向に対応するため、使用者は前方を真直ぐ
に注視する必要があった。
【０００７】 多くの研究者たちは、人間の注視を継続的に追跡するのに効果的な技術を開発
してきた。[S. Baluja, D. Pomerleau, "Non-intrusive gaze-tracking using a
rtificial neural networks." Neural information processing systems 6, Mor
gan Kaufman Publishers, New York, 1994], [J. Hansen, A. Anderson, P. Rpe
d, "Eye-gaze control of multimedia systems." In Y. Anzai, K. Ogawa and H
. Mori (eds), Symbiosis of human and artifact. Proceedings of the 6th in
ternational conference on human computer interaction. Elsevier Science P
ublisher, Amsterdam, 1995], [R. Jacob, "Eye tracking in advanced interfa
ce design." In W. Barfield and T. Furness (eds), Advanced interface desi
gn and virtual environments. Oxford University Press, 1995], [R. Stiefel
hagen, J. Yang, A. Waibel, "Tracking Eyes and Monitoring Eye Gaze," Work
shop on Perceptual User Interfaces, Banff, Canada, 1977]。これら全ての文
献は引用を以て本願への記載加入とする。追跡された注視方向は、低解像度と中
解像度の間の表示画像を空間的に変化させるのに長い間用いられてきた[米国特
許第４３４８１８６号−Pilot helmet mounted CIG display with eye coupled
area of interest]。この米国特許は引用を以て本願に組み入れられる。この特
許では、中解像度は単一ラスタディスプレイ装置(例えば、１６００×１２００
ピクセル)の中で実現可能な最も高い解像度であると規定される。通常の視距離
では、その解像度は、人間の視覚系が有する視力と比べて非常に劣る。
してきた。[S. Baluja, D. Pomerleau, "Non-intrusive gaze-tracking using a
rtificial neural networks." Neural information processing systems 6, Mor
gan Kaufman Publishers, New York, 1994], [J. Hansen, A. Anderson, P. Rpe
d, "Eye-gaze control of multimedia systems." In Y. Anzai, K. Ogawa and H
. Mori (eds), Symbiosis of human and artifact. Proceedings of the 6th in
ternational conference on human computer interaction. Elsevier Science P
ublisher, Amsterdam, 1995], [R. Jacob, "Eye tracking in advanced interfa
ce design." In W. Barfield and T. Furness (eds), Advanced interface desi
gn and virtual environments. Oxford University Press, 1995], [R. Stiefel
hagen, J. Yang, A. Waibel, "Tracking Eyes and Monitoring Eye Gaze," Work
shop on Perceptual User Interfaces, Banff, Canada, 1977]。これら全ての文
献は引用を以て本願への記載加入とする。追跡された注視方向は、低解像度と中
解像度の間の表示画像を空間的に変化させるのに長い間用いられてきた[米国特
許第４３４８１８６号−Pilot helmet mounted CIG display with eye coupled
area of interest]。この米国特許は引用を以て本願に組み入れられる。この特
許では、中解像度は単一ラスタディスプレイ装置(例えば、１６００×１２００
ピクセル)の中で実現可能な最も高い解像度であると規定される。通常の視距離
では、その解像度は、人間の視覚系が有する視力と比べて非常に劣る。
【０００８】 追跡装置からの注視方向情報は、中心窩領域における高解像度の画像を提供す
るのに用いられ、これは、観察者の注視方向に応じて、高解像密度画像の位置を
連続的に変えるディスプレイ装置を構成することにより行われる。しかし、注視
の眼球運動は頭の向きの変化より遙かに速いため、速度、精度及び低コストを達
成するには、頭の向きを追跡する場合よりも、技術的に遙かに困難である。
るのに用いられ、これは、観察者の注視方向に応じて、高解像密度画像の位置を
連続的に変えるディスプレイ装置を構成することにより行われる。しかし、注視
の眼球運動は頭の向きの変化より遙かに速いため、速度、精度及び低コストを達
成するには、頭の向きを追跡する場合よりも、技術的に遙かに困難である。
【０００９】 迅速に変化する中心窩領域に適合させて高解像密度画像を位置決めする方法の
１つとして、周囲にある低解像度の大きな画像が高解像度の小さい画像と光学的
に合成された単一光路中に在する一組のミラーを機械的に回転するものがある。
合成されたイメージは、共通の光学系を通じて、注視を追跡されている観察者が
注視する方向に投写される[米国特許第４６３４３８４号：Head and/or eye tra
cked optically blended display system]。この米国特許は引用を以て本願に組
み入れられる。
１つとして、周囲にある低解像度の大きな画像が高解像度の小さい画像と光学的
に合成された単一光路中に在する一組のミラーを機械的に回転するものがある。
合成されたイメージは、共通の光学系を通じて、注視を追跡されている観察者が
注視する方向に投写される[米国特許第４６３４３８４号：Head and/or eye tra
cked optically blended display system]。この米国特許は引用を以て本願に組
み入れられる。
【００１０】 ヘッドマントディスプレイにより適した他の方法として、回転ミラーの位置が
光路における観察者の眼球中心と一致するように、ハーフシルバーミラー及び再
帰性反射物質を使用するものがある[B. Bederson, R. Wallace, E. Schwartz,
“A Miniature pan-tilt actuator: the spherical pointing motor,“ IEEE Tr
ansactions Robotics and Automation, vol. 10, pp. 298-308, 1994]。この文
献は引用を以て本願への記載加入とする。中心窩画像ディスプレイは、このミラ
ーの前方に配置される。任意軸の周りで観察者の注視方向における角度θの変化
は、ミラーを角度θ／２回転させることによって模倣され、これにより、観察者
の注視と中心窩画像表示装置の高解像中心との間で光学アライメントを維持しよ
うとするものである。
光路における観察者の眼球中心と一致するように、ハーフシルバーミラー及び再
帰性反射物質を使用するものがある[B. Bederson, R. Wallace, E. Schwartz,
“A Miniature pan-tilt actuator: the spherical pointing motor,“ IEEE Tr
ansactions Robotics and Automation, vol. 10, pp. 298-308, 1994]。この文
献は引用を以て本願への記載加入とする。中心窩画像ディスプレイは、このミラ
ーの前方に配置される。任意軸の周りで観察者の注視方向における角度θの変化
は、ミラーを角度θ／２回転させることによって模倣され、これにより、観察者
の注視と中心窩画像表示装置の高解像中心との間で光学アライメントを維持しよ
うとするものである。
【００１１】 この方法の主な欠点は、ミラーを機械的に動かす必要があることであり、この
ため、精度、振動、較正(calibration)、ずれ(drift)及び共鳴の点で全て問題が
ある。
ため、精度、振動、較正(calibration)、ずれ(drift)及び共鳴の点で全て問題が
ある。
【００１２】 同様に、中心窩を有するカメラセンサーについての記載がある[P. Kortum, W.
Geisler, “Implementation of a foveated image-coding system for bandwid
th reduction of video images,” SPIE Proceedings: Human Vision and Elect
ronic Imaging, vol. 2657, pp. 350-360, 1996], [F. Pardo, J.A. Boluda, J.
J Perez, B. Dierickx, D. Scheffer, “Design issues on CMOS space-variant
image sensors” Proc. SPIE, Advanced Focal Plane Processing and Electro
nic Cameras, Vol. 2950, pp. 98-107, 1996], [J. van der Spiegel, G. Kreid
er, C. Claeys, I.Debusschere, G. Sandini, P. Dario, F. Fantini, P. Bellu
ti, G. Soncini, “A foveated retina-like sensor using CCD technology. In
C. Mead & M. Ismail, editor, Analog VLSI implementation of neural syste
ms, chapter 8, pp. 189-212. Kluwer Academic Publishers, Boston, 1989. Pr
oceedings of a workshop on Analog Integrated Neural Systems], [R. Wodnic
ki, G.W. Roberts & M.D. Levine, “A foveated image sensor in standard CM
OS technology, “Proc. Custom Integrated Circuits Conf., pp. 357-360, 19
95]。これらの全ては引用を以て本願への記載加入とする。これらのセンサーは
径方向に変化する空間視力を有しており、一般的には、視力について、中心窩領
域から径方向に距離をあけて、人間の視覚系の対数ドロップオフをエミュレート
しようとするものである。現在の技術では、それらセンサーは、一組のミラーを
動かすだけで、或いは、センサーチップ自体を関連する光学系と共に機械的に回
転させるだけで、最も高視力の位置を変えることができる。
Geisler, “Implementation of a foveated image-coding system for bandwid
th reduction of video images,” SPIE Proceedings: Human Vision and Elect
ronic Imaging, vol. 2657, pp. 350-360, 1996], [F. Pardo, J.A. Boluda, J.
J Perez, B. Dierickx, D. Scheffer, “Design issues on CMOS space-variant
image sensors” Proc. SPIE, Advanced Focal Plane Processing and Electro
nic Cameras, Vol. 2950, pp. 98-107, 1996], [J. van der Spiegel, G. Kreid
er, C. Claeys, I.Debusschere, G. Sandini, P. Dario, F. Fantini, P. Bellu
ti, G. Soncini, “A foveated retina-like sensor using CCD technology. In
C. Mead & M. Ismail, editor, Analog VLSI implementation of neural syste
ms, chapter 8, pp. 189-212. Kluwer Academic Publishers, Boston, 1989. Pr
oceedings of a workshop on Analog Integrated Neural Systems], [R. Wodnic
ki, G.W. Roberts & M.D. Levine, “A foveated image sensor in standard CM
OS technology, “Proc. Custom Integrated Circuits Conf., pp. 357-360, 19
95]。これらの全ては引用を以て本願への記載加入とする。これらのセンサーは
径方向に変化する空間視力を有しており、一般的には、視力について、中心窩領
域から径方向に距離をあけて、人間の視覚系の対数ドロップオフをエミュレート
しようとするものである。現在の技術では、それらセンサーは、一組のミラーを
動かすだけで、或いは、センサーチップ自体を関連する光学系と共に機械的に回
転させるだけで、最も高視力の位置を変えることができる。
【００１３】 この方法は、中心窩画像の投写の場合と同じように、機械的構成要素を迅速に
動かす必要があるため、精度、振動、較正、ずれ及び共鳴の点で全て問題がある
。
動かす必要があるため、精度、振動、較正、ずれ及び共鳴の点で全て問題がある
。
【００１４】
本発明は、中心窩画像の表示装置に関する。表示装置は、コンピュータを具え
ている。表示装置は、コンピュータからの画像の詳細部分を作像するための詳細
イメージング手段(detailed imaging element)を具えている。詳細イメージング
装置は、コンピュータに接続される。表示装置は、画像の詳細部分を集束するた
めのフォーカス機構を具えている。フォーカス機構は、イメージング手段に隣接
して配置され、コンピュータに接続される。表示装置は、画像の広域部分を作像
するための広域イメージング手段(wide area imaging element)を具えている。
広域イメージング手段はコンピュータに接続される。表示手段は、中心窩画像を
生成するために、詳細部分と広域部分を光学的に合成する(combine)合成手段を
具えている。表示手段は、中心窩画像を所望位置に集束するイメージングレンズ
を具えており、詳細イメージング手段、フォーカス機構及び広域イメージング手
段は可動部を有しない。
ている。表示装置は、コンピュータからの画像の詳細部分を作像するための詳細
イメージング手段(detailed imaging element)を具えている。詳細イメージング
装置は、コンピュータに接続される。表示装置は、画像の詳細部分を集束するた
めのフォーカス機構を具えている。フォーカス機構は、イメージング手段に隣接
して配置され、コンピュータに接続される。表示装置は、画像の広域部分を作像
するための広域イメージング手段(wide area imaging element)を具えている。
広域イメージング手段はコンピュータに接続される。表示手段は、中心窩画像を
生成するために、詳細部分と広域部分を光学的に合成する(combine)合成手段を
具えている。表示手段は、中心窩画像を所望位置に集束するイメージングレンズ
を具えており、詳細イメージング手段、フォーカス機構及び広域イメージング手
段は可動部を有しない。
【００１５】 本発明は、中心窩画像を生成する方法に関する。本発明の方法は、詳細イメー
ジング手段を用いて、詳細イメージング手段に接続されたコンピュータから、画
像の詳細部分を生成する工程を有している。次に、広域イメージング手段を用い
て、広域イメージング手段に接続されたコンピュータから、画像の広域部分を生
成する工程がある。次に、中心窩画像を生成するために、詳細部分と広域部分を
合成する工程がある。次に、中心窩画像を所望位置に集束する工程がある。
ジング手段を用いて、詳細イメージング手段に接続されたコンピュータから、画
像の詳細部分を生成する工程を有している。次に、広域イメージング手段を用い
て、広域イメージング手段に接続されたコンピュータから、画像の広域部分を生
成する工程がある。次に、中心窩画像を生成するために、詳細部分と広域部分を
合成する工程がある。次に、中心窩画像を所望位置に集束する工程がある。
【００１６】
図面を参照すると、幾つかの図には、類似又は同一の部品について同じ引用番
号を付している。図１を参照すると、中心窩画像表示装置(20)が示されている。
表示装置(20)はコンピュータ(1)を含んでいる。表示装置(20)は、コンピュータ(
1)からの画像の詳細部分を作像するための詳細イメージング手段(2)を具えてい
る。イメージング手段(2)はコンピュータ(1)に接続されている。表示装置(20)は
、画像の詳細部分を集束するためのフォーカス機構を具えている。フォーカス機
構はイメージング手段に隣接して配置され、コンピュータ(1)に接続されている
。表示装置(20)は、画像の広域部分を作像するための広域イメージング手段(6)
を具えている。広域イメージング手段(6)はコンピュータ(1)に接続されている。
表示装置(20)は、詳細部分を広域部分と光学的に合成する手段(22)を具えており
、該手段により、中心窩画像が生成される。表示装置(20)は中心窩画像を所望位
置に集束させるイメージングレンズ(8)を具えている。詳細イメージング手段(2)
、フォーカス機構及び広域イメージング手段(6)は可動部を有していない。
号を付している。図１を参照すると、中心窩画像表示装置(20)が示されている。
表示装置(20)はコンピュータ(1)を含んでいる。表示装置(20)は、コンピュータ(
1)からの画像の詳細部分を作像するための詳細イメージング手段(2)を具えてい
る。イメージング手段(2)はコンピュータ(1)に接続されている。表示装置(20)は
、画像の詳細部分を集束するためのフォーカス機構を具えている。フォーカス機
構はイメージング手段に隣接して配置され、コンピュータ(1)に接続されている
。表示装置(20)は、画像の広域部分を作像するための広域イメージング手段(6)
を具えている。広域イメージング手段(6)はコンピュータ(1)に接続されている。
表示装置(20)は、詳細部分を広域部分と光学的に合成する手段(22)を具えており
、該手段により、中心窩画像が生成される。表示装置(20)は中心窩画像を所望位
置に集束させるイメージングレンズ(8)を具えている。詳細イメージング手段(2)
、フォーカス機構及び広域イメージング手段(6)は可動部を有していない。
【００１７】 フォーカス機構は、コンピュータ(1)に接続されたアクティブマスク(4)を含む
ことが望ましい。フォーカス機構は、詳細イメージング手段(2)とアクティブマ
スク(4)の間に配置されて、アクティブマスク(4)の詳細部分を集束するフォーカ
ス手段(3)を含むことが望ましい。フォーカス手段(3)は、ｍ×ｎアレイのフォー
カス手段(3)を含むことが望ましい。
ことが望ましい。フォーカス機構は、詳細イメージング手段(2)とアクティブマ
スク(4)の間に配置されて、アクティブマスク(4)の詳細部分を集束するフォーカ
ス手段(3)を含むことが望ましい。フォーカス手段(3)は、ｍ×ｎアレイのフォー
カス手段(3)を含むことが望ましい。
【００１８】 フォーカス機構は、詳細部分の方向をアクティブマスク(4)から合成手段(22)
へ変える集光レンズ(5)を含むことが望ましい。合成手段(22)は、アクティブマ
スク(4)と広域イメージング手段(6)との間に配置されたビームスプリッタ(24)を
含むことが望ましい。ビームスプリッタ(24)はハーフシルバーミラーであること
が望ましい。ビームスプリッタ(24)は、アクティブマスク(4)と広域イメージン
グ手段(6)の間に、中間の角度で配置されることが望ましい。ビームスプリッタ(
24)はアクティブマスク(4)と広域イメージング手段(6)の間に、４５度の角度で
配置されることが望ましい。表示装置(20)は、広域部分に存在する詳細部分を認
識するポインティング装置(26)を含むことが望ましい。
へ変える集光レンズ(5)を含むことが望ましい。合成手段(22)は、アクティブマ
スク(4)と広域イメージング手段(6)との間に配置されたビームスプリッタ(24)を
含むことが望ましい。ビームスプリッタ(24)はハーフシルバーミラーであること
が望ましい。ビームスプリッタ(24)は、アクティブマスク(4)と広域イメージン
グ手段(6)の間に、中間の角度で配置されることが望ましい。ビームスプリッタ(
24)はアクティブマスク(4)と広域イメージング手段(6)の間に、４５度の角度で
配置されることが望ましい。表示装置(20)は、広域部分に存在する詳細部分を認
識するポインティング装置(26)を含むことが望ましい。
【００１９】 詳細部分は光軸に沿っており、詳細なイメージング手段(2)とフォーカス手段
のアレイとの間の光軸に沿う距離Ａは、フォーカス手段(3)のアレイとアクティ
ブマスク(4)との間の距離Ｂのｎ／ｋ倍(但し、ｋは正の整数)であることが望ま
しい。ｋは２であるであることが望ましい。各フォーカス手段の焦点距離は、１
／ｆ＝１／Ａ＋１／Ｂであることが望ましい。
のアレイとの間の光軸に沿う距離Ａは、フォーカス手段(3)のアレイとアクティ
ブマスク(4)との間の距離Ｂのｎ／ｋ倍(但し、ｋは正の整数)であることが望ま
しい。ｋは２であるであることが望ましい。各フォーカス手段の焦点距離は、１
／ｆ＝１／Ａ＋１／Ｂであることが望ましい。
【００２０】 本発明は中心窩画像を生成する方法に関する。該方法は、詳細イメージング手
段(2)を用いて、詳細イメージング手段(2)に接続されたコンピュータ(1)から、
画像の詳細部分を生成する工程を有している。次に、広域イメージング手段(6)
を用いて、広域イメージング手段(6)に接続されたコンピュータ(1)から、画像の
広域部分を生成する工程がある。次に、詳細部分を広域部分と合成して中心窩画
像を生成する工程がある。次に、中心窩画像を所望位置に集束する工程がある。
段(2)を用いて、詳細イメージング手段(2)に接続されたコンピュータ(1)から、
画像の詳細部分を生成する工程を有している。次に、広域イメージング手段(6)
を用いて、広域イメージング手段(6)に接続されたコンピュータ(1)から、画像の
広域部分を生成する工程がある。次に、詳細部分を広域部分と合成して中心窩画
像を生成する工程がある。次に、中心窩画像を所望位置に集束する工程がある。
【００２１】 合成工程は詳細画像及び広域画像をビームスプリッタ(24)上に集束する工程を
含むことが望ましい。広域画像生成工程は、コンピュータ(1)から広域画像を取
り出す工程と、取り出された画像に、コンピュータ(1)によって計算された暗ス
ポットを多重化(multiply)する工程を含むことが望ましい。多重化工程の前に、
暗スポットの中心が中心窩画像表示装置(20)の中心窩領域に位置するように計算
する工程があることが望ましい。計算工程は、暗スポットが詳細部分と広域部分
との間で漸次的空間遷移するサイズとなるように計算する工程を含むことが望ま
しい。
含むことが望ましい。広域画像生成工程は、コンピュータ(1)から広域画像を取
り出す工程と、取り出された画像に、コンピュータ(1)によって計算された暗ス
ポットを多重化(multiply)する工程を含むことが望ましい。多重化工程の前に、
暗スポットの中心が中心窩画像表示装置(20)の中心窩領域に位置するように計算
する工程があることが望ましい。計算工程は、暗スポットが詳細部分と広域部分
との間で漸次的空間遷移するサイズとなるように計算する工程を含むことが望ま
しい。
【００２２】 詳細部分を生成する工程は、コンピュータ(1)から、トロイダルトポロジーの
矩形アレイのアクティブピクセルからなる詳細部分を得る工程を含むことが望ま
しい。合成工程の前に、中心窩領域を囲む選択的透明スポット以外の全ての場所
への光の透過を阻止するアクティブマスク(4)を通じて、詳細画像を投写する工
程があることが望ましい。投写工程は、透明スポットが暗スポットと光学的に一
致するように透明スポットを位置決めする工程を含むことが望ましい。
矩形アレイのアクティブピクセルからなる詳細部分を得る工程を含むことが望ま
しい。合成工程の前に、中心窩領域を囲む選択的透明スポット以外の全ての場所
への光の透過を阻止するアクティブマスク(4)を通じて、詳細画像を投写する工
程があることが望ましい。投写工程は、透明スポットが暗スポットと光学的に一
致するように透明スポットを位置決めする工程を含むことが望ましい。
【００２３】 本発明の装置は、新しい形態で、解像度が極めて高い中心窩表示装置(20)であ
り、高密度領域は、いつなんどきでも、その前の位置から独立して、高精度で任
意位置に変わることができる。装置は機械的に動く部分を全く有していない。さ
らにまた、機械的可動部を全く有さない超高解像度中心窩領域カメラとするのに
、同じ機構に僅かな変化を加えるだけでよい。このカメラは、あるシーンの小さ
な部分を非常に高解像度で検査するのに用いることができる。任意の画像キャプ
チャフレームで捕獲されるべき高解像領域は、その前の位置から独立して、高精
度で任意の場所に位置変更することができる。画像は表示装置(20)に接続された
メモリに格納されるることができる。
り、高密度領域は、いつなんどきでも、その前の位置から独立して、高精度で任
意位置に変わることができる。装置は機械的に動く部分を全く有していない。さ
らにまた、機械的可動部を全く有さない超高解像度中心窩領域カメラとするのに
、同じ機構に僅かな変化を加えるだけでよい。このカメラは、あるシーンの小さ
な部分を非常に高解像度で検査するのに用いることができる。任意の画像キャプ
チャフレームで捕獲されるべき高解像領域は、その前の位置から独立して、高精
度で任意の場所に位置変更することができる。画像は表示装置(20)に接続された
メモリに格納されるることができる。
【００２４】 装置は、ＣＰＵとメモリを有するコンピュータ(1)と、画像の詳細部分のイメ
ージング手段(2)(例えば、プロジェクタのＴＦＴ ＬＣＤ、カメラのＣＣＤアレ
イ)と、小さなフォーカス手段のアレイ(3)(例えば、レンズ、ピンホール、ホロ
グラフィック光学素子)と、アクティブマスクとして作用するハイコントラスト
イメージング手段(4)(例えば、透過型ＴＦＴ ＬＣＤ)と、集光レンズ(5)と、画
像の広域部分のイメージング手段(6)(例えば、プロジェクタのＴＦＴ ＬＣＤ、
カメラのＣＣＤアレイ)と、詳細領域を広域画像と光学的に合成する手段(7)(例
えば、４５度の角度で配置されたハーフシルバーミラー)と、イメージングレン
ズ(8)とを具えている。
ージング手段(2)(例えば、プロジェクタのＴＦＴ ＬＣＤ、カメラのＣＣＤアレ
イ)と、小さなフォーカス手段のアレイ(3)(例えば、レンズ、ピンホール、ホロ
グラフィック光学素子)と、アクティブマスクとして作用するハイコントラスト
イメージング手段(4)(例えば、透過型ＴＦＴ ＬＣＤ)と、集光レンズ(5)と、画
像の広域部分のイメージング手段(6)(例えば、プロジェクタのＴＦＴ ＬＣＤ、
カメラのＣＣＤアレイ)と、詳細領域を広域画像と光学的に合成する手段(7)(例
えば、４５度の角度で配置されたハーフシルバーミラー)と、イメージングレン
ズ(8)とを具えている。
【００２５】 図１に示されるように、コンピュータ(1)は、詳細レベルのイメージング手段(
2)、アクティブマスク(4)及び広域イメージング手段(6)に繋がっている。
2)、アクティブマスク(4)及び広域イメージング手段(6)に繋がっている。
【００２６】 一実施例において、フォーカス手段(3)のアレイは、ｎ×ｎの四角形のフォー
カス手段から構成される。イメージング手段(2)に関して、フォーカス手段(3)を
含む平面の光軸に沿う位置、及び、フォーカス手段がこの画像を再び集束する平
面(4)の光軸に沿う位置は、(2)から(3)までの光軸に沿う距離Ａが、(3)から(4)
までの光軸に沿う距離Ｂのｎ／ｋ倍であり、一実施例においてｋ＝２である。小
さな各フォーカス手段の焦点距離ｆは、１／ｆ＝１／Ａ＋１／Ｂとなるように設
定される。これにより、(2)の画像が(4)の小画像のタイリングアレイ(tiling ar
ray)として集束されたまま残存することができる。また、これらの(4)の画像の
各々は、(2)の対応画像と比較され、ｎ／ｋのファクターにより、サイズが線形
的に小さくなる。
カス手段から構成される。イメージング手段(2)に関して、フォーカス手段(3)を
含む平面の光軸に沿う位置、及び、フォーカス手段がこの画像を再び集束する平
面(4)の光軸に沿う位置は、(2)から(3)までの光軸に沿う距離Ａが、(3)から(4)
までの光軸に沿う距離Ｂのｎ／ｋ倍であり、一実施例においてｋ＝２である。小
さな各フォーカス手段の焦点距離ｆは、１／ｆ＝１／Ａ＋１／Ｂとなるように設
定される。これにより、(2)の画像が(4)の小画像のタイリングアレイ(tiling ar
ray)として集束されたまま残存することができる。また、これらの(4)の画像の
各々は、(2)の対応画像と比較され、ｎ／ｋのファクターにより、サイズが線形
的に小さくなる。
【００２７】使用者の操作シーケンス 使用者は、コンピュータ(1)から取り出された広い領域を見る。この領域は、
メモリに記憶されているか、又はアルゴリズム的に合成されている。或いはまた
、例えば現在知られているコンピュータグラフィック技術[Computer Graphics (
proceedings of ACM SIGGRAPH Conference), Vols. 1-31]を用いて合成される。
この文献は引用を以て本願に組み入れられる。表示装置(20)の中心窩領域の中心
を指示するために、幾つかの入力方法が用いられる。使用者は、例えば周知のマ
ウスやその他のポインティング装置を動かすことにより、中心窩の中心位置を得
ることができる。或いは、使用者は、目の注視位置を移動させることにより、中
心窩の中心位置を得ることができる。後者の方法の場合、使用者の現在の目の注
視位置を求めるのに、コンピュータ追跡ビデオ画像又は再帰性反射スポット(ret
roreflective spot)などのように当該分野で現在実施されている機構が用いられ
る。
メモリに記憶されているか、又はアルゴリズム的に合成されている。或いはまた
、例えば現在知られているコンピュータグラフィック技術[Computer Graphics (
proceedings of ACM SIGGRAPH Conference), Vols. 1-31]を用いて合成される。
この文献は引用を以て本願に組み入れられる。表示装置(20)の中心窩領域の中心
を指示するために、幾つかの入力方法が用いられる。使用者は、例えば周知のマ
ウスやその他のポインティング装置を動かすことにより、中心窩の中心位置を得
ることができる。或いは、使用者は、目の注視位置を移動させることにより、中
心窩の中心位置を得ることができる。後者の方法の場合、使用者の現在の目の注
視位置を求めるのに、コンピュータ追跡ビデオ画像又は再帰性反射スポット(ret
roreflective spot)などのように当該分野で現在実施されている機構が用いられ
る。
【００２８】 全表示装置(20)は、単一のアクティブピクセルイメージング手段を用いて得ら
れるような中解像度をもつ画像を提供する。一実施例において、この解像度は１
６００×１２００ピクセルである。同時に、使用者がどの位置を表示しても、中
心に位置決めされる領域がこの解像度のｎ倍で表示される。一実施例では、ｎ＝
２５である。使用者が高解像度表示装置に異なる位置を指示する場合、表示装置
(20)の高解像度部分の中心は、図２に示すように、直ちに新しい位置にシフトす
る。
れるような中解像度をもつ画像を提供する。一実施例において、この解像度は１
６００×１２００ピクセルである。同時に、使用者がどの位置を表示しても、中
心に位置決めされる領域がこの解像度のｎ倍で表示される。一実施例では、ｎ＝
２５である。使用者が高解像度表示装置に異なる位置を指示する場合、表示装置
(20)の高解像度部分の中心は、図２に示すように、直ちに新しい位置にシフトす
る。
【００２９】操作の内部シーケンス 中心窩の投射は、２つの構成画像の光学的組合せとして生成される。これら構
成画像のうち最初の画像を生成するために、広角度全体がコンピュータ(1)から
取り出され、次に、コンピュータによって計算された暗スポット画像で多重化さ
れ、最後に広角度表示要素(6)に表示される。この画像は４５度のミラー(7)によ
って反射され、レンズ(8)を通じて画面に投写されるか、又は直接観察するため
に観察者の目に集束される。広角視野(wide-angle view)の光学的寄与が加えら
れ、中解像度(例えば、１６００×１２００)の画像がＴＦＴ ＬＣＤ上に生成さ
れる。
成画像のうち最初の画像を生成するために、広角度全体がコンピュータ(1)から
取り出され、次に、コンピュータによって計算された暗スポット画像で多重化さ
れ、最後に広角度表示要素(6)に表示される。この画像は４５度のミラー(7)によ
って反射され、レンズ(8)を通じて画面に投写されるか、又は直接観察するため
に観察者の目に集束される。広角視野(wide-angle view)の光学的寄与が加えら
れ、中解像度(例えば、１６００×１２００)の画像がＴＦＴ ＬＣＤ上に生成さ
れる。
【００３０】 暗スポットは、図３に示されように、中心窩領域の中心に位置するように計算
される。この暗スポットのサイズは、高密度領域と低密度領域の間で漸次的空間
遷移するように計算されている。例えば、中心窩領域が広角視野の位置ｘ，ｙの
中心に位置し、広角度画像のｍ×ｍピクセル(一実施例においてｍ＝６４)と同じ
空間をとる場合、広角度画像のピクセルの値は、暗化関数(darkening function)
によって乗算される。一実施例において、この暗化関数は、(１−Ｓ(２ｘ／ｍ−
１) * (２ｙ／ｍ−１))である。ここで、Ｓ(ｔ)は滑らか変化するカーネル関数
であり、｜ｔ｜が１より有意的に小さい場合、｜ｔ｜は１に向かって増すので、
１から０へ滑らかに遷移する。そのような関数の一例が、次に示される。
される。この暗スポットのサイズは、高密度領域と低密度領域の間で漸次的空間
遷移するように計算されている。例えば、中心窩領域が広角視野の位置ｘ，ｙの
中心に位置し、広角度画像のｍ×ｍピクセル(一実施例においてｍ＝６４)と同じ
空間をとる場合、広角度画像のピクセルの値は、暗化関数(darkening function)
によって乗算される。一実施例において、この暗化関数は、(１−Ｓ(２ｘ／ｍ−
１) * (２ｙ／ｍ−１))である。ここで、Ｓ(ｔ)は滑らか変化するカーネル関数
であり、｜ｔ｜が１より有意的に小さい場合、｜ｔ｜は１に向かって増すので、
１から０へ滑らかに遷移する。そのような関数の一例が、次に示される。
【化１】
【００３１】 広角画像は、第２の構成要素即ち、コンピュータ(1)から取り出された詳細画
像(detailed view)に光学的に加えられる。この詳細画像は、最初に、(Ｐ＋２ｐ
)×(Ｐ＋２ｐ)のアクティブピクセルの矩形アレイから構成されるイメージング
手段(2)上に形成される。(2)上に形成された画像は、トロイダル"ラップアラウ
ンド"トポロジーを有している。概念的に、イメージング手段は、多数のタイル
張りからなる連続したＰ×Ｐトーラスの多重タイリングを含んでおり、ここでロ
ー(行)Ｐ−１はロー０の直前、カラム(列)Ｐ−１はカラム０の直前にあると考え
られる。全ての位置(ｘ１，ｙ１)(ｘ２，ｙ２)に対して、(ｘ１mod P＝ｘ２mod P )及び(ｙ１mod P＝ｙ２mod P)が同じピクセル値に設定される。
像(detailed view)に光学的に加えられる。この詳細画像は、最初に、(Ｐ＋２ｐ
)×(Ｐ＋２ｐ)のアクティブピクセルの矩形アレイから構成されるイメージング
手段(2)上に形成される。(2)上に形成された画像は、トロイダル"ラップアラウ
ンド"トポロジーを有している。概念的に、イメージング手段は、多数のタイル
張りからなる連続したＰ×Ｐトーラスの多重タイリングを含んでおり、ここでロ
ー(行)Ｐ−１はロー０の直前、カラム(列)Ｐ−１はカラム０の直前にあると考え
られる。全ての位置(ｘ１，ｙ１)(ｘ２，ｙ２)に対して、(ｘ１mod P＝ｘ２mod P )及び(ｙ１mod P＝ｙ２mod P)が同じピクセル値に設定される。
【００３２】 カラム０からＰ−１、及びカラムＰ＋ｐからＰ＋２ｐ−１におけるピクセルは
、水平オーバースキャン領域を構成する。ロー０からＰ−１、及びローＰ＋ｐか
らＰ＋２ｐ−１におけるピクセルは垂直オーバースキャン領域を構成する。
、水平オーバースキャン領域を構成する。ロー０からＰ−１、及びローＰ＋ｐか
らＰ＋２ｐ−１におけるピクセルは垂直オーバースキャン領域を構成する。
【００３３】 イメージング手段(2)上に形成された画像は、フォーカス手段(3)のアレイを通
じて投写されることにより、同じタイル画像のモザイクとして投写され、第２の
(マスキング)ＴＦＴ ＬＣＤ(4)と一致する空間平面領域に集束される。このマス
キングＴＦＴ ＬＣＤは、中心窩領域を囲む選択的透明スポット以外の全ての場
所において、透過された光を遮断するために使用される。選択的にマスクされた
後のモザイク画像を図４に示している。マスキングされる前のモザイク画像を図
５に示している。このマスキングパターン自体は、マスキングＴＦＴ ＬＣＤ上
に形成される場合が図６に示している。
じて投写されることにより、同じタイル画像のモザイクとして投写され、第２の
(マスキング)ＴＦＴ ＬＣＤ(4)と一致する空間平面領域に集束される。このマス
キングＴＦＴ ＬＣＤは、中心窩領域を囲む選択的透明スポット以外の全ての場
所において、透過された光を遮断するために使用される。選択的にマスクされた
後のモザイク画像を図４に示している。マスキングされる前のモザイク画像を図
５に示している。このマスキングパターン自体は、マスキングＴＦＴ ＬＣＤ上
に形成される場合が図６に示している。
【００３４】 マスクの透明スポットは、ハーフシルバーミラー(7)によって重ねられ(superi
mposed)、表示装置(6)上の選択的暗スポットと光学的に一致するように位置決め
される。特に、関数(Ｓ(２ｘ／ｍ−１) * Ｓ(２ｙ／ｍ−１))(但し、ハーフシル
バーミラー(7)によって重ねられているため、ｘ及びは、表示装置(6)上のｘ及び
ｙと光学的に一致している)に従って透過光を遮断するために、マスキングＴＦ
Ｔ ＬＣＤ(4)のアクティブ要素が用いられる。
mposed)、表示装置(6)上の選択的暗スポットと光学的に一致するように位置決め
される。特に、関数(Ｓ(２ｘ／ｍ−１) * Ｓ(２ｙ／ｍ−１))(但し、ハーフシル
バーミラー(7)によって重ねられているため、ｘ及びは、表示装置(6)上のｘ及び
ｙと光学的に一致している)に従って透過光を遮断するために、マスキングＴＦ
Ｔ ＬＣＤ(4)のアクティブ要素が用いられる。
【００３５】 (2)からの画像は、図５に示す如く、フォーカス手段(3)のアレイによって投写
され、タイルパターンが中心窩平面(4)上に形成される。焦点面(4)における各タ
イルの幅は、イメージング手段(2)上のＰピクセルの幅に対応し、焦点面(4)にお
ける各タイルの高さは、イメージング手段(2)上のＰピクセルの高さに対応して
いる。
され、タイルパターンが中心窩平面(4)上に形成される。焦点面(4)における各タ
イルの幅は、イメージング手段(2)上のＰピクセルの幅に対応し、焦点面(4)にお
ける各タイルの高さは、イメージング手段(2)上のＰピクセルの高さに対応して
いる。
【００３６】 小さなギャップ又はオーバーラップを回避するために、レンズアレイ(3)によ
って投射された個々のタイル画像のエッジ部を、イメージング手段(2)から平面(
4)へ正確に位置決めすることは極めて困難である。このために、レンズアレイの
各カラムのレンズを通じて表示されたイメージング手段の最も左位置のピクセル
と、左隣りのカラムのレンズを通じて表示されたイメージング手段の最も右位置
のピクセルとの間をクロスディゾルブする(cross-dissolve)するために、イメー
ジング手段(2)の水平オーバースキャン領域内のピクセルが用いられる。同様に
、レンズアレイの各ローのレンズを通じて表示されたイメージング手段の最も上
位置のピクセルと、上隣りのローのレンズを通じて表示されたイメージング手段
の最も下位置のピクセルとの間をクロスディゾルブするために、イメージング手
段(2)の垂直オーバースキャン領域内のピクセルが用いられる。この遷移関数は
、隣接するタイルの各対に共通するエッジ部に対する空間ディゾルブが、確実に
等密度となるように、予め較正される。これらの較正値はテーブルに格納され、
例えば３ｔ2−２ｔ3(但し、ｔはオーバーラップ部)の如き遷移関数を調節するの
に使用される。これを行うことによって、隣接タイルは、一方のタイルから他方
のタイルへの遷移による明るさの体系的ギャップや変化を生じることなく、継ぎ
目なく一体化される。
って投射された個々のタイル画像のエッジ部を、イメージング手段(2)から平面(
4)へ正確に位置決めすることは極めて困難である。このために、レンズアレイの
各カラムのレンズを通じて表示されたイメージング手段の最も左位置のピクセル
と、左隣りのカラムのレンズを通じて表示されたイメージング手段の最も右位置
のピクセルとの間をクロスディゾルブする(cross-dissolve)するために、イメー
ジング手段(2)の水平オーバースキャン領域内のピクセルが用いられる。同様に
、レンズアレイの各ローのレンズを通じて表示されたイメージング手段の最も上
位置のピクセルと、上隣りのローのレンズを通じて表示されたイメージング手段
の最も下位置のピクセルとの間をクロスディゾルブするために、イメージング手
段(2)の垂直オーバースキャン領域内のピクセルが用いられる。この遷移関数は
、隣接するタイルの各対に共通するエッジ部に対する空間ディゾルブが、確実に
等密度となるように、予め較正される。これらの較正値はテーブルに格納され、
例えば３ｔ2−２ｔ3(但し、ｔはオーバーラップ部)の如き遷移関数を調節するの
に使用される。これを行うことによって、隣接タイルは、一方のタイルから他方
のタイルへの遷移による明るさの体系的ギャップや変化を生じることなく、継ぎ
目なく一体化される。
【００３７】 図５は、選択的マスキングの前のモザイク画像だけでなく、一組のグリッド線
をも示している。これらのグリッド線は、実際には、生成された画像の一部では
ない。それらは、隣接するタイル間のオーバーラップ領域を描くために示されて
いる。また、図５は、その左上コーナー近傍の２つの要素によって拡大された差
込み画像(inset image)を含んでいる。この詳細画像は、コンピュータによって
処理され、詳細画像生成手段(2)上に形成される源タイル画像を示している。こ
の画像は単一タイルよりも有意的に多くのタイルを含んでいることに留意すべき
である。実際に、一旦、タイルの４つのコーナー部の各々に近づくと、タイルの
幾つかの部分は４倍に表される。これらはオーバースキャン領域である。この画
像がイメージング手段(2)上に実際に表示される前に、コンピュータ(1)は、前述
のように、これらのオーバースキャン領域内の選択的暗化度(selective darkeni
ng)を計算する。このため、モザイク焦点面(4)上に投写されると、明るさがどの
場所でも均一となるように補正された単一のタイル画像となる。
をも示している。これらのグリッド線は、実際には、生成された画像の一部では
ない。それらは、隣接するタイル間のオーバーラップ領域を描くために示されて
いる。また、図５は、その左上コーナー近傍の２つの要素によって拡大された差
込み画像(inset image)を含んでいる。この詳細画像は、コンピュータによって
処理され、詳細画像生成手段(2)上に形成される源タイル画像を示している。こ
の画像は単一タイルよりも有意的に多くのタイルを含んでいることに留意すべき
である。実際に、一旦、タイルの４つのコーナー部の各々に近づくと、タイルの
幾つかの部分は４倍に表される。これらはオーバースキャン領域である。この画
像がイメージング手段(2)上に実際に表示される前に、コンピュータ(1)は、前述
のように、これらのオーバースキャン領域内の選択的暗化度(selective darkeni
ng)を計算する。このため、モザイク焦点面(4)上に投写されると、明るさがどの
場所でも均一となるように補正された単一のタイル画像となる。
【００３８】 集光レンズ(5)は、プロジェクタの場合には、光の方向をイメージング手段(2)
からビューレンズ(8)へ変え、カメラの場合には、光の方向をビューレンズから
イメージング手段に変える。集光レンズの配置は、イメージング手段とビューレ
ンズとの間の光路のどの部分でもよい。図１では、アクティブマスク(4)とビュ
ーレンズ(8)との間に配置されている。或いはまた、イメージング手段とマイク
ロレンズアレイの間、又はマイクロレンズアレイとアクティブマスクの間に配置
されることができる。
からビューレンズ(8)へ変え、カメラの場合には、光の方向をビューレンズから
イメージング手段に変える。集光レンズの配置は、イメージング手段とビューレ
ンズとの間の光路のどの部分でもよい。図１では、アクティブマスク(4)とビュ
ーレンズ(8)との間に配置されている。或いはまた、イメージング手段とマイク
ロレンズアレイの間、又はマイクロレンズアレイとアクティブマスクの間に配置
されることができる。
【００３９】イメージングチップへの空間的可変分解能 利用可能な帯域幅の使用を最適化するために、イメージング手段(2)を駆動さ
せて、タイルの中心窩位置の最も高解像度で、空間的可変分解像を出力する。単
一画像の中心窩ベースの圧縮は既に用いられている[E. Chang, C. Yap, “A wav
elet approach to foveating images”, ACM Symposium on Computational Geom
etry, Vol 13, 1997]。この文献は引用を以て本願への記載加入とする。その他
にも、透過帯域幅を減らすものがある。本発明は、この圧縮技術に特に利用とす
るものであり、人間の目の能力に相当する極めて高い有効解像力を維持しながら
、中心窩に基いた圧縮によって大きな帯域幅がセービング(savings)がもたらさ
れる。
せて、タイルの中心窩位置の最も高解像度で、空間的可変分解像を出力する。単
一画像の中心窩ベースの圧縮は既に用いられている[E. Chang, C. Yap, “A wav
elet approach to foveating images”, ACM Symposium on Computational Geom
etry, Vol 13, 1997]。この文献は引用を以て本願への記載加入とする。その他
にも、透過帯域幅を減らすものがある。本発明は、この圧縮技術に特に利用とす
るものであり、人間の目の能力に相当する極めて高い有効解像力を維持しながら
、中心窩に基いた圧縮によって大きな帯域幅がセービング(savings)がもたらさ
れる。
【００４０】 この中心窩領域を、所望の時に、チップのどの場所にでも位置決めすることは
できるが、中心窩位置は必ず１つであり、中心窩から離れた位置にて、有効な解
像を距離をあけてドロップオフすることができる。この様にして、Ｉ／Ｏ帯域幅
における振幅(magnitude)のセービングの指令は、均一密度の表示装置として表
示装置用チップを使用した場合と比較され、表示装置用チップの中へ実行される
ことができる。詳細レベルの画像内の空間分解能を変化させることの更なる利点
は、詳細レベル画像と周囲の広域画像との間の有効分解像において、滑らかで連
続する遷移が生じるのを許容することであり、それは観察者にとって、有効分解
像における急激な遷移よりも視覚的な破壊は少ない。
できるが、中心窩位置は必ず１つであり、中心窩から離れた位置にて、有効な解
像を距離をあけてドロップオフすることができる。この様にして、Ｉ／Ｏ帯域幅
における振幅(magnitude)のセービングの指令は、均一密度の表示装置として表
示装置用チップを使用した場合と比較され、表示装置用チップの中へ実行される
ことができる。詳細レベルの画像内の空間分解能を変化させることの更なる利点
は、詳細レベル画像と周囲の広域画像との間の有効分解像において、滑らかで連
続する遷移が生じるのを許容することであり、それは観察者にとって、有効分解
像における急激な遷移よりも視覚的な破壊は少ない。
【００４１】 この空間的変化を行なうことができる方法は、従来技術の中で記載したように
数多くある。例えば、使用者の視野において４度の線形角度をカバーするために
、チップがｎ2のアクティブピクセルを含む場合、チップは、(ｎ/４)2のピクセ
ル(即ち、線形度で１度)の中心窩領域ではフル分解能、それを取り囲む２度の線
形度領域では２分の１の線形分解能、及びチップの残部では４分の１の線形分解
能で用いられることができる。
数多くある。例えば、使用者の視野において４度の線形角度をカバーするために
、チップがｎ2のアクティブピクセルを含む場合、チップは、(ｎ/４)2のピクセ
ル(即ち、線形度で１度)の中心窩領域ではフル分解能、それを取り囲む２度の線
形度領域では２分の１の線形分解能、及びチップの残部では４分の１の線形分解
能で用いられることができる。
【００４２】 ２分の１と４分の１の分解能の領域内でのピクセルが、夫々、２×２と４×４
の正方形の一定値に平均化される場合、固有ピクセル値の総数は、(ｎ/４)2＋(
３/４)(ｎ/４)2＋(３/４)(ｎ/４)2＝(７/６４)(ｎ×ｎ)である。
の正方形の一定値に平均化される場合、固有ピクセル値の総数は、(ｎ/４)2＋(
３/４)(ｎ/４)2＋(３/４)(ｎ/４)2＝(７/６４)(ｎ×ｎ)である。
【００４３】プロジェクタではなくカメラとしての使用 前述し及び図１に示した構成要素の配置は、以下の変更を行うことにより、中
心窩画像プロジェクタではなく、中心窩画像カメラとして使用することができる
。 ・ 詳細生成用ピクセアレイイメージング手段(2)を、ＣＣＤ及び関連回路又はＣ
ＭＯＳチップのようなピクセルアレイ画像キャプチャ手段と置き換える。 ・ 広角度画像生成用ピクセルアレイ(6)を、ＣＣＤ及び関連回路又はＣＭＯＳチ
ップのようなピクセルアレイ画像キャプチャ手段と置き換える。 ・ レンズ(8)を用いて、場面から光を集め、ハーフシルバーミラー(7)を通じて
光を透過させることによってマスキングＴＦＴ ＬＣＤ(4)の平面にその光を集束
し、また、光をハーフシルバーミラー(7)に反射することによってピクセルアレ
イイメージング手段(6)の平面にその光を集束する。 ・ 集光レンズ(5)を用いて、レンズ(8)を進む光を、マスキングＴＦＴ ＬＣＤ(4
)を通じて集光し、最終的にピクセルアレイ画像キャプチャ手段(2)に集光する。
心窩画像プロジェクタではなく、中心窩画像カメラとして使用することができる
。 ・ 詳細生成用ピクセアレイイメージング手段(2)を、ＣＣＤ及び関連回路又はＣ
ＭＯＳチップのようなピクセルアレイ画像キャプチャ手段と置き換える。 ・ 広角度画像生成用ピクセルアレイ(6)を、ＣＣＤ及び関連回路又はＣＭＯＳチ
ップのようなピクセルアレイ画像キャプチャ手段と置き換える。 ・ レンズ(8)を用いて、場面から光を集め、ハーフシルバーミラー(7)を通じて
光を透過させることによってマスキングＴＦＴ ＬＣＤ(4)の平面にその光を集束
し、また、光をハーフシルバーミラー(7)に反射することによってピクセルアレ
イイメージング手段(6)の平面にその光を集束する。 ・ 集光レンズ(5)を用いて、レンズ(8)を進む光を、マスキングＴＦＴ ＬＣＤ(4
)を通じて集光し、最終的にピクセルアレイ画像キャプチャ手段(2)に集光する。
【００４４】 中心窩画像入力装置として使用する際、全てのフォーカス手段によってフォー
カス手段(3)のアレイの中に形成された画像は、ピクセルアレイ画像キャプチャ
要素(2)の同じ領域に光学的に重ねられる。本発明を中心窩画像出力装置として
使用する場合について説明したように、所望の詳細領域を除いたこのアレイの全
ての領域からの光は、図６に示されるように、選択的透明スポットパターンによ
り、マスキングＴＦＴ ＬＣＤ(4)によって遮断される。
カス手段(3)のアレイの中に形成された画像は、ピクセルアレイ画像キャプチャ
要素(2)の同じ領域に光学的に重ねられる。本発明を中心窩画像出力装置として
使用する場合について説明したように、所望の詳細領域を除いたこのアレイの全
ての領域からの光は、図６に示されるように、選択的透明スポットパターンによ
り、マスキングＴＦＴ ＬＣＤ(4)によって遮断される。
【００４５】 また、中心窩画像入力装置として使用する際、光学的構成要素間の数学的関係
は、本発明を中心窩画像出力装置として使用する場合について前述した関係と同
一である。
は、本発明を中心窩画像出力装置として使用する場合について前述した関係と同
一である。
【００４６】再帰性反射注視追跡 本発明をカメラとして用いる場合、小さな移動スポットは再帰性反射であり得
る。この構成において、赤外線発光ダイオード又は同様な光エミッターは、レン
ズの中心に光学的に重ねられる。広域視野が捕獲された標準の画像は、使用者の
目の位置を見つけるために使用される。小さな移動スポットが捕獲された画像は
、この情報によって案内され、使用者の目の画像を含む小さな移動領域を追跡す
る。これにより、デジタルカメラの全分解能は、使用者の目からの再帰性反射の
位置を測定するのに、常に利用可能である。これにより、集中力のない(non-dis
tracting)使用者の注視追跡の精度を大いに高める。これにより、使用者の注視
を遠方から正確に追跡するのに、中心窩カメラを用いることができる。
る。この構成において、赤外線発光ダイオード又は同様な光エミッターは、レン
ズの中心に光学的に重ねられる。広域視野が捕獲された標準の画像は、使用者の
目の位置を見つけるために使用される。小さな移動スポットが捕獲された画像は
、この情報によって案内され、使用者の目の画像を含む小さな移動領域を追跡す
る。これにより、デジタルカメラの全分解能は、使用者の目からの再帰性反射の
位置を測定するのに、常に利用可能である。これにより、集中力のない(non-dis
tracting)使用者の注視追跡の精度を大いに高める。これにより、使用者の注視
を遠方から正確に追跡するのに、中心窩カメラを用いることができる。
【００４７】多重シーケンシャルステージ 機構は多重シーケンシャルステージから構成することができる。各ステージで
生成された画像は、次のステージに入力となる。Ｊ×Ｋレンズのアレイを有する
ステージの各々は、画像の数を、Ｊ×Ｋのファクターと乗算する。例えば、２つ
のステージがあってよく、各ステージは、４×４のアレイのレンズを含んでおり
、合計で２５６タイルを作り出し、１６×１６のアレイに配置される。
生成された画像は、次のステージに入力となる。Ｊ×Ｋレンズのアレイを有する
ステージの各々は、画像の数を、Ｊ×Ｋのファクターと乗算する。例えば、２つ
のステージがあってよく、各ステージは、４×４のアレイのレンズを含んでおり
、合計で２５６タイルを作り出し、１６×１６のアレイに配置される。
【００４８】ヘッドマウント型表示装置 この発明において記述される投写画像は、従来のＬＣＤに代えて、同じ光学系
によりヘッドマウント型表示装置の中に入れられることができ、像は、快適に見
るるのに十分な距離が離れた位置(例えば、５フィートの距離で線形度１００度
の幅)に、非常に広い角度で集束される。
によりヘッドマウント型表示装置の中に入れられることができ、像は、快適に見
るるのに十分な距離が離れた位置(例えば、５フィートの距離で線形度１００度
の幅)に、非常に広い角度で集束される。
【００４９】遠隔カメラ及びプロジェクターへの適用 本発明は、人間の目の跳躍運動をゼロ遅延(zero latency)で一致させることが
できるから、遠隔カメラや投写画像装置との組合せが可能となる。この構成では
、観察者の位置はＡであり、中心窩カメラの位置は、遠隔(例えば、他の都市)の
Ｂである。観察者の位置Ａには、目の注視追跡及び中心窩画像投写システム、又
はヘッドマウント型表示装置がある。
できるから、遠隔カメラや投写画像装置との組合せが可能となる。この構成では
、観察者の位置はＡであり、中心窩カメラの位置は、遠隔(例えば、他の都市)の
Ｂである。観察者の位置Ａには、目の注視追跡及び中心窩画像投写システム、又
はヘッドマウント型表示装置がある。
【００５０】 観察者の注視は追跡され、この情報は遠隔位置Ｂに電子的に伝送される。注視
追跡情報は、位置Ｂで、遠隔カメラの中心窩領域を操縦する(steer)のに用いら
れる。カメラによって捕獲された詳細画像及び広域画像は両方とも、位置Ｂから
位置Ａに伝送される。先に述べた「イメージングチップへの空間的可変分解能」
の項において、これらの２つの画像の各々は、中心窩領域周辺の空間解像度を変
えることにより、伝送前に圧縮される。また、伝送前に、例えばＭＰＥＧ２のよ
うに、その他の標準圧縮プロトコルを適用することもできる。
追跡情報は、位置Ｂで、遠隔カメラの中心窩領域を操縦する(steer)のに用いら
れる。カメラによって捕獲された詳細画像及び広域画像は両方とも、位置Ｂから
位置Ａに伝送される。先に述べた「イメージングチップへの空間的可変分解能」
の項において、これらの２つの画像の各々は、中心窩領域周辺の空間解像度を変
えることにより、伝送前に圧縮される。また、伝送前に、例えばＭＰＥＧ２のよ
うに、その他の標準圧縮プロトコルを適用することもできる。
【００５１】 夫々の詳細画像及び広域画像は、次に、位置Ａにある中心窩投写システム又は
ヘッドマウント型表示装置に表示され、観察者によって観察される。観察者の主
観的印象は、遠隔位置Ｂで視認できる場面について単一の超高解像度の画像から
なる。
ヘッドマウント型表示装置に表示され、観察者によって観察される。観察者の主
観的印象は、遠隔位置Ｂで視認できる場面について単一の超高解像度の画像から
なる。
【００５２】 さらに、伝送プロセス中どの場所にでも、合成画像を詳細画像及び広域画像へ
挿入することができる。この挿入は、画像が位置Ｂで中心窩カメラから抽出され
たステージから、これら画像が中心窩画像投写システム又はヘッドマウント型表
示装置にまさに挿入されようとするステージへ行われる。これは、コンピュータ
グラフィックスの処理で説明したように、どんな標準型コンピュータグラフィッ
ク合成技術を用いて行なうことができる。
挿入することができる。この挿入は、画像が位置Ｂで中心窩カメラから抽出され
たステージから、これら画像が中心窩画像投写システム又はヘッドマウント型表
示装置にまさに挿入されようとするステージへ行われる。これは、コンピュータ
グラフィックスの処理で説明したように、どんな標準型コンピュータグラフィッ
ク合成技術を用いて行なうことができる。
【００５３】参照される特許 これら全ての特許は引用を以て本願に組み入れられる。 米国特許第４３４８１８６号： Piliot helmet mounted CIG display with ey
e coupled area of interest 米国特許第４６３４３８４号： Head and/or eye tracked optically blended
display system 米国特許第５０７１２０９号： Variable acuity non-linear projection sys
tem 米国特許第５４３０５０５号： High speed eye tracking device and method 米国特許第５６５７４０２号： Creating a high resolution still image us
ing a plurality of images 米国特許第５６８９３０２号： Higher definition video signals from lowe
r definition sources 米国特許第５８０８５８９号： Optical system for a head mounted display
combining high and low resolution images
e coupled area of interest 米国特許第４６３４３８４号： Head and/or eye tracked optically blended
display system 米国特許第５０７１２０９号： Variable acuity non-linear projection sys
tem 米国特許第５４３０５０５号： High speed eye tracking device and method 米国特許第５６５７４０２号： Creating a high resolution still image us
ing a plurality of images 米国特許第５６８９３０２号： Higher definition video signals from lowe
r definition sources 米国特許第５８０８５８９号： Optical system for a head mounted display
combining high and low resolution images
【００５４】参照される文献 これら全ての文献は引用を以て本願に組み入れられる。 (Bederson) B. Bederson, R. Wallace, E. Schwartz, "A miniature pan-tilt
actuator: the spherical pointing motor," IEEE Transactions Robotics and
Automation, vol. 10, pp. 298-3008, 1994. (Baluja) S. Baluja, D. Pomerlear, "Non-intrusive gaze-tracking using a
rtificial neural networks." Neural information processing systems 6, Mor
gan Kaufman Publishers, New York, 1994. (Chang) E. Chang, C. Yap, "A wavelet approach to foveating images" ACM Symposium on Computational Geometry, Vol 13, 1997. (Computer Graphics) Computer Graphics (proceedings of ACM SIGGRAPH Con
ference), Vols 1-31; (Curcio) C., Curcio, K. Sloan, O. Packer, A. Hendrickson, R. Kalina, (
1987) "Dinstibutin of cones in human and monkey retina: individual varia
bility and radial asymmetry." Science 236, 579-582. (Hansen) J. Hansen, A. Anderson, P. Roed, "Eye-gaze control of multimedi
a systems." In Y.Anzai, K.Ogawa and H.Mori (eds), Symbiosis of human and
artifact. Proceedings of the 6th international conference on human com
puter interaction. Elsevier Science Publisher, Amsterdam, 1995. (Jacob) R. Jacob, "Eye tracking in advanced interface design." In W.Ba
rfield and T.Furness (eds.), Advanced interface design and virtual envir
onments. Oxford University Press, Oxford, 1995. (Kortum) P. Kortum, W. Geisler, "Implementation of a foveated image-co
ding system for bandwidth reduction of video images," SPIE Proceedings:
Human Vision and Electronics Imaging, vol. 2657, pp. 350-360, 1996. (Pardo) F. Pardo, J.A. Boluda, J.J Perez, B. Dierickx, D. Scheffer, "D
esign issues on CMOS space-variant image sensors," Proc. SPIE, Advanced
Focal Plane Proceeding and Electronic Cameras, Vol. 2950, pp. 98-107, 19
96. (Stiefelhagen) R. Stiefelhagen, J. Yang, A. Waibel, "Tracking Eyes and
Monitoring Eye Gaze," Workshop on Perceptual User Interfaces, Banff, Ca
nada, 1997 (van der Spiegel) J. van der Spiegel, G. Kreider, C. Claeys, I. Debuss
chere, G. Sandini, P. Dario, F. Fantini, P. Belluti, G. Soncini, "A fove
ated retina-like sencor using CCD technilogy,". In C. Mead & M. Ismail,
editor, Analog VLSI implementation of neural systems, chapter 8, pp. 18
9-212. Kluwer Academic Publishers, Boston, 1989. Proceedings of a works
hop on Analog Integrated Systems. (Velichovsky) B. Velichkovsky, "Communicating attention: Gaze position
transfer in cooperative problem solving." Pragmatics and Cognition, 3(2
), 199-222, 1995. (Wodnicki) R. Wodnicki, G.W. Roberts & M.D. Levine, "A foveated image
sensor in standard CMOS technology," Proc. Custom Integrated Circuits Co
nf., pp. 357-360, 1995.
actuator: the spherical pointing motor," IEEE Transactions Robotics and
Automation, vol. 10, pp. 298-3008, 1994. (Baluja) S. Baluja, D. Pomerlear, "Non-intrusive gaze-tracking using a
rtificial neural networks." Neural information processing systems 6, Mor
gan Kaufman Publishers, New York, 1994. (Chang) E. Chang, C. Yap, "A wavelet approach to foveating images" ACM Symposium on Computational Geometry, Vol 13, 1997. (Computer Graphics) Computer Graphics (proceedings of ACM SIGGRAPH Con
ference), Vols 1-31; (Curcio) C., Curcio, K. Sloan, O. Packer, A. Hendrickson, R. Kalina, (
1987) "Dinstibutin of cones in human and monkey retina: individual varia
bility and radial asymmetry." Science 236, 579-582. (Hansen) J. Hansen, A. Anderson, P. Roed, "Eye-gaze control of multimedi
a systems." In Y.Anzai, K.Ogawa and H.Mori (eds), Symbiosis of human and
artifact. Proceedings of the 6th international conference on human com
puter interaction. Elsevier Science Publisher, Amsterdam, 1995. (Jacob) R. Jacob, "Eye tracking in advanced interface design." In W.Ba
rfield and T.Furness (eds.), Advanced interface design and virtual envir
onments. Oxford University Press, Oxford, 1995. (Kortum) P. Kortum, W. Geisler, "Implementation of a foveated image-co
ding system for bandwidth reduction of video images," SPIE Proceedings:
Human Vision and Electronics Imaging, vol. 2657, pp. 350-360, 1996. (Pardo) F. Pardo, J.A. Boluda, J.J Perez, B. Dierickx, D. Scheffer, "D
esign issues on CMOS space-variant image sensors," Proc. SPIE, Advanced
Focal Plane Proceeding and Electronic Cameras, Vol. 2950, pp. 98-107, 19
96. (Stiefelhagen) R. Stiefelhagen, J. Yang, A. Waibel, "Tracking Eyes and
Monitoring Eye Gaze," Workshop on Perceptual User Interfaces, Banff, Ca
nada, 1997 (van der Spiegel) J. van der Spiegel, G. Kreider, C. Claeys, I. Debuss
chere, G. Sandini, P. Dario, F. Fantini, P. Belluti, G. Soncini, "A fove
ated retina-like sencor using CCD technilogy,". In C. Mead & M. Ismail,
editor, Analog VLSI implementation of neural systems, chapter 8, pp. 18
9-212. Kluwer Academic Publishers, Boston, 1989. Proceedings of a works
hop on Analog Integrated Systems. (Velichovsky) B. Velichkovsky, "Communicating attention: Gaze position
transfer in cooperative problem solving." Pragmatics and Cognition, 3(2
), 199-222, 1995. (Wodnicki) R. Wodnicki, G.W. Roberts & M.D. Levine, "A foveated image
sensor in standard CMOS technology," Proc. Custom Integrated Circuits Co
nf., pp. 357-360, 1995.
【００５５】 本発明について、例示のための前記実施例を詳細に説明したが、このような詳
細は例示的説明ためだけのものであって、特許請求の範囲によって記載される発
明を除いて、発明の精神及び範囲から逸脱することなく、当該分野の専門家によ
って変更をなし得ることは理解されるべきである。
細は例示的説明ためだけのものであって、特許請求の範囲によって記載される発
明を除いて、発明の精神及び範囲から逸脱することなく、当該分野の専門家によ
って変更をなし得ることは理解されるべきである。
【図１】 本発明の中心窩画像表示装置の概略図である。
【図２】 画像の詳細部分を示す図である。
【図３】 中心窩領域の中心にある暗スポットを示す図である。
【図４】 選択的にマスクされた後のモザイク画像を示す図である。
【図５】 図４のマスキング前のモザイク画像を示す図である。
【図６】 図５のマスキングパターンを示す図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ， ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，Ｃ Ｕ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ， ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，Ｌ Ｋ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ， ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，Ｔ Ｍ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ ，ＺＡ，ＺＷ 【要約の続き】 する工程がある。次に、詳細部分を広域イメージング手 段と合成(22)する工程があり、中心窩画像が生成され る。次に、中心窩画像を所望位置に集束(3)する工程が ある。
Claims (21)
- 【請求項１】 中心窩画像表示装置であって、 コンピュータと、 コンピュータに接続され、コンピュータからの画像の詳細部分を作像するため
の詳細イメージング手段と、 画像の詳細部分を集束するためのフォーカス機構であって、イメージング手段
に隣接して配置され、コンピュータに接続されたフォーカス機構と、 コンピュータに接続され、画像の広域部分を作像するための広域イメージング
手段と、 中心窩画像を生成するために、詳細部分と広域部分を光学的に合成する合成手
段と、 中心窩画像を所望位置に集束するイメージングレンズと、 を具えており、詳細イメージング手段、フォーカス機構及び広域イメージング手
段は可動部を有しない、表示装置。 - 【請求項２】 フォーカス機構はコンピュータに接続されたアクティブマス
クを含んでいる請求項１に記載の表示装置。 - 【請求項３】 フォーカス機構には、アクティブマスクの詳細部分を集束す
るフォーカス手段が、詳細イメージング手段とアクティブマスクの間に配置され
ている請求項２に記載の表示装置。 - 【請求項４】 フォーカス機構は、詳細部分の方向をアクティブマスクから
合成手段へ変える集光レンズを含んでいる請求項３に記載の表示装置。 - 【請求項５】 合成手段は、アクティブマスクと広域イメージング手段との
間に配置されたビームスプリッタを含んでいる請求項４に記載の表示装置。 - 【請求項６】 ビームスプリッタは、アクティブマスクと広域イメージング
手段の間に、中間の角度で配置されている請求項５に記載の表示装置。 - 【請求項７】 フォーカス手段は、ｍ×ｎアレイのフォーカス手段を含んで
いる請求項６に記載の表示装置。 - 【請求項８】 詳細部分は光軸に沿っており、詳細イメージング手段とフォ
ーカス手段のアレイとの間の光軸に沿う距離Ａは、フォーカス手段のアレイとア
クティブマスクとの間の距離Ｂのｎ／ｋ倍(但し、ｋは正の整数)である請求項７
に記載の表示装置。 - 【請求項９】 ｋ＝２である請求項８に記載の表示装置。
- 【請求項１０】 各フォーカス手段の焦点距離ｆは、１／ｆ＝１／Ａ＋１／
Ｂである請求項９に記載の表示装置。 - 【請求項１１】 広域部分に存在する詳細部分を認識するポインティング装
置を含んでいる請求項１０に記載の表示装置。 - 【請求項１２】 ビームスプリッタは、アクティブマスクと広域イメージン
グ手段との間に、４５度の角度で配置されている請求項５に記載の表示装置。 - 【請求項１３】 ビームスプリッタはハーフシルバーミラーである請求項５
に記載の表示装置。 - 【請求項１４】 中心窩画像を生成する方法であって、 詳細イメージング手段を用いて、詳細イメージング手段に接続されたコンピュ
ータから、画像の詳細部分を生成する工程と、 広域イメージング手段を用いて、広域イメージング手段に接続されたコンピュ
ータから、画像の広域部分を生成する工程と、 中心窩画像を生成するために、詳細部分と広域部分を合成する工程と、 中心窩画像を所望位置に集束する工程と、 を含んでいる方法。 - 【請求項１５】 合成工程は、詳細画像及び広域画像をビームスプリッタ上
に集束する工程を含んでいる請求項１４に記載の方法。 - 【請求項１６】 広域画像を生成する工程は、コンピュータから広域画像を
取り出す工程と、取り出された広域画像に、コンピュータによって計算された暗
スポット画像を多重化する工程を含んでいる請求項１５に記載の方法。 - 【請求項１７】 多重化工程の前に、暗スポットの中心が表示装置の中心窩
領域に位置するように計算する工程がある請求項１６に記載の方法。 - 【請求項１８】 計算工程は、暗スポットが、詳細部分と広域部分との間で
漸次的空間遷移するサイズとなるように計算する工程を含んでいる請求項１７に
記載の方法。 - 【請求項１９】 詳細部分を生成する工程は、コンピュータから、トロイダ
ルトポロジーの矩形アレイのアクティブピクセルからなる詳細部分を得る工程を
含んでいる請求項１８に記載の方法。 - 【請求項２０】 合成工程の前に、中心窩領域を囲む選択的透明スポット以
外の全ての場所への光の透過を阻止するアクティブマスクを通じて、詳細画像を
投写する工程がある請求項１９に記載の方法。 - 【請求項２１】 投写工程は、透明スポットが暗スポットと光学的に一致す
るように透明スポットを位置決めする工程を含んでいる請求項１９に記載の方法
。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12876599P | 1999-04-08 | 1999-04-08 | |
| US60/128,765 | 1999-04-08 | ||
| PCT/US2000/009275 WO2000062543A1 (en) | 1999-04-08 | 2000-04-07 | Extremely high resolution foveated display |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002542505A true JP2002542505A (ja) | 2002-12-10 |
Family
ID=22436869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000611496A Withdrawn JP2002542505A (ja) | 1999-04-08 | 2000-04-07 | 超解像力を有する中心窩画像表示装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6351335B1 (ja) |
| EP (1) | EP1190571A1 (ja) |
| JP (1) | JP2002542505A (ja) |
| AU (1) | AU4211000A (ja) |
| WO (1) | WO2000062543A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010525746A (ja) * | 2007-04-25 | 2010-07-22 | チャウム，デイビッド | 相互作用と圧縮とを有するビデオコピー防止システム |
Families Citing this family (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6535644B1 (en) * | 1999-07-01 | 2003-03-18 | Koninklijke Philips Electronics N.V. | Hierarchical foveation based on wavelets |
| US7499594B2 (en) * | 2002-04-15 | 2009-03-03 | At&T Intellectual Property 1, L.P. | Multi-resolution predictive foveation for bandwidth reduction of moving images |
| US7010169B2 (en) * | 2002-04-15 | 2006-03-07 | Sbc Technology Resources, Inc. | Multi-point predictive foveation for bandwidth reduction of moving images |
| DE10311306A1 (de) * | 2003-03-14 | 2004-09-23 | Carl Zeiss | Bildanzeigeeinrichtung |
| US7872635B2 (en) * | 2003-05-15 | 2011-01-18 | Optimetrics, Inc. | Foveated display eye-tracking system and method |
| US20050116968A1 (en) * | 2003-12-02 | 2005-06-02 | John Barrus | Multi-capability display |
| US7488072B2 (en) * | 2003-12-04 | 2009-02-10 | New York University | Eye tracked foveal display by controlled illumination |
| US7414595B1 (en) | 2003-12-07 | 2008-08-19 | Advanced Simulation Displays Co. | Virtual mosaic wide field of view display system |
| US7561143B1 (en) * | 2004-03-19 | 2009-07-14 | The University of the Arts | Using gaze actions to interact with a display |
| US7679443B2 (en) * | 2006-08-31 | 2010-03-16 | Texas Instruments Incorporated | System and method for common mode translation |
| US20080231763A1 (en) * | 2007-03-21 | 2008-09-25 | Texas Instruments Incorporated | System and method for displaying and capturing images |
| US7761068B2 (en) * | 2007-03-23 | 2010-07-20 | Texas Instruments Incorporated | System and method for a time alignment analog notch |
| US9870629B2 (en) * | 2008-06-20 | 2018-01-16 | New Bis Safe Luxco S.À R.L | Methods, apparatus and systems for data visualization and related applications |
| US20100237895A1 (en) * | 2009-03-19 | 2010-09-23 | Kyo Young Chung | System and method for characterizing solar cell conversion performance and detecting defects in a solar cell |
| US20100236035A1 (en) * | 2009-03-19 | 2010-09-23 | Kyo Young Chung | System and method for detecting defects in a solar cell and repairing and characterizing a solar cell |
| US20130125155A1 (en) * | 2010-07-26 | 2013-05-16 | Thomson Licensing | Dynamic adaptation of displayed video quality based on viewers' context |
| US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US8184069B1 (en) * | 2011-06-20 | 2012-05-22 | Google Inc. | Systems and methods for adaptive transmission of data |
| US9153195B2 (en) | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
| WO2013028908A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
| CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| JP6144681B2 (ja) | 2011-08-30 | 2017-06-07 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ |
| US8998414B2 (en) | 2011-09-26 | 2015-04-07 | Microsoft Technology Licensing, Llc | Integrated eye tracking and display system |
| US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
| WO2014129216A1 (ja) * | 2013-02-21 | 2014-08-28 | 富士フイルム株式会社 | 撮像装置 |
| US9898081B2 (en) | 2013-03-04 | 2018-02-20 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US10082870B2 (en) | 2013-03-04 | 2018-09-25 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US11714487B2 (en) | 2013-03-04 | 2023-08-01 | Tobii Ab | Gaze and smooth pursuit based continuous foveal adjustment |
| US9665171B1 (en) | 2013-03-04 | 2017-05-30 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US10895908B2 (en) | 2013-03-04 | 2021-01-19 | Tobii Ab | Targeting saccade landing prediction using visual history |
| US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
| US9143880B2 (en) | 2013-08-23 | 2015-09-22 | Tobii Ab | Systems and methods for providing audio to a user based on gaze input |
| EP3036620B1 (en) | 2013-08-23 | 2017-03-29 | Tobii AB | Systems and methods for providing audio to a user based on gaze input |
| CN104469343B (zh) * | 2014-11-26 | 2017-02-01 | 北京智谷技术服务有限公司 | 光场显示控制方法和装置、光场显示设备 |
| US11284109B2 (en) | 2016-01-29 | 2022-03-22 | Cable Television Laboratories, Inc. | Visual coding for sensitivities to light, color and spatial resolution in human visual system |
| US10110935B2 (en) * | 2016-01-29 | 2018-10-23 | Cable Television Laboratories, Inc | Systems and methods for video delivery based upon saccadic eye motion |
| DE102016201567A1 (de) * | 2016-02-02 | 2017-08-03 | Robert Bosch Gmbh | Projektionsvorrichtung für eine Datenbrille, Verfahren zum Darstellen von Bildinformationen mittels einer Projektionsvorrichtung und Steuergerät |
| JP6632443B2 (ja) * | 2016-03-23 | 2020-01-22 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
| US10460704B2 (en) | 2016-04-01 | 2019-10-29 | Movidius Limited | Systems and methods for head-mounted display adapted to human visual mechanism |
| US10330935B2 (en) | 2016-09-22 | 2019-06-25 | Apple Inc. | Predictive, foveated virtual reality system |
| US9711072B1 (en) * | 2016-12-01 | 2017-07-18 | Varjo Technologies Oy | Display apparatus and method of displaying using focus and context displays |
| US10664049B2 (en) | 2016-12-09 | 2020-05-26 | Nvidia Corporation | Systems and methods for gaze tracking |
| CN110679147B (zh) * | 2017-03-22 | 2022-03-08 | 奇跃公司 | 用于显示***的基于深度的凹式渲染 |
| US10417975B2 (en) | 2017-04-03 | 2019-09-17 | Microsoft Technology Licensing, Llc | Wide field of view scanning display |
| US10499021B2 (en) | 2017-04-11 | 2019-12-03 | Microsoft Technology Licensing, Llc | Foveated MEMS scanning display |
| US10867368B1 (en) | 2017-09-29 | 2020-12-15 | Apple Inc. | Foveated image capture for power efficient video see-through |
| US10511842B2 (en) | 2017-10-06 | 2019-12-17 | Qualcomm Incorporated | System and method for foveated compression of image frames in a system on a chip |
| US10948723B1 (en) * | 2017-12-15 | 2021-03-16 | Facebook Technologies, Llc | Multi-line scanning display for near-eye displays |
| US10949947B2 (en) | 2017-12-29 | 2021-03-16 | Intel Corporation | Foveated image rendering for head-mounted display devices |
| EP3765943A4 (en) | 2018-03-16 | 2021-12-22 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
| US11435577B2 (en) * | 2018-04-25 | 2022-09-06 | Dhanushan Balachandreswaran | Foveated projection system to produce ocular resolution near-eye displays |
| CN109556574B (zh) * | 2018-10-26 | 2021-02-12 | 北京理工大学 | 一种基于小凹***的位姿检测*** |
| US10791323B2 (en) * | 2018-12-18 | 2020-09-29 | Varjo Technologies Oy | System and method for processing images for display apparatus |
| US10853993B2 (en) | 2018-12-18 | 2020-12-01 | Varjo Technologies Oy | System and method for producing images for display apparatus |
| US11212537B2 (en) | 2019-03-28 | 2021-12-28 | Advanced Micro Devices, Inc. | Side information for video data transmission |
| US10554940B1 (en) * | 2019-03-29 | 2020-02-04 | Razmik Ghazaryan | Method and apparatus for a variable-resolution screen |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8518803D0 (en) * | 1985-07-25 | 1985-08-29 | Rca Corp | Locating target patterns within images |
| US4775935A (en) * | 1986-09-22 | 1988-10-04 | Westinghouse Electric Corp. | Video merchandising system with variable and adoptive product sequence presentation order |
| US5063603A (en) * | 1989-11-06 | 1991-11-05 | David Sarnoff Research Center, Inc. | Dynamic method for recognizing objects and image processing system therefor |
| US5610653A (en) * | 1992-02-07 | 1997-03-11 | Abecassis; Max | Method and system for automatically tracking a zoomed video image |
| JP3631848B2 (ja) * | 1996-06-28 | 2005-03-23 | 富士通株式会社 | 画像表示システム |
| US6252989B1 (en) * | 1997-01-07 | 2001-06-26 | Board Of The Regents, The University Of Texas System | Foveated image coding system and method for image bandwidth reduction |
| DE69839542D1 (de) * | 1997-08-07 | 2008-07-10 | Hitachi Ltd | Farbbildanzeigeeinrichtung und -verfahren |
-
2000
- 2000-04-07 WO PCT/US2000/009275 patent/WO2000062543A1/en not_active Application Discontinuation
- 2000-04-07 EP EP00921846A patent/EP1190571A1/en not_active Withdrawn
- 2000-04-07 AU AU42110/00A patent/AU4211000A/en not_active Abandoned
- 2000-04-07 US US09/543,959 patent/US6351335B1/en not_active Expired - Lifetime
- 2000-04-07 JP JP2000611496A patent/JP2002542505A/ja not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010525746A (ja) * | 2007-04-25 | 2010-07-22 | チャウム，デイビッド | 相互作用と圧縮とを有するビデオコピー防止システム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1190571A1 (en) | 2002-03-27 |
| WO2000062543A1 (en) | 2000-10-19 |
| AU4211000A (en) | 2000-11-14 |
| US6351335B1 (en) | 2002-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002542505A (ja) | 超解像力を有する中心窩画像表示装置 | |
| KR102291658B1 (ko) | 동적 시야 가변 초점 디스플레이 시스템 | |
| US11551602B2 (en) | Non-uniform resolution, large field-of-view headworn display | |
| US6445365B1 (en) | Image display apparatus and image photographing apparatus therefor | |
| US20170208312A1 (en) | Apparatus and method for a dynamic "region of interest" in a display system | |
| US8537204B2 (en) | 3D television broadcasting system | |
| US9812096B2 (en) | Eye mounted displays and systems using eye mounted displays | |
| US7129981B2 (en) | Rendering system and method for images having differing foveal area and peripheral view area resolutions | |
| US8130260B2 (en) | System and method for 3-dimensional display of image data | |
| RU2693329C2 (ru) | Способ и устройство отображения с оптимизацией перераспределения пикселей | |
| US8786675B2 (en) | Systems using eye mounted displays | |
| US11756279B1 (en) | Techniques for depth of field blur for immersive content production systems | |
| US20040136092A1 (en) | Method for capturing and displaying a variable resolution digital panoramic image | |
| US20030198393A1 (en) | Foveal priority in stereoscopic remote viewing system | |
| JPH05150712A (ja) | 旋回可能な投射装置 | |
| US20090059364A1 (en) | Systems and methods for electronic and virtual ocular devices | |
| JPH08313843A (ja) | 視線追従方式による広視野高解像度映像提示装置 | |
| EP3763117B1 (en) | Display apparatus and method of displaying using light source and controllable scanning mirror | |
| JP3501359B2 (ja) | 全焦点撮像方法および立体表示方法 | |
| JP2020501424A (ja) | 撮像システム、およびコンテキスト画像とフォーカス画像とを作成する方法 | |
| WO2003054625A1 (en) | A panoramic stereoscopic imaging method and apparatus | |
| JP2006350257A (ja) | 走査型表示装置 | |
| JPH02291787A (ja) | 広視野表示装置 | |
| JP2638444B2 (ja) | 頭部搭載型画像表示装置 | |
| JPH1184306A (ja) | 映像観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070703 |