JP3787939B2

JP3787939B2 - 立体映像表示装置

Info

Publication number: JP3787939B2
Application number: JP04346897A
Authority: JP
Inventors: 彰佐藤
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 1997-02-27
Filing date: 1997-02-27
Publication date: 2006-06-21
Anticipated expiration: 2017-02-27
Also published as: US6201517B1; JPH10239634A

Description

【０００１】
【発明の属する技術分野】
本発明は、立体映像表示装置に関するものであり、例えば、ヘッドマウントディスプレイ{ＨＭＤ(head mounted display)}等に用いられて、立体映像を虚像として観察することを可能にする立体映像表示装置に関するものである。
【０００２】
【従来の技術】
従来のＨＭＤは、ある決められた距離に右眼用・左眼用の虚像を投影して、両眼視差に基づいて立体映像の表示を行うように構成されている。この構成よると人間の眼の焦点調節機能が無視されるため、長時間立体映像を観察すると眼が疲れるといった問題が発生する。この問題を解決することを目的とした立体映像表示装置が、特開平６−２３５８８５号公報で提案されている。この装置は、両眼の視線方向を検出することにより眼球輻輳位置を求めて、その眼球輻輳位置に虚像を投影する構成をとっている。
【０００３】
また、立体映像の表示を行う他の装置として、レーザー走査型(いわゆる網膜直接描画タイプ)のＨＭＤが米国特許第5,355,181号で提案されている。この装置によれば、レーザー走査を行いながら画像の各画素についての距離データに基づくフォーカシングを高速で行うことによって、立体映像の表示が行われる。
【０００４】
【発明が解決しようとする課題】
特開平６−２３５８８５号公報で提案されている装置には、左右両眼の輻輳位置の変化に合わせて表示映像の結像位置を自動調整し、眼球輻輳位置に結像位置を一致させるといった原理が採用されている。しかし、眼幅には個人間でバラツキがあるため、観察者の眼球輻輳位置を正確に求めるのは困難である。そして、表示映像の結像位置調整が不正確になると、眼球輻輳位置と結像位置とが一致せず、逆に眼が疲れやすくなるといった問題が発生する。
【０００５】
ところで、立体映像表示装置で遠い背景の手前に置かれた近距離の物体を見た場合、ぼやけた背景の前に輪郭のくっきりした手前の物体のエッジがはっきり見えるのが望ましい。しかし、米国特許第5,355,181号で提案されている装置によると、手前の物体のエッジにぼやけた背景の映像が入り込んでオーバーラップした状態に見えることになる。このため、立体映像が不自然になって、現実感が損なわれるといった問題が発生する。
【０００６】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、眼の疲労の少ない自然な立体映像を表示することができる立体映像表示装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明の立体映像表示装置は、Ｎ個の画素から成る原画像の各画素に各１〜Ｎ番の番号を与え任意の画素の番号をｎとした場合に、画素ｎについて、観察者の瞳ＥＰから前記瞳ＥＰが焦点を合わせている注視点までの視距離Ｌを検出する検出手段と、前記検出手段で検出された視距離Ｌ並びに色情報および輝度情報を含む画像データＡ（ｎ）及び前記瞳ＥＰから物点ＯＰまでの距離を示す距離データＢ（ｎ）から表示データＣ（ｎ）を生成する画像生成手段と、前記画像生成手段で生成された前記表示データＣ（ｎ）に基づいて画像を表示する画像表示手段と、前記画像表示手段で表示された画像を虚像として投影する画像投影手段と、前記検出手段によって検出された前記注視点の位置に前記虚像が投影されるように前記虚像の投影距離を制御する制御手段と、を備える立体映像表示装置であり、前記画像生成手段は、前記虚像が投影される虚像面における前記物点ＯＰの点像のピンボケ量ｒｎを、前記距離データＢ（ｎ）と前記視距離Ｌの差に基づいて算出し、算出された前記ピンボケ量ｒｎに応じて前記画素ｎに対するｍ個の周辺画素ｘ（ｍ）を特定し、画素ｎについての距離データＢ（ｎ）と前記周辺画素ｘ（ｍ）についての距離データＢ（ｘ（ｍ））とを比較し、Ｂ（ｘ（ｍ））≧Ｂ（ｎ）の場合に、前記周辺画素ｘ（ｍ）に対応する表示データＣ（ｘ（ｍ））に対して、前記画像データＡ（ｎ）に含まれる輝度情報を足し合わせるピンボケ処理を行うことを特徴とする。
【０００９】
また、前記画像表示手段は、前記画像生成手段で生成された表示データに基づいてレーザー光を発するレーザー光源と、前記レーザー光源から発せられたレーザー光を集光する集光レンズと、前記集光レンズで集光されたレーザー光を２次元に走査して中間像を形成するレーザー走査手段と、を有し、前記画像投影手段は、前記レーザー走査手段によって形成された中間像を虚像として投影する接眼光学系であり、前記制御手段は、前記注視点の位置に前記虚像が投影されるように前記レーザー光源と前記集光レンズとの間の距離を制御する、ことを特徴とする。
【００１０】
また、前記検出手段は、前記観察者の眼の屈折力から前記視距離Ｌを算出することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明を実施した立体映像表示装置を、図面を参照しつつ説明する。なお、この実施の形態による立体映像の表示には、複数の画素から成る原画像の画像データと、原画像の各画素についての距離データと、から生成した画像の表示データが用いられるが、上記画像データや距離データは、後述するように既存の装置のハードウェア，ソフトウェアで標準的に生成されるものである。
【００１２】
《立体映像の表示原理(図１〜図４)》
まず、この実施の形態に採用されている、立体映像の表示原理を説明する。図１は観察者Ｐが見ている表示物(リンゴと木)と投影距離Ｌ１，Ｌ２との関係を示しており、図２(ａ)はそのために準備された原画像(この原画像には全面にわたるピンボケがないものとする。)を示している。この原画像中のリンゴと木の映像を、観察者Ｐが観察する場合を考える。観察者Ｐからリンゴまでの距離と木までの距離とが異なって見えるような立体表示を行う場合、眼Ｅに優しい自然な立体映像が観察されるようにするためには、観察者Ｐの眼Ｅの焦点が合っている距離(すなわち観察者Ｐの視距離)に応じて虚像の投影距離を変えてやる必要がある。そこで、観察者Ｐからリンゴまでの距離が２ｍで、観察者Ｐから木までの距離が５０ｍの場合、眼Ｅがリンゴに焦点を合わせているときには投影距離(Ｌ１)が２ｍとなるように虚像Ｓ１を動かし、眼Ｅが木に焦点を合わせているときには投影距離(Ｌ２)が５０ｍとなるように虚像Ｓ２を動かす。
【００１３】
このとき同時に、投影する映像に立体感を高めるための画像処理を施す。つまり、観察者Ｐが２ｍ先のリンゴを見ているときには、図２(ｂ)に示すようにリンゴをくっきり見せて木の方をぼかす画像処理を行い、観察者Ｐが５０ｍ先の木を見ているときには、図２(ｃ)に示すように木をはっきり見せてリンゴをぼかす画像処理を行うのである。このように、原画像中に観察者Ｐからの距離が異なる表示物が２以上存在する場合には、各表示物を構成する画素について遠近関係(つまり距離データ)を検出し、観察者Ｐが見ていない表示物をピンボケ表示することによって、自然な遠近感のある立体映像を構成する。
【００１４】
さらに、リンゴと木が近接又はオーバーラップして観察されるときには、以下のような画像処理を行う。図３はリンゴと木が近接した映像を示しており、図４はリンゴと木がオーバーラップした映像を示している。図３，図４において、(ａ)は原画像であり、(ｂ)は観察者Ｐがリンゴを見ているときの映像であり、(ｃ)は観察者Ｐが木を見ているときの映像である。
【００１５】
観察者Ｐが２ｍ先のリンゴを見ているときには、図３(ｂ)，図４(ｂ)中の部分Ｅ１に示すように、遠景のぼけた木のエッジが近景のくっきりしたリンゴに重ならずに観察されるようなピンボケ画像の生成を行う。観察者Ｐが５０ｍ先の木を見ているときには、図３(ｃ)，図４(ｃ)中の部分Ｅ２に示すように、近景のぼけたリンゴのエッジが遠景のくっきりした木に重なって観察されるようなピンボケ画像の生成を行う。このように、観察者Ｐからの距離が異なる２以上の表示物が近接又はオーバーラップして観察される場合には、各表示物を構成する画素について遠近関係(つまり距離データ)を検出し、ピンボケさせる表示物が手前にあるときのみオーバーラップした表示を行うことによって、更に自然な遠近感のある立体映像を構成する。
【００１６】
《実施の形態の基本構成・表示手順(図５，図６)》
次に、本発明を実施した立体映像表示装置の基本的な構成を、片眼側について説明する。主な構成要素は、図５に示すように、焦点測定装置１，画像生成装置２，表示素子(液晶パネル等の２次元表示素子)３，接眼光学系４及び投影距離可変機構５である。
【００１７】
焦点測定装置１は、観察者Ｐの眼Ｅの屈折力を検出して、その屈折力に基づいて眼Ｅから注視点までの視距離(言い換えれば、眼Ｅが焦点を合わせている注視点の位置)を算出・出力する検出手段である。検出された視距離から、観察者Ｐが何メートル先を見ているかを知ることができる。
【００１８】
画像生成装置２は、焦点測定装置１で検出された視距離と画像データ及び距離データとに基づいて、後述するピンボケ処理が施された画像の表示データＣ(ｎ)を生成する画像生成手段である。表示素子３は、画像生成装置２で生成された表示データＣ(ｎ)に基づいて画像を表示する画像表示手段である。
【００１９】
接眼光学系４は、表示素子３で表示された画像を虚像として投影する画像投影手段である。投影距離可変機構５は、原画像中の表示物(例えばリンゴや木)の画角や位置を変えることなく虚像位置を遠近に動かして、眼Ｅの注視点の位置に前記虚像が投影されるように、虚像の投影距離Ｌをオートフォーカスで制御する制御手段である。
【００２０】
図６に示す基本アルゴリズムは、上記構成要素を用いて行う表示手順を示している。まず、焦点測定装置１によって、眼Ｅの視距離を検出する(＄１０)。検出された視距離と、原画像の各画素についての距離データと、から各画素のピンボケ度合い(ピンボケ量)を算出し、その結果に基づいて原画像の画像データにピンボケ処理を施して、画像の表示データを生成する(＄２０)。そして、ピンボケ処理が施された画像の表示データを表示素子３で表示し、その画像を接眼光学系４で虚像として投影し、その虚像を投影距離可変機構５で注視点の位置に投影する(＄３０)。
【００２１】
《ピンボケ処理(図７〜図１２)》
次に、画像生成装置２(図５)によって行われるピンボケ処理を説明する。Ｎ個の画素から成る原画像を準備し、各画素に１〜Ｎ番の番号を与えて任意の画素の番号をｎとする。原画像の映像{図２〜図４の各(ａ)}には、原画像の各画素ｎについて、色情報，輝度情報等から成る画像データＡ(ｎ)と、瞳ＥＰから表示物までの距離を表す距離データＢ(ｎ)と、が含まれている。例えば、図７に示すリンゴを表示する場合には、表示するリンゴの色情報，輝度情報が画像データＡ(ｎ)に蓄えられており、２ｍという距離情報が距離データＢ(ｎ)に蓄えられている{ただし、Ｂ(ｎ)の値は、距離が大きい(遠い)ほど大きいものとする。}。
【００２２】
ピンボケ処理の過程(図８)において、データＡ(ｎ)，Ｂ(ｎ)と虚像の投影距離(すなわち眼Ｅの視距離)Ｌとから算出された表示データＣ(ｎ)が、表示素子３による画像表示に用いられる。この表示データＣ(ｎ)を算出するためのピンボケ処理は、後述するように原画像のすべての画素１〜Ｎについて順次行われる(図９)。なお、データＡ(ｎ)，Ｃ(ｎ)は、一般に３原色(Ｒ，Ｇ，Ｂ)各々の輝度情報で表すことができる。
【００２３】
以下に、画素ｎについてのピンボケ処理の手順を、図９のフローチャートに基づいて説明する。なお、Ｃ(ｎ)には、初期値として輝度ゼロの情報がピンボケ処理前に入力されているものとする。まず、画素番号の初期設定(＃１０，ｎ＝１)を行った後、画素ｎについての画像のボケ量ｒｎを算出する(＃２０)。
【００２４】
ここで、ボケ量ｒｎの算出方法を図１０に基づいて説明する。図１０における各符号は以下のように定義される。
Ｉ：観察者Ｐの眼Ｅの網膜上の像面。
ＥＰ：観察者Ｐの眼Ｅの瞳。
ｒ：観察者Ｐの瞳ＥＰの半径。
Ｓ：接眼光学系４を通して観察される虚像面。
Ｒ：虚像面Ｓにおけるボケ像の半径。
ＯＰ：ボケ量ｒｎを計算しようとしている画素ｎを空間的に配置した物点。
Ｈ：観察者Ｐの瞳ＥＰから物点ＯＰまでの距離(距離データＢ(ｎ)より)。
Ｌ：観察者Ｐの瞳ＥＰから虚像面Ｓまでの距離(焦点測定装置１より)。
【００２５】
物点ＯＰが理想的な点像のとき、虚像面Ｓに観察される物点ＯＰのボケの大きさは、虚像面Ｓにおけるボケ像の半径：Ｒ＝｜ｒ×(Ｈ−Ｌ)／Ｈ｜で表される。これを角度表示(ラジアン)に直すと、ボケ量の大きさ(半径)：ｒｎ＝｜２ｒ(Ｈ−Ｌ)／ＬＨ｜(ラジアン)となる。ここで、実際の計算における瞳ＥＰの半径ｒについては、観察者Ｐの実際の瞳径を測定してもよいし、予め決められた数値(例えば１ｍｍ〜５ｍｍ)を用いてもよい。
【００２６】
図９のフローチャートに戻り、画素ｎについてのボケがその周辺に位置する画素(以下「周辺画素」ともいう。)にオーバーラップする領域を求める(＃３０)。図１１に示すように、接眼光学系２(ｆ：焦点距離)の焦点位置近傍に眼Ｅを置いて、表示素子３上の映像を観察するように構成された光学系を考えた場合、表示素子３上の距離ｐは、見かけ上、ｐ／ｆ(ラジアン)に相当する。そこで、図１２に示すように、画素ｎからその周辺に位置する任意の画素までの距離を、画素ｎの中心と上記任意の画素の中心との間隔ｄで定義し、さらに、式：ｄ／ｆ＜ｒｎを満たす位置にある周辺画素を、画素ｎがピンボケしてそのボケが上記任意の画素にオーバーラップする領域(すなわち、ピンボケ量に相当する領域)内に位置する周辺画素、と定義する。この定義にあてはまる周辺画素の番号を求め、番号の若い方から順に、周辺画素ｘ(１)，ｘ(２)，…，ｘ(ｍ)とする。図９のステップ＃４０で、周辺画素番号ｋの初期設定(ｋ＝１)を行った後、求められたｍ個の周辺画素ｘ(１)〜ｘ(ｍ)について、ｘ(１)から順番にｘ(ｍ)まで以下の処理(＃５０〜＃１００)を施してゆく。
【００２７】
周辺画素ｘ(ｋ)が画素ｎと同じか否かを判定する(＃５０)。周辺画素ｘ(ｋ)が画素ｎと異なるときは、画素ｎの周辺に位置する周辺画素ｘ(ｋ)の距離データＢ(ｘ(ｋ))と、オーバーラップさせる画素ｎの距離データＢ(ｎ)と、を比較する(＃７０)。この判定(＃７０)では、Ｂ(ｘ(ｋ))とＢ(ｎ)とがほぼ同じ値のとき{例えばＢ(ｘ(ｋ))とＢ(ｎ)との距離の差が１０ｍｍ以下のとき}には、図３(ｃ)，図４(ｃ)に示すようなボケのオーバーラップが発生するように、距離データの桁数を制限した上で距離データの比較演算を行う。距離データの桁数の制限は、例えば１０ｍｍ以下の桁を切り捨てることによって行う。
【００２８】
ステップ＃７０で、周辺画素ｘ(ｋ)よりも画素ｎの方が手前にあると判定した場合{Ｂ(ｘ(ｋ))≧Ｂ(ｎ)の場合}、Ｃ(ｘ(ｋ))の３原色の輝度情報に[Ａ(ｎ)の輝度情報／ｍ]を足し合わせる(＃８０)。これにより、画素ｎの輝度がｍ個の周辺画素ｘ(１)〜ｘ(ｍ)に均一に分散される。つまりここでは、画像データＡ(ｎ)の輝度情報を周辺画素ｘ(１)〜ｘ(ｍ)の数(ｍ)で割って足し合わせることにより、ピンボケしたｍ個の周辺画素ｘ(１)〜ｘ(ｍ)が集まってもとの画像データＡ(ｎ)の輝度と同じになるようにする。この処理によって、図３(ｃ)，図４(ｃ)に示すように、木のエッジにリンゴのボケが入り込んでオーバーラップした映像が観察されることになる。
【００２９】
一方、ステップ＃７０で、画素ｎよりも周辺画素ｘ(ｋ)の方が手前にあると判定した場合{Ｂ(ｘ(ｋ))＜Ｂ(ｎ)の場合}、Ｃ(ｘ(ｋ))を変化させない。Ｃ(ｘ(ｋ))を変化させないことによって、図３(ｂ)，図４(ｂ)に示すように、ぼやけた木の前に輪郭のくっきりしたリンゴのエッジがはっきり観察されることになる。このように、もとのピンボケしていない周辺画素ｘ(ｋ)よりも、ピンボケさせようとする画素ｎの方が観察者Ｐから見て手前にある場合にのみ、ボケのオーバーラップ{図３(ｃ)，図４(ｃ)}が発生するようにするのである。
【００３０】
ステップ＃５０の判定で周辺画素ｘ(ｋ)が画素ｎと同じときには、距離データの比較を行うまでもなく、既に蓄えられているＣ(ｎ)に[Ａ(ｎ)の輝度情報／ｍ]を足し合わせる(＃６０)。ステップ＃９０でｋ＝ｍとなるまで上記処理(＃５０〜＃１００)を繰り返し、ステップ＃１１０でｎ＝Ｎとなるまで上記処理(＃２０〜＃１２０)を繰り返すことによって、１からＮまでの全ての画素について表示データＣ(ｎ)を生成する。得られた表示データＣ(ｎ)に基づいて表示素子３で画像表示が行われ、接眼光学系４を通してピンボケの発生した映像が観察者Ｐによって観察される。
【００３１】
上記のように、画像生成装置２は、原画像{図２〜図４の各(ａ)}の各画素についてのピンボケ量ｒｎを、距離データＢ(ｎ)及び視距離Ｌから求め(＃２０)、各画素ｎについての距離データＢ(ｎ)と周辺画素ｘ(ｋ)についての距離データＢ(ｘ(ｋ))とを較べて(＃７０)、周辺画素ｘ(ｋ)よりも観察者Ｐに近い距離データＢ(ｎ)を有する画素ｎについてのみ、その画素ｎがピンボケになるように周辺画素ｘ(ｋ)の表示データＣ(ｘ(ｋ))に処理(＃８０)を施している。この処理(＃８０)では、視距離Ｌ及び距離データＢ(ｎ)に基づいて決まる複数の周辺画素ｘ(ｋ)に、画像データＡ(ｎ)の輝度情報が分配され、周辺画素ｘ(ｋ)よりも観察者Ｐから遠い距離データＢ(ｎ)を有する画素ｎについては、この処理(＃８０)は施されない。このように予め生成された画像データＡ(ｎ)及び距離データＢ(ｎ)に対してピンボケ処理を施すことによって、立体映像の立体感を向上させることができる。
【００３２】
上記ピンボケ処理に用いる画像データＡ(ｎ)や距離データＢ(ｎ)は、従来より様々な立体映像表示に用いられているものである。例えば、３次元スキャナで取り込まれた映像は、画像を構成する各画素の距離データを画像データと共に持っている。本実施の形態によれば、そういった画像でも自然な立体映像観察が可能である。また、３次元グラフィックスを生成するコンピュータやゲーム機では、画像データを生成する過程で各画素の距離データを生成し、その距離データをＺバッファと呼ばれるメモリーに蓄えている。したがって、本実施の形態によれば、それらの既存の装置のハードウェア，ソフトウェアを活かして、自然な立体映像を観察することが可能である。
【００３３】
《レーザー走査型ＨＭＤの光学構成(図１３)》
図１３に、本発明を実施したレーザー走査型のＨＭＤの光学構成を示す。このＨＭＤは、画像表示手段及び制御手段を構成する表示ユニット１０と、画像投影手段(接眼光学系)を構成するハーフミラー１６及び凹面鏡１７と、検出手段を構成する赤外透過フィルター１８及び焦点調節検出ユニット１９と、を備えている。そして、前述した立体映像表示装置における２次元の表示素子３(図５)の代わりに、レーザー走査装置１４等が画像表示手段として用いられている。
【００３４】
表示ユニット１０は、画像生成装置２(図５)で生成された表示データに基づいてレーザー光を発するレーザー光源(ドライバーを含む。)１１，レーザー光源１１から発せられたレーザー光を集光する集光レンズ１２，フォーカシング装置(例えば、リニアモーター等から成る)１３，レーザー走査装置(例えば、ポリゴンミラー，ガルバノミラー等から成る)１４及びハーフミラー１５から成っている。表示データに基づいて画像表示を行う画像表示手段は、レーザー光源１１，集光レンズ１２，レーザー走査装置１４及びハーフミラー１５で構成されている。また、眼Ｅの注視点の位置に虚像が投影されるようにレーザー光源１１と集光レンズ１２との間の距離を制御する制御手段は、集光レンズ１２とフォーカシング装置１３とで構成されている。
【００３５】
レーザー光源１１からのレーザー光は、集光レンズ１２で収束光となり、ハーフミラー１５を透過する。集光レンズ１２は、フォーカシング装置１３に結合されており、フォーカシング装置１３からの制御信号に応じて光軸方向に駆動される。ハーフミラー１５を透過したレーザー光は、レーザー走査装置１４によって２次元に走査され、中間像が形成される。レーザー走査装置１４から出たレーザー光は、ハーフミラー１５で反射されてハーフミラー１６へ向かう。そして、レーザー光はハーフミラー１６，凹面鏡１７で反射されて、ハーフミラー１６を透過した後、観察者Ｐの瞳ＥＰの位置に導かれる。
【００３６】
このように、ハーフミラー１６及び凹面鏡１７から成る接眼光学系は、レーザー走査装置１４によって形成された中間像を虚像として投影する。凹面鏡１７の反射面は、ほぼ瞳ＥＰ位置を中心とした球面状を成しており、レーザー走査装置１４は、凹面鏡１７の反射面の球面中心とほぼ等価な位置に配置されている。また、表示ユニット１０によってほぼ球面状の中間像が形成されるが、その中間像と凹面鏡１７の反射面とはほぼ同心になっている。
【００３７】
ハーフミラー１６の下側に配置されている焦点調節検出ユニット１９は、赤外線の指標を眼Ｅの網膜上に投影し、そのコントラストを計測することで眼Ｅの焦点調節の様子を検出し、その検出結果から視距離を得る仕組みになっている。焦点調節検出ユニット１９から眼Ｅまでの光路は、ハーフミラー１６で折り曲げられるが、表示ユニット１０からハーフミラー１６を通って焦点調節検出ユニット１９へ直接入射してくるレーザー光を避けるために、ハーフミラー１６と焦点調節検出ユニット１９との間に、赤外線のみを透過させる赤外透過フィルター１８が配置されている。この赤外透過フィルター１８によって、ノイズを低減することができる。
【００３８】
フォーカシングは、フォーカシング装置１３で集光レンズ１２を移動させることによって行われるが、フォーカシングにより虚像位置を調節しても、レーザー走査装置１４の走査角度で決まる像の見た目の大きさ(網膜上の像点位置)は変化しない。このように小さな集光レンズ１２を移動させることによって、像の大きさを変えることなく虚像位置を調節することができるため、立体映像表示装置全体を非常に小さくすることができる。また、このＨＭＤはレーザー光源１１を表示ユニット１０に備えた構成になっているが、表示ユニット１０とは別に光源ユニットを設け、３つのレーザー光源からの光(Ｒ，Ｇ，Ｂ)をファイバーに入力し、ファイバーの出力側端面を図１３における光源位置に配置することによって、立体映像表示装置のカラー化を達成することも可能である。
【００３９】
表示素子３(図５)のような２次元の表示素子(液晶パネル等)を用いた場合には、投影距離Ｌを変えるために表示素子３や接眼光学系４を動かすことになる。これらの構成要素は比較的サイズが大きいため、十分な精度を保って動かすことは容易ではない。また、表示素子３と接眼光学系４との間隔を変えるときに収差による像の劣化が起こらないようにするため、複雑な光学系が必要になる。図１３に示すようにレーザー走査で表示を行う表示装置を用いれば、レーザー光源１１や集光レンズ１２のように比較的小さな構成要素を動かせば済むため、より簡単に精度良く投影距離Ｌを変えることができる。しかも、接眼光学系４(図５)がハーフミラー１６と凹面鏡１７とから成っているため、簡単な構成であるにもかかわらず、像劣化のない投影が可能である。
【００４０】
《両眼視ＨＭＤの具体的構成(図１４)》
図１４は、上記ＨＭＤ(図１３)を両眼視用に構成したＨＭＤの外観を示している。このＨＭＤは、表示ユニット１０，ハーフミラー１６及び凹面鏡１７から成る観察光学系を左右両眼用にそれぞれ備えており、立体映像の観察が可能になっている。焦点調節検出ユニット１９は右眼側にのみ設けられており、この焦点調節検出ユニット１９からの信号に基づいてフォーカシング装置１３が制御されて、左右両眼のフォーカシングが行われる。また、焦点調節検出ユニット１９からの信号と画像生成装置２からの信号とに基づいて、前述したピンボケ処理が行われる。
【００４１】
【発明の効果】
以上説明したように本発明によれば、観察者の注視点位置に虚像が投影されるため、観察者の眼の疲労が少ないという効果がある。また、視距離に応じたピンボケ処理が映像に施されるため、臨場感のある自然な立体映像の観察が可能である。
【００４２】
また、ピンボケした背景にくっきりした前景が見えるという自然な遠近感が得られるため、更に臨場感の増した立体映像を観察することが可能である。この自然な遠近感表示によって、立体映像観察時の疲労が更に軽減されるという効果もある。
【００４３】
また、例えばフォーカシングのために移動させる集光レンズ等を小型化することができるので、装置全体を非常に小さくすることができる。また、接眼光学系を球面鏡，ハーフミラー等で構成することができるため、フォーカシングにおいて網膜上での投影画像の位置ずれを発生させることなく、投影距離のみを変えることができる。しかも、虚像の全面にわたって良好な結像性能を得ることができる。
【図面の簡単な説明】
【図１】本発明を実施した立体映像表示装置に採用されている表示原理を説明するための模式図。
【図２】図１における原画像及び観察される映像を示す図。
【図３】表示物が近接した原画像についてのピンボケ画像の発生状態を示す図。
【図４】表示物がオーバーラップした原画像についてのピンボケ画像の発生状態を示す図。
【図５】本発明を実施した立体映像表示装置の基本的構成要素を示すブロック図。
【図６】本発明を実施した立体映像表示装置の基本的アルゴリズムを示すフローチャート。
【図７】原画像の画像データ，距離データを説明するための図。
【図８】ピンボケ処理の過程を説明するためのブロック図。
【図９】画像に施すピンボケ処理の手順を示すフローチャート。
【図１０】ボケ量の算出を説明するための図。
【図１１】ある画素についてのボケが周辺画素にオーバーラップする領域を説明するための図。
【図１２】画素ｎについてのボケが周辺画素ｘ(１)〜ｘ(ｍ)にオーバーラップする領域を説明するための図。
【図１３】本発明を実施したレーザー走査型ＨＭＤの光学構成を模式的に示す縦断面図。
【図１４】本発明を実施した両眼視ＨＭＤの外観構成を模式的に示す斜視図。
【符号の説明】
１ …焦点測定装置
２ …画像生成装置
３ …表示素子
４ …接眼光学系
５ …投影距離可変機構
１０ …表示ユニット
１１ …レーザー光源
１２ …集光レンズ
１３ …フォーカシング装置
１４ …レーザー走査装置
１５ …ハーフミラー
１６ …ハーフミラー
１７ …凹面鏡
１８ …赤外透過フィルター
１９ …焦点調節検出ユニット

Claims

Ｎ個の画素から成る原画像の各画素に各１〜Ｎ番の番号を与え任意の画素の番号をｎとした場合に、画素ｎについて、
観察者の瞳ＥＰから前記瞳ＥＰが焦点を合わせている注視点までの視距離Ｌを検出する検出手段と、
前記検出手段で検出された視距離Ｌ並びに色情報および輝度情報を含む画像データＡ（ｎ）及び前記瞳ＥＰから物点ＯＰまでの距離を示す距離データＢ（ｎ）から表示データＣ（ｎ）を生成する画像生成手段と、
前記画像生成手段で生成された前記表示データＣ（ｎ）に基づいて画像を表示する画像表示手段と、
前記画像表示手段で表示された画像を虚像として投影する画像投影手段と、
前記検出手段によって検出された前記注視点の位置に前記虚像が投影されるように前記虚像の投影距離を制御する制御手段と、
を備える立体映像表示装置であり、
前記画像生成手段は、
前記虚像が投影される虚像面における前記物点ＯＰの点像のピンボケ量ｒｎを、前記距離データＢ（ｎ）と前記視距離Ｌの差に基づいて算出し、
算出された前記ピンボケ量ｒｎに応じて前記画素ｎに対するｍ個の周辺画素ｘ（ｍ）を特定し、
画素ｎについての距離データＢ（ｎ）と前記周辺画素ｘ（ｍ）についての距離データＢ（ｘ（ｍ））とを比較し、
Ｂ（ｘ（ｍ））≧Ｂ（ｎ）の場合に、
前記周辺画素ｘ（ｍ）に対応する表示データＣ（ｘ（ｍ））に対して、前記画像データＡ（ｎ）に含まれる輝度情報を足し合わせるピンボケ処理を行う
ことを特徴とする立体映像表示装置。
前記画像表示手段は、
前記画像生成手段で生成された表示データに基づいてレーザー光を発するレーザー光源と、
前記レーザー光源から発せられたレーザー光を集光する集光レンズと、
前記集光レンズで集光されたレーザー光を２次元に走査して中間像を形成するレーザー走査手段と、を有し、
前記画像投影手段は、前記レーザー走査手段によって形成された中間像を虚像として投影する接眼光学系であり、
前記制御手段は、前記注視点の位置に前記虚像が投影されるように前記レーザー光源と前記集光レンズとの間の距離を制御する、
ことを特徴とする請求項１に記載の立体映像表示装置。
前記検出手段は、前記観察者の眼の屈折力から前記視距離Ｌを算出することを特徴とする請求項１または請求項２に記載の立体映像表示装置。