JP2004333661A - 立体画像表示装置、立体画像表示方法および立体画像表示プログラム - Google Patents

Abstract

【課題】観察者の負担を小さくすると共に、観察者の視覚疲労を軽減するように立体画像を表示することができる立体画像表示装置、方法およびプログラムを提供する。
【解決手段】左右画像をスクリーン２に出力して、当該スクリーン２を観察する観察者の左右眼球の視差である両眼視差により立体感を生じさせる立体画像として表示する立体画像表示装置１であって、画像出力手段３と、眼球撮像結果入力手段５と、画像処理手段７と、視差補正判定手段９と、左右画像水平位相制御手段１１と、を備えた。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、両眼視差方式による立体画像を表示する立体画像表示装置、立体画像表示方法および立体画像表示プログラムに関する。
【０００２】
【従来の技術】
従来、右目用の画像である右目画像と左目用の画像である左目画像とからなる左右画像を表示画面上に表示し、この左右画像を観察者が観察することにより、両眼視差によって立体感を生じさせる立体画像が知られている。
【０００３】
この立体画像に含まれている立体像の飛び出し量が非常に大きい場合や、左右画像の間隔が瞳孔間隔以上になった際に当該左右画像を結像する開散側の視差が大きい場合、つまり、左右画像によって結像する立体像が表示画面の非常に奥に定位する場合には、輻輳・調節の不一致が激しくなり、視覚疲労が生じる。
【０００４】
この輻輳・調節の不一致を緩和するために、予め、左右画像の元となる映像から当該左右画像を編集する編集段階で、当該左右画像の水平位相を調整する水平位相調整作業が行われている。なお、輻輳・調節の不一致とは、観察者の両眼の輻輳位置と、観察者の焦点調節位置とが一致しないことを指すものである。また、この輻輳・調節の不一致によって生じる視覚疲労は、観察者が、提示されている左右画像から立体画像を認識しようとする際に生じる、目の疲れ等の疲労を指すものである。
【０００５】
しかし、輻輳・調節の不一致は、観察者が実際に左右画像のどの部分を見ているかに依存する。このため、編集段階における水平位相調整作業は、輻輳・調節の不一致を緩和するためには有効ではあるが、根本的に解決することにはならない。
【０００６】
例えば、この輻輳・調節の不一致を根本的に解決する解決方法の一つとして、「リアルタイム視線検出を用いた焦点調節補償型立体表示装置」（非特許文献１参照）がある。この焦点調節補償型立体表示装置は、輻輳・調節の不一致による視覚疲労を軽減するために、リレーレンズ系を用いて調節を制御するものであり、観察者の視線を検出するために、顎を載置する顎台や、赤外光の照射装置等が必要なものである。
【０００７】
なお、参考までに、「輻輳」とは、対象を眺めるときに左右の眼球が内向きに回転する両眼の働きのことであり、また、「開散」とは、輻輳と逆で、対象を眺めるときに左右の眼球が外向きに回転する両眼の働きのことである。さらに、「調節」とは、対象を眺めるときに眼球の水晶体の厚さを変えることによって、ピント調節することである。
【０００８】
【非特許文献１】
大村、志和、宮里著「リアルタイム視線検出を用いた焦点調節補償型立体表示装置」ＡＴＲ、３Ｄ画像コンファレンス、１９９６年、全頁
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の焦点調節補償型立体表示装置では、立体像を観察するのに顎台に自らの顎をのせることで、頭部の自由を奪われることや、赤外線の照射装置等を予め準備しておかなければならず、観察者の負担が大きいという問題がある。
【００１０】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、観察者の負担を小さくすると共に、観察者の視覚疲労を軽減するように立体画像を表示することができる立体画像表示装置、立体画像表示方法および立体画像表示プログラムを提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載の立体画像表示装置は、左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の左右眼球の視差である両眼視差により立体感を生じさせる立体画像として表示する立体画像表示装置であって、画像出力手段と、眼球撮像結果入力手段と、画像処理手段と、視差補正判定手段と、左右画像水平位相制御手段と、を備える構成とした。
【００１２】
かかる構成によれば、立体画像表示装置は、画像出力手段によって、両眼視差のない指標画像と左右画像とを提示装置に出力し、眼球撮像結果入力手段によって、提示装置で提示された指標画像および左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を入力する。なお、まず、画像出力手段によって指標画像が出力され、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果が入力され、その後、画像出力手段によって左右画像が出力され、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果が入力される。
【００１３】
また、この立体画像表示装置は、画像処理手段によって、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理して第一画像処理結果とすると共に、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理して第二画像処理結果とする。つまり、この画像処理手段によって、左右それぞれの眼球の瞳孔（黒目）の位置が検出され、左眼球の瞳孔の中心と、右眼球の瞳孔の中心との間の距離が検出される。
【００１４】
さらに、この立体画像表示装置は、視差補正判定手段によって、第一画像処理結果および第二画像処理結果から左右眼球の瞳孔間隔の差分を計測し、この差分に基づいて、左右画像による両眼視差の補正を行うかどうかを判定する。つまり、指標画像を見ている左右眼球の瞳孔間隔よりも、左右画像を見ている左右眼球の瞳孔間隔が小さい場合、左右眼球は輻輳していることになる。また、逆に、指標画像を見ている左右眼球の瞳孔間隔よりも左右画像を見ている左右眼球の瞳孔間隔が大きい場合、左右眼球は開散していることになる。こういった場合に適切な視差であるかどうかが判定されることになる。
【００１５】
その後、この立体画像表示装置は、左右画像水平位相制御手段によって、視差補正判定手段による判定結果に基づいて、左右画像の水平位相を制御する。この左右画像の位相を制御するとは、左右画像のそれぞれである左画像と右画像との水平方向の表示位置を調整することである。
【００１６】
なお、眼球を撮像した眼球撮像結果から、左右眼球の瞳孔の位置を得るための画像処理は、両眼部分の画像を切り出して、２値化処理を施したものによって行われる。この２値化処理を施す場合、予め、観察者の眼球部分に赤外光を照射しておき、瞳孔である黒目の部分を的確に把握できるような処理（赤外発光ダイオード等の赤外光照射手段と、撮像手段として赤外線カメラとによる撮像画像の処理）を施した方が好適である。
【００１７】
請求項２記載の立体画像表示装置は、請求項１に記載の立体画像表示装置において、前記画像処理手段は、黒目取得判定手段と、注視判定手段と、を備え、前記視差補正判定手段は、左右黒目距離算出手段と、輻輳・調節数値判定手段と、を備える構成とした。
【００１８】
かかる構成によれば、立体画像表示装置の画像処理手段は、黒目取得判定手段によって、観察者の左右眼球の黒目画像が取得できているかどうかを一定時間間隔で判定する。つまり、この黒目取得判定手段では、まばたき等によって、黒目画像が取得できなくなる場合を考慮して、一定間隔で黒目が取得できているかどうかを確認するためのものである。また、立体画像表示装置の画像処理手段は、注視判定手段によって、一定時間間隔における観察者の眼球の移動距離に基づいて、観察者の眼球が左右画像を注視しているかどうかを判定する。つまり、眼球の動きである眼球運動の中で、スムースパースートとサッケードとを区別することができる。スムースパースートとは、運動物体を眼球（視線）が追いかけるときに生じる連続的な低速の眼球運動である。サッケードとは、跳躍的で非常に高速度の眼球運動であり、静止している物体を見ている場合も生じるものである。
【００１９】
また、立体画像表示装置の視差補正判定手段は、左右黒目距離算出手段によって、黒目が取得できているどうかを判定する一定時間間隔毎に、左右眼球の黒目の距離である左右黒目距離を瞳孔間隔として算出する。つまり、黒目が取得できたタイミングで左右眼球の黒目、すなわち、瞳孔および虹彩部分から左右眼球の瞳孔間の距離（瞳孔間隔）が算出される。
【００２０】
そして、立体画像表示装置の視差補正判定手段は、輻輳・調節数値判定手段によって、左右黒目距離算出手段で算出された左右黒目距離と、予め設定した設定数値とに基づいて、左右画像の両眼視差の補正を行うかどうかを判定する。
【００２１】
請求項３記載の立体画像表示方法は、左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の左右眼球の視差である両眼視差により立体感を生じさせる立体画像として表示する立体画像表示方法であって、指標画像瞳孔間隔計測ステップと、左右画像瞳孔間隔計測ステップと、視差補正判定ステップと、左右画像水平位相制御ステップと、を含む手順とした。
【００２２】
かかる手順によれば、立体画像表示方法は、まず、指標画像瞳孔間隔計測ステップにおいて、両眼視差のない指標画像を観察者に提示し、この指標座標を見ている観察者の左右眼球を撮像し、この撮像した撮像結果を画像処理した画像処理結果から左右眼球の瞳孔間隔である指標画像瞳孔間隔を計測する。続いて、この立体画像表示方法は、左右画像瞳孔間隔計測ステップにおいて、左右画像を観察者に提示し、この左右画像を見ている観察者の左右眼球を撮像し、この撮像した撮像結果を画像処理した画像処理結果から左右眼球の瞳孔間隔である左右画像瞳孔間隔を計測する。
【００２３】
そして、この立体画像表示方法は、視差補正判定ステップによって、指標画像瞳孔間隔計測ステップにて計測した指標画像瞳孔間隔と、左右画像瞳孔間隔計測ステップにて計測した左右画像瞳孔間隔との差分に基づいて、左右画像の両眼視差の補正を行うかどうかを判定する。つまり、指標画像瞳孔間隔を基準として、左右画像瞳孔間隔の変動（変化値）を随時計測することによって、例えば、指標画像瞳孔間隔より左右画像瞳孔間隔が大きくなれば、観察者の左右眼球は開散していることになり、また逆に指標画像瞳孔間隔より左右画像瞳孔間隔が小さくなれば、観察者の左右眼球は輻輳していることになる。その後、この立体画像表示方法は、左右画像水平位相制御ステップにおいて、視差補正判定ステップにて判定された判定結果に基づいて、左右画像の水平位相を制御する。
【００２４】
請求項４記載の立体画像表示プログラムは、左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の左右眼球の視差である両眼視差により立体感を生じさせる立体画像として表示する装置を、画像提示手段、眼球撮像結果入力手段、画像処理手段、視差補正判定手段、左右画像水平位相制御手段、として機能させる構成とした。
【００２５】
かかる構成によれば、立体画像表示プログラムは、画像出力手段によって、両眼視差のない指標画像と左右画像とを提示装置に出力し、眼球撮像結果入力手段によって、提示装置で提示された指標画像および左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を入力する。そして、この立体画像表示プログラムは、画像処理手段によって、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理して第一画像処理結果とすると共に、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理して第二画像処理結果とする。
【００２６】
さらに、この立体画像表示プログラムは、視差補正判定手段によって、第一画像処理結果および第二画像処理結果から左右眼球の瞳孔間隔の差分を計測し、この変化値に基づいて、左右画像による両眼視差の補正を行うかどうかを判定する。その後、この立体画像表示プログラムは、左右画像水平位相制御手段によって、視差補正判定手段による判定結果に基づいて、左右画像の水平位相を制御する。
【００２７】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（立体画像表示装置の構成）
図１は、立体画像表示装置のブロック図である。この図１に示すように、立体画像表示装置１は、スクリーン（提示装置）２に出力した左右画像によって、当該左右画像を観察している観察者に立体感のある立体画像を表示して、当該立体画像を観察している観察者の眼球をカメラ４で撮像するものであり、画像出力手段３と、眼球撮像結果入力手段５と、画像処理手段７と、視差補正判定手段９と、左右画像水平位相制御手段１１とを備えている。
【００２８】
画像出力手段３は、両眼視差のない指標画像と、左眼球用の画像である左画像および右目用の画像である右画像からなる左右画像とを当該装置１の外部に接続されているスクリーン２に出力するものである。このスクリーン２が観察者によって観察される。
【００２９】
指標画像は、スクリーン２の表示面上に形成されるものであり、輻輳位置と焦点調節位置とが一致する、両眼視差のない画像である。それに対して、左右画像は、当該スクリーン２の表示面の手前や奥に立体画像を形成するものであり、適宜、輻輳位置と焦点調節位置とが変化するものである。なお、指標画像は、予め指標画像記録手段３ａに記録されており、左右画像は、予め左右画像記録手段３ｂに記録されている。また、この実施の形態では、左右画像は、左右画像記録手段３ｂに予め記録されているが、この左右画像は、適宜、この立体画像表示装置１に入力される形態でもよい。
【００３０】
眼球撮像結果入力手段５は、スクリーン２に提示されている指標画像、左右画像を観察者が観察している場合に、当該観察者の左右眼球を撮像した結果である眼球撮像結果を入力するものである。この眼球撮像結果入力手段５に入力された眼球撮像結果は画像処理手段７に出力される。なお、画像処理手段７の黒目取得判定手段７ａ（詳しくは後記する）で、まばたき等によって黒目画像が取得されていないと判定された場合、別の時刻に撮像された眼球撮像結果が画像処理手段７に出力される。また、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果には、観察者からスクリーン２までの距離が含まれているものとする。
【００３１】
また、観察者の顔を赤外発光ダイオード（図示せず、赤外光発光部）で照らして、カメラ４をスクリーン２の下部に取り付けて当該観察者の顔を撮像することで、眼球撮像結果を得て、この眼球撮像結果を入力することも可能である。この場合、このカメラ４は赤外線カメラである。
【００３２】
画像処理手段７は、眼球撮像結果に２値化処理を施して、観察者の左右眼球の瞳孔間隔を検出するもので、黒目取得判定手段７ａと、注視判定手段７ｂとを備えている。観察者の瞳孔間隔を検出する画像処理として、この実施の形態では、赤外発光ダイオード（図示せず）を用いることなく、網膜からの反射像がない場合に、瞳孔および虹彩が白目や皮膚よりも黒く写ることを利用して、カメラ４で撮像した画像の中で黒い部分（黒目画像）を手がかりとして検出する方法を採用している。なお、網膜からの反射像を手がかりとして、瞳孔間隔を検出する方法もある。また、この画像処理手段７は、黒目画像によって黒目（瞳孔および虹彩部分）の面積の計測も行うものである。
【００３３】
なお、観察者からスクリーン２までの距離が変化（前後）した場合に、左右眼球の瞳孔間隔も変化するが、黒目（瞳孔および虹彩部分）の面積も変化するので、指標画像を見ている観察者の左右眼球の瞳孔間隔と、観察者からスクリーン２までの距離とが判明しているので、これを基準として、この画像処理手段７では、観察者からスクリーン２までの距離の変化と、左右眼球の瞳孔間隔の変化とを対応付けることができる。
【００３４】
黒目取得判定手段７ａは、眼球撮像結果入力手段５に入力された眼球撮像結果に含まれている画像中において、左右眼球の瞳孔部分である黒目画像が正確に取得（撮像）できているかどうかを一定時間間隔で判定するものである。つまり、スクリーン２に出力されている左右画像を見ている観察者が動いたり、まばたきしたりした場合に、黒目を正確に取得できない場合が生じ、この黒目の位置が把握できないと、左右眼球の瞳孔間隔が正確に計測できなくなってしまうので、この黒目取得判定手段７ａは、一定時間間隔（例えば、数十ミリ秒おき）に黒目画像が正確に検出できているかどうかを判定するものである。
【００３５】
この黒目取得判定手段７ａは、眼球撮像結果に円形状の色彩の濃い部分が含まれている場合に、この色彩の濃い部分を、黒目の部分とみなして、黒目画像が取得できているものと判定するものである。
【００３６】
注視判定手段７ｂは、黒目取得判定手段７ａによって黒目画像が取得できていると判定された場合に、左右眼球がスクリーン２を注視しているかどうかを、一定時間間隔における眼球の移動距離によって判定するものである。つまり、眼球の移動距離が大きい場合、左右眼球の眼球運動が行われている途中であることになり、注視していないと判定する。眼球の移動距離が小さい場合、左右眼球の眼球運動が行われていないことになり、注視していると判定する。
【００３７】
すなわち、この画像処理手段７は、画像処理の結果、観察者の瞳孔間隔を検出し、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理したものを第一画像処理結果とし、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果を画像処理したものを第二画像処理結果として、視差補正判定手段９に出力する。なお、第一画像処理結果によって得られる、観察者が指標画像を見ている際の瞳孔間隔を基準値Ｗｏ、黒目の面積を面積Ｓｏとし、第二画像処理結果によって得られる、観察者が左右画像を見ている際の瞳孔間隔を変動値Ｗｓ、黒目の面積を面積Ｓｓとする。
【００３８】
これら画像処理手段７の黒目取得判定手段７ａおよび注視判定手段７ｂによって、眼球撮像結果に左右眼球が正確に撮像されているかどうかが判定されることとなる。つまり、この画像処理手段７により眼球撮像結果に左右眼球が正確に撮像されていないと判定された場合には、視差補正判定手段９によって左右画像の両眼視差の補正を行うかどうかの判定を下さいことになる。この場合、再度、眼球撮像結果入力手段５から画像処理手段７に眼球撮像結果が入力されることになる。
【００３９】
視差補正判定手段９は、左右画像による両眼視差が観察者に視覚疲労を生じさせないように、左右画像による両眼視差を補正するか否かを判定するもので、左右黒目距離算出手段９ａと、輻輳・調節数値判定手段９ｂとを備えている。
左右黒目距離算出手段９ａは、黒目取得判定手段７ａによって、黒目が検出されていると判定された場合、黒目の瞳孔および虹彩部分の色の違い（色差）を利用して、黒目の重心を求めて、左右眼球の黒目の距離を、瞳孔間隔として算出するものである。この実施の形態では、左右眼球の黒目の距離は、黒目の重心間の距離としている。以下、瞳孔間隔のことを左右黒目重心間距離という場合がある。なお、黒目の内側（左右の眼球間）の任意の端点間距離や、黒目の外側（左右の耳側）の任意の端点間距離としてもよい。
【００４０】
輻輳・調節数値判定手段９ｂは、左右画像による両眼視差の補正を行うかどうかを、左右眼球の焦点深度が予め設定した数値範囲に収まっているかどうかによって判定するものである。左右眼球の焦点深度は、瞳孔間隔の差分に基づいて算出できるものである。この左右眼球の焦点深度は、観察者とスクリーン２との距離（一般的に「視距離」という）の逆数をＤとすると、一般的に０．２〜０．３Ｄであると言われている。
【００４１】
例えば、観察者とスクリーン２との視距離が１ｍである場合、観察者の手前から約０．７ｍ〜約１．５ｍの範囲に左右眼球が輻輳していれば（左右眼球からの視線が交差していれば）、輻輳・調節の矛盾は生じないとされている。また、例えば、観察者とスクリーン２との視距離が２ｍである場合、観察者の手前から約１．２５ｍ〜約５ｍの範囲に左右眼球が輻輳していれば（左右眼球からの視線が交差していれば）、輻輳・調節の矛盾は生じないとされている。
【００４２】
つまり、この輻輳・調節数値判定手段９ｂは、瞳孔間隔の差分に基づいて算出した左右眼球の焦点深度が、図示を省略した記録部に記録されている数値範囲（観察者とスクリーン２との間の距離）に収まっている場合には、視差補正を行わないと判定し、画像出力手段３に、左右画像をそのままスクリーン２に出力させる制御情報である出力情報を出力する。また、この輻輳・調節数値判定手段９ｂは、瞳孔間隔の差分に基づいて算出した左右眼球の焦点深度が、図示を省略した記録部に記録されている数値範囲（観察者とスクリーン２との間の距離）に収まっていない場合には、視差補正を行うと判定し、左右画像水平位相制御手段１１に、瞳孔間隔の差分を出力する。
【００４３】
左右画像水平位相制御手段１１は、視差補正判定手段９から出力された瞳孔間隔の差分に基づいて、左右画像の水平位相を制御するものである。瞳孔間隔の差分は、基準値Ｗｏから変動値Ｗｓを減算した値で、左右眼球が輻輳していれば、差分は正の値となり、左右眼球が開散していれば、差分は負の値となる。
【００４４】
すなわち、立体映像に含まれる立体像がスクリーン２の表示面よりも飛び出した場合に、左右眼球は輻輳し、基準値Ｗｏよりも変動値Ｗｓが狭くなり、立体映像に含まれる立体像がスクリーン２の表示面よりも奥に定位した場合に、左右眼球は開散する。
【００４５】
この左右画像水平位相制御手段１１は、差分が正の値（輻輳）の場合、左右眼球からの視線が開散するように、つまり、スクリーン２の表示面上に表示される左画像の位置を左側へ、右画像の位置を右側へずらすことによって、差分がなくなるようにする情報である水平位相制御情報（視差補正）を画像出力手段３に出力する。また、この左右画像水平位相制御手段１１は、差分が負の値（開散）の場合、左右眼球からの視線が輻輳するように、つまり、スクリーン２の表示面上に表示される左画像の位置を右側へ、右画像の位置を左側へずらすことによって、差分がなくなるようにする情報である水平位相制御情報（視差補正）を画像出力手段３に出力する。
【００４６】
なお、この左右画像水平位相制御手段１１では、１回の水平位相の補正によって、急激に輻輳（開散）が変化し、見づらさが伴われる可能性があるため、１回の水平位相の補正量（左右画像の位置をずらす量）には上限値が設定されている。このため、この左右画像水平位相制御手段１１では、上限値を上回る補正が必要な場合には、複数回に分散して左右画像の水平位相の制御が行われる。
【００４７】
つまり、水平位相制御情報により、上限値以下に抑えられた補正量に基づいて、１組の左右画像の水平位相が制御され、続いて、上限値以下に抑えられた補正量に基づいて、連なる１組の左右画像の水平位相が制御され、順次、左右画像の水平位相が制御される。
【００４８】
この立体画像表示装置１によれば、画像出力手段３によって、指標座標が出力され、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果が眼球撮像結果入力手段５に入力され、その後、画像出力手段３によって、左右画像が出力され、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果が眼球撮像結果入力手段５に入力される。そして、画像処理手段７によって、指標画像を見ている観察者の左右眼球を撮像した眼球撮像結果が画像処理されて第一画像処理結果とされ、左右画像を見ている観察者の左右眼球を撮像した眼球撮像結果が画像処理されて第二画像処理結果とされる。さらに、視差補正判定手段９によって、第一画像処理結果および第二画像処理結果から左右眼球の瞳孔間隔の差分を計測し、この差分に基づいて、左右画像による両眼視差の補正を行うかどうかを判定する。その後、左右画像水平位相制御手段１１によって、視差補正判定手段９による判定結果に基づいて、左右画像の水平位相を制御する。
【００４９】
このように、基準値Ｗｏを基に、左右画像を見ている観察者の瞳孔間隔の変動値Ｗｓとの差分によって、常に、左右画像による両眼視差を補正するフィードバック制御をすることにより、輻輳位置と、焦点調節位置との矛盾を緩和することができる。つまり、視覚疲労を軽減することができる。
【００５０】
また、従来の装置のように、立体画像に含まれる立体像を観察するのに顎台に自らの顎をのせることをせずに、また、赤外線の照射装置等を予め準備しておくことなく、観察者の負担を小さくすることができると共に、観察者の視覚疲労を軽減するように立体画像を表示することができる。
【００５１】
また、この立体画像表示装置１によれば、画像処理手段７の黒目取得判定手段７ａによって、観察者の左右眼球の黒目が取得できているかどうかが一定時間間隔で判定され、注視判定手段７ｂによって、観察者の眼球が左右画像を注視しているかどうかが判定される。そして、視差補正判定手段９の左右黒目距離算出手段９ａによって、黒目画像の取得を判定する一定時間間隔毎に、左右眼球の黒目の距離である左右黒目距離を算出する。また、輻輳・調節数値判定手段９ｂによって、左右黒目距離算出手段７ｂで算出された距離（基準値Ｗｏと変動値Ｗｓとの差分による焦点深度）と、予め設定した設定数値（観察者とスクリーン２との間の距離）とに基づいて、左右画像の視差の補正を行うかどうかを判定する。これらによれば、左右画像の両眼視差の補正をするかどうかを、より正確に判定することができる。
【００５２】
（輻輳位置と焦点調節位置とについて）
次に、図３を参照して、輻輳位置と焦点調節位置とについて説明する。
図３は、輻輳位置と焦点調節位置と観察者の左右眼球とを模式的に図示したもので、図３（ａ）は、輻輳位置と焦点調節位置とが一致していない場合を示したものであり、図３（ｂ）は、輻輳位置と焦点調節位置とが一致している場合を示したものである。
【００５３】
図３（ａ）に示すように、スクリーン２の表示面上に、右目像（右画像）と左目像（左画像）とが表示されており、立体像が観察者の手前側に飛び出しているように観察者には観察される。なお、右目像（右画像）と左目像（左画像）とが表示されているところが焦点調節位置となる。また、立体像が観察されるところが輻輳位置となる。
【００５４】
図３（ｂ）に示すように、スクリーン２の表示面上に、右目像（右画像）と左目像（左画像）とが表示されており、且つ、立体像がスクリーン２の表示面上にあるように観察者には観察される。
【００５５】
つまり、図３（ａ）に示した右目像（右画像）と左目像（左画像）との水平位相を動かす（位置を調整する）ことによって、図３（ｂ）に示した右目像（右画像）と左目像（左画像）とによる立体像がスクリーン２の表示面上で観察することができる。
【００５６】
（赤外線カメラで観察者の顔画像を取得する様子について）
次に、図４を参照して、赤外線カメラで観察者の顔画像を取得する様子についいて説明する。図４は、図１に示した立体画像表示装置１に眼球撮像結果を入力するカメラ４を赤外線カメラによって構成して、当該赤外線カメラで観察者の顔画像（左右眼球を撮像した眼球撮像結果）を取得する様子を模式的に図示したものである。
【００５７】
観察者は、スクリーン２に出力された指標画像または左右画像を観察しており、当該観察者の顔面は、赤外光発光部から照射された赤外光によって、網膜の血管が映し出され、特に黒目の部分は、はっきりと赤色に着色された状態となっている。この赤外光が照射された顔面全体、或いは、左右眼球近傍のみが赤外線カメラによって撮像されており、この撮像結果が眼球撮像結果として立体画像表示装置１に入力されることとなる。
【００５８】
（瞳孔間隔と両眼視差との関係１）
次に、図５を参照して、瞳孔間隔と両眼視差との関係１（両眼視差がない場合）について説明する。
【００５９】
図５は、スクリーン２の表示面に出力された視差のない左右画像を見ている観察者の眼球を模式的に図示したものである。このときの左目と右目との瞳孔間隔を基準値Ｗｏとしている。つまり、輻輳位置と焦点調節位置とがスクリーン２の表示面上で一致している場合である。
【００６０】
（瞳孔間隔と両眼視差との関係２）
次に、図６を参照して、瞳孔間隔と両眼視差との関係２（両眼視差がある場合で、立体像が飛び出している場合）について説明する。
【００６１】
図６は、スクリーン２の表示面に出力された視差のある左右画像を見ている観察者の眼球を模式的に図示したものである。このときの左目と右目との瞳孔間隔を変動値Ｗｓとしている。つまり、輻輳位置と焦点調節位置とが一致せず、輻輳位置が観察者の手前にある場合である。この場合、左右画像による立体像が飛び出しているように観察することができる。
【００６２】
（立体画像表示装置の動作）
次に、図２に示すフローチャートを参照して、立体画像表示装置１の動作を説明する（適宜、図１参照）。
【００６３】
まず、立体画像表示装置１の画像出力手段３で両眼視差のない指標画像が出力され（Ｓ１）、この指標画像がスクリーン２に提示される。そして、この指標画像を見ている観察者の左右眼球がカメラ４によって撮像され、この撮像された結果である眼球撮像結果が眼球撮像結果入力手段５に入力される（Ｓ２）。つまり、左右画像による両眼視差によって立体感を生じる立体画像を観察するにあたり、事前にキャリブレーションをとる。すなわち、画像処理手段７によって眼球撮像結果が画像処理され、指標画像を見ている観察者の瞳孔間隔（左右黒目重心間距離）の基準値Ｗｏと、黒目の面積Ｓｏとが取得される（Ｓ３）。なお、これらＳ１からＳ３が指標画像瞳孔間隔計測ステップに相当する処理である。
【００６４】
このキャリブリレーションの後、左右画像が画像出力手段３で出力される（Ｓ４）。ここでまず、左右画像を見ている観察者の左右眼球がカメラ４によって撮像され、この撮像された結果である眼球撮像結果が眼球撮像結果入力手段５に入力される（Ｓ５）。また、これらＳ４、Ｓ５が左右画像瞳孔間隔計測ステップに相当する処理である。
【００６５】
そして、画像処理手段７によって、黒目取得手段７ａによって、眼球撮像結果によって画像中において黒目が取得されているかどうかが判定される（Ｓ６）。画像中において黒目が取得されていると判定されなかった場合（Ｓ６、Ｎｏ）には、再度、眼球撮像結果入力手段５によって、眼球撮像結果が入力される。画像中において黒目が取得されていると判定された場合（Ｓ６、Ｙｅｓ）には、注視判定手段７ｂによって、観察者が左右画像を注視しているかどうかが判定される（Ｓ７）。注視していると判定されなかった場合（Ｓ７、Ｎｏ）には、再度、眼球撮像結果入力手段５によって、眼球撮像結果が入力される。
【００６６】
そして、視差補正判定手段９の左右黒目距離算出手段９ａによって、観察者の瞳孔間隔（左右黒目重心間距離）の変動値Ｗｓと、黒目の面積Ｓｓが取得される（Ｓ８）。また、輻輳・調節数値判定手段９ｂによって、左右画像の視差の補正が必要であるかどうかが判定される（Ｓ９）。左右画像の視差の補正が必要であると判定されなかった場合（Ｓ９、Ｎｏ）には、視差補正判定手段９から出力情報が画像出力手段３に出力され（Ｓ１０）、これによって、視差を補正しないそのままの左右画像が画像出力手段３から出力される。左右画像の視差の補正が必要であると判定された場合（Ｓ９、Ｙｅｓ）には、左右画像の位相を制御する水平位相補正情報が左右画像水平位相制御手段１１から画像出力手段３に出力される（Ｓ１１）。
【００６７】
その後、左右画像の出力による立体画像の表示を終了させるかどうかが判定され（Ｓ１２）、終了と判定された場合（Ｓ１２、Ｙｅｓ）、立体画像表示装置１の動作は終了し、終了すると判定されなかった場合（Ｓ１２、Ｎｏ）、Ｓ５に戻って、眼球撮像結果が眼球撮像結果入力手段５に入力される。
【００６８】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、立体画像表示装置１の各構成の処理を一つずつの過程ととらえた立体画像表示方法とみなすことや、各構成の処理を汎用的なコンピュータ言語で記述した立体画像表示プログラムとみなすことは可能である。これらの場合、立体画像表示装置１と同様の効果を得ることができる。
【００６９】
【発明の効果】
請求項１、３、４記載の発明によれば、従来の装置のように立体画像に含まれる立体像を観察するのに顎台に自らの顎をのせることをせずに、また、赤外線の照射装置等を予め準備しておくことなく、観察者の負担を小さくすることができると共に、左右画像を見ている観察者の瞳孔間隔の差分によって、常に、左右画像による両眼視差を補正するフィードバック制御をすることにより、輻輳位置と、焦点調節位置との矛盾を緩和することができ、視覚疲労を軽減することができる。
【００７０】
請求項２記載の発明によれば、観察者の左右眼球の黒目画像が取得できているかどうかが一定時間間隔で判定され、観察者の眼球が左右画像を注視しているかどうかが判定される。そして、この一定時間間隔毎に、左右眼球の黒目の距離である左右黒目距離が算出される。また、瞳孔間隔と、一定時間前に算出された瞳孔間隔との差分によって、瞳孔間隔の差分による焦点深度と、予め設定した設定数値とに基づいて、左右画像の視差の補正を行うかどうかが判定される。これらによって、左右画像の両眼視差の補正をするかどうかを、より正確に判定することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である立体画像表示装置のブロック図である。
【図２】図１に示した立体画像表示装置の動作を説明したフローチャートである。
【図３】輻輳位置と焦点調節位置との関係を説明した図である。
【図４】赤外線カメラで観察者の顔画像を取得している様子を模式的に描いた図である。
【図５】瞳孔間隔と両眼視差との関係を説明した図である（視差がない場合）。
【図６】瞳孔間隔と両眼視差との関係を説明した図である（視差がある場合）。
【符号の説明】
１ 立体画像表示装置
２ スクリーン
３ 画像出力手段
３ａ 指標画像記録手段
３ｂ 左右画像記録手段
４ カメラ
５ 眼球撮像結果入力手段
７ 画像処理手段
７ａ 黒目取得判定手段
７ｂ 注視判定手段
９ 視差補正判定手段
９ａ 左右黒目距離算出手段
９ｂ 輻輳・調節数値判定手段
１１ 左右画像水平位相制御手段

Claims (4)

1. 左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の両眼視差により立体感を生じさせる立体画像として表示する立体画像表示装置であって、
   両眼視差のない指標画像と前記左右画像とを前記提示装置に出力する画像出力手段と、
   前記提示装置で提示された前記指標画像および前記左右画像を見ている前記観察者の左右眼球を撮像した眼球撮像結果を入力する眼球撮像結果入力手段と、
   この眼球撮像結果入力手段に入力された前記指標画像を見ている前記眼球撮像結果を画像処理して第一画像処理結果とすると共に、前記左右画像を見ている前記眼球撮像結果を画像処理して第二画像処理結果とする画像処理手段と、
   この画像処理手段で画像処理された第一画像処理結果および第二画像処理結果から前記左右眼球の瞳孔間隔の差分を計測し、前記左右画像による両眼視差の補正を行うかどうかを判定する視差補正判定手段と、
   この視差補正判定手段による判定結果に基づいて、前記左右画像の水平位相を制御する左右画像水平位相制御手段と、
   を備えることを特徴とする立体画像表示装置。
2. 前記画像処理手段は、前記観察者の左右眼球の黒目画像が取得できているかどうかを一定時間間隔で判定する黒目取得判定手段と、
   この黒目取得判定手段による黒目画像の取得を判定する一定時間間隔毎に、前記観察者の眼球が前記左右画像を注視しているかどうかを判定する注視判定手段と、を備え、
   前記視差補正判定手段は、前記左右眼球の黒目の距離である左右黒目距離を瞳孔間隔として算出する左右黒目距離算出手段と、
   この左右黒目距離算出手段で算出された左右黒目距離と、予め設定した設定数値とに基づいて、前記左右画像の両眼視差の補正を行うかどうかを判定する輻輳・調節数値判定手段と、
   を備えることを特徴とする請求項１に記載の立体画像表示装置。
3. 左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の両眼視差により立体感を生じさせる立体画像として表示する立体画像表示方法であって、
   両眼視差のない指標画像を前記提示装置に出力して前記観察者に提示し、この指標画像を見ている前記観察者の左右眼球を撮像した眼球撮像結果を画像処理した画像処理結果から前記左右眼球の瞳孔間隔である指標画像瞳孔間隔を計測する指標画像瞳孔間隔計測ステップと、
   前記左右画像を前記提示装置に出力して前記観察者に提示し、この左右画像を見ている前記観察者の左右眼球を撮像した眼球撮像結果を画像処理した画像処理結果から前記左右眼球の瞳孔間隔である左右画像瞳孔間隔を計測する左右画像瞳孔間隔計測ステップと、
   前記指標画像瞳孔間隔計測ステップにて計測した指標画像瞳孔間隔と、前記左右画像瞳孔間隔計測ステップにて計測した左右画像瞳孔間隔との差分に基づいて、前記左右画像による両眼視差の補正を行うかどうかを判定する視差補正判定ステップと、
   この視差補正判定ステップによる判定結果に基づいて、前記左右画像の水平位相を制御する左右画像水平位相制御ステップと、
   を含むことを特徴とする立体画像表示方法。
4. 左眼用の左眼画像と右眼用の右眼画像とからなる左右画像を提示装置に出力して、当該提示装置を観察する観察者の両眼視差により立体感を生じさせる立体画像として表示する装置を、
   両眼視差のない指標画像と前記左右画像とを前記提示装置に出力する画像出力手段、
   この画像出力手段で出力され前記提示装置に提示された前記指標画像および前記左右画像を見ている前記観察者の左右眼球を撮像した眼球撮像結果を入力する眼球撮像結果入力手段、
   この眼球撮像結果入力手段で入力された前記指標画像を見ている前記眼球撮像結果を画像処理して第一画像処理結果とすると共に、前記左右画像を見ている前記眼球撮像結果を画像処理して第二画像処理結果とする画像処理手段、
   この画像処理手段で画像処理された第一画像処理結果および第二画像処理結果から前記左右眼球の瞳孔間隔の差分を計測し、前記左右画像による両眼視差の補正を行うかどうかを判定する視差補正判定手段、
   この視差制御手段による制御に基づいて、前記左右画像の水平位相を制御する左右画像水平位相制御手段、
   として機能させることを特徴とする立体画像表示プログラム。

Images