JPWO2019017290A1 - 立体画像表示装置 - Google Patents

Abstract

【課題】広い範囲から立体画像を観察することが可能であり、どの位置から立体画像を観察しても逆視が発生することがなく、より自然で眼にも優しい立体画像を表示して、観察者の眼の衛生状態を向上させることが可能な裸眼式の立体画像表示装置を提供する。【解決手段】この立体画像表示装置は、ｍ個（ｍは３以上の整数）のピクセルを各々が含む複数の立体画素を水平方向及び垂直方向に並べて構成される画像表示パネルと、画像信号の右眼用画像フレーム及び左眼用画像フレームから画素ごとの奥行き情報を求め、奥行き情報に基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを生成する画像処理装置と、前記画像表示パネルの複数の立体画素において、前記ｍ個の視点画像フレームによって表されるｍ個の視点画像を前記ｍ個のピクセルにそれぞれ表示させる表示制御装置とを備える。【選択図】図１

Description

本発明は、立体画像表示装置に関し、特に、光線再生方式を用いた裸眼式の立体画像表示装置に関する。

従来から、立体画像表示技術は、エンターテインメントの道具として利用されることが多かった。しかし、近年においては、その有用性から医療分野などにおける利用が注目されるようになっている。

現在普及している立体画像表示装置として、アナグリフ方式、偏光方式、又は、シャッター方式などの眼鏡を使用する立体画像表示装置と、眼鏡を使用することなくパララックスバリヤー又はレンチキラーレンズによって裸眼で立体画像を認識させる立体画像表示装置とがある。これらの立体画像表示装置は、右眼と左眼とに少しずれた２つの画像をそれぞれ投入して、左右眼における視差の大小に基づいて奥行き量の大小を認識させるものである（２眼式）。

人の視覚システムにおいて、立体は、奥行き知覚と立体知覚とにより認識されるが、これまで開発されてきた立体画像制作技術や３Ｄ技術の多くは、奥行き知覚を利用するものである。しかし、人は、通常、視野中の注視点に左右眼を不随意に輻輳させて奥行き感や立体感を得る。この場合に、注視点に視差が生じなくても、人は立体知覚により立体感を伴って対象物を見ることができる。このように、日常生活の中で立体認識に頻繁に利用されるのは立体知覚であり、眼精疲労などは遥かに小さく、長時間の観察が可能である。

従来の立体画像表示装置において利用されている奥行き知覚は、自然には発生しない状況を人為的に作って非日常的な立体認識をさせるもので、左右眼における視差の大小に基づき注視点に左右眼を輻輳させることによって奥行き感が生じ、その頻度と量が生理的に疲れを発生させることとなる。このため、長時間の視聴が前提となる利用において、眼精疲労の抑制などの安全性が問題となり、従来技術では活用の幅が制限される。

また、眼鏡を使用しない立体画像表示装置として、インテグラルフォトグラフィーの原理を活用したレンチキラーレンズを用いる２次元インテグラル方式、レンズアレーを用いる３次元インテグラル方式、光線再生方式、及び、波面再生方式などの立体画像表示装置があげられる。ここで、市場でみられるインテグラル方式は、レンチキラーレンズ又はレンズアレーによって光線の方向を制御することにより、少なくとも水平方向に視差を有する２つの視差画像を左右両眼に提供するものであって、結局、実質的には２眼式に基づくものと変わらない。

図１４は、レンズアレーを使用する従来の３次元インテグラル方式の原理を説明するための図面である。撮影装置においては、被写体と高精細カメラとの間に屈折率分布レンズアレーが配置されている。屈折率分布レンズアレーの前方に配置された奥行き制御レンズは、被写体から発せられる光線を屈折率分布レンズアレーの表面に入射させる。屈折率分布レンズアレーの後方に配置された集光レンズは、屈折率分布レンズアレーを通過した光線を高精細カメラに集光し、高精細カメラは、屈折率分布レンズアレーの裏面に形成される要素画像を撮影する。

高精細カメラで取得された要素画像を表す画像信号は、表示装置に送られる。画像信号に基づいて表示装置の平面ディスプレーに表示される要素画像は、平面ディスプレーの前方に配置されたレンズアレーにより、被写体から各方向に放射される光線を代替する光線の一部として観察者の目に到達する。それにより、観察者は、立体像を認識することができる。

３次元インテグラル方式は、水平方向のみならず垂直方向の立体感をも実現しようとするものであるが、人の両眼は水平方向に沿って配置されているので垂直方向の奥行きを認知することは難しく、自然姿勢による認知可能性は残すものの、実質的には水平方向の視差に基づいて奥行きを知覚するものである。なお、パースによる奥行き知覚は、先験的知識に基づくものである。結局、この３次元インテグラル方式も、２眼式の立体認識と同様に、自然視にはない不具合を有する。

特許文献１には、インテグラルフォトグラフィー法あるいは光線再生法を用いた裸眼式の立体像表示装置が記載されている。特許文献１に記載された立体像表示装置においては、立体像に対応した複数のパターンを平面的に分割された小領域に表示する液晶表示装置の前面に、小領域に対応した複数のピンホールあるいはマイクロレンズが平面的に配置されたアレイ板が設けられている。特許文献１の発明は、表示されるべき立体像に対応した複数のパターンを離散コサイン変換して圧縮し、表示のために圧縮画像データを逆離散コサイン変換により伸張するに際し、離散コサイン変換あるいは逆離散コサイン変換を施すブロック単位と要素画像の単位とを一致させることにより、ブロックノイズを抑制して、高精細な立体像を表示できるようにすることを特徴とする。

しかし、特許文献１に係る立体像表示装置では、ピンホールあるいはマイクロレンズの密度に制約があるため、立体ディスプレーとしての画素数及び光線数に限度が生じて、十分な精細度を達成することが困難である。また、観察者の眼が想定観察位置から外れると立体画像にならない問題や、観察者の左右眼に左右の画像が逆に入射して奥行き感が逆転するいわゆる逆視が発生する問題があって、観察位置に制約がある。

特開２００６−１４８８８５号公報

そこで、上記の点に鑑み、本発明の解決しようとする課題は、広い範囲から立体画像を観察することが可能であり、どの位置から立体画像を観察しても逆視が発生することがなく、より自然で眼にも優しい立体画像を表示して、観察者の眼の衛生状態を向上させることが可能な裸眼式の立体画像表示装置を提供することである。

以上の課題の少なくとも一部を解決するため、本発明の１つの観点に係る立体画像表示装置は、ｍ個（ｍは３以上の整数）のピクセルを各々が含む複数の立体画素を水平方向及び垂直方向に並べて構成される画像表示パネルと、画像信号の右眼用画像フレーム及び左眼用画像フレームから画素ごとの奥行き情報を求め、奥行き情報に基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを生成する画像処理装置と、前記画像表示パネルの複数の立体画素において、前記ｍ個の視点画像フレームによって表されるｍ個の視点画像を前記ｍ個のピクセルにそれぞれ表示させる表示制御装置とを備える。

本発明の１つの観点に係る立体画像表示装置は、自然視における視野角から注がれる光束をサンプリングし、自然光に似せた光の配列を作り、自然視と近似する状況を作り出すことができる。右眼画像と左眼画像との位置的なずれが像の奥行きに対応することに注目して、立体画像表示装置は、右眼画像と左眼画像との内の一方の画像を基準画像として、基準画像中の画素が他方の画像においてずれている量を求めて視点の位置に換算し、それに基づいて設定されたｍ個の視点に対応するｍ個の視点画像フレームを生成してもよい。なお、それらの視点の位置は、自然視で発生する立体知覚に係る固視微動（通常約０．０５度）による微小な視点移動に基づいて定められることが望ましい。

両眼球の輻輳・開散運動、随従眼球運動、及び、衝動的眼球運動は、Ｈｅｒｉｎｇの法則に従っており、注視点を両眼視する際に発生する固視微動は、注視点における輻輳運動の微動となって現れる。例えば、画像表示パネルの水平方向画素数が１９２０の場合に、画像表示パネルから距離２Ｈ〜３Ｈ（Ｈは画像表示パネルの縦幅）だけ離れて観察者が位置すると、固視微動によって発生する視点の移動は、画像表示パネルの立体画素の３〜５個分に相当する。通常の固視微動の１周期は約５ｍ秒といわれており、ｍ個の視点画像があるときに、立体画素において、約５ｍ秒間で（１サブピクセル当たり約０．３３ｍ〜約０．５６ｍ秒の短い時間で）ｍ個の視点画像が認知されて運動視差を生じ、それに基づいて相対的な立体感や奥行き感が知覚される。

こうして生成されたｍ個の視点画像が、仮想上のｍ個のカメラの位置から撮影された画像として、複数の立体画素においてｍ個のピクセルの対応位置に表示される。従って、ｍ個の視点画像から放射される光線が同時に観察者の眼に入ることになり、観察者が自然界で観察する対象物から立体感や奥行き感を知覚する状態を光線再生法により再現することができる。

このように、本発明の１つの観点によれば、広い範囲から立体画像を観察することが可能であり、どの位置から立体画像を観察しても逆視が発生することがなく、より自然で眼にも優しい立体画像を表示して、観察者の眼の衛生状態を向上させることが可能な裸眼式の立体画像表示装置を提供することができる。

本発明の一実施形態に係る立体画像表示装置の構成例を示すブロック図である。 本発明の一実施形態に係る立体画像表示装置における立体画像表示の手順を示す工程図である。 人が対象物から放射される光を眼で受ける状況を説明するための図面である。 図１に示す画像表示パネルにおけるサブピクセルとピクセルと立体画素との関係を説明するための図面である。 図１に示す画像表示パネルにおける立体画素中のサブピクセルの別の配置例を示す図面である。 図１に示す画像表示パネルにおける立体画素中のサブピクセルのさらに別の配置例を示す図面である。 図１に示す画像表示パネルにおける立体画素中のサブピクセルのさらに別の配置例を示す図面である。 平行法で対象物を撮影したときの画像のずれを説明するための図面である。 交差法で対象物を撮影したときの画像のずれを説明するための図面である。 視点が６個の場合における視点画像とピクセルとの関係を説明するための概念図である。 本発明の一実施形態に係る立体画像表示装置の作用を説明するための概念図である。 固視微動による立体知覚の発生メカニズムを説明するための概念図である。 固視微動による立体知覚の発生メカニズムを説明するための概念図である。 レンズアレーを使用する従来の３次元インテグラル方式の原理を説明するための図面である。

本発明の一実施形態に係る立体画像表示装置は、左右眼に視差を有する画像を与えることで奥行き知覚をもたらす従来装置に対して、立体知覚の原理に基づき、より自然で眼にも優しい裸眼式の立体画像表示を実現して、観察者の眼精疲労を解消するとともに、観察位置の制約を緩和するものである。以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態に係る立体画像表示装置の構成例を示すブロック図であり、図２は、本発明の一実施形態に係る立体画像表示装置において画像信号を入力してから立体画像を表示するまでの工程を示す工程図である。

図１に示す立体画像表示装置は、対象物から全方向に放射される光をｍ個（ｍは３以上の整数）の視点においてサンプリング（畳み込み）して得られたｍ個の光線で画像を表示する光線再生法を用いたもので、画像表示パネル１００と、画像処理装置２００と、表示制御装置３００とを含んでいる。画像処理装置２００及び表示制御装置３００は、それぞれの信号処理プロセッサー又は一体の信号処理プロセッサーで構成して、画像信号の１フレームごとに一連の処理を可能にすることが好ましい。

画像表示パネル１００は、ｍ個のピクセルを各々が含む複数の立体画素（ポリゴン）を水平方向及び垂直方向に並べて構成される。立体画素は、ｍ個の視点画像（多視点画像）を１つの画面に重畳して表示するために用いられる。ｍ個のピクセルの各々は、光の３原色を表示する複数のサブピクセルを含んでもよい。サブピクセルは、画像信号で変調される各色の光を放射する最小画素要素である。

例えば、画像表示パネル１００として、透過型又は反射型の液晶や有機ＥＬ（ＯＬＥＤ：Organic Light Emitting Diode）などの２Ｄ用表示パネル、特に、高精細テレビ用の表示パネルを利用することができる。あるいは、ランプと、画像表示パネル１００と、投射レンズ部とを含み、ランプの光を画像表示パネル１００及び投射レンズ部を介してスクリーンに向けて射出するビデオプロジェクターが、立体画像表示装置に設けられてもよい。

画像表示パネル１００が表示する画像は、視点数（ｍ個）の視点画像を複合したものであり、各々の立体画素がｍ個のピクセルを含むので、２Ｋ、４Ｋ、又は、８Ｋテレビなどにも使用される高精細表示パネルを使うことが好ましい。画像表示パネル１００においては、光の３原色ＲＧＢを表示する各色のサブピクセルが、表示領域の全面に亘って配置されている。

画像処理装置２００は、画像信号の右眼用画像フレーム及び左眼用画像フレームから、画素ごとの奥行き情報として視差マトリックス（Ｒ−Ｌマトリックス）を求め、奥行き情報に基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを生成する。画像処理装置２００は、アナログ回路、デジタル回路、又は、ＣＰＵとソフトウェアで構成することができる。

図１に示すように、画像処理装置２００は、機能ブロックとして、分配部１と、フレームメモリー２及び３と、列総和算定部４及び５と、列総和比較部６と、視差マトリックス生成部７と、視点画像生成部８と、重み付け関数発生部１０とを含み、画像信号変換部１１及びフレーム選択部１２をさらに含んでも良い。

例えば、画像処理装置２００は、右眼用画像フレーム及び左眼用画像フレームを格納し、各フレームの画素値を列ごとに垂直方向に積算して列総和を求め、列総和を両フレーム間で比較することによって両フレームの画像中の重複領域を特定し、両フレームの画像の位置関係を調整する。

その後、画像処理装置２００は、両フレームにおいて対応する画素画像の位置のずれに基づいて画素ごとの奥行き情報を求め、重み付けされた奥行き情報に基づいて一方のフレーム中の画素画像を水平方向に移動させることにより、一方のフレームを含めてｍ個の視点画像フレームを生成する。

表示制御装置３００は、画像表示パネル１００の複数の立体画素において、ｍ個の視点画像フレームによって表されるｍ個の視点画像をｍ個のピクセルにそれぞれ表示させる。そのために、表示制御装置３００は、ｍ個の視点画像フレームを格納する画像メモリー９を含み、デジタル回路等で構成される。

図３は、人が対象物から放射される光を眼で受ける状況を説明するための図面である。自然界では、３６０度あらゆる方向から光が来る。しかし、人が対象物を注視するときには、１〜２度程度の視野角内の領域（注視点）しか見えない。注視点に輻輳される視線によって注視点視野内で見える奥行き情報により立体知覚がもたらされ、この視野外の画像は立体知覚に寄与しない。従って、１〜２度程度の視野角内に収まる複数の光線を画像表示パネル１００（図１）の表示精度内で畳み込む（サンプリングする）ことにより、画像表示パネル１００から放射される光線を自然の光線に似せることができる。なお、サンプル光の数が多いほど、違和感の少ない画像再現が可能になる。

奥行き情報は、眼球に配置された６本の筋肉の内で、眼球を水平方向に回転させる内直筋及び外直筋の収縮・伸張情報からもたらされる。内直筋及び外直筋の収縮・伸張は、両眼球の輻輳・開散運動、随従眼球運動（パシュート）、及び、衝動的眼球運動（サッカード）で起こる。ここで注目されるものが、固視微動である。眼球は、それぞれ異なる周期を持った瞳孔揺動、微動調節運動、及び、固視微動などで常に動揺している。固視微動としては、マイクロサッカード、ドリフト、及び、トレモアなどが知られている。眼球が動揺すると、視線の奥行きが変化し、複数の視点画像を取得することができる。

立体知覚に特に関係が深いのは、不随意に発生する微弱な動揺であるマイクロサッカードであり、１〜３Ｈｚ程度の周期で眼球が動揺する。眼球の固視微動による回転角は、通常０．０５度程度と計測されている。また、その速度は、１０度／秒程度と計測されている。固視微動によって眼球が回転すると、対象物に対する観察者の視線も変化する。例えば、観察者における観察点Ａ（ｉ）から対象物における注視点Ｂに向かう視線Ｌ（ｉ）が、観察点Ａ（ｉ）から距離Ｄだけ離れたもう１つの観察点Ａ（ｉ＋１）から注視点Ｂに向かう視線Ｌ（ｉ＋１）に変化する。ここで、対象物が観察者に近いほど、視線Ｌ（ｉ）と視線Ｌ（ｉ＋１）とがなす角が大きくなる。

視線が変化することによって観察者が認識する注視点Ｂの位置が変化すると仮定して、視線Ｌ（ｉ）及びＬ（ｉ＋１）を平行移動することにより、観察点Ａ（ｉ）の位置と観察点Ａ（ｉ＋１）の位置とが一致する状態を考える。そのような状態においては、注視点Ｂが、距離Ｄだけ離れた２つの注視点Ｂ（ｉ）及びＢ（ｉ＋１）として見えることになる。固視微動は所定の周期で繰り返されるので、ｍ個の注視点Ｂ（ｉ）、Ｂ（ｉ＋１）、Ｂ（ｉ＋２）、・・・に対応するｍ個の視点画像を１つの画面に表示することにより、自然視における固視微動によって発生する注視点の移動を表示画面上に具現化することができる。ここで、対象物が観察者に近いほど、視点画像間の距離が大きくなる。

基本的に、身体の知覚センサーは、刺激が閾値を超えるときに着火するようにできている。固視微動により注視領域からの光の変化を検知し、脳に伝達することにより立体知覚が生まれる。なお、相対的な奥行きを弁別するための最小遅延時間は約１６０μ秒であり、両眼視差に換算して約２秒とされている。

次に、図４〜図７を参照しながら、対象物から放射される光を画像表示パネルの複数の立体画素に表示させる手法を説明する。
図４は、図１に示す画像表示パネルにおけるサブピクセルとピクセルと立体画素との関係を説明するための図面である。図４に示す画像表示パネルにおいては、同じ色を表示する複数のサブピクセルが、縦方向（垂直方向）に並ぶように配置されている。

図４には、赤を表示するサブピクセルＲと、緑を表示するサブピクセルＧと、青を表示するサブピクセルＢとが、横方向（水平方向）に隣り合わせて繰り返し並んだストライプ型配置が示されている。各々のピクセルは、１個のサブピクセルＲと、１個のサブピクセルＧと、１個のサブピクセルＢとで構成される。また、各々の立体画素は、視点数（ｍ個）のピクセルで構成される。図４は、視点数が６の場合を例示するもので、１個の立体画素中に６個のピクセル、すなわち、１８個のサブピクセルが含まれている。

一般的なテレビ受像機の表示パネルにおけるピクセルは、水平方向に並んだＲＧＢサブピクセルで構成されるが、図４に示す画像表示パネルで利用されるピクセルは、立体画素の横幅を抑えるために、画像表示パネルにおいて隣り合う複数のライン（行）に配置された複数のサブピクセルを含んでいる。例えば、図中に線分でつないで示すように、隣の行かつ隣の列の互いに近い位置にあるサブピクセルが斜めに並ぶように選択される。

各々のピクセルに含まれている複数のサブピクセルがすべて点灯したときにピクセルの発光の中心として観察される位置を光重心と呼ぶと、図中に白丸で示すように、画像表示パネルの各々の立体画素において、ｍ個のピクセルは、ピクセルの光重心が順次隣接して水平方向に並ぶように配置されていることが好ましい。なお、図４に示す例においては、ピクセルが右上がりに傾くようにサブピクセルを選択しているが、ピクセルが反対方向に傾くようにサブピクセルを選択してもよい。

立体画素は、画像表示パネルの表示領域の全面に亘り水平方向及び垂直方向に繰り返し並んで、行列を形成している。例えば、２Ｋテレビ用の表示パネルの場合には、ＲＧＢサブピクセルが横に並んで構成されるピクセルが水平方向に１９２０個、垂直方向に１０８０個並んでいるので、立体画素は、水平方向に９６０個、垂直方向に３６０個配置された行列を形成する。立体画素の大きさを、視力１．０で画像表示パネルを見る観察者にとって視線の見込み角が１分程度以下になるようにすると、観察者は、立体画素内のピクセルを区別することができず、立体画素を点として認識することになる。

立体画素に対する視線の見込み角は、立体画素のサイズに応じて観察距離を選択することにより、適切に調整することができる。例えば、画像表示パネルの水平方向画素数が１９２０の場合に、画像表示パネルから距離２Ｈ〜３Ｈ（Ｈは画像表示パネルの縦幅）だけ離れて観察者が位置することにより、固視微動によって発生する視点の移動は、画像表示パネルの立体画素の３〜５個分に相当する。

パネルの精細度が上がれば、より多くの視点画像を表示することが可能になる。視点数が大きくなるほど、より自然な立体感が得られる。また、スクリーン中の立体画素の数が大きくなるほど、精細な画像を得ることができる。例えば、４Ｋテレビ用の表示パネルにおいては、水平方向に３８４０個、垂直方向に２１６０個のピクセルが並んでいるので、水平方向に並んだ９個のピクセルを用いて９個の視点画像を表示するようにしたものでも、立体画素が水平方向に１２８０個、垂直方向に７２０個配置された十分精細な立体画像表示パネルとなる。

また、８Ｋテレビ用の表示パネルにおいては、水平方向に７６８０個、垂直方向に４３２０個のピクセルが並んでいるので、水平方向に並んだ１２個のピクセルを用いて１２個の視点画像を表示するようにしたものでも、立体画素が水平方向に１９２０個、垂直方向に１４４０個配置された高精細な立体画像表示パネルとなる。なお、視点数が多くなったときに立体画素の広がりを抑えたい場合には、各々の立体画素を構成する複数のサブピクセルを画像表示パネルにおいて隣り合う６ラインに配置することで、立体画素の横幅を半分にすることができる。

図５は、図１に示す画像表示パネルにおける立体画素中のサブピクセルの別の配置例を示す図面である。図５に示す画像表示パネルで利用されるピクセルは、立体画素の横幅を半分にするために、画像表示パネルにおいて１ラインおきに複数のラインに配置された複数のサブピクセルを含んでいる。すなわち、第１段目と第３段目と第５段目のサブピクセルで構成されるピクセルと、第２段目と第４段目と第６段目のサブピクセルで構成されるピクセルとが、水平方向に交互に並んで立体画素を構成している。

図５に示す例においては、各々の立体画素が２４個のピクセルを含み、２４個の視点画像を表示することができるが、水平方向における立体画素の広がりはサブピクセル１２個分に抑えられている。ピクセルの光重心は、水平方向に一直線に並ぶのではなく、中央２段のサブピクセルの位置に交互に並んで幅を有するが、大きく見れば小さな幅の中でピクセルの光重心が水平方向に連なっているので許容できる。

図６及び図７は、図１に示す画像表示パネルにおける立体画素中のサブピクセルのさらに別の配置例を示す図面である。
図６に示す画像表示パネルにおいては、同じ色を表示する複数のサブピクセルが、横方向（水平方向）に並ぶように配置されている。すなわち、サブピクセルＲ、Ｇ、Ｂが、それぞれ色ごとに水平方向に配置されて行を形成し、サブピクセルＲ、Ｇ、Ｂの行が、垂直方向に隣り合わせに繰り返して配置されるようにしてもよい。この場合には、図中に垂直方向の線分で示すように、各々のピクセルは、垂直方向に並んだ３色のサブピクセルで構成され、光重心が水平方向に並んだｍ個のピクセルで立体画素が構成される。

あるいは、図７に示すように、画像表示パネルのサブピクセルは、モザイク型配置であってもよい。この場合においても、各々のピクセルを構成する複数のサブピクセルを、垂直方向に隣り合う３ラインから選択すれば、光重心が水平方向に並んだｍ個のピクセルで横幅の狭い立体画素が構成される。

次に、図１及び図２を参照しながら、上記の画像表示パネルに多視点画像を表示する工程を説明する。
（ステップ１）
図１に示す立体画像表示装置に、右眼用画像及び左眼用画像を表す左右眼用画像信号ＲＬが入力される場合に、分配部１は、入力される左右眼用画像信号ＲＬから右眼用画像フレーム（Ｒフレーム）及び左眼用画像フレーム（Ｌフレーム）を抽出して、フレームレートに従って、それらをフレームマトリックス記憶部（Ｒフレーム用のフレームメモリー２及びＬフレーム用のフレームメモリー３）に順次格納する。

それにより、フレームマトリックス記憶部において、Ｒフレーム及びＬフレームとして、３原色（ＲＧＢ）のサブピクセルごとに色彩強度を適宜の分解能で表す画素値が記憶される。例えば、各色の色彩強度を（０〜ＦＦ）の２５６値、（−１，０，＋１）の３値、又は、（０，１）の２値などで表す画素値が記憶される。

また、輝度信号（Ｙ信号）及び２つの色差信号（Ｐｒ信号、Ｐｂ信号）を用いるコンポーネント画像信号が入力される場合には、分配部１が、Ｙ信号、Ｐｒ信号、Ｐｂ信号の画素値をＲＧＢの画素値に変換することにより、ＲＧＢの画素値を用いてもよい。一方、サイドバイサイド形式（ＳｂｙＳ）、トップアンドボトム形式（Ｔｏｐ＆Ｂｏｔｔｏｍ）、又は、フレームパッキング方式（ＦＰ）などの放送用の画像信号が入力される場合には、画像信号変換部１１が、入力される画像信号における右眼用画像と左眼用画像とを分離することにより、入力される画像信号を左右眼用画像信号ＲＬに変換して分配部１に供給する。

さらに、図１に示す立体画像表示装置は、従来型テレビ放送における２次元画像を加工して３次元画像化してから表示するために使用することもできる。この場合には、フレーム選択部１２が、２次元画像信号（２Ｄ）のフレーム列から、基準フレームと該基準フレームに対して所定数のフレーム差を有する参照フレームとを選択し、基準フレーム及び参照フレームに基づいて、右眼用画像フレーム及び左眼用画像フレームを有する左右眼用画像信号ＲＬを生成して分配部１に供給する。例えば、フレーム選択部１２は、選択された基準フレームの画像を右眼用画像とし、これに対して所定数のフレーム差をおいて選択された参照フレームの画像を左眼用画像としてもよい。

通常のテレビ放送波が搬送するテレビ画像は２次元画像であり、被写体の奥行き情報を有していない。しかし、被写体がカメラに対して移動したり被写体に対してカメラが移動したりすると、２次元画像中の異なるフレームにおける被写体の位置が変化して、被写体の像に時間的ずれが生じる。被写体の像が水平方向にずれた２つの画像を左右の眼に振り分けて供給すると、２つの画像における被写体を両眼で見るときの輻輳角が、基準フレームの画像における被写体を両眼で見るときの輻輳角と異なるので、被写体の像が表示画面に対して奥行き方向に変位して見えるようになり、画像に立体感が付与される。このような原理に基づいて、２次元画像信号に基づいて左右眼用画像信号ＲＬを生成することができる。

（ステップ２）
画像処理装置２００が、Ｒフレーム及びＬフレームの撮影領域について水平方向のずれ量を算定し、左右の画像が重なる重複領域を特定する。本実施形態に係る立体画像表示装置は、例えば、左右の２台のカメラがそれぞれ撮影した左右の画像が重なる重複領域を検出し、重複領域における左右の画像の視差に基づいて画像に立体感を生じさせる。左右の画像においては、カメラの視野が一致するわけではない。しかし、視野中の重複領域では、左眼用画像と右眼用画像とが同じ対象物を表示するので、左右の画像において画素値がほぼ同じになることが期待される。

そこで、列総和算定部４及び５が、フレームマトリックスの画素値を列ごとに縦方向に積算して求めた列総和について、列総和比較部６が、Ｒフレームの列とＬフレームの列とを水平方向にずらしながら比較していくと、左右の画像が重なっている領域（重複領域）においては列総和の差がゼロに近くなる。従って、列総和比較部６は、列総和の差が最も小さくなる列のペアを特定し、及び／又は、列総和の差が所定の値よりも小さくなる領域を特定することにより、左右の画像が重なっている領域と重なっていない領域とを判別することができる。列総和比較部６は、Ｒフレーム及びＬフレームにおける重複領域の水平座標の差を左右の画像のずれ量として算定する。

ここで、列総和を求めるために用いられるサブピクセルは、３原色全てのサブピクセルであってもよいが、３原色の内のいずれか１色のサブピクセルであってもよい。また、画像信号として輝度信号（Ｙ信号）及び２つの色差信号（Ｐｒ信号、Ｐｂ信号）を用いるコンポーネント画像信号が立体画像表示装置に入力される場合には、輝度信号について列総和を求めて重複領域を特定してもよい。また、立体画像表示装置に入力する左右眼用画像信号は、対象物を平行法で撮影しても、交差法で撮影しても得ることができる。

図８は、平行法で対象物を撮影したときの画像のずれを説明するための図面である。平行法は、２台のカメラＬ及びＲを光軸が平行になるように配置して、左右のカメラが撮影した左右の画像をそれぞれ左右の眼に提供し、観察者が左右の画像中の注目点に左右の視線を合わせたときの輻輳角から奥行きを感知するようにしたものである。実際のカメラ間隔が眼の間隔より広ければ、観察者には奥行き量が大きく感じられて、立体感が誇張されることになる。

平行法では、右のカメラＲの画像においては左の部分に、左のカメラＬの画像においては右の部分に重複領域が現れる。例えば、右のカメラＲを左のカメラＬの位置までずらせば同じ画像を取得することになるので、左右の画像のずれΔはカメラ間隔に相当する。左右の画像がどれだけのカメラ間隔を伴って撮影されたものかは、画像信号からは分からないが、上記手順によれば、カメラ間隔によらずに、左右の画像のずれ量を高速で算定することができる。

図９は、交差法で対象物を撮影したときの画像のずれを説明するための図面である。交差法は、２台のカメラＬ及びＲの光軸を輻輳させて配置して、左右のカメラが撮影した左右の画像をそれぞれ左右の眼に提供する。観察者は両眼の像を一致させる為に必要な輻輳角に基づいて奥行き感を得る。交差法による画像では、左右のカメラの光軸が交差するので、右のカメラＲの画像は右の部分に、左のカメラＬの画像は左の部分に重複領域が現れる。また、左右のカメラの光軸が交差する点（輻輳点）が遠くなるほど、画像中の重複領域が大きくなる。この場合においても、左右の画像がどれだけの輻輳角を伴って撮影されたものかは、画像信号からは分からないが、上記手順によれば、２台のカメラの輻輳角によらずに、左右の画像のずれ量を高速で算定することができる。

このように、本実施形態に係る立体画像表示装置では、上記手順を用いて、入力された画像信号がどのような手段で取得されたものかによらず、同じ手順で高速に処理することができる。

（ステップ３）
図１に示す視差マトリックス生成部７が、ずれ量を補償したＲフレーム及びＬフレームにおける対象物の視差に基づき、画素ごとの奥行き情報である視差マトリックス（Ｒ−Ｌマトリックス）を生成する。Ｒフレーム及びＬフレームについて、先に算定されたずれ量だけ位置を修正して画像を重ねると、左右の画像が重なった領域が中央部に位置し、左右の画像が重ならない領域が両端部に位置する画像マップが形成される。その上で、視差マトリックス生成部７は、２つのカメラが撮影した画像の内で同じ領域において取得した画像信号について、左右の画像の間で個々の画素が表す対象物の位置に変化がある部分の変位量を算定する。一方のカメラが撮影した画像しか存在しない領域の変位量は、０（ゼロ）とすればよい。

視差マトリックス生成部７は、左右の画像の間における個々の画素の変位量に基づいて、視差マトリックスの要素値（視差値）を算定する。なお、左右の画像における対象物は、画像中で水平方向に変位するばかりでなく、垂直方向にも変位成分を有する場合がある。その場合に、変位はベクトルとして得られるので、変位ベクトルの長さを視差マトリックスの要素値としてもよい。人の眼が奥行きを認識するのは、水平方向の視差によるからである。

視差マトリックスは、左右両画像中の対象物ごとの視差を示すもので、視差は、近くに存在する対象物ほど大きく、遠くに存在する対象物ほど小さく、画像中の対象物の奥行きを規定するものとなる。なお、視差マトリックスの要素値は、正負いずれの値も取ることができ、ある対象物を表示する画素について、輻輳点を基準として対象物を前方に見せるときはプラスの値、後方に見せるときはマイナスの値を要素値に持たせればよい。

また、重み付け関数発生部１０は、視差マトリックス生成部７が視差マトリックスを生成する際に、視差マトリックスの要素値に対して適宜な重み付けを行うことにより、撮影条件を調整したり対象物に関する奥行き視覚を調整したりすることができる。例えば、要素値に適宜な値を加算すれば輻輳点が手前に移動して対象物の像が近づき、要素値に適宜な値を減算すれば輻輳点が遠ざかって対象物の像が後退する。また、要素値に１より大きな適宜な値を乗じた領域は立体感が強調され、要素値に１より小さな値を乗じた場合は立体感が緩和される。さらに、視差マトリックスの要素値に上限や下限を設けたり、ガンマ関数などの適宜な関数を使用して要素値の大きさに応じて適宜な値を選択するようにしてもよい。

（ステップ４）
視点画像生成部８が、視差マトリックスに基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを、画像表示パネル１００に表示する画像の１コマ（１画面）ごとに生成する。例えば、視点画像生成部８は、フレームマトリックス記憶部に格納されているＲフレーム及びＬフレームの内のいずれか一方（図１においてはＲフレーム）を基準画像フレームとして、基準画像フレーム中の画素画像を視差マトリックスの要素値（視差値）だけ水平方向に移動させた参照画像フレームを生成する。

さらに、視点画像生成部８は、基準画像フレームと視差マトリックスの要素値（視差値）とに基づいて、基準画像フレームと参照画像フレームとの間を補間する（ｍ−２）個の補間画像フレームを生成する。例えば、視点画像生成部８は、視差マトリックスの要素値を（ｍ−１）で割った値を視点画像ごとの水平移動量として、基準画像フレーム中の画素画像を水平方向に順次移動させることにより、基準画像フレームから順に（ｍ−２）個の補間画像フレームを生成してもよい。

あるいは、視点画像生成部８は、参照画像フレームを生成することなく、基準画像フレームから順に（ｍ−１）個の補間画像フレームを生成してもよい。ここで、ｍ個の視点画像は、左右どちらか一方の画像を基準として生成される。他方の画像は、基準画像中の各画素に関する奥行き情報を取得するためだけに使用される。従って、基準画像から最も遠い視点画像は、右眼用画像を基準画像とした場合においても左眼用画像と同じものにはならず、基準画像から奥行き情報に基づいて生成される。

（ステップ５）
視点画像生成部８が、ｍ個の視点画像を表すｍ個の視点画像フレームを、表示制御装置３００の画像メモリー９に格納する。それにより、表示制御装置３００が、画像表示パネル１００の複数の立体画素において、ｍ個の視点画像フレームによって表されるｍ個の視点画像をｍ個のピクセルにそれぞれ表示させる。画像メモリー９は、表示画面の全部のサブピクセルについて、その発色の強度を指定する画素値を記憶することができる。表示制御装置３００は、画像メモリー９に格納されている画素値に従って、画像表示パネル１００のサブピクセルを発色させる。

画像メモリー９において、ｍ個の視点画像フレームは、１画面分の記憶領域に格納される。画像表示パネル１００の各々の立体画素は、ｍ個の視点画像中で同じ位置にある画素画像をほぼ同時に表示する。ただし、立体画素が画像表示パネル１００の３〜６ラインに亘って配置される場合に、３〜６ラインを走査するための時間差は生じる。表示制御装置３００は、画像表示パネル１００の複数の立体画素において、ｍ個の視点画像をｍ個のピクセルに割り当てて表示させる。各々のピクセル中の複数のサブピクセルは、それぞれ多段階で指定された強度の原色で発色し、３原色が光重心位置において混色して見えるので、指定された色を表示することができる。

このように、本実施形態に係る立体画像表示装置においては、画像表示パネル１００に表示される１画面の画像がｍ個の視点画像で構成され、ｍ個の視点画像は、画像表示パネル１００の立体画素を構成するｍ種類のピクセルによってそれぞれ表示される。立体画素中の各々のピクセルは、例えば、斜め垂直方向に並んだ３個のサブピクセルからなり、ｍ個のピクセルは、例えば、水平方向に整列している。ｍ個のピクセルを各々が含む複数の立体画素がｍ個の視点画像を水平方向に展開して表示することにより、固視微動によって観察者に立体感や奥行き感を知覚させる。

図１０は、視点が６個の場合における視点画像とピクセルとの関係を説明するための概念図である。図１０には、ある水平面で切った対象物の断面と視点画像の画素との位置関係が示されている。２つのカメラで撮影された対象物の画像は、奥行きに応じてずれを生じる。このずれの大きさを水平方向に取って視差Ｐとし、この間に水平方向に並んだＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの６個の視点画像が示されている。

６個の視点画像は１画面に表示されるので、画像メモリー９における１画面分の記憶領域には、対応する位置に投影されるべき６個の視点画像の画素情報が格納される。各々の立体画素中に水平方向に並んだ６個のピクセルは、対象物の視点画像Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆに対応して画面上の視点画像ａ、ｂ、ｃ、ｄ、ｅ、ｆを表示する。これらの視点画像は、固視微動によって生成される複数の視点に対応するものである。

それにより、画像表示パネル１００は、自然界で対象物から全方位に放射される光線の内から適切なｍ個をサンプリングして光線再生した対象物の像を表示する。ここで、サンプリングとは、全方向から放出される光線を畳み込み（コンボルージョン）原理を用いて表示パネルの精細度に合わせて圧縮することをいう。観察者の眼には、ｍ個の視点画像に係る複数の光線が同時に入射するので、自然界で感知するものと同等の自然な立体感が形成される。

なお、人の眼が注視する点に対する視野角は１〜２度程度とされており、これより大きく広がる範囲においては画像すら知覚できないので（トロクスラー効果）、視点画像の広がりを１〜２度程度の範囲内に収めることが好ましい。すなわち、図１０における視差Ｐを、観察者の位置からの視野角１〜２度程度の範囲内に収めることが好ましい。実際の画像において視差Ｐが大きすぎる場合には、適当な重み付け関数を用いて視差マトリックスの要素値を重み付けすることにより視差の値を調整することができる。

そのために、重み付け関数発生部１０は、視差マトリックスの要素値に対して加減算、乗除算、又は、適宜な関数の作用などを施して、２台のカメラの輻輳角を調整したり、視点画像の視差を調整したり、被写体の奥行き感を調整したりすることができる。例えば、要素値に正数を加算すると、視差が大きくなって立体感を強調することができる。これは、撮影条件を調整して、カメラの光軸をより傾け、輻輳位置を近づけたことと同じ効果を奏する。また、要素値に適宜な値を乗除することにより、画像全体の奥行き感を伸張したり圧縮したりすることができる。

さらに、飛びぬけて大きい視差や小さい視差の存在が、出力頻度の高い中間値を持つ視差における立体感を過度に抑制することがないように、ガンマ特性やＳ字トーンカーブを活用したフィルターなどを用いて、画像の奥行きに対応して輻輳角を調整することもできる。また、注目部分の立体感を強調する一方、近い部分と遠い部分との立体感を抑制するなどの機能を重み付け関数発生部１０に持たせることができる。また、周囲の状況と相容れない極大値や極小値を検出した場合に、これらを異常値として除去することも可能である。変位量の偏差値σ、２σ、又は、３σから外れる変位を非線形的に圧縮したり、視差量を０とおいて無視したりすることもできる。

図１１は、本発明の一実施形態に係る立体画像表示装置の作用を説明するための概念図である。図１１には、外界の対象物（被写体）を撮像する撮像装置の撮像光学系及び撮像面と、撮像装置によって得られた画像を表示する表示装置の光線再生表示スクリーンとが示されている。

光線再生表示スクリーンには、設定された視点数ｍ個だけサンプリングして得られた視点画像が表示され、光線再生表示スクリーンの立体画素からは、前方に光線が放射される。このとき、観察者の眼には１か所から放射されるｍ個の視点画像に係る複数の光線が同時に入射するので、固視微動による画像変化認識と相俟って、サンプリングによる光線再生法に基づく、より自然な立体感や奥行き感を感知することができる。それらの光線は、別アングルの視線によっても捉えることができる。

図１２及び図１３は、固視微動による立体知覚の発生メカニズムを説明するための概念図である。図１２及び図１３には、光線再生方式で画像がサンプリングされて画像表示パネルに表示された状況が示されているが、この状況は、自然光における知覚メカニズムを模擬するものとなっている。

図１２は、立体画素中に６個のピクセルを設けた場合を例示している。１個の立体画素には視点Ａから視点Ｆまでの画像に対応する６個のピクセル（視点ピクセル）が並んでおり、立体画素の集合によって６個の視点画像を表示する。図１２においては、各画像のつながりを見やすく示すために、立体画素中のピクセルを垂直方向にずらして描いているが、表示面においてはピクセルがほぼ水平方向に並んでいてもよい。

このような状況において、固視微動により、網膜上に映り込む画像が、視線が微動した分だけ左右に幾何学的に移動する。図１２の下側に示すように、網膜像は、基準とするステージ１の受像ピクセル（ａ１、ｂ１、ｃ１、ｄ１、ｅ１、ｆ１）に対して、例えば、±０．０５度微動して、ステージ２の左眼受像ピクセル（ｂ１、ｃ１、ｄ１、ｅ１、ｆ１、ａ２）、及び、右眼受像ピクセル（ｆ０、ａ１、ｂ１、ｃ１、ｄ１、ｅ１）のように変化する。なお、左眼と右眼とでは、画像のずれる方向が反対になる。

図１３は、左眼と右眼の画像のずれから微動分に相当する奥行き知覚が発生する機構を説明するための概念図である。
ヒトの視神経は、脳の中で半交叉しており、右眼の網膜の鼻側の神経は交叉して左脳の一次視覚野につながり、左眼の網膜の耳側の神経は交叉しないで左脳の一次視覚野につながり、右眼の網膜の耳側の神経は交叉しないで右脳の一次視覚野につながり、左眼の網膜の鼻側の神経は交叉して右脳の一次視覚野につながっている。従って、視野の右半分の像は左脳で、視野の左半分の像は右脳で処理される。

それにより、ステージ２における左眼の画像と右眼の画像とのずれが検出され、そのずれ量に基づいて奥行き知覚が生じる。図１３では、例えば、右脳で知覚されるｂ１の画像のずれと、左脳で知覚されるｅ１の画像のずれとによって、立体知覚を得ることになる。このずれは、注視点視野内で発生する固視微動で引き起こされる輻輳微動であり、対象物が遠い場合には小さくずれ、対象物が近い場合には大きくずれる運動視差となり、小さい注視点視野における立体知覚が得られる。

例えば、１０ｍ先の対象物を自然視する場合に、視野角１．６度で直径２８ｃｍの範囲を見ることができ、固視微動による視点移動距離は１．７８ｃｍであり、奥行き移動距離は約３ｍとなる。また、３ｍ先の対象物を自然視する場合には、同じ視野角で直径８．４ｃｍの範囲を見ることができ、固視微動による視点移動距離は０．５２ｃｍであり、奥行き移動距離は約２６ｃｍとなる。これをピクセルに換算して移動速度に変換すると、運動視差が求められる。なお、固視微動の速度は約１０度／秒とされている。ヒトの脳は、入力する情報に変化がないときは無視して、情報が変化したことをトリガーとして情報処理を開始するので、固視微動に伴って出入りする各視点画像の構成要素の変化を捉えて立体感や奥行き感を知覚する。

本実施形態に係る立体画像表示装置は、自然視における固視微動により発生する注視対象物の移動を画像表示パネル上に具現化するものであり、水平方向に複数（少なくとも３個）の視点画像を等間隔で並べることによって実現される。なお、左右眼用画像を両端の視点画像に振り分けただけでは、自然視のシミュレーションにはならない。

レンチキラー方式やパララックスバリヤー方式（光線の放出制御）などの二眼式では、左右眼用画像を左右の眼に振り分けて表示することにより得られる輻輳角によって立体視を実現する。しかし、従来から知られている裸眼式の立体画像表示装置は、光の方向に力点が置かれているので、光線再生による立体知覚がうまくできないという欠点を有している。

一方、本実施形態に係る立体画像表示装置は、二眼式とは異なる手法を用いて立体感や奥行き感を実現するものであり、二眼式に比べて立体感が弱いものの、自然視に近いという特徴を有している。本実施形態における光線再生は、自然視を十分に模擬できており、例えば、固視微動によって発生する視点の変化は立体画素の３〜５個分であって、この変化は、対象物における視点移動距離に換算して０．５２〜１．７８ｃｍ程度に相当し、この変化内に光を畳み込んでいる。

本実施形態に係る立体画像表示装置は、左右どちらかの画像フレームにおいて視点を定め、複数の視点画像を生成する。その際に、画像中の各点から放射される多数の光線を視野角１〜２度の範囲内に収めることによって光線再生法が作用するので、観察位置による制約が緩く、観察者の顔位置が変化した場合でも、また、複数の観察者が同時に立体画像を観察する場合でも、自然な立体視が可能である。

本発明は、立体画像表示装置、特に、光線再生方式を用いた裸眼式の立体画像表示装置において利用することが可能である。

１…分配部、２、３…フレームメモリー、４、５…列総和算定部、６…列総和比較部、７…視差マトリックス生成部、８…視点画像生成部、９…画像メモリー、１０…重み付け関数発生部、１１…画像信号変換部、１２…フレーム選択部、１００…画像表示パネル、２００…画像処理装置、３００…表示制御装置

Claims (10)

1. ｍ個（ｍは３以上の整数）のピクセルを各々が含む複数の立体画素を水平方向及び垂直方向に並べて構成される画像表示パネルと、
   画像信号の右眼用画像フレーム及び左眼用画像フレームから画素ごとの奥行き情報を求め、奥行き情報に基づいて、画素画像を水平方向に展開して表示するためのｍ個の視点画像フレームを生成する画像処理装置と、
   前記画像表示パネルの複数の立体画素において、前記ｍ個の視点画像フレームによって表されるｍ個の視点画像を前記ｍ個のピクセルにそれぞれ表示させる表示制御装置と、
   を備える立体画像表示装置。
2. 前記画像表示パネルの各々の立体画素において、前記ｍ個のピクセルは、光重心が水平方向に並ぶように配置されている、請求項１に記載の立体画像表示装置。
3. 前記ｍ個のピクセルの各々は、光の３原色を表示する複数のサブピクセルを含む、請求項１に記載の立体画像表示装置。
4. 前記複数のサブピクセルは、前記画像表示パネルにおいて隣り合う複数のラインに配置されている、請求項３に記載の立体画像表示装置。
5. 前記複数のサブピクセルは、前記画像表示パネルにおいて１ラインおきに複数のラインに配置されている、請求項３に記載の立体画像表示装置。
6. 前記画像表示パネルにおいて、同じ色を表示する複数のサブピクセルが垂直方向に並ぶように配置されている、請求項３に記載の立体画像表示装置。
7. 前記画像表示パネルにおいて、同じ色を表示する複数のサブピクセルが水平方向に並ぶように配置されている、請求項３に記載の立体画像表示装置。
8. 前記画像処理装置は、前記右眼用画像フレーム及び前記左眼用画像フレームを格納し、各フレームの画素値を列ごとに垂直方向に積算して列総和を求め、列総和を両フレーム間で比較することによって両フレームの画像中の重複領域を特定し、両フレームの画像の位置関係を調整した後に、両フレームにおいて対応する画素画像の位置のずれに基づいて画素ごとの奥行き情報を求め、重み付けされた奥行き情報に基づいて一方のフレーム中の画素画像を水平方向に移動させることにより、前記一方のフレームを含めてｍ個の視点画像フレームを生成する、請求項１〜７のいずれか１項に記載の立体画像表示装置。
9. 前記画像処理装置は、２次元画像信号のフレーム列から、基準フレームと該基準フレームに対して所定数のフレーム差を有する参照フレームとを選択し、前記基準フレーム及び前記参照フレームに基づいて、前記右眼用画像フレーム及び前記左眼用画像フレームを有する画像信号を生成する、請求項１〜７のいずれか１項に記載の立体画像表示装置。
10. 前記表示制御装置は、前記画像表示パネルの複数の立体画素において、前記ｍ個の視点画像を前記ｍ個のピクセルに割り当てて表示させる、請求項１〜７のいずれか１項に記載の立体画像表示装置。

Images