JP2012204852A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】立体画像の視聴条件によらず、適切な奥行き感を得ることができるようにする。
【解決手段】視差変換装置は、これから表示しようとする立体画像の視聴条件を取得し、取得した視聴条件に基づいて立体画像の視差を補正する。そして、視差変換装置は、立体画像の視差が補正後の視差となるように、立体画像を変換し、表示制御装置を介して画像表示装置に表示させる。このとき、変換後の立体画像の視差が視聴条件により定まる視差範囲内の視差となるように、立体画像の変換が行われる。本発明は、画像処理装置に適用することができる。
【選択図】図７

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、立体画像の視聴条件によらず、より適切な奥行き感を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。

従来、表示装置により立体画像を表示する技術が知られている。このような立体画像により再現される被写体の奥行き感は、ユーザが立体画像を観察する視聴環境や、ユーザの両眼間隔等の身体的特徴などにより定まる視聴条件によって変化する。そのため、場合によっては、再現される奥行き感がユーザにとって不適切なものとなり、ユーザが疲労してしまうことがある。

例えば、特定の視聴距離やディスプレイサイズを想定して作成された立体画像は、実際の視聴距離が想定された距離よりも近かったり、立体画像が表示される表示装置の画面の大きさが想定されたディスプレイサイズよりも大きかったりすると、視聴に困難をきたすことがある。そこで、立体画像に付加されているクロスポイント情報を利用して、立体画像の視差を制御する技術が提案されている（例えば、特許文献１参照）。

特許第３９７８３９２号公報

しかしながら、上述した技術では、視聴条件によっては、必ずしもユーザごとに充分に適切な奥行き感を得ることができない場合があった。また、クロスポイント情報を利用する方法では、立体画像にクロスポイント情報が付加されていない場合には、立体画像の視差制御を行なうことができなくなってしまう。

本技術は、このような状況に鑑みてなされたものであり、立体画像の視聴条件によらず、より適切な奥行き感を得ることができるようにするものである。

本技術の一側面の画像処理装置は、表示しようとする立体画像の視聴条件を入力する入力部と、前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定める変換特性設定部と、前記変換特性に基づいて前記立体画像の視差を補正する補正視差算出部とを備える。

前記視聴条件は、前記立体画像を視聴するユーザの両眼間隔、前記立体画像の視聴距離または前記立体画像が表示される表示画面の幅の少なくとも何れかとすることができる。

画像処理装置には、前記視聴条件に基づいて前記立体画像の補正後の視差が取り得る視差範囲を求める許容視差算出部をさらに設け、前記変換特性設定部には、前記視差範囲と前記立体画像の視差とに基づいて前記変換特性を定めさせることができる。

前記変換特性設定部には、前記立体画像の視差を前記視差範囲内の視差に変換する変換関数を前記変換特性とさせることができる。

画像処理装置には、前記立体画像を前記補正視差算出部により補正された視差を有する立体画像に変換する画像変換部をさらに設けることができる。

画像処理装置には、前記表示画面の大きさを示す情報を取得して、前記情報に基づいて前記表示画面の幅および前記視聴距離を求める演算部をさらに設けることができる。

画像処理装置には、前記立体画像を視聴する前記ユーザの画像および前記視聴距離に基づいて前記両眼間隔を算出する画像処理部をさらに設けることができる。

画像処理装置には、前記立体画像を視聴する前記ユーザの画像であって、互いに視差を有する一対の画像に基づいて、前記視聴距離を算出する画像処理部をさらに設けることができる。

本技術の一側面の画像処理方法またはプログラムは、表示しようとする立体画像の視聴条件を入力し、前記視聴条件に基づいて、前記立体画像の視差を補正する変換特性を定め、前記変換特性に基づいて前記立体画像の視差を補正するステップを含む。

本技術の一側面においては、表示しようとする立体画像の視聴条件が入力され、前記視聴条件に基づいて、前記立体画像の視差を補正する変換特性が定められ、前記変換特性に基づいて前記立体画像の視差が補正される。

本技術の一側面によれば、立体画像の視聴条件によらず、より適切な奥行き感を得ることができる。

両眼間隔と立体画像の奥行きについて説明する図である。 各両眼間隔における視差と視聴距離の関係を示す図である。 ディスプレイサイズと立体画像の奥行きについて説明する図である。 視聴距離と立体画像の奥行きについて説明する図である。 許容最近位置と許容最遠位置について説明する図である。 許容最小視差と許容最大視差について説明する図である。 立体画像表示システムの一実施の形態の構成例を示す図である。 視差変換装置の構成例を示す図である。 画像変換処理を説明するフローチャート図である。 累積度数分布による最小視差と最大視差の検出について説明する図である。 変換特性の一例を示す図である。 変換特性の一例を示す図である。 変換特性の一例を示す図である。 ルックアップテーブルの例を示す図である。 画像合成について説明する図である。 立体画像表示システムの他の構成例を示す図である。 視差変換装置の構成例を示す図である。 画像変換処理を説明するフローチャート図である。 両眼間隔の算出について説明する図である。 立体画像表示システムの他の構成例を示す図である。 視差変換装置の構成例を示す図である。 画像変換処理を説明するフローチャート図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
［視聴条件と立体画像の奥行き感について］
まず、図１乃至図４を参照して、立体画像を視聴するユーザの視聴条件と、立体画像の奥行き感について説明する。

図１に示すように、右眼画像と左眼画像とからなる立体画像が表示面ＳＣ１１に表示され、表示面ＳＣ１１から視聴距離Ｄだけ離れた位置から、ユーザが立体画像を視聴する場合を考える。ここで、立体画像を構成する右眼画像とは、立体画像の表示時にユーザの右眼で観察されるように表示される画像であり、左眼画像とは、立体画像の表示時にユーザの左眼で観察されるように表示される画像である。

いま、ユーザの右眼ＹＲと左眼ＹＬの間の距離がｅ（以下、両眼間隔ｅと称する）であり、右眼画像と左眼画像における所定の被写体Ｈ１１の視差がｄであったとする。つまり、表示面ＳＣ１１において、左眼画像上の被写体Ｈ１１から、右眼画像上の被写体Ｈ１１までの距離が視差ｄであるとする。

この場合、ユーザにより知覚される被写体Ｈ１１の位置、つまり被写体Ｈ１１の定位位置は、表示面ＳＣ１１から距離ＤＤ（以下、奥行き距離ＤＤと称する）だけ離れた位置となる。この奥行き距離ＤＤは、視差ｄ，両眼間隔ｅ，視聴距離Ｄから次式（１）を計算することにより求まる。

奥行き距離ＤＤ＝ｄ×Ｄ／（ｅ−ｄ） ・・・（１）

ここで、視差ｄは、表示面ＳＣ１１において右眼画像上の被写体Ｈ１１が、左眼画像上の被写体Ｈ１１に対して図中、右側にあるとき、つまり立体画像を視聴するユーザから見て右側にあるときに正の値となる。この場合、奥行き距離ＤＤは正となり、ユーザから見て、被写体Ｈ１１は表示面ＳＣ１１の奥側に定位する。

逆に、表示面ＳＣ１１において右眼画像上の被写体Ｈ１１が、左眼画像上の被写体Ｈ１１に対して図中、左側にあるとき、視差ｄは負の値となり、この場合は奥行き距離ＤＤが負となるので、ユーザから見て、被写体Ｈ１１は表示面ＳＣ１１の手前側に定位する。

ところで、立体画像を視聴するユーザによって、両眼間隔ｅは異なる。例えば、一般的な大人の両眼間隔ｅは6.5cm程度であるのに対し、一般的な子供の両眼間隔ｅは5cm程度である。

そのため、図２に示すように、両眼間隔ｅによって、立体画像の視差ｄに対する奥行き距離ＤＤは変化する。なお、図中、縦軸は奥行き距離ＤＤを示しており、横軸は視差ｄを示している。また、曲線Ｃ１１は、両眼間隔ｅ＝5cmである場合における各視差ｄに対する奥行き距離ＤＤを示す曲線であり、曲線Ｃ１２は、両眼間隔ｅ＝6.5cmである場合における各視差ｄに対する奥行き距離ＤＤを示す曲線である。

曲線Ｃ１１と曲線Ｃ１２から分かるように、視差ｄが大きくなるにしたがって、曲線Ｃ１１と曲線Ｃ１２に示される奥行き距離ＤＤの差はより大きくなっていく。したがって、大人向けに視差調整された立体画像は、視差ｄが大きくなると子供には負荷が大きくなってしまう。

このように、各ユーザの両眼間隔ｅの大きさによって奥行き距離ＤＤは変化するため、立体画像内の各被写体の奥行き距離ＤＤが、適切な範囲内の距離となるように、両眼間隔ｅに応じて、ユーザごとに視差ｄを制御する必要がある。

また、図３に示すように、立体画像上における右眼画像と左眼画像との間の視差が同じでも、立体画像が表示される表示面の大きさが変化すると、１画素の大きさ、つまり表示面上における被写体の大きさは変化するので、視差ｄの大きさが変化する。

図３の例では、図中、左側に示される表示面ＳＣ２１と、図中、右側に示される表示面ＳＣ２２とには、同じ視差の立体画像が表示されるが、表示面ＳＣ２２よりも表示面ＳＣ２１の方が大きいため、表示面上の視差も表示面ＳＣ２１の方が大きくなっている。つまり、表示面ＳＣ２１上では視差ｄ＝ｄ１１となっており、表示面ＳＣ２２上では視差ｄ＝ｄ１２（但し、ｄ１１＞ｄ１２）となっている。

そのため、表示面ＳＣ２１に表示された被写体Ｈ１１の奥行き距離ＤＤ＝ＤＤ１１も、表示面ＳＣ２２に表示された被写体Ｈ１１の奥行き距離ＤＤ＝ＤＤ１２より長くなる。したがって、例えば表示面ＳＣ２２のような小画面用に視差制御して生成した立体画像を、表示面ＳＣ２１のような大画面に表示させると、視差が大きくなりすぎて、ユーザの眼に対する負荷が大きくなってしまう。

このように、同じ視差の立体画像でも表示される表示面の大きさによって、再現される奥行き感が異なるので、立体画像の表示にあたっては、立体画像が表示される表示面の大きさ（ディスプレイサイズ）に応じて、適切に視差ｄを制御する必要がある。

さらに、立体画像が表示される表示面ＳＣ１１の大きさや、表示面ＳＣ１１上における視差ｄが同じであっても、例えば図４に示すように、ユーザの視聴距離Ｄが変化すると、被写体Ｈ１１の奥行き距離ＤＤは変化する。

図４の例では、図中、右側の表示面ＳＣ１１と左側の表示面ＳＣ１１は同じ大きさであり、これらの表示面ＳＣ１１には同じ視差ｄで被写体Ｈ１１が表示されているが、図中、左側の視聴距離Ｄ＝Ｄ１１が、図中、右側の視聴距離Ｄ＝Ｄ１２よりも長くなっている。

そのため、図中、左側の被写体Ｈ１１の奥行き距離ＤＤ＝ＤＤ２１も、図中、右側の被写体Ｈ１１の奥行き距離ＤＤ＝ＤＤ２２より長くなる。したがって、例えば、ユーザの視聴距離Ｄが短すぎると、被写体Ｈ１１を見込む輻輳角が大きくなるので、立体画像が見にくくなってしまう場合がある。

このように、ユーザの視聴距離Ｄによっても、再現される奥行き感が変化するので、立体画像の表示にあたっては、ユーザから表示面までの視聴距離Ｄに応じて、適切に視差ｄを制御する必要がある。

以上のように、立体画像上の各被写体の奥行き距離ＤＤが、ユーザに負担が少ない適切な範囲内の距離となるようにするには、両眼間隔ｅ、立体画像が表示される表示面の大きさ、および視聴距離Ｄに応じて、適切に視差ｄを変換する必要がある。

なお、以下、立体画像が表示される表示面の大きさ、特に表示面の視差方向の長さをディスプレイ幅Ｗと称し、少なくとも両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄにより定まるユーザの立体画像の視聴に関わる条件を視聴条件と呼ぶこととする。

［立体画像の適切な視差について］
次に、上述した視聴条件により定まる立体画像の適切な視差の範囲について説明する。

視聴条件により定まる、立体画像の適切な視差の範囲内の視差の最小値と最大値を、それぞれ視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’とし、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄから、視差ｄ_ｍｉｎ’と視差ｄ_ｍａｘ’を求めることを考える。

ここで、視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’は、立体画像上の画素を単位とする視差である。つまり、立体画像を構成する右眼画像と左眼画像の間の画素単位の視差である。

いま、図５の左側に示すように、立体画像上の被写体のうち、視差が視差ｄ_ｍｉｎ’である被写体Ｈ１２の定位位置を許容最近位置とし、ユーザから許容最近位置までの距離を許容最近距離Ｄ_ｍｉｎとする。また、図中、右側に示すように、視差が視差ｄ_ｍａｘ’である被写体の定位位置を許容最遠位置とし、ユーザから許容最遠位置までの距離を許容最遠距離Ｄ_ｍａｘとする。

すなわち、許容最近距離Ｄ_ｍｉｎは、ユーザが立体画像を適切な視差で視聴するために許容される、ユーザの両眼（左眼ＹＬおよび右眼ＹＲ）から立体画像上の被写体の定位位置までの距離の最小値である。同様に、許容最遠距離Ｄ_ｍａｘは、ユーザが立体画像を適切な視差で視聴するために許容される、ユーザの両眼から立体画像上の被写体の定位位置までの距離の最大値である。

例えば、図中、左側に示すように、ユーザの左眼ＹＬと右眼ＹＲが表示面ＳＣ１１を見込む角を角度αとし、ユーザの左眼ＹＬと右眼ＹＲが、被写体Ｈ１２を見込む角を角度βとする。このとき、一般的にβ−α≦６０’を満たす最大の角βを有する被写体Ｈ１２が、許容最近位置にある被写体とされる。

また、図中、右側に示すように、ユーザの両眼から無限遠に位置する被写体までの距離が、許容最遠距離Ｄ_ｍａｘとされる。この場合、許容最遠距離Ｄ_ｍａｘとなる位置にある被写体を見るユーザの両眼の視線は平行となる。

このような許容最近距離Ｄ_ｍｉｎと許容最遠距離Ｄ_ｍａｘは、両眼間隔ｅおよび視聴距離Ｄから幾何学的に求めることができる。

すなわち、両眼間隔ｅと視聴距離Ｄの関係から、次式（２）が成立する。

ｔａｎ（α／２）＝（１／Ｄ）×（ｅ／２） ・・・（２）

この式（２）を変形すれば、次式（３）に示すように、角度αが求まる。

α＝２ｔａｎ^−１（ｅ／２Ｄ） ・・・（３）

また、角度βは、角度αと同様に次式（４）で表される。

β＝２ｔａｎ^−１（ｅ／２Ｄ_ｍｉｎ） ・・・（４）

さらに、ユーザから許容最近距離Ｄ_ｍｉｎだけ離れた位置にある被写体Ｈ１２を見込む角βは、上述したように、以下の式（５）を満たすから、式（４）と式（５）から、許容最近距離Ｄ_ｍｉｎは、式（６）に示す条件を満たすことになる。

β−α≦６０ ・・・（５）

許容最近距離Ｄ_ｍｉｎ≧ｅ／２ｔａｎ（（６０＋α）／２） ・・・（６）

このようにして得られた式（６）のαに、式（３）を代入すれば、許容最近距離Ｄ_ｍｉｎを得ることができる。つまり、許容最近距離Ｄ_ｍｉｎは、視聴条件のうちの両眼間隔ｅと視聴距離Ｄが分かれば、求めることができる。同様に、式（６）における角度αを０とすれば、許容最遠距離Ｄ_ｍａｘが得られる。

このようにして得られた許容最近距離Ｄ_ｍｉｎと許容最遠距離Ｄ_ｍａｘから、視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’が求まる。

例えば、図６に示すように、表示面ＳＣ１１に立体画像を表示させた場合に、ユーザからの距離が許容最近距離Ｄ_ｍｉｎとなる許容最近位置に被写体Ｈ３１が定位し、ユーザからの距離が許容最遠距離Ｄ_ｍａｘとなる許容最遠位置に被写体Ｈ３２が定位したとする。

このとき、表示面ＳＣ１１における立体画像上の被写体Ｈ３１の視差ｄ_ｍｉｎは、視聴距離Ｄ、両眼間隔ｅ、および許容最近距離Ｄ_ｍｉｎを用いて、次式（７）により表される。

ｄ_ｍｉｎ＝ｅ（Ｄ_ｍｉｎ−Ｄ）／Ｄ_ｍｉｎ ・・・（７）

同様に、表示面ＳＣ１１における立体画像上の被写体Ｈ３２の視差ｄ_ｍａｘは、視聴距離Ｄ、両眼間隔ｅ、および許容最遠距離Ｄ_ｍａｘを用いて、次式（８）により表される。

ｄ_ｍａｘ＝ｅ（Ｄ_ｍａｘ−Ｄ）／Ｄ_ｍａｘ ・・・（８）

ここで、許容最近距離Ｄ_ｍｉｎおよび許容最遠距離Ｄ_ｍａｘは、両眼間隔ｅと視聴距離Ｄから求まる値であるから、式（７）と式（８）から分かるように、視差ｄ_ｍｉｎおよび視差ｄ_ｍａｘも、両眼間隔ｅと視聴距離Ｄから求まる。

但し、視差ｄ_ｍｉｎと視差ｄ_ｍａｘは、表示面ＳＣ１１上における距離であるため、立体画像を適切な視差をもつ画像に変換するには、視差ｄ_ｍｉｎと視差ｄ_ｍａｘを、画素を単位とする視差ｄ_ｍｉｎ’と視差ｄ_ｍａｘ’に変換する必要がある。

視差ｄ_ｍｉｎと視差ｄ_ｍａｘを画素数で表すには、これらの視差を表示面ＳＣ１１上における立体画像の画素間隔、つまり表示面ＳＣ１１を構成する表示装置の画素間隔で除算すればよい。ここで、表示装置の画素間隔は、視聴条件としてのディスプレイ幅Ｗと、表示装置を構成する視差方向（図中、横方向）の画素数Ｎ、つまり立体画像の視差方向の画素数Ｎとから求まり、その値はＷ／Ｎとなる。

したがって、視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’は、視差ｄ_ｍｉｎと視差ｄ_ｍａｘ、ディスプレイ幅Ｗ、および画素数Ｎから、それぞれ次式（９）および式（１０）により表される。

視差ｄ_ｍｉｎ’＝ｄ_ｍｉｎ×Ｎ／Ｗ ・・・（９）

視差ｄ_ｍａｘ’＝ｄ_ｍａｘ×Ｎ／Ｗ ・・・（１０）

このように、立体画像の適切な視差範囲の両端の値である視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’は、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄから求めることができる。

したがって、ユーザが、立体画像を所定の視聴条件下で視聴しようとする場合、その視聴条件から適切な視差範囲を求め、入力された立体画像を、求めた視差範囲内の視差を有する立体画像に変換して表示すれば、視聴条件に合った適切な奥行き感の立体画像を提示することができる。

なお、以上においては、許容最近距離Ｄ_ｍｉｎと許容最遠距離Ｄ_ｍａｘを、予め定めた所定の条件を満たす距離であるとして説明したが、これらの許容最近距離Ｄ_ｍｉｎや許容最遠距離Ｄ_ｍａｘは、ユーザにより好みに応じて設定されるようにしてもよい。

［立体画像表示システムの構成例］
次に、本技術を適用した立体画像表示システムの実施の形態について説明する。

図７は、立体画像表示システムの一実施の形態の構成例を示す図である。この立体画像表示システムは、画像記録装置１１、視差変換装置１２、表示制御装置１３、および画像表示装置１４から構成される。

画像記録装置１１には、立体画像を表示するための画像データが記録されており、視差変換装置１２は、画像記録装置１１から立体画像を読み出して、この立体画像をユーザの視聴条件に応じて視差変換し、視差変換された立体画像を表示制御装置１３に供給する。すなわち、立体画像がユーザの視聴条件に適した視差を有する立体画像に変換される。

なお、立体画像は、互いに視差を有する一対の静止画像であってもよいし、互いに視差を有する動画像であってもよい。

表示制御装置１３は、視差変換装置１２から供給された立体画像を画像表示装置１４に供給し、画像表示装置１４は、表示制御装置１３の制御にしたがって、表示制御装置１３から供給された立体画像を立体表示させる。例えば、画像表示装置１４は、画像データを立体画像として表示する立体ディスプレイである。なお、画像表示装置１４による立体画像の表示方式は、レンチキュラレンズ方式やパララックスバリア方式、時分割表示方式など、任意の表示方式とすることができる。

［視差変換装置の構成例］
また、図７の視差変換装置１２は、例えば図８に示すように構成される。

視差変換装置１２は、入力部４１、視差検出部４２、変換特性設定部４３、補正視差算出部４４、および画像合成部４５から構成される。また、視差変換装置１２では、右眼画像Ｒおよび左眼画像Ｌからなる立体画像が、画像記録装置１１から視差検出部４２および画像合成部４５に供給される。

入力部４１は、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄを取得し、変換特性設定部４３に入力する。例えば、入力部４１は、ユーザがリモートコマンダ５１を操作して視聴条件を入力すると、リモートコマンダ５１から送信されてくる視聴条件を示す情報を受信し、視聴条件を得る。

視差検出部４２は、画像記録装置１１から供給された右眼画像Ｒおよび左眼画像Ｌに基づいて、右眼画像Ｒと左眼画像Ｌの視差を画素ごとに求め、各画素の視差を示す視差マップを変換特性設定部４３および補正視差算出部４４に供給する。

変換特性設定部４３は、入力部４１から供給された視聴条件と、視差検出部４２から供給された視差マップとに基づいて、右眼画像Ｒと左眼画像Ｌの視差の変換特性を定め、補正視差算出部４４に供給する。

変換特性設定部４３は、許容視差算出部６１、最大／最小視差検出部６２、および設定部６３を備えている。

許容視差算出部６１は、入力部４１から供給された視聴条件に基づいて、ユーザの特徴や立体画像の視聴環境に適した視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’を求め、設定部６３に供給する。なお、以下、視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’を、適宜、許容最小視差ｄ_ｍｉｎ’および許容最大視差ｄ_ｍａｘ’とも称する。

最大／最小視差検出部６２は、視差検出部４２から供給された視差マップに基づいて、右眼画像Ｒと左眼画像Ｌの視差の最大値および最小値を検出し、設定部６３に供給する。設定部６３は、許容視差算出部６１からの視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’と、最大／最小視差検出部６２からの視差の最大値および最小値とに基づいて、右眼画像Ｒと左眼画像Ｌの視差の変換特性を定め、定めた変換特性を補正視差算出部４４に供給する。

補正視差算出部４４は、視差検出部４２からの視差マップと、設定部６３からの変換特性とに基づいて、視差マップに示される各画素の視差を、視差ｄ_ｍｉｎ’から視差ｄ_ｍａｘ’までの間の視差に変換し、画像合成部４５に供給する。すなわち、補正視差算出部４４は、視差マップに示される各画素の視差を変換（補正）し、変換後の各画素の視差を示す補正視差マップを画像合成部４５に供給する。

画像合成部４５は、画像記録装置１１から供給された右眼画像Ｒおよび左眼画像Ｌを、補正視差算出部４４から供給された補正視差マップに基づいて、適切な視差を有する右眼画像Ｒ’および左眼画像Ｌ’に変換し、表示制御装置１３に供給する。

［画像変換処理の説明］
次に、立体画像表示システムの動作について説明する。立体画像表示システムは、ユーザから立体画像の再生を指示されると、画像変換処理を行なって、指定された立体画像を適切な視差を有する立体画像に変換し、再生する。以下、図９のフローチャートを参照して、立体画像表示システムによる画像変換処理について説明する。

ステップＳ１１において、視差変換装置１２は、画像記録装置１１から立体画像を読み出す。すなわち、視差検出部４２および画像合成部４５は、画像記録装置１１から右眼画像Ｒおよび左眼画像Ｌを読み出す。

ステップＳ１２において、入力部４１は、リモートコマンダ５１から受信した視聴条件を許容視差算出部６１に入力する。

すなわち、ユーザは、リモートコマンダ５１を操作して、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄを入力する。例えば、両眼間隔ｅは、直接ユーザにより入力されてもよいし、ユーザが「大人」や「子供」のカテゴリを選択することで入力されるようにしてもよい。両眼間隔ｅが「子供」等のカテゴリを選択することで入力される場合、両眼間隔ｅは、選択されたカテゴリの平均的な両眼間隔の数値とされる。

このようにして視聴条件が入力されると、リモートコマンダ５１は、入力された視聴条件を入力部４１に送信する。すると、入力部４１は、リモートコマンダ５１から視聴条件を受信し、許容視差算出部６１に入力する。

なお、視聴条件としてのディスプレイ幅Ｗは、入力部４１が画像表示装置１４などから取得するようにしてもよい。また、入力部４１が、画像表示装置１４などからディスプレイサイズを取得し、視聴距離Ｄがディスプレイサイズに対する標準視距離であるものとして、取得したディスプレイサイズから視聴距離Ｄを求めるようにしてもよい。

さらに、視聴条件は、画像変換処理の開始前に予め入力部４１より取得され、必要に応じて許容視差算出部６１に供給されるようにしてもよい。また、入力部４１がボタン等の操作部から構成されるようにしてもよい。そのような場合、入力部４１がユーザにより操作され、視聴条件が入力されると、入力部４１はユーザの操作に応じて生じる信号を視聴条件として取得する。

ステップＳ１３において、許容視差算出部６１は、入力部４１から供給された視聴条件に基づいて、許容最小視差ｄ_ｍｉｎ’および許容最大視差ｄ_ｍａｘ’を求め、設定部６３に供給する。

例えば、許容視差算出部６１は、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄに基づいて、上述した式（９）および式（１０）を計算することで、許容最小視差ｄ_ｍｉｎ’および許容最大視差ｄ_ｍａｘ’を算出する。

ステップＳ１４において、視差検出部４２は、画像記録装置１１から供給された右眼画像Ｒおよび左眼画像Ｌに基づいて、右眼画像Ｒと左眼画像Ｌの視差を画素ごとに検出し、各画素の視差を示す視差マップを最大／最小視差検出部６２および補正視差算出部４４に供給する。

例えば、視差検出部４２は、左眼画像Ｌを基準として、ＤＰ（Dynamic Programing）マッチングにより、左眼画像Ｌの各画素の右眼画像Ｒとの視差を検出し、その検出結果を示す視差マップを生成する。

なお、隠れた部分の処理のために左眼画像Ｌおよび右眼画像Ｒの両方の視差を得るようにしてもよい。視差の推定手法は公知技術であり、例えば、左右画像から背景画像を除いた前景画像についてマッチングを行うことにより、左右画像の視差を推定し、視差マップを生成する技術が知られている（例えば、特開２００６−１１４０２３号公報参照）。

ステップＳ１５において、最大／最小視差検出部６２は、視差検出部４２から供給された視差マップに基づいて、視差マップに示される各画素の視差のうちの最大値および最小値を検出し、設定部６３に供給する。

なお、以下、最大／最小視差検出部６２により検出された視差の最大値および最小値を、適宜、最大視差ｄ（ｉ）_ｍａｘおよび最小視差ｄ（ｉ）_ｍｉｎとも称する。

また、最大視差と最小視差の検出では、検出結果安定のため、視差の累積度数分布が用いられるようにしてもよい。そのような場合、最大／最小視差検出部６２は、例えば、図１０に示す累積度数分布を生成する。なお、図中、縦軸は累積度数を示しており、横軸は視差を示している。

図１０の例では曲線ＲＣ１１は、視差マップ上の画素が画素値として有する視差の値について、視差マップ上の各画素のうち、各視差までの値を画素値として有する画素の数（累積度数）を示している。最大／最小視差検出部６２は、このような累積度数分布を生成すると、例えば全累積度数の５％の累積度数となる視差の値、および全累積度数の９５％の累積度数となる視差の値を、それぞれ最小視差および最大視差とする。

このように、立体画像内で検出される視差の総数に対して、予め設定された割合に相当する累積度数に対応する視差を最小視差や最大視差とすることで、極端に大きい視差や小さい視差を除外し、検出結果を安定させることができる。

ステップＳ１６において、設定部６３は、最大／最小視差検出部６２からの最小視差お最大視差と、許容視差算出部６１からの視差ｄ_ｍｉｎ’および視差ｄ_ｍａｘ’とに基づいて、変換特性を設定し、補正視差算出部４４に供給する。

例えば、設定部６３は、最小視差および最大視差と、許容最小視差ｄ_ｍｉｎ’および許容最大視差ｄ_ｍａｘ’とに基づいて、立体画像の各画素の視差が、許容最小視差ｄ_ｍｉｎ’から許容最大視差ｄ_ｍａｘ’までの範囲（以下、許容視差範囲と称する）内の視差に変換されるように、変換特性を定める。

具体的には、設定部６３は、最小視差および最大視差が、許容視差範囲内の視差である場合、視差マップがそのまま補正視差マップとなる等価変換関数を変換特性とする。この場合、立体画像の各画素の視差は、許容視差範囲内の適切な大きさの視差となっているので、立体画像に対して視差制御を行なう必要がないからである。

これに対して、最小視差と最大視差の少なくとも何れかが、許容視差範囲内の視差でない場合、設定部６３は、立体画像の各画素の視差を補正（変換）する変換特性を定める。すなわち、視差マップ上の画素の画素値（視差の値）を入力視差ｄ（ｉ）とし、その画素と同じ位置にある補正視差マップの画素の画素値（視差の値）を補正視差ｄ（ｏ）とすると、入力視差ｄ（ｉ）を補正視差ｄ（ｏ）に変換するための変換関数が定められる。

これにより、例えば図１１に示す変換関数が定められる。なお、図１１において、横軸は入力視差ｄ（ｉ）を示しており、縦軸は補正視差ｄ（ｏ）を示している。また、図中、直線Ｆ１１および直線Ｆ１２は、変換関数のグラフを示している。

図１１の例において、直線Ｆ１２は、入力視差ｄ（ｉ）＝補正視差ｄ（ｏ）となる場合の変換関数、つまり等価変換のグラフを示している。上述したように、最小視差および最大視差が、許容視差範囲内の視差である場合、変換関数はｄ（ｏ）＝ｄ（ｉ）とされる。

ところが、図１１の例では、最小視差は許容最小視差ｄ_ｍｉｎ’よりも小さく、最大視差は許容最大視差ｄ_ｍａｘ’よりも大きくなっている。そのため、入力視差ｄ（ｉ）を等価変換し、そのまま補正視差ｄ（ｏ）とすると、補正後の視差の最小値および最大値は、許容視差範囲外の視差となってしまう。

そこで、設定部６３は、補正後の各画素の視差が許容視差範囲内の視差となるように、直線Ｆ１１で示される一次関数を変換関数とする。

ここで、変換関数は、入力視差ｄ（ｉ）＝０が補正視差ｄ（ｏ）＝０に変換され、最小視差ｄ（ｉ）_ｍｉｎが許容最小視差ｄ_ｍｉｎ’以上の視差に変換され、かつ最大視差ｄ（ｉ）_ｍａｘが許容最大視差ｄ_ｍａｘ’以下の視差に変換されるように定められる。

直線Ｆ１１に示される変換関数では、入力視差ｄ（ｉ）＝０は０に変換され、最小視差ｄ（ｉ）_ｍｉｎは許容最小視差ｄ_ｍｉｎ’に変換され、最大視差ｄ（ｉ）_ｍａｘは許容最大視差ｄ_ｍａｘ’以下の視差に変換される。

設定部６３は、このようにして変換関数（変換特性）を定めると、定めた変換関数を変換特性として補正視差算出部４４に供給する。

なお、変換特性は図１１に示した例に限らず、視差に対して単調増加する折れ線で表される関数や、任意の関数とすることができる。したがって、例えば、図１２や図１３に示す変換特性とされてもよい。図１２および図１３において、横軸は入力視差ｄ（ｉ）を示しており、縦軸は補正視差ｄ（ｏ）を示している。また、図中、図１１における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

図１２において、折れ線Ｆ２１は、変換関数のグラフを示している。折れ線Ｆ２１に示される変換関数は、入力視差ｄ（ｉ）＝０は０に変換され、最小視差ｄ（ｉ）_ｍｉｎは許容最小視差ｄ_ｍｉｎ’に変換され、最大視差ｄ（ｉ）_ｍａｘは許容最大視差ｄ_ｍａｘ’に変換される。また、折れ線Ｆ２１に示される変換関数では、最小視差ｄ（ｉ）_ｍｉｎから０までの区間の傾きと、０から最大視差ｄ（ｉ）_ｍａｘまでの区間の傾きとが、異なる大きさとなっており、これらの区間は何れも一次関数となっている。

また、図１３の例において、折れ線Ｆ３１は、変換関数のグラフを示している。折れ線Ｆ３１に示される変換関数は、入力視差ｄ（ｉ）＝０は０に変換され、最小視差ｄ（ｉ）_ｍｉｎは許容最小視差ｄ_ｍｉｎ’以上の視差に変換され、最大視差ｄ（ｉ）_ｍａｘは許容最大視差ｄ_ｍａｘ’以下の視差に変換される。

折れ線Ｆ３１に示される変換関数では、最小視差ｄ（ｉ）_ｍｉｎから０までの区間の傾きと、０から最大視差ｄ（ｉ）_ｍａｘまでの区間の傾きとが、異なる大きさとなっており、これらの区間は何れも一次関数となっている。

さらに、最小視差ｄ（ｉ）_ｍｉｎ以下の区間と、最小視差ｄ（ｉ）_ｍｉｎから０までの区間でも変換関数の傾きは異なっており、０から最大視差ｄ（ｉ）_ｍａｘまでの区間と、最大視差ｄ（ｉ）_ｍａｘ以上の区間でも変換関数の傾きは異なっている。

特に、折れ線Ｆ３１に示される変換関数は、例えば、累積度数分布により最大視差および最小視差を定める場合など、最小視差ｄ（ｉ）_ｍｉｎや最大視差ｄ（ｉ）_ｍａｘが、視差マップに示される視差の最小値や最大値でない場合に有効である。この場合、最小視差ｄ（ｉ）_ｍｉｎ以下や最大視差ｄ（ｉ）_ｍａｘ以上における変換特性の傾きを小さくすることで、立体画像に含まれている例外的に絶対値が大きい視差に対しても、より見やすい適切な視差への変換を行なうことができる。

図９のフローチャートの説明に戻り、変換特性が設定されると、処理はステップＳ１６からステップＳ１７に進む。

ステップＳ１７において、補正視差算出部４４は、設定部６３から供給された変換特性と、視差検出部４２からの視差マップとに基づいて、補正視差マップを生成し、画像合成部４５に供給する。

すなわち、補正視差算出部４４は、変換特性としての変換関数に、視差マップの画素の視差（入力視差ｄ（ｉ））を代入して補正視差ｄ（ｏ）を求め、求めた補正視差を、その画素と同じ位置にある補正視差マップの画素の画素値とする。

なお、変換関数を用いた補正視差ｄ（ｏ）の算出は、例えば図１４に示すルックアップテーブルＬＴ１１により実現するようにしてもよい。

ルックアップテーブルＬＴ１１は、所定の変換特性（変換関数）により入力視差ｄ（ｉ）を補正視差ｄ（ｏ）に変換するものである。このルックアップテーブルＬＴ１１には、入力視差ｄ（ｉ）の各値と、それらの値を変換関数に代入して得られる補正視差ｄ（ｏ）の値とが対応付けられて記録されている。

例えば、ルックアップテーブルＬＴ１１には、入力視差ｄ（ｉ）の値「ｄ０」と、その値「ｄ０」を変換関数に代入して得られる補正視差ｄ（ｏ）の値「ｄ０’」とが対応付けられて記録されている。このようなルックアップテーブルＬＴ１１をいくつかの変換特性ごとに記録しておけば、補正視差算出部４４は、変換関数の演算を行なうことなく、簡単に入力視差ｄ（ｉ）に対する補正視差ｄ（ｏ）を得ることができる。

図９のフローチャートの説明に戻り、補正視差算出部４４により補正視差マップが生成されて画像合成部４５に供給されると、処理はステップＳ１７からステップＳ１８に進む。

ステップＳ１８において、画像合成部４５は、補正視差算出部４４からの補正視差マップを用いて、画像記録装置１１からの右眼画像Ｒおよび左眼画像Ｌを、適切な視差を有する右眼画像Ｒ’および左眼画像Ｌ’に変換し、表示制御装置１３に供給する。

例えば、図１５に示すように、図中、横方向および縦方向をｉ方向およびｊ方向として、左眼画像Ｌ上のｉｊ座標系における座標（ｉ，ｊ）にある画素をＬ（ｉ，ｊ）とし、右眼画像Ｒ上の座標（ｉ，ｊ）にある画素をＲ（ｉ，ｊ）とする。また、左眼画像Ｌ’上の座標（ｉ，ｊ）にある画素をＬ’（ｉ，ｊ）とし、右眼画像Ｒ’上の座標（ｉ，ｊ）にある画素をＲ’（ｉ，ｊ）とする。

さらに、画素Ｌ（ｉ，ｊ），画素Ｒ（ｉ，ｊ），画素Ｌ’（ｉ，ｊ），画素Ｒ’（ｉ，ｊ）のそれぞれの画素値を、それぞれＬ（ｉ，ｊ），Ｒ（ｉ，ｊ），Ｌ’（ｉ，ｊ），Ｒ’（ｉ，ｊ）とする。また、視差マップにより示される画素Ｌ（ｉ，ｊ）の入力視差がｄ（ｉ）であり、その入力視差ｄ（ｉ）の補正後の補正視差がｄ（ｏ）であるとする。

この場合、画像合成部４５は、次式（１１）に示すように、左眼画像Ｌ上の画素Ｌ（ｉ，ｊ）の画素値を、そのまま左眼画像Ｌ’上の画素Ｌ’（ｉ，ｊ）の画素値とする。

Ｌ’（ｉ，ｊ）＝Ｌ（ｉ，ｊ） ・・・（１１）

また、画像合成部４５は、画素Ｌ’（ｉ，ｊ）に対応する右眼画像Ｒ’上の画素を画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）として、次式（１２）を計算することで、画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）の画素値を求める。

すなわち、左眼画像と右眼画像との補正前の入力視差はｄ（ｉ）であるから、図中、上側に示すように、画素Ｌ（ｉ，ｊ）に対応する右眼画像Ｒ上の画素、つまり画素Ｌ（ｉ，ｊ）と同じ被写体が表示される画素は、画素Ｒ（ｉ＋ｄ（ｉ），ｊ）である。

また、入力視差ｄ（ｉ）は補正されて補正視差ｄ（ｏ）となるから、図中、下側に示すように、左眼画像Ｌ’上の画素Ｌ’（ｉ，ｊ）に対応する右眼画像Ｒ’上の画素は、画素Ｌ（ｉ，ｊ）の位置から補正視差ｄ（ｏ）だけ離れている画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）となる。この画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）は、画素Ｌ（ｉ，ｊ）と、画素Ｒ（ｉ＋ｄ（ｉ），ｊ）との間に位置する。

そこで、画像合成部４５は、上述した式（１２）を計算して、画素Ｌ（ｉ，ｊ）と画素Ｒ（ｉ＋ｄ（ｉ），ｊ）の画素値を内分することにより、画素Ｒ’（ｉ＋ｄ（ｏ），ｊ）の画素値を求める。

このようにして、画像合成部４５は、立体画像を構成する一方の画像をそのまま補正後の一方の画像とするとともに、一方の画像の画素と、その画素に対応する他方の画像の画素とを内分することで、視差補正後の他方の画像の画素を求め、補正後の立体画像を得る。

図９のフローチャートの説明に戻り、右眼画像Ｒ’および左眼画像Ｌ’からなる立体画像が得られると、処理はステップＳ１８からステップＳ１９に進む。

ステップＳ１９において、表示制御装置１３は、画像合成部４５から供給された右眼画像Ｒ’および左眼画像Ｌ’からなる立体画像を、画像表示装置１４に供給して表示させ、画像変換処理は終了する。

例えば、画像表示装置１４は、表示制御装置１３の制御にしたがって、右眼画像Ｒ’および左眼画像Ｌ’を、レンチキュラレンズ方式等の表示方式により表示させることで、立体画像を表示させる。

以上のようにして、立体画像表示システムは、視聴条件としての両眼間隔ｅ、ディスプレイ幅Ｗ、および視聴距離Ｄを取得し、視聴条件に応じて表示対象の立体画像を、より適切な視差を有する立体画像に変換して表示させる。このように、視聴条件に応じて、その視聴条件に合った視差を有する立体画像を生成することで、立体画像の視聴条件によらず、簡単に、より適切な奥行き感を得ることができる。

例えば、大人にとっては適切な立体画像も、両眼間隔の狭い子供には負担が大きい場合があるが、立体画像表示システムでは、視聴条件として両眼間隔ｅを取得し、立体画像の視差制御を行なうことで、各ユーザの両眼間隔ｅに合った視差の立体画像を提示できる。同様に、視聴条件として、ディスプレイ幅Ｗや視聴距離Ｄを取得することで、画像表示装置１４の表示画面の大きさや視聴距離などに応じて、常に適切な視差の立体画像を提示することができる。

〈第２の実施の形態〉
［立体画像表示システムの構成例］
なお、以上においては、視聴条件をユーザが入力する場合を例として説明したが、視差変換装置１２が視聴条件を算出するようにしてもよい。

そのような場合、立体画像表示システムは、例えば図１６に示すように構成される。図１６の立体画像表示システムは、図７に示した立体画像表示システムにさらに画像センサ９１が設けられた構成とされている。

視差変換装置１２は、画像表示装置１４から、画像表示装置１４の表示画面の大きさ（ディスプレイサイズ）を示すディスプレイサイズ情報を取得し、ディスプレイサイズ情報に基づいて、視聴条件としてのディスプレイ幅Ｗ、および視聴距離Ｄを算出する。

画像センサ９１は、画像表示装置１４に固定されており、画像表示装置１４に表示される立体画像を視聴するユーザの画像を撮像し、視差変換装置１２に供給する。また、視差変換装置１２は、画像センサ９１からの画像と、視聴距離Ｄとに基づいて、両眼間隔ｅを算出する。

［視差変換装置の構成例］
また、図１６に示す立体画像表示システムの視差変換装置１２は、図１７に示すように構成される。なお、図１７において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１７の視差変換装置１２は、図８の視差変換装置１２にさらに演算部１２１と画像処理部１２２が設けられた構成とされている。

演算部１２１は、画像表示装置１４からディスプレイサイズ情報を取得し、ディスプレイサイズ情報に基づいてディスプレイ幅Ｗ、および視聴距離Ｄを算出する。また、演算部１２１は、算出したディスプレイ幅Ｗ、および視聴距離Ｄを入力部４１に供給するとともに、視聴距離Ｄを画像処理部１２２に供給する。

画像処理装部１２２は、画像センサ９１から供給された画像と、演算部１２１から供給された視聴距離Ｄとに基づいて両眼間隔ｅを算出し、入力部４１に供給する。

［画像変換処理の説明］
次に、図１８のフローチャートを参照して、図１６の立体画像表示システムにより行なわれる画像変換処理について説明する。なお、ステップＳ４１の処理は、図９のステップＳ１１の処理と同様であるので、その説明は省略する。

ステップＳ４２において、演算部１２１は、画像表示装置１４からディスプレイサイズ情報を取得し、取得したディスプレイサイズ情報からディスプレイ幅Ｗを算出する。

ステップＳ４３において、演算部１２１は、取得したディスプレイサイズ情報から視聴距離Ｄを算出する。例えば、演算部１２１は、視聴距離Ｄがディスプレイサイズに対する標準視距離であるものとして、取得したディスプレイサイズにより示される表示画面の高さの３倍の値を視聴距離Ｄとする。演算部１２１は、算出したディスプレイ幅Ｗと視聴距離Ｄを入力部４１に供給するとともに、視聴距離Ｄを画像処理部１２２に供給する。

ステップＳ４４において、画像処理部１２２は、画像センサ９１からユーザの画像を取得して、取得した画像と演算部１２１からの視聴距離Ｄとに基づいて両眼間隔ｅを算出し、入力部４１に供給する。

例えば、画像センサ９１は、図１９の上側に示すように、画像表示装置１４の正面にいるユーザの画像ＰＴ１１を撮像し、画像処理部１２２に供給する。画像処理部１２２は、この画像ＰＴ１１から顔検出によりユーザの顔の領域ＦＣ１１を検出するとともに、領域ＦＣ１１からユーザの右眼の領域ＥＲと左眼の領域ＥＬを検出する。

そして、画像処理部１２２は、領域ＥＲから領域ＥＬまでの画素数を単位とする距離ｅｐを算出し、この距離ｅｐからユーザの両眼間隔ｅを算出する。

すなわち、図１９の図中、下側に示すように、画像センサ９１に画像ＰＴ１１を撮像するセンサのセンサ面ＣＭ１１と、ユーザからの光を集光するレンズＬＥ１１が設けられているとする。また、ユーザの右眼ＹＲからの光がレンズＬＥ１１を介してセンサ面ＣＭ１１の位置ＥＲ’に到達し、ユーザの左眼ＹＬからの光がレンズＬＥ１１を介してセンサ面ＣＭ１１の位置ＥＬ’に到達するとする。

さらに、センサ面ＣＭ１１からレンズＬＥ１１までの距離が焦点距離ｆであるとし、レンズＬＥ１１からユーザまでの距離が視聴距離Ｄであるとする。この場合、画像処理部１２２は、画像ＰＴ１１上におけるユーザの両眼間の距離ｅｐから、センサ面ＣＭ１１上の位置ＥＲ’から位置ＥＬ’までの距離ｅｐ’を算出し、距離ｅｐ’、焦点距離ｆ、および視聴距離Ｄから次式（１３）を計算し、両眼間隔ｅを算出する。

両眼間隔ｅ＝Ｄ×ｅｐ’／ｆ ・・・（１３）

図１８のフローチャートの説明に戻り、両眼間隔ｅが算出されると、処理はステップＳ４５に進む。ステップＳ４５において、入力部４１は、演算部１２１からのディスプレイ幅Ｗおよび視聴距離Ｄと、画像処理部１２２からの両眼間隔ｅとからなる視聴条件を許容視差算出部６１に入力する。

視聴条件が入力されると、その後、ステップＳ４６乃至ステップＳ５２の処理が行われて画像変換処理は終了するが、これらの処理は図９のステップＳ１３乃至ステップＳ１９と同様であるので、その説明は省略する。

このようにして、立体画像表示システムは、視聴条件を求め、その視聴条件に応じて立体画像の視差制御を行なう。したがって、ユーザは視聴条件を入力する必要がなくなり、より簡単に適切な視差の立体画像を視聴することができるようになる。

〈第３の実施の形態〉
［立体画像表示システムの構成例］
また、以上においては、ディスプレイサイズ情報から視聴距離Ｄを算出すると説明したが、画像センサにより撮像された画像から視聴距離Ｄを算出するようにしてもよい。

そのような場合、立体画像表示システムは、例えば図２０に示すように構成される。図２０の立体画像表示システムは、図７に示した立体画像表示システムにさらに画像センサ１５１−１および画像センサ１５１−２が設けられた構成とされている。

画像センサ１５１−１および画像センサ１５１−２は、画像表示装置１４に固定されており、画像表示装置１４に表示される立体画像を視聴するユーザの画像を撮像し、視差変換装置１２に供給する。視差変換装置１２は、画像センサ１５１−１および画像センサ１５１−２から供給された画像に基づいて、視聴距離Ｄを算出する。

なお、以下、画像センサ１５１−１および画像センサ１５１−２を個々に区別する必要のない場合、単に画像センサ１５１とも称する。

［視差変換装置の構成例］
また、図２０に示す立体画像表示システムの視差変換装置１２は、図２１に示すように構成される。なお、図２１において、図８における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２１の視差変換装置１２は、図８の視差変換装置１２にさらに画像処理部１８１が設けられた構成とされている。画像処理部１８１は、画像センサ１５１から供給された画像に基づいて、視聴条件としての視聴距離Ｄを算出し、入力部４１に供給する。

［画像変換処理の説明］
次に、図２２のフローチャートを参照して、図２０の立体画像表示システムにより行なわれる画像変換処理について説明する。なお、ステップＳ８１の処理は、図９のステップＳ１１の処理と同様であるので、その説明は省略する。

ステップＳ８２において、画像処理部１８１は、画像センサ１５１から供給された画像に基づいて、視聴条件としての視聴距離Ｄを算出し、入力部４１に供給する。

例えば、画像センサ１５１−１および画像センサ１５１−２は、画像表示装置１４の正面にいるユーザの画像を撮像し、画像処理部１８１に供給する。ここで、画像センサ１５１−１および画像センサ１５１−２により撮像されるユーザの画像は、互いに視差を有する画像である。

画像処理部１８１は、画像センサ１５１−１および画像センサ１５１−２から供給された画像に基づいて、それらの画像間の視差を算出し、算出された視差から、三角測量の原理により画像表示装置１４からユーザまでの視聴距離Ｄを算出する。画像処理部１８１は、このようにして算出された視聴距離Ｄを入力部４１に供給する。

ステップＳ８３において、入力部４１は、リモートコマンダ５１からディスプレイ幅Ｗと両眼間隔ｅを受信し、これらのディスプレイ幅Ｗおよび両眼間隔ｅと、画像処理部１８１からの視聴距離Ｄとを、視聴条件として許容視差算出部６１に入力する。この場合、図９のステップＳ１２の場合と同様に、ユーザはリモートコマンダ５１を操作して、ディスプレイ幅Ｗと両眼間隔ｅを入力する。

視聴条件が入力されると、その後、ステップＳ８４乃至ステップＳ９０の処理が行われて画像変換処理は終了するが、これらの処理は図９のステップＳ１３乃至ステップＳ１９と同様であるので、その説明は省略する。

このようにして、立体画像表示システムは、ユーザの画像から視聴条件としての視聴距離Ｄを算出し、視聴条件に応じて立体画像の視差制御を行なう。したがって、ユーザは、より少ない操作で、より簡単に適切な視差の立体画像を視聴することができるようになる。

なお、以上においては、２つの画像センサ１５１により撮像された画像から、三角測量の原理により視聴距離Ｄを算出する例について説明したが、視聴距離Ｄの算出は、どのような方法により行なわれてもよい。

例えば、画像センサ１５１に代えて、特定パターンを投影するプロジェクタを設け、このプロジェクタにより投影されたパターンに基づいて視聴距離Ｄが算出されてもよい。また、直接、画像表示装置１４からユーザまでの距離を計測する距離センサを設け、距離センサにより視聴距離Ｄが算出されるようにしてもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

さらに、本技術は、以下の構成とすることも可能である。

［１］
表示しようとする立体画像の視聴条件を入力する入力部と、
前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定める変換特性設定部と、
前記変換特性に基づいて前記立体画像の視差を補正する補正視差算出部と
を備える画像処理装置。

［２］
前記視聴条件は、前記立体画像を視聴するユーザの両眼間隔、前記立体画像の視聴距離または前記立体画像が表示される表示画面の幅の少なくとも何れかである
上記［１］に記載の画像処理装置。

［３］
前記視聴条件に基づいて、前記立体画像の補正後の視差が取り得る視差範囲を求める許容視差算出部をさらに備え、
前記変換特性設定部は、前記視差範囲と前記立体画像の視差とに基づいて前記変換特性を定める
上記［１］または［２］に記載の画像処理装置。

［４］
前記変換特性設定部は、前記立体画像の視差を前記視差範囲内の視差に変換する変換関数を前記変換特性とする
上記［３］に記載の画像処理装置。

［５］
前記立体画像を、前記補正視差算出部により補正された視差を有する立体画像に変換する画像変換部をさらに備える
上記［１］乃至［４］の何れかに記載の画像処理装置。

［６］
前記表示画面の大きさを示す情報を取得して、前記情報に基づいて前記表示画面の幅および前記視聴距離を求める演算部をさらに備える
上記［２］に記載の画像処理装置。

［７］
前記立体画像を視聴する前記ユーザの画像、および前記視聴距離に基づいて前記両眼間隔を算出する画像処理部をさらに備える
上記［６］に記載の画像処理装置。

［８］
前記立体画像を視聴する前記ユーザの画像であって、互いに視差を有する一対の画像に基づいて前記視聴距離を算出する画像処理部をさらに備える
上記［２］に記載の画像処理装置。

１２ 視差変換装置， １３ 表示制御装置， １４ 画像表示装置， ４１ 入力部， ４３ 変換特性設定部， ４４ 補正視差算出部， ４５ 画像合成部， ６１ 許容視差算出部， ６２ 最大／最小視差検出部， ６３ 設定部， １２１ 演算部， １２２ 画像処理部， １８１ 画像処理部

Claims (10)

1. 表示しようとする立体画像の視聴条件を入力する入力部と、
   前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定める変換特性設定部と、
   前記変換特性に基づいて前記立体画像の視差を補正する補正視差算出部と
   を備える画像処理装置。
2. 前記視聴条件は、前記立体画像を視聴するユーザの両眼間隔、前記立体画像の視聴距離または前記立体画像が表示される表示画面の幅の少なくとも何れかである
   請求項１に記載の画像処理装置。
3. 前記視聴条件に基づいて前記立体画像の補正後の視差が取り得る視差範囲を求める許容視差算出部をさらに備え、
   前記変換特性設定部は、前記視差範囲と前記立体画像の視差とに基づいて前記変換特性を定める
   請求項２に記載の画像処理装置。
4. 前記変換特性設定部は、前記立体画像の視差を前記視差範囲内の視差に変換する変換関数を前記変換特性とする
   請求項３に記載の画像処理装置。
5. 前記立体画像を前記補正視差算出部により補正された視差を有する立体画像に変換する画像変換部をさらに備える
   請求項４に記載の画像処理装置。
6. 前記表示画面の大きさを示す情報を取得して、前記情報に基づいて前記表示画面の幅および前記視聴距離を求める演算部をさらに備える
   請求項２に記載の画像処理装置。
7. 前記立体画像を視聴する前記ユーザの画像および前記視聴距離に基づいて前記両眼間隔を算出する画像処理部をさらに備える
   請求項６に記載の画像処理装置。
8. 前記立体画像を視聴する前記ユーザの画像であって、互いに視差を有する一対の画像に基づいて前記視聴距離を算出する画像処理部をさらに備える
   請求項２に記載の画像処理装置。
9. 表示しようとする立体画像の視聴条件を入力する入力部と、
   前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定める変換特性設定部と、
   前記変換特性に基づいて前記立体画像の視差を補正する補正視差算出部と
   を備える画像処理装置の画像処理方法であって、
   前記入力部が前記視聴条件を入力し、
   前記変換特性設定部が、前記変換特性を定め、
   前記補正視差算出部が、前記立体画像の視差を補正する
   ステップを含む画像処理方法。
10. 表示しようとする立体画像の視聴条件を入力し、
    前記視聴条件に基づいて前記立体画像の視差を補正する変換特性を定め、
    前記変換特性に基づいて前記立体画像の視差を補正する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images