JP5931062B2 - 立体画像処理装置、立体画像処理方法、及びプログラム - Google Patents

Description

本発明は、複数の視点画像から立体画像を表示するための処理を行う立体画像処理装置、立体画像処理方法、及びコンピュータ読み取り可能なプログラムに関するものである。

多視点式の立体画像表示装置は、互いに視差を有する複数枚の画像を用いて立体表示を行う。この複数枚の画像をそれぞれ視点画像と呼ぶ。二視点式の立体画像表示装置では、左目用画像と右目用画像を用いて立体表示を行うが、この場合も左目用画像と右目用画像をそれぞれ視点画像と呼ぶことができる。

従来、立体画像を撮影する方法としては、複数台のカメラを左右に並べた多眼式カメラによって撮影する方法が知られている。多眼式カメラの各カメラで撮影された画像をそれぞれ視点画像として立体画像表示装置で表示すると立体画像が観察される。視差は、視点画像間での被写体の座標の横方向のずれであり、被写体とカメラとの距離に応じて異なる。しかし、横方向のみでなく、縦方向にも視点画像間でずれが生じている場合がある。これは、カメラの位置や光軸の縦方向のずれ、光軸の周りの回転方向のずれなどが要因となって生じる。また、交差法撮影のように光軸が平行でない場合、エピポーラ線の傾きが視点画像間で異なるため、縦方向に領域によって程度の異なるずれが生じる。さらに、輝度や色についても、視点画像間でずれが生じている場合がある。ずれが生じる要因として、カメラ間の特性の差異や、被写体の持つ光の反射の異方性が挙げられる。

このような視点間で差異のある立体画像を表示装置に表示させると、画質や立体視の容易さが低下することが知られており、特許文献１では、画像間の位置ずれや回転ずれを調整する立体画像補正方法について開示されている。また、特許文献２では、輝度を補正する表示装置について開示されている。

さらに、各視点画像間では、ぼけの程度など、様々な差異が生じている場合がある。いずれの差異においても、差異の程度は画像内で一様であるとは限らず、多くの場合、領域によって異なる。

特開２００２−７７９４７号公報 特開２０１１−５９６５８号公報

しかしながら、特許文献１，２に記載の技術をはじめとする従来の表示方法においては、ずれの程度に応じて補正を行うため、様々なずれの程度を正確に算出する必要があった。そして、ずれの程度の算出に誤差が生じると補正を正しく行うことができず、誤差が大きい場合は、逆にずれを大きくしてしまう可能性がある。特に、様々なずれが同時に生じている場合、画素ごとのずれの程度を正確に算出することは困難である。

本発明は、上述のような実情に鑑みてなされたものであり、視点画像間に視差以外の差異がある場合にも、その差異の程度の算出を行わずに差異を低減させ、観察者が立体視し易い画像を表示させることができる立体画像処理装置、立体画像処理方法、及びコンピュータ読み取り可能なプログラムを提供することを、その目的とする。

上記課題を解決するために、本発明の第１の技術手段は、立体画像処理装置において、複数の視点画像の中の１枚を基準視点画像として選択する基準視点画像選択部と、前記基準視点画像と残りの視点画像との視差マップを算出する視差算出部と、前記視差マップと前記基準視点画像から、前記残りの視点画像に対応する新たな残りの視点画像を生成する画像生成部と、少なくとも前記新たな残りの視点画像を表示要素とする立体画像を表示させる表示制御部と、を備え、前記画像生成部は、前記視差マップと前記基準視点画像から、前記基準視点画像に対応する新たな視点画像をさらに生成し、前記表示制御部は、前記新たな視点画像と前記新たな残りの視点画像とを表示要素とする立体画像を表示させることを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記基準視点画像選択部は、前記複数の視点画像の画像特徴量を用いて前記基準視点画像を選択することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記画像特徴量の１つがコントラストであることを特徴としたものである。

第４の技術手段は、第２の技術手段において、前記画像特徴量の１つが鮮鋭度であることを特徴としたものである。

第５の技術手段は、第２の技術手段において、前記画像特徴量の１つが画像周辺部の肌色画素数であることを特徴としたものである。

第６の技術手段は、第１の技術手段において、前記基準視点画像選択部は、予め定めた視点の視点画像を前記基準視点画像として選択することを特徴としたものである。

第７の技術手段は、複数の視点画像の中の１枚を基準視点画像として選択する基準視点画像選択部と、前記基準視点画像と残りの視点画像との視差マップを算出する視差算出部と、前記視差マップと前記基準視点画像から、少なくとも前記残りの視点画像に対応する新たな残りの視点画像を生成する画像生成部と、少なくとも前記新たな残りの視点画像を表示要素とする立体画像を表示させる表示制御部と、シーンチェンジ検出部と、を備え、前記複数の視点画像のそれぞれは、動画を構成するフレーム画像であり、前記基準視点画像選択部は、前記シーンチェンジ検出部でシーンチェンジでないと検出された場合には、前のフレーム画像と同じ視点の視点画像を前記基準視点画像として選択することを特徴としたものである。

第８の技術手段は、第１〜第７のいずれか１の技術手段において、前記画像生成部は、前記視差マップと前記基準視点画像から前記新たな残りの視点画像を生成する際に、視差の調整を行うことを特徴としたものである。

第９の技術手段は、第１〜第８のいずれか１の技術手段において、前記画像生成部は、前記視差マップと前記基準視点画像から、前記新たな残りの視点画像の視点とは異なる新たな視点をもつ新視点の視点画像をさらに生成し、前記表示制御部は、前記新視点の視点画像も表示要素として含む立体画像を表示させることを特徴としたものである。

第１０の技術手段は、立体画像処理方法において、基準視点画像選択部が、複数の視点画像の中の１枚を基準視点画像として選択するステップと、視差算出部が、前記基準視点画像と残りの視点画像との視差マップを算出するステップと、画像生成部が、前記視差マップと前記基準視点画像から、前記残りの視点画像に対応する新たな残りの視点画像を生成するステップと、前記画像生成部が、前記視差マップと前記基準視点画像から、前記基準視点画像に対応する新たな視点画像をさらに生成するステップと、表示制御部が、前記新たな視点画像と前記新たな残りの視点画像とを表示要素とする立体画像を表示させる表示ステップと、を有することを特徴としたものである。

第１１の技術手段は、プログラムにおいて、コンピュータに、複数の視点画像の中の１枚を基準視点画像として選択するステップと、前記基準視点画像と残りの視点画像との視差マップを算出するステップと、前記視差マップと前記基準視点画像から、前記残りの視点画像に対応する新たな残りの視点画像を生成するステップと、前記視差マップと前記基準視点画像から、前記基準視点画像に対応する新たな視点画像をさらに生成するステップと、前記新たな視点画像と前記新たな残りの視点画像とを表示要素とする立体画像を表示させるステップと、を実行させるためのプログラムであることを特徴としたものである。

本発明によれば、視点画像間に視差以外の差異がある場合にも、その差異の程度の算出を行わずに差異を低減させ、画質が良好でかつ観察者が立体視し易い立体画像を表示させることができる。

本発明の第１の実施形態に係る立体画像表示装置の概略構成例を示すブロック図である。 図１の立体画像表示装置における画像生成部の処理例を説明するためのフロー図である。 本発明の第２の実施形態に係る立体画像表示装置における基準視点画像選択部の処理例を説明するための図である。 本発明の第３の実施形態に係る立体画像表示装置の概略構成例を示すブロック図である。 本発明の第４の実施形態に係る立体画像表示装置の概略構成例を示すブロック図である。 本発明の第６の実施形態に係る立体画像表示装置の概略構成例を示すブロック図である。 図６の立体画像表示装置における画像生成部の処理例を説明するためのフロー図である。 本発明の第７の実施形態に係る立体画像表示装置における画像生成部の処理例を説明するためのフロー図である。

以下、添付図面を参照しながら本発明の様々な実施形態について詳細に説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。

（第１の実施形態）
図１及び図２を参照しながら、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る立体画像表示装置の概略構成例を示すブロック図である。また、図２は、図１の立体画像表示装置における画像生成部の処理例を説明するためのフロー図で、第１の実施形態に係る画像生成部の手順を説明するための図である。

図１で示したように、本実施形態の立体画像表示装置１は、入力部１１と、基準視点画像選択部１２と、視差算出部１３と、画像生成部１４と、画像補間部１５と、表示部１６とを有している。表示部１６は、表示デバイスと、その表示デバイスに立体画像を出力するための制御を行う表示制御部とで構成される。

入力部１１は、複数の視点画像を入力画像として基準視点画像選択部１２に入力する。入力部１１は、例えばカメラで撮影することで取得すること、デジタル放送の放送波を受信して復調等の処理を施して取得すること、ネットワークを介して外部サーバ等から取得すること、ローカルの記憶装置や可搬記録媒体から取得することなどのうち、いずれかの取得方法で複数の視点画像を入力可能に構成しておけばよい。また、これらのうち複数の取得方法で入力可能に構成してもよい。

基準視点画像選択部１２は、複数の視点画像の中の１枚を基準視点画像として選択する。以下、入力部１１を通して入力される入力画像が左目用画像と右目用画像から構成される例、つまり複数の視点画像が左目用画像と右目用画像である例を挙げて説明する。この例では、左目用画像と右目用画像とを用いているため、基準視点画像選択部１２では、左目用画像か右目用画像の一方を基準視点画像として選択し、もう一方を別視点画像と決める。

基準視点画像の選択は画像のコントラストによって行う。まず、左目用画像と右目用画像の各々のコントラストＣを式（１）により算出する。
Ｃ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ） ・・・（１）

ただし、Ｉｍａｘ、Ｉｍｉｎはそれぞれ画像における画素の輝度の最大値、最小値である。そして、コントラストＣが大きい方の画像を基準視点画像と決定し、コントラストＣの小さい方の画像を別視点画像とする。左目用画像と右目用画像でコントラストＣの値が同じ場合は、予め定めた一方の画像を基準視点画像とし、もう一方を別視点画像と決める。この処理により、画質の良い方の視点画像を基準視点画像として選択することができる。基準視点画像は、視差算出部１３、画像生成部１４、表示部１６のそれぞれに入力し、別視点画像は視差算出部１３にのみ入力する。

基準視点画像選択部１２において基準視点画像を選択する他の方法として、画像の鮮鋭度の大きい方の画像を選択する。鮮鋭度は、例えば、輝度値における横方向の隣接画素間差分と縦方向の隣接画素間差分の絶対値和を画像全体で合計したもので定義する。また、コントラストと鮮鋭度などの複数の画像特徴量を組み合わせてもよい。組み合わせ方は、例えば複数の特徴量の線形和によって行う。組み合わせによって、視聴したときに感じる画質をさらに精度良く考慮して基準視点画像を選択することができる。このように、基準視点画像選択部１２は、複数の視点画像の画像特徴量を用いて基準視点画像を選択するようにしてもよいが、他の方法として、予め定めた視点の画像を基準視点画像として選択してもよい。選択する視点画像を固定することによって、処理量を削減することができる。

視差算出部１３では、基準視点画像と残りの視点画像との視差マップ、つまりこの例では基準視点画像に対するそれぞれの別視点画像の視差マップを算出する。視差マップは、別視点画像の各画素において、基準視点画像内の対応点との間の横方向（水平方向）の座標の差分値を記したものである。視差マップ算出方法には、ブロックマッチング、動的計画法、グラフカットなどを用いた様々な手法が知られており、いずれを用いてもよいが、縦方向のずれや輝度や色などの差異に頑健な手法によって視差マップを算出する。

画像生成部１４では、基準視点画像と視差マップから、少なくとも上記残りの視点画像に対応する新たな残りの視点画像を生成する。つまり、基準視点画像と視差マップから、別視点画像を再構成することによって、新たな残りの視点画像（表示用別視点画像）を生成する。再構成方法は、基準視点画像の各画素について、その座標の視差値を視差マップから読み取り、表示用別視点画像において、視差値分だけ座標を移動させた画素に画素値をコピーする。この処理を基準視点画像の全ての画素について行うが、同一の画素に複数の画素値が割り当てられる場合は、ｚバッファ法に基づき、視差値が飛び出し方向に最大の画素の画素値を用いる。

図２を参照しながら、画像生成部１４における再構成方法の手順を説明する。図２は、左目用画像を基準視点画像と選択した場合の例である。（ｘ，ｙ）は画像内の座標を示すが、図２では各行での処理であり、ｙは一定である。Ｆ、Ｇ、Ｄはそれぞれ基準視点画像、表示用別視点画像、視差マップを示している。Ｚは、処理の過程において表示用別視点画像の各画素の視差値を保持するための配列であり、ｚバッファと呼ぶ。Ｗは画像の横方向の画素数である。

まず、ステップＳ１において、ｚバッファを初期値ＭＩＮで初期化する。視差値は飛出し方向の場合に正値、奥行き方向の場合に負値をとるものとし、ＭＩＮは、視差算出部１３で算出した視差の最小値よりも小さい値とする。さらに、以降のステップで左端画素から順に処理を行うために、ｘに０を入力する。ステップＳ２において、視差マップの視差値と、その視差値分だけ座標を移動させた画素のｚバッファの値を比較し、視差値がｚバッファの値より大きいか否かを判定する。視差値がｚバッファの値よりも大きい場合は、ステップＳ３に進み、表示用別視点画像に基準視点画像の画素値を割り当てる。また、ｚバッファの値を更新する。

次にステップＳ４において、現在の座標が右端画素だった場合は終了し、そうでない場合はステップＳ５に進み、右隣りの画素へ移動してステップＳ２に戻る。ステップＳ２において、視差値がｚバッファの値以下の場合は、ステップＳ３を通らずにステップＳ４へ進む。これらの手順を全ての行で行う。視差値分だけ座標を横方向にのみ移動させて再構成するため、基準視点画像との間に視差以外の差異がない表示用別視点画像を生成することができる。

画像補間部１５は、画像生成部１４で生成された表示用別視点画像について、画像生成部１４で画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。補間処理は、画素値未割当の画素について、その左側で最も近傍の画素値割当済の画素と、その右側で最も近傍の画素値割当済の画素との画素値の平均値を用いて行う。この補間処理は、平均値を用いる方法に限らず、フィルタ処理などの他の方法であってもよい。このように、画像補間部１５を備えることで、生成した別視点画像において画素値が割り当てられてない画素に対して補間処理を行うようにすれば常に画素値を決定することができる。

表示部１６における表示制御部は、少なくとも上記新たな残りの視点画像（表示用別視点画像）を表示要素とする立体画像を、表示デバイスに表示させる。本実施形態では、基準視点画像はそのまま用いる。すなわち、表示部１６における表示制御部が、基準視点画像と上記新たな残りの視点画像とを表示要素とする立体画像を、表示デバイスに表示させるものとする。表示部１６は、上述のように表示制御部と表示デバイスとでなるが、他の実施形態での説明も含め、以下では単に表示部１６での処理として説明する。

そして、ここでは二視点式の立体表示を例にしているので、表示部１６には、基準視点画像と１つの表示用別視点画像が入力され、二視点式立体表示を行う。基準視点画像選択部１２において左目用画像が基準視点画像として選択された場合は、基準視点画像を左目用画像、表示用別視点画像を右目用画像として表示する。基準視点画像選択部１２において右目用画像が基準視点画像として選択された場合は、基準視点画像を右目用画像、表示用別視点画像を左目用画像として表示する。

上述のとおり、本実施形態の立体画像表示装置によれば、一方の視点画像からもう一方の視点画像を再構成することで、視点画像間に視差以外の差異（縦ずれや色ずれなど）がある場合にも、その差異の程度の算出を行わずに差異を低減させ、画質が良好でかつ観察者が立体視し易い立体画像を表示させることができる。例えば二眼レンズで撮影して入力した画像において右目と左目用の受光素子の器差や劣化度合が異なっても、その差異を低減させることができる。また、コントラストや鮮鋭度の高い画像を基準として再構成することで、コントラストや鮮鋭度の高い立体画像を表示することができる。

（第２の実施形態）
図３を参照しながら、本発明の第２の実施形態について説明する。図３は、本発明の第２の実施形態に係る立体画像表示装置における基準視点画像選択部の処理例を説明するための図である。

第２の実施形態における立体画像表示装置の概略構成例は、第１の実施形態と同様に図１で示されるが、基準視点画像選択部１２における処理の方法が異なる。本実施形態では、レンズに指がかかった状態で撮影された画像を検出し、指がかかっている領域が少ない方の視点画像を基準視点画像に選択する。

基準視点画像選択部１２において、まず、左目用画像と右目用画像のそれぞれについて、画像の左右端と上下端から一定幅の領域に位置する画素の画素値をＨＳＶ色空間に変換する。次に、Ｈ値が予め定めた範囲の大きさをとる画素を肌色とみなし、各々の画像について肌色の画素数をカウントする。そして、左目用画像と右目用画像の両方において、肌色画素数が予め定めた閾値以下の場合は、撮影時にレンズに指がかかっていないと判断し、第１の実施形態と同じ方法で基準視点画像を選択する。いずれかの画像において肌色画素数が予め定めた閾値より大きい場合は、肌色画素数が少ない方の画像を基準視点画像として選択し、もう一方を別視点画像と決める。

図３に示す画像Ｐ_Ｌ、画像Ｐ_Ｒはそれぞれ、レンズに指がかかった状態で撮影された左目用画像、右目用画像の例である。左目用画像Ｐ_Ｌ、右目用画像Ｐ_Ｒにおいて、黒色部分３３ａ，３４ａとハッチング部分３３ｂ，３４ｂは画像に写った指の領域３３，３４を示しており、この例では、左目用画像Ｐ_Ｌの左端部と右目用画像Ｐ_Ｒの右下隅部に指が写っている。左目用画像Ｐ_Ｌ、右目用画像Ｐ_Ｒにおいて斜線部分３１は、肌色画素数検出に用いるための左右端と上下端から一定幅の領域である。黒色部分３３ａ，３４ａは、肌色画素数にカウントされた領域である。この例では、右目用画像Ｐ_Ｒよりも左目用画像Ｐ_Ｌの肌色画素数（黒色部分の画素数）が少ないため、左目用画像Ｐ_Ｌが基準視点画像に選択される。

また、このようにして、基準視点画像選択部１２で用いる画像特徴量の１つとして画像周辺部の肌色画素数を採用する場合にも、コントラストと鮮鋭度などの複数の画像特徴量を組み合わせて用いてもよい。組み合わせ方は、例えば複数の特徴量の線形和によって行う。最も単純には、肌色画素数の差が所定数以上の場合には、他の画像特徴量を鑑みずに肌色画素数が少ない方を基準視点画像として選択し、所定数より少ない場合には、他の画像特徴量から基準視点画像を選択してもよい。

上述のとおり、本実施形態の立体画像表示装置によれば、レンズに指がかかった状態で撮影された画像を表示する場合に、指がかかっている領域が少ない方の視点画像を基準視点画像として再構成するため、指がかかっている領域が少ない立体画像を表示することができる。

（第３の実施形態）
図４を参照しながら、本発明の第３の実施形態について説明する。図４は、本発明の第３の実施形態に係る立体画像表示装置の概略構成例を示すブロック図である。第３の実施形態では、入力画像が動画の場合に限ったもの、つまり複数の視点画像のそれぞれは動画を構成するフレーム画像であるものとする。

図４に示すように、本実施形態における立体画像表示装置４は、入力部１１と、シーンチェンジ検出部１７と、記憶部１８と、基準視点画像選択部１９と、視差算出部１３と、画像生成部１４と、画像補間部１５と、表示部１６とを有している。第１の実施形態と同じ番号のものは、同じ内容であるため説明を省略する。

入力部１１を通して入力される入力画像の各フレームは、二視点式を例にしているため、左目用画像と右目用画像から構成され、シーンチェンジ検出部１７に入力される。シーンチェンジ検出部１７では、記憶部１８に保持されている前フレーム画像と比較し、シーンチェンジが生じているかどうかを検出する。シーンチェンジ検出は、例えば、輝度ヒストグラムのフレーム間の比較によって行う。まず、入力部１１を通して入力された入力フレームについて、各画素の輝度値を算出し、予め定めた階級のヒストグラムを作成する。次に、記憶部１８から読み出した前フレーム画像について同様に輝度ヒストグラムを作成する。そして、２つのヒストグラムの度数について階級ごとに差分をとり、その絶対値和を求める。絶対値和が予め定めた閾値以上であった場合はシーンチェンジと判断し、基準視点画像選択部１９に通知する。また、記憶部１８に保持する前フレーム画像を入力フレーム画像によって更新する。

また、シーンチェンジ検出部１７は、１の視点についての動画（シーケンシャルなフレーム画像）からシーンチェンジを検出してもよいが、複数の視点についての動画（シーケンシャルなフレーム画像）からシーンチェンジを検出してもよい。他の検出方法としては、シーンチェンジの信号を少なくとも１つの視点の動画に埋め込むようにしておき、その信号を検出するなどによって、シーンチェンジを検出してもよい。

基準視点画像選択部１９では、シーンチェンジ検出部１７においてシーンチェンジが検出されたか否かで処理の内容を変える。シーンチェンジの場合は、第１の実施形態（又は第２の実施形態）の基準視点画像選択部１２と同様の処理によって基準視点画像を選択する。シーンチェンジでない場合は、前フレームで基準視点画像に選択された視点と同じ視点の視点画像を基準視点画像と選択する。つまり、前のフレーム画像で左目用画像が基準視点画像に選択された場合は、現フレーム入力画像の左目用画像を基準視点画像として視差算出部１３、画像生成部１４、表示部１６に出力し、右目用画像を別視点画像として視差算出部１３に出力する。

上述のとおり、本実施形態の立体画像表示装置によれば、入力画像が動画の場合において、シーンチェンジ検出を行い、シーンチェンジでないフレームでは前のフレームと同じ視点の画像を基準視点画像として再構成するため、表示画像のフレーム間でのゆらぎを抑制することができる。

（第４の実施形態）
図５を参照しながら、本発明の第４の実施形態について説明する。図５は、本発明の第４の実施形態に係る立体画像表示装置の概略構成例を示すブロック図である。

第４の実施形態は、第１〜第３の実施形態において、視点画像間の視差以外の差異を低減させると同時に、視差の調整も行うものである。図５で示すように、本実施形態における立体画像表示装置５は、図１の立体画像表示装置１に視差分布変換部２０を追加したものである。ただし、本実施形態では、第３の実施形態への適用が可能であるため、図４の立体画像表示装置４に視差分布変換部２０を追加した概略構成例を採用してもよい。

本実施形態における画像生成部１４は、視差マップと基準視点画像から上記新たな残りの視点画像を生成する際に、視差の調整を行う。図５では、この視差調整の部分を画像生成部１４から分離して視差分布変換部２０として図示している。視差分布変換部２０では、視差算出部１３で算出された入力視差マップの値を変換して、変換後視差マップを画像生成部１４に出力する。変換方法は、例えば次式（２）によって行う。ただし、ｐ（ｘ，ｙ）、ｑ（ｘ、ｙ）はそれぞれ入力視差マップ、変換後視差マップであり、ａ、ｂは定数である。
ｑ（ｘ，ｙ）＝ａ・ｐ（ｘ，ｙ）＋ｂ ・・・（２）
この式によって、画像に含まれる視差の範囲を調節することができる。

また、変換方法の他の例として、例えば次式（３）によって行ってもよい。
１／ｑ（ｘ，ｙ）＝ａ・（１／ｐ（ｘ，ｙ））＋ｂ ・・・（３）
この式によると、立体画像表示装置によって再生される像と観察者間の距離が視差の逆数に比例することを考慮して、視差の調整を行うことができる。

画像生成部１４では、視差分布変換部２０で作成した変換後視差マップと基準視点画像を用いて、第１の実施形態（又は、第２や第３の実施形態）と同様の方法で表示用別視点画像を生成する。

上述のとおり、本実施形態の立体画像表示装置によれば、視点画像間の差異を低減し、さらに視差の範囲を調整した立体画像を表示することができる。

（第５の実施形態）
図１を再度参照しながら、本発明の第５の実施形態について説明する。第５の実施形態は、多視点式立体表示の場合に、視点画像間の差異を低減して表示することができる立体画像表示装置に関する。本実施形態における立体画像表示装置の概略構成例は、第１の実施形態と同様に図１で示されるが、入力部１１を通して入力される入力画像が３以上の多視点画像である。この入力多視点画像を構成する視点数をＮとする。本実施形態では表示用の多視点画像を構成する視点数、つまり表示用の多視点画像の枚数もＮとなる。

基準視点画像選択部１２では、Ｎ枚の視点画像の中から１枚を基準視点画像として選択し、残りのＮ−１枚を別視点画像と決める。この選択は、例えば画像のコントラストに基づいて行う。まず、各視点画像のコントラストＣを式（１）により算出する。そして、コントラストＣが最大の画像を基準視点画像と決定し、残りの視点画像を別視点画像と決める。基準視点画像は、視差算出部１３、画像生成部１４、表示部１６のそれぞれに入力し、Ｎ−１枚の別視点画像は視差算出部１３にのみ入力する。この選択について、画像のコントラストに基づく例のみ説明したが、鮮鋭度等の他の要素に基づいても同様である。

視差算出部１３では、各々の別視点画像と比較した基準視点画像の視差マップを算出する。視差マップ算出は第１の実施形態で説明した方法と同様の方法で行い、Ｎ−１枚の視差マップを画像生成部１４に出力する。

画像生成部１４では、基準視点画像と各視差マップからＮ−１枚の表示用別視点画像を生成する。各々の表示用別視点画像の生成は第１の実施形態と同様に、基準視点画像の各画素について、その座標の視差値を視差マップから読み取り、視差値分だけ座標を移動させた表示用別視点画像の画素に画素値をコピーする。

画像補間部１５では、画像生成部１４で生成されたＮ−１枚の表示用別視点画像について、画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。この補間処理は、第１の実施形態と同様の方法で行う。

表示部１６では、基準視点画像とＮ−１枚の表示用別視点画像が入力され、多視点式立体表示を行う。合計Ｎ枚の視点画像は、適切な順序に配置して表示する。

上述のとおり、本実施形態の立体画像表示装置によれば、３以上の多視点式立体表示を行う際に、一枚の視点画像（基準視点画像）から残りの視点画像を再構成することで、差異を低減した立体画像を表示することができる。

（第６の実施形態）
図６及び図７を参照しながら、本発明の第６の実施形態について説明する。図６は、本発明の第６の実施形態に係る立体画像表示装置の概略構成例を示すブロック図である。また、図７は、図６の立体画像表示装置における画像生成部の処理例を説明するためのフロー図で、第６の実施形態に係る画像生成部の手順を説明するための図である。

図６で示すように、本実施形態における立体画像表示装置６は、入力部１１と、基準視点画像選択部１２と、視差算出部１３と、画像生成部２１と、画像補間部２２と、表示部１６とを有している。第１の実施形態と同じ番号のものは、同じ内容であるため説明を省略する。

第１〜第５の実施形態では、表示部１６が、基準視点画像と新たな残りの視点画像とを表示要素とする立体画像を表示するものとして説明したが、第６の実施形態の立体画像表示装置６では、画像生成部２１が基準視点画像についても新たな視点画像を生成するようにし、既存の基準視点画像の代わりにその新たな視点画像を立体画像の表示要素の一つにする。

そのため、本実施形態における画像生成部２１は、視差マップと基準視点画像から、基準視点画像に対応する新たな視点画像をさらに生成するものとする。つまり、画像生成部２１では、基準視点画像と視差算出部１３で算出された視差マップから、表示用基準視点画像と表示用別視点画像を生成し、画像補間部２２に出力する。これにより、入力された全ての複数の視点画像に対応する新たな視点画像が表示用に生成されることになる。

図７を参照しながら、画像生成部２１における生成方法の手順を説明する。図７は、左目用画像を基準視点画像と選択した場合の例である。図２と同様、（ｘ，ｙ）は画像内の座標を示すが、図７は各行での処理であり、ｙは一定である。Ｆ、Ｇａ、Ｇｂ、Ｄはそれぞれ基準視点画像、表示用基準視点画像、表示用別視点画像、視差マップを示している。Ｚ、Ｗはそれぞれ図２と同様、zバッファと画像の横方向の画素数である。ステップＳ１１，Ｓ１４，Ｓ１５については、それぞれ図２のステップＳ１，Ｓ４，Ｓ５と同じ内容であり、その説明を省略する。

ステップＳ１２において、視差マップの視差値と、その視差値の半分だけ座標を移動させた画素のｚバッファの値を比較し、視差値がｚバッファの値より大きいか否かを判定する。視差値がｚバッファの値よりも大きい場合は、ステップＳ１３に進み、表示用基準視点画像Ｇａと表示用別視点画像Ｇｂに基準視点画像Ｆの画素値を割り当てる。ただし、表示用基準視点画像Ｇａと表示用別視点画像Ｇｂについて、座標（ｘ，ｙ）から視差値の半分の大きさだけそれぞれ逆方向に移動した座標に割り当てる。また、ｚバッファについて、視差値の半分の大きさだけ移動した座標の値を更新し、ステップＳ１４に進む。ステップＳ１２において、視差値がｚバッファの値以下の場合は、ステップＳ１３を通らずにステップＳ１４へ進む。図７の手順を全ての行で行うことで、基準視点画像を逆方向に同じ距離だけずらして表示用基準視点画像と表示用別視点画像を作成することができる。

画像補間部２２では、画像生成部２１で生成された表示用基準視点画像と表示用別視点画像について、画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。ここでは、第１の実施形態の画像補間部１５と同様の処理を、表示用基準視点画像と表示用別視点画像の各々に対して行っている。補間によって全ての画素に画素値が割り当てられた表示用基準視点画像と表示用別視点画像を、表示部１６の入力とする。

表示用基準視点画像と表示用別視点画像は、画像生成部２１で同じ距離だけ逆方向に移動して作られたものであるため、補間される画素数が同じとなる。補間処理は、ぼけなどの劣化を生じさせる場合があるため、片方の視点画像だけにぼけが生じると、画質や立体視の容易さが低下する原因となり得る。本実施形態によれば、補間画素数を視点画像間で揃えることにより、補間による画質の劣化の程度を視点画像間で同程度に抑えることができる。

表示部１６は、以上のようにして生成された、基準視点画像を元にした上記新たな視点画像と別の視点画像を元にした上記新たな残りの視点画像とを表示要素とする立体画像を表示する。

また、本実施形態では、上述した各実施形態２〜５が適用可能であり、第１の実施形態における表示の際に基準視点画像をそのまま用いる点以外の構成や応用例、例えば基準視点画像の選択方法なども同様に適用可能である。なお、第４の実施形態で説明した視差の調整は、基準視点画像に対応する新たな視点画像の生成時にも実行してもよい。この新たな視点画像や新たな残りの視点画像に対して、例えば視差の最大値と最小値の幅を全体的に縮めるように調整を行うこともできる。無論、調整時には基準視点画像だけは変更されないような調整を採用してもよい。

上述のとおり、本実施形態の立体画像表示装置によれば、一方の視点画像から両方の視点画像を生成することで、視点画素間での画質の差異を低減することが可能で、補間を採用している場合には、補間により生じる劣化の視点画像間での差異を低減することができる。

（第７の実施形態）
図８を参照しながら、本発明の第７の実施形態について説明する。図８は、本発明の第７の実施形態に係る立体画像表示装置における画像生成部の処理例を説明するためのフロー図である。

第７の実施形態に係る立体画像表示装置は、入力部から入力される視点画像の枚数より表示部で表示に用いる視点画像（表示用の多視点画像）の枚数が多くなるように処理される装置である。本実施形態では、入力多視点画像を構成する視点数、つまり入力部を通して入力される視点画像の枚数をＭ（≧２）とし、表示用の多視点画像を構成する視点数、つまり表示用の多視点画像の枚数をＮ（≧３）とする。ここで、Ｍ＜Ｎである。

第７の実施形態に係る立体画像表示装置の概略構成は図１で例示でき、以下、図１を併せて参照しながら本実施形態について説明する。本実施形態の主たる特徴として、画像生成部１４は、視差マップと基準視点画像から、上記新たな残りの視点画像の視点とは異なる新たな視点をもつ視点画像（以下、新視点の視点画像と言う）をさらに生成する。そして、表示部１６は、上記新視点の視点画像も表示要素とするような立体画像、つまり上記新視点の視点画像も表示要素として含む立体画像を表示する。

以下、第１の実施形態と同様にＭ＝２とし、このような処理を第１の実施形態へ適用する場合について説明する。なお、説明を省略した部分については、基本的に第１の実施形態で説明した内容が適用できる。

入力部１１、基準視点画像選択部１２、視差算出部１３では、第１の実施形態と同様の方法で処理を行う。つまり、基準視点画像選択部１２では、入力部１１を通して左目用画像と右目用画像とから構成される入力画像が入力され、基準視点画像が選択される。視差算出部１３では、基準視点画像以外の視点画像について視差マップの算出が行われる。

そして、画像生成部１４では、基準視点画像と視差算出部１３で算出された１枚の視差マップから、Ｎ−１枚の表示用別視点画像を生成し、画像補間部１５に出力する。

図８を参照しながら、画像生成部１４における生成方法の手順を説明する。図８は、左目用画像を基準視点画像と選択した場合の例である。図２と同様、（ｘ，ｙ）は画像内の座標を示すが、図８は各行での処理であり、ｙは一定である。Ｆ、Ｇ_k、Ｄはそれぞれ基準視点画像、ｋ枚目の表示用別視点画像、視差マップを示している。ここで、ｋが１からＮ−１のそれぞれについて処理を施すことになる。Ｚ、Ｗはそれぞれ図２と同様、zバッファと画像の横方向の画素数である。

ステップＳ２２において、視差マップの視差値と、その視差値のｋ／（Ｎ−１）倍だけ座標を移動させた画素のｚバッファの値を比較し、視差値のｋ／（Ｎ−１）倍がｚバッファの値より大きいか否かを判定する。視差値のｋ／（Ｎ−１）倍がｚバッファの値よりも大きい場合は、ステップＳ２３に進み、ｋ枚目の表示用別視点画像Ｇ_kに基準視点画像Ｆの画素値を割り当てる。ただし、座標（ｘ，ｙ）から視差値のｋ／（Ｎ−１）倍だけ移動した座標に割り当てる。また、ｚバッファについて、視差値のｋ／（Ｎ−１）倍だけ移動した座標の値を更新し、ステップＳ２４に進む。ステップＳ２２において、視差値のｋ／（Ｎ−１）倍がｚバッファの値以下の場合は、ステップＳ２３を通らずにステップＳ２４へ進む。

図８の手順を全ての行で行うことで、１枚の表示用別視点画像を作成することができる。さらに、１からＮ−１の全てのｋについて上述した処理を行うことで、Ｎ−１枚の表示用別視点画像を作成できる。生成されるＮ−１枚の表示用別視点画像は、上記残りの視点画像に対応するＭ−１枚（この例では１枚）の上記新たな残りの視点画像と、Ｎ−Ｍ枚（この例ではＮ−２枚）の新視点の視点画像とで構成されることになる。

画像補間部１５では、画像生成部１４で生成されたＮ−１枚の表示用別視点画像について、画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。これは、各々について第１の実施形態の画像補間部１５と同様の処理を行う。補間によって全ての画素に画素値が割り当てられたＮ−１枚の表示用別視点画像と基準視点画像を、表示部１６の入力とする。

以上、入力画像が２枚の視点画像（Ｍ＝２）である例を挙げたが、本実施形態は第５の実施形態にも適用できる。第５の実施形態のように入力画像の枚数Ｍが３以上の場合には、基準視点画像と視差算出部１３で算出されたＭ−１枚の視差マップから、上述したようにして１枚の視差マップにつき（Ｎ−１）／（Ｍ−１）枚の表示用別視点画像を生成し、最終的に、１枚の基準視点画像とＮ−１枚の表示用別視点画像とを表示要素として、立体画像表示を行えばよい。

Ｍ＝３の場合を例に挙げて表示用別視点画像の生成について説明する。３枚のうち中央の視点をもつ入力視点画像を基準視点画像とする場合には、左側と右側で同様にして（Ｎ−１）／（Ｍ−１）枚ずつの表示用別視点画像を生成すればよい。一方で、１枚の視差マップＤａを算出した入力視点画像Ａと基準視点画像Ｒとの間に、別の視差マップＤｂを算出した入力視点画像Ｂが存在した場合、つまり端の視点の入力視点画像を基準視点画像とした場合については、次のように処理すればよい。すなわち、入力視点画像Ｂから基準視点画像Ｒまでの間の視点については上述したようにして基準視点画像Ｒと視差マップＤｂから（Ｎ−１）／（Ｍ−１）枚の表示用別視点画像を生成すればよい。そして、画像Ａから基準視点画像Ｒまでの間の視点については、基準視点画像Ｒと視差マップＤａから、画像Ａから画像Ｂまでの間の視点についてのｋのみを対象として（Ｎ−１）／（Ｍ−１）枚の表示用別視点画像を生成すればよい。

以上、本実施形態においてＭ≧３についてなした説明は、全ての視差マップについて同じ枚数（この例では（Ｎ−１）／（Ｍ−１）枚）の表示用別視点画像を生成したが、その必要はなく、各視差マップにつき異なる枚数の表示用別視点画像を生成してもよい。また、本実施形態においてＭ≧３についてなした説明は、表示用別視点画像間の視点の間隔は一定角であることを前提としたものであるが、一定角でないようにしたい場合には角度に合わせた処理を行えばよい。

このように、本実施形態では、入力されたＭ（≧２）枚の視点画像の視点については、必ず表示要素として対応する視点画像が存在し、それに加えて新たな視点を示すための新視点の視点画像も表示要素として存在することになる。新視点の視点画像は視点を補間するための画像と言える。

また、本実施形態では、視点を補間するための上記新視点の視点画像を含め、表示用別視点画像を生成する方法として内挿補間を使用した例を挙げたが、一部の処理又は全部の処理において外挿補間を適用してもよい。外挿補間を適用することで、入力画像より広い視点の立体表示が可能となり、第４の実施形態として説明した視差の調整を採用した場合において視差を広げた場合と同様の効果が得られる。

また、本実施形態における視点画像の生成処理は、上述のように第１，第５の実施形態に対して適用可能であるだけでなく、第２〜第６の実施形態に対しても同様に適用可能である。

特に、第６の実施形態のように基準視点画像からも新たな視点画像を生成する場合、Ｍ＝２とすると、生成される合計Ｎ枚の表示用別視点画像は、基準視点画像として選択された視点画像に対応する１枚の上記新たな視点画像と、上記残りの視点画像に対応するＭ−１枚（つまり１枚）の上記新たな残りの視点画像と、Ｎ−Ｍ枚（つまりＮ−２枚）の新視点の視点画像とで構成されることになる。ここで、第５の実施形態も併せて適用してＭ≧３とした場合でも、均等な視点（一定角の視点）をもつようにすると合計Ｎ枚の表示用別視点画像が生成でき、それらを表示要素とする立体画像が表示できる。

上述のとおり、本実施形態によれば、入力される視点画像と表示に用いる視点画像の枚数が異なるように処理する場合においても、一枚の視点画像（基準視点画像）から表示に必要な枚数の視点画像を生成することにより、視差以外の差異を低減した立体画像を表示することができる。

（第１〜第７の実施形態について）
以上、本発明の第１〜第７の実施形態に係る立体画像表示装置について説明したが、本発明は、このような立体画像表示装置から表示デバイスを取り除いた立体画像処理装置としての形態も採り得る。つまり、立体画像を表示する表示デバイス自体は、本発明に係る立体画像処理装置の本体に搭載されていても、外部に接続されていてもよい。このような立体画像処理装置は、テレビ装置やモニタ装置に組み込む以外にも、各種レコーダや各種記録メディア再生装置などの他の映像出力機器に組み込むこともできる。

また、図１、図４〜図６で例示した立体画像表示装置１，４〜６における各部のうち、本発明に係る立体画像処理装置に該当する部分（つまり表示部１６が備える表示デバイスを除く構成要素）は、例えばマイクロプロセッサ（又はＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部又は全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部又は全部を集積回路／ＩＣチップセットとして搭載することも可能である。

また、各実施形態に係る立体画像処理装置は単に、ＣＰＵ（Central Processing Unit）や作業領域としてのＲＡＭ（Random Access Memory）や制御用のプログラムの格納領域としてのＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の記憶装置などで構成することもできる。その場合、上記制御用のプログラムは、本発明に係る処理を実行するための後述の立体画像処理プログラムを含むことになる。この立体画像処理プログラムは、ＰＣ内に立体画像表示用のアプリケーションソフトとして組み込み、ＰＣを立体画像処理装置として機能させることもできる。

以上、本発明に係る立体画像処理装置を中心に説明したが、本発明は、この立体画像処理装置を含む立体画像表示装置における制御の流れを例示したように、立体画像処理方法としての形態も採り得る。この立体画像処理方法は、基準視点画像選択部が、複数の視点画像の中の１枚を基準視点画像として選択するステップと、視差算出部が、基準視点画像と残りの視点画像との視差マップを算出するステップと、画像生成部が、視差マップと基準視点画像から、少なくとも上記残りの視点画像に対応する新たな残りの視点画像を生成するステップと、表示制御部が、少なくとも上記新たな残りの視点画像を表示要素とする立体画像を表示させるステップと、を有するものとする。その他の応用例については、立体画像処理装置について説明したとおりである。

また、本発明は、その立体画像処理方法をコンピュータにより実行させるための立体画像処理プログラムとしての形態も採り得る。つまり、この立体画像処理プログラムは、コンピュータに、複数の視点画像の中の１枚を基準視点画像として選択するステップと、基準視点画像と残りの視点画像との視差マップを算出するステップと、視差マップと基準視点画像から、少なくとも上記残りの視点画像に対応する新たな残りの視点画像を生成するステップと、少なくとも上記新たな残りの視点画像を表示要素とする立体画像を表示させるステップと、を実行させるためのプログラムである。その他の応用例については、立体画像表示装置について説明したとおりである。

また、その立体画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体としての形態についても容易に理解することができる。このコンピュータとしては、上述したように、汎用のＰＣに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路／チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、可搬の記録媒体を介して流通させるに限らず、インターネット等のネットワークを介して、また放送波を介して流通させることもできる。ネットワークを介して受信するとは、外部サーバの記憶装置などに記録されたプログラムを受信することを指す。

１，４，５，６…立体画像表示装置、１１…入力部、１２，１９…基準視点画像選択部、１３…視差算出部、１４，２１…画像生成部、１５，２２…画像補間部、１６…表示部、１７…シーンチェンジ検出部、１８…記憶部、２０…視差分布変換部。

Claims (11)

1. 複数の視点画像の中の１枚を基準視点画像として選択する基準視点画像選択部と、
   前記基準視点画像と、残りの視点画像のそれぞれとの視差マップをそれぞれ算出する視差算出部と、
   前記視差マップと前記基準視点画像から、前記残りの視点画像に対応する新たな残りの視点画像を生成する画像生成部と、
   少なくとも前記新たな残りの視点画像を表示要素とする立体画像を表示させる表示制御部と、
   を備え、
   前記画像生成部は、前記視差マップと前記基準視点画像から、前記基準視点画像に対応する新たな視点画像をさらに生成し、
   前記表示制御部は、前記新たな視点画像と前記新たな残りの視点画像とを表示要素とする立体画像を表示させることを特徴とする立体画像処理装置。
2. 前記基準視点画像選択部は、前記複数の視点画像の画像特徴量を用いて前記基準視点画像を選択することを特徴とする請求項１に記載の立体画像処理装置。
3. 前記画像特徴量の１つがコントラストであることを特徴とする請求項２に記載の立体画像処理装置。
4. 前記画像特徴量の１つが鮮鋭度であることを特徴とする請求項２に記載の立体画像処理装置。
5. 前記画像特徴量の１つが画像周辺部の肌色画素数であることを特徴とする請求項２に記載の立体画像処理装置。
6. 前記基準視点画像選択部は、予め定めた視点の視点画像を前記基準視点画像として選択することを特徴とする請求項１に記載の立体画像処理装置。
7. 複数の視点画像の中の１枚を基準視点画像として選択する基準視点画像選択部と、
   前記基準視点画像と、残りの視点画像のそれぞれとの視差マップをそれぞれ算出する視差算出部と、
   前記視差マップと前記基準視点画像から、少なくとも前記残りの視点画像に対応する新たな残りの視点画像を生成する画像生成部と、
   少なくとも前記新たな残りの視点画像を表示要素とする立体画像を表示させる表示制御部と、
   シーンチェンジ検出部と、
   を備え、
   前記複数の視点画像のそれぞれは、動画を構成するフレーム画像であり、
   前記基準視点画像選択部は、前記シーンチェンジ検出部でシーンチェンジでないと検出された場合には、前のフレーム画像と同じ視点の視点画像を前記基準視点画像として選択することを特徴とする立体画像処理装置。
8. 前記画像生成部は、前記視差マップと前記基準視点画像から前記新たな残りの視点画像を生成する際に、視差の調整を行うことを特徴とする請求項１〜７のいずれか１項に記載の立体画像処理装置。
9. 前記画像生成部は、前記視差マップと前記基準視点画像から、前記新たな残りの視点画像の視点とは異なる新たな視点をもつ新視点の視点画像をさらに生成し、
   前記表示制御部は、前記新視点の視点画像も表示要素として含む立体画像を表示させることを特徴とする請求項１〜８のいずれか１項に記載の立体画像処理装置。
10. 基準視点画像選択部が、複数の視点画像の中の１枚を基準視点画像として選択するステップと、
    視差算出部が、前記基準視点画像と、残りの視点画像のそれぞれとの視差マップをそれぞれ算出するステップと、
    画像生成部が、前記視差マップと前記基準視点画像から、前記残りの視点画像に対応する新たな残りの視点画像を生成するステップと、
    前記画像生成部が、前記視差マップと前記基準視点画像から、前記基準視点画像に対応する新たな視点画像をさらに生成するステップと、
    表示制御部が、前記新たな視点画像と前記新たな残りの視点画像とを表示要素とする立体画像を表示させる表示ステップと、
    を有することを特徴とする立体画像処理方法。
11. コンピュータに、
    複数の視点画像の中の１枚を基準視点画像として選択するステップと、
    前記基準視点画像と、残りの視点画像のそれぞれとの視差マップをそれぞれ算出するステップと、
    前記視差マップと前記基準視点画像から、前記残りの視点画像に対応する新たな残りの視点画像を生成するステップと、
    前記視差マップと前記基準視点画像から、前記基準視点画像に対応する新たな視点画像をさらに生成するステップと、
    前記新たな視点画像と前記新たな残りの視点画像とを表示要素とする立体画像を表示させるステップと、
    を実行させるためのプログラム。

Images