JP6147275B2

JP6147275B2 - 立体画像処理装置、立体画像処理方法、及びプログラム

Info

Publication number: JP6147275B2
Application number: JP2014550079A
Authority: JP
Inventors: 郁子椿; 博昭繁桝
Original assignee: Sharp Corp; Kochi Prefectural University Corp
Current assignee: Sharp Corp; Kochi Prefectural University Corp
Priority date: 2012-11-29
Filing date: 2013-10-11
Publication date: 2017-06-14
Anticipated expiration: 2033-10-11
Also published as: JPWO2014083949A1; US20150334365A1; WO2014083949A1

Description

本発明は、立体画像を処理する立体画像処理装置、立体画像処理方法、及びプログラムに関するものである。

近年、画像表示装置により立体画像を表示するために用いられている技術では、人間の左右の目に異なる映像を提示することで立体表示を実現しており、人間は左右目用画像内の物体のずれである視差により立体感を知覚している。立体表示の課題として、視差が人間の視覚特性の許容限界を超えるような大きな量になると立体視困難となり、ユーザの疲労、不快感を招くことが挙げられる。

特許文献１には、左右目用画像の相対位置を水平方向にシフトさせるシフト処理を行い、このような画像変換が施された後の左右目用画像の中心を基準として拡大縮小を行うスケーリング処理を行うことで、入力画像における視差の分布が所定の範囲に収まるように制御する方法が開示されている。特許文献２には、再現可能な奥行き範囲内でより良好な奥行き感を得られるように、画像領域における奥行きの存在頻度を用いて奥行きマップを変換するマップ変換方法が開示されている。

図６Ａは従来の線形な視差または奥行き変換特性の例を示す図で、図６Ｂは従来の非線形な視差または奥行き変換特性の例を示す図である。特許文献１に記載の方法では、図６Ａに示すように視差について線形な変換特性を用いた変換処理を行っており、特許文献２に記載の方法では、図６Ｂに示すように奥行きについて非線形な変換特性を用いた変換処理を行っている。図６Ａ、図６Ｂのいずれにおいても、ｄは視差または奥行きの入力値を指し、Ｄはｄに対する出力値（変換値）であり、視差または奥行きの出力値を指す。つまり、図６Ａに示す線形な変換特性と図６Ｂに示す非線形な変換特性のいずれも、視差値を変換して視差値を出力する場合と、奥行き値を変換して奥行き値を出力する場合の両方に適用できる。なお、図６Ａ、図６Ｂにおいて、ｄｍｉｎは入力値の最小値、ｄｍａｘは入力値の最大値、Ｄｍｉｎは出力値の最小値、Ｄｍａｘは出力値の最大値を、それぞれ示している。

特開２０１１−５５０２２号公報特開２０１２−１３４８８１号公報

繁桝博昭，佐藤隆夫，"書き割り効果のメカニズム"，日本バーチャルリアリティ学会論文誌，１０（２），ｐｐ．２４９−２５６，２００５．

一方で、立体視において、物体間の不連続な奥行き変化が存在すると、物体内の連続的な奥行き変化の知覚が抑制され、不自然な立体感が生じやすいことが知られている（非特許文献１を参照）。

しかしながら、このような視覚特性と不自然な立体感については、特許文献１に記載の技術を含め従来の視差調整技術では考慮されていなかった。また、特許文献２に記載の方法を用いると、物体間の不連続な奥行き変化の低減に効果があると考えられる。しかし、特許文献２に記載の方法では、近傍画素との奥行きの繋がりについて考慮されていないため、例えば、斜面すなわち奥行きが一定の勾配で変化する平面において、変換によって勾配が面の途中で変化して曲面状の奥行きになってしまい、新たに不自然さを生じさせてしまう場合があった。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能な立体画像処理装置、立体画像処理方法、及び立体画像処理用のプログラムを提供することにある。

上記の課題を解決するために、本発明の第１の技術手段は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理装置であって、前記立体画像における平面領域を抽出する平面領域抽出部と、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行う非平面領域変換処理部と、前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行う平面領域変換処理部と、を備え、前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記第１の変換処理は、前記非平面領域に対し、視差または奥行きのヒストグラム平坦化処理に基づく変換を行う処理であることを特徴としたものである。

本発明の第３の技術手段は、第１または第２の技術手段において、前記第２の変換処理は、前記平面領域に対し、視差または奥行きに関して線形な変換特性に基づく変換を行う処理であることを特徴としたものである。

本発明の第４の技術手段は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理方法であって、平面領域抽出部が、前記立体画像における平面領域を抽出するステップと、非平面領域変換処理部が、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行うステップと、平面領域変換処理部が、前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行うステップと、を有し、前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴としたものである。

本発明の第５の技術手段は、コンピュータに、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理を実行させるためのプログラムであって、前記立体画像処理は、前記立体画像における平面領域を抽出するステップと、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行うステップと、前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行うステップと、を有し、前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴としたものである。

本発明によれば、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になり、物体の平面領域において不自然さを生じさせることなく連続的な奥行き変化の乏しい不自然な立体感を防止することもでき、それにより、視聴者に良好な立体感を提示できるようになる。

本発明の一実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。図１の立体画像表示装置における非平面領域視差変換処理部での変換処理の一例を説明するための図で、入力視差ヒストグラムの一例を示す図である。図１の立体画像表示装置における非平面領域視差変換処理部での変換処理の一例を説明するための図で、図２Ａの入力視差ヒストグラムに対して変換処理を施したヒストグラムである変換後視差ヒストグラムの一例を示す図である。図１の立体画像表示装置における視差分布変換部に入力される視差マップの一例を示す図である。図３Ａに対して平面領域抽出部でのラベリング処理を行った結果の一例を示す図である。図３Ａの視差マップにおける点線に該当する行の視差値を、縦軸を視差値、横軸を水平方向の座標にとってグラフ化した図である。図４Ａに対して視差分布変換部での処理を行った後の行毎の視差マップの一例を示す図である。図４Ａに対して従来の視差分布変換を行った後の行毎の視差マップの一例を示す図である。図１の立体画像表示装置における画像生成部の処理例を説明するためのフロー図である。従来の線形な視差または奥行き変換特性の例を示す図である。従来の非線形な視差または奥行き変換特性の例を示す図である。

本発明に係る立体画像処理装置は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する装置であり、立体画像について、物体における平面領域とそれ以外の領域とで異なる変換特性により視差または奥行きの分布を変換する。つまり、本発明に係る立体画像処理装置は、このような変換を行う変換処理部を備え、入力された立体画像を立体視に関する人間の視覚特性に応じて適応的に変換するように、視差または奥行きの調整が実現できる装置である。

また、この変換処理部は、物体における平面領域では視差または奥行きの分布を線形に変換し、それ以外の領域では、不連続な変化を縮小するように視差または奥行きの分布を非線形に変換することが好ましい。この形態に係る立体画像処理装置は、入力された立体画像について、物体の平面領域において不自然さを生じさせることがないように、また物体の境界（視差値または奥行き値が不連続に変化している領域）における視差値または奥行き値の差を縮小するように（物体内の連続的な奥行き変化の知覚が抑制されることがなく連続的な奥行き変化の乏しい不自然な立体感を防止するように）、視差または奥行きの調整が実現できる装置である。つまり、この形態に係る立体画像処理装置では、入力された立体画像について、物体の平面領域において不自然な立体感を防止し、かつ物体内の連続的な奥行き変化の知覚が抑制されることを防止するため、視聴者に良好な立体感を提示できる。

以下、添付図面を参照しながら本発明の一実施形態について詳細に説明する。ここでは、視差分布を変換する、つまり視差調整を行う例を挙げる。
図１は、本発明の一実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。

図１で示したように、本実施形態の立体画像表示装置は、複数の視点画像からなる立体画像を入力する入力部１０と、複数の視点画像の中の１つを基準視点画像とし残りの視点画像を別視点画像として、基準視点画像と別視点画像から視差マップを算出する視差算出部２０と、視差算出部２０で得られた視差マップを変更することで、立体画像の視差分布を変更（変換）する視差分布変換部３０と、基準視点画像と視差分布変換部３０で変換後の視差分布から別視点画像を再構成する画像生成部４０と、基準視点画像と画像生成部４０で生成された別視点画像とにより二眼式または多眼式立体表示を行う表示部５０とを有している。

視差分布変換部３０は、本発明の主たる特徴である上記変換処理部の一例である。よって、本発明における本実施形態での主たる特徴としては、入力部１０、視差算出部２０、視差分布変換部３０、画像生成部４０、及び表示部５０のうち、少なくとも視差分布変換部３０を備え、立体画像の視差分布を以下に説明するように変換できればよい。但し、本実施形態における視差分布変換部３０は、視差分布の変換を、視差マップを変換することで実行しなくても、他の方法で実行してもよい。

以下、本実施形態の立体画像表示装置における各部の詳細を説明する。
入力部１０は、立体画像のデータ（立体画像データ）を入力し、入力された立体画像データから基準視点画像と別視点画像を出力する。ここで、入力される立体画像データは、カメラで撮影することで取得されたもの、放送波によるもの、ローカルの記憶装置や可搬記録メディアから電子的に読み出されたもの、通信により外部サーバ等から取得されたものなど、どのようなものでも構わない。

また、立体画像データは、表示部５０が二眼式立体表示を行う場合、右目用画像データと左目用画像データから構成され、表示部５０が多眼式立体表示を行う場合、３つ以上の視点画像から構成される多眼表示用の多視点画像データである。立体画像データが右目用画像データと左目用画像データから構成される場合は、一方を基準視点画像とし他方を別視点画像として用い、多視点画像データである場合は、複数の視点画像の１つを基準視点画像とし、残りの視点画像を別視点画像と呼ぶ。

また、図１の説明や以下の説明では、基本的に、立体画像データが複数の視点画像のデータからなることを前提にしているが、立体画像データは画像データと奥行きデータもしくは視差データから構成されるものであっても構わない。この場合、入力部１０から別視点画像として奥行きデータもしくは視差データが出力されるが、画像データを基準視点画像として用い、奥行きデータもしくは視差データを視差マップとして用いればよい。

このような構成の場合、図１の立体画像表示装置では、視差算出部２０が不要になり、視差分布変換部３０が、入力部１０で入力された視差マップを変更することで、立体画像の視差分布を変更（変換）すればよい。但し、画像生成部４０で処理可能な視差マップのフォーマットでない場合には、視差算出部２０を設けておき、視差算出部２０がこのようなフォーマットに変換を行うようにしておけばよい。以下では、奥行きデータもしくは視差データを用いる場合については補足的に簡単に説明する。

視差算出部２０では、基準視点画像と残りの視点画像との視差マップ、つまりこの例では基準視点画像に対するそれぞれの別視点画像の視差マップを算出する。視差マップは、別視点画像の各画素において、基準視点画像内の対応点との間の横方向（水平方向）の座標の差分値を記したもの、つまり、立体画像間の各画素における対応する横方向の座標の差分値を記したものである。視差値は、飛出し方向に行くに従って大きく、奥行き方向に行くに従って小さい値をとるものとする。

視差マップ算出方法には、ブロックマッチング、動的計画法、グラフカットなどを用いた様々な手法が知られており、いずれを用いてもよい。なお、横方向の視差についてのみ説明しているが、縦方向の視差も存在する場合には、同様に、縦方向についての視差マップの算出や視差分布の変換を行うことも可能である。

視差分布変換部３０は、平面領域抽出部３１と非平面領域視差変換処理部３２と平面領域視差変換処理部３３とを備える。

平面領域抽出部３１では、立体画像における平面領域を抽出する。無論、処理としては、非平面領域を抽出することで平面領域の抽出を行ってもよい。この例では、平面領域抽出部３１は、視差算出部２０で得られた視差マップｄ（ｘ，ｙ）を用いて平面領域を抽出する。まず、次の（１）、（２）式を用いて横勾配マップＧｘ（ｘ，ｙ）と縦勾配マップＧｙ（ｘ，ｙ）を作成する。

Ｇｘ（ｘ，ｙ）＝ｄ（ｘ＋１，ｙ）−ｄ（ｘ−１，ｙ）（１）
Ｇｙ（ｘ，ｙ）＝ｄ（ｘ，ｙ＋１）−ｄ（ｘ，ｙ−１）（２）

（１）、（２）式において、視差マップの画像端において画像外の座標を示す場合は、最も近傍にある画像内の座標で置き換える。次に、ラベリング処理によって、横勾配マップと縦勾配マップのそれぞれの値が一定値をとり、かつ画素が連結している領域を抽出する。

ラベリング処理は様々手法があるが、一つの例としては、まず、（Ｉ）左上端の画素を注目画素とし、ラスタスキャンによって注目画素を移動させ、以下の処理を全ての画素について行う。なお、以下において勾配が同じであるとは、２つの画素の横勾配マップＧｘ（ｘ，ｙ）の差分絶対値と縦勾配マップＧｙ（ｘ，ｙ）の差分絶対値が各々予め定めた閾値より小さい場合を示す。

（ＩＩ）注目画素とその上隣の画素の勾配が同じである場合は、上隣の画素のラベルを注目画素に割り付ける。その際、注目画素とその左隣の画素の勾配も同じであり、かつそのラベルが上隣の画素のラベルと異なる場合は、ルックアップテーブルに２つのラベルが同一領域であることを記録する。

一方で、（ＩＩＩ）注目画素とその上隣の画素の勾配が同じでない場合は、注目画素とその左隣の画素の勾配が同じであるかを確認し、同じである場合は左隣の画素のラベルを注目画素に割り付ける。また、（ＩＶ）注目画素の上隣と左隣の両方の画素とも勾配が注目画素と異なる場合は、注目画素に任意のまたは予め定められた順番の新しいラベルを割り付ける。

上記（ＩＩ）〜（ＩＶ）のような処理を、走査する画素が無くなるまで繰り返す。上記（ＩＩ）〜（ＩＶ）において、上端の行または左端の列の画素においては、それぞれ上隣または左隣の画素が存在しないが、その場合は、それぞれ上隣または左隣の画素との勾配が同じでないとみなせばよい。また、上記において、新しいラベルを割り付ける際には、初回はラベル値１を割り付け、２回目以降は順に１つずつ大きいラベル値を割り付ける。但し、新しいラベル値はどのような数値であっても構わない。

次に、（Ｖ）再度、左上端の画素から走査を行い、ルックアップテーブルを参照しながら、同一の領域に属するラベルの中からラベル値が最小のラベルを選択して、そのラベルに合わせるようにラベルを付け直す。最後に、（ＶＩ）同一ラベルに属する領域の画素数が閾値以下の場合は、その領域は平面でないと判断し、そのラベルに属する全ての画素のラベル値を０とする。一方で、（ＶＩＩ）同一ラベルに属する領域の画素数が閾値より多い場合は、ラベル値を変更しない。

このように、例示したラベリング処理では、上記（ＶＩ）において画素数が閾値以下の場合（つまり狭い領域）については非平面領域であると判断し、上記（ＶＩＩ）においてそれ以外の領域（つまり広い領域）については平面領域であると判断している。補足すると、同一平面内の全ての画素は勾配が同じ値をとるため、面積が上記（ＶＩＩ）で用いる閾値よりも大きい平面が平面領域として抽出されることになる。また、平面でない場合でも、曲率の小さい曲面では、勾配が同じであることの判定に使う閾値に応じて、勾配が似ている隣接画素が同一ラベルの領域となり、平面領域として抽出される。平面領域として抽出される程度は、上記（ＶＩＩ）で用いる閾値と、勾配が同じであることの判定に使う閾値とによって、調整することができる。

以上のようにして与えられたラベル値が０の領域を非平面領域、ラベル値が１より大きい領域を各々平面領域とする。上記の例では、連結の判定を４連結で行う場合について示したが、８連結であってもよい。また、輪郭追跡を用いた手法など、他のラベリング手法を用いてもよい。

非平面領域視差変換処理部３２は、平面領域以外の領域である非平面領域に対し、視差を変換する第１の変換処理を行う。この例では、非平面領域視差変換処理部３２は、非平面領域において入力視差マップｄ（ｘ，ｙ）を変換し、出力視差マップＤ（ｘ，ｙ）を出力する。

まず、視差算出部２０で得られた視差マップｄ（ｘ，ｙ）に対して入力視差ヒストグラムｈ（ｄ）を作成する。入力視差ヒストグラムは平面領域と非平面領域の両方の画素を用いる。視差マップｄ（ｘ，ｙ）は整数の視差値のみをとるものとする。小数の視差がある場合は、視差の精度に応じた定数を乗算することによって整数値に変換しておく。例えば視差が１／４画素精度の場合は、定数４を視差値に乗算することでｄ（ｘ，ｙ）の値を整数にすることができる。または、四捨五入などによって整数値に丸めてもよい。

入力視差ヒストグラムの作成は、視差マップｄ（ｘ，ｙ）内で視差値ｄを持つ画素の個数を数え、それをヒストグラムの度数ｈ（ｄ）とする。また、視差マップｄ（ｘ，ｙ）の最大値と最小値を求め、それぞれｄｍａｘ、ｄｍｉｎとする。本実施形態では、視差ヒストグラムの階級値に視差値をそのまま用いて視差ヒストグラムを作成することとするが、複数の視差値をまとめて１つのビンとした視差ヒストグラムを作成しても構わない。

次に、作成された入力視差ヒストグラムｈ（ｄ）に対してヒストグラム平坦化処理を行う。まず、累積ヒストグラムＰ（ｄ）を次の（３）式で求める。ここで、Ｎは視差マップの画素数である。

次に、変換後の視差値Ｄをｆ（ｄ）とした非線形な変換特性を、次の（４）式で作成する。
ｆ（ｄ）＝（Ｄｍａｘ−Ｄｍｉｎ）・Ｐ（ｄ）＋Ｄｍｉｎ（４）

ここでＤｍａｘとＤｍｉｎは予め与えられたＤｍａｘ≧Ｄｍｉｎを満たす定数であり、それぞれ変換後の視差マップの最大値と最小値を示す。ｄｍａｘ−ｄｍｉｎがＤｍａｘ−Ｄｍｉｎより小さい場合は変換後の視差範囲は拡大し、大きい場合は変換後の視差範囲は縮小する。その他、予め定めた定数を用いてそれぞれｄｍａｘ、ｄｍｉｎの定数倍とすることもできる。また、ｄｍａｘ＝ｄｍｉｎの場合は、ｆ（ｄ）＝Ｄｍａｘとする。

（４）式は、ヒストグラム平坦化処理となっており、入力視差ヒストグラムｈ（ｄ）のｄに（４）式の変換を行って得られた変換後視差ヒストグラムｈ′（ｄ）は、度数がほぼ一定のヒストグラムとなる。

図２Ａ及び図２Ｂを参照しながら、非平面領域視差変換処理部３２での変換処理の一例を説明する。図２Ａには入力視差ヒストグラムｈ（ｄ）の一例を示し、図２Ｂには図２Ａのｈ（ｄ）に対して変換処理を施したヒストグラムである変換後視差ヒストグラムｈ′（ｄ）の一例を示している。

図２Ａ及び図２Ｂでは、画面全体が２つの物体のみから構成される画像の視差に関する例を示している。図２Ａに示すように、入力視差ヒストグラムでは２つの山があり、それぞれが１つの物体内の視差分布を表わしている。２つの山の間の間隔が広いことは物体間の視差の差が大きいことを表わし、物体間に不連続な奥行き変化が存在することを示している。このため、この立体画像を表示して観察すると、物体内の連続的な奥行き変化の知覚が抑制され、不自然な立体感が生じる可能性がある。

これに対し、図２Ｂに示す変換後視差ヒストグラムｈ′（ｄ）のように、変換後にはヒストグラムが平坦な形状になっている。図２Ｂでは、変換によってヒストグラムが２つの山に分離していないため、物体間の視差の差が小さく、物体間の不連続な奥行き変化が抑制されているのが分かる。なお、この例では、ｄｍａｘ−ｄｍｉｎがＤｍａｘ−Ｄｍｉｎより大きく、変換後の視差範囲は縮小される。また、入力視差ヒストグラムのビンの間隔や分布の偏りの程度によって、変換後視差ヒストグラムの平坦さの程度は異なる。

非平面領域視差変換処理部３２は、最後に、次の（５）式のように、（４）式の変換特性を用いて非平面領域（Ｌ＝０）の視差値を変換する。ここで、Ｌは画素（ｘ，ｙ）に付けられたラベル値（ラベル番号）である。
Ｄ（ｘ，ｙ）＝ｆ（ｄ（ｘ，ｙ）），（Ｌ＝０）（５）

平面領域視差変換処理部３３では、平面領域に対し、第１の変換処理（非平面領域に対する変換処理）とは異なる変換特性で視差を変換する第２の変換処理を行う。なお、第１の変換処理と第２の変換処理との順序は問わない。

この例では、平面領域視差変換処理部３３は、平面領域において入力視差マップｄ（ｘ，ｙ）を変換し、出力視差マップＤ（ｘ，ｙ）を出力する。ここで、平面領域視差変換処理部３３では、ラベリングされた各平面領域（Ｌ＞０）の中で、次の（６）式を用いて視差を線形に変換する。

Ｌは、画素（ｘ，ｙ）に付けられたラベル値（ラベル番号）である。ｄ^（Ｌ） _ｍａｘとｄ^（Ｌ） _ｍｉｎはそれぞれ、ラベル番号がＬの領域内でのｄ（ｘ，ｙ）の最大値と最小値である。各ラベル番号の領域内において、入力視差マップの視差分布に対して線形に変換が行われるため、その領域が斜面である場合にも、視差の勾配（横または縦方向の変化率）を領域内で一定にすることができ、変換後も不自然な歪みが生じず、平面に保たれる。

次に、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、及び図４Ｃを参照し、具体的な視差マップの例を挙げて、本実施形態における視差分布変換処理の一例を説明する。視差算出部２０で算出された視差マップの例を図３Ａに示す。また、図３Ａの視差マップのある行（図３Ａの点線部分）の視差値をグラフにしたものを図４Ａに示す。

より具体的に図３Ａ及び図４Ａについて説明する。図３Ａは、視差分布変換部３０に入力される視差マップの一例であり、一定の視差値を持つ背景の上に、立方体と球が浮いている画像における視差マップである。視差マップは、各画素で算出された視差値を輝度値に割り当てたもので、飛出し方向に行くに従って大きな輝度値を、奥行き方向に行くに従って小さな輝度値を割り当てることで、立体画像における視差値の空間分布を表現している。なお、図３Ａでは立方体の各辺に黒色の実線を入れているが、これは立方体であることを分かり易く図示するためであり、実際には立方体の各辺上において輝度値を小さくする訳ではない。

図３Ａの視差マップに対して平面領域抽出部３１のラベリング処理を行って得られた結果の例を、図３Ｂに示す。図３Ｂでは、０から４のラベル値が付いた５つの領域に分割されており、領域毎に異なる濃淡で示している。球の部分に、平面でないことを表わすラベル値０が付いている。背景部分は一つの平面として抽出され、ラベル値１が付いている。立方体の見えている３つの面は、それぞれ異なる平面として抽出され、ラベル値２〜４の値が付いている。

図４Ａは、図３Ａの視差マップの点線の行の視差値を、縦軸を視差値（飛出し方向の視差値を大、奥行き方向の視差値を小として）、横軸を水平方向の座標にとってグラフ化したものである。図４Ａにおいて、背景部分の視差値は一定であり、立方体の部分の視差値がそれより大きいのが分かる。

図４Ａの視差値に対して視差分布変換部３０の処理を行った結果の例を、図４Ｂに示す。図４Ｂにおいて点線の円で囲った領域は、図４Ａにおいて急激に視差が変化していたが、図４Ｂでは変化が緩やかになっている。また、立方体の領域である中央の凸部分においても直線的に変化しており、傾きが一定の斜面になっている。

図４Ｃは、比較として、従来の手法と同様、平面領域と非平面領域に分けずに全画素においてＤ（ｘ，ｙ）＝ｆ（ｄ（ｘ，ｙ））によって出力視差マップＤ（ｘ，ｙ）を算出した場合の、図４Ａの視差値に対する変換結果の例である。図４Ｃでは、中央の凸部分が曲線的に変化しており、立方体の部分が曲面状の視差になっている。

なお、立体画像が２つの視点画像で構成される場合には、視差分布変換部３０は、その２つの視点画像による視差分布を変換する。立体画像が３以上の視点画像で構成される場合には、ある定めた視点画像（基準視点画像）と他の複数の視点画像との間のそれぞれで、このような検出・変換処理を施せばよい。

図１に戻って、視差分布変換後の処理について説明する。画像生成部４０は、基準視点画像と視差分布変換部３０で変換後の視差マップから別視点画像を再構成する。再構成した別視点画像を表示用別視点画像と呼ぶ。より具体的には、画像生成部４０は、基準指定画像の各画素について、その座標の視差値を視差マップから読み取り、再構成する別視点画像において、視差値分だけ座標をずらした画像に画素値をコピーする。この処理を基準視点画像の全ての画素について行うが、同一の画素に複数の画素値が割り当てられる場合は、ｚバッファ法に基づき、視差値が飛出し方向に最大の画素の画素値を用いる。

図５を参照しながら、画像生成部４０における別視点画像の再構成処理の一例を説明する。図５は、左目用画像を基準視点画像と選択した場合の例である。（ｘ，ｙ）は画像内の座標を示すが、図５では各行での処理であり、ｙは一定である。Ｆ、Ｇ、Ｄはそれぞれ基準視点画像、表示用別視点画像、視差マップを示している。Ｚは、処理の過程において表示用別視点画像の各画素の視差値を保持するための配列であり、ｚバッファと呼ぶ。Ｗは画像の横方向の画素数である。

まず、ステップＳ１において、ｚバッファを初期値ＭＩＮで初期化する。視差値は飛出し方向の場合に正値、奥行き方向の場合に負値をとるものとし、ＭＩＮは、視差分布変換部３０で変換した視差の最小値よりも小さい値とする。さらに、以降のステップで左端画素から順に処理を行うために、ｘに０を入力する。ステップＳ２において、視差マップの視差値と、その視差値分だけ座標を移動させた画素のｚバッファの値を比較し、視差値がｚバッファの値より大きいか否かを判定する。視差値がｚバッファの値よりも大きい場合は、ステップＳ３に進み、表示用別視点画像に基準視点画像の画素値を割り当てる。また、ｚバッファの値を更新する。

次にステップＳ４において、現在の座標が右端画素だった場合は終了し、そうでない場合はステップＳ５に進み、右隣りの画素へ移動してステップＳ２に戻る。ステップＳ２において、視差値がｚバッファの値以下の場合は、ステップＳ３を通らずにステップＳ４へ進む。これらの手順を全ての行で行う。

さらに、本実施形態に係る立体画像表示装置では、画像生成部４０が、画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。つまり、画像生成部４０は画像補間部を具備し、常に画素値を決定できるようにしておく。この補間処理は、画素値未割当の画素について、その左側で最も近傍の画素値割当済の画素と、その右側で最も近傍の画素値割当済の画素との画素値の平均値を用いて行う。ここでは、補間処理として近傍画素値の平均値を用いたが、平均値を用いる方法に限らず、画素の距離に応じた重みづけを行ってもよいし、その他のフィルタ処理を採用するなど、他の方法を採用してもよい。

表示部５０は、表示デバイスと、その表示デバイスに、基準視点画像と画像生成部４０で生成された表示用別視点画像とを表示要素とする立体画像を出力する制御を行う表示制御部とで構成される。すなわち、表示部５０は、基準視点画像と生成された表示用別視点画像とを入力し、二眼式または多眼式立体表示を行う。入力部１０での基準視点画像が左目用画像、別視点画像が右目用画像だった場合は、基準視点画像を左目用画像、表示用別視点画像を右目用画像として表示する。入力部１０での基準視点画像が右目用画像、別視点画像が左目用画像だった場合は、基準視点画像を右目用画像、表示用別視点画像を左目用画像として表示する。

また、入力部１０に入力された画像が多視点画像だった場合は、入力時と順序が同じになるように基準視点画像と表示用別視点画像を並べて表示する。なお、入力部１０に入力された画像データが画像データと奥行きデータもしくは視差データであった場合は、画像データを左右目用画像のどちらで使用するかの設定に従って決定する。

以上、本実施形態によれば、平面領域では、線形に視差を調整するため、平面が曲面に見えるような不自然な歪みを生じさせることない。また、本実施形態によれば、それ以外の領域（非平面領域）では、ヒストグラム平坦化によって視差の頻度が均一になるように視差を調整することで物体の境界の不連続な視差変化を抑制するのと同等の処理を行っているため、連続的な奥行き変化（物体内の連続的な奥行き変化）の知覚が抑制されて書き割り効果のような連続的な奥行き変化の乏しい不自然な立体感が生じることを、防ぐこともできる。以上のように、本実施形態によれば、平面領域と非平面領域で異なる視差調整を行うことで、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になり、結果として自然な立体感のある画像を表示することができる。

本実施形態において、非平面領域視差変換処理部３２では、視差ヒストグラムを用いて非線形な視差変換特性を作成したが、これに限定するものではなく、例えばシグモイド関数型の変換特性を用いるなど、他の方法を用いて非線形な視差変換特性を作成してもよい。つまり、非平面領域視差変換処理部３２における第１の変換処理が非平面領域に対し視差のヒストグラム平坦化処理に基づく変換を行う処理である例を挙げたが、この例に限らず、非平面領域に対し視差に関して非線形な変換特性に基づく変換を行えば、同様に連続的な奥行き変化（物体内の連続的な奥行き変化）の知覚が抑制されて不自然な立体感が生じることを防ぐことができる。

本実施形態において、平面領域抽出部３１では視差マップの横勾配マップと縦勾配マップを用いて視差の勾配に基づき平面領域を抽出したが、これに限定するものではなく、例えば輝度値が一定の領域を抽出する、またはテクスチャが一様な領域を抽出するなど、他の方法を用いて平面領域を抽出してもよい。

また、本実施形態では、平面領域視差変換処理部３３における上記第２の変換処理は、平面領域に対し視差に関して線形な変換特性に基づく変換を行う処理である例を挙げた。しかし、この例に限らず、本発明では、非平面領域視差変換処理部３２が非平面領域に対し、視差を変換する変換処理（第１の変換処理）を行い、平面領域視差変換処理部３３が平面領域に対し、非平面領域の変換処理とは異なる変換特性で視差を変換する他の変換処理（第２の変換処理）を行うようにすればよい。

例えば、非平面領域に対して非線形な変換処理を施し、平面領域に対してその変換処理より非線形の度合いが小さい（つまり線形に近い）変換処理を施してもよい。このような構成においても、平面領域が斜面である場合にも、視差の勾配（横または縦方向の変化率）を領域内で一定にすることができ、変換後も不自然な歪みが生じず平面に保たれ、結果として立体画像の視差分布を立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。

また、本実施形態に係る立体画像表示装置において、立体画像の視差分布の変更（調整）の度合い（例えば上述した各定数）の調整は、立体画像における視差量の調整に該当する。このような変更の度合いは、視聴者によって操作部から操作されてもよいし、デフォルト設定に従い決定されてもよい。また、視差分布に応じて変更されてもよい。その他、この変更の度合いは、立体画像のジャンルや、立体画像を構成する視点画像の平均輝度等の画像特徴量など、立体画像の視差以外の指標に応じて、変更されてもよい。いずれの調整においても、図１等で説明した実施形態では、物体の境界（視差値が不連続に変化している領域）における視差値の差を縮小し、さらに平面の領域は平面であることを保つように変換するため、良好な立体感を提示できる。また、いずれの調整においても、この実施形態を含め、本発明では、立体画像の視差分布を立体視に関する人間の視覚特性に応じて（非特許文献１に記載のような立体視に関する人間の視覚特性に応じて）適応的に変換することができるため、良好な立体感を提示できる。

以上、視差分布を変換する例を挙げたが、視差の代わりに奥行きに対して第１，第２の変換処理を施すことで、奥行き分布を変換することができる。つまり、本発明に係る立体画像処理装置は、視差値の調整を行う代わりに奥行き値の調整を行うように構成することもでき、このような構成によっても同様の効果を奏する。

そのためには、立体画像処理装置において、視差分布変換部３０の代わりに奥行き分布変換部を設けておけばよい。この奥行き分布変換部では、平面領域抽出部３１を設けると共に、非平面領域視差変換処理部３２の代わりに非平面領域奥行き変換処理部を設け、平面領域視差変換処理部３３の代わりに平面領域奥行き変換処理部を設けておけばよい。その場合、例えば視差算出部２０から出力された視差値を奥行き値に変換して奥行き分布変換部に入力し（もしくは入力部か１０から奥行きデータを奥行き分布変換部に入力し）、奥行き分布変換部において奥行き値の調整を行い、調整された奥行き値を視差値に変換して画像生成部４０に入力すればよい。

また、本発明の立体画像表示装置について説明したが、本発明は、このような立体画像表示装置から表示デバイスを取り除いた立体画像処理装置としての形態も採り得る。つまり、立体画像を表示する表示デバイス自体は、本発明に係る立体画像処理装置の本体に搭載されていても、外部に接続されていてもよい。このような立体画像処理装置は、テレビ装置やモニタ装置に組み込む以外にも、各種レコーダや各種記録メディア再生装置などの他の映像出力機器に組み込むこともできる。

また、図１で例示した立体画像表示装置における各部のうち、本発明に係る立体画像処理装置に該当する部分（つまり表示部５０が備える表示デバイスを除く構成要素）は、例えばマイクロプロセッサ（またはＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部または全部はＬＳＩ（Large Scale Integration）等の集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を集積回路／ＩＣチップセットとして搭載することも可能である。

なお、上記した実施形態では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。本発明の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していても構わないし、あるいは、全ての構成要素を一つの集積回路／ＩＣチップセットに実装していても構わず、どのような実装形態であれ、機能として各構成要素を有していればよい。

また、本発明に係る立体画像処理装置は単に、ＣＰＵ（Central Processing Unit）や作業領域としてのＲＡＭ（Random Access Memory）や制御用のプログラムの格納領域としてのＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の記憶装置などで構成することもできる。その場合、上記制御用のプログラムは、本発明に係る処理を実行するための後述の立体画像処理プログラムを含むことになる。この立体画像処理プログラムは、ＰＣ内に立体画像表示用のアプリケーションソフトとして組み込み、ＰＣを立体画像処理装置として機能させることもできる。また、この立体画像処理プログラムは、クライアントＰＣから実行可能な状態でＷｅｂサーバ等の外部サーバに格納されていてもよい。

以上、本発明に係る立体画像処理装置を中心に説明したが、本発明は、この立体画像処理装置を含む立体画像表示装置における制御の流れを例示したように、立体画像処理方法としての形態も採り得る。この立体画像処理方法は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する方法であって、平面領域抽出部が、立体画像における平面領域を抽出するステップと、非平面領域変換処理部が、平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行うステップと、平面領域変換処理部が、平面領域に対し、第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行うステップと、を有するものとする。ここで、上記第１の変換処理は、非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理とする。その他の応用例については、立体画像表示装置について説明したとおりである。

また、本発明は、その立体画像処理方法をコンピュータにより実行させるための立体画像処理プログラムとしての形態も採り得る。つまり、この立体画像処理プログラムは、コンピュータに、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理を実行させるためのプログラムである。この立体画像処理は、前記立体画像における平面領域を抽出するステップと、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行うステップと、前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行うステップと、を有している。ここで、上記第１の変換処理は、非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理とする。その他の応用例については、立体画像表示装置について説明したとおりである。

また、その立体画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体としての形態についても容易に理解することができる。このコンピュータとしては、上述したように、汎用のＰＣに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路／チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、可搬の記録媒体を介して流通させるに限らず、インターネット等のネットワークを介して、また放送波を介して流通させることもできる。ネットワークを介して受信するとは、外部サーバの記憶装置などに記録されたプログラムを受信することを指す。

以上、説明したように、本発明に係る立体画像処理装置は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理装置であって、前記立体画像における平面領域を抽出する平面領域抽出部と、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行う非平面領域変換処理部と、前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行う平面領域変換処理部と、を備え、前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴とする。これにより、連続的な奥行き変化（物体内の連続的な奥行き変化）の知覚が抑制されて不自然な立体感が生じることを防ぐことができる。よって、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。

また、前記第１の変換処理は、前記非平面領域に対し、視差または奥行きのヒストグラム平坦化処理に基づく変換を行う処理であることを特徴とすることもできる。このような変換によっても同様に、連続的な奥行き変化（物体内の連続的な奥行き変化）の知覚が抑制されて不自然な立体感が生じることを防ぐことができる。

また、前記第２の変換処理は、前記平面領域に対し、視差または奥行きに関して線形な変換特性に基づく変換を行う処理であることを特徴とすることが好ましい。これにより、平面領域が斜面である場合にも、視差の勾配（横または縦方向の変化率）を領域内で一定にすることができ、変換後も不自然な歪みが生じず平面に保たれる。

本発明に係る立体画像処理方法は、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理方法であって、平面領域抽出部が、前記立体画像における平面領域を抽出するステップと、非平面領域変換処理部が、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行うステップと、平面領域変換処理部が、前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行うステップと、を有し、前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴とする。これにより、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。

本発明に係るプログラムは、コンピュータに、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理を実行させるためのプログラムであって、前記立体画像処理は、前記立体画像における平面領域を抽出するステップと、前記平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行うステップと、前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行うステップと、を有し、前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であることを特徴とする。これにより、立体画像の視差または奥行きの分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる。

１０…入力部、２０…視差算出部、３０…視差分布変換部、３１…平面領域抽出部、３２…非平面領域視差変換処理部、３３…平面領域視差変換処理部、４０…画像生成部、５０…表示部。

Claims

立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理装置であって、
前記立体画像における平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行う非平面領域変換処理部と、
前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行う平面領域変換処理部と、
を備え、
前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であり、
前記第２の変換処理は、前記第１の変換処理より非線形の度合いが小さい変換処理であることを特徴とする立体画像処理装置。
前記第１の変換処理は、前記非平面領域に対し、視差または奥行きのヒストグラム平坦化処理に基づく変換を行う処理であることを特徴とする請求項１に記載の立体画像処理装置。
立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理装置であって、
前記立体画像における平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行う非平面領域変換処理部と、
前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行う平面領域変換処理部と、
を備え、
前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であり、
前記第２の変換処理は、前記平面領域に対し、視差または奥行きに関して線形な変換特性に基づく変換を行う処理であることを特徴とする立体画像処理装置。
立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理方法であって、
非平面領域変換処理部が、前記立体画像における平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行うステップと、
平面領域変換処理部が、前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行うステップと、
を有し、
前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であり、
前記第２の変換処理は、前記第１の変換処理より非線形の度合いが小さい変換処理であることを特徴とする立体画像処理方法。
コンピュータに、立体画像を入力し、入力された立体画像の視差または奥行きの分布を変換する立体画像処理を実行させるためのプログラムであって、
前記立体画像処理は、
前記立体画像における平面領域以外の領域である非平面領域に対し、視差または奥行きを変換する第１の変換処理を行うステップと、
前記平面領域に対し、前記第１の変換処理とは異なる変換特性で視差または奥行きを変換する第２の変換処理を行うステップと、
を有し、
前記第１の変換処理は、前記非平面領域に対し、視差または奥行きに関して非線形な変換特性に基づく変換を行う処理であり、
前記第２の変換処理は、前記第１の変換処理より非線形の度合いが小さい変換処理であることを特徴とするプログラム。