JP5197683B2 - 奥行き信号生成装置及び方法 - Google Patents

Description

本実施形態は、奥行き信号を生成する装置及び方法に関する。

二次元画像から立体画像を生成するため、二次元画像の奥行き構造を推定して生成した奥行き信号を利用する手法がある。これらの手法を利用した立体画像生成装置は、奥行き信号生成装置を備えている。例えば、生成された奥行き信号を使用して、入力された二次元画像を撮影した視点とは異なる視点の二次元画像を生成し、多視点の二次元画像を含む立体画像信号を生成する。従来の奥行き信号生成装置は、複数の奥行き信号を合成して出力していた。しかしながら、複数の奥行き信号を合成すると、奥行きの急激な時間変化が生じにくい代わりに、奥行き信号のコントラストが劣化する。その結果、生成された立体画像を表示した際に、立体画像の奥行き感及び立体感が損なわれる。

特開平１１−２３９３６４号公報 特許第４２１４５２７号公報

本発明が解決しようとする課題は、高いコントラストを保持しながらも、急激な時間変化が抑制された奥行き信号を生成することにある。

上記課題を解決するために、実施形態の奥行き信号生成装置は、時系列の画像から奥行き信号を生成するために、算出部、補正部、選択部、生成部を備える。算出部は、前記時系列の画像のうち第１画像内の特定領域に含まれる画素値の統計量を算出し、あらかじめ用意された奥行き構造パターンを示す構図毎に、前記第１画像と適合する前記構図を選択するための第１の評価値を前記統計量に基づいて算出する。補正部は、前記構図毎に、前記第１画像の前記第１の評価値を補正して前記第１画像の第２の評価値を取得する補正部であって、前記時系列の画像のうち既に処理済の第２画像の前記第２の評価値と、前記構図間の類似度を示す第１の類似度とに基づいて、前記第１画像の前記第２の評価値を取得する。選択部は、前記第１画像の前記第２の評価値が最大である前記構図を選択する。生成部は、前記選択された構図に基づいて、前記奥行き信号を生成する。

実施形態に係る奥行き信号生成装置を概略的に示すブロック図。 （ａ）は構図の一例を示す模式図であり、（ｂ）は構図の他の例を示す模式図であり、（ｃ）は構図のさらに他の例を示す模式図である。 算出領域間の類似度に基づく構図推定を説明するための説明図。 図２（ａ）の構図が選択された場合における図１の奥行き信号生成部の動作の一例に示す機能ブロック図。 図１に示した奥行き信号生成装置が奥行き信号を生成する手順の一例を示すフローチャート。

以下、必要に応じて図面を参照しながら、実施形態に係る奥行き信号生成装置を説明する。

（第１の実施形態）
図１は、第１の実施形態に係る奥行き信号生成装置を概略的に示している。この奥行き信号生成装置は、構図評価値算出部１０２、評価値補正部１０３、構図選択部１０４、奥行き信号生成部１０５及び記憶部１０６を備えている。記憶部１０６には、予め用意された複数の構図に関する情報が格納されている。各構図は、固有の奥行き構造パターンを示す。本実施形態では、入力される時系列の画像が非立体画像である例について述べるが、互いに異なる視点から撮像された視差画像からなる画像であっても構わない。

入力信号である時系列の非立体画像（例えば、二次元画像）１０１は、例えば表示すべき順序に従って、構図評価値算出部１０２へ送られる。構図評価値算出部１０２は、予め用意された構図の中から、受け取った非立体画像１０１に最も適合する構図を選択するための構図評価値を算出する。評価値補正部１０３は、処理対象の非立体画像１０１に関して算出された構図評価値を、既に処理済の非立体画像１０１（例えば、直前の非立体画像）から得られた補正後の構図評価値を再帰的に使用して補正する。

構図選択部１０４は、評価値補正部１０３が補正した構図評価値に応じた構図を、記憶部１０６に予め用意された構図の中から選択する。奥行き信号生成部１０５は、選択された構図に基づいて奥行き信号を生成する。本実施形態では、奥行き信号は、非立体画像１０１に含まれる画素の各々に対して算出された奥行き値を含む。ここで、入力された二次元画像内の画素が配置される平面（ｘｙ平面）に垂直な方向を奥行き方向とする。生成された奥行き信号は、後に説明するように、例えば、処理対象の非立体画像１０１を撮像した視点とは異なる視点からの非立体画像、即ち、視差画像を生成する際に使用される。

図２（ａ）〜（ｃ）は、予め用意される構図の例を模式的に示している。図２（ａ）は、水平線又は地平線２０１を含む構図２００を示す。この構図２００は、水平線又は地平線を含む非立体画像に対応し、空に対応する平面２０２、及び水面又は地面に対応する平面２０３を含む。

図２（ｂ）は、画像内で左側から右側向かうに従い奥行きが大きくなる構図２１０を示す。図２（ｃ）は、図２（ｂ）に示す構図とは反対に、画像内で右側から左側向かうに従い奥行きが大きくなる構図２２０を示す。これらの構図２１０、２２０は、例えば、建物の壁面を斜め方向から撮影した非立体画像に対応する。

一例として、処理対象の非立体画像１０１に適合する構図として図２（ａ）に示す構図２００が選択された場合に、奥行き信号を生成する処理を簡略化して説明する。この場合、非立体画像１０１から水平線（又は地平線）が検出され、検出された水平線（又は地平線）を境界として、非立体画像１０１を２つの領域に分割する。空に対応する領域には、大きな奥行き値が一様に与えられる。ここで、奥行き値は、その値が大きければ大きいほど奥行きが深いことを示す。例えば、奥行き値０が最も手前を表し、奥行き値１００が最も奥を表す。また、水面（又は地面）に対応する領域には、画像の下端から水平線（又は地平線）に向かって連続的に増大するように、奥行き値が与えられる。

再び図１を参照して、奥行き信号を生成する処理を詳細に説明する。
構図評価値算出部１０２は、処理対象の非立体画像１０１内の所定領域（以下、算出領域と称す）に含まれる画素の各々の画素値の統計量を算出する。算出領域は、複数の画素を含む画素ブロックである。本実施形態では、図３に示されるように、非立体画像１０１の四隅に位置する部分領域（矩形状の画素ブロック）３０１〜３０４を算出領域に設定する例について述べる。部分領域の設定方法は適宜変更してかまわない。例えば、非立体画像全体を１つの算出領域に設定してもよい。なお、非立体画像１０１に最もよく適合する構図を推定する精度を向上させるためには、複数の算出領域を設定することが好ましい。算出領域の数及び位置は、例えば、予め用意される構図の種類に応じて決定することが好ましい。構図評価値算出部１０２は、算出領域毎に、画素値の統計量を算出する。画素値の統計量としては、例えば、色又はテクスチャ等のヒストグラムを使用することができる。構図評価値算出部１０２は、算出した統計量に基づいて、算出領域間の類似度を算出する。続いて、構図評価値算出部１０２は、算出した類似度に基づいて構図評価値を求める。

本実施形態では、算出領域内の画素値の統計量としてＲＧＢ色信号に基づくヒストグラムを求め、類似度としてヒストグラムインタセクションを使用する例を、数式を用いて説明する。
まず、構図評価値算出部１０２は、ＲＧＢの各色信号をＮ段階に量子化する。ここで、Ｎは自然数である。色信号を量子化することにより、ノイズ及び照明による色の変動を緩和することができる。２５６階調の信号を８段階に量子化する場合、量子化は、下記数式（１）に従って実行することができる。
r = R >> 5
g = G >> 5 （１）
b = B >> 5
ここで、Ｒ、Ｇ及びＢは、夫々赤、緑及び青の画素値（入力信号）を表し、ｒ、ｇ及びｂは、夫々赤、緑及び青の量子化された画素値を表し、「 >> 」は、ビットシフト演算を表す。色ヒストグラムは、量子化後の信号のビット数の３乗個のビン、即ち、５１２のビンを含む。各ビンのインデックスiは、下記数式（２）により算出することができる。

i = r × 8 × 8 ＋ g × 8 ＋ b （２）
算出領域３０１から算出された色ヒストグラムをｈ１（ｉ）とし、算出領域３０２から算出された色ヒストグラムをｈ２（ｉ）とすると、算出領域３０１と算出領域３０２との間の類似度ｓ１２は、下記数式（３）に示すヒストグラムインタセクションで定義することができる。

同様に、構図評価値算出部１０２は、数式（３）に定義される類似度を、他の算出領域の組み合わせに関して算出する。例えば、構図評価値算出部１０２は、算出領域３０１と算出領域３０３との類似度ｓ１３、算出領域３０２と算出領域３０４との類似度ｓ２４、並びに算出領域３０３と算出領域３０４との類似度ｓ３４を算出する。当然ながら、構図評価値算出部１０２は、算出領域３０２と算出領域３０３との類似度ｓ２３、算出領域３０１と算出領域３０４との類似度ｓ１４を算出して、構図評価値の算出に使用してもよい。

続いて、構図評価値算出部１０２は、数式（４）のように、算出した類似度ｓ１２、ｓ１３、ｓ２４及びｓ３４を含む特徴ベクトルｖを作成し、この特徴ベクトルによって処理対象の非立体画像１０１を表現する。

v = (s12, s13, s24, s34) （４）
特徴ベクトルｖにより表現される非立体画像１０１が、予め用意された構図２００、２１０、２２０のいずれに近いかを評価する。評価方法には、例えば、パターン識別においてよく用いられるサポートベクターマシン（ＳＶＭ：Support Vector Machine）を利用することができる。ＳＶＭは、２クラス識別器である。本実施形態では、構図２００とそれ以外の構図、構図２１０とそれ以外の構図というように、対象構図とそれ以外の構図とを識別する３つのＳＶＭが用意される。ＳＶＭは、構図毎に対応する多数のサンプル画像を事前に収集することにより、予め学習させておく。必要となるＳＶＭの数は、予め用意される構図の数に依存する。構図評価値算出部１０２は、３つのＳＶＭからの出力値ｙ１、ｙ２及びｙ３を構図評価値として得る。構図評価値は、予め用意された構図毎に算出される。一例として、ＳＶＭの出力値ｙ１、ｙ２及びｙ３が夫々構図２００、２１０及び２２０に関する構図評価値として出力される。

なお、図２（ａ）〜（ｃ）及び図３をあわせて参照すると、４つの算出領域３０１、３０２、３０３、３０４が、各構図２００、２１０、２２０において奥行きが大きく異なる領域の組み合わせを含むように設定されていることが分かる。このように、用意された構図に応じて算出領域を設定して、これらの算出領域間の類似度を評価することで、構図推定を高精度に行うことができる。

なお、構図推定は、算出領域間の類似度を算出することなしに、画素値の統計量を特徴量として使用して実行されてもよい。しかしながら、類似度に基づく構図推定の方が、統計量に基づく構図推定より、高精度の構図推定を実現することができる。例えば、図２の構図２００のような水平線又は地平線２０１を含むシーンでは、算出領域３０１及び３０２は、空であり、算出領域３０３及び３０４は、水面又は地面である場合が多い。この場合、算出領域３０１と算出領域３０２との類似度ｓ１２、並びに、算出領域３０３と算出領域３０４との類似度ｓ３４は、いずれも大きくなることが容易に予想することができる。一方、算出領域３０１と算出領域３０３との類似度ｓ１３、算出領域３０２と算出領域３０４との類似度ｓ２４は、小さくなると予想することができる。

時間経過とともに、空の領域は、水色や灰色、ときには白に変化し、水面の領域は青、地面の領域は、緑や茶色に変化する。算出領域間の類似度を用いると、各領域の時間変化に左右されずに、構図推定を安定化することができる。

次に、評価値補正部１０３が構図評価値を補正する処理を具体的に説明する。
評価値補正部１０３は、既に処理済みの非立体画像から得られた補正後の構図評価値と、構図間の類似度とを加味して、構図評価値算出部１０２で算出された構図評価値の各々を補正する。以下、構図評価値の補正について、数式を用いて具体的に説明する。

本実施形態では、奥行き信号を生成する対象となっている非立体画像を、時刻ｔの非立体画像とする。既に処理済みの非立体画像は、時刻ｔより前の非立体画像、例えば、時刻ｔ−１の非立体画像を指す。時刻ｔの非立体画像に関して算出された構図ｘ_ｔの構図評価値は、時刻ｔより前の非立体画像から得られた補正後の構図評価値に基づいて補正される。補正された構図評価値Ｐ（ｘ_ｔ｜ｚ_１，…，ｚ_ｔ）は、下記数式（５）のように、定義することができる。

ここで、Ｐ（ｚ_ｔ｜ｘ_ｔ）は、時刻ｔの画像から得られた構図ｘ_ｔの構図評価値を表し、例えば、上述したＳＶＭの出力値（若しくは、その出力値を確率で表現した数値）である。また、構図評価値Ｐ（ｚ_ｔ｜ｘ_ｔ）内のインデックスｚ_ｔは、構図評価値Ｐ（ｚ_ｔ｜ｘ_ｔ）が時刻ｔの画像から得られたものであることを示す。構図評価値Ｐ（ｚ_ｔ｜ｘ_ｔ）のみを使用して構図推定を行う場合、選択される構図が時間経過とともに頻繁に変わる状況が発生する可能性があり、その結果、奥行き信号の時間変化が大きくなる場合がある。このような奥行き信号の急激な変化を回避するために、評価値補正部１０３は、数式（５）に示すように、構図評価値Ｐ（ｚ_ｔ｜ｘ_ｔ）に下記数式（６）に示す補正項を乗算して、構図評価値Ｐ（ｚ_ｔ｜ｘ_ｔ）を補正している。

ここで、Ｐ（ｘ_ｔ｜ｘ_ｔ−１）は、構図間の類似度であり、より具体的には、時刻ｔ−１から時刻ｔにかけて、構図が構図ｘ_ｔ−１から構図ｘ_ｔに移行する可能性を示す。また、Ｐ（ｘ_ｔ−１｜ｚ_１，…，ｚ_ｔ−１）は、時刻ｔ−１の非立体画像に関して得られた、補正された構図評価値である。数式（６）の補正項は、時刻ｔ−１まで再帰的に得られた補正後の構図評価値とともに、構図間の類似度を考慮した補正項であり、時刻ｔの非立体画像に関する構図評価値をどれぐらい補正すべきかの補正量を示す。

構図間の類似度Ｐ（ｘ_ｔ｜ｘ_ｔ−１）としては、構図毎に分類されたサンプル画像を入力した場合であって、補正部で構図評価値を補正しない場合に、構図選択部が各構図を選択した割合から得られた選択率を用いてもよく、或いは、ＳＶＭ識別器が様々な構図のサンプル画像を評価したときの選択率を用いてもよい。例えば、ＳＶＭ識別器によって、本来構図Ａに属するサンプル画像が構図Ａと正しく判定される確率、誤って構図Ｂが選択される確率というように各構図の選択率を計算することにより、構図の数の２乗個の要素を有する行列が得られる。この行列は、ＳＶＭ識別器の誤りやすさを表す行列である。誤った構図が選択される確率は、構図が互いに似ていれば似ているほど大きくなる。

また、構図間の類似度Ｐ（ｘ_ｔ｜ｘ_ｔ−１）の他の算出方法としては、各構図に対応する奥行き信号間の距離を使用してもよい。例えば、構図間の類似度Ｐ（ｘ_ｔ｜ｘ_ｔ−１）は、下記数式（７）及び数式（８）のように、構図ｘ_ｔ内のｉ番目の画素の奥行き値ｄｘ_ｔ（ｉ）と構図ｘ_ｔ−１内のｉ番目の画素の奥行き値ｄｘ_ｔ−１（ｉ）との二乗距離Ｄに基づいて、定義することができる。二乗距離Ｄを算出する際に使用する奥行き値ｄｘ_ｔ（ｉ）及びｄｘ_ｔ−１（ｉ）は、用意された構図に予め設定されており、即ち、各構図は、画素毎に所定の奥行き値を保持している。

このように、構図間の類似度Ｐ（ｘ_ｔ｜ｘ_ｔ−１）は、構図ｘ_ｔと構図ｘ_ｔ−１とが似ていれば似ているほど大きくなるように、定義される。数式（６）に示されるような補正項を乗算して構図評価値を補正することにより、連続する非立体画像間において同一の又は似た構図が選択される可能性が高くなり、その結果、奥行き信号の急激な変化が抑制され、滑らかに変化する奥行き信号を生成することができる。

次に、処理対象の非立体画像に適合する構図を選択し、奥行き信号を生成する方法を説明する。
構図選択部１０４は、下記数式（９）のように、補正された構図評価値Ｐ（ｘ_ｔ｜ｚ_１，…，ｚ_ｔ）が最大となる構図ｘ_ｔを選択する。

奥行き信号生成部１０５は、選択された構図ｘ_ｔに対応する奥行き信号を生成する。奥行き信号は、予め格納されている基準奥行きパターンを使用して生成されてもよく、或いは、予め定められた生成規則を処理対象の非立体画像に適用して生成してもよい。基準奥行きパターンを使用する方法は、画一的な奥行きパターンを当てはめるため、即ち、構図が保持している所定の奥行き値を当てはめるため、処理対象の非立体画像にフィットするとは限らず、違和感を生じさせる可能性がある。本実施形態では、生成規則に基づいて奥行き信号を生成する方法について、図２に示す構図２００を例に挙げて説明する。

構図２００は、水平線２０１を含む構図であり、水平線２０１を境界とする２枚の平面２０２、２０３により奥行きを表現している。図４には、処理対象の非立体画像に適合する構図として構図２００が選択された場合に奥行き信号を生成するための構成要素が示されている。まず、水平線検出部４０１が処理対象の非立体画像１０１に含まれる水平線を検出する。水平線の検出では、水平なエッジにのみ反応するようなエッジオペレータを走査し、各画素においてエッジ強度を求める。次に、画像の各水平ライン上の画素のエッジ強度を加算し、ラインごとのエッジ強度を求める。このエッジ強度が最大となるラインが水平線として検出される。次に、平面当てはめ部４０２は、下記数式（１０）のように、検出された水平線の上下に異なる奥行き値を与える。

例えば、ｉ番目の画素のｙ座標ｙ（ｉ）が検出された水平線位置ｈより小さい（画像上部にある）場合、即ち、ｉ番目の画素が平面２０２に対応する画素である場合、この画素に最も奥を表す値１００を奥行き値として与える。それ以外の画素（平面２０３に対応する画素）に対しては、ｙ（ｉ）の値に応じた小さい奥行き値を与える。このように、奥行き信号生成部１０５は、処理対象の非立体画像内の検出された水平線位置に応じて画素毎に適切な奥行き値を算出して、奥行き信号を生成する。奥行き信号は、選択された１つの構図に基づいて生成されるため、奥行き値に関して高いコントラストを保持することができる。

なお、本実施形態の奥行き信号生成装置により生成された奥行き信号は、他の手法で生成された奥行き信号と合成して利用されてもよい。奥行き信号を生成する他の手法としては、例えば、Y.J. Jeong et al., “Depth-image-based rendering (DIBR) using disocclusion area restoration,” SID, 11.3, 2009.に記述されている運動視差（motion parallax）に基づく推定手法がある。合成には、単純な奥行き信号値の平均又はより手前の奥行き値を採用する方法を使用することができる。

次に、上記の手順で生成した奥行き信号を利用して立体画像を生成する方法について説明する。立体画像を得るために、図示しない立体画像生成装置は、奥行き信号に基づいて、処理対象の非立体画像に対する視差画像を生成する。この視差画像は、各画素の奥行き値ｄに応じてシフト量ｓを算出することによって求めることができる。以下に、最も単純な幾何モデルに従ったシフト量ｓの算出方法を上記文献（Y.J. Jeong et al., “Depth-image-based rendering (DIBR) using disocclusion area restoration,” SID, 11.3, 2009.）を参照しながら説明する。

奥行き値ｄは、下記数式（１１）に基づきシフト量sに変換される。ここでｂは観測者の眼間距離であり、vは観測者からディスプレイまでの距離である．

立体画像生成装置は、処理対象の非立体画像に含まれる各画素に対して数式（１１）のシフト量ｓを計算し、処理対象の非立体画像に含まれる各画素をシフト量ｓだけシフトさせた視差画像を生成する。一例として、立体画像生成装置は、処理対象の非立体画像及び生成した視差画像を、夫々左目用画像及び右目用画像として含む立体画像信号を生成する。

図５は、奥行き信号を生成する手順を概略的に示す。まず、ステップＳ５００において、構図評価値算出部１０２が処理対象の非立体画像１０１を受け取る。ステップＳ５０１では、処理対象の非立体画像１０１内の所定の算出領域から画素値の統計量が、構図評価値算出部１０２によって算出される。画素値の統計量は、例えば、画像の４隅における色ヒストグラムである。次に、ステップＳ５０２では、算出された画素統計量に基づいて、構図評価値が構図評価値算出部１０２によって算出される。構図評価値の算出には、例えば、事前に学習されたサポートベクターマシンに基づく識別器が使用される。

ステップＳ５０３では、構図評価値が評価値補正部１０３によって補正される。評価値の補正には、過去の補正後の構図評価値、及び構図間の類似度が利用される。

ステップＳ５０４では、最大の評価値を与える構図が、構図選択部１０４によって選択され、選択された構図が図２（ａ）に示すような水平線を含む構図であるか否かが判断される。選択された構図が水平線を含まない場合、ステップＳ５０５に進み、選択された構図に基づいて、奥行き信号が奥行き信号生成部１０５によって生成される。

ステップＳ５０４において、選択された構図が水平線を含むと判断された場合、ステップＳ５０６に進み、ステップＳ５０６において、エッジ強度が奥行き信号生成部１０５によって算出される。ステップＳ５０７では、算出されたエッジ強度に基づいて、水平線位置が検出される。ステップＳ５０５では、検出された水平線位置に基づいて、奥行き信号が奥行き信号生成部１０５によって生成される。

ステップＳ５０８では、図示しない立体画像生成装置は、生成された奥行き信号に応じたシフト量を算出して、立体画像信号を生成する。

以上のように、本実施形態に係る奥行き信号生成装置においては、奥行き信号を生成する対象となっている非立体画像から算出された構図評価値を、既に処理済の非立体画像の補正後の構図評価値を使用して補正することにより、非立体画像に適合する構図として選択される構図が頻繁に変わることが抑制され、従って、奥行き信号の急激な変化を抑制することができる。また、予め用意された構図から、処理対象の非立体画像１０１に適合する１つの構図を選択し、選択された１つの構図に基づいて奥行き信号を生成することから、生成された奥行き信号は、高いコントラストを保持している。

上述した第１の実施形態によれば、高いコントラストを保持しながらも、急激な時間変化が抑制された奥行き信号を生成する奥行き信号生成装置を提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０２…構図評価値算出部、１０３…評価値補正部、１０４…構図選択部、１０５…奥行き信号生成部、１０６…記憶部、２００，２１０，２２０…構図、３０１，３０２，３０３，３０４…算出領域、４０１…水平線検出部、４０２…平面当てはめ部。

Claims (6)

1. 時系列の画像から奥行き信号を生成する奥行き信号生成装置であって、
   前記時系列の画像のうち第１画像内の１以上の特定領域毎に、当該特定領域に含まれる画素の画素値に関するヒストグラムを算出し、あらかじめ用意された奥行き構造パターンを示す構図毎に、前記第１画像と適合する構図を選択するための第１の評価値を前記特定領域毎に算出したヒストグラムに基づいて算出する算出部と、
   前記構図毎に、前記第１画像の前記第１の評価値を補正して前記第１画像の第２の評価値を取得する補正部であって、前記時系列の画像のうち前記第１画像より前の時刻の画像である第２画像の第２の評価値と、前記構図間の時系列的な移り変わりやすさを示す第１の類似度と、から補正値を算出し、前記第１の画像の前記第１の評価値に前記補正値を乗じることにより前記第１画像の前記第２の評価値を取得する前記補正部と、
   前記第１画像の前記第２の評価値が最大である構図を選択する選択部と、
   前記選択された構図に基づいて、前記奥行き信号を生成する生成部と、
   を具備する奥行き信号生成装置。
2. 前記補正部は、前記第１画像として前記構図毎に分類されたサンプル画像を入力した場合に、前記補正部を使用せずに前記選択部が前記各構図を選択した割合から得られた選択率から前記第１の類似度を算出する請求項１に記載の奥行き信号生成装置。
3. 前記補正部は、前記構図の各々の奥行き信号間の距離に基づいて、前記第１の類似度を算出する請求項１に記載の奥行き信号生成装置。
4. 前記特定領域は複数であり、前記算出部は、前記特定領域毎に算出したヒストグラムを比較して、前記特定領域間の類似度を示す第２の類似度を求め、当該第２の類似度に基づいて前記第１評価値を算出する請求項１に記載の奥行き信号生成装置。
5. 前記算出部は、前記各構図において、奥行きが異なる領域の組み合わせを含むように、前記特定領域を設定する請求項４に記載の奥行き信号生成装置。
6. 時系列の画像から奥行き信号を生成する奥行き信号生成方法であって、
   前記時系列の画像のうち第１画像内の１以上の特定領域毎に、当該特定領域に含まれる画素の画素値に関するヒストグラムを算出し、あらかじめ用意された奥行き構造パターンを示す構図毎に、前記第１画像と適合する構図を選択するための第１の評価値を前記特定領域毎に算出したヒストグラムに基づいて算出することと、
   前記構図毎に、前記第１画像の前記第１の評価値を補正して前記第１画像の第２の評価値を取得することであって、前記時系列の画像のうち前記第１画像より前の時刻の画像である第２画像の第２の評価値と、前記構図間の時系列的な移り変わりやすさを示す第１の類似度と、から補正値を算出し、前記第１の画像の前記第１の評価値に前記補正値を乗じることにより前記第１画像の前記第２の評価値を取得することと、
   前記第１画像の前記第２の評価値が最大である構図を選択することと、
   前記選択された構図に基づいて、前記奥行き信号を生成することと、
   を具備する奥行き信号生成方法。

Images