JP2014072640A - 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム - Google Patents

Abstract

【課題】背景とオブジェクトとの分離感を強め、自然な立体効果をもたらす奥行き推定データを生成する。
【解決手段】合成部は仮奥行き推定データを生成する。高周波成分検出部は非立体画像の高周波成分を検出する。背景検出部は背景を検出し信号処理部は背景検出部で検出された複数の背景情報を任意に組み合わせて背景領域を検出すると共に、検出した背景領域にオフセットを付加した背景信号を生成する。加算部は、仮奥行きデータと、非立体画像の所定の信号成分と、背景信号とから奥行き推定データを生成する。
【選択図】図１

Description

本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き推定データを生成する、奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムに関する。

立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表すための奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。このような技術の一例として、例えば特許文献１に開示された擬似立体画像生成装置がある。特許文献１記載の技術は、できる限り現実に近いシーン構造の決定を行うために、基本となる複数種類のシーン構造のそれぞれについて奥行き値を示す複数種類の基本奥行きモデルを用いて、画面上部の高域成分評価部と画面下部の高域成分評価部からの入力非立体画像の高域成分評価値に応じて合成比率を決定し、その合成比率に応じて複数種類の基本奥行きモデルを合成する。そして加算器において、合成した基本奥行きモデルと非立体画像のＲ信号とを重畳し、最終的な奥行き推定データを生成し、この奥行き推定データを元にした処理を非立体画像の画像信号に施すことで、立体感を感じさせる別視点画像の画像信号を生成している。

特開２００５−１５１５３４号公報

特許文献１の手法では、複数種類の基本奥行モデルを合成して合成奥行きモデルを生成し、合成奥行きモデルにＲ信号を重畳することで最終的な奥行き推定データを生成している。しかし、この方法では、背景とオブジェクトとの分離感が乏しくなる場合があり、更なる改善が望まれていた。

本発明は上記課題を鑑みてなされてものであり、背景とオブジェクトとの分離感を強め、自然な立体効果をもたらす奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムを提供する事を目的とする。

上記課題を解決するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成装置（１０）であって、前記非立体画像信号に基づき、仮奥行き推定データを生成する合成部（１７）と、前記非立体画像の高周波成分を検出する高周波成分検出部（１０１）と、前記非立体画像の画面端に相当する位置から前記高周波成分が閾値を超えた第一番目の位置までの期間を検出する背景検出部（１０２）と、前記背景検出部で検出された複数の背景情報を任意に組み合わせて背景領域を検出すると共に、検出した前記背景領域にオフセットを付加して背景信号を生成する信号処理部（１０３）と、前記合成部により合成した仮奥行き推定データと、前記非立体画像の所定の信号成分と、前記背景信号とから前記奥行き推定データを生成する加算部（１９）とを有することを特徴とする奥行き推定データ生成装置を提供する。

また上記課題を解決するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、非立体画像から擬似立体動画像を生成する擬似立体画像生成装置（１）であって、前記奥行き推定データ生成装置と、前記奥行き推定データ生成装置から供給する前記奥行き推定データに応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および／または右目用画像となる別視点画像を生成する別視点画像生成部（５０）とを備え、前記別視点画像生成部により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置を提供する。

また上記課題を解決するために本発明は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成方法であって、前記非立体画像信号に基づき、仮奥行き推定データを生成するステップと、前記非立体画像の高周波成分を検出するステップと、前記非立体画像の画面端から前記高周波成分が閾値を超えた第一番目の位置までの期間を検出するステップと、前記背景検出部で検出された複数の背景情報を任意に組み合わせて背景領域を検出すると共に、検出した前記背景領域にオフセットを付加して背景信号を生成するステップと、前記仮奥行き推定データと、前記非立体画像の所定の信号成分と、前記背景信号とから前記奥行き推定データを生成するステップとを有することを特徴とする奥行き推定データ生成方法を提供する。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、背景とオブジェクトとの分離感を強め、自然な立体効果をもたらす奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラムを提供することができる。

擬似立体画像生成装置の構成の一例を説明するためのブロック図である。 奥行き推定データ生成の流れを説明するためのフローチャートである。 背景信号生成部の構成の一例を説明するためのブロック図である。 高周波成分検出の一例を説明するための図である。 背景検出の一例を説明するための図である。 背景信号生成の一例を説明するための図である。 奥行き推定データの生成における従来処理と本発明処理との比較の一例である

次に、本発明の実施の形態について図面と共に詳細に説明する。
図１は、本発明による擬似立体画像生成装置の構成を説明するためのブロック図である。図１に示すように、本実施の形態の擬似立体画像生成装置１は、奥行き推定データ生成部１０と、別視点画像生成部５０より構成される。

奥行き推定データ生成部１０は、画像入力部１１と、画面上部の高域成分評価部１２と、画面下部の高域成分評価部１３と、フレームメモリ１４、１５及び１６と、合成部１７と、加算部１９と、背景信号生成部２０とを有し、奥行き推定データを生成する。

以下、更に図２のフローチャートを用いて説明する。画像入力部１１は、フレームメモリを備えており、入力した非立体画像信号である１フレーム分の画像信号を一時記憶した後、その１フレーム分の画像信号を画面上部の高域成分評価部１２、画面下部の高域成分評価部１３、加算部１９にそれぞれ供給する。画像入力部１１に入力される非立体画像信号は一視点の画像信号であり、ここでは一例として右目画像として表示されるべき右目用画像信号であるものとする。画像入力部１１に入力する画像の信号方式は問わないが、本実施形態では一例として、入力画像をＲＧＢ信号として説明する。

画面上部の高域成分評価部１２は、１フレーム分の右目用画像信号における画面の上部約２０％にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する（ステップＳ１）。そして、画面上部の高域成分評価部１２は、画面上部の高域成分評価値を合成部１７に供給する。画面下部の高域成分評価部１３は、１フレーム分の右目用画像信号における画面の下部約２０％領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する（ステップＳ２）。そして、画面下部の高域成分評価部１３は、画面下部の高域成分評価値を合成部１７に供給する。

一方、フレームメモリ１４は基本奥行きモデルタイプ１、フレームメモリ１５は基本奥行きモデルタイプ２、フレームメモリ１６は基本奥行きモデルタイプ３の画像を予め格納している。これらの基本奥行きモデルタイプ１〜３の画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。フレームメモリ１４〜１６は、本発明の基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部として機能する。

すなわち、上記の基本奥行きモデルタイプ１の画像は、球面状の凹面による奥行きモデルの画像である。多くの場合に、この基本奥行きモデルタイプ１の画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。

また、上記の基本奥行きモデルタイプ２の画像は、基本奥行きモデルタイプ１の画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルの画像である。

更に、上記の基本奥行きモデルタイプ３の画像は、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ１４〜１６に格納されている、これら基本奥行きモデルタイプ１〜３の画像は、合成部１７へ供給される。

合成部１７は、まず、画面上部の高域成分評価部１２から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部１３から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプ１の合成比率ｋ１、基本奥行きモデルタイプ２の合成比率ｋ２、基本奥行きモデルタイプ３の合成比率ｋ３を算定する（ステップＳ３）。なお、３つの合成比率ｋ１〜ｋ３の合計値は常に「１」である。

基本奥行きモデルの合成比率の計算方法については、前記した特許文献１に記載した方法に準ずる。
合成部１７は、合成比率ｋ１〜ｋ３が示す比率で、基本奥行きモデルタイプ１〜３の画像を合成して、背景を構成する曲面の奥行きデータ（以下、合成奥行きデータまたは仮奥行き推定データともいう）を生成する（ステップＳ４）。

本実施形態の奥行き推定データ生成部１０は、背景信号生成部２０に特徴がある。図３は、背景信号生成部２０の一実施形態のブロック図を示す。背景信号生成部２０は、高周波成分検出部１０１、背景検出部１０２、信号処理部１０３から構成される。背景信号生成部２０には、画像入力部１１に入力された非立体画像信号のＲ信号成分が入力される。高周波成分検出部１０１は入力信号の高周波成分を検出する。

以下、高周波成分検出の一例を具体的に説明する。
高周波成分の検出位相を図４に示す。図４中の黒丸は現在の画素、白丸は検出位相の画素を示している。図４（ａ）に示すように、水平方向では現在の画素から左右１画素離れた画素が検出位相の画素となり、現在の画素と検出位相の画素との差分を算出する。図４（ｂ）に示すように、垂直方向では現在の画素から上下1ライン離れた画素が検出位相の画素となり、現在の画素と検出位相の画素との差分を算出する。

下記式（１）〜（３）により高周波成分（Act_HV）を算出する（ステップＳ５）。
Act_H = abs（ x_m − x_p ） ・・・式（１）
Act_V = abs（ y_m − y_p ） ・・・式（２）
Act_HV = Act_H + Act_V ・・・式（３）
Act_Hは水平差分、Act_Vは垂直差分、Act_HVは高周波成分を示す。
absは絶対値、x_mは現在の左画素、x_pは現在の右画素、y_mは現在の上画素、y_pは現在の下画素を示す。

高周波成分検出部１０１で検出された高周波成分信号は背景検出部１０２に入力される。背景検出部１０２は背景を検出する（ステップＳ６）。図５を用いて背景検出部１０２の動作を説明する。
図５（ａ）は画面中央部に人物が存在する原画を示す。
図５（ｂ）は画面左端から水平ライン毎に一番目のエッジ成分が出現した位置を検出し、画面左端から検出したエッジの位置までの期間を黒”値１(有効)“とし、それ以外を白”値０(無効)“としている事を示している図である。エッジ成分の判定は、高周波成分の値が特定の閾値(Thr)より大の場合（Act_HV > Thr）とする。検出結果は、L_backとする。

図５（ｃ）は画面右端から水平ライン毎に一番目のエッジ成分が出現した位置を検出し、画面右端から検出したエッジの位置までの期間を黒”値1“とし、それ以外を白”値０“としている事を示している図である。検出結果は、R_backとする。
図５（ｄ）は画面上端から垂直ライン毎に一番目のエッジ成分が出現した位置を検出し、画面上端から検出したエッジの位置までの期間を黒”値1“とし、それ以外を白”値０“としている事を示している図である。検出結果は、T_backとする。
図５（ｅ）は画面下端から垂直ライン毎に一番目のエッジ成分が出現した位置を検出し、画面下端から検出したエッジの位置までの期間を黒”値1“とし、それ以外を白”値０“としている事を示している図である。検出結果は、B_backとする。

上記４種類の検出結果は信号処理部１０３に入力される。信号処理部１０３は、背景検出部１０２から受け取った、画面左端からの検出結果L_back、画面右端からの検出結果R_back、画面上端からの検出結果T_back、画面下端からの検出結果B_backの４種類の検出結果を任意に組み合わせて背景信号を生成する（ステップＳ７）。

図６を用いて信号処理部１０３の動作例を説明する。
図６(ａ)は、画面中央部に人物が存在する原画の例である。
背景信号Back_A_ENは、下記式（４）、式（５）により算出する。
Back_A_EN = ( L_back ) OR ( R_back ) OR ( T_back ) ・・・式（４）
If( Back_A_EN==1 ) Back_A = Offset
Else Back_A = 0 ・・・式（５）
図６(ｂ)は、生成した背景信号を示す。以上のように、図６（ａ）の様な画像の場合、画面左端からの検出結果L_back、画面右端からの検出結果R_back、画面上端からの検出結果T_backの３種類の検出結果から実用上問題の無い背景信号を生成することができる。

図６(ｃ)は、風景を撮影した原画の例である。
背景信号Back_B_ENは、下記式（６）、（７）式により算出する。
Back_B_EN = T_back ・・・式（６）
If( Back_B_EN==1 ) Back_B = Offset
Else Back_B = 0 ・・・式（７）
図６（ｄ)は、図６(ｃ)に対する背景信号を示しており、下記式（６）、式（７）により算出する。
図６(ｄ)は、生成した背景信号を示す。以上のように、図６（ｃ）の様な画像の場合、画面上端からの検出結果T_backのみから実用上問題の無い背景信号を生成することができる。

ここで、Offsetはレジスタであり、任意に設定可能である。背景を奥に配置する場合は、例えば、 Back_A = −１２８、のように負の値を設定する。
信号処理部１０３では、背景検出部１０２から出力された４種類の検出結果から、必要な検出結果だけを選んで信号処理することで、処理時間を短縮することができる。４種類の検出結果からどの検出結果を選ぶかは、処理する画像信号に応じて自由に組み合わせ可能である。

背景信号生成部２０で生成した背景信号は、加算部１９に入力される。加算部１９は合成部１７から受け取った合成奥行きデータ（仮奥行き推定データ）に対し、画像入力部１１から受け取ったＲ信号成分と、背景信号生成部２０から受け取った背景信号を重畳して、奥行き推定データを生成する（ステップＳ８）。

背景信号生成部２０および加算部１９でＲ信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い（明度）の変化が大きくない条件下で、Ｒ信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。すなわち、このＲ信号成分は、入力非立体画像の原画像の凹凸に略対応した信号レベルを示す信号成分である。なお、テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。また、Ｒ信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。

図７に奥行き推定データの生成における本実施形態による処理と従来処理との比較例を示す。図７（ａ）、（ｂ）は、画面中央部に人物が存在する画像に対し生成した奥行き推定データを示す。図７（ｃ）は、奥行きデータと輝度レベルとの関係を図示したものである。黒〜白を２５６ステップの輝度レベルで表しており、黒側は奥行き（凹）方向へ移動し、白側は飛出し（凸）方向へ移動するものとする。
図７（ａ）は従来処理による奥行き推定データを示す。従来処理では、背景と人物の分離感が乏しい事がわかる。図７（ｂ）は本実施形態の処理による奥行き推定データを示す。本実施形態の処理によれば、背景部分を検出し、背景領域のみ奥行き方向へ移動できるため、人物領域の立体感は保存したまま、背景と人物の分離感を高める事が可能となり、十分な立体効果をもった出力画像を得る事ができる。

奥行き推定データ生成部１０により生成した奥行き推定データを基に別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側） に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。
画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。

図１に戻り、別視点画像生成部５０について説明する。
別視点画像生成部５０は、テクスチャシフト部５１、オクルージョン補償部５２、ポスト処理部５３で構成され、ステレオペア画像として左目画像５４および右目画像５５を出力する。
テクスチャシフト部５１は、奥行き推定データ生成部１０から受け取った奥行き推定データに応じた量だけ右目画像のテクスチャシフトを行い、右目視点とは別視点の画像を生成する。

テクスチャシフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部５２において、入力画像 の対応部分で充填する、若しくは公知の文献（ 山田邦男， 望月研二， 相澤清晴， 齊藤隆弘： ” 領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償" , 映情学誌, Ｖｏｌ.５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５）） に記載の手法で充填する。
オクルージョン補償部５２でオクルージョン補償した画像は、ポスト処理部５３により、平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減することによって左目画像５４を生成し、入力画像を右目画像５５とすることによりステレオペアが構成される。これらの左目画像５４と右目画像５５とは、ステレオ表示装置２へと出力される。

なおステレオペア画像の生成に関しては、左右反転することで左目画像を原画とし、右目画像を別視点画像として生成してもよい。
また、上記処理においては、右目画像もしくは左目画像のどちらかを入力画像、他方を生成された別視点画像とするようなステレオペア画像を構成しているが、左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペア画像を構成することも可能である。
なお、本実施形態では別視点画像生成部として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。

上記のステレオ表示装置２は、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。
また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。

本実施形態においては、カウントする画像の数の単位をフレームで説明しているが、フィールドを単位として実現してもよい。
なお、本発明は、ハードウェアにより図１の構成の奥行き推定データ生成部、別視点画像生成部を構成する場合に限定されるものではなく、コンピュータプログラムによるソフトウェアにより実現することもできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

本実施形態では、奥行き推定データ生成部１０と別視点画像生成部５０によって擬似立体画像生成装置１を構成する例を説明したが、奥行き推定データ生成部１０と別視点画像生成部５０は同一装置内にある必要は無く、別体として、それぞれ奥行き推定データ生成装置、別視点画像生成装置としても良い。

１ 擬似立体画像生成装置
１０ 奥行き推定データ生成部（奥行き推定データ生成装置）
１１ 画像入力部、１２ 画面上部の高域成分評価部
１３ 画面下部の高域成分評価部、１４、１５、１６ フレームメモリ
１７ 合成部、１９ 加算部、２０ 背景信号生成部 ５０ 別視点画像生成部、５１ テクスチャシフト部
５２ オクルージョン補償部、５３ ポスト処理部
１０１ 高周波成分検出部、１０２ 背景検出部、１０３ 信号処理部

Claims (6)

1. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成装置であって、
   前記非立体画像信号に基づき、仮奥行き推定データを生成する合成部と、
   前記非立体画像の高周波成分を検出する高周波成分検出部と、
   前記非立体画像の画面端に相当する位置から前記高周波成分が閾値を超えた第一番目の位置までの期間を検出する背景検出部と、
   前記背景検出部で検出された複数の背景情報を任意に組み合わせて背景領域を検出すると共に、検出した前記背景領域にオフセットを付加して背景信号を生成する信号処理部と、
   前記合成部により合成した仮奥行き推定データと、前記非立体画像の所定の信号成分と、前記背景信号とから前記奥行き推定データを生成する加算部と
   を有することを特徴とする奥行き推定データ生成装置。
2. 前記高周波成分検出部は、前記非立体画像のＲ信号成分に基づいて高周波成分を検出することを特徴とする請求項１記載の奥行き推定データ生成装置。
3. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する記憶部と、
   前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値に統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定する算定部と
   を更に有し、
   前記合成部は、前記記憶部から読み出した前記複数の奥行きモデルを、前記算定部にて算定した合成比率に基づいて合成し、仮奥行き推定データを生成する
   ことを特徴とする請求項１または２記載の奥行き推定データ生成装置。
4. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、非立体画像から擬似立体動画像を生成する擬似立体画像生成装置であって、
   請求項１から３のいずれか一項に記載の奥行き推定データ生成装置と、
   前記奥行き推定データ生成装置から供給する前記奥行き推定データに応じて前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって左目用画像および／または右目用画像となる別視点画像を生成する別視点画像生成部と
   を備え、
   前記別視点画像生成部により生成した別視点画像と、前記非立体画像との一方を左目用画像とし、他方を右目用画像として出力することを特徴とする擬似立体画像生成装置。
5. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する奥行き推定データ生成方法であって、
   前記非立体画像信号に基づき、仮奥行き推定データを生成するステップと、
   前記非立体画像の高周波成分を検出するステップと、
   前記非立体画像の画面端から前記高周波成分が閾値を超えた第一番目の位置までの期間を検出する背景検出ステップと、
   前記背景検出ステップにより検出された複数の背景情報を任意に組み合わせて背景領域を検出すると共に、検出した前記背景領域にオフセットを付加して背景信号を生成するステップと、
   前記仮奥行き推定データと、前記非立体画像の所定の信号成分と、前記背景信号とから前記奥行き推定データを生成するステップと
   を有することを特徴とする奥行き推定データ生成方法。
6. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から奥行き推定データを生成する機能をコンピュータに実現させる奥行き推定データ生成プログラムであって、
   前記非立体画像信号に基づき、仮奥行き推定データを生成する処理と、
   前記非立体画像の高周波成分を検出する処理と、
   前記非立体画像の画面端から前記高周波成分が閾値を超えた第一番目の位置までの期間を検出する背景検出処理と、
   前記背景検処理により検出された複数の背景情報を任意に組み合わせて背景領域を検出すると共に、検出した前記背景領域にオフセットを付加して背景信号を生成する処理と、
   前記仮奥行き推定データと、前記非立体画像の所定の信号成分と、前記背景信号とから前記奥行き推定データを生成する処理と
   を有することを特徴とする奥行き推定データ生成プログラム。