JP2006185033A - 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム - Google Patents

Abstract

【課題】様々な画像に対して、消失点の決定を自動的に行うことは困難であり、また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない。
【解決手段】どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うために、基本となる３種類のシーン構造のそれぞれについて奥行き値を示す３種類の基本奥行きモデルを用いる。上部の高域成分評価部２と下部の高域成分評価部３からの入力非立体画像の輝度信号の高域成分評価値の値に応じて合成比率８を決定し、その合成比率８に応じて３種類の基本奥行きモデルを合成する。加算器１０において、合成した基本奥行きモデルと非立体画像のＲ信号９とを重畳して奥行き推定データ１１を生成する。
【選択図】 図１

Description

本発明は擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システムに係り、特に通常の動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない動画像（非立体動画像）から擬似的な立体画像を作成する擬似立体動画像生成装置及び擬似立体動画像生成プログラム並びに擬似立体画像表紙システムに関する。

立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体化画像を生成する処理が行われる。

また、立体視に限らず前記非立体画像のシーンから立体構造を推定し、画像の合成や仮想的な視点移動を実現しようというアプローチは数多く研究・検討がなされている（例えば、非特許文献１参照）。この非特許文献１記載のツァー・インツー・ザ・ピクチャ（Tour Into the Picture）法では、撮影済みの画像から近影物を除去し、遠近法における消失点を決定した上で、それを基にシーンの概略的な構成を推定して視点移動を行うことを可能にしている。

また、前記非特許文献１では奥行き構造が長方形を断面とするチューブ状になっているのに対して、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチによる非立体画像から立体画像への変換方法も従来から知られている（例えば、特許文献１参照）。この特許文献１記載の発明は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、前記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしたものである。

また、古典的な非立体画像から立体画像への変換手法として、シェープ・フロム・モーション（"shape from motion"）法が知られている（例えば、非特許文献２参照）。これは、動画像の動き情報から画像の奥行き量を推定し、この奥行き量を用いて立体画像を構成するというものである。
さらに、非立体画像をブロック状に分割し、それぞれについて輝度積算、高周波成分積算、輝度コントラスト算出、彩度積算の計算を行うことにより画像の奥行き量を推定する手法も開示されている（例えば、特許文献２参照）。
Y.Horry, K.Anjyo, K.Arai："Tour Into the Picture：Using a Spidery Mesh Interface to Make Animation from a Single Image",SIGGRAPH'97 Proceedings,pp.225-232(1997) C.Tomasi and T.Kanade: "Shape and Motion from Image Streams under Orthography: A Factorization Method", Int. Journal of Computer Vision.Vol.9,No.2, pp.137-154(1992) 特開平９−１８５７１２号公報 特許３００５４７４号

しかしながら、前記非特許文献１のツァー・インツー・ザ・ピクチャ法や特許文献１の手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、効果は限定的である。
また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない。

また、前記非特許文献２のような、動画像の動き情報を基本とするシェープ・フロム・モーション法では、連続する動画像間の画像相関性を利用するために、静止画もしくは相対的に動きが停止している動画像の立体化は原理的に困難である。更に、動画像の動き情報から画像の奥行き量を推定する処理は、処理内容が複雑であり、動画像のリアルタイム性を損なわずに立体画像を表示し続けるには高速な処理装置、及び処理プログラムの実現手段が必要となる。

更に特許文献２の手法では、画像の奥行き量をブロック単位で得る構成のため、各ブロックの境界付近で不自然な立体画像となりやすい。そして、この不自然な立体画像は。補正や内挿を施す処理を行ったとしても、ブロック境界を意識しない画素単位での自然な立体画像を得ることは困難である。

本発明は以上の課題を鑑みてなされたものである。
本発明は、高速処理を必要とする動画像間の相関性を用いずに、独立した１枚の画面内の情報のみを用いて、かつ簡便な処理によって、自然な擬似立体画像を生成することを可能とするための、擬似立体画像生成装置、擬似立体画像生成プログラム、並びに擬似立体画像表示システムを提供することを目的とする。

そこで上記課題を解決するために本発明は、以下の装置、プログラム及びシステムを提供するものである。
（１）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する擬似立体画像生成装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び／又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する第一の記憶手段（４、５、６）と、
入力する前記非立体画像のシーン構造を推定するために、前記入力する非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率である第一の合成比率を算定する第一の算定手段（７、７０）と、
前記第一の算定手段で現在算定する対象の１枚の非立体画像に対して時系列的に少なくとも直前の１枚の非立体画像における前記第一の合成比率を記憶する第二の記憶手段（７、７５〜８０）と、
前記第二の記憶手段から読み出す、前記少なくとも直前の１枚の非立体画像における前記第一の合成比率と、前記第一の算定手段にて算定する現在の非立体画像における前記第一の合成比率とを用いて、前記現在の非立体画像に実際に適用するための第二の合成比率を算定する第二の算定手段（７、８１〜９２）と、
前記第一の記憶手段から読み出した前記複数の基本奥行きモデルを、前記第二の算定手段にて算定した前記第二の合成比率で合成して、合成基本奥行きモデルを生成する合成手段（７、７１〜７４）と、
前記合成手段により合成した合成基本奥行きモデルと、前記現在の非立体画像とから前記奥行き推定データを生成する生成手段（１０）と
を有することを特徴とする擬似立体画像生成装置。
（２）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体動画像から擬似的な立体動画像を生成し表示する擬似立体画像表示システムであって、
前記奥行き推定データを生成する上記（１）記載の擬似立体画像生成装置（３０）と、
前記擬似立体画像生成装置の生成手段より供給される前記奥行き推定データと擬似立体画像生成の対象となる前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成装置（４０）と、
前記複数視点画像生成装置で生成した複数の別視点画像及び／または擬似立体画像生成の対象となる前記非立体画像を用いて擬似立体画像を表示する表示装置（５０）と、
から構成することを特徴とする擬似立体画像表示システム。
（３）奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体動画像から擬似立体画像を生成するための奥行き推定データを生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
入力する前記非立体画像のシーン構造を推定するために、前記入力する前記非立体動画像の画面内の所定領域における画素値の統計量を利用して、擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを合成するための合成比率である第一の合成比率を算定する第一の算定機能（Ｓ２、Ｓ３）と、
前記第一の算定機能で現在算定する対象の１枚の非立体画像に対して時系列的に少なくとも直前の１枚の非立体画像における前記第一の合成比率と、前記第一の算定機能にて算定する現在の非立体画像の前記第一の合成比率とを用いて、前記現在の非立体画像に実際に適用するための第二の合成比率を算定する第二の算定機能（Ｓ４、Ｓ５）と、
前記複数の基本奥行きモデルを、前記第二の算定機能にて算定した前記第二の合成比率で合成して、合成基本奥行きモデルを生成する合成機能（Ｓ６）と、
前記合成機能により合成した合成基本奥行きモデルと、入力する前記非立体画像とから前記奥行き推定データを生成する生成機能（Ｓ７）と
をコンピュータに実現させることを特徴とする擬似立体画像生成プログラム。
（４）上記（３）記載の擬似立体画像生成プログラムにおいて生成した奥行き推定データに応じて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成機能をコンピュータに実現させることを特徴とする複数視点画像生成プログラム。

本発明の擬似立体画像生成装置、及び擬似立体画像生成プログラムによれば、ツァー・インツー・ザ・ピクチャ法などで用いている遠近法的な推定を行なうことなしに奥行き推定データを生成するので、遠近法を適合できないシーンにおいても、違和感の無い擬似立体画像を得るための奥行き推定データを生成することができる。

また、高速処理が必要となる動画像間の画像相関性の評価を用いずに、奥行き推定データ生成の対象となる一枚の非立体画像（静止画像・動画の場合１フレームまたは1フィールド）を基本にして奥行き推定データを生成するので、処理が単純になり、動画像のリアルタイム処理の実現に有利となる。

また、基本奥行きモデルを参照して奥行き推定データを生成するので、生成処理が簡便となる。
更に、画像を明確なブロックとして分けずに奥行き推定データを生成するので、各ブロックの境界付近で不自然な立体画像となること無しに自然な擬似立体画像を得るための奥行き推定データを生成することができる。

更に加えて、動画像間のシーン内容の急激な変化時の、擬似立体画像表示の際の視覚的な違和感を抑制した奥行き推定データを生成することができる。
また、本発明の擬似立体画像表示システムによれば、前記擬似立体画像生成装置によって生成した奥行き推定データを用いて、どのような非立体画像からも違和感の少ない擬似立体画像を表示することができる。

更に、本発明の別視点画像生成プログラムによれば、前記擬似立体画像生成プログラムで生成した奥行き推定データを用いて、どのような非立体画像からも擬似立体表示した場合に違和感の少ない別視点画像を生成することができる。

＜基本原理＞
本発明の擬似立体画像生成装置及び擬似立体画像生成プログラムでは、所謂シェープ・フロム・モーションのような動き情報を利用した奥行き推定は行わず、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、その非立体画像のシーンの奥行き構造を推定する。このとき推定されるシーンの奥行き構造は厳密なものではなく、"経験知からあるタイプのシーン奥行き構造が比較的近い可能性が高いので選択する"という程度のものにとどめ、誤判定された場合でも強い違和感を感じさせないようなものを採用する、所謂フェイルセーフの思想に基づくものとする。この理由は、事実上１枚の非立体画像からその内容を確実に検知し、詳細なシーン構造を決定することは技術的に不可能であるためである。

現実のシーン構造は無限に存在するが、本発明ではどのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うために、基本となるシーン構造について奥行き値を示す基本奥行きモデルを複数（例えば、３種類）用意する。そして、それらを上記の非立体画像の、画面内の所定領域における輝度信号の高域成分の算定値に応じて合成比率を変化させて合成し、この合成した合成基本奥行きモデルを用いて擬似立体画像を生成する。

基本奥行きモデルを用いることの利点は、本来複雑な構造である現実の３次元のシーンについて、比較的単純な数式で表現される曲面や平面を用いて近似することにより、視覚的な広がり（奥行き感）と動き推定や消失点決定などのプロセスのない簡便な演算処理を両立することである。

合成比率の変化の例としては、通常の球状の凹面を示す第１の基本奥行きモデルの使用を基本にしながらも、上記の高域成分の算定値が例えば画面上部の高域成分が少ないことを示している場合は、画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第２の基本奥行きモデルの比率を増加させ、また、上記の高域成分の算定値が例えば画面下部の高域成分が少ないことを示している場合は、画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、画面上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる第３の基本奥行きモデルの比率を増加させるといった処理を行う。このようにして、本発明では、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーンの奥行き構造を得ることが可能になる。
＜基本奥行きモデル＞
ここで、本実施例で使用する複数の基本奥行きモデルの一例について説明する。

図２０は、前記基本奥行きモデルを表すための座標系を示した図である。基本奥行きモデル画像の中心を座標の原点とするｘｙ平面に画素を配置し、ｚ軸方向を各画素毎の奥行き量とする。

本実施例では３種類の基本奥行きモデルを使用している。以下各基本奥行きモデルについて詳細に説明する。
[タイプ１]
基本奥行きモデルタイプ１は、図２０の座標系によれば各画素毎の奥行き量ｚは数式１で表される。ｒは球の半径、ｗは基本奥行きモデル１の画像の水平サイズ、ｈは基本奥行きモデル１の画像の垂直サイズであるとする。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００となる。

前記数式１で算出した奥行き情報を輝度値としてグレイスケールで表した例を図４に示す。ここでは、前記数式１で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図５は奥行き量を加味した立体構造を示した図である。
この基本奥行きモデルタイプ１でこのような凹面を使用する理由は、基本的にオブジェクトが存在しないシーンにおいては画面中央を一番遠距離に設定することにより違和感の少ない立体感及び適度な奥行き感が得られるからである。基本奥行きモデルタイプ１が使用されるシーン構成の一例として、図６のようなシーンがあげられる。
[タイプ２]
基本奥行きモデルタイプ２は、図２０の座標系によれば各画素毎の奥行き量ｚは数式２で表される。ｒは円筒、及び球の半径、ｗはモデル画像の水平サイズ、ｈはモデル画像の垂直サイズである。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００となる。

前記数式２で算出した奥行き情報を輝度値としてグレイスケールで表した例を図７に示す。ここでは、前記数式２で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図８は奥行き量を加味した立体構造を示した図である。

この基本奥行きモデルタイプ２は、前記上部の高域成分評価値が小さい場合に、画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深く設定するものである。基本奥行きモデルタイプ２が使用されるシーン構成の一例として、図９のようなシーンがあげられる。
[タイプ３]
基本奥行きモデルタイプ３は、図２０の座標系によれば各画素毎の奥行き量ｚは数式３で表される。ｒは円筒の半径、ｗはモデル画像の水平サイズ、ｈはモデル画像の垂直サイズである。

ここで、画像サイズが水平６４０画素、垂直４８０画素の基本奥行きモデルの例では、水平サイズｗ＝６４０、ｈ＝４８０となり、半径ｒ＝１０００としている。

前記数式３で算出した奥行き情報を輝度値としてグレイスケールで表した例を図１０に示す。ここでは、前記数式３で算出される奥行きｚを２５５−２×ｚで正規化し、０から２５５の８ビットで表している。値０（暗い）が最も奥行きが深く、２５５（明るい）が最も奥行きが浅いことを示す。また図１１は奥行き量を加味した立体構造を示した図である。

この基本奥行きモデルタイプ３は前記下部の高域成分評価値が小さい場合に、画面下部に平坦な地面もしくは水面に広がるシーンと認識し、画面上部を遠景として平面近似し、画面下部については下に行くほど奥行きＺが小さくなるように設定したものである。基本奥行きモデルタイプ３が使用されるシーン構成の一例として、図１２のようなシーンがあげられる。

上記の３種類のモデルは、あくまで一例であり、別の形状を持つモデルの使用することや、３種類に限らない数のモデルを使用することも可能である。また、モデルの合成比について、画面上部・下部の高域成分を算定した結果をもとに決定しているが、この算定領域について限定されるものではなく、算定されるものも輝度の高域成分に限定されない。

さらに本実施例においては、既に算出した過去のフレームの各基本奥行きモデル毎の合成比率の値を所定フレーム数分記憶する。そして、記憶したフレーム毎の各基本奥行きモデル毎の合成比率の値を、現在のフレームからの時間的距離に応じて予め決定しているフレーム毎の合成比率に従って算出する。この新たに算出した各基本奥行きモデル毎の合成比率の値に従って最終的に各基本奥行きモデルを合成し、合成基本奥行きモデルを生成する。このようにして生成した合成基本奥行きモデルを用いて擬似立体画像を生成することにより、シーン内容の急激な変化によって、基本奥行き構造が大きく変化した場合に生じる、視覚的な違和感を抑制することが可能となる。
＜装置の構成＞
次に、本発明の擬似立体画像生成装置の具体的な実施例を図面と共に説明する。図１は本発明の擬似立体画像生成装置の一実施例のブロック図である。

本実施例の擬似立体画像生成装置は、擬似立体化を行う非立体画像が入力される画像入力部１と、画像入力部１からの非立体画像の上部約２０％の高域成分評価値（ｔｏｐ＿ａｃｔ）を計算により求める上部の高域成分評価部２と、画像入力部１からの非立体画像の下部約２０％の高域成分評価値（ｂｏｔｔｏｍ＿ａｃｔ）を計算により求める下部の高域成分評価部３と、前述した擬似立体画像を生成する際の基本となる３種類の基本奥行きモデルを記憶する３つのフレームメモリ４、５及び６と、前記ｔｏｐ＿ａｃｔ及び前記ｂｏｔｔｏｍ＿ａｃｔの各値に応じて決定する合成比率により、フレームメモリ４、５及び６から読み出す前記３種類の基本奥行きモデルを合成する合成部７と、合成部７により得られた合成基本奥行きモデル画像に、画像入力部１の基になる画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）を重畳し最終的な奥行き推定データ１１を得る加算器１０とより構成されている。
＜処理の詳細説明＞
＜擬似立体画像生成装置＞
次に、図１の実施例の動作を図３のフローチャートと共に詳細に説明する。

まず、画像入力部１に擬似立体化を行うべき非立体動画像を入力する（ステップＳ１)。非立体動画像は時間的に連続するフレームにより構成される。本説明では連続するフレームにそれぞれ連続する番号を付加して表すこととする。具体的には現在擬似立体化を行なっているフレームをnフレームとすると、その１枚前のフレームはｎ−１フレーム、２枚前のフレームはｎ−２フレームというように表す。このフレームは、例えば８ビットで量子化されている画像データとする。また、この入力画像の画像サイズは、例えば、水平７２０画素、垂直４８６画素とする。

前記画像入力部１に入力したｎフレームを、上部の高域成分評価部３に供給する。ここで、ｎフレームの画面の上部約２０％、即ち、６４０×９６画素の範囲を水平８画素、垂直８画素のＮ個のブロックに分割し、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて下記数式４による計算を行う。この計算結果を上部の高域成分評価値（ｔｏｐ＿ａｃｔ）とする（ステップＳ２）。

また、前記上部の高域成分評価算出と並行して、前記画像入力部１に入力したｎフレームを、下部の高域成分評価部３にも供給する。ここで、ｎフレームの画面の下部約２０％を水平８画素、垂直８画素のブロックに分割し、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて前記と同様に数式４による計算を行う。この計算結果を下部の高域成分評価値（ｂｏｔｔｏｍ＿ａｃｔ）とする（ステップＳ３）。

そして前記上部の高域成分評価部３で計算したｔｏｐ＿ａｃｔとｂｏｔｔｏｍ＿ａｃｔを合成部７に供給する。
ここで合成部７の詳細な内部構成と動作について説明する。

図２は上記合成部７の構成を示したものである。供給されるｎフレームの画面のｔｏｐ＿ａｃｔとｂｏｔｔｏｍ＿ａｃｔを基に各基本奥行きモデルの合成比率ｋｍ（ｎ） （但しｍ＝１、２、３：ｍの値は基本奥行きモデルの対応に対応する ）を決定する合成比率決定部７０と、前記合成比率決定部で過去に決定した１フレーム前の各基本奥行きモデルの合成比率ｋｍ（ｎ−１）を記憶する第１のフレーム遅延部７５、７６、７７と、さらに２フレーム前の各基本奥行きモデルの合成比率ｋｍ（ｎ−２）を記憶する第２のフレーム遅延部７８、７９、８０と、これらによって得られるｋｍ（ｎ）、ｋｍ（ｎ−１）、ｋｍ（ｎ−２）を、現在のフレームからの時間的距離に応じて予め決定している合成比Ｃ（ｎ）、Ｃ（ｎ−１）、Ｃ（ｎ−２）で合成して最終的な各基本奥行きモデルの合成比率ｋｍｒｅｓ（但しｍ＝１、２、３：ｍの値は基本奥行きモデルの対応に対応する ）を生成する９つの乗算器８１〜８９及び３つ加算器９０〜０２と、生成した最終的な各基本奥行きモデルの合成比率ｋｍｒｅｓによって各奥行き基本モデルを合成する３つの乗算器７１〜７３及び１つ加算器７４より構成する。

このような構成の合成部７の内部の動作を以下に説明する。
合成比率決定部により合成する前記３種類の基本奥行きモデルのｎフレームにおける合成比率ｋ１（ｎ）、ｋ２（ｎ）、ｋ３（ｎ）を決定する。但しｋ１（ｎ）＋ｋ２（ｎ）＋ｋ３（ｎ）＝１とする。（ステップＳ４）。

次にステップ４で求めたnフレームにおける合成比率ｋｍ（ｎ） （但しｍ＝１、２、３：ｍの値は基本奥行きモデルの対応に対応する）と過去に算出したｎ−１フレームにおける合成比率ｋｍ（ｎ−１）、ｎ−２フレームにおける合成比率ｋｍ（ｎ−２）を、現在のフレームからの時間的距離に応じて予め決定している合成比Ｃ（ｎ）、Ｃ（ｎ−１）、Ｃ（ｎ−２）(但しＣｎ＋Ｃ（ｎ−１）＋Ｃ（ｎ−２）＝１）で合成することにより、実際に用いる基本奥行きモデルの合成比ｋｍｒｅｓを下記数式５にて求める（ステップ５）。

なお、Ｃ（ｎ）、Ｃ（ｎ−１）、Ｃ（ｎ−２）の具体的な値としては例えば０．５、０．３、０．２などとする。このステップ５では、各基本奥行きモデル毎の合成比率の値を過去に算出した２フレーム分の合成比率の値とさらに合成することにより、現在のｎフレームにおける合成比率を算定している。

そして算出したｋ１ｒｅｓ、ｋ２ｒｅｓ、ｋ３ｒｅｓの合成比率により対応する基本奥行きモデルを合成し、合成基本奥行きモデルを生成する（ステップ６）。
上記ステップ４、ステップ５、ステップ６の一連の処理は実質上、基本奥行きモデルの形状をテンポラルフィルタによって平滑化することに相当する。これによりシーン内容の急激な変化によって、基本奥行き構造が大きく変化したとしても、視覚的に違和感が生じることを抑制できる。

図１３はステップＳ４で決定される合成比率の決定条件の一例を示す。図１３はｔｏｐ＿ａｃｔを横軸、ｂｏｔｔｏｍ＿ａｃｔを縦軸とし、予め指定された値ｔｐｓ，ｔｐｌ，ｂｍｓ，ｂｍｌとの兼ね合いにより基本奥行きモデルタイプを選択もしくは合成することを示す。図１３において、複数の基本奥行きモデルタイプを記載している部分については、高域成分評価値（ａｃｔｉｖｉｔｙ）に応じて線形に合成する。

例えば、Ｔｙｐｅ１／２では
（ｔｏｐ＿ａｃｔ−ｔｐｓ）：（ｔｐｌ−ｔｏｐ＿ａｃｔ）
の比率で基本奥行きモデルタイプ１（Ｔｙｐｅ１）と基本奥行きモデルタイプ２（Ｔｙｐｅ２）の合成比率を決定する。すなわち、Ｔｙｐｅ１／２の合成比率は、基本奥行きモデルタイプ３（Ｔｙｐｅ３）は使用せず、
Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３ ＝
(ｔｏｐ＿ａｃｔ−ｔｐｓ)：(ｔｐｌ−ｔｏｐ＿ａｃｔ)：０
で合成比率を決定する。

また、Ｔｙｐｅ２／３、Ｔｙｐｅ１／３については
（ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ）：（ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ）
の比率で基本奥行きモデルタイプ２と基本奥行きモデルタイプ３の合成比率を決定し、基本奥行きモデルタイプ１と基本奥行きモデルタイプ３の合成比率を決定する。すなわち、Ｔｙｐｅ２／３の合成比率は、基本奥行きモデルタイプ１（Ｔｙｐｅ１）は使用せず、
Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３ ＝
０：(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定し、Ｔｙｐｅ１／３の合成比率は、基本奥行きモデルタイプ２（Ｔｙｐｅ２）は使用せず、
Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３ ＝
(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：０：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定する。

更に、Ｔｙｐｅ１／２／３においては、Ｔｙｐｅ１／２，Ｔｙｐｅ１／３の合成比率の平均を採用しており、
Ｔｙｐｅ１：Ｔｙｐｅ２：Ｔｙｐｅ３ ＝
(ｔｏｐ＿ａｃｔ−ｔｐｓ)＋(ｂｏｔｔｏｍ＿ａｃｔ−ｂｍｓ)：
(ｔｐｌ−ｔｏｐ＿ａｃｔ)：(ｂｍｌ−ｂｏｔｔｏｍ＿ａｃｔ)
で合成比率を決定する。なお、図２における合成比率ｋ１、ｋ２、ｋ３は
ｋ１= Ｔｙｐｅ１／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
ｋ２= Ｔｙｐｅ２／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
ｋ３= Ｔｙｐｅ３／（Ｔｙｐｅ１＋Ｔｙｐｅ２＋Ｔｙｐｅ３）
のように表現する。なお、ここでのｋ１、ｋ２、ｋ３は現在のフレームであることが明白であるのでこのような表記になっているが、本説明の他の部分では第ｎフレームにおける混合比はｋ１（ｎ）、ｋ２（ｎ）、ｋ３（ｎ）のように表記している。

なおこのステップ６の奥行きモデル合成処理においては、計算済みの基本奥行きモデルタイプをフレームメモリから呼び出すのでなく、その都度数式１〜３を用いた計算によって生成したものを使用しても構わない。また、その都度数式１〜３を用いた計算によって生成したものをフレームメモリに一旦記憶して、呼び出して使用しても構わない。

このように、本実施例では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定し、基本奥行きモデルタイプ１を基本にしながらも、画面上部の高域成分が少ない場合は上部に空もしくは平坦な壁が存在するシーンと認識して上部の奥行きを深くした基本奥行きモデルタイプ２の比率を増加させ、画面下部の高域成分が少ない場合は下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる基本奥行きモデルタイプ３の比率を増加させるといった処理を行うようにしたため、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うことが可能になる。

再び図１及び図３に戻って説明する。
上記のようにして合成器７にて得た合成基本奥行きモデルを加算器１０に供給し、ここで画像入力部１により入力した、基となる擬似立体画像生成対象の非立体画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）９と重畳して最終的な奥行き推定データ１１を生成する（ステップＳ７）。前記Ｒ信号はそのままの値を用いなくても良く、本実施例では例えば１／１０にして重畳している。

Ｒ信号を使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更にもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。基本奥行きモデル１の一例である図６の手前に人物を配したサンプルである図１４に対して、Ｒ信号を重畳したときの奥行き推定データ１１の画像の例を図１５に示す。また図１６にその３次元構造を示す。図１５、図１６においてはＲ信号の比較的大きな人物や並木が一段全面に出たような形態になっている。

赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。さらに双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。

以上の処理により、奥行き推定データを生成する擬似立体画像生成装置を実現できる。
そして、前記擬似立体画像生成装置により生成した奥行き推定データ１１を基に別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。

画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。

より具体的な処理の流れを図１７に示す。ここでは、入力画像に対応する奥行き推定データ１１を８ビットの輝度値Ｙｄで表すものとする。
テクスチャシフト部１２では、このＹｄについて小さい値すなわち奥に位置するものから順に、その値に対応する部分の入力画像１５のテクスチャを（Ｙｄ−ｍ）／ｎ画素右にシフトする。ここで、ｍは画面上の奥行きに表示する奥行きデータであり、これより大きなＹｄに関しては画面より手前に、小さなＹｄに関しては奥に表示される。また、ｎは奥行き感を調整するパラメータである。これらのパラメータは例えばｍ＝２００、ｎ＝２０などとする。

上記動作は本発明の「非立体画像のテクスチャのシフト」に対応するものであり、換言するならば、非立体画像の各画素を奥行き信号の値に応じてそれぞれを左右に移動する処理である。

シフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部１８において、入力画像１５の対応部分で充填する、若しくは公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：” 領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償", 映情学誌, Vol.56, No.5, pp. 863~866 (2002. 5)）に記載の手法で充填する。

オクルージョン補償部１８でオクルージョン補償した画像は、ポスト処理部１９により、平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減することによって左目画像２１を生成し、入力画像１５を右目画像２０とすることによりステレオペアが構成される。これらの右目画像２０と左目画像２１とは、図示していない出力手段により出力する。

図１８に以上の手順で生成したステレオペアの一例を示す。但し、ここでは、左右の違いをわかりやすくするための強調がなされている。なお、左右反転することで、左目画像を原画、右目画像を生成した別視点画像のステレオペアを構成してもよい。

また、上記処理においては、右目画像もしくは左目画像のどちらかを入力画像、他方を生成された別視点画像とするようなステレオペアを構成しているが、左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。

以上の処理によりステレオペア生成装置を実現できる。
なお、本実施例ではステレオペア生成装置として２視点での例を説明しているが、２視点以上の表示が可能な表示装置にて表示する場合、その視点数に応じた数の別視点画像を生成する複数視点画像生成装置を構成することも可能である。

これまでに述べた擬似立体画像生成装置及びステレオペア生成装置を組み合わせることにより、図１９に示す本発明に係る非立体画像を擬似立体画像として立体視することを可能にする擬似立体画像表示システムを構成することができる。同図中、図１及び図１７と同一構成部分には同一符号を付し、その説明を省略する。

図１９に示す擬似立体画像表示システムは、図１に示した擬似立体画像生成装置３０で
生成した擬似立体画像である奥行き推定データと、画像入力部１に入力された非立体画像
とを図１７に示した構成のステレオペア生成装置４０のテクスチャシフト部１７に供給し、これによりステレオペア生成装置４０で生成されたステレオペア画像（右目画像２０及び左目画像２１）をステレオ表示装置５０に供給する構成である。

ここで、上記のステレオ表示装置５０とは、偏光メガネを用いたプロジェクションシス
テム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しく
はディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式の
ステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各
画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。また、上記のよ
うに２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。

このように、本実施の形態によれば、基本奥行きモデルの決定において、３種類の基本
奥行きモデルの合成を基本にし、経験知に基づき、現実のシーン構造に比較的に近い可能
性が高いようにすることを目標としつつも、複雑なシーンの場合には、球面の基本モデル
タイプ１が主体になるように、いわばフェイルセーフに配慮した処理を行う。さらに基本奥行きモデルを時間軸方向に平滑化することにより、シーン内容に急激な変化によって推定奥行きが不自然に変化しないようにしている。得られたステレオペア（擬似立体画像）は、左画像について目立った破綻がなく、また立体視した場合、大きな違和感がないため、動画像からシーン内容に応じた奥行きモデルを構築することが可能になり、これを基に違和感の少ない擬似立体画像を生成することができる。

本実施例においては、カウントする画像の数の単位をフレームで説明しているが、フィールドを単位として実現してもよい。
なお、本発明は、ハードウェアにより図１の構成の擬似立体画像作成装置を構成する場
合に限定されるものではなく、図３の手順を実行するコンピュータプログラムによるソフ
トウェアにより擬似立体画像作成を行うこともできる。この場合、コンピュータプログラ
ムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュ
ータに取り込まれてもよい。

本発明の擬似立体画像生成装置の一実施例のブロック図である。 本発明の擬似立体画像生成装置の一実施例における“合成部７”のブロック図である。 本発明の擬似立体画像生成プログラムの一実施例のフローチャートである。 本発明の一実施例における基本奥行きモデルタイプ１の奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ１の立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ１が使用されるシーン構成の一例である。 本発明の一実施例における基本奥行きモデルタイプ２の奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ２の立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ２が使用されるシーン構成の一例である。 本発明の一実施例における基本奥行きモデルタイプ３の奥行き画像の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ３の立体構造の一例を示す図である。 本発明の一実施例における基本奥行きモデルタイプ３が使用されるシーン構成の一例である。 本発明の一実施例における基本奥行きモデル合成比率決定条件を説明する図である。 本発明の一実施例における画像サンプルの一例を示す図である。 本発明の一実施例におけるＲ信号を重畳した奥行き画像の一例を示す図である。 本発明の一実施例におけるＲ信号を重畳した奥行きの立体構造を示す図である。 本発明の一実施例におけるステレオペアの生成の処理の流れを示す図である。 本発明の一実施例における擬似立体化されたステレオペアの一例を示す図である。 本発明の一実施例における擬似立体画像表示システムを示す図である。 本発明の一実施例における基本奥行きモデルの座標系を示す図である。

符号の説明

１ 画像入力部
２ 上部の高域成分評価部
３ 下部の高域成分評価部
４、５、６ フレームメモリ
７ 合成部
９ Ｒ信号
１０ 加算器
１１ 奥行き推定データ

Claims (4)

1. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する擬似立体画像生成装置であって、
   基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び／又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する第一の記憶手段と、
   入力する前記非立体画像のシーン構造を推定するために、前記入力する非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率である第一の合成比率を算定する第一の算定手段と、
   前記第一の算定手段で現在算定する対象の１枚の非立体画像に対して時系列的に少なくとも直前の１枚の非立体画像における前記第一の合成比率を記憶する第二の記憶手段と、
   前記第二の記憶手段から読み出す、前記少なくとも直前の１枚の非立体画像における前記第一の合成比率と、前記第一の算定手段にて算定する現在の非立体画像における前記第一の合成比率とを用いて、前記現在の非立体画像に実際に適用するための第二の合成比率を算定する第二の算定手段と、
   前記第一の記憶手段から読み出した前記複数の基本奥行きモデルを、前記第二の算定手段にて算定した前記第二の合成比率で合成して、合成基本奥行きモデルを生成する合成手段と、
   前記合成手段により合成した合成基本奥行きモデルと、前記現在の非立体画像とから前記奥行き推定データを生成する生成手段と
   を有することを特徴とする擬似立体画像生成装置。
2. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体動画像から擬似的な立体動画像を生成し表示する擬似立体画像表示システムであって、
   前記奥行き推定データを生成する請求項１記載の擬似立体画像生成装置と、
   前記擬似立体画像生成装置の生成手段より供給される前記奥行き推定データと擬似立体画像生成の対象となる前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成装置と、
   前記複数視点画像生成装置で生成した複数の別視点画像及び／または擬似立体画像生成の対象となる前記非立体画像を用いて擬似立体画像を表示する表示装置と、
   から構成することを特徴とする擬似立体画像表示システム。
3. 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体動画像から擬似立体画像を生成するための奥行き推定データを生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
   入力する前記非立体画像のシーン構造を推定するために、前記入力する前記非立体動画像の画面内の所定領域における画素値の統計量を利用して、擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを合成するための合成比率である第一の合成比率を算定する第一の算定機能と、
   前記第一の算定機能で現在算定する対象の１枚の非立体画像に対して時系列的に少なくとも直前の１枚の非立体画像における前記第一の合成比率と、前記第一の算定機能にて算定する現在の非立体画像の前記第一の合成比率とを用いて、前記現在の非立体画像に実際に適用するための第二の合成比率を算定する第二の算定機能と、
   前記複数の基本奥行きモデルを、前記第二の算定機能にて算定した前記第二の合成比率で合成して、合成基本奥行きモデルを生成する合成機能と、
   前記合成機能により合成した合成基本奥行きモデルと、入力する前記非立体画像とから前記奥行き推定データを生成する生成機能と
   をコンピュータに実現させることを特徴とする擬似立体画像生成プログラム。
4. 請求項３記載の擬似立体画像生成プログラムにおいて生成した奥行き推定データに応じて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成機能をコンピュータに実現させることを特徴とする複数視点画像生成プログラム。