WO2012050089A1 - 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム - Google Patents

Abstract

　奥行き信号生成装置１は、奥行き信号推定部１１と、奥行き信号ヒストグラム生成部１２と、奥行き信号レベル変換部１３とを有する。奥行き信号推定部１１は、非立体画像の入力映像信号に基づいて所定単位の画素毎に奥行き信号を推定する。奥行き信号ヒストグラム生成部１２は、推定された奥行き信号の取り得る奥行き信号レベルの範囲を所定の範囲の大きさの複数の奥行き信号レベル領域に分割し、画素毎に奥行き信号がどの奥行き信号レベル領域に含まれるかを判定して、分割した各奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて奥行き信号ヒストグラムデータを生成する。奥行き信号レベル変換部１３は、奥行き信号ヒストグラムデータに基づいて奥行き信号レベル変換曲線を生成し、奥行き信号レベル変換曲線に基づいて奥行き信号のレベル変換を実行して、レベル変換後奥行き信号を生成する。

Description

奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム

　本発明は、通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から奥行き信号を生成し、この奥行き信号をもとにした処理を非立体画像に施すことで、立体感を感じさせる擬似立体画像を生成し、出力する奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムに関する。

　立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から、擬似的な立体画像を生成する処理が行われる。

　このような技術の一例として、例えば、複数の基本奥行きモデルを入力非立体画像の特徴に応じて合成した奥行きモデルと非立体画像のＲ信号とを重畳して生成した奥行き信号に基づき立体画像を生成するアプローチが知られている（例えば、特許文献１参照）。

特許第４２１４５２９号公報

　しかしながら、上記特許文献１に代表されるような擬似立体画像生成技術では、奥行き信号の推定エラーが発生した場合、推定した奥行き信号に基づいて生成した立体画像に違和感を生じる可能性がある。その一方、この違和感を低減させるためには、立体画像を生成する際に奥行き信号を推定する際のゲインを弱めて用いることも考えられるが、このようにした場合、奥行き信号の推定エラーを生じていない画像領域においてもゲインが弱められ、全体的に立体感が乏しいものとなることがある。

　そこで、本発明は、非立体画像から違和感なく立体感に優れた擬似立体画像を得ることができる奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムを提供することを目的とする。

　上記課題を解決するため、本発明に係る奥行き信号生成装置（１）の第１の特徴は、映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成する奥行き信号推定手段（１１）と、前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成する奥行き信号ヒストグラム生成手段（１２）と、前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行って出力する奥行き信号レベル変換手段（１３）と、を備えることにある。

　また、本発明に係る奥行き信号生成装置（１）の第２の特徴は、前記奥行き信号レベル変換手段（１３）は、前記奥行き信号ヒストグラム生成手段から取得した前記奥行き信号ヒストグラムデータを用いて前記奥行き信号ヒストグラムデータの分散値を算出し、前記分散値に基づいてゲイン補正値を算出するゲイン補正値算出手段（１３）と、前記奥行き信号のレベル変換を行う奥行き信号レベル変換曲線を構成するポイントを生成するポイント生成手段（１３）と、前記ポイントが格納された奥行き信号変換テーブルに基づいて補間データを生成する補間データ生成手段（１３）と、前記ポイントおよび前記補間データにより前記奥行き信号レベル変換曲線を生成する変換曲線生成手段（１３）と、を備えることにある。

　また、本発明に係る奥行き信号生成装置（１）の第３の特徴は、前記奥行き信号レベル変換手段（１３）は、さらに、前記ポイント生成手段が生成したポイントに対し所定のリミット閾値に基づき正規化リミット処理を施してリミット処理済ポイントを生成するリミット処理手段（１３）と、前記リミット処理済ポイントに対し所定のリーク型積分処理を行い、積分処理済ポイントを生成する積分処理手段（１３１）とを備え、前記補間データ生成手段は、前記積分処理済ポイントを基に前記補間データを生成する、ことにある。

　また、本発明に係る奥行き信号生成装置（１）の第４の特徴は、前記奥行き信号ヒストグラム生成手段（１２）は、前記複数の奥行き信号レベル領域のうち、最小レベルを第１のレベル領域とし最大レベルを第２のレベル領域としたとき、前記第１のレベル領域から、前記第１のレベル領域より大きく前記第２のレベル領域より小なる第３のレベル領域までに含まれる画素数をカウントし、前記第１のレベル領域から前記第３のレベル領域における前記奥行き信号のレベル分布を示す第１の奥行き信号ヒストグラムデータを生成する第１の奥行き信号ヒストグラム生成手段（１２２）と、前記第３のレベル領域から前記第２のレベル領域までに含まれる画素数をカウントし、前記第３のレベル領域から前記第２のレベル領域における前記奥行き信号のレベル分布を示す第２の奥行き信号ヒストグラムデータを生成する第２の奥行き信号ヒストグラム生成手段（１２１）と、を備えることにある。

　また、本発明に係る擬似立体画像信号生成装置の特徴は、前記奥行き信号生成装置（１）と、前記奥行き信号生成装置によってレベル変換が行われた前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステレオペア生成装置（２）と、を備えることにある。

　また、本発明に係る奥行き信号生成方法の特徴は、映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成するステップと、前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成するステップと、前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行うステップと、を含むことにある。

　また、本発明に係る擬似立体画像信号生成方法の特徴は、映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成するステップと、前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成するステップと、前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行うステップと、レベル変換が行われた前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、を含むことにある。

　また、本発明に係る奥行き信号生成プログラムの特徴は、映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成するステップと、前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成するステップと、前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行うステップと、をコンピュータに実行させることにある。

　また、本発明に係る擬似立体画像信号生成プログラムの特徴は、映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成するステップと、前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成するステップと、前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行うステップと、レベル変換が行われた前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、をコンピュータに実行させることにある。

　本発明によれば、非立体画像から違和感なく立体感に優れた擬似立体画像を得ることができる。

本発明の実施の形態に係る奥行きデータ生成装置および擬似立体画像信号生成装置の構成例を示すブロック図である。 図１に示す奥行き信号ヒストグラム生成部が奥行き信号ヒストグラムデータを生成する際の所定の判定領域を示す説明図である。 図１に示す奥行き信号ヒストグラム生成部の構成例を示すブロック図である。 図１に示す奥行き信号レベル変換部の処理の一例を示すフローチャートである。 本発明の実施の形態に係る奥行き信号ヒストグラムデータの一例を示す説明図である。 本発明の実施の形態に係る奥行き信号ヒストグラムデータの分散値ＳＳとゲイン補正値Ｇｓｓとの関係の一例を示す図である。 本発明の実施の形態に係る奥行き信号変換テーブル算出処理の詳細な処理手順を示すフローチャートである。 本発明の実施の形態に係るポイントＱ［ｉ］（ｉ＝０～７）の一例を示す図である。 本発明の実施の形態に係るポイントＱ［ｉ］（ｉ＝０～７）に対する正規化リミット処理の説明図である。 本発明の実施の形態に係るリーク型積分回路の構成例を示すブロック図である。 本発明の実施の形態に係る奥行き信号のプラス領域に対して生成する奥行き信号レベル変換曲線の一例を示す図である。 本発明の実施の形態に係る奥行き信号のマイナス領域に対して生成する奥行き信号レベル変換曲線の一例を示す図である。

　次に、本発明に係る奥行きデータ生成装置、擬似立体画像信号生成装置、奥行きデータ生成方法、擬似立体画像信号生成方法、奥行きデータ生成プログラム、擬似立体画像信号生成プログラムの実施の形態について説明する。なお、下記の説明では、擬似立体画像信号生成装置は、奥行きデータ生成装置とステレオペア生成装置とを有する。

　以下、本発明の実施の形態を図に基づいて説明する。

　図１は、本発明の実施の形態に係る奥行きデータ生成装置および擬似立体画像信号生成装置の構成例を示すブロック図である。

　図１に示すように、本実施の形態の擬似立体画像信号生成装置は、奥行き信号生成装置１と、ステレオペア生成装置２とを有しており、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、時系列的に連続した複数の画像で構成された非立体画像の映像信号（Ｒ，Ｇ，Ｂ）から左目画像信号と右目画像信号とを生成して、ステレオ表示装置３に対し左目画像信号と右目画像信号とを出力するように構成されている。

　奥行き信号生成装置１は、例えば、前述の特許文献１（特許第４２１４５２９号公報）に記載の奥行き信号生成装置と同様の手法により、非立体画像の映像信号から奥行き信号Ｄを生成する奥行き信号推定部１１と、奥行き信号ヒストグラム生成部１２と、奥行き信号レベル変換部１３とを有している。奥行き信号ヒストグラム生成部１２と、奥行き信号レベル変換部１３の詳細構成および動作については、後に詳述する。なお、本実施の形態では非立体画像の映像信号（Ｒ，Ｇ，Ｂ）から奥行き信号Ｄを生成するが、これに限るものではなく、映像信号の輝度成分などに代表されるあらゆる情報に基づいて生成してもよい。

　また、ステレオペア生成装置２は、奥行き信号レベル変換部１３で生成されたレベル変換後奥行き信号Ｄｃｏｎｖに応じて、入力される非立体画像のテクスチャをシフトするテクスチャシフト部２１と、オクルージョンを補償するオクルージョン補償部２２と、ポスト処理を行うポスト処理部２３と、左目画像信号生成部２４と、右目画像信号生成部２５とを有している。

　そして、ステレオペア生成装置２で生成された左目画像信号と右目画像信号とは、ステレオ表示装置３へ入力され、ステレオ表示装置３にて擬似的な立体画像が表示される。

　（奥行き信号ヒストグラム生成部１２の構成および動作の一例）
　次に、奥行き信号ヒストグラム生成部１２の構成および動作の一例について説明する。

　図２は、奥行き信号ヒストグラム生成部１２が奥行き信号ヒストグラムデータを生成する１フィールド又は１フレームの映像信号の画像ｆ内に設けられた所定の検出領域ｆａを示す説明図である。

　つまり、奥行き信号ヒストグラム生成部１２は、図２に示すように、１フィールド又は１フレームの映像信号の画像ｆ内に所定の検出領域ｆａを設けており、検出領域ｆａ内の奥行き信号に基づいて、奥行き信号ヒストグラムデータを生成する。

　なお、本実施の形態では、１フィールド又は１フレーム毎に奥行き信号ヒストグラムデータを生成するが、複数フィールド又は複数フレーム毎に奥行き信号ヒストグラムデータを生成してもよく、画面の所定単位（時間単位）毎に奥行き信号ヒストグラムデータを生成すればよい。ただし、１フィールド又は１フレーム毎に奥行き信号ヒストグラムデータを生成することが望ましい。さらに検出領域ｆａは、有効映像期間内であれば大きさは任意である。

　図３は、図１に示す本実施の形態の奥行き信号ヒストグラム生成部１２の構成例を示すブロック図である。

　図３に示すように、本実施の形態の奥行き信号ヒストグラム生成部１２は、プラス側奥行き信号ヒストグラム生成部１２１と、マイナス側奥行き信号ヒストグラム生成部１２２とを備える。プラス側奥行き信号ヒストグラム生成部１２１、マイナス側奥行き信号ヒストグラム生成部１２２は、それぞれ、判定器群１２１１，１２２１と、カウンタ群１２１２，１２２２と、レジスタ群１２１３，１２２３とを有している。

　奥行き信号推定部１１からの奥行き信号Ｄは、奥行き信号ヒストグラム生成部１２内にて、プラス側奥行き信号ヒストグラム生成部１２１の判定器群１２１１と、マイナス側奥行き信号ヒストグラム生成部１２２の判定器群１２２１とに出力される。

　次に、プラス側奥行き信号ヒストグラム生成部１２１の動作について説明する。

　奥行き信号推定部１１から入力される奥行き信号Ｄは、－Ｄｍ≦Ｄ≦Ｄｍのレンジ内の整数値として入力され、判定器群１２１１を構成する判定器１２１１ａ～１２１１ｈに供給される。なお、Ｄｍは、奥行き信号推定部１１の奥行き推定値ゲインによって定まる任意の値である。判定器１２１１ａは、奥行き信号レベルが０≦Ｄ＜Ｄｍ＊１／８の奥行き信号レベル領域内にある奥行き信号Ｄを検出する。判定器１２１１ｂは、奥行き信号レベルがＤｍ＊１／８≦Ｄ＜Ｄｍ＊２／８の奥行き信号レベル領域内にある奥行き信号Ｄを検出する。判定器１２１１ｃは、奥行き信号レベルがＤｍ＊２／８≦Ｄ＜Ｄｍ＊３／８の奥行き信号レベル領域内にある奥行き信号Ｄを検出する。判定器１２１１ｄは、奥行き信号レベルがＤｍ＊３／８≦Ｄ＜Ｄｍ＊４／８の奥行き信号レベル領域内にある奥行き信号Ｄを検出する。判定器１２１１ｅは、奥行き信号レベルがＤｍ＊４／８≦Ｄ＜Ｄｍ＊５／８の奥行き信号レベル領域内にある奥行き信号Ｄを検出する。判定器１２１１ｆは、奥行き信号レベルがＤｍ＊５／８≦Ｄ＜Ｄｍ＊６／８の奥行き信号レベル領域内にある奥行き信号Ｄを検出する。判定器１２１１ｇは、奥行き信号レベルがＤｍ＊６／８≦Ｄ＜Ｄｍ＊７／８の奥行き信号レベル領域内にある奥行き信号Ｄを検出する。判定器１２１１ｈは、奥行き信号レベルがＤｍ＊７／８≦Ｄ≦Ｄｍの奥行き信号レベル領域内にある奥行き信号Ｄを検出する。

　判定器群１２１１は、入力される奥行き信号Ｄの取り得る奥行き信号レベルの範囲を複数の奥行き信号レベル領域に分割し、画素単位で奥行き信号Ｄの奥行き信号レベルが分割した奥行き信号レベル領域のどこに属するかを判定する。判定器群１２１１は、奥行き信号レベル領域の数と少なくとも等しい数の判定器を備える。本実施の形態では、判定器群１２１１は、８個の判定器１２１１ａ～１２１１ｈにより構成され、奥行き信号Ｄの取り得る奥行き信号レベルの範囲を８等分した８つの奥行き信号レベル領域に分割し、奥行き信号Ｄの奥行き信号レベルが画素単位でどの奥行き信号レベル領域に属するかを判定する。

　更に、本実施の形態では、入力する奥行き信号Ｄのプラス側の取り得る奥行き信号レベルの範囲をＤ≦Ｄｍとし、この範囲Ｄ≦Ｄｍを、８個の奥行き信号レベル領域［０］～［７］に分割するものとする。例えば、奥行き信号レベル＝Ｄｍ＊１／１６である画素であれば、判定器１２１１ａから“１”が出力され、その他の判定器１２１１ｂ～１２１１ｈからは“０”が出力される。なお、本実施の形態では、判定器群１２１１の有する判定器の数を８つとし、奥行き信号レベル領域を８等分に分割したが、これに限定されるものではない。

　カウンタ群１２１２は、８個のカウンタ１２１２ａ～１２１２ｈにより構成され、それぞれ対応する判定器１２１１ａ～１２１１ｈから出力された信号をカウントアップし、そのカウント値を１だけインクリメントする。このカウント値は、判定器群１２１１により分割された奥行き信号レベル領域に含まれる画素の総数を示している。

　レジスタ群１２１３は、８個のレジスタ１２１３ａ～１２１３ｈにより構成され、それぞれ対応するカウンタ１２１２ａ～１２１２ｈから出力されたカウント値を保持して、奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［０］～Ｄｈｉｓｔ＿ｐ［７］（Ｄｈｉｓｔ＿ｐ［ｉ］，ｉ＝０～７）として出力する。

　このように、プラス側奥行き信号ヒストグラム生成部１２１は、８個に分割したプラス側の各奥行き信号レベル領域［０］～［７］に含まれる画素数をカウントし、そのカウント値に基づいて各奥行き信号レベル領域における奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］を生成し、これを奥行き信号レベル変換部１３へ供給する。

　なお、マイナス側奥行き信号ヒストグラム生成部１２２もプラス側奥行き信号ヒストグラム生成部１２１と同様に構成されており、判定器群１２２１は８個の判定器１２２１ａ～１２２１ｈを有し、カウンタ群１２２２は８個のカウンタ１２２２ａ～１２２２ｈを有し、レジスタ群１２２３は８個のレジスタ１２２３ａ～１２２３ｈを有している。マイナス側奥行き信号ヒストグラム生成部１２２は、プラス側奥行き信号ヒストグラム生成部１２１と同様に動作し、マイナス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｍ[０]～Ｄｈｉｓｔ＿ｍ[７]（Ｄｈｉｓｔ＿ｍ［ｉ］，ｉ＝０～７）を生成し、これを奥行き信号レベル変換部１３へ供給する。

　（奥行き信号レベル変換部１３の動作）
　次に、奥行き信号レベル変換部１３の動作を、フローチャートを参照して説明する。

　図４は、奥行き信号レベル変換部１３の処理の一例を示すフローチャートである。

　まず、奥行き信号レベル変換部１３は、奥行き信号ヒストグラム生成部１２から奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］、Ｄｈｉｓｔ＿ｍ［ｉ］を取得する（ステップＳ４１０）。

　次に、奥行き信号レベル変換部１３は、奥行き信号ヒストグラム生成部１２から取得した奥行き信号ヒストグラムデータを用いて分散値を算出し、その分散値に基づいてゲイン補正値を算出する処理を行う（ステップＳ４２０）。ステップＳ４２０の詳細な手順は、図６にて詳述する。

　次に、奥行き信号レベル変換部１３は、分散値に基づきゲイン補正値算出処理を行った奥行き信号ヒストグラムデータを用いて積分処理および正規化処理を行って奥行き信号変換テーブルを算出する処理を行う（ステップＳ４３０）。ステップＳ４３０の詳細な手順は、図７にて詳述する。

　次に、奥行き信号レベル変換部１３は、奥行き信号変換テーブルの正規化リミット処理を行い（ステップＳ４４０）、次いで、時間方向のリーク型積分処理を行う（ステップＳ４５０）。ステップＳ４４０の正規化リミット処理およびステップＳ４５０のリーク型積分処理の詳細については後述する。なお、これらの処理は省略してもよい。

　次に、奥行き信号レベル変換部１３は、算出した奥行き信号変換テーブルに格納した奥行き信号レベル変換曲線を構成するポイントに基づいて、奥行き信号レベル変換曲線を構成するポイント間の補間データを作成する（ステップＳ４６０）。

　そして、奥行き信号レベル変換部１３は、奥行き信号レベル変換曲線に基づいて、奥行き信号Ｄをレベル変換することにより、レベル変換後奥行き信号Ｄｃｏｎｖを算出する（ステップＳ４７０）。

　なお、ステップＳ４７０終了後は、奥行き信号レベル変換部１３は、ステップＳ４１０へ戻り、ステップＳ４１０からステップＳ４７０の処理を繰り返す。

　図５は、奥行き信号ヒストグラム生成部１２が生成する奥行き信号ヒストグラムデータの一例を示す説明図である。

　図５において、横軸には、８個の奥行き信号レベル領域（インデックスｉ、ｉ＝０～７）を取る一方、縦軸には、各奥行き信号レベル領域に含まれる画素数のカウント値である頻度を取っている。

　図５に示すような、プラス（ｐ）側とマイナス（ｍ）側にそれぞれピークを持つようなプラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］、マイナス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｍ［ｉ］が入力された場合を例として、奥行き信号レベル変換部１３の図４に示す処理内容を再度説明する。なお、奥行き信号レベル変換部１３では、図４に示すように、奥行き信号のプラス領域とマイナス領域において同様の処理を独立して行うため、ここでは代表して、プラス領域における処理内容について説明する。

　ステップＳ４１０では、奥行き信号レベル変換部１３は、奥行き信号ヒストグラム生成部１２が出力したプラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］を取得する。

　（図４に示すステップＳ４２０のゲイン補正値算出処理）
　ステップＳ４２０では、奥行き信号レベル変換部１３は、ステップＳ４１０にて取得したプラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］を用いて、次の式（１）により、プラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］の平均値Ｄｈｉｓｔ＿ｐ_Ａｖｅを求める。

　次に、奥行き信号レベル変換部１３は、次の式（２）により、プラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］の分散値ＳＳを求める。

ここで、“ａｂｓ”は、絶対値である。

　上記式（２）により示す分散値ＳＳは、奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］が特定のインデックスｉを中心に集中した場合は、大きな値をとり、奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］が複数のインデックスｉに分散している場合は、小さな値をとる。

　図６は、本実施の形態における奥行き信号ヒストグラムデータの分散値ＳＳと、ゲイン補正値Ｇｓｓとの関係の一例を示す図である。図６において、横軸は上記式（２）の分散値ＳＳを表し、縦軸はゲイン補正値Ｇｓｓを表している。

　図６に示すように、例えば、分散値ＳＳが０～１８と小さい場合、すなわち、奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］が複数のインデックスｉに分散している場合は、ゲイン補正値Ｇｓｓを１．４とする。

　分散値ＳＳが１８～１３３の範囲では、分散値ＳＳが大きいほど、ゲイン補正値Ｇｓｓを小さくする。すなわち、奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］が特定のインデックスｉを中心に集中している度合いが大きいほど、ゲイン補正値Ｇｓｓを小さくする。

　分散値ＳＳが１３３以上となる場合は、奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］が特定のインデックスｉのみに集中しているとみなし、ゲイン補正値Ｇｓｓは０とする。本発明では分散値ＳＳを、ヒストグラムデータのばらつきが大きくなるほど小さい値となる特性としたがこれに限るものではなく、ヒストグラムデータのばらつきが大きいほど大きい値となる特性としてもよい。

　なお、図６に示す例では、分散値ＳＳが１８，１３３のときをゲイン補正値Ｇｓｓの変化点としているがこれに限定されることはなく、ゲイン補正値Ｇｓｓの変化点は任意に設定できる。また、図６に示す例では、分散値ＳＳが１３３以上のときにゲイン０としているが、０にしなくてもよい。

　このように、本実施の形態では、上記式（２）により示す分散値ＳＳが小さい、すなわち奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］が分散している場合は、ゲイン補正値Ｇｓｓを大きくして、奥行き信号の階調を拡張させる。分散値ＳＳが小さい場合、後述するステップＳ４３０で生成する奥行き信号変換テーブルのポイントＱ［ｉ］（ｉ＝０～７）とリニア曲線との差分が小さくなるため、ゲイン補正値Ｇｓｓを大きく設定し、差分が小さくなりすぎることを抑える。一方、分散値ＳＳが大きい、すなわち奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］が特定のインデックスｉを中心に集中しているほど、ゲイン補正値Ｇｓｓを小さくして、奥行き信号の階調を縮小させる。すなわち分散値ＳＳが大きい場合、奥行き信号変換テーブルのポイントＱ［ｉ］とリニア曲線との差分が大きくなりすぎるため、ゲイン補正値Ｇｓｓを小さく設定し、差分が大きくなりすぎることを抑える。本処理により、奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］がどのような分布をしていても、奥行き信号変換テーブルのポイントＱ［ｉ］とリニア曲線との差分が一定範囲の値となる。

　（図４に示すステップＳ４３０の奥行き信号変換テーブル算出処理）
　図７は、図４に示すステップＳ４３０の奥行き信号変換テーブル算出処理の詳細な処理手順を示すフローチャートである。

　奥行き信号レベル変換部１３は、プラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］と、ゲイン補正値Ｇｓｓとを用いて、入力する奥行き信号をレベル変換するための奥行き信号変換テーブルの値、すなわち奥行き信号レベル変換曲線を構成する奥行き信号変換テーブルのポイントＱ［ｉ］（ｉ＝０～７）を生成する。

　奥行き信号レベル変換部１３における奥行き信号変換テーブル算出処理には、大きく分けて積分処理とオフセット処理とが含まれる。積分処理は、図７のステップＳ４３０５～Ｓ４３４０に相当し、オフセット処理は、ステップＳ４３４５～Ｓ４３６５に相当する。

　積分処理において、奥行き信号レベル変換部１３は、奥行き信号レベル変換曲線を構成する奥行き信号変換テーブルの各ポイントにおけるリニア曲線に対する変位量を表すポイントＰ［ｉ］（ｉ＝０～７）を生成する。オフセット処理では、奥行き信号レベル変換部１３は、Ｐ［ｉ］（ｉ＝０～７）にリニア曲線成分を重畳することでオフセット処理を行い、奥行き信号レベル変換曲線を構成する奥行き信号変換テーブルのポイントＱ［ｉ］（ｉ＝０～７）を生成する。

　具体的には、まず、奥行き信号レベル変換部１３は、変数ｉと、ポイントＰ［ｉ］の積分値ｓｕｍとを、それぞれ０に設定する（ステップＳ４３０５）。

　次に、奥行き信号レベル変換部１３は、ｉが奥行き信号レベル領域の分割数である８未満であるか否かを判定する（ステップＳ４３１０）。ここで、ｉが８よりも小さい場合には（ステップＳ４３１０“ＹＥＳ”）、ステップＳ４３１５の処理へ進む一方、ｉが８以上である場合には（ステップＳ４３１０“ＮＯ”）、ステップＳ４３４５の処理へ進む。

　つまり、奥行き信号レベル変換部１３は、ｉが８よりも小さい場合には（ステップＳ４３１０“ＹＥＳ”）、プラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］を入力する（ステップＳ４３１５）。ここで、最初は、ステップＳ４３０５のｉ＝０の処理により、Ｄｈｉｓｔ＿ｐ［０］である。

　次に、奥行き信号レベル変換部１３は、ステップＳ４３１５にて入力したプラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］を、次の式（３）に示す計算式より、Ｄｈｉｓｔ＿ｐ［ｉ］（ｉ＝０～７）の平均値Ｄｈｉｓｔ＿ｐ_Ａｖｅを用いてオフセットする（ステップＳ４３２０）。このステップＳ４３２０での計算値ｉｎｔｅｇは、オフセット値である。

　ｉｎｔｅｇ＝（Ｄｈｉｓｔ＿ｐ［ｉ］－Ｄｈｉｓｔ＿ｐ_Ａｖｅ）×８／Ｄｈｉｓｔ＿ｐ_Ａｖｅ　　…（３）

　次に、奥行き信号レベル変換部１３は、次の式（４）に示すように、ステップＳ４３２０により求めた上記式（３）の値のオフセット値ｉｎｔｅｇに、所定の固定ゲインＧと、すでに図６に示す関係により分散値ＳＳから求めたゲイン補正値Ｇｓｓとを乗算する（ステップＳ４３２５）。ここで、固定ゲインＧは予め奥行き信号レベル変換部１３等に設定されている任意のゲイン値である。

　ｉｎｔｅｇ＝ｉｎｔｅｇ×Ｇ×Ｇｓｓ　　…（４）

　次に、奥行き信号レベル変換部１３は、ポイントＰ［ｉ］の積分値ｓｕｍに、ステップＳ４３２５により求めた上記式（４）で表されるオフセット値ｉｎｔｅｇを加算する（ステップＳ４３３０）。ここでは、最初は、ステップＳ４３０５のｉ＝０の処理により、ｓｕｍ＝０であるから、新たに得られる積分値ｓｕｍは、ステップＳ４３３０で求めたデータとなる。

　次に、奥行き信号レベル変換部１３は、ステップＳ４３３０により求められた積分値ｓｕｍを用いて、次の式（５）により、プラス側奥行き信号ヒストグラムデータＤｈｉｓｔ＿ｐ［ｉ］に対応するポイントＰ［ｉ］を求める（ステップＳ４３３５）。

　Ｐ［ｉ］＝ｓｕｍ／８　　…（５）

　ここで、上記式（５）により求められたＰ［ｉ］は、一時的に奥行き信号レベル変換部１３内の図示しないメモリに保存される。

　そして、ステップＳ４３３５の処理が終了すると、奥行き信号レベル変換部１３は、ｉを１インクリメントして（ステップＳ４３４０）、ステップＳ４３１０の処理に戻る。そして、奥行き信号レベル変換部１３は、ｉ＝７になるまで、上述したステップＳ４３１０～Ｓ４３４０の処理を繰り返す。

　奥行き信号レベル変換部１３は、以上の処理によって、奥行き信号レベル変換曲線を構成する奥行き信号変換テーブルの各ポイントにおけるリニア曲線に対する変位量を表すポイントＰ［ｉ］（ｉ＝０～７）を生成する。ここまでの処理が、ステップＳ４３０の奥行き信号変換テーブル算出処理における積分処理である。

　このように、奥行き信号レベル変換部１３では、ポイントＰ［ｉ］（ｉ＝０～７）について、上記式（４）により、オフセット値ｉｎｔｅｇに、固定ゲインＧと、図６に示す関係により分散値ＳＳから求めたゲイン補正値Ｇｓｓとを乗算する。これにより、奥行き信号レベル変換部１３は、分散値ＳＳが小さく、奥行き信号ヒストグラムデータが複数の奥行き信号レベル領域に分散している奥行き信号レベル近傍ではゲイン補正値Ｇｓｓを大きくして、奥行き信号の階調を拡張させる一方、分散値ＳＳが大きく、奥行き信号ヒストグラムデータが特定の奥行き信号レベル領域に集中している奥行き信号レベル近傍では、ゲイン補正値Ｇｓｓを小さくして、奥行き信号の階調を縮小させるような奥行き信号変換テーブルを生成することができる。

　次に、奥行き信号レベル変換部１３は、Ｐ［ｉ］（ｉ＝０～７）にリニア曲線成分を重畳することでオフセット処理を行う。

　図７のステップＳ４３３５の処理により、Ｐ［７］が求められると、奥行き信号レベル変換部１３は、ステップＳ４３４０の処理により、ｉを１インクリメントして、ｉは８となる。

　すると、奥行き信号レベル変換部１３は、ステップＳ４３１０の判断処理により、ｉが８未満ではないと判定して（ステップＳ４３１０“ＮＯ”）、ステップＳ４３４５の処理に進み再びｉ＝０とする（ステップＳ４３４５）。

　そして、奥行き信号レベル変換部１３は、ｉが８未満であるか否かを判定する（Ｓ４３５０）。ここで、ｉが８よりも小さい場合には（ステップＳ４３５０“ＹＥＳ”），ステップＳ４３５５の処理へ進む一方、ｉが８以上であれば（ステップＳ４３５０“ＮＯ”），ステップＳ４３６５の処理へ進む。

　ｉが８よりも小さい場合（ステップＳ４３５０“ＹＥＳ”）、奥行き信号レベル変換部１３は、次の式（６）を用いて、各ポイントＰ［ｉ］と各ポイントＰ［ｉ］に対応するリニア曲線成分の加算を行うことで、信号レベル変換曲線を構成する奥行き信号変換テーブルのポイントＱ［ｉ］を生成する（ステップＳ４３５５）。

　Ｑ［ｉ］＝ Ｐ［ｉ］＋ Ｄｍ×（ｉ＋１）／８　　…（６）

　ここで、上記式（６）により求められたポイントＱ［ｉ］は、一時的に奥行き信号レベル変換部１３内の、図示しないメモリに保存される。

　そして、奥行き信号レベル変換部１３は、ステップＳ４３５５の処理が終了すると、ｉを１インクリメントして（ステップＳ４３６０）、ステップＳ４３５０の判断処理に戻る。つまり、奥行き信号レベル変換部１３は、ｉ＝７になるまではステップＳ４３５５の奥行き信号レベル変更補正処理を繰り返し実行する。

　そして、Ｑ［７］がステップＳ４３５５において生成され、ステップＳ４３６０の処理によりｉが１インクリメントされて、ｉ＝８になると、奥行き信号レベル変換部１３は、ステップＳ４３５０にて、ｉは８未満ではないと判断して（ステップＳ４３５０“ＮＯ”）、ステップＳ４３６５の処理に進み、各ポイントＱ［０］～Ｑ［７］までの値を出力する（ステップＳ４３６５）。

　以上の処理によって、奥行き信号レベル変換部１３は、信号レベル変換曲線を構成する奥行き信号変換テーブルのポイントＱ［ｉ］（ｉ＝０～７）を出力する。

　以上が、図４におけるステップＳ４３０の奥行き信号変換テーブル算出処理の詳細である。

　この奥行き信号変換テーブル算出処理により得られるポイントＱ［ｉ］の一例を図８に示す。図８において、横軸には、奥行き信号推定部１１から入力する奥行き信号Ｄをとり、縦軸には、オフセット処理された奥行き信号Ｄをとっている。ポイントＱ［０］～Ｑ［７］により、奥行き信号Ｄをレベル変換するための変換曲線が構成される。

　（図４に示すステップＳ４４０の正規化リミット処理）
　奥行き信号レベル変換部１３は、ステップＳ４４０では、ステップＳ４３０で得られた奥行き信号変換テーブルのポイントＱ［ｉ］に対して、正規化リミット処理を行う。

　図９は、Ｑ［ｉ］に対する正規化リミット処理の一例を示す説明図である。図９（ａ）は正規化リミット前の各ポイントＱ［０］～Ｑ［７］を示し、図９（ｂ）は正規化リミット後の各ポイントＱ［０］～Ｑ［７］を示している。

　奥行き信号レベル変換部１３は、まず、Ｑ［ｉ］（各ポイントＱ［０］～Ｑ［７］）と、リニアデータ[Ｄｍ×（ｉ＋１）／８]との差分値Ｑｓｕｂ［ｉ］を、次の式（７）を用いて算出する。

　Ｑｓｕｂ［ｉ］＝Ｑ［ｉ］－[Ｄｍ×（ｉ＋１）／８]　　…（７）

　ここで、ｉ＝０～７である。また、Ｑｓｕｂ［ｉ］の絶対値をＱｓｕｂ_ａｂｓ［ｉ］とし、Ｑｓｕｂ_ａｂｓ［ｉ］（ｉ＝０～７）の最大値をＱｓｕｂ_ｍａｘとする。

　また、奥行き信号レベル変換部１３は、リミット閾値をＱ_ｔｈとし、Ｑｓｕｂ_ｍａｘがＱ_ｔｈより大きい場合には、次の式（８）を用いて正規化リミットし、Ｑｓｕｂ［ｉ］（ｉ＝０～７）を補正する。

　Ｑｓｕｂ［ｉ］＝Ｑｓｕｂ［ｉ］×Ｑ_ｔｈ／Ｑｓｕｂ_ｍａｘ　　…（８）

　その後、奥行き信号レベル変換部１３は、次の式（９）を用いて、Ｑｓｕｂ［ｉ］と、リニアデータとの和を求め、補正後のＱ［ｉ］を生成し、ステップＳ４５０の処理へと進む。

　Ｑ［ｉ］＝Ｑｓｕｂ［ｉ］＋[Ｄｍ×（ｉ＋１）／８]　　…（９）

　（図４に示すステップＳ４５０のリーク型積分処理）
　ステップＳ４５０では、奥行き信号レベル変換部１３は、ステップＳ４４０で正規化リミット処理されたＱ［ｉ］（リミット処理済ポイント）を入力とし、例えば、図１０に示すように構成したリーク型積分回路を通過した出力データを、最終的な出力データＱ_ｏｕｔ［ｉ］とする。

　図１０は、図４に示すステップＳ４５０のリーク型積分処理を実行するリーク型積分回路の構成例を示すブロック図である。奥行き信号レベル変換部１３の中にリーク型積分回路１３１が含まれているものとする。

　図１０に示すリーク型積分回路１３１は、加算器１３１１と、レジスタ群１３１２と、乗算器１３１３と、乗算器１３１４とを有しており、時間方向にリーク型の積分処理を行うように構成されている。

　レジスタ群１３１２は、各ポイントＱ［０］～Ｑ［７］のそれぞれに対するリーク積分結果を保持するために８個のレジスタ１３１２ａ～１３１２ｈを有している。各レジスタ１３１２ａ～１３１２ｈは、順に各ポイントＱ［０］～Ｑ［７］に対応している。

　リーク型積分回路１３１では、ポイントＱ［ｉ］が入力されると、レジスタ群１３１２内の８個のレジスタ１３１２ａ～１３１２ｈのうち、そのポイントＱ［ｉ］に対応するレジスタ１３１２ａ～１３１２ｈのみからデータが出力され、そのデータに乗算器１３１３にて（Ｎ－１）／Ｎ（Ｎは１以上の整数）を乗算したものを、加算器１３１１が入力されたＱ［ｉ］に加算して出力する。

　この加算された結果がレジスタ群１３１２内のポイントＱ［ｉ］に対応するレジスタ１３１２ａ～１３１２ｈに再度格納される。

　そして、リーク型積分回路１３１は、乗算器１３１４がレジスタ群１３１２内のＱ［ｉ］に対応するレジスタ１３１２ａ～１３１２ｈから出力されたデータに対し１／Ｎを乗算したものを、最終的な出力データＱ_ｏｕｔ［ｉ］として出力する。この処理を各ポイントＱ［０］～Ｑ［７］に対して順に行うことで、各ポイントＱ［ｉ］の最終的な出力データＱ_ｏｕｔ［０］～Ｑ_ｏｕｔ［７］が得られる。

　以上のように、奥行き信号レベル変換部１３は、リーク型積分処理を行うことで、奥行き信号レベル変換曲線を構成する各ポイントＱ［ｉ］を緩やかに変化させた最終的な出力データ（積分処理済ポイント）Ｑ_ｏｕｔ［ｉ］を出力することにより、より自然な奥行き信号レベル変換を行うことができる。

　（図４に示すステップＳ４６０の補間データの作成処理）
　そして、奥行き信号レベル変換部１３は、ステップＳ４６０において、ステップＳ４５０で得た最終的な出力データＱ_ｏｕｔ［ｉ］（ｉ＝０～７）を図１１に示すように直線補間した奥行き信号レベル変換曲線を生成する。

　（図４に示すステップＳ４７０のレベル変換処理）
　そして、奥行き信号レベル変換部１３は、ステップＳ４７０のレベル変換処理により、ステップＳ４６０の処理で直線補間された奥行き信号レベル変換曲線に基づき、入力信号の奥行き信号Ｄをレベル変換し、レベル変換後奥行き信号Ｄｃｏｎｖとして出力する。

　以上の処理により、奥行き信号レベル変換部１３は、奥行き信号のプラス領域における奥行き信号レベル変換処理を実行する。

　なお、奥行き信号レベル変換部１３は、奥行き信号のマイナス領域においてもプラス領域と同様に、ステップＳ４１０～Ｓ４６０の処理により、図１２のような奥行き信号レベル変換曲線を生成し、続くＳ４７０の処理により入力信号の奥行き信号Ｄをレベル変換し、レベル変換後奥行き信号Ｄｃｏｎｖとして出力する。

　以上の処理により、奥行き信号レベル変換部１３は、奥行き信号のプラス領域およびマイナス領域の双方において、奥行き信号レベル変換曲線に基づいて、元々リニアであった入力画像の奥行き信号Ｄをレベル変換する。そして、奥行き信号レベル変換部１３は、レベル変換後奥行き信号Ｄｃｏｎｖを、最終的な画像シフト信号として出力する。

　以上説明したように、本実施の形態の奥行き信号生成装置１は、奥行き信号ヒストグラムデータが複数の奥行き信号レベル領域に分散している奥行き信号レベル近傍では奥行き信号の階調を拡張させ、特定の奥行き信号レベル領域に集中している奥行き信号レベル近傍では奥行き信号の階調を縮小させる。このように、奥行き信号生成装置１は、入力画像の奥行き信号を変調する。これにより、奥行き信号生成装置１は、限られた奥行き信号のレンジ内で、入力画像（視野）において大きい面積を占める奥行き信号レベルに対して奥行き方向の階調（ゲイン）を配分することができ、奥行き信号を推定する際のゲインを弱めたとしても擬似的な立体感を向上させることができる。この結果、奥行き信号生成装置１によれば、非立体画像から違和感なく立体感に優れた擬似立体画像を得ることが可能となる。

　なお、本実施の形態の奥行きデータ生成装置では、図６に示すように、式（２）により求めた分散値ＳＳに基づきゲイン補正値Ｇｓｓを変更して奥行き信号変換テーブルを生成するように説明したが、本発明では、これに限らず、分散値ＳＳ以外のパラメータに基づきゲイン補正値Ｇｓｓを変更するようにしても勿論よい。

　（ステレオペア生成装置２の動作の一例）
　ステレオペア生成装置２では、奥行き信号生成装置１により生成された奥行き信号レベル変換曲線に基づいて奥行き信号Ｄをレベル変換したレベル変換後奥行き信号Ｄｃｏｎｖと、映像信号とを基に、別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。一方で、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。このように生成した別視点の画像を左目画像、原画を右目画像とすることでステレオペアが構成される。

　つまり、図１に示す本実施の形態のステレオペア生成装置２では、まず、テクスチャシフト部２１が奥行き信号生成装置１から出力された各画素毎の奥行きデータであるレベル変換後奥行き信号Ｄｃｏｎｖについて、レベル変換後奥行き信号Ｄｃｏｎｖが小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャをレベル変換後奥行き信号Ｄｃｏｎｖが示す値の画素分だけシフトする。奥行きデータであるレベル変換後奥行き信号Ｄｃｏｎｖが負の場合には、そのレベル変換後奥行き信号Ｄｃｏｎｖが示す値の画素分だけ左へシフトし、正の場合には右にシフトする。

　テクスチャシフト部２１におけるレベル変換後奥行き信号Ｄｃｏｎｖに基づく映像信号のテクスチャのシフト動作は、非立体画像の映像信号のテクスチャのシフトに対応するものである。換言するならば、非立体画像の各画素を、奥行きデータであるレベル変換後奥行き信号Ｄｃｏｎｖの値に応じてそれぞれを左右に移動する処理である。

　ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部２２が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献（山田邦男，望月研二，相澤清晴，齊藤隆弘：“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5)）等に記載の手法で充填する。

　オクルージョン補償部２２にてオクルージョン補償された画像は、ポスト処理部２３により平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部２４が左目画像信号として出力する。その一方、右目画像信号生成部２５は、映像信号を右目画像信号として出力する。

　このようにして、ステレオペア生成装置２は、奥行き信号生成装置１により生成された奥行き信号レベル変換曲線に基づいて奥行き信号Ｄをレベル変換したレベル変換後奥行き信号Ｄｃｏｎｖと、映像信号とを基に、左目画像信号と右目画像信号とのステレオペアを生成することができる。これらの左目画像信号と右目画像信号の映像信号は、ステレオ表示装置３へ出力される。

　ステレオペア生成装置２と奥行き信号生成装置１とにより、本実施の形態の擬似立体画像信号生成装置が構成される。この擬似立体画像信号生成装置によれば、非立体画像から上記ステレオペアを生成し、このステレオペアにより、違和感なく立体感に優れた擬似立体画像をステレオ表示装置３に表示させることが可能となる。

　なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像のステレオペアを構成してもよい。また、上記処理においては、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするようなステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。

　（ステレオ表示装置３の動作の一例）
　そして、図１に示す本実施の形態のステレオ表示装置３は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどや、ステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置２によって生成された左目画像と、右目画像とを入力してディスプレイ等に表示して、擬似立体画像を表示する。

　なお、上記実施の形態の説明では、ステレオペア生成装置２として左目画像信号と右目画像信号の２視点での例を説明したが、本発明では、これに限らず、２視点以上の表示が可能な表示装置にて表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。

　また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。

　また、本実施の形態では、図１に示すように、奥行き信号生成装置１と、ステレオペア生成装置２と、ステレオ表示装置３をハードウエアにより構成して説明したが、本発明では、ハードウエアにより構成したものに限定されるものではなく、例えば、ＣＰＵと、そのＣＰＵを上述のように動作させるためのコンピュータプログラムのソフトウェアにより奥行き信号生成装置１、ステレオペア生成装置２およびステレオ表示装置３の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもようにしても良い。

　以上、本発明を一実施の形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、請求の範囲において種々の変更を加えることができる。

　１　　　奥行き信号生成装置
　１１　　奥行き信号推定部（奥行き信号推定手段）
　１２　　奥行き信号ヒストグラム生成部（奥行き信号ヒストグラム生成手段）
　１２１　プラス側奥行き信号ヒストグラム生成部（第２の奥行き信号ヒストグラム生成手段）
　１２２　マイナス側奥行き信号ヒストグラム生成部（第１の奥行き信号ヒストグラム生成手段）
　１３　　奥行き信号レベル変換部（奥行き信号レベル変換手段、ゲイン補正値算出手段、ポイント生成手段、補間データ生成手段、変換曲線生成手段、リミット処理手段）
　１３１　リーク型積分回路（積分処理手段）
　２　　　ステレオペア生成装置
　２１　　テクスチャシフト部
　２２　　オクルージョン補償部
　２３　　ポスト処理部
　２４　　左目画像信号生成部
　２５　　右目画像信号生成部
　３　　　ステレオ表示装置

Claims (9)

1. 　映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成する奥行き信号推定手段と、
   　前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成する奥行き信号ヒストグラム生成手段と、
   　前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行って出力する奥行き信号レベル変換手段と、
   　を備えることを特徴とする奥行き信号生成装置。
2. 　前記奥行き信号レベル変換手段は、
   　前記奥行き信号ヒストグラム生成手段から取得した前記奥行き信号ヒストグラムデータを用いて前記奥行き信号ヒストグラムデータの分散値を算出し、前記分散値に基づいてゲイン補正値を算出するゲイン補正値算出手段と、
   　前記奥行き信号のレベル変換を行う奥行き信号レベル変換曲線を構成するポイントを生成するポイント生成手段と、
   　前記ポイントが格納された奥行き信号変換テーブルに基づいて補間データを生成する補間データ生成手段と、
   　前記ポイントおよび前記補間データにより前記奥行き信号レベル変換曲線を生成する変換曲線生成手段と、
   　を備えることを特徴とする請求項１記載の奥行き信号生成装置。
3. 　前記奥行き信号レベル変換手段は、さらに、
   　前記ポイント生成手段が生成したポイントに対し所定のリミット閾値に基づき正規化リミット処理を施してリミット処理済ポイントを生成するリミット処理手段と、
   　前記リミット処理済ポイントに対し所定のリーク型積分処理を行い、積分処理済ポイントを生成する積分処理手段とを備え、
   　前記補間データ生成手段は、前記積分処理済ポイントを基に前記補間データを生成する、
   　ことを特徴とする請求項２記載の奥行き信号生成装置。
4. 　前記奥行き信号ヒストグラム生成手段は、前記複数の奥行き信号レベル領域のうち、最小レベルを第１のレベル領域とし最大レベルを第２のレベル領域としたとき、
   　前記第１のレベル領域から、前記第１のレベル領域より大きく前記第２のレベル領域より小なる第３のレベル領域までに含まれる画素数をカウントし、前記第１のレベル領域から前記第３のレベル領域における前記奥行き信号のレベル分布を示す第１の奥行き信号ヒストグラムデータを生成する第１の奥行き信号ヒストグラム生成手段と、
   　前記第３のレベル領域から前記第２のレベル領域までに含まれる画素数をカウントし、前記第３のレベル領域から前記第２のレベル領域における前記奥行き信号のレベル分布を示す第２の奥行き信号ヒストグラムデータを生成する第２の奥行き信号ヒストグラム生成手段と、
   　を備えることを特徴とする請求項１から３のいずれか一項記載の奥行き信号生成装置。
5. 　請求項１から４のいずれか一項記載の奥行き信号生成装置と、
   　前記奥行き信号生成装置によってレベル変換が行われた前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステレオペア生成装置と、
   　を備えることを特徴とする擬似立体画像信号生成装置。
6. 　映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成するステップと、
   　前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成するステップと、
   　前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行うステップと、
   　を含むことを特徴とする奥行き信号生成方法。
7. 　映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成するステップと、
   　前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成するステップと、
   　前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行うステップと、
   　レベル変換が行われた前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、
   　を含むことを特徴とする擬似立体画像信号生成方法。
8. 　映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成するステップと、
   　前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成するステップと、
   　前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行うステップと、
   　をコンピュータに実行させるための奥行き信号生成プログラム。
9. 　映像信号における所定単位の画素毎に奥行きを示す奥行き信号を生成するステップと、
   　前記奥行き信号が取り得る奥行き信号レベルの範囲を、所定の大きさの複数の奥行き信号レベル領域に分割して、前記所定単位の画素毎に前記奥行き信号がどの奥行き信号レベル領域に含まれるかを判定すると共に、分割した前記奥行き信号レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記奥行き信号レベル領域における前記奥行き信号のレベル分布を示す奥行き信号ヒストグラムデータを生成するステップと、
   　前記奥行き信号ヒストグラムデータに基づいて前記奥行き信号のレベル変換を行うステップと、
   　レベル変換が行われた前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、
   　をコンピュータに実行させるための擬似立体画像信号生成プログラム。

Images