JP2014515197A - 背景ピクセル拡張及び背景優先パッチマッチングを用いるマルチビューレンダリング装置及び方法 - Google Patents

Abstract

マルチビューレンダリングで発生するホールを復元するための装置及び方法が提供される。時間的に隣接する映像を用いることによって出力ビュー内のホールが復元される。

Description

下記の実施形態はマルチビューレンダリング装置及び方法に関する。

３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）映像を生成するためには、広い視野角を有する多視点の３Ｄ映像が連続的に表現されなければならない。

しかし、多視点の映像をそれぞれ撮影し、撮影された多視点の映像をリアルタイムに送信することは容易ではない。これは、撮影システムの物理的な限界を始め、撮影されたデータを格納及び送信することが容易ではないためである。

したがって、３Ｄ映像生成装置は少数（例えば、２〜３個）の入力ビュー（または参照ビュー）のみを用いて３Ｄ映像を生成してもよく、生成された３Ｄ映像を再生する３Ｄディスプレイ装置は入力ビューを内挿または外挿することによって複数の出力ビューを生成することができる。
日本国公開特許第２００９−５３３７７８号 韓国登録特許第０７３１９７９号 韓国登録特許第０９６０２９４号 韓国登録特許第０９２４７１６号

本発明の一実施形態は、映像ワーピングによって生成された出力ビュー映像内にあるホールを復元するための装置及び方法を提供する。

一実施形態によれば、１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、前記映像ワーピングに関連する映像に時間的に隣接する１つ以上の映像を用いて前記映像ワーピングによって生成されたホールを復元する隣接映像基盤ホール復元部とを備える映像処理装置が提供される。

前記時間的に隣接する１つ以上の映像は前記参照ビューの映像に時間的に隣接する映像であってもよい。前記時間的に隣接する１つ以上の映像は前記出力ビューの映像に時間的に隣接する映像であってもよい。

前記隣接映像基盤ホール復元部は、前記ホール内のピクセルを復元するために前記時間的に隣接する映像内の前記ホール内の前記ピクセルに対応するピクセルのカラー値を用いてもよい。前記隣接映像基盤ホール復元部は、前記参照ビューの映像及び前記時間的に隣接する映像が時間に応じて全体的に移動した場合、前記移動に基づいて前記時間的に隣接する映像内で前記ホール内の前記ピクセルに対応するピクセルを選択してもよい。

前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルに対応する１つ以上のホールピクセルを除くことによって取得されたピクセルを用いて前記ホールを復元してもよい。前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルに対応するピクセルのうち背景ピクセルを前記ホールを復元するために用いてもよい。

前記映像処理装置は、映像ワーピングによって生成されたホールを拡大する緩衝区間設定部をさらに備えてもよい。

前記緩衝区間設定部は、前記ホールに隣接する緩衝領域を前記ホールと見なすことによって前記ホールを拡大し、前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルが前記緩衝領域内のピクセルである場合、前記ホール内の前記ピクセルのカラー値に基づいて前記ホール内の前記ピクセルを復元してもよい。

前記映像処理装置は、前記出力ビューの映像のうちクラックを前記ホールに設定する両眼視差クラック検出部をさらに備えてもよい。前記両眼視差クラック検出部は、隣接するピクセルとの両眼視差値の差の総和が予め定義された閾値よりも大きいピクセルをクラックとして検出してもよい。

他の一実施形態によると、１つ以上のプロセッサ実行可能なユニットを制御するプロセッサと、参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、前記映像ワーピングによって生成されたホールを前記ホールと隣接する１つ以上のピクセルをスケーリングすることによって復元する隣接ピクセルスケーリング基盤ホール復元部とを備える映像処理装置が提供される。

前記隣接ピクセルスケーリング基盤ホール復元部は、前記１つ以上のピクセルのうち１つ以上の背景ピクセルをスケーリングしてもよい。

前記ホール及び前記１つ以上のピクセルは同一の水平線上にあってもよい。

前記隣接ピクセルスケーリング基盤ホール復元部は、前記ホールに隣接する背景ピクセルの勾配と垂直方向に前記１つ以上のピクセルをスケーリングし、前記背景ピクセルは前記１つ以上のピクセルのうち１つのピクセルであってもよい。

他の実施形態によると、１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、前記映像ワーピングによって生成されたホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによって前記ホールを復元する最適パッチ探索基盤ホール復元部とを備える映像処理装置が提供される。

前記ホールが含まれる領域はホール領域及び背景領域に構成され、前記最適パッチ探索基盤ホール復元部は、前記探索されたパッチのうち前記ホール領域に対応する部分を用いて前記ホール領域を復元してもよい。前記最適パッチ探索基盤ホール復元部は第１領域のための第１パッチを探索し、第２領域のための第２パッチを探索し、前記第１パッチ及び前記第２パッチの平均値を用いて前記第１領域及び前記第２領域で重なるホールの部分を復元してもよい。

また、更なる実施形態によると、プロセッサによって参照ビューの映像の両眼視差情報に基づいて前記参照ビューの映像をイメージワーピングすることで出力ビューの映像を生成する映像ワーピングステップと、前記映像ワーピングに関連する映像に時間的に隣接する１つ以上の映像を用いて前記出力ビュー内に生成されたホールを復元する隣接の映像基盤ホール復元ステップとを含む映像処理方法が提供される。

前記像処理方法は、前記ホールを拡大する緩衝区間の設定ステップをさらに含んでもよい。前記像処理方法は、前記出力ビューの映像のうちクラックを前記ホールに設定する両眼視差クラック検出ステップをさらに含んでもよい。前記像処理方法は、前記ホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによって前記ホールを復元する最適パッチ探索基盤ホール復元ステップをさらに含んでもよい。

更なる一実施形態によると、１つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、少なくとも１つの参照ビューの映像に基づいて出力ビューの映像を生成する映像生成部と、前記生成された出力ビューの映像の予め定義されたオブジェクト内のクラックを検出する両眼視差クラック検出部であって、前記予め定義されたオブジェクトは、前記予め定義されたオブジェクトの相異なる部分に割り当てられた異なる両眼視差値をもって、前記クラックは前記少なくとも１つの参照ビューの映像に基づいて前記出力ビューの映像を生成したことに起因して前記予め定義されたオブジェクト内に発生する、両眼視差クラック検出部と、前記クラックをホールとして再び割り当て、前記生成に関連する映像に時間的に隣接する１つ以上のフレームの背景情報を用いることによって前記生成された出力ビューの映像の現在のフレーム内に存在する前記ホールを復元するマルチビュー生成部とを備えるマルチビュー生成装置が提供される。

前記時間的に隣接する１つ以上のフレームは、前記参照ビューの映像に時間的に隣接するフレームであってもよい。前記時間的に隣接する１つ以上のフレームは、前記出力ビューの映像に時間的に隣接するフレームであってもよい。

また、更なる一実施形態によると、プロセッサによって少なくとも１つの参照ビューの映像に基づいて出力ビューの映像を生成するステップと、前記生成された出力ビューの映像の予め定義されたオブジェクト内のクラックを検出するステップであって、前記予め定義されたオブジェクトは、前記予め定義されたオブジェクトの相異なる部分に割り当てられた異なる両眼視差値をもって、前記クラックは前記少なくとも１つの参照ビューの映像に基づいて前記出力ビューの映像を生成したことに起因して前記予め定義されたオブジェクト内に発生する、ステップと、前記クラックをホールとして再び割り当て、前記生成に関連する映像に時間的に隣接する１つ以上のフレームの背景情報を用いることによって前記生成された出力ビューの映像の現在のフレーム内に存在する前記ホールを復元するステップとを含むマルチビュー生成方法が提供される。

本発明の更なる一実施形態によると、映像処理装置を備えるディスプレイデバイスにおいて、参照ビューの映像及び前記参照ビューの映像の両眼視差情報に基づいて出力ビューの映像を生成する映像ワーピング部と、前記生成に関連する映像に時間的に隣接する１つ以上の映像を用いてホールを復元する隣接映像基盤ホール復元部であって、前記ホールは前記出力ビューを生成することによって生成される、隣接映像基盤ホール復元部と、前記隣接映像基盤ホール復元部によって復元された前記ホールを有する前記生成された出力ビューの映像に基づいて前記ディスプレイデバイスによって表示される信号を生成する制御部とを備える映像処理装置を備えるディスプレイデバイスが提供される。

本発明によると、映像ワーピングによって生成された出力ビュー映像内にあるホールを復元することができる。

一例に係る３つの入力ビューに基づいたビュー生成方法を説明する。 一実施形態に係る外挿ビューのフレーム生成方法を示す。 一実施形態に係る映像処理装置の構造図である。 一例に係る時間的に隣接する映像を用いたホールの復元を説明する。 一例に係る緩衝区間の設定によるホール拡大を説明する。 一例に係るクラックの発生及び両眼視差クラックの検出によるホール設定を説明する。 一例に係る隣接のピクセルスケーリングを説明する。 一例に係る背景ピクセルを用いる隣接のピクセルスケーリングを説明する。 一例に係る背景の勾配に垂直方向へのスケーリングを説明する。 一例に係る最適パッチ探索に基づいたホールの復元を説明する。 一例に係るパッチの重複を用いたホールの復元を説明する。 一実施形態に係る映像処理方法のフローチャートである。 一実施形態に係る映像処理装置を含むディスプレイデバイスを示す。

以下、本発明の一実施形態は添付する図面を参照しながら詳細に説明される。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一例に係る３つの入力ビューに基づいたビュー生成方法を説明する。

撮影の対象となる被写体１１０は前景及び背景１１２から構成される。前記前景は第１オブジェクト１１４及び第２オブジェクト１１６を含む。観測者の視点によって第１オブジェクト１１４及び第２オブジェクト１１６の背景１１２に対する相対的な位置は左側または右側に移動する。

例えば、カメラのような第１入力装置１２０は第１視点であり、第２入力装置１３０は第２視点、第３入力装置１４０は第３視点であって、それぞれ前記被写体１１０を撮影する。入力装置１２０、１３０及び１４０はそれぞれの視点で被写体１１０を撮影し、それぞれの入力ビュー１２２、１３２及び１４２を生成する。

例えば、すなわち、第１入力ビュー１２２は視聴者が第１視点で被写体１１０を見たときの映像を提供し、第２入力ビュー１３２は視聴者が第２視点で被写体１１０を見たときの映像を提供し、第３入力ビュー１３４は視聴者が第３視点で被写体１１０を見たときの映像を提供する。

入力ビュー１２２、１３２及び１４２のそれぞれはフレームのシーケンスから構成される。すなわち、入力ビュー１２２、１３２または１４２は単位時間当たり特定の数、例えば、３０ＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）から出力されるフレームで構成される。特定視点のフレームは前記特定視点の映像を生成するためのデータである。したがって、入力ビュー１２２、１３２及び１４２のそれぞれは映像のシーケンスを提供する。各映像は特定の瞬間に対応する。

フレーム（または映像）はピクセルで構成される。フレーム（または映像）内のピクセルはｘ座標及びｙ座標で構成された座標値を有する。ピクセルそれぞれはカラー値を有する。ピクセルのカラー値はカラーを表すための任意の形式（例えば、ＲＧＢまたはＹＣｂＣｒ）を用いて表してもよい。また、ピクセルそれぞれは深度値を有する。ピクセルの深度値は、ピクセルが表すオブジェクト（または背景）及び撮影視点（すなわち、ビューの視点）間の距離を表す。ピクセルの深度値は、例えば、整数または浮動小数点のような距離を表すための任意の２進形式を用いて表してもよい。

ピクセルの深度値はフレーム内に含まれてもよい。すなわち、フレームがピクセルのカラー値及び深度値を有し得る。また、ピクセルの深度値はフレームとは別に提供されてもよい。フレーム（または映像）の深度情報はフレーム（または映像）を構成するピクセルの深度値を表す。フレームの深度情報は、フレームまたは入力ビューとは別に提供されてもよい。入力ビュー内の映像に対する深度情報が入力ビューとは別に提供されてもよい。

特定の視覚ｔにおける第１入力ビュー１２２のフレーム１２４、第２入力ビュー１３２のフレーム１３４、及び第３入力ビュー１４２のフレーム１４４が四角形のように示された。

３Ｄ映像装置は、入力ビュー１２２、１３２及び１４２の視点の他の視点における映像をユーザに提供する必要がある。したがって、３Ｄ映像装置は、入力ビュー１２２、１３２及び１４２に基づいて前記入力ビュー１２２、１３２及び１４２とは異なる視点における出力ビュー（ｏｕｔｐｕｔ ｖｉｅｗ）（または目的ビュー（ｔａｒｇｅｔ ｖｉｅｗ））を生成する。前記の入力ビュー１２２、１３２及び１４２に対応する視点は参照ビュー視点と命名する。

参照ビュー視点ではない異なる視点で視聴者が被写体１１０を見たときの映像が提供されるためには、前記入力装置１２０、１３０、及び１４０によって生成される入力ビュー１２２、１３２及び１４２によって提供されるフレームを用いるビュー外挿またはビュー内挿によって中間視点における出力ビューを生成しなければならない。

出力ビューの生成は、出力ビューのフレームを生成することを意味する。出力ビューの生成は出力ビューの視点における映像を提供することを意味する。出力ビューは内挿によって生成された内挿ビューまたは外挿によって生成された外挿ビューである。ビュー内挿（ｖｉｅｗ ｉｎｔｅｒｐｏｌａｔｉｏｎ）は入力ビュー１２２、１３２及び１４２の視点の間（すなわち、内部）にある任意の仮想視点における出力ビューを生成することを意味する。ビュー内挿は、生成しようとする仮想ビュー視点に隣接する左側及び右側の入力ビューフレーム（または映像）を参照して出力ビューフレーム（または映像）を生成してもよい。内挿ビュー（ｉｎｔｅｒｐｏｌａｔｅｄ ｖｉｅｗ）はビュー内挿によって生成された出力ビューである。

ビュー外挿（ｖｉｅｗ ｅｘｔｒａｐｏｌａｔｉｏｎ）は入力ビュー１２２、１３２及び１４２の視点の郊外にある任意の視点における出力ビューを生成することを意味する。ビュー外挿は、最左側入力ビュー１２２の視点よりも左側視点における出力ビュー、または最右側入力ビュー１４２の視点よりも右側視点における出力ビューを生成することを意味する。外挿ビュー（ｅｘｔｒａｐｏｌａｔｅｄ ｖｉｅｗ）はビュー外挿によって生成された出力ビューである。

ビュー外挿は、最外郭にある１つの入力ビュー１２２または１４２のフレーム（または映像）を参照して出力ビューフレーム（または映像）を生成する。したがって、ビュー外挿のために用いられる情報はビュー内挿のために用いられる情報に比べて相対的に制限される。したがって、用いられる情報が相対的に少ないため、ビュー外挿によって生成された映像ではビュー内挿で生成された映像に比べて画質劣化が多く発生する。

図示される三角形１５０、１５２、１６０、１６２、１７０、１７２、１８０及び１８２はそれぞれ内挿ビューフレームまたは外挿ビューフレームを表す。

最左側入力ビュー１２２の視点よりも左側の視点のビューは外挿ビューである。また、最右側入力ビュー１４２の視点よりも右側の視点のビューは外挿ビューである。フレーム１５０、１５２、１８０及び１８２は視覚ｔの外挿ビューフレームである。

入力ビュー１２２、１３２及び１４２の視点の間で生成された仮想の視点におけるビューは内挿ビューである。視覚ｔの内挿ビューのフレーム１６０、１６２、１７０及び１７２が示される。

内挿ビュー及び外挿ビューも予め定義された時間周期にかけて発生したフレームのシーケンスで構成される。内挿ビューまたは外挿ビューのフレームは深度情報を有しない場合がある。すなわち、内挿ビューまたは外挿ビューのフレームは２次元フレームであってもよい。

前述したように、前記Ｎ個の入力ビューの視点及びこれとは異なる視点におけるＭ個の出力ビューが生成されてもよい。

３Ｄ映像装置が、視聴者の位置に応じて、Ｍ個の出力ビューのうち特定の出力ビューを視聴者に提供すれば、視聴者は３Ｄ映像装置の出力ビューを介して連続的な実際の３Ｄ映像を認知することができる。例えば、３Ｄ映像装置が第１出力ビューを視聴者の左眼に、第２出力ビューを視聴者の右眼に出力すれば、ユーザは３Ｄ映像を認識することができる。

図２は、一実施形態に係る外挿ビューのフレーム生成方法を示す
入力ビュー２１０を介してフレームのシーケンスが提供される。特定の視覚ｔにおける入力ビュー２１０のフレーム２１２が図示された。入力ビュー２１０に基づいて入力ビュー２１０よりも右側視点におけるビュー外挿によって第１外挿ビュー及び第２外挿ビューが生成される。

前記特定の視覚ｔにおける第１外挿ビューのフレーム２２０及び第２外挿ビューのフレーム２３０が入力ビュー２１０のフレーム２１２を用いて生成される。入力ビュー２１０は図１に示す被写体２１０を撮影したものであり、入力ビュー２１０のフレーム２１２は、背景２１４、第１オブジェクト２１６及び第２オブジェクト２１８で構成される。

第１外挿ビューのフレーム２２０も背景２２４、第１オブジェクト２２６及び第２オブジェクト２２８で構成される。また、第２外挿ビューのフレーム２３０は、背景２３４、第１オブジェクト２３６及び第２オブジェクト２３８を含んでもよい。第１外挿ビューの視点は入力ビュー２１０の視点よりも右側に位置する。したがって、第１外挿ビューのフレーム２２０内の背景２２４、第１オブジェクト２２６及び第２オブジェクト２２８は入力ビュー２１０のフレーム２１２からさらに左側に位置する。

前記背景２２４がどれほど左側に位置するかは入力ビュー２１０の視点から背景２２４までの距離に依存し、入力ビュー２１０の視点及び第１外挿ビューの視点間の距離に依存する。

前述したように、背景２２４の全てが左側に移動するため、第１外挿ビューのフレーム２２０は、入力ビュー２１０のフレーム２１２によって適切に満たされないフレーム境界ホール２４４を有する。場合に応じて、背景２２４は移動できないことがある。背景２２４が移動しない場合、フレーム境界ホール２４４は生成されない。

前景を構成するオブジェクト２２６及び２２８は背景２２４が移動することによって共に移動される。また、オブジェクト２２６及び３２８は背景２２４よりも左側に移動する。

前記オブジェクト２２６及び２２８が背景２２４に備えてどれだけもっと左側に位置するかは、入力ビュー２１０の視点からオブジェクト２２６及び２２８それぞれまでの距離に依存し、入力ビュー２１０の視点及び第１外挿ビューの視点間の距離に依存する。オブジェクト２２６及び２２８が背景２２４に比べてもっと左側に移動するため、第１外挿ビューのフレーム２２０は入力ビュー２１０のフレーム２１２によって適切に満たされないオブジェクト境界ホール２４６及び２４８を有する。

外挿ビューを生成するために、前記フレーム境界ホール２４４、前記オブジェクト境界ホール２４６及び２４８には適切なピクセルが外挿されなければならない。

第２外挿ビューのフレーム２３０もフレーム境界ホール２５４、オブジェクト境界ホール２５６及び２５８を有する。第２外挿ビューの視点は第１外挿ビューの視点に比べて、入力ビュー２１０の視点からさらに遠く離隔されている。第２外挿ビューのフレーム２３０内の背景２３４、第１オブジェクト２３６及び第２オブジェクト２３８はそれぞれ第１外挿ビューのフレーム２２０内の背景２２４、第１オブジェクト２２６及び第２オブジェクト２２８に比べてさらに左側に位置する。

第２外挿ビューのフレーム２３０内のフレーム境界ホール２５４、オブジェクト境界ホール２５６及び２５８はそれぞれ第１外挿ビューのフレーム２２０内のフレーム境界ホール２４４、オブジェクト境界ホール２４６及び２４８よりも左右がさらに広い。

したがって、第２外挿ビューのフレーム２３０内のフレーム境界ホール２５４、オブジェクト境界ホール２５６及び２５８にはさらに多いピクセルが外挿されなければならない。

すなわち、外挿ビューの視点が最外郭入力ビューからさらに遠くなるほど、外挿されなければならないピクセルの範囲もさらに広くなる。

フレーム境界ホール２４４、２５４とオブジェクト境界ホール２４６、２４８、２５６及び２５８を合わせてホールと命名する。

図３は、一実施形態に係る映像処理装置の構造図である。図３に示す映像処理装置は、参照ビュー映像及び参照ビュー映像の両眼視差情報をそれぞれ用いるビュー内挿及びビュー外挿を通じて出力ビューを生成する。映像処理装置は、出力ビューの映像内のビュー内挿及びビュー外挿によって発生するホールを復元する。

出力ビュー映像は出力ビューの視点における映像である。前述したように、新しい視点における映像が生成されれば、前記新しい視点で新しく観測されなければならない地点が映像内のホールとして示される。

映像処理装置は、ビュー内挿及びビュー外挿過程で発生するホールを復元してもよい。映像処理装置３００は、映像ワーピング部３１０、緩衝区間設定部３２０、両眼視差クラック検出部３３０、隣接映像基盤ホール復元部３４０、隣接ピクセルスケーリング基盤ホール復元部３５０、及び最適パッチ探索基盤ホール復元部３６０を備えてもよい。

映像ワーピング部３１０は、参照ビュー映像及び参照ビュー映像の両眼視差情報を用いるイメージワーピングの方式によって出力ビューの映像を生成する。すなわち、映像ワーピング部３１０は、参照ビューのフレーム及び参照ビューのフレームの両眼視差情報を用いるイメージワーピングによって出力ビューのフレームを生成する。映像ワーピング部３１０は、参照ビュー映像を映像ワーピングすることによって出力ビューの映像を生成する。例えば、参照ビュー映像の両眼視差情報が提供されない場合、映像ワーピング部３１０は参照ビュー映像の両眼視差情報を生成してもよい。

Ｎ個の入力映像（すなわち、Ｎ個の参照ビューの映像）がエピポーラ線（ｅｐｉｐｏｌａｒ ｌｉｎｅ）を基準として整列されている。

仮想視点のビュー（すなわち、出力ビュー）は参照ビューから前記仮想視点のビューまで離隔された距離に比例する加重値を用いることによって生成される。すなわち、仮想視点のビューは、参照ビューの視点と仮想視点との間の距離に比例する加重値を用いることによって生成される。

出力ビュー映像内の第１ピクセルのｙ座標値は、第１ピクセルに対応する参照ビュー映像内の第２ピクセルのｙ座標値と同一であってもよい。すなわち、ピクセルのｙ座標はワーピングによって変更されなくてもよい。出力ビュー（またはレンダーリングされたビュー）映像内の第１ピクセルのｘ座標は下記の数式（１）によって算出されることができる。

ここで、Ｉｒｅｆｅｒｅｎｃｅ ｖｉｅｗは参照ビュー（または入力ビュー）の映像（またはフレーム）を示す。Ｉｒｅｎｄｅｒｅｄ ｖｉｅｗは出力ビュー（または、レンダーリングされたビュー）の映像（またはフレーム）を示す。

ｘは参照ビュー内の第２ピクセルの座標値（ｘ座標値）を示す。ｘ’は出力ビュー内の第１ピクセルの座標値（ｘ座標値）を示す。

ｄは映像の深度情報またはピクセルの深度情報から導出された第２ピクセルの両眼視差（ｄｉｓｐａｒｉｔｙ）値である。一般に、ピクセルの両眼視差値はピクセルの深度値に反比例する。したがって、前述された深度及び深度情報に対する説明は両眼視差及び両眼視差情報にも適用され得る。αは参照ビューの視点と出力ビューの視点との間の距離に比例する加重値である。

したがって、前述された数式（１）は下記の（１）〜（５）を意味する。

（１）参照ビュー内の第２ピクセルはワーピングによってαｄだけ移動する。すなわち、参照ビュー映像内の第２ピクセルと出力ビュー内の第１ピクセルが互いに対応する場合、第１ピクセルのｘ座標値は第２ピクセルのｘ座標値にαｄを加えた値である。

（２）両眼視差値の大きいピクセルはワーピングによって多く移動する。両眼視差値は深度値に反比例する。したがって、深度値が小さいピクセルは深度値の大きいピクセルよりも多く移動する。

オブジェクトは参照ビューの視点から近く、背景は参照ビューの視点から遠い。したがって、参照ビュー映像のピクセルのうちオブジェクトを示すピクセルは背景を表すピクセルよりも多く移動する。

深度値が無限のピクセル（または、両眼視差値が０であるピクセル）はワーピングによって移動されないことがある。

（３）参照ビューの視点及び出力ビューの視点が遠く離隔されるほど、参照ビュー内のピクセルはさらに多く移動する。

映像ワーピング部３１０は、前述された数式（１）に基づいたワーピングの他にも多様なワーピング方法を用いて出力ビューの映像を生成してもよい。

（４）第１ピクセルの両眼視差値（または深度値）は第２ピクセルの両眼視差値（または深度値）である。

（５）参照ビュー映像内の１つ以上のピクセルが出力ビュー内の同一の座標に移動してもよい。このような場合、１つ以上のピクセルのうち最も出力ビューの視点と近いピクセルが優先的に表示される。

緩衝区間設定部３２０は映像ワーピングによって生成されたホールを拡大する。緩衝区間設定部３２０によるホール拡大が図５を参照して下記で詳細に説明する。

両眼視差クラック検出部３３０は、生成された出力ビューの映像のうちクラックをホールに設定する。両眼視差クラック検出部３２０によるホール設定が図６を参照して下記で詳細に説明される。

隣接映像基盤ホール復元部３４０は映像ワーピングによって生成されたホールを復元する。隣接映像基盤ホール復元部３４０によるホール復元が図４を参照して下記で詳細に説明される。

隣接ピクセルスケーリング基盤ホール復元部３５０は、映像ワーピングによって生成されたホールを前記ホールと隣接する１つ以上のピクセルをスケーリングすることによって復元される。隣接ピクセルスケーリング基盤ホール復元部３５０による隣接の背景スケーリングが図７〜図９を参照して下記で詳細に説明される。

最適パッチ探索基盤ホール復元部３６０は、前記映像ワーピングによって生成されたホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによってホールを復元する。最適パッチ探索基盤ホール復元部３６０による最適パッチ探索及びホール復元について図１０を参照して下記で詳細に説明される。

隣接映像基盤ホール復元部３４０によってホールの一部が復元された後、前記ホールの残った一部または一部らが隣接ピクセルスケーリング基盤ホール復元部３５０及び最適パッチ探索基盤ホール復元部３６０によって復元される。

隣接ピクセルスケーリング基盤ホール復元部３５０及び最適パッチ探索基盤ホール復元部３６０は、出力ビュー映像の背景ピクセルを用いることによって残ったホールを復元する。ホールに隣接する領域の特性に応じていかなる方式でホールが復元されるかを決定する。

例えば、ホールに隣接する領域がテクスチャ（ｔｅｘｔｕｒｅ）領域である場合には最適パッチ探索基盤ホール復元部３６０がホールを復元してもよい。ホールに隣接する領域がテクスチャ領域ではない場合には隣接ピクセルスケーリング基盤ホール復元部３５０がホールを復元してもよい。隣接ピクセルスケーリング基盤ホール復元部３５０は、背景画素をスケーリングするために、前記スケーリングによってテクスチャが損傷されることがある。

すなわち、ホールに隣接する領域が均一であったりホールに隣接する領域で強いエッジ（ｅｄｇｅ）が現れる場合、背景ピクセルをスケーリングすることによってホール領域が復元され得る。このような復元によって復元されたホール領域でも隣接する領域（すなわち、背景）の特性が維持され得る。

また、ホールに隣接する領域がテクスチャ領域である場合、参照ビュー映像内の背景領域で前記の隣接する領域と最も類似の領域が検出される。前記の検出された領域を用いてホール領域が復元される。このような復元によって復元されたホール領域でもテクスチャ成分が維持され得る。

図４は、一例に係る時間的に隣接する映像を用いたホールの復元を説明する。

一連の時間的に隣接する映像のうち、視覚ｔにおける参照ビュー映像が視覚ｔにおける出力ビューイメージを生成するためのイメージワーピングで用いられてもよい。以下、特定の視覚ｔの映像を「映像（ｔ）」または「現在の映像」と命名する。類似に、特定の視覚ｔのフレームは「フレーム（ｔ）」または「現在のフレーム」と命名する。また、視覚ｔ−１のフレームは「フレーム（ｔ−１）」または「以前フレーム」と命名する。視覚ｔ＋１のフレームは「フレーム（ｔ＋１）」または「次のフレーム」と命名する。

図４において、出力ビューフレーム（ｔ）４４０はホール４４２を含む。出力ビューフレーム（ｔ）４４０は参照ビューフレーム（ｔ）４３０をワーピングすることで生成される。

一般に、映像（ｔ）と時間的に隣接する映像（例えば、映像（ｔ−１）、映像（ｔ＋１）、映像（ｔ−２）及び映像（ｔ＋２）など）は前記映像（ｔ）が示す前景（またはオブジェクト）及び背景と同一または類似の前景及び背景を表す。したがって、参照ビュー映像または出力ビュー映像と時間的に隣接する映像の情報を用いることで映像ワーピングによって生成されたホールが復元され得る。

図４において、前景に対応するオブジェクトは上から下に移動する。したがって、参照ビューフレーム（ｔ）４３０でオブジェクトに隠された背景に対応する部分４１２が参照ビューフレーム（ｔ−１）４１０では現れる。また、参照ビューフレーム（ｔ＋１）４５０の部分４５２、出力ビューフレーム（ｔ−１）４２０の部分４２２、及び出力ビューフレーム（ｔ＋１）４６０の部分４６２も参照ビューフレーム（ｔ）４３０でオブジェクトから隠された背景に対応する。したがって、部分４１２、４２２、４５２及び４６２がホール４４２を復元するために用いられてもよい。隣接映像基盤ホール復元部３４０は、下記の数式（２）に基づいて出力ビューの映像（ｔ）のホール４４２を復元してもよい。数式（２）は、出力ビューのフレームと時間的に隣接するフレームを用いて前記フレーム内のホールを復元する方法を説明する。

ここで、ｆ_ｔは出力ビューフレーム（ｔ）４４０を示す。すなわち、ｆ_ｔは視覚ｔにおけるワーピングによって生成されたフレームを示す。ｆ_ｔ（ｉ、ｊ）は出力ビューフレーム（ｔ）４４０のピクセルのうち座標値が（ｉ、ｊ）のピクセルのカラー値を示す。ここで、出力ビューフレーム（ｔ）４４０において、座標値が（ｉ、ｊ）であるピクセルはホール４４２内のピクセルである。座標値が（ｉ、ｊ）のピクセルを以下「ピクセル（ｉ、ｊ）」のように示す。

ｆ_ｔ−１は出力ビューフレーム（ｔ）４４０の以前フレーム、すなわち、出力ビューフレーム（ｔ−１）４２０を示す。ｆ_ｔ＋１は出力ビューフレーム（ｔ）４４０の次のフレーム、すなわち、出力ビューフレーム（ｔ＋１）４６０を示す。ｆ_ｔ−１は出力ビューフレーム（ｔ−１）４２０を示す。また、ｆ_ｔ＋１は出力ビューフレーム（ｔ＋１）４６０を示す。

すなわち、隣接映像基盤ホール復元部３４０は、出力ビューフレーム（ｔ）４４０に時間的に隣接する出力ビューフレームを用いて映像ワーピングによって生成されたホールを復元してもよい。α_ｔ−１は出力ビューフレーム（ｔ−１）４２０のピクセル（ｉ、ｊ）が出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）を復元するために用いられるかの有無を決定する係数である。α_ｔ−１は０または１の値を有し得る。α_ｔ−１が０である場合、出力ビューフレーム（ｔ−１）４２０のピクセル（ｉ、ｊ）は出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）を復元するために使用されない。

α_ｔ＋１は出力ビューフレーム（ｔ＋１）４６０のピクセル（ｉ、ｊ）が出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）を復元するために用いられるかの有無を決定する係数である。α_ｔ＋１は０または１の値を有し得る。α_ｔ＋１が０である場合、出力ビューフレーム（ｔ＋１）４６０のピクセル（ｉ、ｊ）は出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）を復元するために使用されない。

α_ｔ−１及びα_ｔ＋１が全て１である場合、出力ビューフレーム（ｔ−１）４２０のピクセル（ｉ、ｊ）のカラー値、及び出力ビューフレーム（ｔ＋１）４６０のピクセル（ｉ、ｊ）のカラー値の平均値が出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）のカラー値となる。α_ｔ−１が０であり、α_ｔ＋１は１である場合、出力フレーム（ｔ）４４０のピクセル（ｉ、ｊ）のカラー値は出力ビューフレーム（ｔ＋１）４６０のピクセル（ｉ、ｊ）のカラー値である。α_ｔ−１が１であり、α_ｔ＋１が０である場合、出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）のカラー値は出力ビューフレーム（ｔ−１）４２０のピクセル（ｉ、ｊ）のカラー値である。

ホールを復元するために用いられるピクセルは背景に含まれるピクセルと見なすことができる。一般に、背景はワーピングによって位置変更されない。例えば、参照ビューフレーム（ｔ−１）４１０の部分４１２及び出力ビューフレーム（ｔ−１）４２０の部分４２２は各フレーム内における位置及びカラーが同一であってもよい。すなわち、背景に含まれる第１ピクセルの参照ビューフレーム内における座標、及び前記の第１ピクセルに対応する第２ピクセルの出力ビューフレーム内における座標は同一である。

したがって、隣接映像基盤ホール復元部３４０は、時間的に隣接する参照ビューフレームを用いて映像ワーピングによって生成されたホールを復元してもよい。すなわち、数式（２）のｆ_ｔ−１は参照ビューフレーム（ｔ−１）４１０を示すｆ’_ｔ−１に代替されてもよく、ｆ_ｔ＋１は参照ビューフレーム（ｔ＋１）４５０を示すｆ’_ｔ＋１に代替されてもよい、
類似するように、数式（２）におけるｆ_ｔ−１及びｆ_ｔ＋１はそれぞれｆ_ｔ−２及びｆ_ｔ＋２によって代替されてもよく、または任意の異なる時間的に隣接する出力ビューフレームによって代替されてもよい。また、数式（２）におけるｆ_ｔ−１及びｆ_ｔ＋１はそれぞれｆ’_ｔ−２及びｆ’_ｔ＋２によって代替されてもよく、または任意の異なる時間的に隣接する参照ビューフレームによって代替されてもよい。すなわち、隣接映像基盤ホール復元部３４０は、１つ以上の時間的に隣接する参照映像または１つ以上の時間的に隣接する出力映像を用いて映像ワーピングによって生成された出力ビュー映像内のホールを復元する。

数式（２）に基づいて、隣接映像基盤ホール復元部３４０は１つまたは２つの参照ビューフレームを用いて、言い換えれば、出力ビューフレーム（ｔ−１）４２０及び出力ビューフレーム（ｔ＋１）４６０を用いてホール４４２を復元する。しかし、時間的に隣接する出力ビューフレーム（または、参照ビューフレーム）がホール４４２を復元するために用いられてもよい。例えば、視覚ｔ−２、ｔ−１、ｔ＋１及びｔ＋２における出力ビューフレーム（または、参照ビューフレーム）または任意の他の３つ以上の時間的に隣接するイメージがホール４４２を復元するために用いられてもよい。

時間的に隣接する映像が視覚ｔにおける映像に対して対称的である必要はない。例えば、視覚ｔにおける映像内のホールは視覚ｔ−２及びｔ−１における映像を用いて復元されてもよく、または、視覚ｔ−３、ｔ−２及びｔ−１における映像や任意の異なる時間的に非対称的である映像を用いて復元されてもよい。

また、時間的に隣接する映像の数は映像処理装置３００の格納容量、参照ビュー映像の複雑度、及び出力ビュー映像の複雑度などに基づいて動的に変更されてもよい。

数式（２）では、フレーム（ｔ）のピクセルと同一の座標値を有するピクセルを用いてフレーム（ｔ）のピクセルのカラー値を復元した。言い換えれば、前述の復元は一連の映像が時間に応じて全体的に移動していないことを前提とする。すなわち、いくつかの状況において映像の背景は全く、あるいはほとんど動かない。

時間に応じて映像が全体的に移動した場合、出力ビューフレーム（ｔ）４４０のピクセルのカラー値を復元するために、このような移動は考慮されるべきである。

例えば、出力ビューフレーム（ｔ）４４０が出力ビューフレーム（ｔ−１）４２０（または、出力ビューフレーム（ｔ）４１０）に比べて全体的に左側に１ピクセルだけ移動した場合、出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）のカラー値を設定するためには、出力ビューフレーム（ｔ−１）４４０（または、参照ビューフレーム（ｔ）４１０）のピクセル（ｉ＋１、ｊ）のカラー値を使用しなければならない。

すなわち、隣接映像基盤ホール復元部３４０は出力ビュー映像（ｔ）のホール内の第１ピクセルを復元するために、出力ビュー映像（ｔ）と隣接する出力ビュー映像内の前記第１ピクセルに対応するピクセルのカラー値を用いてもよい。または、隣接映像基盤ホール復元部３４０は出力ビュー映像（ｔ）のホール内の第１ピクセルを復元するために、参照ビュー映像（ｔ）と隣接する参照ビュー映像内の前記第１ピクセルに対応するピクセルのカラー値を用いてもよい。

また、隣接映像基盤ホール復元部３４０は、参照ビュー映像（ｔ）及び参照ビュー映像（ｔ）に時間的に隣接する映像が時間に応じて全体的に移動した場合、前記移動に基づいて参照ビュー映像（ｔ）（または、出力ビュー映像（ｔ））と隣接する参照ビュー映像（または、出力ビュー映像）内で第１ピクセルに対応するピクセルを選択してもよい。隣接映像基盤ホール復元部３４０は、下記の数式（３）に基づいて係数αを決定することができる。

Ｄ（ｆ_ｔ（ｉ、ｊ））は出力ビューフレーム（ｔ）４４０のピクセル（ｉ、ｊ）の両眼視差値である。Ｔｈは予め定義された閾値である。したがって、α_ｔの値はｆ_ｔ（ｉ、ｊ）がホールピクセルではなく、ｆ_ｔ（ｉ、ｊ）の両眼視差値が予め定義された閾値の場合には１であり、そうではない場合には０である。

まず、ｆ_ｔ（ｉ、ｊ）がホールを示すホールピクセルであるか否かが判断される。ｆ_ｔ（ｉ、ｊ）がホールピクセルである場合、ｆ_ｔ（ｉ、ｊ）のカラー値は存在しないか、誤った値である。したがって、ｆ_ｔ（ｉ、ｊ）のカラー値は出力ビュー映像内のホールを復元するために用いられることができない。したがって、α_ｔの値は０になる。

すなわち、隣接映像基盤ホール復元部３４０は時間的に隣接する参照ビュー映像内の対応するホールピクセルを除くことによって、出力ビュー映像ｔ内のホールを復元してもよい。また、隣接映像基盤ホール復元部３４０は、時間的に隣接する出力ビュー映像内に含まれた対応するホールピクセルを除くことによって出力ビュー映像内のホールを復元してもよい。

次に、ｆ_ｔ（ｉ、ｊ）がホールピクセルではない場合、ｆ_ｔ（ｉ、ｊ）が前景を表すピクセルであるか、または背景を表すピクセルであるか否かが判断される。

マルチビューレンダリングによって発生するホールは、参照ビュー映像では前景に隠されて見られていない背景の一部がワーピングによって生成された出力ビュー映像に現れたものである。または、ホールは前記の背景の一部を含んでもよい。

したがって、ｆ_ｔ（ｉ、ｊ）が背景を表す背景ピクセルの場合にのみｆ_ｔ（ｉ、ｊ）が出力ビュー映像内のホールを復元はするために用いられてもよい。

すなわち、隣接映像基盤ホール復元部３４０は、時間的に隣接する参照ビュー映像内の対応する背景ピクセルのみを用いて出力ビュー映像ｔ内のホールを復元する。また、隣接映像基盤ホール復元部３４０は、時間的に隣接する出力ビュー映像内の対応する背景ピクセルのみを用いて出力ビュー映像ｔ内のホールを復元する。

ｆ_ｔ（ｉ、ｊ）が前景を表す前景ピクセルであるか、または背景を表す背景ピクセルであるか否かは、ｆ_ｔ（ｉ、ｊ）の両眼視差値に基づいて決定される。

一般に、前景を表すピクセルは背景を表すピクセルよりも大きい両眼視差値を有する。

したがって、ｆ_ｔ（ｉ、ｊ）の両眼視差値が基準値Ｔｈよりも小さい場合、隣接映像基盤ホール復元部３４０はｆ_ｔ（ｉ、ｊ）を背景ピクセルと見なし、ｆ_ｔ（ｉ、ｊ）をホールを復元するために用いてもよい。

図５は、一例に係る緩衝区間の設定によるホール拡大を説明する。図５において、出力ビュー映像５１０及び緩衝領域５２２、５２４が表示された出力ビュー映像５２０を示す。

マルチビューレンダリングにおいて用いられるピクセルの両眼視差値は、ピクセルの物理的な深度値を変換することによって取得され得る。また、ピクセルの両眼視差値は参照映像を用いる推定によって決定されてもよい。

ピクセルの両眼視差値は（特に、推定によって取得された場合）マッチングエラーなどによって誤った値を有することがある。ピクセルの両眼視差値が誤った場合、出力ビュー映像５１０のオブジェクトと背景との間の境界は両眼視差映像のオブジェクトと背景との間の境界と一致しないこともある。出力ビュー映像５１０のホール領域５１２の左側にあるピクセルは、前述の不一致によって前景を表すピクセルであるにも係わらず背景を表すカラー値を有する。

すなわち、推定された両眼視差値が用いられる場合、この問題を防止するためにホールに隣接する領域が緩衝領域として設定される必要がある。

したがって、緩衝区間設定部３２０は、ホールに隣接する緩衝領域５２２及び５２４をホールと見なすことによってホールを拡大する。

緩衝区間設定部３２０は、ホール（またはホールの最外郭の地点）からの距離が予め定義された閾値よりも小さいピクセルを緩衝領域として設定してもよい。緩衝領域内のピクセルのカラー値が復元される場合、下記の数式（４）が用いられてもよい。

数式（４）では、フレーム（ｔ）の以前フレームのピクセルのカラー値及び以後フレームのピクセルのカラー値のみならず、フレーム（ｔ）のピクセル（ｉ、ｊ）（すなわち、カラー値が復元されるピクセル自身）のカラー値も復元のために用いられる。緩衝領域内のピクセル（ｉ、ｊ）は初めからホールであったピクセルとは異なって既にカラー値を有する。したがって、緩衝領域内のピクセル（ｉ、ｊ）自身のカラー値がホールと見なされた緩衝領域内のピクセル（ｉ、ｊ）を復元するために用いられてもよい。

すなわち、隣接映像基盤ホール復元部３４０は緩衝領域内の第１ピクセルを復元する場合、第１ピクセルのカラー値に基づいて第１ピクセルを復元する。

図６は、一例に係るクラックの発生及び両眼視差クラックの検出によるホール設定を説明する。図６において、参照ビュー映像６１０及び参照ビュー映像６１０の両眼視差映像６２０を示す。

図示するように、両眼視差映像６２０の第１部分６２２及び第２部分６２４は互いに異なる両眼視差値を有する。一般に、第１部分６２２及び第２部分６２４は同じオブジェクトを示すため、互いに同一であるか類似の両眼視差値を有するべきである。しかし、特に、両眼視差値が推定された場合、第１部分６２２及び第２部分６２４は互いに異なる両眼視差値を有することがある。

第１部分６２２及び第２部分６２４は互いに異なる両眼視差値を有するため、ワーピングによって移動する距離が互いに異なる。第１部分６２２及び第２部分６２４が互いに異なる距離を移動するため、ワーピングによって生成された出力ビュー映像６３０内で、第１部分６２２に対応する部分及び第２部分６２４に対応する部分の間にクラック６３２が発生することがある。

このようなクラック６３２が発生した部分では前景ではない背景が表示されることがある。すなわち、第１部分６２２及び第２部分６２４の代わりに背景が表示されてもよい。このように、クラック６３２は、互いに異なる両眼視差値のためにオブジェクト（または、オブジェクトの分離された部分）の間で背景が表示された部分を意味する。すなわち、オブジェクトの部分に前記両眼視差値が割り当てられ、前記オブジェクトがワーピングされるとき前記オブジェクトの内部でクラックが発生する。

クラック６３２が発生した部分では背景のカラー値がワーピングされる。したがって、クラック６３２によって出力ビュー映像の画質が劣化される恐れがある。もし、クラック６３２がホールに設定されれば、クラック６３２が現れた部分にもホールの復元方法が適用され得る。したがって、クラック６３２による画質劣化の減少を図ることができる。

両眼視差クラック検出部３３０は出力ビュー映像でクラックを検出する。両眼視差クラック検出部３３０はクラックが発生した部分をホールに設定する。クラックは下記の数式（５）に基づいて検出されることができる。

ここで、Ｄ_ｉ、ｊは出力ビュー映像６３０内のピクセル（ｉ、ｊ）６４２の両眼視差値である。ピクセル（ｉ、ｊ）６４２はクラックであるか否かを検査するピクセルである。Ｄ_{ｉ＋ｍ、ｊ＋ｎ}はピクセル（ｉ、ｊ）と隣接するピクセル（ｉ＋ｍ、ｊ＋ｎ）の両眼視差値である。Ｔｈは予め定義された閾値である。

出力ビュー映像６３０内のピクセルと隣接するピクセル６４４との間の両眼視差値における差の総和が予め定義された閾値よりも大きい場合、両眼視差クラック検出部３３０は前記ピクセルをクラックとして検出する。

クラックは、前景が現れる領域に背景ピクセルがワーピングされたことによって発生する。したがって、クラック地点に位置する背景ピクセルの両眼視差値と前記背景ピクセルの周囲に隣接する前景ピクセルの両眼視差値との間の差は大きい。

したがって、数式（５）のように、隣接のピクセル６４４との両眼視差値の差に基づいてクラックが検出され得る。また、検出されたクラックをホールに割り当てることによって画質劣化を補償することができる。

図６において図示された隣接のピクセル５４４は例示的なものである。出力ビュー内の第１ピクセルと離隔されたピクセルの任意の組合が前記第１ピクセルの隣接のピクセルとして用いられてもよい。

図７は、一例に係る隣接のピクセルスケーリングを説明する。隣接ピクセルスケーリング基盤ホール復元部３５０は、映像７１０のホールを復元するために前記ホールに隣接する１つ以上のピクセルを用いる。

隣接ピクセルスケーリング基盤ホール復元部３５０は水平方向にピクセルをスケーリングしてもよい。

ホール復元の対象となる水平線７１２が示された。隣接ピクセルスケーリング基盤ホール復元部３５０は、水平線７１２の内でホールを検出し、連続するホールピクセル７３０の数を検出する。

隣接ピクセルスケーリング基盤ホール復元部３５０は、ホールを検出するために水平方向にスキャンを行う。隣接ピクセルスケーリング基盤ホール復元部３５０は、連続するホールピクセル７３０の数と同じ個だけのピクセル７４０を選択する。選択されたピクセルは一般的にホールではないピクセルである。選択されたピクセル７４０は、連続するホールピクセル７３０と隣接するピクセルである。選択されたピクセル７４０は、連続するホールピクセル７３０と同一の水平線上にあるピクセルであってもよい。

図７において、選択されたピクセル７４０は連続するホールピクセル７３０の右側にあるピクセルである。しかし、連続するホールピクセル７３０の左側にあるピクセルも選択されたピクセル７４０であってもよい。また、選択されたピクセル７４０は、連続するホールピクセル７３０の右側にあるピクセル及び左側にあるピクセルであってもよい。

隣接ピクセルスケーリング基盤ホール復元部３５０は、選択されたピクセル７４０をホールピクセル７３０に向かう方向にスケーリングすることによってホールを復元する。

例えば、最初に選択されたピクセルのカラー値を用いて最初のホールピクセル及び２番目のホールピクセルのカラー値が生成される。したがって、最初のホールピクセル及び２番目のホールピクセルは最初に選択されたピクセルによって復元される。

選択されたピクセル７４０のスケーリングは、選択されたピクセル７４０が示す領域が２倍に増加され、増加された領域がホールピクセル７３０及び選択されたピクセル７４０が示す領域を代替してもよい。

ここで、ホールピクセル７３０の数及び選択されたピクセル７４０の数は互いに同一である。したがって、選択されたピクセル７４０がそれぞれ２つのピクセルにスケーリングされることによって全てのホールが復元され得る。また、選択されたピクセル７４０は全て均等にスケーリングされ得る。

図８は、一例に係る背景ピクセルを用いる隣接のピクセルスケーリングを説明する。

隣接ピクセルスケーリング基盤ホール復元部３５０は、連続するホールピクセル８１０の数と同じ数だけのホールではないピクセル８２０を選択する。ホールではないピクセル８２０それぞれは両眼視差値を有する。隣接ピクセルスケーリング基盤ホール復元部３５０は、ホールではないピクセル８２０それぞれを両眼視差値に応じて前景ピクセルまたは背景ピクセルに分類する。

例えば、隣接ピクセルスケーリング基盤ホール復元部３５０は、ホールではないピクセル８２０のうち、両眼視差値が予め定義された閾値よりも大きいピクセルを前景ピクセルに分類し、両眼視差値が予め定義された閾値以下のピクセルを背景ピクセルに分類する。

図８において、前の３つのピクセル８３０は背景ピクセルに分類され、最後のピクセル８４０は前景ピクセルに分類される。隣接ピクセルスケーリング基盤ホール復元部３５０は、背景ピクセル８３０をホールピクセル８１０に向かう方向にスケーリングすることによってホールを復元してもよい。

ここで、背景ピクセル８３０の数は、ホールピクセル８１０の数よりも少なくてもよい。したがって、背景ピクセル８３０の全てまたは一部は２つ以上のピクセルにスケーリングされる。また、背景ピクセル８４０は非均等にスケーリングされてもよい。前景ピクセル８４０はスケーリングから除外される。したがって、スケーリングによって前景映像が変形されることを防止することができる。

前述のスケーリング方法は、図７におけるスキャン方向の水平方向にのみピクセル７４０または８３０を拡張させる。したがって、このようなスケーリング方法によって容易に実現することができる。また、このようなスケーリング方法が用いられた場合、小さいサイズのホールが復元されたとしても画質の劣化がそれ程認知されない。

図９は、一例に係る背景の勾配（ｇｒａｄｉｅｎｔ）に垂直な方向にスケーリングについて説明する。

出力ビュー映像９１０はホール９１２を含む。背景９１４のうち特定の形状９１６があり、前述の水平方向へのスケーリングが使用されれば、形状９１６が円滑に維持されない可能性もある。

したがって、このような形状９１６はホール９１２内に含まれた形状９１６のエッジ（ｅｄｇｅ）９１８の方向９２４と垂直方向９２６にスケーリングされる必要がある。

隣接ピクセルスケーリング基盤ホール復元部３５０はホール９１２に隣接する背景ピクセル９２２を選択する。隣接ピクセルスケーリング基盤ホール復元部３５０は、背景ピクセル９２２を含むエッジ９１８の勾配を算出する。背景ピクセル９２２を含むエッジ９１８のその勾配は背景ピクセル９２２の勾配である。隣接ピクセルスケーリング基盤ホール復元部３５０は、エッジ９１８の勾配の垂直方向に連続するホールピクセルの数を検出する。隣接ピクセルスケーリング基盤ホール復元部３５０は、検出された連続するホールピクセルを復元できるようにエッジ９１８の勾配の垂直方向に背景ピクセルをスケーリングする。

すなわち、隣接ピクセルスケーリング基盤ホール復元部３５０は、ホール９１２に隣接する背景ピクセル９２２の勾配と垂直方向に前記隣接する背景ピクセル９２２を含む背景ピクセル（または、背景の一部）をスケーリングすることによってホールを復元してもよい。前記の背景ピクセルは背景ピクセル９２２を含む形状９１６を示す。

ここで、隣接ピクセルスケーリング基盤ホール復元部３５０は、背景ピクセル９２２の勾配と垂直方向に連続するホールピクセルの数を検出し、検出されたホールピクセルの数に基づいてスケーリングに用いられる背景ピクセルを決定し、背景ピクセルがどれ程スケーリングされるかを決定する。

前述した背景ピクセル９２２の勾配と垂直方向へのスケーリングを用いることによって、隣接ピクセルスケーリング基盤ホール復元部３５０は背景ピクセル（例えば、形状９１６）の方向性を維持する上にホール領域を復元することができる。

背景の勾配を用いるスケーリング方法によって背景ピクセルはエッジに直角の方向にスケーリングできる。したがって、背景の勾配を用いるスケーリング方法は、水平方向に行われるスケーリング方法に比べて更に自然な結果を達成できる。背景の勾配を用いるスケーリング方法は相対的に複雑な演算を行わなければならない。

図１０は、一実施形態に係る最適パッチ探索に基づいたホールの復元を説明する。

出力ビュー映像１０１０はホールを含む。ホールに隣接する背景がテクスチャ領域である場合、単に背景ピクセルをスケーリングすることではホールを正確に復元することができない。

ホールに隣接する背景がテクスチャである場合、全体の背景領域において、前記ホールに隣接する背景と最も類似のパッチを検出する。検出されたパッチを用いてホールを復元する。すなわち、ホールに隣接する背景が有するテクスチャと同一または極めて類似するテクスチャが他の背景領域で発見される場合、他の背景領域に隣接する部分がホールを復旧するために用いられてもよい。

まず、パッチを用いて復元する地点を決定する方法について検討する。

背景に隣接するホールから優先処理する方式を用いる。ホールの領域のうち、背景に隣接する部分から順に復元される方法を用いることによって、ホールの復元過程で前景ピクセルが混合されることが構造的に制限されることがある。

最適パッチ探索基盤ホール復元部３６０は、ラスター（ｒａｓｔｅｒ）スキャン方向にホールピクセルを検出する。検出された初期ホール地点１０１２は前景と隣接する。したがって、優先的に復元されるためには適しない地点である。最適パッチ探索基盤ホール復元部３６０は、初期ホール地点１０１２からスキャン方向に連続するホールピクセルを検出する。最適パッチ探索基盤ホール復元部３６０は、連続するホールピクセルの先端を最外郭ホール地点１０１４に設定する。最外郭ホール地点１０１４は背景と隣接する。したがって、前記最外郭ホール地点１０１４と隣接し、ホールではないピクセルのカラー値及び両眼視差値を用いることによって最外郭ホール地点１０１４の周囲のホール領域を復旧することのできるパッチが検索される。

最適パッチ探索基盤ホール復元部３６０は、設定された最外郭ホール地点１０１４に対して最適パッチ探索基盤ホールの復元を行う。下記では最適パッチ探索基盤ホールの復元について説明する。最適パッチ探索基盤ホール復元部３６０は、最外郭ホール地点１０１４と隣接する領域をウィンドウ領域１０１６に設定する。ウィンドウ領域１０１６はＮ×Ｎのピクセルであってもよい。

ウィンドウ領域１０１６はホール領域１０２０及び背景領域１０１８を含む。背景領域１０１８はパッチを探索するために用いられる。ホール領域１０２０は探索されたパッチを用いることによって復旧する領域である。

最適パッチ探索基盤ホール復元部３６０は、全体背景領域でウィンドウ領域１０１６に対応する最適のパッチを検出し、検出されたパッチを用いて設定された最外郭ホール地点１０１４及びホール領域１０２０を復元する。最適のパッチは全体背景領域のうちウィンドウ領域１０１６と最も類似度の高い領域を意味する。

パッチはウィンドウ領域１０１６と同一の大きさを有する。パッチもホール領域１０２０に対応する部分及び背景領域１０１８に対応する部分から構成される。パッチとウィンドウ領域１０１６との間の類似度が算出されてもよい。パッチはウィンドウ領域１０１６と同一の大きさを有し、ホール領域１０２０に対応する部分及び背景領域１０１８に対応する部分から構成される。

特定の部分とウィンドウ領域１０１６との間の類似度が算出される場合、ホール領域１０２０は類似度の算出から除外され、背景領域１０１８のみが類似度の算出のために用いられる。

例えば、パッチのうち背景領域１０１８に対応する一部が背景領域１０１８と同一のカラー値及び両眼視差値を有する場合、パッチは背景領域１０１８と同一であると見なす。したがって、前記のパッチは最適パッチとして選択されてもよい。

最適パッチ探索基盤ホール復元部３６０は、類似度を算出するためにＭＡＤ（Ｍｅａｎ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などの方法を用いてもよい。ＭＡＤ方法はカラー値及び両眼視差値を用いてもよい。

すなわち、複数のパッチのうち、特定のパッチとウィンドウ領域１０１６との間のＭＡＤが最小値である場合、最適パッチ探索基盤ホール復元部３６０は前記の特定のパッチを最適パッチとして選択してもよい。

最適パッチが決定されれば、最適パッチ探索基盤ホール復元部３６０は決定されたパッチのホール領域１０２０に対応する部分を用いてホール領域１０２０を復元する。

図１１は、一例に係るパッチの重複を用いたホールの復元を説明する。

最適パッチ探索基盤ホール復元部３６０は特定のホールピクセル（またはホール領域）を復元するために２つ以上のパッチを用いてもよい。すなわち、最適パッチ探索基盤ホール復元部３６０は、互いに異なる２以上の最外郭ホールの地点に基づいて、２つ以上のウィンドウ領域１１１２及び１１１４を選択してもよい。最適パッチ探索基盤ホール復元部３６０は、２つのウィンドウ領域１１１２及び１１１４それぞれに対する最適パッチを探索してもよく、２つの探索されたパッチ用いてホールを復元してもよい。

２つのウィンドウ領域１１１２及び１１１４が互いにオーバラップされた場合、オーバラップされたホール領域は２つのパッチによって復元されてもよい。

このような場合、最適パッチ探索基盤ホール復元部３６０は、２つのパッチのカラー値の平均値及び両眼視差値の平均値を用いてオーバラップされたホール領域を復元してもよい。

図１２は、一実施形態に係る映像処理方法のフローチャートである。

映像ワーピングステップＳ１２１０において、参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いるイメージワーピングにより出力ビューの映像が生成される。緩衝区間の設定ステップＳ１２２０において、緩衝区間を設定することによって出力ビュー内で生成されたホールが拡大する。両眼視差クラック検出ステップＳ１２３０において、出力ビューの映像のうちクラックがホールに設定される。

隣接の映像基盤ホール復元ステップＳ１２４０において、参照ビューの映像または出力のビュー映像に時間的に隣接する１つ以上の映像を用いることによって出力ビュー内に生成されたホールが復元される。隣接のピクセルスケーリング基盤ホール復元ステップＳ１２５０において、ホールと隣接する１つ以上のピクセルをスケーリングすることによってホールが復元される。

最適パッチ探索基盤ホール復元ステップＳ１２６０において、ホールが含まれる領域と最も類似のパッチを背景から探索し、探索されたパッチを用いることによってホールが復元される。

上記で図１〜図１１を参照して説明された本発明の一実施形態に係る技術的内容が図１２に示す映像処理方法の実施形態にそのまま適用され得る。したがって、本詳細な説明は以下では省略することにする。

本発明の一実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうちの１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コード（ｍａｃｈｉｎｅ ｃｏｄｅ）だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コード（ｈｉｇｈｅｒ ｌｅｖｅｌ ｃｏｄｅ）を含む。上述したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアのレイヤで動作するように構成されてもよい。

図１３は一例に係る映像処理装置を含むディスプレイデバイスを示す。図１３を参照すれば、マルチビューディスプレイデバイス１３００は制御部１３１０及び映像処理装置１３０５を備えてもよい。

マルチビューディスプレイデバイス１３００は、３Ｄ映像を表示するための３Ｄディスプレイの形態を有してもよく、３つ以上の相異なる視点におけるマルチビュースキーム（ｓｃｈｅｍｅ）を採用してもよい。選択的に、マルチビューディスプレイデバイス１３００は、左側映像及び右側映像を出力する立体表示の形態を有し得る。

制御部１３０１は、マルチビューディスプレイデバイス１３００を制御するための１つ以上の制御信号を生成してもよく、マルチビューディスプレイデバイス１３００によって表示される１つ以上の信号を生成してもよい。制御部１３０１は１つ以上のプロセッサを備えてもよい。

映像処理装置１３０５は、マルチビューディスプレイデバイス１３００のためのマルチビュー映像を生成するために用いられてもよく、例えば、映像ワーピング部、緩衝区間設定部、両眼視差クラック検出部、隣接映像基盤ホール復元部、隣接ピクセルスケーリング基盤ホール復元部、及び最適パッチ探索基盤ホール復元部の１つ以上を任意に備えてもよい。図１３では前記のユニットは図示していない。しかし、このようなユニットのそれぞれは、例えば図３を参照して、ここで説明された類似に命名されたユニットに対応する。したがって、本実施形態においてこれ以上説明しない。

映像処理装置１３０５は、マルチビューディスプレイデバイス１３００の中に内部的に設けられてもよく、マルチビューディスプレイデバイス１３００に取付けられてもよく、マルチビューディスプレイデバイス１３００とは別に実現してもよい。映像処理装置１３０５の物理的な構成に関係なく、映像処理装置１３０５は図１〜図１２を参照して前述された能力を有し得る。映像処理装置１３０５は１つ以上の内部プロセッサを含んでもよい。または、前記の１つ以上のプロセッサは、制御部１３０１の１つ以上のプロセッサと共にマルチビューディスプレイデバイス１３００内に含まれてもよい。

前述された３Ｄ映像装置及び方法は、多様なビデオフォーマット（ｆｏｒｍａｔ）を応用することができる。前記のビデオフォーマットはＨ．２６４／ＭＰＥＧ−４ＡＶＣ、高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＨＥＶＣ）、ディラック（Ｄｉｒａｃ）ビデオ圧縮フォーマット、及びＶＣ−１等のようなフォーマットを含んでもよく、前述のフォーマットに制限されることはない。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

３００ 映像処理装置
３１０ 映像ワーピング部
３４０ 隣接映像基盤ホール復元部
３５０ 隣接ピクセルスケーリング基盤ホール復元部
３６０ 最適パッチ探索基盤ホール復元部

Claims (41)

1. １つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、
   参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、
   前記映像ワーピングに関連する映像に時間的に隣接する１つ以上の映像を用いて前記映像ワーピングによって生成されたホールを復元する隣接映像基盤ホール復元部と、
   を備えることを特徴とする映像処理装置。
2. 前記時間的に隣接する１つ以上の映像は前記参照ビューの映像に時間的に隣接する映像であることを特徴とする請求項１に記載の映像処理装置。
3. 前記時間的に隣接する１つ以上の映像は前記出力ビューの映像に時間的に隣接する映像であることを特徴とする請求項１に記載の映像処理装置。
4. 前記隣接映像基盤ホール復元部は、前記ホール内のピクセルを復元するために前記時間的に隣接する映像内の前記ホール内の前記ピクセルに対応するピクセルのカラー値を用いることを特徴とする請求項１に記載の映像処理装置。
5. 前記隣接映像基盤ホール復元部は、前記参照ビューの映像及び前記時間的に隣接する映像が時間に応じて全体的に移動した場合、前記移動に基づいて前記時間的に隣接する映像内で前記ホール内の前記ピクセルに対応するピクセルを選択することを特徴とする請求項４に記載の映像処理装置。
6. 前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルに対応する１つ以上のホールピクセルを除くことによって取得されたピクセルを用いて前記ホールを復元することを特徴とする請求項４に記載の映像処理装置。
7. 前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルに対応するピクセルのうち背景ピクセルのみを前記ホールを復元するために用いることを特徴とする請求項４に記載の映像処理装置。
8. 前記映像ワーピングによって生成されたホールを拡大する緩衝区間設定部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
9. 前記緩衝区間設定部は、前記ホールに隣接する緩衝領域を前記ホールと見なすことによって前記ホールを拡大し、
   前記隣接映像基盤ホール復元部は、前記ホール内の前記ピクセルが前記緩衝領域内のピクセルである場合、前記ホール内の前記ピクセルのカラー値に基づいて前記ホール内の前記ピクセルを復元することを特徴とする請求項８に記載の映像処理装置。
10. 前記出力ビューの映像のうちクラックを前記ホールに設定する両眼視差クラック検出部をさらに備えることを特徴とする請求項１に記載の映像処理装置。
11. 前記両眼視差クラック検出部は、隣接するピクセルとの両眼視差値の差の総和が予め定義された閾値よりも大きいピクセルをクラックとして検出することを特徴とする請求項１０に記載の映像処理装置。
12. １つ以上のプロセッサ実行可能なユニットを制御するプロセッサと、
    参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、
    前記映像ワーピングによって生成されたホールを前記ホールと隣接する１つ以上のピクセルをスケーリングすることによって復元する隣接ピクセルスケーリング基盤ホール復元部と、
    を備えることを特徴とする映像処理装置。
13. 前記隣接ピクセルスケーリング基盤ホール復元部は、前記１つ以上のピクセルのうち１つ以上の背景ピクセルをスケーリングすることを特徴とする請求項１２に記載の映像処理装置。
14. 前記ホール及び前記１つ以上のピクセルは同一の水平線上にあることを特徴とする請求項１２に記載の映像処理装置。
15. 前記隣接ピクセルスケーリング基盤ホール復元部は、前記ホールに隣接する背景ピクセルの勾配と垂直方向に前記１つ以上のピクセルをスケーリングし、前記背景ピクセルは前記１つ以上のピクセルのうち１つのピクセルであることを特徴とする請求項１２に記載の映像処理装置。
16. １つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、
    参照ビューの映像及び前記参照ビューの映像の両眼視差情報を用いる映像ワーピングによって出力ビューの映像を生成する映像ワーピング部と、
    前記映像ワーピングによって生成されたホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによって前記ホールを復元する最適パッチ探索基盤ホール復元部と、
    を備えることを特徴とする映像処理装置。
17. 前記ホールが含まれる領域はホール領域及び背景領域に構成され、
    前記最適パッチ探索基盤ホール復元部は、前記探索されたパッチのうち前記ホール領域に対応する部分を用いて前記ホール領域を復元することを特徴とする請求項１６に記載の映像処理装置。
18. 前記最適パッチ探索基盤ホール復元部は第１領域のための第１パッチを探索し、第２領域のための第２パッチを探索し、前記第１パッチ及び前記第２パッチの平均値を用いて前記第１領域及び前記第２領域で重なるホールの部分を復元することを特徴とする請求項１６に記載の映像処理装置。
19. プロセッサによって参照ビューの映像の両眼視差情報に基づいて前記参照ビューの映像をイメージワーピングすることで出力ビューの映像を生成する映像ワーピングステップと、
    前記映像ワーピングに関連する映像に時間的に隣接する１つ以上の映像を用いて前記出力ビュー内に生成されたホールを復元する隣接の映像基盤ホール復元ステップと、
    を含むことを特徴とする映像処理方法。
20. 前記時間的に隣接する映像は、前記参照ビューの映像に時間的に隣接する１つ以上の映像であることを特徴とする請求項１９に記載の映像処理方法。
21. 前記時間的に隣接する映像は、前記出力ビューの映像に時間的に隣接する１つ以上の映像であることを特徴とする請求項１９に記載の映像処理方法。
22. 前記ホールを拡大する緩衝区間の設定ステップと、
    前記出力ビューの映像のうちクラックを前記ホールに設定する両眼視差クラック検出ステップと、
    をさらに含むことを特徴とする請求項１９に記載の映像処理方法。
23. 前記ホールを前記ホールと隣接する１つ以上のピクセルをスケーリングすることによって復元する隣接のピクセルスケーリング基盤ホール復元ステップと、
    前記ホールが含まれる領域と最も類似のパッチを背景から探索し、前記探索されたパッチを用いることによって前記ホールを復元する最適パッチ探索基盤ホール復元ステップと、
    をさらに含むことを特徴とする請求項１９に記載の映像処理方法。
24. 請求項１９〜請求項２３のいずれか一項の方法を行うプログラムを収録したコンビュータで読み出し可能な記録媒体。
25. １つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、
    参照ビューの映像及び前記参照ビューの映像の両眼視差情報に基づいて出力ビューの映像を生成する映像生成部と、
    前記生成に関連する映像に時間的に隣接する１つ以上の映像の背景情報を用いて前記生成された出力ビューの映像内のホールを復元する隣接映像基盤ホール復元部であって、前記ホールは前記出力ビューの生成の結果として生成される、隣接映像基盤ホール復元部と、
    を備えることを特徴とするマルチビュー生成装置。
26. 前記時間的に隣接する１つ以上の映像は、前記参照ビューの映像に時間的に隣接する映像であることを特徴とする請求項２５に記載のマルチビュー生成装置。
27. 前記時間的に隣接する１つ以上の映像は、前記出力ビューの映像に時間的に隣接する映像であることを特徴とする請求項２５に記載のマルチビュー生成装置。
28. 前記映像生成部は、前記参照ビューからデータを内挿または外挿することによって前記出力ビューの映像を生成することを特徴とする請求項２５に記載のマルチビュー生成装置。
29. １つ以上のプロセッサの実行可能なユニットを制御するプロセッサと、
    少なくとも１つの参照ビューの映像に基づいて出力ビューの映像を生成する映像生成部と、
    前記生成された出力ビューの映像の予め定義されたオブジェクト内のクラックを検出する両眼視差クラック検出部であって、前記予め定義されたオブジェクトは、前記予め定義されたオブジェクトの相異なる部分に割り当てられた異なる両眼視差値をもって、前記クラックは前記少なくとも１つの参照ビューの映像に基づいて前記出力ビューの映像を生成したことに起因して前記予め定義されたオブジェクト内に発生する、両眼視差クラック検出部と、
    前記クラックをホールとして再び割り当て、前記生成に関連する映像に時間的に隣接する１つ以上のフレームの背景情報を用いることによって前記生成された出力ビューの映像の現在のフレーム内に存在する前記ホールを復元するマルチビュー生成部と、
    を備えることを特徴とするマルチビュー生成装置。
30. 前記時間的に隣接する１つ以上のフレームは、前記参照ビューの映像に時間的に隣接するフレームであることを特徴とする請求項２９に記載のマルチビュー生成装置。
31. 前記時間的に隣接する１つ以上のフレームは、前記出力ビューの映像に時間的に隣接するフレームであることを特徴とする請求項２９に記載のマルチビュー生成装置。
32. 前記両眼視差クラック検出部は、隣接するピクセルとの両眼視差値の差の総和が予め定義された閾値よりも大きいピクセルをクラックとして検出することを特徴とする請求項２９に記載のマルチビュー生成装置。
33. 前記時間的に隣接するフレームは、少なくとも１つの時間的に前記現在のフレームの以前に発生したフレーム及び前記現在のフレームの以後に発生したフレームであることを特徴とする請求項２９に記載のマルチビュー生成装置。
34. プロセッサによって少なくとも１つの参照ビューの映像に基づいて出力ビューの映像を生成するステップと、
    前記生成された出力ビューの映像の予め定義されたオブジェクト内のクラックを検出するステップであって、前記予め定義されたオブジェクトは、前記予め定義されたオブジェクトの相異なる部分に割り当てられた異なる両眼視差値をもって、前記クラックは前記少なくとも１つの参照ビューの映像に基づいて前記出力ビューの映像を生成したことに起因して前記予め定義されたオブジェクト内に発生する、ステップと、
    前記クラックをホールとして再び割り当て、前記生成に関連する映像に時間的に隣接する１つ以上のフレームの背景情報を用いることによって前記生成された出力ビューの映像の現在のフレーム内に存在する前記ホールを復元するステップと、
    を含むことを特徴とするマルチビュー生成方法。
35. 前記時間的に隣接する１つ以上のフレームは、前記参照ビューの映像に時間的に隣接するフレームであることを特徴とする請求項３４に記載のマルチビュー生成方法。
36. 前記時間的に隣接する１つ以上のフレームは、前記出力ビューの映像に時間的に隣接するフレームであることを特徴とする請求項３４に記載のマルチビュー生成方法。
37. 隣接するピクセルとの両眼視差値の差の総和が予め定義された閾値よりも大きいピクセルがクラックとして検出されることを特徴とする請求項３４に記載のマルチビュー生成方法。
38. 前記時間的に隣接するフレームは、少なくとも１つの時間的に前記現在のフレームの以前に発生したフレーム及び前記現在のフレームの以後に発生したフレームであることを特徴とする請求項３４に記載のマルチビュー生成方法。
39. 映像処理装置を備えるディスプレイデバイスにおいて、
    参照ビューの映像及び前記参照ビューの映像の両眼視差情報に基づいて出力ビューの映像を生成する映像ワーピング部と、
    前記生成に関連する映像に時間的に隣接する１つ以上の映像を用いてホールを復元する隣接映像基盤ホール復元部であって、前記ホールは前記出力ビューを生成することによって生成される、隣接映像基盤ホール復元部と、
    前記隣接映像基盤ホール復元部によって復元された前記ホールを有する前記生成された出力ビューの映像に基づいて前記ディスプレイデバイスによって表示される信号を生成する制御部と、
    を備える映像処理装置を備えることを特徴とするディスプレイデバイス。
40. 前記時間的に隣接する１つ以上の映像は、前記参照ビューの映像に時間的に隣接する映像であることを特徴とする請求項３９に記載のディスプレイデバイス。
41. 前記時間的に隣接する１つ以上の映像は、前記出力ビューの映像に時間的に隣接する映像であることを特徴とする請求項３９に記載のディスプレイデバイス。