JP5985910B2 - ホールレンダリングを用いるマルチビュー映像処理方法及び装置 - Google Patents

Description

本発明はマルチビュー映像を処理するための方法及び装置に関する。

優先順位に基づいたホールレンダリングを用いてマルチビュー映像を生成する方法及び装置が開示される。

マルチビュー（ｍｕｌｔｉ−ｖｉｅｗ）映像（ｉｍａｇｅ）装置は異なる視点における複数の動画を出力する。全てのマルチビュー動画に関する情報がリアルタイムで映像装置に送信及び格納される場合、高い仕様の格納装置、高い仕様の送信線、及び高い帯域幅が要求される。すなわち、マルチビュー構造の映像を生成し、生成された映像を公衆波網または有線ネットワーク網を介して各家庭のテレビに送信することは高い費用を要求する。

したがって、少数（例えば、１〜３個）の入力ビューのみが生成され、入力ビューの伝達された映像処理装置（例えば、テレビ）が入力ビューを用いてマルチビュー映像を生成する方式が用いられる必要がある。

制限された数の入力ビューを用いてマルチビュー映像を生成する場合、入力ビューでは前景オブジェクトによって隠された背景の閉塞（ｏｃｃｌｕｓｉｏｎ）領域がマルチビュー映像内ではホール領域に現れる。下記特許文献を参照。
大韓民国公開特許第２０１０−００８８７７４号 大韓民国公開特許第２０１１−００３６５９１号 大韓民国公開特許第２００７−００６１０１１号 大韓民国公開特許第２０１１−００５９８０３号

本発明の一実施形態は、ホール領域内の画素に優先順位を付与し、優先順位の降順にホール領域内の画素を復元する装置及び方法を提供する。

本発明の一実施形態は、ターゲットパッチ内の背景に関する情報を用いて類似のソースパッチを探索し、探索されたソースパッチを用いてターゲットパッチを復元する装置及び方法を提供する。

本発明の一側面によれば、少なくとも１つの入力ビュー及び前記少なくとも１つの入力ビューに対応する視差情報を用いて出力ビュー及び前記出力ビューに対応する視差情報を生成するステップと、前記出力ビューに対応する視差情報を用いて前記出力ビュー内のホールを示す各ホール画素に対する優先順位を生成するステップと、前記優先順位の降順に前記各ホール画素にホールレンダリングを適用するステップとを含む映像処理方法が提供される。

本発明の他の一側面によれば、少なくとも１つの入力ビュー及び前記入力ビューに対応する視差情報を用いて出力ビュー及び前記出力ビューに対応する視差情報を生成する出力ビュー生成部と、前記出力ビューに対応する視差情報を用いて前記出力ビュー内のホールを示す各ホール画素に対する優先順位を生成する優先順位生成部と、前記優先順位の降順に前記各ホール画素にホールレンダリングを適用するホールレンダリング部とを備える映像処理装置が提供される。

本発明によると、ホール領域内の画素に優先順位を付与し、優先順位の降順にホール領域内の画素を復元する装置及び方法を提供することができる。

本発明によると、ターゲットパッチ内の背景に関する情報を用いて類似のソースパッチを探索し、探索されたソースパッチを用いてターゲットパッチを復元する装置及び方法を提供することができる。

本発明の一実施形態に係る映像処理装置の構造図である。 本発明の一例に係る優先順位生成部の構造図である。 本発明の一例に係る背景隣接ホール境界を説明する図である。 本発明の一例に係る構造優先順位の算出を説明する図である。 本発明の一例に係る左側方向に生成された出力ビューの構造体を判別した結果を説明する図である。 本発明の一例に係る右側方向に生成された出力ビューの構造体を判別した結果を説明する図である。 本発明の一例に係る確信優先順位の決定方法を説明する図である。 本発明の一例に係る視差優先順位の決定方法を説明する図である。 本発明の一例に係るホールレンダリング部の構造図である。 本発明の一例に係る最適ソースパッチ探索方法を説明する図である。 本発明の一実施形態に係る映像処理方法のフローチャートである。

以下、本発明の一実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同じ参照符号は同じ部材を示す。

下記の実施形態において、全ての入力イメージ及び前記イメージに対応する入力深度マップは整流（ｒｅｃｔｉｆｉｙ）されたものである。

ここで、「整流」とは、入力イメージ間の全ての対応が同一のスキャンライン（ｓｃａｎ ｌｉｎｅ）上で検出されたものを意味する。２つのイメージ内にある２つの画素が互いに対応する場合、２つの画素は同一のｙ座標値を有する。

「深度（ｄｅｐｔｈ）」及び「視差（ｄｉｓｐａｒｉｔｙ）」は、相互間に定数項（ｃｏｎｓｔａｎｔ ｔｅｒｍ）によって逆相関されることがある。したがって、下記の実施形態における用語の「深度」及び「視差」は相互交換されて用いられてもよい。

下記の実施形態は、出力ビューが水平視差（ｈｏｒｉｚｏｎｔａｌ ｐａｒａｌｌａｘ）のみを有するものを基準にして説明する。すなわち、下記の実施形態は、水平ビュー内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）及び外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）を基準にして説明される。しかし、下記の実施形態は出力ビューが垂直視差を有する場合にも適用されてもよい。すなわち、下記の実施形態は垂直ビュー内挿及び外挿にも適用される。また、下記の実施形態は単に単一ビュー（すなわち、単一イメージ及び深度マップ）が入力として与えられた場合にも有効であり得る。

図１は、本発明の一実施形態に係る映像処理装置の構造図である。映像処理装置１００は、出力ビュー生成部１１０、優先順位生成部１２０、及びホールレンダリング部１３０を備える。

出力ビュー生成部１１０は、少なくとも１つの入力ビュー及び入力ビューに対応する視差情報を用いて出力ビュー及び出力ビューに対応する視差情報を生成する。入力ビューはｘ座標値及びｙ座標値を有する画素を含んでもよい。入力ビューの視差情報は入力ビュー内の各画素の視差値を示す。入力ビューは同じエピポーラ（ｅｐｉｐｏｌａｒ）線上で撮影された映像であってもよい。

出力ビューは任意の視点におけるビューであってもよい。出力ビュー生成部１１０は、視差情報を用いて入力ビューを投影することで出力ビューを生成する。出力ビュー生成部１１０は、Ｎ個の入力ビューからＭ個の出力ビューを生成する。ここで、Ｎ＜Ｍである。出力ビューはホールを含んでもよい。ホールに対応する画素をホール画素と称する。

優先順位生成部１２０は、出力ビューに対応する視差情報を用いて出力ビュー内のホールを示す各ホール画素に対する優先順位を生成する。優先順位生成部１２０は、定量化された優先順位を出力ビュー内のホールを示す各ホール画素に割り当てる。

ホールレンダリング部１３０は、優先順位の降順に各ホール画素にホールレンダリングを適用してもよい。ホールレンダリング部１３０は、優先順位が最も高いホール画素から順次に各ホール画素にホールレンダリングを適用してもよい。ホールレンダリング部１３０は、ホールレンダリングが適用されたレンダリングされた出力ビューを生成する。

パッチ（ｐａｔｃｈ）は一定の範囲を有する領域を表し、四角形などの形態を有してもよい。ホール画素のパッチはホール画素を含むパッチを意味する。すなわち、ホール画素のパッチはホール画素を中心に有するブロックを意味する。

ホール画素に対するホールレンダリングはパッチ単位に適用される。すなわち、ホールレンダリング部１３０はホール画素にホールレンダリングを適用するとき、ホール画素を含むパッチ全体にホールレンダリングを適用してもよい。パッチは１つ以上のホール画素を含んでもよい。したがって、ホールレンダリングの対象になるホール画素を含むパッチをターゲットパッチ（ｔａｒｇｅｔ ｐａｔｃｈ）と称する。ターゲットパッチをレンダリングするために用いられるパッチをソースパッチ（ｓｏｕｒｃｅ ｐａｔｃｈ）と称する。すなわち、ホールレンダリング部１３０は、ソースパッチをホール画素を含むターゲットパッチにコピーすることによってホール画素にホールレンダリングを適用してもよい。

映像処理装置１００は深度−視差変換部１４０をさらに備えてもよい。深度−視差変換部１４０は、少なくとも１つの入力ビューに対応する深度情報を視差情報に変換する。したがって、出力ビュー生成部１１０は、少なくとも１つの入力ビュー及び入力ビューに対応する深度情報を用いて出力ビュー及び出力ビューに対応する深度情報（または視差情報）を生成する。

下記で説明される本発明の実施形態及び例で視差情報（または視差）及び深度情報（または深度）は相互交換されて用いられてもよい。

図２は、本発明の一例に係る優先順位生成部の構造図である。優先順位生成部１２０は、背景隣接ホール境界決定部２１０、構造優先順位演算部２２０、確信優先順位演算部２３０、視差割当部２４０、及び視差優先順位演算部２５０を備えてもよい。

背景隣接ホール境界決定部２１０は、出力ビュー生成部１１０が出力ビューを生成するために適用した投影の方向に基づいて出力ビュー内の前景に隣接するホール画素よりも背景に隣接するホール画素に高い優先順位を付与する。背景隣接ホール境界決定部２１０は、出力ビュー生成部１１０が出力ビューを生成するために適用した投影の方向に基づいて出力ビュー内の前景に隣接するホール画素よりも背景に隣接するホール画素が優先的に処理されるように各ホール画素に優先順位を付与する。

構造優先順位演算部２２０は、出力ビュー内の視覚的に強い構造体内にあるホール画素に高い優先順位を付与してもよい。すなわち、構造優先順位演算部２２０は、視覚的に強い構造体内のホール画素が優先的に処理されるように各ホール画素に優先順位を付与してもよい。ここで、視覚的に強い構造体は、コーナー、テクスチャー、及びエッジの１つ以上を含んでもよい。

構造優先順位演算部２２０は、ホール画素と隣接する領域内にホール画素を含むパッチと同じパターンを有するパッチの数が少ないホール画素に高い優先順位を付与してもよい。構造優先順位演算部２２０は、第１同一パターンパッチの数が第２同一パターンパッチの数よりも少ない場合、第１ホール画素に第２ホール画素よりも高い優先順位を付与してもよい。ここで、第１同一パターンパッチは第１ホール画素を含む第１パッチと同じパターンを有する第１ホール画素と隣接する領域内のパッチを意味し、第２同一パターンパッチは第２ホール画素を含む第２パッチと同じパターンを有する第２ホール画素と隣接する領域内のパッチを意味する。隣接する領域は出力ビュー全体であってもよい。

ホール画素のパッチはホール画素を含む四角形の領域を意味する。ホール画素のパッチはホール画素が中心の四角形の領域であってもよい。

確信優先順位演算部２３０は、ホール画素を含むパッチ内にホールではない画素の数が多いほどホール画素に高い優先順位を付与してもよい。

出力ビュー生成部１１０によって生成された視差情報はホール画素に対応する視差値を有しないこともある。視差割当部２４０はホール画素の視差を算出してもよい。視差割当部２４０は、ホール画素に隣接する画素の視差に基づいてホール画素の視差を算出してもよい。

視差優先順位演算部２５０は、視差割当部２４０によって割り当てられたホール画素の視差に基づいてホール画素に優先順位を付与してもよい。視差割当部２４０は、大きい視差を有するホール画素よりも小さい視差を有するホール画素にさらに高い優先順位を付与してもよい。

すなわち、ホール画素の優先順位は、（１）ビュー投影方向による背景隣接ホール境界に隣接するか否かを表す背景隣接ホール境界優先順位、（２）ホール画素が強い構造体内にあるか否かを表す構造体優先順位、（３）ホール画素を含むターゲットパッチ内のホールではない画素の数に応じて決定される確信優先順位、及び（４）ホール画素の視差により決定される視差優先順位の中の１つ以上によって決定されてもよい。

図２に示すように、ホール画素の優先順位を決定する構成要素２１０から２５０もそれぞれ優先順位を有する。

例えば、背景隣接ホール境界決定部２１０によってホール画素の１次優先順位が決定されてもよく、同じ１次優先順位を有するホール画素間の２次優先順位が構造優先順位演算部２２０、確信優先順位演算部２３０、視差割当部２４０、及び視差優先順位演算部２５０によって決定されてもよい。図２において、構造優先順位演算部２２０、確信優先順位演算部２３０、及び視差優先順位演算部２５０によって決定された値が結合してホール画素の２次優先順位が算出されてもよい。

または、背景隣接ホール境界決定部２１０は、入力ビューが任意の視点にワーピングされることによって生成された初期の出力ビュー内のホール境界のうち、投影の方向による背景隣接ホール境界を先に決定する。背景隣接ホール境界決定部２１０は、背景隣接ホール境界内のホール画素を最優先的にレンダリングされるホール画素として決定してもよい。次に、背景隣接ホール境界内のホール画素間の定量化された優先順位が構造優先順位演算部２２０、確信優先順位演算部２３０、及び視差優先順位演算部２５０が生成した優先順位を組み合わせることによって算出されてもよい。

図３は、本発明の一例に係る背景隣接ホール境界を説明する図である。図３は、入力ビュー３１０及び入力ビュー３１０の視差情報３２０を用いて生成されたマルチビュー出力映像３３０及び３４０を示す。

入力ビュー３１０は前景３１２及び背景３１４を含む。視差情報３２０も前景３２２及び背景３２４を含む。入力ビュー３１０及び視差情報３２０に基づいて１つ以上の出力ビュー３３０及び３４０が生成される。第１出力ビュー３３０の視点は入力ビュー３１０の視点よりも左側にある。第２出力ビュー３４０の視点は入力ビュー３１０の視点よりも右側にある。出力ビュー生成部１１０は、入力ビュー３１０を用いる外挿によって第１出力ビュー３３０及び第２出力ビュー３４０を生成する。すなわち、第１出力ビュー３３０及び第２出力ビュー３４０は外挿ビューである。

観測位置（すなわち、視点）に応じて相対的に視差の大きい前景３１２（すなわち、前景３１２を示すオブジェクト）は相対的に視差の小さい背景３１４に比べて多く動く。このような動きの差によって、入力ビュー３１０内では前景３１２によって隠されていた背景の領域は出力ビュー映像３３０または３４０内でホール３３２または３４２に表す。出力ビュー３３０または３４０内で発生するホール３３２または３４２は、視差情報３２０内の視差境界（すなわち、視差値が変わる地点）における視差値の差によって入力ビューが投影される位置に差が生じることで発生する。

ホール領域及びホールではない領域間の境界（以下、ホール境界と称する）のうち、ビュー投影の方向による背景隣接ホール境界３３４及び３４４が表示された。

ホール３３２または３４２は、入力ビュー３１０内では前景３１２によって隠されていた背景領域である。したがって、ホール３３２または３４２の領域は、ホール３３２または３４２の領域に隣接する背景３１４または３２４の領域のみを用いて復元される必要がある。したがって、ホール境界に該当する画素のうち、背景３１４または３２４に隣接する画素から順にホール復元が行われることによって、ホール３３２または３４２の領域に前景３１２または３２２の情報が拡大されるというエラーを防止することができる。

第１出力ビュー３３０のように、入力ビュー３１０の左側方向に任意の視点におけるビューが生成されれば、ホール境界のうち左側のホール境界が背景と隣接する。第２出力ビュー３４０のように、入力ビュー３１０の右側方向に任意の視点におけるビューが生成されれば、ホール境界のうち右側のホール境界が背景と隣接する。

したがって、出力ビュー生成部１１０が入力ビューの視点で水平方向に移動した任意の視点における出力ビューを生成した場合、背景隣接ホール境界決定部２１０は、出力ビューの視点が入力ビューの視点よりも左側であれば、特定の水平ライン内のホール画素のうちホール境界の左側に最外郭に位置する画素を背景と隣接しているホール境界として設定してもよく、出力ビューの視点が入力ビューの視点よりも右側であれば、特定の水平ライン内のホール画素のうちホール境界の右側に最外郭に位置する画素を背景と隣接しているホール境界として設定してもよい。

また、出力ビュー生成部１１０が入力ビューの視点で垂直方向に移動した任意の視点における出力ビューを生成した場合、背景隣接ホール境界決定部２１０は、出力ビューの視点が入力ビューの視点よりも上側であれば、特定の垂直ライン内のホール画素のうちホール境界の上側に最外郭に位置する画素を背景と隣接しているホール境界画素として設定してもよく、出力ビューの視点が入力ビューの視点よりも下側であれば、特定の垂直ライン内のホール画素のうちホール境界の下側に最外郭に位置する画素を背景と隣接しているホール境界画素として設定してもよい。

優先順位生成部１２０は、出力ビュー内で設定された全てのホール境界画素のホール優先順位を算出してもよい。優先順位生成部１２０は、出力ビュー内で設定された各ホールを境界画素に対して構造優先順位値、確信優先順位値、及び視差優先順位値を算出し、構造優先順位値、確信優先順位値、及び視差優先順位値を組み合わせることによってホール境界画素の優先順位を決定する。

図４は、本発明の一例に係る構造優先順位の算出を説明する図である。

構造優先順位演算部２２０は、各ホールを境界画素に対してホール境界画素が視覚的に強い構造体内にある画素であるか否かを分析し、分析の結果を定量化し、定量化された分析の結果を用いてホール境界画素の構造体優先順位を算出してもよい。ホール境界に隣接する複数のホール境界画素のうち、主要な構造体を示すホール境界画素を優先的に復元することによって、ホールレンダリング部１３０は、出力ビュー内の主要な構造体を維持しながらホールレンダリングを行うことができる。

下記では構造体成分を分析するための例について説明する。

（ホールを含むターゲットパッチと同じパターンを有するパッチの数に基づいて構造体を判別する方法）
図４において、コーナーを表す第１出力ビュー４１０、エッジを示す第２出力ビュー４２０、及び均一な映像を示す第３出力ビュー４３０が示される。また、出力ビュー４１０、４２０及び４３０のターゲットパッチ４１６、４２６及び４３６が示される。

コーナー領域を含む第１出力ビュー４１０は、異なる色または視差を有する２つの領域４１２及び４１４から構成される。エッジ領域を含む第２出力ビュー４２０は、異なる色または視差を有する２つの領域４２２及び４２４から構成される。均一な領域のみを示す第３出力ビュー４３０は単一の領域４３４から構成される。

構造優先順位演算部２２０は、ホール画素と隣接する領域内にホール画素が表す構造体と同じ構造体を数の少ないほどホール画素に高い優先順位を付与してもよい。構造優先順位演算部２２０は、ホール画素と隣接する領域内にホール画素を含むターゲットパッチと同じパターンを有するパッチの数が少ないほどホール画素に高い優先順位を付与してもよい。

各出力ビュー４１０、４２０または４３０の下段にはパッチ検索結果を表す映像４４０、４５０または４６０が示される。各映像４４０、４５０、４６０において白色の部分はターゲットパッチ４１６、４２６、または４３６と同じパターンを有するパッチの中心を表す。第１出力ビュー４１０内で（または、ターゲットパッチ４１６と隣接する領域内で）ターゲットパッチ４１６と同じパターンを有するパッチはターゲットパッチ４１６そのものだけである。したがって、第１映像４４０内で白色の部分は単なる１つの点だけである。

第２出力ビュー４２０内で、ターゲットパッチ４２６と同じパターンを有するパッチは、第１領域４２４と第２領域４２２との間の境界をなす斜線に沿って（すなわち、エッジ方向に沿って）存在する。したがって、第２映像４５０内で白色の部分は上記の斜線である。

第３出力ビュー４３０内の全てのパッチはターゲットパッチ４３６と同じパターンを有する。したがって、第３映像４６０内で白色の部分は第３映像４６０の全体である。

ターゲットパッチが任意の形態を有する任意テクスチャーである場合、ターゲットパッチは、コーナー領域を示すターゲットパッチと類似の特性を有する。ターゲットパッチが同じ形態が反復される反復テクスチャーである場合、ターゲットパッチはエッジ領域を示すターゲットパッチと類似の特性を有する。

したがって、構造優先順位演算部２２０は、（１）コーナーを表すホール画素、（２）任意テクスチャーを表すホール画素、（３）エッジを表すホール画素、（４）反復テクスチャーを表すホール画素、（５）均一の領域を表すホール画素の順に高い優先順位を付与してもよい。

２つのパッチのパターンが同一であるか否かは、２つのパッチの対応する画素間の赤緑青（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ、ＲＧＢ）値の差によって決定される。すなわち、構造優先順位演算部２２０はターゲットパッチ及び特定のパッチに対して、両パッチの対応する画素間のＲＧＢ値の差を算出してもよい。構造優先順位演算部２２０は、両パッチの全てに対応する画素のＲＧＢ値の差を和し、上記の和が基準値以下である場合、特定のパッチがターゲットパッチと同じパターンを有するパッチであるものと決定する。

構造優先順位演算部２２０は、探索領域内でホール画素を含むパッチとの画素別のＲＧＢ値の差の平均（または総和）が基準値以下である地点（すなわち、パッチの位置）の数の逆数をホール画素の構造体優先順位として用いる。ここで、探索領域は同じパターンを有するパッチを探索する領域である。例えば、第１出力ビュー４１０のホール画素の構造体優先順位が１／１である。第３出力ビュー４３０のホール画素の構造体優先順位は１／（探索領域内の画素の数）である。

前述した方式によってホールレンダリング部１３０はホール領域周辺の主要な構造体が存在する地点（すなわち、ホール画素）に対して優先的にホールレンダリングを適用してもよい。

（ホール境界画素の明度値の変化分の大きさに基づいて構造体を判別する方法）
構造優先順位演算部２２０は、下記の数式（１）で説明するように、ホール境界画素の明度値の水平方向への変化分（例えば、勾配（ｇｒａｄｉｅｎｔ）値）及び垂直方向への変化分を算出し、水平方向への変化分及び垂直方向への変化分の幾何平均に基づいてホール境界画素の優先順位を決定する。

ここで、ｘ及びｙはホール境界画素の座標を示す。Ｉ（ｘ、ｙ）はホール境界画素の明度値を示す。Ｉ_ｘはホール境界画素の明度値の水平方向への変化分を示す。Ｉ_ｙはホール境界画素の明度値の垂直方向への変化分を示す。Ｇ（Ｉ）はホール境界画素の明度値の勾配値を示す。

ホール境界画素の明度値の変化分の大きさを用いることによって、構造優先順位演算部２２０はホール境界画素の優先順位を決定してもよい。すなわち、構造優先順位演算部２２０は、変化分の大きさを０以上１以下の値に正規化してもよく、正規化された値をホール画素の構造体優先順位の定量化された値として用いてもよい。したがって、構造優先順位演算部２２０は、相対的に明度値の差が大きいエッジ成分（すなわち、エッジを示すホール境界画素）から優先的にホールレンダリングが適用されるように構造体優先順位を設定してもよい。

図５は、本発明の一例に係る左側方向に生成された出力ビューの構造体を判別した結果を説明する図である。第１出力ビュー３３０及び背景隣接ホール境界３３４が図示されている。第１出力ビュー３３０の右側に構造体判別の結果５１０が示される。背景隣接ホール境界３３４内のホール画素のうち構造体に該当する画素５１２及び５１４が示される。構造体を示す画素５１２及び５１４は他の画素に比べて高い構造体優先順位を有する。

図６は、本発明の一例に係る右側方向に生成された出力ビューの構造体を判別した結果を説明する図である。第２出力ビュー３４０及び背景隣接ホール境界３４４が図示されている。第１出力ビュー３４０の右側に構造体判別の結果６１０が示される。背景隣接ホール境界３４４は均等な形態を有する。背景隣接ホール境界３４４内のホール画素のうちには構造体を表す画素がない。したがって、背景隣接ホール境界３４４内のホール画素は全て同一の低い構造体優先順位を有する。

図７は、本発明の一例に係る確信優先順位の決定方法を説明する図である。ターゲットパッチ内にホールではない画素の数が少ないほど、ホール画素の値（例えば、色値）の推定及びホール画素の復元が容易に行われる。したがって、確信優先順位演算部２３０は、ホール画素を含むパッチ内にホールではない画素の数が多いほどホール画素に高い優先順位を付与してもよい。

マルチビュー合成（ｓｙｎｔｈｅｓｉｓ）の過程で発生するホール領域は背景を用いて復元されなければならない。ターゲットパッチが前景を含む場合、前景に関する情報はターゲットパッチに対応する最適のパッチを探索することにおいてエラーが発生することがある。したがって、ターゲットパッチ内に前景（すなわち、前景を表す画素）及び背景（すなわち、背景を示す画素）が混在されている場合、確信優先順位演算部２３０は前景をホール領域と見なす。すなわち、確信優先順位演算部２３０は、ホール画素を含むパッチ内にホールではない背景の画素の数が多いほどホール画素に高い優先順位を付与してもよい。

出力ビュー７１０内の２つのホール画素７２２及び７３２が図示され、ホール画素７２２及び７３２のターゲットパッチ７２０及び７３０が図示される。

第１ターゲットパッチ７２０は背景７２４及びホール領域７２６を含む。第１ターゲットパッチ７２０の背景領域７２４内には１６個の画素がある。第２ターゲットパッチ７３０は背景７３４及びホール領域７３６を含む。第２ターゲットパッチ７３０の背景領域７３４内には１０個の画素がある。したがって、第１ホール画素７２２は第２ホール画素７３２に比べて高い確信優先順位を有する。

確信優先順位は下記の数式（２）によって決定されてもよい。

ここで、Ｃ（ｐ）はホール画素ｐの確信優先順位を表す。

図８は、本発明の一例に係る視差優先順位の決定方法を説明する。図８において、ホール画素８１０及び前記ホール画素８１０に隣接する画素８１２、８１４、８１６及び８１８が示される。隣接する画素８１２、８１４、８１６または８１８はそれぞれ視差を有してもよい。隣接する画素８１２、８１４、８１６または８１８のうちホール画素は視差を有しないことがあり、この場合、視差を有しない隣接する画素は、ホール画素８１０の視差優先順位の決定において除外され得る。

出力ビュー生成部１１０によって出力ビューが生成されたとき、出力ビュー内のホール画素８１０は視差を有しない。視差割当部２４０は、ホール画素と隣接する画素８１２、８１４、８１６及び８１８の視差を参照し、隣接する画素８１２、８１４、８１６、および８１８の視差をホール画素８１０の視差として用いる。隣接する画素８１２、８１４、８１６、及び８１８の視差が異なる場合、視差割当部２４０はホール画素８１０と隣接する画素８１２、８１４、８１６、及び８１８の視差のうち最大の視差をホール画素８１０の視差として用いてもよい。すなわち、視差割当部２４０はホール画素８１０が背景及び前景の境界にある場合、前景を表す隣接する画素の視差をホール画素８１０の視差として用いることによって、ホール画素の優先順位を低く設定する。

視差割当部２４０は、下記の数式（３）に示すように、ホール画素８１０に隣接する画素８１２、８１４、８１６、及び８１８の視差のうち最大値の逆数をホール画素８１０の視差として用いてもよい。

ここで、ｐはホール画素８１０を表す。Ｄ（ｐ）はホール画素の視差優先順位を表す。視差（ｐ_ｎ）、視差（ｐ_ｗ）、視差（ｐ_ｅ）、及び視差（ｐ_ｓ）はそれぞれホール画素８１０の上に位置する画素８１２の視差、ホール画素８１０の左側に位置する画素８１４の視差、ホール画素８１０の右側に位置する画素８１６の視差、及びホール画素８１０の下に位置する画素８１８の視差を表す。Ｍａｘ関数は因子のうち最大の因子を返還する。

優先順位生成部１２０は、下記の数式（４）に示すように、構造優先順位値、確信優先順位値、及び視差優先順位値を組み合わせることによってホール境界画素の優先順位を決定してもよい。

ここで、Ｐ（ｐ）はホール画素ｐの優先順位を表す。Ｓ（ｐ）、Ｃ（ｐ）、及びＤ（ｐ）はそれぞれホール画素ｐの構造優先順位、確信優先順位、及び視差優先順位を表す。α、β及びγはそれぞれＳ（ｐ）の加重値、Ｃ（ｐ）の加重値及びＤ（ｐ）、及び加重値を表す。

前述したようなホール境界画素の優先順位方法によって、ホールレンダリング部１３０は、（１）構造体内にあり、（２）パッチ内にホールではない画素の数が多く、（３）視差が少ない背景ホール画素に対して優先的にホール復元を適用してもよい。このようなホール復元は背景の構造を維持することができる。

図９は、本発明の一例に係るホールレンダリング部の構造図である。ホールレンダリング部１３０は、整列部９１０、ターゲットパッチ生成部９２０、最適ソースパッチ探索部９３０、及びコピー部９４０を備える。

整列部９１０はホール画素の優先順位を整列する。整列部９１０は最も高い優先順位を有するホール画素を識別する。

ターゲットパッチ生成部９２０はターゲットパッチを決定する。ここで、ターゲットパッチは、最も高い優先順位を有するホール画素を中心に有するブロックであってもよい。

最適ソースパッチ探索部９３０は、出力ビュー内でターゲットパッチと最も類似のブロックのソースパッチを探索する。最適ソースパッチ探索部９３０は、下記の基準１から基準３を用いてターゲットパッチ及びソースパッチ間の類似度を算出してもよい。

基準１：ターゲットパッチの画素及びターゲットパッチの画素に対応するソースパッチの画素間のＲＧＢ値の差
基準２：ターゲットパッチのブロック構造及びソースパッチのブロック構造間の差
ここで、ブロック構造はパッチ内の画素のうち明度値が基準値よりも大きい画素は１として、明度値が基準値以下である画素は０に設定したことを表す。最適ソースパッチ探索部９３０は、ターゲットパッチのブロック構造及びソースパッチのブロック構造間のビットワイズ（ｂｉｔｗｉｓｅ）の差値を算出してもよい。

基準３：ターゲットパッチの空間座標及びソースパッチの空間座標間の差
最適ソースパッチ探索部９３０は、前述した基準１から基準３の結果値の加重平均値が最も小さいパッチをソースパッチとして決定してもよい。

コピー部９４０は、探索されたソースパッチ内の画素をターゲットパッチ内のホール画素にコピーすることによって、最も高い優先順位を有するホール画素を復元する。

図１０は、本発明の一例に係る最適ソースパッチ探索方法を説明する図である。図１０において、出力ビュー１０５０及び出力ビュー１０５０の視差情報１０１０が示されている。

ターゲットパッチ１０６０は、前景１０６２、背景１０６４、及びホール領域１０２６を有する。すなわち、ターゲットパッチ１０６０内には前景１０６２及び背景１０６４が混在されている。ターゲットパッチ１０６０の視差情報１０２０も前景１０２２、背景１０２４、及びホール領域１０２６を有する。

ターゲットパッチ内に前景がない場合、最適ソースパッチ探索部９３０は出力ビュー内で最も類似の背景を探索する。しかし、図１０に示すように、ターゲットパッチ１０６０内に前景１０６２及び背景１０６４が共にある場合、ターゲットパッチ１０６０内で前景１０６２が分離されなければ、最適ソースパッチ探索部９３０は前景１０６２に類似のパッチをソースパッチとして選択してもよい。ここで、最適ソースパッチ探索部９３０が前景を表す情報を用いてホール領域を復元するエラーが発生することがある。このようなエラーは前景がホール領域に拡大されることを意味する。

最適ソースパッチ探索部９３０は、ターゲットパッチ１０６０内の画素の視差を分析して画素を前景画素及び背景画素に分類する。最適ソースパッチ探索部９３０は、ターゲットパッチ内の画素の視差が単一の群に分類される場合、全ての画素を背景と見なす。最適ソースパッチ探索部９３０は、ターゲットパッチ内の画素の視差が２つの群に分類されている場合、低い視差を有する群に該当する画素を背景と見なし、高い視差を有する群に該当する画素を前景と見なす。最適ソースパッチ探索部９３０は、ターゲットパッチ内の画素の視差が３つ以上である群に分類される場合、最も低い視差を有する群に該当する画素のみを背景と見なし、他の群に該当する画素は前景と見なす。

最適ソースパッチ探索部９３０はターゲットパッチ内の画素の視差により、ターゲットパッチ内の画素のうち背景画素のみを選択してもよく、ターゲットパッチに隣接する背景画素のうち、選択された背景画素と最も類似の画素をソースパッチに決定してもよい。すなわち、最適ソースパッチ探索部９３０は、ターゲットパッチ内の画素のうち背景画素のみを用いてソースパッチを決定してもよい。

図１０において、背景画素のみが選択されたターゲットパッチ１０７０が示される。背景画素のみが選択されたターゲットパッチ１０７０は、背景１０７４及びホール領域１０７６のみを有する。ターゲットパッチ１０６０で前景１０６２であった領域は、背景画素のみが選択されたターゲットパッチ１０７０ではホール領域１０７６の一部になる。

外挿によって出力ビューが生成される場合、入力ビューでは前景によって隠されていた背景が観測される。このように隠されていた領域は出力ビューではホール領域として表す。したがって、ホール領域は前景に関する情報を排除し、背景に関する情報のみを用いて復元され得る。背景の構造を維持するままホール領域を復元することによって視覚的に自然な結果が導き出される。したがって、最適ソースパッチ探索部９３０はターゲットパッチ内で前景を除き、背景を基準にして最適のソースパッチを探索することができる。

図１１は、本発明の一実施形態に係る映像処理方法のフローチャートである。

ステップＳ１１１０において、少なくとも１つの入力ビュー及び入力ビューに対応する視差情報を用いて出力ビュー及び出力ビューに対応する視差情報が生成される。

ステップＳ１１２０からステップＳ１１３０において、出力ビューに対応する視差情報を用いて出力ビュー内のホールを示す各ホール画素に対する優先順位が生成される。

ステップＳ１１２０において、ステップＳ１１１０で出力ビューを生成するために適用した投影の方向に基づいて、出力ビュー内の前景に隣接するホール画素よりも背景に隣接するホール画素に高い優先順位が付与される。

ステップＳ１１２２において、視覚的に強い構造体内にあるホール画素に高い構造優先順位が付与されてもよい。または、ホール画素と隣接する領域内にホール画素を含むパッチと同じパターンを有するパッチ数が少ないほどホール画素に高い構造優先順位が付与されてもよい。

ステップＳ１１２４において、ホール画素を含むパッチ内にホールではない画素の数が多いほどホール画素に高い確信優先順位が付与される。

ステップＳ１１２６において、ホール画素と隣接する画素の視差に基づいてホール画素の視差が算出される。算出されたホール画素の視差はホール画素に割り当てられる。

ステップＳ１１２８において、付与されたホール画素の視差に基づいてホール画素の視差優先順位が算出される。

ステップＳ１１３０において、構造優先順位、確信優先順位、及び視差優先順位を組み合わせることによってホール画素の優先順位が算出され、算出された優先順位がホール画素に付与される。

ステップＳ１１４０からステップＳ１１７０によって、優先順位の降順に各ホール画素にホールレンダリングが適用される。

ステップＳ１１４０において、ホール画素の優先順位が整列される。

ステップＳ１１５０において、最も高い優先順位を有するホール画素を中心に有するブロックのターゲットパッチが決定される。

ステップＳ１１６０において、出力ビュー内で前記ターゲットパッチと最も類似のブロックのソースパッチが探索される。

ステップＳ１１６０は、（１）ターゲットパッチ内の画素の視差によりターゲットパッチ内の画素のうち背景画素を選択するステップ、及び（２）ターゲットパッチに隣接する背景画素のうち選択された背景画素と最も類似の画素をソースパッチとして決定するステップを含んでもよい。

ステップＳ１１７０において、ソースパッチ内の画素がターゲットパッチ内のホール画素にコピーされる。

図１から図１０を参照して説明された本発明の一実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下では省略することにする。

本発明の一実施形態に係る方法は、多様なコンピュータ手段によって行うことができるプログラム命令形態で実現され、コンピュータ読み出し可能媒体に記録してもよい。記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含んでもよい。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から様々に修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１００ 映像処理装置
１１０ 出力ビュー生成部
１２０ 優先順位生成部
１３０ ホールレンダリング部

Claims (21)

1. 少なくとも１つの入力ビュー及び前記少なくとも１つの入力ビューに対応する視差情報を用いて出力ビュー及び前記出力ビューに対応する視差情報を生成するステップと、
   前記出力ビューに対応する視差情報を用いて前記出力ビュー内の複数のホール画素のそれぞれに対する優先順位を生成するステップと、
   前記生成された優先順位を参照して前記複数のホール画素のうち最も高い優先順位を有するホール画素にホールレンダリングを適用するステップと、
   を含むことを特徴とする映像処理方法。
2. 前記優先順位を生成するステップは、前記視差情報を生成するステップで前記出力ビューを生成するために適用した投影の方向に基づいて、前記出力ビュー内の前景に隣接するホール画素よりも背景に隣接するホール画素に高い優先順位を付与するステップと、
   を含むことを特徴とする請求項１に記載の映像処理方法。
3. 前記優先順位を生成するステップは、視覚的に強い構造体内にあるホール画素に高い優先順位を付与するステップを含むことを特徴とする請求項１に記載の映像処理方法。
4. 前記優先順位を生成するステップは、ホール画素と隣接する領域内に前記ホール画素を含むパッチと同じパターンを有するパッチの数が少ないほど前記ホール画素に高い優先順位を付与するステップを含むことを特徴とする請求項１に記載の映像処理方法。
5. 前記優先順位を生成するステップは、ホール画素を含むパッチ内にホールではない画素の数が多いほど前記ホール画素に高い優先順位を付与するステップを含むことを特徴とする請求項１に記載の映像処理方法。
6. 前記優先順位を生成するステップは、ホール画素と隣接する画素の視差に基づいて前記ホール画素の視差を算出するステップを含むことを特徴とする請求項１に記載の映像処理方法。
7. 前記優先順位を生成するステップは、前記算出された視差に基づいて前記ホール画素に優先順位を付与するステップをさらに含むことを特徴とする請求項６に記載の映像処理方法。
8. 前記各ホール画素にホールレンダリングを適用するステップは、
   最も高い優先順位を有するホール画素を中心に有するブロックであるターゲットパッチを決定するステップと、
   前記出力ビュー内で前記ターゲットパッチと最も類似のブロックであるソースパッチを探索するステップと、
   前記ソースパッチ内の画素を前記ターゲットパッチ内のホール画素にコピーするステップと、
   を含むことを特徴とする請求項１に記載の映像処理方法。
9. 前記ソースパッチを探索するステップは、
   前記ターゲットパッチ内の少なくとも１つの画素の少なくとも１つの視差により前記ターゲットパッチ内の画素のうち少なくとも１つの背景画素を選択するステップと、
   前記ターゲットパッチに隣接する少なくとも１つの背景画素のうち、前記選択された少なくとも１つの背景画素と最も類似の少なくとも１つの画素を前記ソースパッチとして決定するステップと、
   を含むことを特徴とする請求項８に記載の映像処理方法。
10. 請求項１〜請求項９のうちいずれか一項の映像処理方法を行うプログラムを収録したコンピュータで読み出し可能な記録媒体。
11. 少なくとも１つの入力ビュー及び前記入力ビューに対応する視差情報を用いて出力ビュー及び前記出力ビューに対応する視差情報を生成する出力ビュー生成部と、
    前記出力ビューに対応する視差情報を用いて前記出力ビュー内の複数のホール画素のそれぞれに対する優先順位を生成する優先順位生成部と、
    前記生成された優先順位を参照して前記複数のホール画素のうち最も高い優先順位を有するホール画素にホールレンダリングを適用するホールレンダリング部と、
    を備えることを特徴とする映像処理装置。
12. 前記優先順位生成部は、前記出力ビュー生成部が前記出力ビューを生成するために適用した投影の方向に基づいて、前記出力ビュー内の前景に隣接するホール画素より背景に隣接するホール画素に高い優先順位を付与する背景隣接ホール境界決定部を備えることを特徴とする請求項１１に記載の映像処理装置。
13. 前記優先順位生成部は、視覚的に強い構造体内にあるホール画素に高い優先順位を付与する構造優先順位演算部を備えることを特徴とする請求項１１に記載の映像処理装置。
14. 前記優先順位生成部は、ホール画素と隣接する領域内に前記ホール画素を含むパッチと同じパターンを有するパッチの数が少ないほど前記ホール画素に高い優先順位を付与する構造優先順位演算部を備えることを特徴とする請求項１１に記載の映像処理装置。
15. 前記優先順位生成部は、ホール画素を含むパッチ内にホールではない画素の数が多いほど前記ホール画素に高い優先順位を付与する確信優先順位演算部を備えることを特徴とする請求項１１に記載の映像処理装置。
16. 前記優先順位生成部は、ホール画素と隣接する画素の視差に基づいて前記ホール画素の視差を算出する視差割当部を備えることを特徴とする請求項１１に記載の映像処理装置。
17. 前記優先順位生成部は、前記算出された視差に基づいて前記ホール画素に優先順位を付与する視差優先順位演算部をさらに備えることを特徴とする請求項１６に記載の映像処理装置。
18. 前記ホールレンダリング部は、
    最も高い優先順位を有するホール画素を中心に有するブロックのターゲットパッチを決定するターゲットパッチ生成部と、
    前記出力ビュー内で前記ターゲットパッチと最も類似のブロックであるソースパッチを探索する最適ソースパッチ探索部と、
    前記ソースパッチ内の画素を前記ターゲットパッチ内のホール画素にコピーするコピー部と、
    を備えることを特徴とする請求項１１に記載の映像処理装置。
19. 前記最適ソースパッチ探索部は、前記ターゲットパッチ内の少なくとも１つの画素の少なくとも１つの視差により前記ターゲットパッチ内の少なくとも１つの画素のうち少なくとも１つの背景画素を選択し、前記ターゲットパッチに隣接する少なくとも１つの背景画素のうち前記選択された少なくとも１つの背景画素と最も類似の少なくとも１つの画素を前記ソースパッチとして決定することを特徴とする請求項１８に記載の映像処理装置。
20. 前記少なくとも１つの入力ビューに対応する深度情報を前記視差情報に変換する深度−視差変換ユニットをさらに備えることを特徴とする請求項１１に記載の映像処理装置。
21. 少なくとも１つの入力ビュー及び前記少なくとも１つの入力ビューに対応する視差情報を用いて出力ビュー及び前記出力ビューに対応する視差情報を生成するステップと、
    前記出力ビューに対応する視差情報を用いて前記出力ビュー内のホールを示す複数のホール画素に対する優先順位を生成するステップと、
    前記優先順位の降順に前記複数のホール画素にホールレンダリングを適用するステップと、
    を含む、映像処理装置。

Images