JP5784729B2 - マルチビュー生成のためのレンダリング装置およびその方法 - Google Patents

Description

本発明は、マルチビュー生成のためのレンダリング装置およびその方法に関し、より詳しくは、生成されるビューの間の不連続性を減らすか取り除くことができる、マルチビュー生成のためのレンダリング装置およびその方法に関する。

立体映像は、深さおよび空間に対する形状情報を同時に提供する３次元映像である。３次元映像を表示する３次元ディスプレイは、２つ以上の映像を同時に出力するマルチビュー方式を使用する。これは、同一の映像を異なる方向、すなわち、異なる視点から見たものと同じ効果の映像を提供するためである。

マルチビュー方式は、撮影された映像がディスプレイ装置に送信されれば、ディスプレイ装置が受信した撮影された映像から補間映像（Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｖｉｅｗ）を生成したり、補外映像（Ｅｘｔｒａｐｏｌａｔｉｏｎ Ｖｉｅｗ）を生成したりして、実際に撮影された映像よりも多くの映像を生成する。このような場合、撮影された映像と補間映像および補外映像との間に不連続性が現れ、画質低下が発生する。例えば、連続する２つの補間映像の色の差異によって、同一の背景が互いに異なって表現される。これは、２つの補間映像に存在するホール（ｈｏｌｅ）をそれぞれ復元するためである。

本発明の実施形態によりマルチビュー生成のためのレンダリング装置およびその方法を提供する。

本発明の実施形態により生成された複数の予測ビューに含まれたホールをそれぞれ復元せず、１つの基準ホールに集合して復元するマルチビュー生成のためのレンダリング装置およびその方法を提供する。

本発明の実施形態により復元された基準ホール、すなわち、同一の基準ホールを用いて予測ビューに含まれたホールを除去することにより、ビューとビューの間に発生する不連続性を解消し、画質を向上させるレンダリング装置およびその方法を提供する。

本発明の一実施形態に係るマルチビュー生成のための装置は、少なくとも１つの参照ビューをレンダリングして複数の予測ビューを生成するレンダリング部と、前記それぞれの予測ビューに存在するホールの集合を示す基準ホールを生成するホール集合部と、前記基準ホールを復元（ｉｎｐａｉｎｔｉｎｇ）するホール復元部と、前記復元された基準ホールを用いて前記各予測ビューに存在するホールを除去するマルチビュー生成部と、を含む。

前記予測ビューは、連続する２つの参照ビューの間に位置する補間ビューであってもよい。前記補間ビューは、連続的な補間ビューであってもよい。

前記ホール集合部は、前記基準ホールを含む基準ホールレイヤを生成し、前記基準ホールレイヤは、前記各補間ビューと同一の大きさを有してもよい。

前記マルチビュー生成部は、前記各補間ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去する。

前記予測ビューは、前記少なくとも１つの参照ビューの外側に位置する補外ビューであってもよい。前記補外ビューは、１つの参照ビューをレンダリングして生成される。

前記ホール集合部は、前記基準ホールを含む基準ホールレイヤを生成し、前記基準ホールレイヤは、前記各補外ビューと同一の大きさを有してもよい。

前記マルチビュー生成部は、前記各補外ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去する。

前記レンダリング装置は、それぞれの予測ビューに存在するホールを検出するホール検出部をさらに含んでもよい。

本発明の一実施形態に係るマルチビュー生成方法は、少なくとも１つの参照ビューをレンダリングして複数の予測ビューを生成するステップと、前記それぞれの予測ビューに存在するホールの集合を示す基準ホールを生成するステップと、前記基準ホールを復元するステップと、前記復元された基準ホールを用いて前記各予測ビューに存在するホールを除去するステップと、を含む。

前記予測ビューは、連続する２つの参照ビューの間に位置する補間ビューであってもよい。前記補間ビューは、連続的な補間ビューであってもよい。

前記基準ホールを生成するステップは、前記基準ホールを含む基準ホールレイヤを生成し、前記基準ホールレイヤは、前記各補間ビューと同一の大きさを有してもよい。

前記各予測ビューに存在する前記ホールを除去するステップは、前記各補間ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去する。

本発明の一実施形態に係るマルチビュー生成のためのレンダリング装置は、メモリと、複数の予測ビューに存在するホールを用いて前記各予測ビューに存在するホールの集合を示す基準ホールを生成し、前記基準ホールを復元し、前記復元された基準ホールを用いて前記各予測ビューに存在する前記ホールを除去するように構成されたプロセッサと、を含んでもよい。

本発明の一実施形態に係るマルチビュー生成のための装置を含むマルチビューディスプレイ装置は、マルチビューを生成するための装置に含まれ、複数の予測ビューに存在するホールを用いて前記各予測ビューに存在するホールの集合を示す基準ホールを生成し、前記基準ホールを復元し、前記復元された基準ホールを用いて前記各予測ビューに存在する前記ホールを除去するように構成されたプロセッサと、前記予測ビューに基づいたマルチビューのイメージをディスプレイするマルチビューディスプレイと、を含んでもよい。

このとき、前記マルチビューを生成するための装置は、前記各補間ビューの前記ホールに前記復元された基準ホールの対応する部分を挿入することにより、前記ホールを除去してもよい。

マルチビュー生成のためのレンダリング装置およびその方法によれば、生成された複数の予測ビューに含まれたホールをそれぞれ復元せず、１つの基準ホールに集合して復元してもよい。復元された基準ホール、すなわち、同一の基準ホールを用いて予測ビューに含まれたホールを除去することにより、ビューとビューの間に発生する不連続性を解消して、画質を向上させることができる。

本発明の一実施形態に係るマルチビュー生成のためのレンダリング装置を示すブロック図である。 復元方式を説明するための図である。 本発明の一実施形態に係る予測ビューが補間ビューである場合、マルチビューを生成する例を示す図である。 本発明の一実施形態に係る予測ビューが補外ビューである場合、マルチビューを生成する例を示す図である。 本発明の一実施形態に係るレンダリング装置のマルチビュー生成方法を説明するためのフローチャートである。 本発明の一実施形態に係るマルチビュー生成のための装置を含むマルチビューディスプレイ装置を示すブロック図である。

以下、本発明の実施形態を添付された図面を参照して詳細に説明する。

図１は、マルチビュー生成のためのレンダリング装置１００を示したブロック図である。図１のレンダリング装置１００は、ステレオ方式とマルチビュー方式を使用して、３Ｄ映像を提供する装置に適用される。ステレオ方式は、左映像と右映像を用いて３Ｄ映像を提供する方式である。マルチビュー方式は、３つ以上の異なる視点に該当する映像を用いて３Ｄ映像を提供する方式である。

図１を参照すると、マルチビュー生成のためのレンダリング装置１００は、レンダリング部１１０、ホール検出部１２０、ホール集合部１３０、ホール復元部１４０およびマルチビュー生成部１５０を含んでもよい。

レンダリング部１１０は、少なくとも１つの参照ビュー（Ｒｅｆｅｒｅｎｃｅ Ｖｉｅｗ）をレンダリングして、複数の予測ビューを生成することができる。参照ビューは、１つの映像を互いに異なる位置で撮影して獲得したビューであって、視点が互いに異なる。特に、レンダリング部１１０は、参照ビューの画素のカラー値と視差（ｄｉｓｐａｒｉｔｙ）のうち少なくとも１つをレンダリングして、予測ビューを生成することができる。視差は、連続する２つの参照ビューの間の差であって、画素値の差、画素の位置の差などが例として挙げられる。

予測ビューは、補間技法によって生成される補間ビューと、補外技法によって生成される補外ビューとを含んでもよい。レンダリング部１１０は、連続する２つの参照ビューのカラー値と視差とを用いて、補間ビューを生成することができる。また、レンダリング部１１０は、複数の参照ビューのうち最左側または最右側に位置する参照ビューのカラー値を用いて、補外ビューを生成することができる。したがって、補外ビューは、参照ビューの外側のビューである。例えば、最左側の参照ビュー（最左側に位置する参照ビュー）を用いて生成される補外ビューは、最左側の参照ビューよりもさらに左側の視点に対応する。

ホール検出部１２０は、レンダリング部１１０で生成されるそれぞれの予測ビューに存在するホールを検出することができる。ホールは、画素値が存在しない領域、または、画素のカラー値が満たさない領域である。予測ビューは、参照ビューとは異なる視点に対応するビューであって、参照ビューのオブジェクトが任意方向へ移動したように見られることもある。したがって、参照ビューにおいて、オブジェクトにより遮られた背景が予測ビューで見られる場合、前記遮られた後に見られる背景は、ホールとして再現されることもある。また、上述した視差のエラーによって予測ビューはホールを有することもある。

ホール集合部１３０は、それぞれの予測ビューに存在するホールを用いて１つの基準ホールレイヤを生成することができる。具体的に、ホール集合部１３０は、複数の予測ビューのうち連続的に生成された予測ビューに対して１つの基準ホールレイヤを生成することができる。基準ホールレイヤは、予測ビューと同一の大きさであり、基準ホールを含んでもよい。

ホール集合部１３０は、レンダリング部１１０で生成された予測ビューが補間ビューである場合と補外ビューである場合に、互いに異なる基準を用いて基準ホールレイヤを生成することができる。

予測ビューが補間ビューである場合、ホール集合部１３０は、複数の補間ビューのうち連続的に生成された補間ビューに対して、１つの基準ホールレイヤを生成することができる。連続的に生成された補間ビューは、複数の参照ビューのうち連続する２つの参照ビューの間に位置してもよい。これは、連続的に生成された補間ビューは、連続する２つの参照ビューから補間によって生成されたビューであるためである。

ホール集合部１３０は、連続する複数の補間ビューで検出されたホールを集合して基準ホールを生成する。例えば、２つの参照ビューをそれぞれ左側参照ビューおよび右側参照ビューとすれば、レンダリング部１１０は、左側参照ビューと右側参照ビューとの間に位置する補間ビューを生成する。ホール検出部１２０が補間ビューからホールを検出した場合、ホール集合部１３０は、検出されたホールを集合して基準ホールを生成する。

したがって、基準ホールは、各補間ビューに存在するホールの集合を示す。集合する間、２つ以上の補間ビュー内の共通のホールは一度計算される。基準ホールは、補間ビューに存在するホールの集合を示すので、連続する領域を有しても有さなくてもよい。

また、ホール集合部１３０は、生成された基準ホールを含む基準ホールレイヤを生成する。基準ホールレイヤは、各補間ビューと同一の大きさを有し、基準ホールは、検出されたホールの集合と同一の大きさを有する。

一方、予測ビューが補外ビューである場合、ホール集合部１３０は、複数の補外ビューのうち連続的に生成された補外ビューに対して、１つの基準ホールレイヤを生成することができる。連続的に生成された補外ビューは、複数の参照ビューのうち最左側の参照ビューから生成されるビューであってもよく、または、最右側の参照ビューから生成されるビューであってもよい。ホール集合部１３０は、連続する補外ビューに存在するホールを１つに集合して１つの基準ホールを生成する。補間ビューのための基準ホールのように補外ビューのための基準ホールも、連続する領域を有しても有さなくてもよい。

また、ホール集合部１３０は、生成された基準ホールを含む基準ホールレイヤを生成することができる。基準ホールレイヤは、各補外ビューと同一の大きさを有する。

ホール復元部１４０は、ホール集合部１３０で生成された基準ホールレイヤの基準ホールを周知の画素情報を用いて復元することができる。例えば、ホール復元部１４０は、周知の復元方式を用いて基準ホールを復元してもよい。

図２は、復元方式を説明するための図である。図２を参照すると、復元方式は、ホールの周辺に位置する周知の領域の画素値を、ホールに伝播（ｐｒｏｐａｇａｔｉｏｎ）させ、ホールに画素値を満たす方式である。

数式（１）は、復元方式を用いてホールに位置する画素の画素値を予測するための式である。

数式（１）において、ｑは周知の領域に位置する画素の座標、ｐはホールに位置する画素の座標、Ｉは画素値、

は勾配（ｇｒａｄｉｅｎｔ）である。すなわち、ホール復元部１４０は、画素の座標ｐ、周辺画素の座標ｑおよび周辺画素の画素値Ｉ（ｑ）を用いてホールを復元してもよい。

また、ホール復元部１４０は、座標ｐの画素値を求めるために、周知の領域のすべての画素値を、数式（２）を用いてホールを復元してもよい。

数式（２）において、

は座標ｑが位置する周知の領域、

は相対的な加重値を意味する。

は、周知の領域に位置するすべての座標に付与された加重値であって、座標ｐ毎に異なる値を有してもよい。

また、ホール復元部１４０は、上述した復元方式だけでなく、映像内の標本を用いて映像を復元する周知のＥｘｅｍｐｌａｒ−ｂａｓｅｄ Ｉｎｐａｉｎｔｉｎｇ方式を用いてホールを復元してもよい。

マルチビュー生成部１５０は、基準ホールの復元された基準ホールレイヤを用いて各予測ビューに存在するホールを除去してもよい。予測ビューが補間ビューである場合、マルチビュー生成部１５０は、各補間ビューのホールに復元された基準ホールの対応する部分を挿入する。同様に、予測ビューが補外ビューである場合、マルチビュー生成部１５０は、各補外ビューのホールに基準ホールの対応する部分を挿入する。したがって、マルチビュー生成部１５０は、補間ビューと補外ビューのホールに復元された基準ホールの対応する部分を満たすことにより、マルチビューを生成する。

以下では、予測ビューが補間ビューである場合と補外ビューである場合に、マルチビューを生成する方法について図３および図４を参照して説明する。

図３は、予測ビューが補間ビューである場合、マルチビューを生成する一実施形態を説明するための図である。図３を参照すると、左側参照ビューと右側参照ビューは、複数の参照ビューのうち連続するビューである。左側参照ビューと右側参照ビューは、互いに異なる視点に対応するビューであり、類似する背景を有する。識別番号「３１０Ｌ」と「３１０Ｒ」は同一のオブジェクトであり、「３２０Ｌ」と「３２０Ｒ」は同一のオブジェクトである。

レンダリング部１１０は、左側参照ビューと右側参照ビューに補間技法を適用して、第１補間ビューと第２補間ビューを生成する。このとき、第１補間ビューは、オブジェクト３１０Ｌ、３２０Ｌが左側に「ｄ」だけ移動したのと同じ結果を示し、これにより、ホールｈ１を含むようになる。第２補間ビューは、オブジェクト３１０Ｒ、３２０Ｒが右側に移動したのと同じ結果を示し、これにより、ホールｈ２を含むようになる。

ホール検出部１２０は、第１補間ビューと第２補間ビューに含まれたホールｈ１，ｈ２を検出し、ホール集合部１３０は、検出されたホールｈ１，ｈ２を１つに集合して基準ホールｈ３を生成する。基準ホールｈ３の大きさは、検出されたホールｈ１，ｈ２のうち最も大きなホールｈ２と同一である。集合する間、検出されたホールｈ１，ｈ２の全体領域は一度計算される。基準ホールｈ３の大きさは、一般的に検出されたホールｈ１，ｈ２のそれぞれよりも大きい。稀に、検出されたホールｈ２が検出されたホールｈ１を完全にカバーする場合、基準ホールｈ３の大きさは、検出されたホールｈ２と同一である。ホール集合部１３０は、基準ホールｈ３を含む基準ホールレイヤを生成し、基準ホールｈ３を復元する。これにより、復元された基準ホールｈ４を含む基準ホールレイヤ、すなわち、復元された基準ホールレイヤが生成される。

マルチビュー生成部１５０は、第１補間ビューの検出されたホールｈ１に復元された基準ホールｈ４の対応する部分を挿入することにより、ホールｈ１を満たす。第１補間ビューに位置するホールｈ１と復元された基準ホールレイヤに位置する復元された基準ホールｈ４との対応する部分の相対的な位置が同一である。したがって、マルチビュー生成部１５０は、復元された基準ホールｈ４のうちホールｈ１にマッチングする領域の画素値をホールｈ１に挿入することにより、ホールｈ１を満たすことができる。これにより、第１マルチビューが生成される。これは、第２補間ビューについても同一であるため、詳細な説明は省略する。

図４は、予測ビューが補外ビューである場合、マルチビューを生成する一実施形態を説明するための図である。図４を参照すると、左側参照ビューは、複数の参照ビューのうち最も左側に位置するビューである。識別番号「４１０」はオブジェクトである。レンダリング部１１０は、左側参照ビューに補外技法を適用して第１補外ビューと第２補外ビューを順次生成する。このとき、第１補外ビューは、オブジェクト４１０が右側に「ｄ１」だけ移動したのと同じ結果を示し、これにより、ホールｈ５を含むようになる。第２補外ビューは、オブジェクト４１０が右側に「ｄ２」だけ移動したのと同じ結果を示し、これにより、ホールｈ６を含むようになる。

ホール検出部１２０は、第１補外ビューと第２補外ビューに含まれたホールｈ５、ｈ６を検出し、ホール集合部１３０は、検出されたホールｈ５、ｈ６を１つに集合して基準ホールｈ７を生成する。基準ホールｈ７の大きさは、検出されたホールｈ５、ｈ６のうち最も外郭に位置するホールｈ６と同一である。集合する間、検出されたホールｈ５，ｈ６の共通領域は一度計算される。基準ホールｈ７の大きさは、一般的に検出されたホールｈ５，ｈ６のそれぞれよりも大きい。しかし、検出されたホールｈ６が検出されたホールｈ５を完全にカバーする場合、基準ホールｈ７の大きさは、検出されたホールｈ６と同一である。ホール集合部１３０は、基準ホールｈ７を含む基準ホールレイヤを生成して、基準ホールｈ７を復元する。これにより、復元された基準ホールｈ８を含む基準ホールレイヤ、すなわち、復元された基準ホールレイヤが生成される。

マルチビュー生成部１５０は、第１補外ビューの検出されたホール５に復元された基準ホールの対応する部分を挿入することにより、ホールｈ５を満たし、これにより、第３マルチビューが生成される。これは、第２補外ビューについても同一であるため、詳細な説明は省略する。

上述したレンダリング装置１００は、上述した動作を行うために、動作プログラムを格納するメモリと、プロセッサと、制御部とをさらに備えてもよい。プロセッサまたは制御部は、複数の予測ビューに存在するホールを用いて１つの基準ホールレイヤを生成し、生成された基準ホールレイヤの基準ホールを復元し、基準ホールの復元された基準ホールレイヤを用いて各予測ビューに存在するホールを満たすように構成されてもよい。

また、レンダリング装置１００がディスプレイ装置に備えられる場合、生成されたマルチビューは、表示可能な信号に処理されて画面に表示される。

図５は、マルチビュー生成方法を説明するためのフローチャートである。図５のマルチビュー生成方法は、図１を参照して説明したレンダリング装置１００、またはレンダリング装置１００のプロセッサや制御部によって、実現または動作される。

ステップＳ５１０において、レンダリング装置は、少なくとも１つの参照ビューをレンダリングすることで、または、少なくとも１つの参照ビューのカラー値と視差をレンダリングすることで、予測ビューを生成することができる。生成される予測ビューは、補間技法による補間ビューであってもよく、補外技法による補外ビューであってもよく、また、補間ビューと補外ビューとの組み合わせであってもよい。

ステップＳ５２０において、レンダリング装置は、生成された連続する予測ビューに存在するホールを検出することができる。

ステップＳ５３０において、レンダリング装置は、検出されたホールを１つに集合して１つの基準ホールを生成し、基準ホールを含む１つの基準ホールレイヤを生成することができる。このとき、レンダリング装置は、複数の予測ビューのうち連続する予測ビュー毎に１つの基準ホールレイヤを生成してもよい。

基準ホールレイヤは、予測ビューと同一の大きさを有する。基準ホールは、各補間ビューに存在するそれぞれのホールよりも大きい大きさを有する。補間ビューのいずれの共通したホールもないとき、基準ホールは補間ビューに存在する各ホールの合計と同一の大きさを有する。稀に、ある補間ビューに存在するホールが残りの補間ビューに存在するホールを完全にカバーする場合、基準ホールは、ある補間ビューに存在するホールの合計と同一の大きさを有する。基準ホールは、補間ビューに存在するホールの集合を示すので、連続する領域を有しても有さなくてもよい。

ステップＳ５４０において、レンダリング装置は、基準ホールレイヤの基準ホールを復元することができる。

ステップＳ５５０において、レンダリング装置は、復元された基準ホールを有する基準ホールレイヤを、ホールの検出された予測ビューに挿入することにより、各予測ビューで検出されたホールを除去することができる。

ステップＳ５６０において、レンダリング装置は、各予測ビューでホールが除去されたマルチビューを生成する。

本発明の実施形態による方法は、多様なコンピュータ手段によって実行することのできるプログラム命令形態で実現され、コンピュータ読取可能な媒体に記録される。前記コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものであるか、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。

図６は、マルチビュー生成のための装置を含むマルチビューディスプレイ装置６００を示すブロック図である。図６を参照すれば、マルチビューディスプレイ装置６００は、制御部６０１とマルチビューを生成するための装置６０５とを含む。

マルチビューディスプレイ装置６００は、３Ｄイメージを示すために、３Ｄディスプレイの形態であってもよく、３つまたはそれ以上の他の視点を出力するために、マルチビュー技術を用いてもよい。または、マルチビューディスプレイ装置６００は、左右イメージを出力するステレオスコピックディスプレイ（ｓｔｅｒｅｏｓｃｏｐｉｃ ｄｉｓｐｌａｙ）の形態であってもよい。

制御部６０１は、マルチビューディスプレイ装置６００を制御し、マルチビューディスプレイ装置６００によってディスプレイされるように１つ以上の制御信号を生成してもよい。制御部６０１は、１つ以上のプロセッサを含んでもよい。

マルチビューを生成するための装置６０５は、マルチビューディスプレイ装置６００のためにマルチビューイメージを生成するが、レンダリング部６１０、ホール検出部６２０、ホール集合部６３０、ホール復元部６４０、及びマルチビュー生成部６５０を含んでもよい。このとき、６１０から６５０までの装置は、図６に図示されない。しかし、６１０から６５０までの装置の各々は、図１に類似する名称の装置として説明されたので、その詳細な説明は省略することにする。

マルチビューを生成するための装置６０５は、マルチビューディスプレイ装置６００の内部に設けられてもよく、マルチビューディスプレイ装置６００に取り付けられ、または、マルチビューディスプレイ装置６００から離れて実現されてもよい。物理的な構成と関係なく、マルチビューを生成するための装置６０５は、上述した全ての機能を有する。マルチビューを生成するための装置６０５は、１つ以上の内部プロセッサを含んでもよく、または、制御部６０１が含む１つ以上のプロセッサのようにマルチビューディスプレイ装置６００に含まれた１つ以上のプロセッサによって含まれてもよい。

上述したように、本発明では、限定された実施形態および図面によって説明したが、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。

したがって、本発明の範囲は説明した実施形態に限定して決定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なもの等によって定められなければならない。

１００ レンダリング装置
１１０ レンダリング部
１２０ ホール検出部
１３０ ホール集合部
１４０ ホール復元部
１５０ マルチビュー生成部

Claims (22)

1. 少なくとも１つの参照ビューをレンダリングして予測ビューを生成するように構成されているレンダリング部と、
   第１の予測ビューに存在する第１のホールおよび第２の予測ビューに存在する第２のホールを含む基準ホールレイヤを生成するように構成されているホール集合部と、
   前記基準ホールレイヤを復元するように構成されているホール復元部と、
   前記復元された基準ホールレイヤを用いて、前記第１の予測ビューおよび前記第２の予測ビューそれぞれに存在する前記第１および第２のホールを除去するように構成されているマルチビュー生成部と、
   を含むことを特徴とするマルチビュー生成のための装置。
2. 前記予測ビューは、連続する２つの参照ビューの間に位置する補間ビューであることを特徴とする請求項１に記載のマルチビュー生成のための装置。
3. 前記補間ビューは、連続的な補間ビューであることを特徴とする請求項２に記載のマルチビュー生成のための装置。
4. 前記基準ホールレイヤは、前記各補間ビューと同一の大きさを有することを特徴とする請求項２に記載のマルチビュー生成のための装置。
5. 前記マルチビュー生成部は、前記第１および第２のホールに前記復元された基準ホールレイヤの部分を挿入することにより、第１および第２の予測ビューに存在する第１および第２のホールを除去するように構成されている、
   ことを特徴とする請求項１に記載のマルチビュー生成のための装置。
6. 前記予測ビューは、
   前記少なくとも１つの参照ビューの外側に位置する補外ビューであることを特徴とする請求項１に記載のマルチビュー生成のための装置。
7. 前記補外ビューは、１つの参照ビューをレンダリングして生成されることを特徴とする請求項６に記載のマルチビュー生成のための装置。
8. 前記補外ビューは、連続的な補外ビューであることを特徴とする請求項６に記載のマルチビュー生成のための装置。
9. 前記基準ホールレイヤは、前記各補外ビューと同一の大きさを有することを特徴とする請求項６に記載のマルチビュー生成のための装置。
10. 前記第１および第２の予測ビューそれぞれに存在する前記第１および第２のホールを検出するように構成されているホール検出部をさらに含む、
    ことを特徴とする請求項１に記載のマルチビュー生成のための装置。
11. プロセッサにより、少なくとも１つの参照ビューをレンダリングして予測ビューを生成するステップと、
    第１の予測ビューに存在する第１のホールおよび第２の予測ビューに存在する第２のホールを含む基準ホールレイヤを生成するステップと、
    前記基準ホールレイヤを復元するステップと、
    前記復元された基準ホールレイヤを用いて前記第１の予測ビューおよび前記第２の予測ビューそれぞれに存在する前記第１および第２のホールを除去するステップと、
    を含むことを特徴とするマルチビュー生成方法。
12. 前記予測ビューは、連続する２つの参照ビューの間に位置する補間ビューであることを特徴とする請求項１１に記載のマルチビュー生成方法。
13. 前記補間ビューは、連続的な補間ビューであることを特徴とする請求項１２に記載のマルチビュー生成方法。
14. 前記基準ホールレイヤは、前記各補間ビューと同一の大きさを有することを特徴とする請求項１２に記載のマルチビュー生成方法。
15. 前記第１および第２のホールを除去するステップは、前記第１および第２のホールに前記復元された基準ホールレイヤの部分を挿入することにより、第１および第２の予測ビューに存在する前記第１および第２のホールを除去する、
    ことを特徴とする請求項１１に記載のマルチビュー生成方法。
16. 前記予測ビューは、
    前記少なくとも１つの参照ビューの外側に位置する補外ビューであることを特徴とする請求項１１に記載のマルチビュー生成方法。
17. 前記補外ビューは、１つの参照ビューをレンダリングして生成されることを特徴とする請求項１６に記載のマルチビュー生成方法。
18. 前記補外ビューは、連続的な補外ビューであることを特徴とする請求項１６に記載のマルチビュー生成方法。
19. 前記基準ホールレイヤは、前記各補外ビューと同一の大きさを有することを特徴とする請求項１６に記載のマルチビュー生成方法。
20. マルチビュー生成のためのレンダリング装置において、
    メモリと、
    第１の予測ビューに存在する第１のホールおよび第２の予測ビューに存在する第２のホールを含む基準ホールレイヤを生成し、
    前記基準ホールレイヤを復元し、
    前記復元された基準ホールレイヤを用いて前記第１の予測ビューおよび前記第２の予測ビューそれぞれに存在する前記第１および第２のホールを除去するように構成されたプロセッサと、
    を含むことを特徴とするマルチビュー生成のためのレンダリング装置。
21. マルチビュー生成のための装置を含むマルチビューディスプレイ装置において、
    マルチビューを生成するための装置に含まれ、第１の予測ビューに存在する第１のホールおよび第２の予測ビューに存在する第２のホールを含む基準ホールレイヤを生成し、
    前記基準ホールレイヤを復元し、
    前記復元された基準ホールレイヤを用いて前記第１の予測ビューおよび前記第２の予測ビューそれぞれに存在する前記第１および第２のホールを除去するように構成されたプロセッサと、
    前記第１および第２の予測ビューに基づいたマルチビューイメージをディスプレイするように構成されたマルチビューディスプレイと、
    を含むことを特徴とするマルチビュー生成のためのマルチビューディスプレイ装置。
22. 前記プロセッサは、
    前記第１および第２のホールに前記復元された基準ホールレイヤの部分を挿入することにより、第１および第２の予測ビューに存在する前記第１および第２のホールを除去するように構成されている、
    ことを特徴とする請求項２１に記載のマルチビュー生成のためのマルチビューディスプレイ装置。
    

Images