JP5011319B2 - 画像における指向性の穴埋め - Google Patents

Description

本発明は、画像処理に関し、より詳細には、画像内の割り当てられていないピクセル位置へのピクセル値の割り当てに関する。

互換性のある二次元表示機上に、画像系列を含むビデオ情報を表示する際の奥行き知覚の提供は、関心の高まっている分野である。奥行き知覚を提供する可能な方法は、互いに少し離れた２つの位置から見た同じ場面の少なくとも２つの画像を、閲覧者に提示することによるものである。２つの異なる位置から見た同じ場面の対象物の明らかな変位又は明らかな方向の違いは、視差と呼ばれている。視差によって、当該閲覧者は、場面における対象物の深さを知覚することが可能になる。異なる仮想位置から見た同じ場面の複数の画像は、二次元画像の各ピクセル値に関する深さデータと一緒に供給される二次元画像の変換によって得られることができる。当該場面の各点に対して、前記点の、前記画像捕捉装置まで、他の基準点まで、又は投影スクリーンのような平面までの距離が、ピクセル値に加えて捕捉される。このような形式は、通常、２．５次元（画像＋深さ）ビデオ形式と称されている。

２．５次元ビデオ形式を、異なる位置から見た複数の画像に変換する場合、或る出力ピクセルに対して、入力データが利用可能でないことが起こり得る。従って、これらの出力ピクセルは、自身のピクセル位置に割り当てられる如何なる確定値も有していない。これらの割り当てられていないピクセル値が、変換された画像において「穴」と呼ばれるアーチファクトを生じる。本明細書において、「穴」又は「ピクセルが割り当てられていない領域」なる語は、区別無く、割り当てられていないピクセル値のピクセル位置を含む領域を参照するのに使用される。穴の不利な視覚効果は、閉塞領域内で更に目立つ。ビデオ情報内の閉塞及び非閉塞領域は、背景領域に対する前景対象物の動きによって生じる。深さデータにおける不連続性は、典型的には、前景から背景への遷移において生じ、前記背景の非閉塞を生じ、この結果、変換された複数の画像における穴を生じる。穴埋めアルゴリズムが、これらのアーチファクトを克服するために使用されることができる。

穴は、前方向の動き補償を使用する良く知られているビデオ圧縮手法によってエンコードされた画像系列を含む二次元ビデオ情報のデコードされた出力においても生じ得る。このようなビデオ圧縮方式において、フレーム内のピクセルの領域は、前のフレームのピクセルの投影されている領域から予測される。これは、シフト動き予測方式と呼ばれる。この予測の方式において、一部の領域は、重複し、一部の領域は、前記フレーム内の対象物の動きによって、ばらばらにされる。このばらばらの領域におけるピクセル位置は、確定したピクセル値を割り当てられていない。従って、画像系列を含む二次元ビデオ情報のデコードされた出力において、穴が生じる。更に、背景及び前景が別個に符号化される対象物ベースのビデオエンコード手法（例えば、ＭＰＥＧ−４）において、参照されていない領域が、前記背景内に存在し得て、穴を生じる。穴埋めアルゴリズムは、これらのアーチファクトを克服するために使用されることができる。

穴埋めのための幾つかのアルゴリズムは、C. Fehnによる記事「三次元テレビジョン装置における新しい取り組みのための深さ‐画像ベースのレンダリング（ＤＩＢＲ）、圧縮及び伝送」（ＳＰＩＥ立体表示機及び仮想現実感システムの会報ＸＩ、９３-１０４頁、San Jose、CA、USA ２００４年１月）において議論されている。議論されている前記アルゴリズムは、場面の前景と背景との間の線形的な色の内挿、場面の背景の簡単な外挿、及び閉塞領域の境界に沿った背景の色情報のミラーリングを含む。適切なガウスフィルタによる深さ情報の平滑化も、提案されている。これらの技術の全ては、明らかに、表示されている画像における視覚の歪み量の変化を生じる。

表示されている画像においてあまり視覚歪みを生じない画像内の穴埋めの方法を提供することが望ましい。

従って、穴埋め、即ち画像内の割り当てられていないピクセル値のピクセル位置を含む領域におけるピクセル値の割り当ての方法において、第１ピクセル位置は、割り当てられていないピクセル値の領域に隣接している第１近傍内で選択される。前記第１ピクセル位置を含む第２近傍も、選択される。前記第１ピクセル位置に対する画像フィーチャの方向は、前記第２近傍からの第１集合のピクセル値を使用して推定される。第２集合のピクセル値は、前記第１ピクセル位置から推定された方向におけるピクセル位置から選択される。第３集合のピクセル値は、
第２集合のピクセル値から計算される。少なくとも、割り当てられていないピクセルのピクセル位置を含む領域の一部は、前記第３集合のピクセル値を使用することによってピクセル値を割り当てられる。

表示されている画像において視覚歪みをあまり生じない画像における穴埋めのための画像処理装置を提供することも、望ましい。

従って、穴埋め、即ち画像内の割り当てられていないピクセル値のピクセル位置を含む領域におけるピクセル位置へのピクセル値の割り当てのための装置が、提供される。前記装置は、第１セレクタ、第２セレクタ、推定器、第３セレクタ、第１プロセッサ及び第２プロセッサを有している。前記第１セレクタは、割り当てられていないピクセル値の領域に隣接している第１近傍における第１ピクセル位置を選択する。前記第２セレクタは、前記第１ピクセル位置を含む第２近傍を選択する。前記推定器は、前記第２近傍の第１集合のピクセル値を使用して、前記第１ピクセル位置に対する画像フィーチャの方向を推定する。前記第３セレクタは、前記第１ピクセル位置から推定された方向におけるピクセル位置から第２集合のピクセル値を選択する。前記第１プロセッサは、第２集合のピクセル値から第３集合のピクセル値を計算する。前記第２プロセッサは、前記第３集合のピクセル値を使用して、少なくとも、割り当てられていないピクセル値のピクセル位置を有する領域の一部のピクセル位置に、ピクセル値を割り当てる。

一連の画像を表現する信号を受信する受信機と、前記一連の画像を表示するための表示装置とを含む穴埋めのための画像処理装置を提供することも好ましい。

従って、一連の画像を表現する信号を受信する受信機と、穴埋め、即ち前記一連の画像に属する少なくとも１つの画像内の割り当てられていないピクセル値のピクセル位置を有する領域内のピクセル位置へのピクセル値の割り当てのための装置とを含む画像処理装置が、提供される。前記画像処理装置は、前記一連の画像を表示する表示装置を含んでいる。

変位された画像内に視覚歪みをあまり生じない画像における穴埋めのための符号化手段を含むコンピュータプログラムを提供することも望ましい。

従って、開示される当該方法の全てによる穴埋め、即ち画像内の割り当てられていないピクセル値のピクセル位置を有する領域における又はピクセル位置へのピクセル値の割り当てのためのプログラム符号化手段を有するコンピュータプログラムが、提供される。

画像内の割り当てられていないピクセル値のピクセル位置を有する領域内のピクセル位置にピクセル値を割り当てる方法及び装置のこれら及び他の見地は、以下で記載される実施化及び実施例を参照し、添付図面を参照して、明らかになり、説明されるであろう。これらの図は、開示される方法及び装置の多くの例のうちの一つの模式的な表現である。

図１は、割り当てられていないピクセル値のピクセル位置を含む領域１１０と関連する近傍とを有する一例の画像１００である。当該一例の画像は、更に、領域１１０の第１近傍１３０から選択された第１ピクセル１２０、第１ピクセル位置１２０に対する画像フィーチャ１６０の推定された方向１４０と、これらのピクセル値が推定の方向１４０において使用されている第２近傍１５０とを示している。２．５次元画像データを変換する場合、閉塞領域における深さデータの不連続性は、領域１１０が生じる原因の１つとなり得る。領域１１０は、例えば、ステレオペアからの１０個の多視点画像の集合の計算のような、少ない数の多視点画像から多視点画像の集合を計算する場合に生じ得る。領域１１０は、例えば、ＭＰＥＧ−４のような、良く知られているビデオ圧縮方式における対象物ベースの符号化方式又はシフト動き予測方式の結果としても生じ得る。領域１１０は、穴とも呼ばれ得る。穴１１０は、一般に、描画されている画像における視覚アーチファクトを生じるランダム又はゼロピクセル値を含んでいる。

第１近傍１３０は、ここから選択される第１ピクセル位置１２０が、実質的に閉じており、遷移領域内のピクセルを回避するように穴１１０の境界から十分に離れているように、選択される。この例において、第１近傍１３０は、穴１１０の周囲の周りの幾つかのピクセル幅の狭い細片として示されている。前景対象物が背景領域に対して動いている場合、第１近傍１３０は、前記背景領域のみから選択される。場面における前景及び背景領域が、既に識別されていることが仮定されている。画像フィーチャ１６０とは、例えば、画像１００内に存在する線形フィーチャ又はテクスチャフィーチャのような、代表的なフィーチャである。第１ピクセル位置１２０に対する画像フィーチャ１６０の方向１４０は、第２近傍１５０内の第１集合のピクセル値を使用して推定される。第２近傍１５０内の第１集合のピクセル値は、穴１１０の割り当てられていないピクセル値を除外することによって選択される。前記第２近傍１５０は、第１近傍１３０とも重複し得て、穴１１０とも重複し得ることに留意されたい。

図２は、一例の画像１００の一部１５０の拡大図である。第１領域２１０及び幾つかの候補領域２２０、２３０、２４０も、示されている。これらの候補領域は、第１ピクセル１２０に対する画像フィーチャ１６０の方向１４０の推定において使用される。第１領域２１０は、第１ピクセル位置１２０を含み、穴１１０と重複しているように示されている。複数の候補領域２２０、２３０、２４０は、第１領域２１０に隣接しており、第２近傍１５０内に位置されている。第１領域２１０及び候補領域２２０、２３０、２４０は、互いに、隣接している、重複している又はばらばらになっていても良い。これらの領域の形状は、示されている正方形に限定される必要はない。幾つかの形状、例えば、長方形又は前記画像内の対象物に対応した不規則な形状が、可能である。示されている例において、画像のフィーチャ１４０は、第１領域２１０内と、候補領域のうちの１つ２３０内とに存在する。候補領域２３０の位置は、近傍１５０内のピクセル値から決定される。

図３は、画像内の穴埋めの方法３００を示すフローチャートである。割り当てられていないピクセル値の１つ以上の領域を含む画像１００が、開始ステップ３０１において利用可能にされる。第１ピクセル位置１２０は、第１ステップ３１０において第１近傍１３０内で選択される。次のステップ３２０において、第２近傍１５０が、第１ピクセル位置１２０を含むように選択される。第２近傍１５０は、画像フィーチャ１６０（例えば、画像内のテクスチャ又は線形フィーチャ）の方向１４０を識別する及び推定するのが可能であるように選択される。画像フィーチャ１６０の方向１４０は、次のステップ３３０において、第２近傍１５０のピクセル値から推定される。方向の推定の詳細は、図４の記載において説明されるであろう。次のステップ３４０において、第２集合のピクセル値が、推定された方向１４０において選択される。選択されたピクセルの連続した順序は、次の使用のために保持される。ステップ３５０において、第３集合のピクセル値が、前記第２集合のピクセル値から計算される。前記実施例の１つにおいて、前記第３集合のピクセル値は、前記第２集合のピクセル値の値を内挿することによって得ることができる。他の実施例において、前記第３集合のピクセル値は、前記第２集合のピクセル値の値から外挿されることができる。前記第２集合及び前記第３集合内のピクセルの数は、同じである必要はない。ピクセル値の集合をピクセル値の他の集合から導出する多くのよく知られている内挿技術の１つ（例えば、多項式曲線近似）が、適用されることができる。領域１１０の一部は、次のステップ３６０において、前記第３集合のピクセル値から得られたピクセル値を割り当てられる。前記実施例の１つにおいて、画像フィーチャ１６０の方向１４０におけるピクセル値は、領域１１０を埋めるように拡張される。前記第１ピクセル位置に関して前記画像フィーチャの拡張された方向にあるピクセル位置は、第３集合のピクセル値を使用して埋められる。前景対象物が、背景領域に対して動いている場合、前記前景対象物は、前記背景領域の所定の領域を晒す。このような場合において作られる前記穴は、典型的には、前記背景領域から得られた前記ピクセルによって埋められる。前記画像フィーチャの連続性は、拡張された方向に知覚され、視覚歪みは、最小化される。前記実施例の１つにおいて、前記推定された方向からのピクセル値は、領域１１０内の前記割り当てられていないピクセル位置を埋めるために逆順（ミラーリング）で使用される。提案されている実施例から得られる結果は、横又は縦方向のような固定された方向において選択されたピクセル値のにじみ又は外挿若しくは内挿よりも良好である。ステップ３１０−３６０は、前記第１近傍内の複数の選択された第１ピクセルに対して繰り返され、当該穴は、徐々に埋められる。制御ステップ３７０は、領域１１０が完全に埋められるまで、方法３００が繰り返されることを保証するために設けられている。制御ステップ３７０は、ピクセル値が割り当てられていない前記領域の全てが、前記実施例の１つによって適切なピクセル値によって埋められることも保証する。幾つかの隔離されたピクセル位置は、デジタルグリッド内の方向の表現によって生じるエラーにより、いまだ、割り当てられていないこともあり得る。最も隣接しているものからのピクセル値は、このような隔離されているピクセルを埋めるのに使用されることができる。割り当てられていないピクセル値の前記領域内が適切なピクセル値によって埋められた後、画像１００は、方法３００の出力３７１において利用可能にされる。

背景領域に対する前景対象物の動きによって生じる閉塞領域内の穴を埋めるために、前記前景対象物は、最初に、識別されなければならない。３Ｄディスプレイ用のフレームを描画している間、前記前景／背景情報は、深さマップ及び描画アルゴリズムから得られることができる。動き補償されたビデオ圧縮システムの場合、同じ情報が、動きベクトル場及び閉塞領域から得られることができる。

図４は、画像フィーチャ１６０の方向１４０を推定するステップ４００を説明しているフローチャートである。穴１１０、第１ピクセル位置１２０、第１近傍１３０及び第２近傍１５０穴１１０を有する領域１００が、ステップ４００の入力４０１において利用可能にされる。第１ステップ４１０において、第１ピクセル位置１２０の周りの第１領域２１０が、選択される。第１領域２１０は、画像フィーチャ１６０の一部を含んでいる。複数の候補領域２２０、２３０、２４０は、次のステップ４２０において選択される。前記候補領域は、第１領域２１０からの所定の、固定された距離において選択されることができる。候補領域２２０、２３０、２４０は、領域１００と重複しても良く、又は重複しなくても良い。多数の候補領域が、画像フィーチャ１６０の拡張を見つけるために選択されても良い。第１領域２１０のピクセル値は、前記候補領域の各１つについてのピクセル値との類似値の計算において使用される。領域２１０に属する前記割り当てられていないピクセル値は、前記類似値の前記計算において除外される。

類似値が、次のステップ４３０において、前記候補領域の各１つに対して、第１領域２１０の利用可能であるピクセルを候補領域２２０、２３０、２４０の各１つについての対応するピクセルと比較することにより、計算される。このような類似値は、例えば、ピクセルの相関測定、又は前記対応するピクセルの平均絶対偏差の規格化された和に基づくものであることができる。ピクセル値から得られる幾つかの値に基づいた相関測定（例えば、平均強度又は分散）は、類似値の計算においても使用されることができる。計算された類似値の集合から、第１領域２１０と最良に整合する特定の候補領域２３０が、次のステップ４４０において識別される。最良に整合する候補領域２３０は、典型的には、画像フィーチャ１６０の拡張を含んでおり、特定の候補領域２３０の位置は、画像フィーチャ１６０の取り得る方向を示している。次のステップ４５０において、画像フィーチャ１６０の方向は、第１領域２１０の位置と最良に整合する領域２３０の位置とから推定される。

図５は、第１領域５００及び複数の候補領域の相対的な位置を示している。この例において、第１ピクセル５０１は、原点（０，０）に位置されていると仮定されている。第１領域５００は、前記原点に位置されている８×８ピクセルの正方形のブロックとして実線で示されている。８つの可能な候補領域５１０−５８０の集合が、第１領域５００の近傍における８×８ピクセルの正方形のブロックとして、不連続線で示されている。この例において、候補領域の位置は、白丸で示されている。これらの位置は、前記第１ピクセル位置からの絶対的な距離が、横及び縦方向の何れかにおいて又は両方において、８つのピクセル単位であるように、選択される。更なる候補領域は、黒丸として示されている中間の位置において選択されることができる。合計６４個の可能な位置（白及び黒丸）が、前記第１領域の近傍に示されている。穴の境界５９０が、示されている。自身の位置が、例えば、前記穴内にある（-８、８）、（８、８）である前記候補領域は、必ずしも類似値の計算に加わる必要がない。前記類似値は、典型的には、前記穴の境界５９０の外側の全ての黒丸及び白丸に位置されている前記候補領域に関して計算される。類似値の前記集合から、第１領域５１０と密接に整合する候補領域が、選択される。選択された前記候補領域の位置から、前記第１ピクセルに対する方向が、推定される。前記選択された候補領域が、例えば、（８、０）に位置されている場合、（０、０）と（８、０）とを結ぶ線の方向５０４は、この例において、（８、０）として表されることができる。（０、０）と、（８、−１）及び（８、＋１）とを結ぶ線の方向５０３、５０５の更なる２つの例も、図５に示されている。

図６は、前記穴の第１近傍上のピクセルに対して画像フィーチャの方向を見つけた後に穴を埋める方法を示している。この埋めることは、図６（ａ）、（ｂ）、（ｃ）及び（ｄ）において四段階で実証されている。空白の正方形は、割り当てられていない値のピクセル位置を表しており、影付きの正方形は、既知の値のピクセル位置を表している。影付きの正方形の領域は、１つ以上の画像フィーチャを含むように仮定されている。このような空白の及び影付きの領域は、２００から２０９までの行番号と、９９から１０５までの列番号とを有するデジタル画像の一部を形成している。左角の座標は、（９１、２００）である。列１０５において、当該列内のそれぞれのピクセル位置における画像フィーチャの方向が、示されている。方向（８、１）、（８、０）及び（８、−１）は、図５の記載において説明されている表記法に従っている。前記穴内のピクセル位置は、まず、前記画像の影付きの正方形からの既知のピクセル値の行及び列番号によって埋められる。最初のステップにおいて、座標が埋められ、次のステップにおいて、実際のピクセル値が、埋められる。一実施例において、各ピクセル位置において記載されている方向（例えば、列１０５内の（８、０））における既知のピクセル値が、最初に選択される。選択された前記ピクセルは、逆方向において逆順（ミラーリング）に空白の正方形を埋めるのに使用されている。デジタルグリッド上で、不連続性は、縦横方向以外の方向を表現している際に、生じ得る。前記不連続性により、前記ピクセル値は、区分的（piece-wise）線形の態様において埋められる。図６（a）及び（ｂ）において、方向（８、０）は横であり、前記穴の下部における３つの行２０７、２０８、２０９は、如何なる不連続性も伴わずに埋められる。（８、１）の延長部における次の２つの行は、区分的な線形の態様で埋められる。図６（ｂ）に示されているように、行２０６において、列１０５に近い４つのピクセルが、最初に埋められる。残っている２つのピクセルは、１行だけ上にずらされており、従って、空白の空間が、位置（９１、２０７）及び（１００、２０６）において観測される。行２０２及び２０３において、方向（８、-１）からのピクセルが、空白の位置を埋めるのに使用される。行２０２、２０３内の列９１、１００内の４つのピクセル位置は、既に、方向（８、１）からのピクセルによって埋められている。これらの４つの位置は、方向（８、１）からか、又は方向（８、−１）からかの何れかのピクセルによって、埋められることができる。複数の選択のこのような状況において、画像フィーチャのより強い方向（高い類似値を有する）からのピクセルが、選択されることができる。前記推定された方向において選択されたピクセルの数は、前記穴を埋めるのに必要とされるピクセルの数に等しいものである必要はない。未知のピクセルの必要な数は、より少ない又はより多い数の既知のピクセルから、よく知られている内挿又は外挿方法の何れによっても、導出されることができる。

図７は、画像内の穴埋めのための画像処理装置７００の実施例である。装置７００は、第１セレクタ７１０、第２セレクタ７２０、推定器７３０、第３セレクタ７４０、第１プロセッサ７５０及び第２プロセッサ７６０を有している。第１セレクタ７１０は、第１ピクセル１２０及び前記第１近傍１３０を選択するように配されている。第２セレクタ７２０は、第２近傍１５０を選択するように配されている。推定器７３０は、第１ピクセル位置１２０に対する画像フィーチャ１６０の方向１４０を推定する。第３セレクタ７４０は、推定された方向１４０におけるそれぞれのピクセル位置からの第２集合のピクセル値を選択する。第１プロセッサ７５０は、前記第２集合のピクセル値から、第３集合のピクセル値を計算する。第２プロセッサ７６０は、前記第３集合のピクセル値からのピクセル値を、前記割り当てられていないピクセル値に割り当てる。

図８は、穴埋めのための装置、受信機８１０及び表示装置８３０を含んでいる画像処理装置８００の実施例である。受信機８１０は、一連の画像を表す信号を受信する。装置７００は、前記一連の画像に属する少なくとも１つの画像内の割り当てられていないピクセル値のピクセル位置を有する領域内のピクセル位置に、ピクセル値を割り当てる。前記一連の画像は、ケーブル、地上若しくは衛生伝送システム、又は、インターネットのような、デジタルネットワークによって受け取られることができる。画像処理装置８００は、例えば、出力画像を表示するための表示装置８３０のような、付加的な構成要素を含んでいても良い。代替的には、装置８００は、装置８００の外側の表示機へ画像を供給しても良い。装置８００は、テレビジョン装置、セットトップボックス、ＶＣＲ／ＶＣＰ、衛星チューナ、ＤＶＤプレーヤ／レコーダのような付加的な手段を組み込むことによる消費者及び専門家用装置の種類の１つ以上を支持することができる。オプション的には、装置８００は、ハードディスクのような記憶手段、又は光学ディスクのような取り外し可能な媒体上の記憶のための手段を有する。画像処理装置８００は、映画スタジオ、放送者又はリトランスミッタによって利用されるシステムであることもできる。

前記コンピュータプログラムは、組み込みソフトウェアとして、集積回路又は計算機のような装置内に埋め込まれていても良く、又は標準的な記憶装置又はメモリ装置の１つから予めロードされているのを保持されている若しくはロードされるのを保持されていても良い。前記コンピュータプログラムは、標準的に含まれている、又は、例えば、フラッシュメモリ、ハードディスク又はＣＤのような、脱着式の記憶装置内で、取り扱われることができる。前記コンピュータプログラムは、機械レベルのコード、アセンブリ言語又はより高いレベルの言語のような、既知のコードの如何なるものにおいても表現されることができ、ハンドヘルド装置、パーソナルコンピュータ又はサーバのような、利用可能であるプラットホームの如何なるものにおいても動作させられることができる。

上述の実施例は、本発明を制限するものとみなしてはならず、当業者であれば、添付請求項の範囲から逸脱することなく、代替的な実施例を設計することができるであろうことに留意されたい。前記請求項において、括弧内に置かれた如何なる符号も、請求項を限定するようにみなしてはならない。「有する」という語は、請求項に記載されていない構成要素又はステップの存在を排除するものではない。単数形の構成要素は、複数のこのような構成要素を排除するものではない。本発明は、幾つか別個の構成要素を有するハードウェアによって、及び適当にプログラムされたコンピュータによって実施化することができる。いくつかの手段を列挙している装置請求項において、これらの手段の幾つかは１つの同じハードウェアの項目によって、実施化することができる。

割り当てられていないピクセル値のピクセル位置及び関連する近傍を有する領域を有する一例の画像である。 前記一例の画像の一部の拡大図である。 画像内の穴埋めの方法を示しているフローチャートである。 画像フィーチャの方向を推定するステップを示しているフローチャートである。 第１領域と複数の候補領域との相対位置を示している。 穴の第１近傍上のピクセルに対する画像フィーチャの方向を見つけた後に穴を埋める方法を示している。 画像内の穴埋めのための装置の実施例である。 穴埋めのための装置、受信機及び表示装置を含む画像処理装置の実施例である。

Claims (7)

1. 画像内の割り当てられていないピクセル値のピクセル位置を有する領域内のピクセル位置に、ピクセル値を割り当てる方法であって、
   − 割り当てられていないピクセル値の前記領域に隣接している第１近傍内の第１ピクセル位置を選択するステップと、
   − 前記第１ピクセル位置を含む第２近傍を選択するステップと、
   − 前記第１ピクセル位置に対する画像フィーチャの方向を推定するために、前記第２近傍のうち、前記第１ピクセル位置を含み割り当てられていないピクセル値の前記ピクセル位置を除く第１集合のピクセル値を使用するステップと、
   − 前記第１ピクセル位置から前記推定された方向におけるそれぞれのピクセル位置からの第２集合のピクセル値を選択するステップと、
   − 前記第１ピクセル位置に対して前記画像フィーチャの前記推定された方向と逆方向に沿って前記第２集合のピクセル値からのピクセル値がミラーリングされるように、前記逆方向における割り当てられていないピクセル値のピクセル位置に割り当てるための第３集合のピクセル値を前記第２集合のピクセル値から計算するステップと、
   − 前記第３集合のピクセル値を使用して、少なくとも、割り当てられていないピクセル値のピクセル位置を有する前記領域の一部のピクセル位置にピクセル値を割り当てるステップと、
   を有する方法。
2. 前記方向を推定するステップが、
   − 前記第１ピクセル位置を含む第１領域を選択するステップと、
   − 前記第２近傍内の複数の候補領域を選択するステップと、
   − 前記候補領域の各１つ及び前記第１領域対する類似値を、前記候補領域の各１つのピクセル値と前記第１領域の対応するピクセル値とを比較することによって計算するステップと、
   − 対応する類似値に基づいて、特定の候補領域を選択するステップと、
   − 前記特定の候補領域の位置から、前記第１ピクセル位置に対する前記画像フィーチャの前記方向を推定するステップと、
   を有する請求項１に記載の方法。
3. 前記類似値を計算するステップが、前記第１領域に関して選択された前記候補領域の各１つの対応するピクセル値の領域補正値を計算することによって実施される、請求項２に記載の方法。
4. 割り当てられていないピクセル値の前記領域の第１近傍内の第１ピクセル位置を選択する第１セレクタと、
   前記第１ピクセル位置を含む第２近傍を選択する第２セレクタと、
   前記第２近傍のうち、前記第１ピクセル位置を含み割り当てられていないピクセル値の前記ピクセル位置を除く第１集合のピクセル値を使用して、前記第１ピクセル位置に対する画像フィーチャの方向を推定する推定器と、
   前記第１ピクセル位置からの前記推定された方向における対応するピクセル位置から、第２集合のピクセル値を選択する第３セレクタと、
   前記第１ピクセル位置に対して前記画像フィーチャの前記推定された方向と逆方向に沿って前記第２集合のピクセル値からのピクセル値がミラーリングされるように、前記逆方向における割り当てられていないピクセル値のピクセル位置に割り当てるための第３集合のピクセル値を前記第２集合のピクセル値から計算する第１プロセッサと、
   前記第３集合のピクセル値を使用して、少なくとも、割り当てられていないピクセル値のピクセル位置を有する領域の一部のピクセル位置にピクセル値を割り当てる第２プロセッサと、
   を有する画像処理装置。
5. 一連の画像を表している信号を受け取る受信機を含んでいる、請求項４に記載の画像処理装置。
6. 一連の画像を表示する表示装置を含んでいる、請求項５に記載の画像処理装置。
7. コンピュータプログラムであって、コンピュータで実行されて、前記コンピュータに請求項１乃至３の何れか一項に記載の方法の各ステップを実行させるコンピュータプログラム。

Images