JP2007503656A - エッジ方向の推定 - Google Patents

Abstract

画像中のある特定のピクセル（１００）の近傍に位置するエッジの向きを推定する方法が開示される。該方法は、候補エッジ方向の集合を生成し、前記候補エッジ方向のそれぞれについて対応するピクセル群（１０４、１０６）の対について前記対応するピクセル群の対の２つの群（１０４、１０６）のピクセル値の間の差に基づいて一致誤差を計算することによって前記候補エッジ方向を評価し、前記候補エッジ方向の集合からそれぞれの一致誤差に基づいて前記候補エッジ方向のある第１のものを選択し、前記候補エッジ方向の該第１のものを当該特定ピクセル（１００）に割り当てる、ことを有する。この方法の利点は、必要とされる計算が比較的少ないことである。これは前記候補エッジ方向の集合の生成が以前の計算に基づいていることによって実現されている。

Description

本発明は、画像中で、該画像のある特定のピクセルの近傍に位置するエッジの方向を推定する方法に関するものであり、該方法は、
・候補エッジ方向の集合を生成し、
・前記候補エッジ方向のそれぞれについてピクセル群の対応する対について一致誤差を計算することによって前記候補エッジ方向を評価し、該一致誤差はピクセル群の前記対応する対をなす２つの群のピクセル値の間の差に基づいており、前記２つのピクセル群の当該特定ピクセルに対する位置は考察中の前記候補エッジ方向に関係しており、
・前記候補エッジ方向の集合からそれぞれの一致誤差に基づいて前記候補エッジ方向の第１のものを選択し、前記候補エッジ方向の該第１のものを当該特定ピクセルに割り当てる、
ことを有する。

本発明はさらに、画像中で、該画像のある特定のピクセルの近傍に位置するエッジの方向を推定するエッジ方向推定ユニットに関するものであり、該エッジ方向推定ユニットは、
・候補エッジ方向の集合を生成する生成手段と、
・前記候補エッジ方向のそれぞれについてピクセル群の対応する対について一致誤差を計算することによって前記候補エッジ方向を評価し、該一致誤差はピクセル群の前記対応する対をなす２つの群のピクセル値の間の差に基づいており、前記２つのピクセル群の当該特定ピクセルに対する位置は考察中の前記候補エッジ方向に関係しているような評価手段と、
・前記候補エッジ方向の集合からそれぞれの一致誤差に基づいて前記候補エッジ方向の第１のものを選択し、前記候補エッジ方向の該第１のものを当該特定ピクセルに割り当てる選択手段とを有する。

本発明はさらに、
・入力画像のシーケンスに対応する信号を受信する受信手段と、
・前記入力画像のシーケンスに基づいて出力画像のシーケンスを計算する、前記したエッジ方向推定ユニットによって制御される画像処理ユニットとを有する、画像処理装置にも関する。

本発明はさらに、画像中で、該画像のある特定のピクセルの近傍に位置するエッジの方向を推定するための命令を有し、処理手段およびメモリを有するコンピュータ設備によって読み込まれるべきコンピュータプログラムプロダクトにも関する。該コンピュータプログラムプロダクトは、読み込まれたのち、前記処理手段に、
・候補エッジ方向の集合を生成し、
・前記候補エッジ方向のそれぞれについてピクセル群の対応する対について一致誤差を計算することによって前記候補エッジ方向を評価し、該一致誤差はピクセル群の前記対応する対をなす２つの群のピクセル値の間の差に基づいており、前記２つのピクセル群の当該特定ピクセルに対する位置は考察中の前記候補エッジ方向に関係しており、
・前記候補エッジ方向の集合からそれぞれの一致誤差に基づいて前記候補エッジ方向の第１のものを選択し、前記候補エッジ方向の該第１のものを当該特定ピクセルに割り当てる、
ことを実行する能力を与えるものである。

冒頭で述べたたぐいの画像処理装置の一つの実施形態は米国特許US5,019,903から知られている。この特許明細書は、デジタルビデオ信号の行の間を空間的に補間して補間された行を生成する装置を開示している。その装置は、当該信号の標本値の間を水平方向に補間して元来の標本値とそれらの間に位置する補間された標本値とからなるスーパーサンプリング信号を生成するよう構成されたスーパーサンプラーを有している。そのスーパーサンプリング信号の各標本値について、ブロック一致回路がそれぞれ、Ｎ×Ｍ標本値の２つのブロックの間の一致の度合いを決定する（Ｎは行数、Ｍは標本値の数）。前記２つのブロックは垂直方向には補間すべき行に関して反対向きにオフセットされており、水平方向には所定の標本値の位置に関して反対向きにオフセットされている。各ブロック一致回路はそれぞれの異なる水平オフセットについて一致誤差を生成する。この一致誤差に反応して、補間すべき行の各標本値について、選択手段が、前記異なるオフセットに対応する勾配ベクトルの組から前記ブロック間の最良一致を与えるオフセットに対応する勾配ベクトルを選択する。この勾配ベクトルがエッジの方向に対応すると想定されている。方向可変の空間補間手段が当該ビデオ信号を空間的に補間する。その補間方向は、それが生成する標本値ごとに、その生成される標本値に対応する所定の標本値の位置について選択された前記勾配ベクトルに従って制御される。

前記の既知の画像処理装置の不都合な点は、当該ビデオ信号によって表現されている画像中のエッジの方向を決定するために比較的多数の計算が必要とされることである。各標本値について一致誤差を、評価すべき異なる勾配ベクトルに対応してあらゆるオフセットについて計算しなければならないのである。

必要とされる計算が比較的少数ですむような冒頭において述べたたぐいの方法を提供することが本発明の目的の一つである。

本発明のこの目的は、前記候補エッジ方向の集合の生成が以前の計算に基づいていることによって実現される。以前の計算を利用することにより、個々のピクセルに対する候補エッジ方向の評価の数が大幅に減少する。必要とされる候補エッジ方向が少なくなるからである。以前の計算にはいくつかの種類がある。それら複数のものについて従属請求項で説明される。

本発明に基づく方法のある実施形態では、前記候補エッジ方向の集合はさらなるエッジ方向の集合から候補エッジ方向を選択することによって生成され、該さらなるエッジ方向の集合は以前のエッジ方向推定ののちに当該画像の別のピクセルに割り当てられたさらなるエッジ方向からなる。本発明に基づくこの実施形態では、特定のピクセルの空間的な環境中において推定されているエッジ方向が再利用され、諸ピクセルに割り当てられる。画像中のエッジは複数のピクセルと重なる、すなわち複数のピクセルに広がると想定しているのである。もしある特定のエッジ方向が近くのピクセルに割り当てられていれば、この特定のエッジ方向が考察中の特定のピクセルについてのよい候補エッジ方向になるというのである。よって、この実施形態の利点は、候補エッジ方向の集合が限定されており、その結果として計算の数が少なくなるという点である。もう一つの利点は、推定エッジ方向の一貫性が改善されるという点である。

好ましくは、前記さらなるエッジ方向の集合からの前記候補エッジ方向の第２のものの選択が、
・前記候補エッジ方向の該第２のものと、
・前記候補エッジ方向の該第２のものが割り当てられた前記別のピクセルの第１のものの当該特定ピクセルに対する位置、
とに基づいて行われる。これは、もし前記候補エッジ方向の第２のものが前記別のピクセルの第１のものから当該特定ピクセルへの線分と実質一致すれば、前記候補エッジ方向の該第２のものが選択されるということを意味する。逆もまた真である。もし前記候補エッジ方向のある第３のものが前記候補エッジ方向の該第３のものが割り当てられた前記別のピクセルのある第２のものから当該特定ピクセルへの線分に実質等しくなければ、前記候補エッジ方向の該第３のものは選択されない。換言すれば、候補エッジ方向の集合は主として当該特定ピクセルについて適切である確率が比較的高い候補エッジ方向からなっているのである。

本発明に基づく方法のある実施形態によれば、前記候補エッジ方向の集合はさらなるエッジ方向の集合から候補エッジ方向を選択することによって生成され、該さらなるエッジ方向の集合はある以前のエッジ方向推定ののちにある別の画像の別のピクセルに割り当てられたさらなるエッジ方向からなる。ここで、当該画像と前記別の画像とはともに一つのビデオ画像シーケンスに属するものである。本発明に基づくこの実施形態では、当該特定ピクセルの時間的な環境中において推定されているエッジ方向が再利用され、時間的に近隣のピクセル群に割り当てられる。ビデオ画像のシーケンスの一連の画像は互いに比較的よく一致すると想定しているのである。もしある特定のエッジ方向が以前の画像における対応するピクセルに割り当てられていれば、この特定のエッジ方向が考察中の当該特定ピクセルについてのよい候補エッジ方向になるというのである。よって、この実施形態の利点は、候補エッジ方向の集合が限定されており、その結果として計算の数が少なくなるという点である。もう一つの利点は、推定エッジ方向の一貫性が改善されるという点である。

本発明に基づく方法のある別の実施形態では、前記候補エッジ方向の集合の生成は、
・エッジ方向の初期推定値を計算し、
・前記エッジ方向の初期推定値と所定の閾値とに基づいて候補エッジ方向を生成する、
ことを有する。本発明に基づくこの実施形態では、まずエッジ方向の初期推定値が計算され、その計算に基づいて最終的な候補エッジ方向が生成される。それはすなわち、最終的な候補エッジ方向が初期推定値のまわりの限られた範囲内にあるということである。

好ましくは、前記エッジ方向の初期推定値の計算は、
・当該特定ピクセルに関して反対向きの水平オフセットをもつ２つのピクセルブロックのピクセル値の間の差の第１の和を計算し、
・当該特定ピクセルに関して反対向きの垂直オフセットをもつ２つのピクセルブロックのピクセル値の間の差の第２の和を計算し、
・前記差の第１の和と前記差の第２の和との商を計算することによってエッジ方向の初期推定値を決定する、
ことを有する。本発明に基づくこの実施形態の利点は、前記初期推定値の計算が比較的堅牢になるということである。この事実はいくつかの方法で適用できる。第一に、実際のエッジ方向の計算が限られた候補エッジ方向の集合を用いて実行できる。代替的に、比較的正確なエッジ方向、すなわち良好な一致が、いくつかの「サブピクセル」精度の候補エッジ方向を適用することによってみつけることができる。任意的に、前記差の第１の和および前記差の第２の和はそれぞれ差の重み付きの和である。

本発明に基づく方法のある実施形態では、前記候補エッジ方向の第１のものは当該特定ピクセルを含んでいるあるピクセルブロックに割り当てられる。本発明に基づくこの実施形態の利点は、候補エッジ方向の集合の評価の回数が比較的少なくなることである。典型的なピクセルブロックが８×８ピクセルからなるとすると、評価回数は６４倍も減少する。前記推定エッジ方向が個々のピクセルにではなく、６４個のピクセルに割り当てられるからである。この方策、すなわち推定エッジ方向をピクセルブロックの複数のピクセルに割り当てることは、以前の計算に基づいて候補エッジ方向の集合を生成する方策とは独立しても適応可能であることを注意しておく。この方策だけで本発明の前記目的を達成することもできる。

本発明に基づく方法のある実施形態では、当該画像中の他のピクセルブロックに、該他のピクセルブロックについての他のエッジ方向推定に基づいて他のエッジ方向が割り当てられる。ならびに、最終的なエッジ方向はブロック侵食（block erosion）によって当該画像の個々のピクセルについて計算される。ブロック侵食は、ある個別のブロックのピクセル内でのさまざまな異なる値を、当該ピクセルブロックの値および隣接するピクセルブロックの値に基づいて計算するための既知の方法である。ブロック侵食は、たとえば米国特許明細書US5,148,269において開示されている。本発明に基づくこの方法の利点は、比較的少ない計算で当該画像の個々のピクセルについてエッジ方向が計算されることである。

本発明に基づく方法のある実施形態では、前記一致誤差は、２つのピクセル群のそれぞれのピクセルの間の差の絶対値の和に基づいている。この一致誤差は画像の諸部分の間の一致を確立するための大がかりな計算を必要としない比較的良好な尺度である。任意的に、前記２つのピクセル群は部分的に重なり合っていてもよい。そのほかにそのほかにサブサンプリングを適用してもよい。

本発明に基づく方法のある実施形態では、前記ピクセル群はそれぞれ長方形のピクセルブロックである。典型的なピクセルブロックは８×８または４×４ピクセルからなる。一般に、ブロックベースの画像処理はメモリアクセスと相性がよい。よって、メモリ帯域幅の使用が比較的少なくなる。

本発明に基づく方法のある別の実施形態では、前記ピクセル群はそれぞれ平行四辺形のピクセルブロックであり、その実際の形は考察している候補エッジ方向に依存する。

比較的少ない計算でエッジ方向を推定するよう構成された、冒頭において述べたたぐいのエッジ方向推定ユニットを提供することが本発明のさらなる目的である。

本発明のこの目的は、前記生成手段が以前の計算に基づいて候補エッジ方向の集合を生成するよう構成される形で達成される。

比較的少ない計算でエッジ方向を推定するよう構成された、冒頭において述べたたぐいの画像処理装置を提供することが本発明のさらなる目的である。

本発明のこの目的は、前記エッジ方向推定ユニットの前記生成手段が以前の計算に基づいて候補エッジ方向の集合を生成するよう構成される形で達成される。

前記画像処理装置は、出力画像を表示するための表示装置など追加的な構成要素を有していてもよい。該画像処理ユニットは以下の種類の画像処理の一つまたは複数をサポートしていてもよい。

・インターレース除去：インターレースは奇数番目と偶数番目の画像走査線を交互に送信する映像放送で一般的な手続きである。インターレース除去は、完全な垂直解像度を復元する、すなわち各画像ごとに奇数番目と偶数番目の両方の走査線が得られるようにする。

・映像周波数変換：（インターレースされた）オリジナル入力画像の系列から（インターレースされた）出力画像のより大きな系列が計算される。出力のうち補間された画像は時間的にオリジナル入力画像２枚の間に位置する。

・空間的画像スケーリング：オリジナル入力画像の系列から、該入力画像よりも空間解像度の高い出力画像の系列が計算される。

・ノイズ削減：エッジ方向の情報は前記補間を制御するために重要である。これはまた、時間的処理にも関わり、空間−時間的ノイズ削減につながることもありうる。

・ビデオ圧縮、すなわちエンコードまたはデコード。たとえばＭＰＥＧ規格によるもの。
前記画像処理装置は、たとえばテレビ、セットトップボックス、ビデオデッキ、衛星チューナー、ＤＶＤ（Digital Versatile Disk［デジタル多目的ディスク］）プレーヤーもしくはレコーダーでありうる。

必要とされる計算が比較的少ない、冒頭において述べたたぐいのコンピュータプログラムプロダクトを提供することが本発明のさらなる目的である。

本発明のこの目的は、候補エッジ方向の集合の生成が以前の計算に基づいて行われることで達成される。

前記方法の修正およびその変形は、前記エッジ方向推定ユニット、前記画像処理装置および前記コンピュータプログラムプロダクトの修正およびその変形に対応するものでありうる。

本発明に基づく前記方法の、前記エッジ方向推定ユニットの、前記画像処理装置の、そして前記コンピュータプログラムプロダクトのこれらのことを含むさまざまな側面は、以下に付属の図面を参照しつつ記載される実装および実施形態によって明快に説明されることであろう。

図面を通じて、同じ参照符号は同様の部分を示すのに使われている。

図１は、位置X〔本訳稿では便宜上下線でベクトルを表す〕のピクセルからなるあるブロックB(X)１０２中のある特定のピクセル１００の候補エッジ方向を評価するために使われる２つのピクセルブロック１０４、１０６を示す概略図である。候補エッジ方向の評価は差分絶対値和（SAD: Summed Absolute Difference）を一致基準とすることに基づいている。これに代わる、同じくらい好適な一致基準としてはたとえば、平均平方誤差（Mean Square Error）、規格化相互相関（Normalized Cross Correlation）、大差ピクセル数（Number of Significantly Different Pixels）などがある。ある特定の候補（candidate）エッジ方向tngtcについての一致誤差の計算は、たとえば式（１）で規定される。

SAD(tngtc,X,n)＝Σ｜F(x−tngtc,y＋1,n)−F(x＋tngtc,y−1,n)｜ （１）
〔和はx∈B(X)で行う〕
ここで、x＝(x,y)であり、F(x,n)は輝度信号、nは画像番号またはフィールド番号である。試験対象の候補エッジ方向は候補の集合（candidate set）ＣＳから取ってきたもので、整数値のほかピクセル間値をとることもできる。結果として出力されるエッジ方向は、SADの値が最小になる候補エッジ方向である。その候補エッジ方向は、当該特定ピクセルを含んでいるピクセルブロック１０２の諸ピクセルに割り当てられる。

前記候補の集合が式（２）
CS＝｛tngtc｜−8＜tngtc＜8｝ （２）
で規定され、たいていの応用ではピクセルの半分の精度で十分であるとすると、３０ほどの候補エッジ方向を評価する必要がある。しかし、本発明によれば、候補エッジ方向の数は予測または再帰を使って一桁減らすことができる。候補の集合を式（３）
CS(X,n)＝｛tngtc(n)｜tngt(X,n−1)−1, tngt(X,n−1), tngt(X,n−1)＋1｝ （３）
のように規定して良好な結果が実現された。ここで、tngt(X,n−1)は前回の画像n−1において位置Xに対して得られたエッジ方向の結果である。（簡単のため、整数点までの精度を前提としている。）実験によると、これは計算量の観点から魅力的であるばかりでなく、エッジ方向の一貫性向上にもつながる。任意的に、予測tngt(X,n−1)に対して該予測自身の次に（擬似ノイズの）アップデートが加えられる。

図２は、前記特定ピクセル１００の空間的環境において以前に推定されているエッジ方向２３０〜２５４に基づくいくつかの候補エッジ方向の選択を示す概略図である。これらの以前に推定された方向２３０〜２５４はそれぞれブロック２０２〜２２６に割り当てられたものである。特に時間的な予測が正しいエッジ方向に収束しない可能性のある動きの速いシーケンスについては、空間的な予測――たとえば同じ画像の他の部分にすでに割り当てられているエッジ方向――が有益であろう。ある好ましい実施形態では、有望な予測をその値と位置とに基づいて識別することができる。換言すれば、同じ画像の他の部分にすでに割り当てられているエッジ方向の集合から候補エッジ方向を選択することは、その候補エッジ方向の値とその候補エッジ方向が割り当てられているピクセルの当該特定ピクセル１００に対する位置とに基づく。たとえば、斜め隣のピクセルブロック２１２に対して45°（tngtc＝1）のエッジ方向が割り当てられていたとすると、これは現在のピクセルブロック２２８についての有望な予測となる。エッジが画像の大きな部分にわたって広がっていると想定しているのである。このことを明らかにするには、斜め隣のピクセルブロック２１２に割り当てられているエッジ方向２４０が、当該特定ピクセル１００から前記斜め隣のピクセルブロック２１２の中心ピクセル２６２への線分２６４と比較される。同様に、ブロック配列の位置(−2,1)にあるピクセルブロック２０６に割り当てられている値がtngtc＝−2だったとすると、これは現在のピクセルブロック２２８についての有望な候補エッジ方向である。さらなる有望な候補はピクセルブロック２１０、２１８、２２２に割り当てられているそれぞれエッジ方向２３８、２４６、２５０である。より正式な形では、

となる。式（４）の上側は二つ以上のｉの値について成り立つ可能性がある。その場合、好ましくはtngtcは絶対値が最小のiが割り当てられる。これを実現するのが次の擬似コードである。

候補の集合CSが時間的候補および空間的候補、すなわち同じ画像シーケンスの他の画像に対して推定されたエッジ方向および同じ画像の他のブロックに対してのエッジ方向を含んでいることは明らかであろう。

任意的に、異なるエッジ方向候補に対してペナルティが加えられる。こうしたペナルティは時間的か空間的かといった候補の種類に依存してもよいが、候補の値そのものに依存してもよい。たとえば、水平軸に比べて比較的小さな角度の候補エッジ方向は比較的大きなペナルティでアップデートされるようにするなどである。

図３は、ある特定のピクセル１００についてのエッジ方向の初期推定値を計算するのに使われる２対のピクセルブロックを示す概略図である。ピクセルブロックの第１の対は、特定ピクセル１００を含んでいる、位置Xのピクセルからなる特定のブロックB(X)３００に関して水平方向左にシフトさせた第１のピクセルブロック３０２および、前記特定のピクセルブロック３００に関して水平方向右にシフトさせた第２のクセルブロック３０４からなる。ピクセルブロックの第２の対は、前記特定のピクセルブロック３００に関して垂直方向上にシフトさせた第３のピクセルブロック３０６および、前記特定のピクセルブロック３００に関して垂直方向下にシフトさせた第４のピクセルブロック３０８からなる。適用されるシフトは典型的には１ピクセルである。エッジ方向の初期推定値の計算は、
・前記特定のピクセルブロック３００に関して反対向きの水平オフセットをもつ２つのピクセルブロック３０２、３０４のそれぞれのピクセル値の間の差の第１の和S_H(B(X))を式（５）で規定されるように計算し、
・前記特定のピクセルブロック３００に関して反対向きの垂直オフセットをもつ２つのピクセルブロック３０６、３０８のそれぞれのピクセル値の間の差の第２の和S_V(B(X))を式（６）で規定されるように計算し、
・前記第１の差の和と前記第２の差の和との商を計算することによってエッジ方向の初期推定値E(B(X))を式（７）で規定されるように決定する、ことを有する。

S_H(B(X))＝Σ｛F(x−(1,0))−F(x＋(1,0))｝ （５）
〔和はx∈B(X)で行う〕
S_V(B(X))＝Σ｛F(x−(0,1))−F(x＋(0,1))｝ （６）
〔和はx∈B(X)で行う〕
E(B(X))＝αS_H(B(X))／S_V(B(X)) （７）
ここで、αは前記特定のピクセルブロックB(X)３００に関するシフトの量に依存する定数である。S_V(B(X))＝0で分母が０となるためにE(B(X))が計算できなくなるのを避けるため、特別の用心が払われる。たとえば、商を計算する前にS_V(B(X))に非常に小さな値が加えられる。あるいはまた、S_V(B(X))は所定の閾値と比較される。S_V(B(X))が該所定の閾値を超えた場合にのみ前記の商が計算され、そうでない場合にはE(B(X))にはデフォルト値が設定される。

前記初期推定値に基づいて、前記特定のピクセルブロックB(X)３００についての候補の集合は
CS(X,n)＝｛tngtc(n)｜E(B(X))−T≦tngtc(n)≦E(B(X))+T｝ （８）
で定義される。ここで、Tは所定の閾値（threshold）である。

図４は、それぞれの候補エッジ方向の一致誤差を計算するのに使われる平行四辺形のピクセルブロック４０２〜４１２の対を示す概略図である。ピクセルブロックの第１の対は特定のピクセル１００に関して垂直方向上にシフトさせた第１のピクセルブロック４０２および、前記特定ピクセルに関して垂直方向下にシフトさせた第２のピクセルブロック４０４からなる。第１ピクセルブロック４０２および第２ピクセルブロック４０４は、前記特定ピクセル１００に対する相対位置が垂直成分のみを含み、水平成分を含まないので、長方形である。ピクセルブロックの第２の対は特定のピクセル１００に関して垂直方向上にシフトさせ、水平方向左にシフトさせた第３のピクセルブロック４０６および、前記特定ピクセル１００に関して垂直方向下にシフトさせ、水平方向右にシフトさせた第４のピクセルブロック４０８からなる。第３ピクセルブロック４０６および第４ピクセルブロック４０８は、前記特定ピクセル１００に対する相対位置が垂直成分、水平成分の両方を含んでいるので、平行四辺形様になる。ピクセルブロックの第３の対は特定のピクセル１００に関して垂直方向上にシフトさせ、水平方向右にシフトさせた第５のピクセルブロック４１０および、前記特定ピクセル１００に関して垂直方向下にシフトさせ、水平方向左にシフトさせた第６のピクセルブロック４１２からなる。さまざまなピクセルブロック４０２〜４１２の形は、対応するエッジ方向に関係している。たとえば、第１のピクセルブロックの対を用いては、垂直方向のエッジ方向が評価される。

図５は、本発明に基づくエッジ方向推定ユニット５００の実施形態を示す概略図である。該ユニットは、
・候補エッジ方向の集合を生成する候補生成ユニット５０２と、
・候補エッジ方向のそれぞれについて対応するピクセル群の対についての一致誤差を計算することによって該候補エッジ方向を評価する評価ユニット５０４と、
・前記それぞれの一致誤差に基づいて前記候補エッジ方向の集合から前記候補エッジ方向の第１のものを選択し、前記候補エッジ方向の該第１のものを当該特定ピクセルに割り当てる選択ユニット５０６、
とを有する。評価ユニット５０４は前記一致誤差を、前記対応するピクセル群の対をなす２つの群のピクセル値の間の差に基づいて計算するよう構成されている。ここで、前記２つのピクセル群の前記特定ピクセルに関する位置は考察中の候補エッジ方向に依存する。前記ピクセル値は入力端子５１２によって与えられる。好ましくは、ピクセル群はピクセルブロックである。これらのピクセルブロックの形は長方形であることもあるし、図４との関連で述べたような平行四辺形であることもある。

前記候補生成ユニット５０２は候補エッジ方向の集合を以前の計算に基づいて生成するよう構成されている。好ましくは、当該エッジ方向推定ユニット５００は、前記選択ユニット５０６と前記候補生成ユニット５０２との間の任意的な接続を有しており、前記候補生成ユニット５０２に図１、図２との関連で述べたように選択されたエッジ方向に関連するデータを提供できるようになっている。任意的に、当該エッジ方向推定ユニット５００は、図３との関連で述べたように初期推定値を計算するよう構成された初期推定ユニット５１０を有している。

候補エッジ方向の評価は個々のピクセルについて実行することもできる。しかし、好ましくはこれらの評価はピクセル群について実行される。結果として、選択ユニット５０６によって割り当てられる一つのエッジ方向は、その群のすべてのピクセルに割り当てられる。個々のピクセルによって、あるいはピクセル部分群によって異なるエッジ方向の値を実現するためには、当該エッジ方向推定ユニット５００はブロック侵食ユニット５０８を有することができる。このブロック侵食ユニット５０８の作用は図７Ａ〜図７Ｃとの関連で説明される。

当該エッジ方向推定ユニット５００はその出力端子にエッジ方向の二次元配列を与える。

候補生成ユニット５０２、評価ユニット５０４、選択ユニット５０６、初期推定ユニット５１０およびブロック侵食ユニット５０８は一つのプロセッサを使って実装できる。通常、これらの機能はソフトウェアプログラムプロダクトの制御のもとに実行される。実行の間、通常は前記ソフトウェアプログラムプロダクトはＲＡＭのようなメモリに読み込まれており、そこから実行される。該プログラムはＲＯＭ、ハードディスクまたは磁気および／または光学記憶装置のような補助記憶装置から読み込まれてもよいし、インターネットのようなネットワークを通じて読み込まれてもよい。任意的に、カスタムチップ（application specific integrated circuit）によって前記開示された機能を提供してもよい。

図６は本発明に基づく画像処理装置の実施形態を示す概略図である。該画像処理装置は、
・入力画像を表す信号を受信する受信手段６０２と、
・画像処理ユニット６０４と、
・該画像処理ユニットを制御する、図５との関連で述べたようなエッジ方向推定ユニット５００と、
・前記画像処理ユニット６０４の出力画像を表示する表示装置６０６、
とを有する。前記画像処理ユニット６０４は以下の機能の一つまたは複数を実行するよう構成されていてもよい：インターレース除去、映像周波数変換、空間的画像スケーリング、ノイズ削減、ビデオ圧縮。前記インターレース除去は好ましくはＴ・ドイレ（Doyle）およびＭ・ローイマンス（Looymans）によって論文「エッジ情報を使った順次走査変換（Progressive scan conversion using edge information）」（Ｌ・キアリリオーネ（Chiariglione）（編）『ＨＤＴＶの信号処理（Signal Processing of HDTV）ＩＩ』、エルセヴィエ・サイエンス・パブリッシャーズ、１９９０年、ｐｐ．７１１〜７２１）によって記載されているようなものである。

前記信号はアンテナまたはケーブルを通じて受信された放送信号でもよいが、ビデオデッキ（ＶＣＲ）またはデジタル多用途ディスク（ＤＶＤ）のような記憶装置からの信号でもよい。該信号は入力端子６１０で与えられる。当該画像処理装置６００は、たとえばテレビでありうる。あるいはまた、当該画像処理装置６００は任意的な表示装置を有しておらず、前記出力画像を表示装置６０６を有する装置に提供するのでもよい。その場合、当該画像処理装置６００はたとえばセットトップボックス、衛星チューナー、ビデオデッキ、ＤＶＤプレーヤーもしくはレコーダーなどでありうる。任意的に、当該画像処理装置６００は、ハードディスクまたは、光ディスクなどリムーバブルメディア上の記憶手段のような保存手段を有している。当該画像処理装置６００はまた映画スタジオまたは放送局によって利用されるシステムであってもよい。

図７Ａ、図７Ｂ、図７Ｃはブロック侵食、すなわち前記ブロック侵食ユニット５０８の作用を概略的に示している。図７Ａでは４つのピクセルブロックＡ、Ｂ、Ｃ、Ｄが描かれている。これらのピクセルブロックのそれぞれはたとえば８×８ピクセルからなる。これらのピクセルブロックのそれぞれに選択ユニット５０６によってエッジ方向が割り当てられている。それはすなわち、たとえばブロックＡの６４ピクセル全部にエッジ方向として同じ値V(A)が割り当てられており、ブロックＢの６４ピクセル全部にはエッジ方向として値V(B)が割り当てられているという意味である。

ブロック侵食は、ピクセルのサブブロックによって異なるエッジ方向の値を実現するために実行される。図７Ｂでは、ピクセルブロックＡが４つのサブブロックＡ１、Ａ２、Ａ３、Ａ４に分割されているところが描かれている。これらの（たとえば４×４の）ピクセルのサブブロックのそれぞれについて、エッジ方向の値は、親のピクセルブロックＡのエッジ方向の値V(A)に基づいて、かつ親のピクセルブロックＡの隣接ピクセルブロックのエッジ方向の値に基づいて計算される。たとえば、サブブロックＡ４のエッジ方向の値V(A4)は、親のピクセルブロックＡのエッジ方向の値V(A)ならびに、親のピクセルブロックＡの隣接ピクセルブロックＢおよびＣのエッジ方向の値V(B)およびV(C)に基づいて計算される。この計算は式（９）で表されるようなものでよい。

V(A4)＝median(V(A),V(B),V(C)) （９）
好ましくは、ブロック侵食は階層的に実行される。図７Ｃでは、図７ＢのピクセルのサブブロックＡ１が４つのサブブロックＡ１１、Ａ１２、Ａ１３、Ａ１４に分割されているところが描かれている。これらの（たとえば２×２の）ピクセルのサブブロックのそれぞれについて、エッジ方向の値は、親のピクセルサブブロックＡ１のエッジ方向の値V(A1)に基づいて、かつ親のピクセルサブブロックＡ１の隣接ピクセルブロックのエッジ方向の値に基づいて計算される。たとえば、サブブロックＡ１４のエッジ方向の値V(A14)は、親のピクセルサブブロックＡ１のエッジ方向の値V(A1)ならびに、親のピクセルサブブロックＡ１の隣接ピクセルサブブロックＡ２およびＡ３のエッジ方向の値V(A2)およびV(A3)に基づいて計算される。この計算は式（１０）で表されるようなものでよい。

V(A14)＝median(V(A1),V(A2),V(A3)) （１０）
さらなるサブブロックへの分割を適用することもできることは明らかであろう。

上記の実施形態は本発明を解説するものであって限定するものでないこと、そして当業者は付属の特許請求の範囲から離れることなく代替的な実施形態を考案することができるであろうことを注意しておく必要がある。請求項において、括弧内に参照符号があったとしてもそれを請求項を限定するものと解釈してはならない。「有する」の語は請求項に挙げられていない要素またはステップの存在を排除するものではない。要素の単数形の表現はそのような要素の複数の存在を排除するものではない。本発明は、いくつかの区別できる要素を有するハードウェアによっても、好適にプログラムされたコンピュータによっても実装できる。いくつかの手段を列挙する装置請求項において、そうした手段のいくつかは単一のハードウェア項目によって具現されることもできる。

本発明のある実施形態に基づき、ある特定のピクセルの候補エッジ方向を評価するために使われる２つのピクセルブロックを示す概略図である。 当該特定ピクセルの空間的な環境中で以前に推定されたエッジ方向に基づいていくつかの候補エッジ方向の選択を示す概略図である。 エッジ方向の初期推定値を計算するのに使われる２対のピクセルブロックを示す概略図である。 それぞれの候補エッジ方向の一致誤差を計算するのに使われる平行四辺形のピクセルブロックの対を示す概略図である。 本発明に基づくエッジ方向推定ユニットのある実施形態を示す概略図である。 本発明に基づく画像処理装置のある実施形態を示す概略図である。 ブロック侵食を示すための概略図である。 ブロック侵食を示すための概略図である。 ブロック侵食を示すための概略図である。

Claims (17)

1. 画像中で、該画像のある特定のピクセルの近傍に位置するエッジの方向を推定する方法であって、
   ・候補エッジ方向の集合を生成し、
   ・前記候補エッジ方向のそれぞれについてピクセル群の対応する対について一致誤差を計算することによって前記候補エッジ方向を評価し、該一致誤差はピクセル群の前記対応する対をなす２つの群のピクセル値の間の差に基づいており、前記２つのピクセル群の当該特定ピクセルに対する位置は考察中の前記候補エッジ方向に関係しており、
   ・前記候補エッジ方向の集合からそれぞれの一致誤差に基づいて前記候補エッジ方向の第１のものを選択し、前記候補エッジ方向の該第１のものを当該特定ピクセルに割り当てることを有しており、前記候補エッジ方向の集合の生成が以前の計算に基づいていることを特徴とする方法。
2. 前記候補エッジ方向の集合がさらなるエッジ方向の集合から候補エッジ方向を選択することによって生成され、該さらなるエッジ方向の集合が以前のエッジ方向推定ののちに当該画像の別のピクセルに割り当てられたさらなるエッジ方向からなることを特徴とする、請求項１記載の方法。
3. 前記さらなるエッジ方向の集合からの前記候補エッジ方向の第２のものの選択が、
   ・前記候補エッジ方向の該第２のものと、
   ・前記候補エッジ方向の該第２のものが割り当てられた前記別のピクセルの第１のものの当該特定ピクセルに対する位置、
   とに基づいて行われることを特徴とする、請求項２記載の方法。
4. 前記候補エッジ方向の集合がさらなるエッジ方向の集合から候補エッジ方向を選択することによって生成され、該さらなるエッジ方向の集合がある以前のエッジ方向推定ののちにある別の画像の別のピクセルに割り当てられたさらなるエッジ方向からなるもので、当該画像と前記別の画像とがともに一つのビデオ画像シーケンスに属するものであることを特徴とする、請求項１記載の方法。
5. 前記候補エッジ方向の集合の生成が、
   ・エッジ方向の初期推定値を計算し、
   ・前記エッジ方向の初期推定値と所定の閾値とに基づいて候補エッジ方向を生成する、
   ことを有することを特徴とする、請求項１記載の方法。
6. 前記エッジ方向の初期推定値の計算が、
   ・当該特定ピクセルに関して反対向きの水平オフセットをもつ２つのピクセルブロックのピクセル値の間の差の第１の和を計算し、
   ・当該特定ピクセルに関して反対向きの垂直オフセットをもつ２つのピクセルブロックのピクセル値の間の差の第２の和を計算し、
   ・前記差の第１の和と前記差の第２の和との商を計算することによってエッジ方向の初期推定値を決定する、
   ことを有することを特徴とする、請求項５記載の方法。
7. 前記候補エッジ方向の前記第１のものが当該特定ピクセルを含んでいるピクセルブロックに割り当てられることを特徴とする、請求項１記載の方法。
8. 当該画像中の他のピクセルブロックに、該他のピクセルブロックについての他のエッジ方向推定に基づいて他のエッジ方向が割り当てられること、ならびに、最終的なエッジ方向がブロック侵食によって当該画像のピクセルのサブブロックについて計算される、ことを特徴とする、請求項７記載の方法。
9. 前記一致誤差が、前記２つのピクセル群のそれぞれのピクセルの間の差の絶対値の和に基づいていることを特徴とする、請求項１記載の方法。
10. 前記ピクセル群がそれぞれ長方形のピクセルブロックであることを特徴とする、請求項１記載の方法。
11. 前記ピクセル群がそれぞれ台形のピクセルブロックであり、その実際の形は考察している候補エッジ方向に依存することを特徴とする、請求項１記載の方法。
12. 画像中で、該画像のある特定のピクセルの近傍に位置するエッジの方向を推定するエッジ方向推定ユニットであって、
    ・候補エッジ方向の集合を生成する生成手段と、
    ・前記候補エッジ方向のそれぞれについてピクセル群の対応する対について一致誤差を計算することによって前記候補エッジ方向を評価し、該一致誤差はピクセル群の前記対応する対をなす２つの群のピクセル値の間の差に基づいており、前記２つのピクセル群の当該特定ピクセルに対する位置は考察中の前記候補エッジ方向に関係しているような評価手段と、
    ・前記候補エッジ方向の集合からそれぞれの一致誤差に基づいて前記候補エッジ方向の第１のものを選択し、前記候補エッジ方向の該第１のものを当該特定ピクセルに割り当てる選択手段とを有しており、前記生成手段が前記候補エッジ方向の集合を以前の計算に基づいて生成するよう構成されていることを特徴とする、エッジ方向推定ユニット。
13. ・入力画像のシーケンスに対応する信号を受信する受信手段と、
    ・前記入力画像のシーケンスに基づいて出力画像のシーケンスを計算する、請求項１２記載のエッジ方向推定ユニットによって制御される画像処理ユニット、
    とを有することを特徴とする、画像処理装置。
14. 前記画像処理ユニットが請求項１２記載のエッジ方向推定ユニットによって制御される補間手段を有するインターレース除去ユニットであることを特徴とする、請求項１３記載の画像処理装置。
15. さらに前記出力画像を表示するための表示装置を有することを特徴とする、請求項１３記載の画像処理装置。
16. テレビであることを特徴とする、請求項１５記載の画像処理装置。
17. 画像中で、該画像のある特定のピクセルの近傍に位置するエッジの方向を推定するための命令を有し、処理手段およびメモリを有するコンピュータ設備によって読み込まれるべきコンピュータプログラムであって、読み込まれたのち、前記処理手段に、
    ・候補エッジ方向の集合を生成し、
    ・前記候補エッジ方向のそれぞれについてピクセル群の対応する対について一致誤差を計算することによって前記候補エッジ方向を評価し、該一致誤差はピクセル群の前記対応する対をなす２つの群のピクセル値の間の差に基づいており、前記２つのピクセル群の当該特定ピクセルに対する位置は考察中の前記候補エッジ方向に関係しており、
    ・前記候補エッジ方向の集合からそれぞれの一致誤差に基づいて前記候補エッジ方向の第１のものを選択し、前記候補エッジ方向の該第１のものを当該特定ピクセルに割り当てる，
    ことを実行する能力を与えるものであって、前記候補エッジ方向の集合の生成が以前の計算に基づいていることを特徴とするコンピュータプログラム。

Images