JP5121852B2 - 画像ブロックの分類 - Google Patents

Description

本発明は、一般に画像処理に関し、特に画像フレームのビデオシーケンスの画像中の画像ブロックの分類を提供することに関する。

より高いフレームレートのビデオシーケンスがより低いフレームレートのビデオシーケンスより高品質の体験を与えると一般に考えられるため、フレームレートアップ変換が行なわれる。ビデオシーケンスのフレームレートは、既存のフレーム間に予想されるフレームを挿入することにより増加される。適切な方法は、双方向ブロック動き推定（非特許文献１）を使用して中間フレームを予測することであり、それにより入力されたビデオシーケンスの先行フレームと次のフレームとの間の直線運動を探索する。加速を表せる非線形方法を使用することも可能であるが、単純であり且つそれ程複雑でないために線形方法が使用される。中間フレームはブロックに分割され、各ブロックには動きベクトルが何らかの方法で割り当てられる必要がある。しかし、動きベクトルの集合が現在のブロックに対する候補である可能性があり、それらの候補動きベクトルのうちの１つのみが動きを表すために選択される。

それらの候補ベクトルのうち選択されるベクトルに関して評価が実行される場合、種々のパラメータが使用される。最も一般的なのは差分絶対値和（ＳＡＤ）（非特許文献２）であり、これは先行フレームにおいて指し示される画素と次のフレームにおいて指し示される画素との間の値の差分から計算される。

場合によっては、２つ（又はそれ以上）の異なる動きベクトルは小さいＳＡＤ値を有するが、動きを表すために１つの動きベクトルのみが選択される。図８は、ビデオシーケンス中の２つのフレーム１０、２０を示す。（ユーザにとって）中間フレーム３０の内容を推測するのは困難なことではない。

背景は、変更されていないため、２つの隣接フレーム１０、２０と同一である可能性が高く、先行フレーム２０においてボールが左側にあり且つ後続フレーム１０においてボールが右側にあるため、直感的に中間フレーム３０の中心にボールが存在すると考えられる。フレーム１０のボールからフレーム２０のボールを指し示す動きベクトルは小さいＳＡＤ値を与え、ベクトルの長さの半分の位置で画像の中心を通過する。

しかし、中央の領域は、先行フレーム２０において後続フレーム１０と全く同一又はほぼ同一に見える。局所的に考慮すると、この領域が中間フレーム３０において同一に見え、ゼロ動きベクトルは非常に小さなＳＡＤ値を与える。従って、動きベクトルを選択する従来技術は、この状況において問題を生じる可能性がある。背景のゼロ動きを正確に撮影するのは最も容易であるため、この動きベクトルは、ボールの動きに対応する動きベクトルの代わりに選択される。その結果、中間画像３０はボールを全く含まないものになる。

Choi, B.T., Lee, S.H., & Ko, S.J., 2000,「双方向動き推定を用いたフレームレート・アップコンバージョンの新手法」IEEE トランザクション、コンシューマ・エレクトロニクス第４６巻、第３号、６０３〜６０９ページ Zhai, J., Yu, K., Li, J. & Li, S., 2005,「低複雑度動き補償フレーム補間法」神戸（日本）で開催されたIEEE主催の回路とシステムの国際シンポジウム(ISCAS2005),２００５年５月２３日〜２６日

本発明は、従来技術の構成の上記欠点及び他の欠点を克服する。

本発明の一般的な目的は、画像フレーム中の前景と背景とを区別するために利用される分類パラメータを提供することである。

本発明の特定の目的は、候補画素ブロックを選択する時に分類パラメータを利用するフレーム補間／外挿を提供することである。

これらの目的及び他の目的は、添付の請求の範囲により規定される本発明により達成される。

簡単に説明すると、本発明は、フレームシーケンスの現在のフレーム中の少なくとも１つの画像要素の現在のグループに対する分類パラメータを判定することを含む。シーケンス中の参照フレームから現在のフレームへの画像要素プロパティ値のグローバル動きの表現は、好ましくは現在のブロックのグループに対して割り当てられるか又は推定される変位ベクトルに基づいて判定される。参照グループは、判定されたグローバル動き表現を利用して現在のグループに対する参照フレームにおいて識別される。本発明の分類パラメータは、現在のグループ及び参照グループの画像要素のプロパティ値の差分に基づいて、好ましくは現在のグループ及び参照グループにおける対応する画素位置を占める画像要素に対するプロパティ値の差分の絶対値の和又は差分平方和として計算される。

判定された分類パラメータは、現在のグループが現在のフレームの前景に属するか又は背景に属するかを示し、グループの分類に利用される。パラメータが閾値を上回る場合、グループはフレーム中の前景グループと考えられ、パラメータが閾値を上回らない場合、グループは背景に属すると考えられる。

好適な実現例は、現在のグループと関連付けられる変位ベクトルを利用して現在のグループに対する参照フレームの第２の参照グループを識別する。その後、グローバル動き表現は、識別された第２の参照グループから開始して、現在のフレームの第２のグループを識別するために利用される。第２の分類パラメータは、第２のグループ及び第２の参照グループの画像要素のプロパティ値に基づいて計算される。現在のグループの分類は、第１の分類パラメータ及び第２の分類パラメータの双方に基づいて実行される。

本発明の分類パラメータは、既存の第１のフレーム及び第２のフレームに基づいてビデオシーケンスに新しいフレームを補間又は外挿する時、フレームレートアップ変換中に有利に利用される。第１のフレームに存在する複数の候補グループの集合が提供される。本発明の分類パラメータは、候補グループ毎に判定される。各候補グループは、第２のフレームの各参照グループを識別するために利用される関連する変位ベクトルを有する。各差分パラメータは、候補グループ及びその識別された参照グループに対するプロパティ値の差分に基づいて計算される。新しいフレームに画像要素グループを補間／外挿する時に使用する候補グループは、従来の差分基準及び本発明の分類パラメータの双方に基づいて選択される。この選択は、選択において前景に属するグループに背景グループより大きな重みを与えるために分類パラメータを利用する。新しいフレーム中のグループのプロパティ値は、選択されたグループ及びその識別された参照グループに基づいて判定される。

本発明は、添付の図面と共に以下の説明を参照することにより、本発明の更なる目的及び利点と共に最もよく理解されるだろう。

本発明の一実施形態に係る画像処理方法を示すフローチャートである。 本発明の教示が適用されるフレームのビデオシーケンスを示す概略図である。 ビデオシーケンスの２つのフレームを示す図である。 図１のグローバル動きベクトル判定ステップの一実施形態を示すフローチャートである。 図１の分類パラメータ計算ステップの一実施形態を示すフローチャートである。 図１の方法の追加のステップを示すフローチャートである。 図１の方法の追加のステップを示すフローチャートである。 補間される中間画像フレームと共に２つの画像フレームを示す図である。 本発明の一実施形態に係る動きベクトルを選択する方法を示す図である。 補間される中間画像フレームと共に２つの画像フレームを示す図である。 動きベクトルを選択する際の問題を示す図である。 本発明の一実施形態に係る補間方法を示すフローチャートである。 補間方法において使用される候補動きベクトルを示す図である。 本発明に係る画像プロセッサを示す概略ブロック図である。 図１４のパラメータ計算器を示す概略ブロック図である。 本発明に係るブロック補間器を示す概略ブロック図である。

図中、同一の図中符号が対応する要素又は類似する要素に対して使用される。

本発明は、一般に、フレームの背景及びフレームの前景にそれぞれ属するフレーム部分を識別するためのフレームシーケンスにおける画像及びフレーム処理に関する。

このフレーム部分の分類は、フレームレートアップ変換中は非常に重要であり、シーケンス中の構成フレームに画素値を補間又は外挿するために採用される候補画素ブロックを決定する際に使用される。

本発明において、ビデオ又はフレームシーケンスは、複数、すなわち少なくとも２つのフレーム又はピクチャを含む。そのようなフレームは、一連の１つ以上のスライスから構成されると考えられ、そのようなスライスは、画像要素又は画素の１つ以上のマクロブロックから構成される。本発明において、表現「画像要素」は、シーケンス中のフレーム又はピクチャの最小要素を示すために使用される。そのような画像要素は、色（赤色、緑色、青色、すなわちＲＧＢ空間における）又は輝度（Ｙ）及びクロミナンス（Ｃｒ、Ｃｂ又はＵ、Ｖで示される場合もある）等の関連する画像要素プロパティを有する。画像要素の一般的な一例は、フレーム又はピクチャの画素である。本発明は、所定のフレームレートの複数の連続フレームを含むビデオシーケンスに特に適応される。しかし、本発明は、少なくとも２つのフレーム又は画像を含むフレームシーケンスにも適用可能である。そのようなシーケンスは、異なる位置又は角度から同時に得られた２つのピクチャを含むことができる。このように、本発明は、ビデオシーケンスの異なる時刻、及び／又は、異なる位置又は角度と関連付けられる少なくとも２つのフレームを含む任意のフレームシーケンスに適用可能である。

画像要素は、画像要素のグループに編成される。表現「画像要素のグループ」は、復号化及び符号化中に共に処理される画像要素の集合へのフレーム及びスライスの任意の従来の周知の区画を示す。一般に、そのようなグループは、画像要素の矩形（Ｍ×Ｎ）又は正方形（Ｍ×Ｍ）グループである。そのようなグループ化の一例は、ビデオ圧縮規格におけるマクロブロックである。そのようなマクロブロックは、一般に１６×１６の画像要素のサイズを有する。マクロブロックは、１６×８、８×１６、８×８、８×４、４×８及び４×４の画像要素等の複数のいわゆるサブマクロブロック区画から成る。８×８サブマクロブロック区画はサブマクロブロック又はサブブロックとして示される場合が多く、４×４区画はブロックとして示される場合が多い。

図１は、複数のフレームを含むフレームシーケンスに適用可能な画像処理方法を示すフローチャートである。シーケンス中の各フレームは、少なくとも１つの画像要素、一般に４×４の画像要素等の複数の画像要素の複数のグループ又はブロックを含む。方法はステップＳ１で開始し、参照フレームの少なくとも参照部分からフレーム／ビデオシーケンスの現在のフレームの少なくとも一部分への画像要素プロパティ値のグローバル動きの表現を判定する。このグローバル動き表現は、シーケンスの参照フレームから現在のフレームへ進む時の画素のグローバルな又は全体的な移動を示す。

次のステップＳ２は、現在のフレームの少なくとも１つの画像要素の現在のグループに対して参照フレームの少なくとも１つの画像要素の参照グループを識別するために、判定したグローバル動き表現を使用する。換言すると、ステップＳ２において、現在のフレームの現在のグループの位置に適用される際にグローバル動き表現が指し示す参照フレームの参照グループが識別される。

グローバル動き表現は、必ずしも整数動きである必要はない。逆に、参照グループのプロパティ値がフィルタリングされ、１／２画素値、１／４画素値又は１／８画素値等のサブ画素値を取得できる。これは、十進数がグローバル動き表現のベクトル成分に対して可能であることを意味する。

ステップＳ３は、現在のグループ及び参照グループの画像要素のプロパティ値に基づいて現在のグループに対する分類パラメータを計算する。従って、この分類パラメータは、現在のグループとグローバル動き表現に基づいて識別された対応する参照グループとの間の画像要素プロパティ値の差分を表す。分類パラメータは、現在のグループが現在のフレームの前景に属するか又は背景に属するかを更に示す。一般に、分類パラメータに対して選択された特定のパラメータ形式に依存して、現在のグループが前景に属する場合には大きなパラメータ値が取得される一方、比較的小さいパラメータ値は、現在のグループが現在のフレームの背景部分の一部を形成することを示す。

分類パラメータは、本明細書において更に説明するように、現在のフレームの種々のグループを分類するためだけでなく、フレームレートアップ変換中に新しいフレームを補間／外挿する等の他の目的にも使用される。

図１で実行される動作は、現在のフレームの全ての画像要素グループ等の複数の画像要素グループに適用されるのが好ましい。そのような場合、ステップＳ２及びＳ３は、現在のフレームの全てのグループに対して繰り返され、種々の画像要素グループに対するそれぞれの分類パラメータを取得する。その後、方法は終了する。

図２は、本発明の教示が適用されるフレーム１０、２０のビデオシーケンス１を示す概略図である。元のビデオシーケンスは、異なる時刻ｔ_ｉ−１、ｔ_ｉ＋１及びｔ_ｉ＋３等と関連付けられる複数のフレーム１０、２０を含む。レートアップ変換の場合、１つ以上の追加のフレーム３０がシーケンス１の２つの元のフレーム１０、２０間で発生する時刻ｔ_ｉに対応するように判定される。本発明の画像処理方法をそのようなシーケンスに適用する場合、時刻ｔ_ｉ＋１のフレーム１０が現在のフレームと考えられる一方、時刻ｔ_ｉ−１の先行する元のフレーム２０は参照フレームとなる。あるいは、異なるフレーム１０、２０は、種々のカメラビューから得られるが、同一時点又はほぼ同一時点のものである。

図３は、現在のフレーム１０及び参照フレーム２０を更に詳細に示す。現在のフレーム１０の少なくとも１つの画像要素１４の現在のグループ１２は、分類パラメータを計算する目的で本発明に従って処理される。グローバル動き表現５０は計算されており、図示される。このグローバル動き表現５０は、参照フレーム２０における現在のグループ１２の対応する位置から現在のグループ１２に対する参照フレーム２０中の参照グループ２８となる少なくとも１つの画像要素２４のグループ２８までを指し示すベクトルとして考えられる。図示するように、画像要素２４の数に関する参照グループ２８のサイズは、現在のグループ１２の対応するサイズと同一である。しかし、サブ画素値が使用される場合、それらの画素値は、グループのサイズより大きい参照フレームの部分をフィルタリングすることにより判定される。これは、従来技術において周知である。

本発明のグローバル動き表現５０は、シーケンス中の参照フレーム２０から現在のフレーム１０に進む際の画素パラメータ値の動き方に依存して、ベクトル成分ｘ及びｙに対してゼロベクトルから非ゼロ値までの範囲の任意のベクトル値
をとることができる。

図４は、本発明のグローバル動き表現を判定する好適な一実施形態を示すフローチャートである。方法はステップＳ１０で開始し、ベクトルの集合が提供される。このベクトルの集合は、現在のフレームの少なくとも一部分における画像要素グループ毎に、参照フレームの少なくとも１つの画像要素の参照グループを参照する関連する変位又は動きベクトルを含む。従って、現在のフレームの少なくとも一部分の各グループ、好ましくはフレームの各グループは、参照フレームの参照グループを指し示すか又はそれと関連付けられる割り当てられた変位ベクトルを有する。

変位ベクトルは、Ｈ．２６４等のビデオコーデックの符号化動きベクトル場から提供される。そのような動きベクトルは、従来、フレームのフレーム間符号化において使用されるが、本発明に係る別の目的で再利用可能である。そのような動きベクトルがビデオコーデックから入手可能でない場合、それらの動きベクトルは動き推定探索から判定される。そのような場合、専用の動き推定探索は、好ましくは従来のアルゴリズムに従って、本発明のグローバル動き表現を判定するのに使用される動きベクトル集合を生成する目的で実行される。

一般に、現在のフレームの各画像要素グループは、ビデオコーデックにより又は動き推定から生成される関連する動きベクトルを有することができる。しかし、一部のグループは、ビデオコーデックによりフレーム内ブロックとして符号化されるため、割り当てられた動きベクトルを有さないことがある。そのような場合、そのようなグループは、本発明の動きベクトルの処理から省略される。これは、現在のフレームのグループの一部分のみ（殆どの部分であるが）及びそれらの割り当てられた動き／変位ベクトルがグローバル動き表現を計算するために後続ステップＳ１１において利用されることを意味する。

次のステップＳ１１は、ステップＳ１０において提供された（取り出されたか又は計算された）ベクトル集合からの変位ベクトルを使用して、グローバル動きベクトルを判定する。単純な一実現例において、グローバル動き表現は、ベクトル集合中の変位ベクトルの平均ベクトルとして判定される。これは計算上単純な実施形態であるが、正確なグローバル動き表現を取得する目的に最適な実施形態には程遠い。従って、ステップＳ１１の好適な一実施形態において、現在のフレームの種々の画像要素位置によって変動するベクトル成分値を有する位置に依存するグローバル動きベクトル又は表現、すなわちv = v(x, y)は、ステップＳ１１で判定される。

ステップＳ１１の好適な一実現例は、グローバル動き表現の以下の表現を利用する：
v = Ax + b
式中、
は現在のフレームの現在のグループの位置であり、
は現在のグループのグローバル動き表現である。
及び
は、ステップＳ１０で提供される変位ベクトルに基づいて推定される行列及びベクトルである。行列Ａ及びベクトルｂに対する値を計算するために、最小二乗法が提供された変位ベクトルに対して使用されるのが好ましい。従って、変位ベクトルとグローバル動き表現との平方差分を最小にするという点に関して最適な結果を与える行列及びベクトルは、ステップＳ１１で推定される。最終的なグローバル動き表現v = Ax + bは、カメラのパニング、ズーム及び回転等の最も一般的な背景の動きを撮影する。

当然、上記概念は、
又は高次成分等のグローバル動き表現の他のパラメータ化に適用可能である。方法は、図１のステップＳ２に進み、グローバル動きの判定された表現は、現在のグループのグループ座標ｘ及びｙを使用して、その点におけるグローバル動きを計算し、参照フレームの参照グループを識別するために適用される。

ビデオコーデック又は専用の動き推定探索からの変位ベクトルを使用することは、本発明のグローバル動き表現を判定するために使用される変位ベクトル集合を取得する特定の一実施形態である。他の実施形態も使用可能であり、本発明により考慮される。例えば位相相関に基づく動き推定は、グローバル動きの表現を取得するために使用される。グローバル動きに対する動き推定の別の例は、画素再帰的動き推定、すなわち画素動き推定である。

図５は、図１のパラメータ計算ステップＳ３の特定の一実施形態を示すフローチャートである。方法は、図１のステップＳ２から継続する。次のステップＳ２０は、現在のグループ及び識別された参照グループの画像要素のパラメータ値の間の差分を計算する。それらの差分は、現在のグループの画像要素毎に、その画像要素のプロパティ値と現在のグループにおいて画像要素が有する位置に対応する位置を参照グループにおいて有する参照画像要素のプロパティ値とに基づいて計算される。換言すると、差分はD_x,y = IE_x,y - RIE_x,yで計算される。式中、ＩＥ_ｘ，ｙは現在のグループの位置ｘ，ｙの画像要素のプロパティ値であり、ＲＩＥ_ｘ，ｙは参照グループの位置ｘ，ｙの参照画像要素のプロパティ値であり、Ｄ_ｘ，ｙは差分である。

次のステップＳ２１は、差分の絶対値に基づいて分類パラメータを計算する。種々の実施形態が絶対値に基づくこのパラメータ計算において使用される。第１の実施形態は、差分絶対値和（ＳＡＤ）に基づく分類パラメータを利用する：
分類パラメータの別の好適な実施形態は、差分平方和（ＳＳＤ）である：
双方の場合において、大きいＳＡＤ値又はＳＳＤ値が現在のフレームの前景に属するグループに対して取得される一方、背景グループは相対的に小さいＳＡＤ値及びＳＳＤ値を有する。

図６は、図１の画像処理方法の追加のステップを示すフローチャートである。方法は、図１のステップＳ３から継続する。次のステップＳ３０は、計算された分類パラメータに基づいて、現在のグループを現在のフレームの背景又は前景に属するものとして分類する。本明細書において更に説明するように、ステップＳ３０の分類は、分類パラメータと閾値との比較に基づいて実行されるのが好ましい。そのような場合、現在のグループは、計算された分類パラメータが閾値を上回る場合には現在のフレームの前景に属するものとして分類され、分類パラメータが閾値を下回る場合には背景に属するものとして分類される。

図３及び図７を参照すると、図１の画像処理方法の好適な追加のステップが示される。方法は、図１のステップＳ３から継続する。次のステップＳ４０は、現在のフレーム１０の現在のグループ１２に対する参照フレーム２０の少なくとも１つの画像要素２４の第２の参照グループ２２を識別する。この識別は、現在のグループ１２と現在のグループ１２に関連付けられる変位ベクトル又は表現１６とに基づいて実行される。変位ベクトル１６は、参照フレーム２０において現在のグループ１２が有していた位置に対応する位置から第２の参照グループ２２までを指し示す。

変位ベクトル１６は、現在のフレーム１０に対するグローバル動き表現５０を計算するために先に使用されたベクトル集合から取り出される。従って、ベクトル１６は、ビデオコーデックから取得されるか又は動き推定探索において判定される。

次のステップＳ４１は、第２の参照グループ２２の画像要素２４のプロパティ値及び現在のグループ１２の画像要素１４のプロパティ値に基づいて、いわゆる廃棄パラメータを計算する。この廃棄パラメータは、現在のグループ１２及び参照グループ２２の対応する位置を占める画像要素に対するプロパティ値の対毎の差分の絶対値に基づくのが好ましい。計算は、上述の分類パラメータ計算と同様の方法で実行されるのが好ましいが、使用されるのは変位ベクトル１６により識別される第２の参照グループ２２の画像プロパティ値であり、グローバル動き表現５０に基づいて識別される第１の参照グループ２８のプロパティ値ではないという点が異なる。

廃棄パラメータは、上述の第１の分類パラメータと同一の種類のパラメータであるのが好ましい。換言すると、分類パラメータがＳＡＤ（ＳＳＤ）値である場合、廃棄パラーメータもＳＡＤ（ＳＳＤ）値であるのが好ましい。

ステップＳ４２において、計算された廃棄パラメータＤＰは第１の閾値Ｔ_１と比較される。廃棄パラメータが第１の閾値より小さい場合、ステップＳ４３に進む。廃棄パラメータが第１の閾値より小さくない場合、方法は終了する。この場合、現在のグループの分類は不可能であるか、あるいは分類は図１のステップＳ３で計算された第１の分類パラメータにのみ基づく。

ステップＳ４３において、少なくとも１つの画像要素１４の第２のグループ１８は、参照フレーム２０の第２の参照グループ２２及びグローバル動き表現５０に基づいて現在のフレーム１０において識別される。この第２のグループ１８は、現在のフレーム１０において第２の参照グループ２２が有していた位置と対応する位置からグローバル動き表現５０を適用することにより識別され、表現５０は、第２のグループ１８の位置を指し示す。図３から明らかなように、グローバル動き表現５０の方向は、第２の参照グループ２２から開始して第２のグループ１８で終了する時と比較して現在のグループ１２から第１の参照グループ２８に進む時には反対になる。従って、グローバル動き表現５０は、前者の場合に値
を有していた時、第２の例の場合に値
を有するのが好ましい。

次のステップＳ４４は、第２の参照グループ２２及び第２のグループ１８の画像要素プロパティ値の差分に基づいて第２の分類パラメータを計算する。このステップＳ４４は、第１の分類パラメータの計算と同様の方法で実行されるのが好ましいが、使用されるのは第２のグループ１８及び第２の参照グループ２２からのプロパティ値であり、現在のグループ１４及び第１の参照グループ２８からの値ではないという点において異なる。従って、第２のグループ１８及び第２の参照グループ２２の対応する位置を占める画像要素１４、２４のプロパティ値間の対毎の差分が計算される。差分の絶対値が合計されてＳＡＤに基づく第２の分類パラメータを得るか、あるいは平方差分が合計されてＳＳＤ形式の第２の分類パラメータを取得する。第２の分類パラメータＣＰ_２は、第１の分類パラメータＣＰ_１及び廃棄パラメータと同一のパラメータ形式であるのが好ましい。

ステップＳ４５において、第１の分類パラメータＣＰ_１が第２の閾値Ｔ_２と比較されるのが好ましい。第１の分類パラメータが第２の閾値を下回る場合、ステップＳ４６に進み、第２のパラメータＣＰ_２が第３の閾値Ｔ_３と比較される。一般的な一実現例において、第３の閾値は第２の閾値と等しい。閾値は、固定であるか又は適応されるか、あるいは特定のビデオシーケンスに基づいて判定される。

第２の分類パラメータが第３の閾値を下回る場合、ステップＳ４７に進み、現在のグループ１２が現在のフレーム１０の背景に属するものとして分類される。しかし、ステップＳ４６において第２の分類パラメータが閾値を上回る場合、ステップＳ４８に進む。この場合、第１のパラメータが閾値を下回る一方、第２の分類パラメータはその閾値を上回る。そのような場合、現在のグループ１２の分類は不確かであると考えられる。あるいは、第１の分類パラメータのみが利用される。すなわち、グループ１２は背景グループと考えられる。

ステップＳ４５において第１の分類パラメータが第２の閾値を上回る場合、ステップＳ４９に進み、ステップＳ４６と同様に第２の分類パラメータが第３の閾値と比較される。上述と同様に、第２の分類パラメータが第３の閾値を下回る場合、すなわち一方のパラメータが閾値を上回り且つ他方のパラメータが閾値を下回る場合、現在のグループ１２の分類が不確かであると考えられる。しかし、ステップＳ４９において第２の分類パラメータが比較された閾値を上回る場合、ステップＳ５０に進み、現在のグループ１２が現在のフレーム１０の前景に属するものとして分類される。

不確かな分類を回避する別の方法は、好ましくは同一のパラメータ重みを使用して、２つの分類パラメータの加重和を計算することである。その和は、分類パラメータと比較される。別の可能性は、双方の分類パラメータがそれぞれの閾値を上回る場合にのみ現在のグループを前景に属するものとして分類することであり、上回らない場合、グループは背景に属するものとして考えられる。

比較の順番は、第１のパラメータが第２の閾値と比較される前に第２の分類パラメータがまず第３の閾値と比較されるように交換可能であることは、本発明により予想される。これに対して、廃棄パラメータとの比較は分類パラメータの比較の後に実行可能である。

従って、この特定の実施形態において、現在のグループ１２の分類は、第１の分類パラメータ及び第２の分類パラメータ、並びに好ましくは廃棄パラメータに基づいて実行される。しかし、本発明の別の実施形態において、ステップＳ４１及びＳ４２は省略されるため、分類は、廃棄パラメータを用いずに行なわれ、その代わりに第１のパラメータ及び第２のパラメータを利用する。

上述の方法は、現在のフレーム１０の全てのグループ１２に対して実行され、それにより背景グループ又は前景グループとしてのグループの完全な分類（又は不確かな分類）を形成するのが好ましい。オプションとして画像処理方法を継続すると、グローバル動き表現の改善された更新が現在のフレーム１０の背景に属するものとして分類されたグループにのみ基づいて実行される。そのような場合、判定は、背景グループのみを利用して上述の任意の実施形態に従って実行される。例えば、行列Ａ‘及びベクトルｂ‘の新たな推定は、背景グループと関連付けられる変位ベクトルを利用して実行され、更新済みグローバル動き表現ｖ‘を判定できる。

新たな分類パラメータの計算及び分類パラメータの処理は、更新済みグローバル動き表現に基づいて実行される。これは、先に実行された計算に基づいて更新済みグローバル動き表現を生成することにより反復的に繰り返され、更に正確なグローバル動き表現及びグループ分類が得られる。しかし、殆どの画像フレームの場合、グローバル動きの判定及び分類は１度だけ実行される必要がある。すなわち、更新又は改善は行なわれない。

本発明に従って判定される分類パラメータ及び背景又は前景グループへのグループの分類は、フレームレートアップ変換に関連して新しいフレームを補間又は外挿する際に有利に利用される。

図８は、そのようなアップ変換中に起こる状況を示す。左側の画像は、ビデオシーケンス中の先行参照フレーム２０に対応し、サッカーボールがピクチャ中の左側にあるサッカー競技場の一部分を示す。ビデオシーケンス中の後続のフレーム１０は基本的に同一のサッカー競技場の部分を示すが、ここではサッカーボールはピクチャの右側にある。レートアップ変換において、中間フレーム３０は、参照フレーム２０と現在のフレーム１０との間に補間される。この中間フレーム３０が、サッカーボールが基本的にピクチャの下半分の中央にあるサッカー競技場を示すことを推測することは、観察者にとって困難なことではない。しかし、現在のフレーム１０と参照フレーム２０とのグループ間の動きベクトルに基づく補間のみを実行し、少なくとも部分的に前景／背景分類に基づく補間を実行しない従来のレートアップ変換方式では、背景の節において説明したようにサッカーボールを全く含まない中間フレーム３０を生成する可能性が高い。

図９は、図８に示す例に対する本発明の優れた補間を概略的に示す。この場合、時刻ｔ_ｉ−１の先行フレーム２０から時刻ｔ_ｉ＋１の現在のフレーム１０への画像要素プロパティ値のグローバル動きはゼロ動きとなる（背景が２つのフレーム１０、２０間で全く移動しないため）。時刻ｔ_ｉの中間フレーム３０の中央領域に対して２つの候補変位ベクトルが存在する。一方は、変位ベクトル４０により表されるボールの動きを表現し、他方は、ベクトル４２により表される中央の背景の（ゼロ）動きを表す。グローバル動き表現５０が先行フレーム２０のボールを範囲に含む画像要素グループに適用される場合、芝を範囲に含む後続フレーム１０の画像要素グループが得られる。同様に、先行フレーム２０の右下の画像要素グループ、すなわち背景の芝を含む画像要素グループから開始し、グローバル動きに従って後続フレーム１０に移動した場合、サッカーボールを範囲に含むグループが得られる。これは、フレーム１０、２０の一方がボールを含み且つ他方のフレーム１０、２０がそれらの特定領域において芝を含むため、ボールの動きと関連付けられる変位ベクトル４０により指し示される領域がグローバル動き５０と一致しないことを意味する。従って、芝のグループ及びサッカーボールのグループの画素パラメータ値に基づいて計算される分類パラメータは大きなパラメータ値を有する。

しかし、この場合は変位ベクトル４２及びグローバル動き表現５０が双方ともゼロであるため、先行フレーム２０の下半分の中央の芝から後続フレーム１０の下半分の中央の芝のグループへの（ゼロ）変位ベクトル４２はグローバル動き５０と一致する。従って、グローバル動き５０を適用することにより識別される先行フレーム２０及び後続フレーム１０のグループのプロパティ値の差分に基づいて計算される分類パラメータは、この場合、背景の芝を示すため小さい。

本発明の画像処理をこの単純な例に適用すると、サッカーボールに対応する画像要素グループが前景として分類される一方、残りのグループは背景となる。この分類は、２つの候補変位ベクトル４０、４２間で選択する時に利用される。従って、他方の（ゼロ）候補ベクトル４２はサッカーボールベクトル４０と比較してＳＡＤ値又はＳＳＤ値等の小さい弁別値を達成する可能性が高いが、補間が本発明の分類に少なくとも部分的に基づくことにより、（正確な）変位ベクトル４０は中間フレーム３０の下半分の中央の領域に対して選択される。

候補動きベクトル４０、４２をグローバル動き５０と直接比較する方が容易であると考えられるかもしれないが、それらが十分に異なる場合、ベクトル４０、４２は前景オブジェクトに対応する。しかし、そのような処理は無駄となる可能性が高い。図８のボールの場合、先行フレーム２０のサッカーボールの右側に領域が存在する。図１０を参照すると、その領域は後続フレーム１０のボールの左側の領域に類似する。この第３の別の方法に対する変位ベクトル４４を上述の他の２つの候補４０、４２と共に図１１に示す。

図１０の印をつけられた領域の間を指し示す動きベクトル４４は、（ゼロ）グローバル動き５０とは異なるが、依然として前景オブジェクトに対応しない。これは、後続フレーム１０の円の中のグループから開始し且つグローバル動き５０に従って先行フレーム２０のグループに移動することにより取得されるパラメータのように、先行フレーム２０の円の中のグループ及びグローバル動き表現５０に基づいて識別される後続フレーム１０のグループから画像要素プロパティ値の差分を計算することにより取得される分類パラメータが相対的に小さいため明らかである。この場合、全ての４つのグループは、芝オブジェクトに対応するため、背景の一部を形成する。従って、変位ベクトル４０、４２、４４がグローバル動き表現５０と直接比較される場合、この場合と同様に、グループは間違えて分類される。しかし、本発明により、第３の別の方法により指し示される領域は、グローバル動きと一致するため背景の一部であることが容易に分かる。

図１２は、ビデオシーケンスの時刻と関連付けられるフレームの少なくとも１つの画像要素のグループのプロパティ値を推定する方法を示すフローチャートである。この推定は、フレームの補間又は外挿を介して１つ以上のフレームをビデオシーケンスに追加するために、レートアップ変換手順の一部として実行されるのが好ましい。

方法は、オプションのステップＳ６０で開始し、推定において使用するビデオシーケンスの少なくとも２つのフレームが識別される。一般的な一実施形態において、一方のフレームが補間される中間フレームに対して先行する時刻に対応し、他方のフレームはシーケンス中の後続する時刻に対応する。好適な一実施形態において、２つのフレームは、時間に関して中間フレームの直前及び直後に位置付けられるフレームである。換言すると、フレームは隣接するフレームとして考えられる。このフレームの補間において、３つ以上のフレームが実際に使用可能である。例えば、時刻ｔ_ｉのフレームを補間するために時刻ｔ_ｉ−１，ｔ_ｉ−３，．．．，ｔ_{ｉ＋１−２Ｎ}に対応するＮ個の先行フレーム及び時刻ｔ_ｉ＋１，ｔ_ｉ＋３，．．．，ｔ_{ｉ−１＋２Ｍ}に対応するＭ個の後続フレームを使用する。

同様に、時間ｔ_ｉのフレームを外挿する時、時刻ｔ_ｉ−１，ｔ_ｉ−３，．．．，ｔ_{ｉ＋１−２Ｎ}の２つ以上の先行フレーム又は時刻ｔ_ｉ＋１，ｔ_ｉ＋３，．．．，ｔ_{ｉ−１＋２Ｍ}の２つ以上の後続フレームが使用される。

補間及び外挿に関する同様の手順は、時間領域の代わりに空間領域において適用可能である。そのような場合、新しい「ビュー」は、同一時間であるが異なる角度及び／又は変位の２つの画像又はフレームから補間又は外挿される。

次のステップＳ６１は、判定されるフレームと比較されるビデオシーケンス中の先行又は後続する時刻と関連付けられる第１の（先行又は後続）フレームにおける複数、すなわち少なくとも２つの候補グループの集合を提供する。それらの候補グループの各々は、少なくとも１つの画像要素を含み、各変位表現又はベクトルと関連付けられる。それらの変位ベクトルは、フレームのフレーム間符号化、すなわちビデオコーデックから取り出されるか、あるいは動き推定探索から判定される。次のステップＳ６２は、候補グループ毎に分類パラメータを判定する。このパラメータの判定は、本発明の任意の上述の実施形態に従って実行される。

次のステップＳ６３は、候補グループ毎に、ビデオシーケンス中の先行又は後続する時刻と関連付けられる第２の（先行又は後続）フレームの少なくとも１つの画像要素の参照グループを識別する。候補グループと関連付けられる参照グループは、候補グループと関連付けられる変位ベクトルに基づいて識別されるのが好ましい。従って、変位ベクトルは、第２のフレームにおいて候補グループが有していた位置に対応する位置から適用される場合、参照グループを指し示す。この時点で、各候補グループは判定された分類パラメータ及び識別された参照グループを有する。

後続ステップＳ６４は、候補グループ毎に、候補グループ及びその識別された参照グループの画像要素のプロパティ値の差分を表す差分基準を計算する。好適な一実施形態において、基準は、候補グループ及び基準グループの対応する位置を占める画像要素に対するプロパティ値の差分の絶対値に基づいて計算される。そのような差分基準の好適な例はＳＡＤ及びＳＳＤを含む。

次のステップＳ６５は、計算された差分基準及び判定された分類パラメータに基づいて、提供されたグループの集合から候補グループを選択する。ステップＳ６５における選択は、分類パラメータ及び差分基準、例えばそれらの加重和から計算される選択パラメータに基づいて実行されるのが好ましい。好適な選択パラメータｅは、e = w₁ ( DM - w₂ ( CPで定義可能である。式中、ＤＭは差分基準であり、ＣＰは候補グループに対する分類パラメータであり、ｗ_１、ｗ_２は重みである。ステップＳ６５において、最小の関連する値ｅを有する候補グループが選択される。選択パラメータｅを調査することにより、前景（大きい分類パラメータ）として分類されるグループが背景グループ（小さい分類パラメータ）より優先されることが理解される。更に、同様に、候補グループの画像要素プロパティ値に非常に適合する（小さい差分基準）関連する参照グループを有する候補グループは、第２のフレームにおいてより適合しない候補グループより優先される。好適な一実施形態においてはｗ_１＞ｗ_２であり、選択の際の差分基準の影響に対してグループの分類より大きな重みを与える。重みが非ゼロ（正の）重みであることは、上述から明らかである。

最後にステップＳ６６は、選択された候補グループ及び選択された候補グループと関連付けられる参照グループのプロパティ値に基づいて、補間／外挿されたフレームのグループのプロパティ値を判定する。好適な一実施形態において、画像要素プロパティ値は、選択された候補グループ及び関連する参照グループのプロパティ値の線形結合として判定される。選択されたグループのプロパティ値に適用される重み及び関連するグループのプロパティ値の重みは、補間／外挿されたフレームと選択された候補グループを含む第１のフレームとの時間の差分及び補間／外挿されたフレームと第２のフレームとの時間の差分にそれぞれ基づいて判定されるのが好ましい。換言すると、時間の経過がより長い時間の経過と比較して短い場合、より大きい重みが使用される。更にフレームの重みの値は、従来技術において周知のように加速を反映するために利用される。

上述の実施形態において、候補グループと関連付けられる参照グループは、候補グループに割り当てられるか又は候補グループに対して推定される変位ベクトルに基づいて識別される。これは、判定されるグループから参照グループに進む時と同様に、同一のベクトルが候補グループから補間／外挿されるグループに移動するために使用されると推定する。しかし、本発明はこれに限定されない。

別の実施形態において、第１のフレームの複数の第１の候補グループの第１の集合が提供されるのと共に、第２のフレームに存在する複数の第２の候補グループの第２の集合は提供される。また、これらの第２の候補グループは、それぞれ少なくとも１つの画像要素を含み、好ましくはそれぞれ変位ベクトルを有する。第１の候補グループに対する第１の分類パラメータに加え、第２の分類パラメータが第２の候補グループの各々に対して上述のように判定される。差分基準は、第１の集合の１つの第１の候補グループ及び第２の集合の１つの第２の候補グループの対毎に計算される。あるいは、第１の候補及び第２の候補の全ての組合せがテストされるわけではなく、それらのうち限定された部分のみがテストされ、第１のフレーム及び第２のフレームの同一のフレーム位置に存在するグループ及び他のフレームの他の候補グループを識別する関連する変位ベクトルを有するグループ等の候補グループの妥当な組合せを反映する。

その後、第１の候補グループ及び第２の候補グループは、第１の分類パラメータ、第２の分類パラメータ及び差分基準に基づいて選択される。判定されるグループの画像要素プロパティ値は、上述のようにそれらの選択された候補グループのプロパティ値に基づいて計算される。

図１３は、第１のフレーム１０、第２のフレーム２０及びフレームレートアップ変換中に判定される中間フレーム３０を有するビデオシーケンス１の一部分を示す。判定される画像要素３４のグループ３２は、中間フレーム３０に示される。適切な第１の候補グループ１１、１３、１５を第１のフレーム１０に示し、対応する第２の候補グループ２１、２３、２５を第２のフレーム２０に示す。一般的にこれらの候補グループは、グループ３２が中間フレーム３０において有する位置と対応する位置を第１のフレーム１０及び第２のフレーム２０に有するグループ１１、２１を含む。それらのグループ１１、２１の変位ベクトル４２、６２は図示されており、判定されるグループ３２を通過する。他の候補は、候補グループ１１、２１の隣接グループ１３、２３から変位ベクトルを利用して取得される。また、中間フレーム３０のグループ３２を通過する関連する変位ベクトル４０、６０を有するグループ１５、２５は、本発明に係る好適な候補グループである。

先に開示したように、グループの分類及び本発明に従って計算された分類パラメータは、画像要素グループの新しいフレームの補間又は外挿のためにフレームレートアップ変換中に有利に利用される。しかし、本発明は画像処理の分野において他の応用例を有する。例えば、分類は、損失フレームに対するエラー隠蔽機構と関連して利用される。エラー隠蔽機構において、歪みフレーム又はその一部は、ビデオシーケンスの隣接フレームからの一方向（外挿）又は双方向（補間）予測により置換される。そのようなフレーム（部分）置換の際に分類パラメータを利用して達成される改善により、置換は従来の解決策と比較してより正確になる。

図１４は、本発明に係る画像プロセッサ１００を示す概略ブロック図である。プロセッサ１００は、少なくとも１つの画像要素のグループを有する複数のフレームを含むビデオシーケンス等のフレームシーケンスに適用可能である。グローバル動き判定器１２０は、シーケンス中の参照フレームの少なくとも一部分から現在のフレームの少なくとも一部分への画像要素プロパティ値のグローバル動きの表現を判定するようにプロセッサ１００内に構成される。判定器１２０は、集合提供器１１０に接続されるのが好ましい。集合提供器１１０は、フレームの一部分の画像要素グループ毎に参照フレームの参照グループを参照する変位ベクトルを含むベクトルの集合を提供するように構成される。集合提供器１１０は、内部又は外部ビデオコーデックからその集合を取り出せるか、あるいは動き推定探索で変位ベクトルを推定するための機能性を含むことができる。判定器１２０は、グローバル動き表現の行列Ａ及びベクトルｂを判定することにより、上述の位置に依存するグローバル動きベクトルの１つとしてグローバル動き表現を生成するのが好ましい。

グループ識別器１３０は、判定器１２０からのグローバル動き表現に基づいて現在のフレームの現在のグループに対して参照フレームの参照グループを識別するためにプロセッサ１００内に設けられる。

パラメータ計算器１４０は、現在のグループ及びグループ識別器１３０により識別される参照グループの画像要素プロパティ値の差分に基づいて、現在のグループに対する分類パラメータを計算する。このパラメータは、グループが現在のフレームの背景に属するか又は前景に属するかを示す。その結果、オプションの好適なグループ分類器１５０は、分類パラメータを使用して現在のグループを背景グループ又は前景グループとして分類するように実現される。この分類動作において、分類器１５０は、パラメータを閾値と比較し、パラメータが閾値を上回る場合にはブロックを前景ブロックとして分類し、上回らない場合には背景グループとして考えるのが好ましい。

好適な一実施形態において、グループ識別器１３０は、参照フレームの第２の参照グループを更に識別する。グローバル動き判定器により判定されるグローバル動き表現に基づいて識別された第１の参照グループとは明らかに異なり、第２の参照グループは、現在のグループと関連付けられる変位ベクトルに基づいて識別され、集合提供器１１０により取り出されるか又は推定される。更にグループ識別器１３０は、現在のフレームの第２の画像要素グループを識別するためにグローバル動き表現及び新たに識別された第２の参照グループを利用する。従って、全体で４つのグループ、すなわち現在のフレームの現在のグループ、現在のグループから開始し且つグローバル動き表現を利用して識別可能な参照フレームの第１の参照グループ、現在のグループから開始し且つその関連する変位表現を利用して識別可能な参照フレームの第２の参照グループ及び第２の参照グループから開始し且つグローバル動き表現を利用して識別可能な現在のフレームの第２のグループを有する。

パラメータ計算器１４０は、現在のグループ及び第１の参照グループに対する画像要素プロパティ値に基づいて第１の分類パラメータを計算し、第２のグループ及び第２の参照グループのプロパティ値に基づいて第２の分類パラメータを計算する。グループ分類器１５０は、現在のグループの分類において第１の分類パラメータ及び第２の分類パラメータの双方を使用する。従って、第１のパラメータ及び第２のパラメータの双方が好ましくは互いに等しい各閾値を超える場合、現在のグループは前景グループであり、双方のパラメータが各閾値を下回る場合、グループは背景グループである。それ以外の場合、分類は不確かであると考えられる。

あるいは、パラメータ計算器１４０は、第１の分類パラメータ及び第２の分類パラメータの加重和として単一の分類パラメータを計算する。この単一パラメータは、閾値と比較され、前景グループ（大きいパラメータ値）と背景グループ（小さいパラメータ値）とを区別するために使用される。

更なる一実施形態において、計算器１４０は、グループの分類において分類器１５０により利用される廃棄パラメータを更に計算する。廃棄パラメータは、現在のグループ及び第２の参照グループにおいて対応する位置を有する画像要素に対するプロパティ値の差分の絶対値に基づいて計算される。例えば、廃棄パラメータはＳＡＤ又はＳＳＤパラメータであってもよい。分類器１５０は、廃棄パラメータを関連する閾値と比較するのが好ましく、廃棄パラメータがその閾値を上回る場合、分類を中止するか又は第１の分類パラメータのみ利用することを決定できる。

画像プロセッサ１００のユニット１１０〜１５０は、ハードウェア、ソフトウェア、及び／又はハードウェア及びソフトウェアの組合せで提供可能である。ユニット１１０〜１５０は、有線又は無線通信システムのノードにおいて実現されるか又はノードに接続されるようなビデオ又はフレーム処理端末又はサーバで実現可能である。あるいは、画像プロセッサ１００のユニット１１０〜１５０は、ＴＶ復号器、コンピュータ、移動電話、あるいは画像レンダリングデバイスを有するか又はそれに接続される他のユーザ機器等のユーザ端末に構成可能である。

図１５は、図１４のパラメータ計算器１４０の可能な実現例を示す概略ブロック図である。計算器１４０は、現在のグループ及び第１の参照グループ等の２つの異なるグループにおける対応する位置を占める画像要素のプロパティ値の差分を計算する差分計算器１４２を含む。ＳＡＤ／ＳＳＤ計算器１４４は、絶対値の和又は平方絶対値の和等の差分計算器１４２からの差分の絶対値に基づいて分類パラメータを計算する。

パラメータ計算器１４０のユニット１４２及び１４４は、ハードウェア、ソフトウェア、及び／又はハードウェア及びソフトウェアの組合せで実現されてもよい。

図１６は、画像要素のグループの少なくとも１つの画像要素のプロパティ値を推定することによりそのグループを判定するデバイス２００を示す概略ブロック図である。デバイス２００は、ビデオシーケンスの少なくとも第１のフレーム及び第２のフレームを識別するフレーム識別器２１０をオプションとして含む。それらの２つのフレームは、判定されるグループを含む現在のフレームと比較してシーケンス中の異なる時刻と関連付けられる。グループの補間の場合、第１のフレームが先行又は後続フレームである一方、第２のフレームは後続又は先行フレームである。グループの外挿の場合、第１のフレーム及び第２のフレームの双方が現在のフレームに対する先行又は後続フレームである。

集合提供器２２０は、第１のフレームの複数の候補グループの集合を提供するようにデバイス２００内に構成される。各候補グループは、少なくとも１つの画像要素を含み、各変位ベクトルを有する。上述し且つ図１４に開示される本発明の画像プロセッサ１００は、集合の候補グループ毎に分類パラメータを計算するようにデバイス２００内に構成される。

グループ識別器２３０は、候補グループ毎に第２のフレームの第２のグループを識別する。この識別は、候補グループと関連付けられる変位ベクトルに基づいて実行されるのが好ましい。基準計算器２４０は、候補グループ毎に差分基準を計算する。ここで、基準は候補グループ及びその識別された第２のグループのプロパティ値の差分を表す。基準は、ＳＡＤ又はＳＳＤ基準であるの好ましい。すなわち、画像要素差分の絶対値に基づくのが好ましい。

デバイス２００は、画像プロセッサ１００からの分類パラメータ及び計算器２４０による差分基準に基づいて、提供された集合から候補グループを選択するグループ選択器２５０を更に含む。選択器２５０は、候補毎に基準及び分類パラメータの加重差分又は和を計算し、最小の加重差分／和を与える候補グループを選択するのが好ましい。値判定器２６０は、選択された候補グループ及びその関連する第２のグループのプロパティ値に基づいて、一般にはそれらの２つのグループの画像要素値の線形結合に基づいて、現在のグループのプロパティ値を判定する。

上述のように、集合提供器２２０は、第２のフレームの複数の第２の候補グループの別の集合を提供できる。そのような場合、画像プロセッサ１００は、それらの候補グループに対する第２の分類パラメータを更に計算する。グループ選択器２５０による第１の候補グループ及び第２の候補グループの選択は、第１の分類パラメータ、第２の分類パラメータ及び差分基準に基づいて実行される。選択された第１の候補グループ及び第２の候補グループのプロパティ値は、現在のグループのプロパティ値を補間又は外挿するために値判定器２６０により利用される。

判定デバイス２００のユニット１００、２１０〜２６０は、ハードウェア、ソフトウェア、及び／又はハードウェア及びソフトウェアの組合せで提供可能である。ユニット１００、２１０〜２６０は、有線又は無線通信システムのノードにおいて実現されるか又はノードに接続されるようなビデオ又はフレーム処理端末又はサーバで実現可能である。あるいは、判定デバイス２００のユニット１００、２１０〜２６０は、ＴＶ復号器、コンピュータ、移動電話、あるいは画像レンダリングデバイスを有するか又はそれに接続される他のユーザ機器等のユーザ端末に構成可能である。

添付の請求の範囲により規定される本発明の範囲から逸脱せずに、種々の変形及び変更が本発明に対して行なわれてもよいことが当業者には理解されるだろう。

Claims (21)

1. 複数のフレームを含むフレームシーケンスに適用可能な画像処理方法であり、各フレームが画像要素の複数のグループを含む方法であって、
   −参照フレーム（２０）の少なくとも参照部分から現在のフレームの少なくとも一部分への、画像要素プロパティ値のグローバル動きの表現を判定するステップと、
   −前記現在のフレームの少なくとも１つの画像要素の第１のグループについて、前記グローバル動き表現に基づいて前記参照フレームの少なくとも１つの画像要素の第１の参照グループを識別するステップと、
   −前記第１のグループ及び前記第１の参照グループの画像要素プロパティ値の差分を表すものとして、第１の分類パラメータを計算するステップと
   −前記第１のグループと関連付けられる変位ベクトルに基づいて前記参照フレームの少なくとも１つの画像要素の第２の参照グループを識別するステップと、
   −前記グローバル動き表現及び前記第２の参照グループに基づいて前記現在のフレームの少なくとも１つの画像要素の第２のグループを識別するステップと、
   −前記第２の参照グループ及び前記第２のグループの画像要素プロパティ値の差分を表す第２の分類パラメータを計算するステップと
   を備え、
   前記第１の分類パラメータと前記第２の分類パラメータとが、前記第１のグループが前記現在のフレームの前景に属するか又は背景に属するかを示すことを特徴とする方法。
2. 前記現在のフレームの前記少なくとも一部分の画像要素のグループ毎に、前記フレームシーケンスの前記参照フレームの画像要素の参照グループを参照する各変位ベクトルを含むベクトル集合を提供するステップを更に備え、
   前記判定ステップは、前記ベクトル集合の前記変位ベクトルの少なくとも一部分に基づいて前記グローバル動き表現を判定するステップを含むことを含むことを特徴とする請求項１記載の方法。
3. 前記判定ステップは、前記ベクトル集合の前記変位ベクトル（１６）の前記少なくとも一部分に基づいて、位置に依存するグローバル動きベクトルを判定するステップを含むことを特徴とする請求項２記載の方法。
4. 前記判定ステップは、前記ベクトル集合の前記変位ベクトルの前記少なくとも一部分に基づいて、v = Ax + bで表現される前記位置に依存するグローバル動きベクトルを判定するために最小二乗法により行列
   の要素及びベクトルb = [b₁ b₂]^Tを推定するステップを含み、
   v = [v_x v_y]^Tが前記グローバル動きベクトルであり、ｖ_ｘが第１の方向の前記グローバル動きベクトルの第１のベクトル成分であり、ｖ_ｙが第２の垂直方向の前記グローバル動きベクトルの第２のベクトル成分であり、x = [x y]^Tが前記現在のフレームの画像要素位置であることを特徴とする請求項２又は３記載の方法。
5. 前記計算ステップは、
   −前記第１のグループの画像要素毎に、前記画像要素のプロパティ値と前記第１の参照グループにおいて対応する画像要素位置を有する画像要素のプロパティ値との間の差分を計算するステップと、
   −前記差分の絶対値に基づいて前記第１の分類パラメータを計算するステップと
   を含むことを特徴とする請求項１から４のいずれか１項に記載の方法。
6. −画像要素の前記第２の参照グループの画像要素毎に、前記画像要素のプロパティ値と前記第１のグループにおいて対応する画像要素位置を有する画像要素のプロパティ値との間の差分を計算するステップと、
   −前記差分の絶対値に基づいて廃棄パラメータを計算するステップと
   を更に備えることを特徴とする請求項１から５のいずれか１項に記載の方法。
7. 前記第１の分類パラメータ及び前記第２の分類パラメータに基づいて前記第１のグループを背景又は前景に属するものとして分類するステップを更に備えることを特徴とする請求項１から６のいずれか１項に記載の方法。
8. 前記分類ステップは、前記第１の分類パラメータ、前記第２の分類パラメータ及び前記廃棄パラメータに基づいて前記第１のグループを背景又は前景に属するものとして分類するステップを含むことを特徴とする請求項６または７記載の方法。
9. 前記分類ステップは、前記第１の分類パラメータと第１の閾値との比較、及び、前記第２の分類パラメータと第２の閾値との比較に基づいて前記第１のグループを前記背景又は前記前景に属するものとして分類するステップを含むことを特徴とする請求項７または８に記載の方法。
10. 前記分類ステップは、
    −前記第１の分類パラメータが前記第１の閾値を上回り、かつ、前記第２の分類パラメータが前記第２の閾値を上回る場合に前記第１のグループを前記前景に属するものとして分類するステップと、
    −前記第１の分類パラメータが前記第１の閾値より小さく、かつ、前記第２の分類パラメータが前記第２の閾値より小さい場合に前記第１のグループを前記背景に属するものとして分類するステップと
    を含むことを特徴とする請求項９記載の方法。
11. −前記現在のフレームの前記少なくとも一部分の画像要素のグループ毎に前記識別ステップ、前記計算ステップ及び前記分類ステップを実行するステップと、
    −前記背景に属するものとして分類された前記現在のフレームの前記少なくとも一部分の前記グループに基づいて、前記参照フレームの前記少なくとも参照部分から前記現在のフレームの前記少なくとも一部分への前記画像要素プロパティ値の更新されたグローバル動きを判定するステップと
    を更に含むことを特徴とする請求項１から１０のいずれか１項に記載の方法。
12. ビデオシーケンスの時刻と関連付けられる補間フレームまたは外挿フレームの少なくとも１つの画像要素のグループのプロパティ値を推定する方法であって、
    −前記ビデオシーケンスの第１の異なる時刻と関連付けられる第１のフレームの複数の第１の候補グループの第１の集合を提供するステップであり、前記第１の候補グループの各々が少なくとも１つの画像要素を含み且つ第１の変位ベクトルと関連付けられるステップと、
    前記第１の集合の第１の候補グループ毎に、
    −請求項１から１１のいずれか１項に従って第１の分類パラメータ及び第２の分類パラメータを判定するステップと、
    −前記第１の集合の第１の候補グループ毎に、前記ビデオシーケンスの第２の異なる時刻と関連付けられる第２のフレームの少なくとも１つの画像要素の第２のグループを、前記第１の候補グループと関連付けられる前記変位ベクトルに基づいて識別するステップと、
    −前記第１の候補グループ及び該第１の候補グループについて識別された前記第２のグループのプロパティ値の差分を表す基準を計算するステップと、
    −前記基準、前記第１の分類パラメータ及び前記第２の分類パラメータに基づいて前記第１の集合の第１の候補グループを選択するステップと、
    −前記選択された第１の候補グループ及び前記選択された第１の候補グループと関連付けられる前記第２のグループの前記プロパティ値に基づいて、前記補間フレームまたは外挿フレームの前記少なくとも１つの画像要素のグループの前記プロパティ値を判定するステップと
    を備えることを特徴とする方法。
13. 複数のフレームを含むフレームシーケンスに適用可能な画像プロセッサであり、各フレームが画像要素の複数のグループを含むプロセッサであって、
    −参照フレームの少なくとも参照部分から現在のフレームの少なくとも一部分への画像要素プロパティ値のグローバル動きの表現を判定するグローバル動き判定器と、
    −i）前記現在のフレームの少なくとも１つの画像要素の第１のグループに対して、前記グローバル動き表現に基づいて前記参照フレームの少なくとも１つの画像要素の第１の参照グループを識別し、ii）前記第１のグループと関連付けられる変位ベクトルに基づいて前記参照フレームの少なくとも１つの画像要素の第２の参照グループを識別し、iii）前記グローバル動き表現及び前記第２の参照グループに基づいて前記現在のフレームの少なくとも１つの画像要素の第２のグループを識別するグループ識別器と、
    −i）前記第１のグループ及び前記第１の参照グループの画像要素プロパティ値の差分を表すものとして、第１の分類パラメータを計算し、ii）前記第２の参照グループ及び前記第２のグループの画像要素プロパティ値の差分を表す第２の分類パラメータを計算する計算器と
    を備え、
    前記第１の分類パラメータと前記第２の分類パラメータとが前記第１のグループが前記現在のフレームの前景に属するか又は背景に属するかを示すことを特徴とするプロセッサ。
14. 前記現在のフレームの前記少なくとも一部分の画像要素のグループ毎に前記フレームシーケンスの前記参照フレームの画像要素の参照グループを参照する変位ベクトルを含むベクトル集合を提供する集合提供器を更に備え、
    前記グローバル動き判定器は、前記ベクトル集合の前記変位ベクトルの少なくとも一部分に基づいて前記グローバル動き表現を判定するように構成されていることを特徴とする請求項１３記載のプロセッサ。
15. 前記計算器は、
    −前記第１のグループの画像要素毎に、前記画像要素のプロパティ値と前記第１の参照グループにおいて対応する画像要素位置を有する画像要素のプロパティ値との間の差分を計算する差分計算器と、
    −前記差分の絶対値に基づいて前記第１の分類パラメータを計算する和計算器と
    を含むことを特徴とする請求項１３又は１４記載のプロセッサ。
16. 前記計算器は、i）前記第２の参照グループの画像要素毎に前記画像要素のプロパティ値と前記第１のグループにおいて対応する画像要素位置を有する画像要素のプロパティ値との間の差分を計算し、ii）前記差分の絶対値に基づいて廃棄パラメータを計算するように構成されていることを特徴とする請求項１３から１５のいずれか１項に記載のプロセッサ。
17. 前記第１の分類パラメータ及び前記第２の分類パラメータに基づいて前記第１のグループを前記背景又は前記前景に属するものとして分類するように構成された分類器をさらに備えることを特徴とする請求項１３から１６のいずれか１項に記載のプロセッサ。
18. 前記分類器は、前記第１の分類パラメータ、前記第２の分類パラメータ及び前記廃棄パラメータに基づいて前記第１のグループを前記背景又は前記前景に属するものとして分類するように構成されていることを特徴とする請求項１７に記載のプロセッサ。
19. 前記分類器は、前記第１の分類パラメータと第１の閾値との比較、及び、前記第２の分類パラメータと第２の閾値との比較に基づいて前記第１のグループを前記背景又は前記前景に属するものとして分類するように構成されていることを特徴とする請求項１７または１８に記載のプロセッサ。
20. 前記分類器は、
    i）前記第１の分類パラメータが前記第１の閾値を上回り、かつ、前記第２の分類パラメータが前記第２の閾値を上回る場合に前記第１のグループを前記前景に属するものとして分類し、
    ii）前記第１の分類パラメータが前記第１の閾値より小さく、かつ、前記第２の分類パラメータが前記第２の閾値より小さい場合に前記第１のグループを前記背景に属するものとして分類するように構成されていることを特徴とする請求項１９記載のプロセッサ。
21. ビデオシーケンスの時刻と関連付けられる補間フレームまたは外挿フレームの少なくとも１つの画像要素のグループのプロパティ値を推定するデバイスであって、
    −前記ビデオシーケンスの第１の異なる時刻と関連付けられる第１のフレームの複数の第１の候補グループの第１の集合を提供する集合提供器であり、前記第１の候補グループの各々が少なくとも１つの画像要素を含み且つ第１の変位ベクトルと関連付けられる集合提供器と、
    −前記第１の集合の第１の候補グループ毎に第１の分類パラメータと、第２の分類パラメータとを計算する請求項１３から２０のいずれか１項に記載の画像プロセッサと、
    −前記第１の集合の第１の候補グループ毎に、前記ビデオシーケンスの第２の異なる時刻と関連付けられる第２のフレームの少なくとも１つの画像要素の第２のグループを、前記第１の候補グループと関連付けられる前記変位ベクトルに基づいて識別するグループ識別器と、
    −前記第１の集合の第１の候補グループ毎に、前記第１の候補グループ及び該第１の候補グループについて前記グループ識別器により識別された前記第２のグループのプロパティ値の差分を表す基準を計算する基準計算器と、
    −前記基準、前記第１の分類パラメータ及び前記第２の分類パラメータに基づいて第１の候補グループを選択するグループ選択器と、
    −前記選択された第１の候補グループ及び前記選択された第１の候補グループと関連付けられる前記第２のグループのプロパティ値に基づいて、前記補間フレームまたは外挿フレームの前記少なくとも１つの画像要素のグループの前記プロパティ値を判定する値判定器と
    を備えることを特徴とするデバイス。