JP4991712B2 - デジタル画像処理装置および処理方法ならびにコンピュータプログラムプロダクト - Google Patents

Description

本発明は、デジタル画像処理装置および方法ならびにデジタル画像処理のためのコンピュータプログラムプロダクトに関し、分配媒体、デジタル画像処理集積回路として実施される。本発明はまたデジタル画像間の運動を規定する方法に関する。

写真撮影ようのカメラは例えば手振れにより生じるカメラの不所望な動きはビデオサーチ分野では大きな広く研究されている問題である。この問題を解決するためにビデオ画像を安定にする種々の機械的および電子的方法が設計されている。それは安定なビデオ画像は揺れ、振動し、動き回るビデオ画像よりも快適に観察できるからである。またビデオコード化においては、安定なビデオ流はビット速度が低く、或いはディスクスペースが少くてもコード化の効率や速度に影響しない。

加速度センサのような機械的な手段によって大きな効果が得られたが、それらは許容できないような価格とスペースが必要であるため、移動電話機のような多くのビデオ撮影装置には不適当である。デジタルビデオ安定方式、特に上記の移動電話機で必要とされるような実時間ビデオ安定方式は実現するのに多くの年月が必要である。

デジタルビデオ安定方式は２つの問題を解決する必要がある。
１）２つの連続したビデオフレーム間の単一のグローバルな運動ベクトルをどのように規定するか？。この問題に対する明快な解決方法はまだ存在しない。運動している画像の各ブロックに対して最良の運動ベクトルを計算することは常に可能であるが、グローバルな運動ベクトルの計算が依然として残っている。全ての可能な状況に対して、全ての場合に局部的なものからのグローバルな運動ベクトルを完全に規定することのできるアルゴリズムは存在しないことは明らかである。どんな場合にも、これは運動評価により生じた多量の計算の大きな欠点を有する広く使用されている解決方法である。ｃｉｆサイズの画像に対して、１６×１６ブロックおよび±１６のサーチ区域を有する運動評価は（１６×１６×３３×３３×３６９）、すなわち約１億の演算を必要とする。

最良の解決法は画像をブロックに分割しないで全体の画像に対して１つのベクトルを評価し、例えば±１６のサーチ区域における単一の画素に対する約１０８９の画素差に対して計算することである。この場合にもｃｉｆサイズの画像に対して、約８０００万の演算が必要となる。

単一の画像から強い細部および特徴を検出し、それらに対してのみ運動評価を処理することにより運動評価フェーズ(phase) において使用されるブロックの量を減少させることによって運動評価のための膨大な計算量を減少させることが試みられている。しかしながら、これは特徴検出が計算を増加する一方でアルゴリズムの信頼性を減少させることは明らかである。

２）提供されたグローバルな運動ベクトルを有するビデオをどのように安定化するのか？。基本的にこの問題には３つの解決方法がある。それらは（１）グローバルな運動ベクトルと反対方向に次の画像フレームを動かすことにより運動を消去する。（２）例えば、カルマンフィルタまたはＦＩＲフィルタにより運動を濾波し、その後で運動を消去する。 （３）例えば、米国特許第５３１７６８５号明細書に記載されているようにグローバルな運動ベクトルにより運動消去効果を得るために画像をズームする。最初の２つの方法は安定された画像が移動する大きな画像が必要である。第１の方法は、内側の画像が外側の画像のエッジを得るとき不連続が生じる。また第２の方法は、濾波のために計算量が多く必要になり、また内側の画像が外側の画像のエッジを越えるとき画像が詰め込まれる。さらに、第２の方法は、画像を破損することなくどのように詰め込みを行うかに問題がある。第３の方法は、単にズーム効果のために問題があるばかりでなく、計算量が増加する。第１の方法についてさらに詳細に後述する。

本発明は、改良されたデジタル画像処理装置と、改良されたデジタル画像処理方法と、デジタル画像処理のための改良されたコンピュータプログラムプロダクトを開発することを目的としており、分配媒体、改良されたデジタル画像処理集積回路およびデジタル画像間の運動を規定する方法を提供することを目的としている。

本発明の１特徴によれば、デジタル画像処理装置が提供され、そのデジタル画像処理装置は、第１のデジタル画像と第２のデジタル画像を得るための入力インターフェースと、その入力インターフェースに結合された処理装置とを有し、その処理装置は第１のデジタル画像中の少くとも１つのブロックを規定し、第２のデジタル画像中のサーチ区域を各ブロックに対して規定し、そのサーチ区域はそのブロックよりも大きく、ブロックとそのサーチ区域を等しいサイズにマップし、各ブロックと等しいサイズにマップされているサーチ区域との間の画素エラーを計算し、そのエラーを運動レジスタ中に集め、運動レジスタを使用することによって第１のデジタル画像と第２のデジタル画像との間の運動を規定するように構成されている。

本発明の１特徴によれば、デジタル画像処理装置が提供され、そのデジタル画像処理装置は、第１のデジタル画像と第２のデジタル画像を獲得する手段と、第１のデジタル画像中の少くとも１つのブロックを規定する手段と、第２のデジタル画像中のブロックよりも大きいサーチ区域を各ブロックに対して規定する手段と、 ブロックとそのサーチ区域を等しいサイズにマップする手段と、各ブロックと等しいサイズにマップされているそのサーチ区域との間の画素エラーを計算する手段と、そのエラーを運動レジスタ中に集める手段と、運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定する手段とを備えている。

本発明の別の特徴によれば、デジタル画像処理のためのコンピュータプログラムプロダクトが提供され、それは分配媒体で実行され、第１のデジタル画像と第２のデジタル画像を獲得する入力モジュールと、その入力モジュールに結合されて第１のデジタル画像中の少くとも１つのブロックを規定し、第２のデジタル画像中のブロックよりも大きいサーチ区域を各ブロックに対して規定するコンピュータモジュールとを具備し、コンピュータモジュールは、ブロックおよびそのサーチ区域を等しいサイズにマップし、各ブロックと等しいサイズにマップされているそのサーチ区域との間の画素エラーを計算し、そのエラーを運動レジスタ中に集め、運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定するように構成されている。

本発明の別の特徴によれば、デジタル画像処理集積回路が提供され、その集積回路は、第１のデジタル画像と第２のデジタル画像を獲得するための入力ブロックと、その入力ブロックに結合されて第１のデジタル画像中の少くとも１つのブロックを規定し、第２のデジタル画像中のブロックよりも大きいサーチ区域を各ブロックに対して規定する処理ブロックとを具備し、その処理ブロックは、各ブロックとそのサーチ区域を等しいサイズにマップし、各ブロックと等しいサイズにマップされているサーチ区域との間の画素エラーを計算し、そのエラーを運動レジスタ中に集め、運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定するように構成されている。

本発明の別の特徴によれば、デジタル画像間の運動を規定する方法が提供され、その方法は、第１のデジタル画像と第２のデジタル画像を獲得し、第１のデジタル画像中の少くとも１つのブロックを規定し、第２のデジタル画像中のブロックよりも大きいサーチ区域を各ブロックに対して規定し、各ブロックとそのサーチ区域を等しいサイズにマップし、各ブロックと等しいサイズにマップされているそのサーチ区域との間の画素エラーを計算し、そのエラーを運動レジスタ中に集め、運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定する。

本発明は幾つかの利点を提供する。すなわち、計算量および必要なメモリが少いグローバルな運動ベクトルに対する信頼性のある計算方法が提供される。本発明は大量の計算が必要な伝統的な遅い運動評価に依存しない。本発明はまたビデオ符号化システムと接続されたとき高速で低いメモリ容量のビデオ安定化方法を提供する。本発明はまたグローバルな運動ベクトル、局部的運動ベクトル、および運動の地勢マップにより予測可能の運動評価の方法を提供する。予測可能の運動評価方法は例えばビデオ符号化で使用される。その場合には、運動評価のサーチの要求は最も可能性の高い運動ベクトルを予測することによって最小にすることができ、それによりサーチプロセスは限定された量のサーチで良好な基準ブロックを与えるようにスタートされる。本発明はまた、単一ブロックに対する運動ベクトルを効率よく発見するためにビデオ符号化システムの運動評価フェーズに対するグローバルな運動ベクトル或いは予測ベクトルのマップを提供することができる。

本発明を添付図面を参照にして、実施形態について以下詳細に説明する。
インスピレーションのもととなったのは発明者の仕事部屋の壁に貼られたフィンランドの地図であった。地図上にはただ１つの点があり、それはそれが表している同じ地点上にあるが、発明者は以下説明するような一般的な運動ベクトル計算方法を考え出した。

この方法は、他の方法とは異なり、従来技術の運動評価アルゴリズムとは全く異なり、グローバルな運動ベクトル計算のための全体的に新しい異なった方法を導入する。地図についての上述したような興味のある事実に基づいて、この発明の方法はビデオシーケンスの連続する画像から採取した１対の「地図」を使用して、例えば、互いにスケールが異なっているサーチ区域の「地図」およびブロックの「地図」が上述の地図の状態を形成している。１つの地図はもしも地図がそれが存在する地点を表している１つの、そしてただ１つの画素を有する場合には、２つの異なるスケールの地図の間の差を計算するとき、それ自身に対する画素の差に対してはその地点はゼロである。ビデオ画像は移動するだけではなく変化するから、理想的に簡単でない場合でも、その理論は多数の地図が共に結合されているときには適切で効率のよいものである。

図１は２つの連続したデジタル画像またはフレーム、すなわちビデオシーケンスの前のフレーム100 と現在のフレーム102 間のグローバルな運動ベクトルを規定するとき、現在の画像のフレーム102 がブロック104 に分割され、各ブロック104 に対してそのブロック104 より広いサーチ区域106 が前の画像100 中に規定される。ブロック104 はその後、サーチ区域106 の大きさに拡大されてブロック104 の逆マップ108 が形成される。ここで、「逆」とは通常地図はそれが表している区域よりも小さいが、本発明の場合にはマップ108 はブロック104 よりも大きいためにこのように呼んでいるのである。拡大後、アルゴリズムはこれら２つの画素マトリックス106 と108 の関係する画素の絶対差値110 を計算して、それらを運動レジスタ112 中に配置する。画像の各ブロック104 の処理後、フレーム100 と102 との間の運動の地勢的マップが運動レジスタ112 中に形成され、それにおいて最小値はフレーム間の所望のグローバルな運動ベクトルを示している。100 と102 のような等しい大きさの画像に対して、これはサーチ区域106 がフレーム102 のエッジを越えたときフレーム102 のエッジブロックをどのように処理するかの問題を生じるが、これは小さな問題に過ぎない。幸いに幾つかの実際的な解決方法が存在し、例えば、フレーム100 のエッジ画素をコピーしてサーチ区域106 を満たすか、フレーム102 が十分に大きいとき、フレーム102 のエッジブロックを無効にする等である。

現在の画像のフレーム102 と前の画像のフレーム100 が反対の順序であってもよいことに注目すべきであり、逆方向「運動評価」は、順方向「運動評価」に転換される。他方で、基準画像、すなわち前の画像もまたグローバルな運動ベクトルが規定される任意の他のフレームであってもよい。

さらに、拡大は仮想のものであってもよく、そのため差の計算処理は異なったフェーズでブロックの画素とサーチ区域で行なわれてもよい。また、ブロック拡大における差の補間方法は少なくともサーチ区域がブロックの多数倍でない場合には考慮にいれられる必要がある。

ｋ×ｌのサイズのサーチ区域の面積Ｓと拡大されたブロックの面積Ｂとの関係はエラーブロックＥとして次式で与えられる。
Ｅ（ｉ，ｊ）＝｜Ｂ（ｉ，ｊ）−Ｓ（ｉ，ｊ）｜ （１）
ここで、ｉは０からｋ−１の間で変化し、ｊは０からｌ−１の間で変化する。さらに運動レジスタを満たす地勢運動マップＴは次式で与えられる。

Ｔ（ｉ，ｊ）＝ΣＥ_i （ｉ，ｊ） （２）
この式で、Σはｉが１からｎまでの合計を表しており、フレームはｎ個のブロックに分割される。これらのブロックは重なってもよく、それらの結合はフレーム全体をカバーする必要はない。そのため特徴検出が適用できる。他の関数、例えば２次関数が使用されてもよく、それはまた運動評価アルゴリズムで効率がよい。

図１の形態に基づいて、図２は実際に前述した理論がどのように動作するかが示されている。再び102 はそこに人がいる現在のフレームを示しており、100 は前のフレームを示しており、そこでは人はやや異なった位置にいる。簡明にするために、ブロック103 が処理されるときの人の眼のレベルの発光データ107 の断面118 だけが示されている。対応する眼のレベルの断面116 はサーチ区域105 内で選択され、発光データ109 の断面116 が示されている。107 の拡大は108 として示されている。これら２つの発光データエレメント108, 109は111 として組合わされ、そこで絶対差が計算され、運動レジスタ112 中に追加される。運動レジスタ112 は各ブロックとサーチ区域の差情報を集め、運動の地勢的マップがブロック単位で成長する。最後に、全てのブロックが処理された後に、運動レジスタ114 はグローバルな運動ベクトルが存在する場所を示す。ブロックのマップはグローバルな運動ベクトルが存在する場所を正確に示す必要はない。その理由は、運動レジスタ112 のマップは幾つかの最小値、すなわち運動ベクトルの可能な候補を含んでいる。マップのボリュームが大きくなる場所では運動ベクトルの存在の可能性は減少する。

図３は運動レジスタ中の地勢マップと運動ベクトルとの接続を示している。ブロックの寸法は３×３画素であり、サーチ区域202 は１５×１５画素である。ここで重要なことは運動ベクトルの周期的特性であり、それは図のエッジに示され、水平運動ベクトルに対してはトップ値を表し、垂直運動ベクトルに対してはレフト(left)値を表している。運動ベクトル周期の長さ208 はブロックの寸法とサーチ区域の寸法との比率である。ここでは周期は５＝１５／３である。それは地勢マップ中に反復値が存在するとを意味している。例えば同じベクトル（２，−２）に全ての点が指向している４つの値の区域210 がある。これは例えば全部の４個の値をそれらの平均値に組合わせることにより消去され、マップまたは後方を満たす。マップの最小値の位置は運動ベクトルを示し、それはチャートのエッジのちから容易に読取られ、或いは実際に計算される。

最小値は例えば、次式のような簡単なマトリックスフィルタによりマップから濾波される。

これはこの方法のシミュレーションにおいて効率的であることを保証する。最小値はまたフィルタなしで、或いは別のフィルタにより発見されてもよい。しかしながら、濾波は最小値を発見するためにはより確実な方法であると考えられている。

以下の説明において、図４のフローチャートを参照すると、２つの画像間のグローバルな運動ベクトルを発見する方法が記載されている。この方法は300 でスタートする。302 で初期化が行なわれ、それはブロックの寸法、サーチ区域の大きさ等に対する定義が含まれてもよい。次に304 で運動マップに対するレジスタが中性に初期化される。随意のブロックの選択がステップ305 で例えば特徴または詳細の検出により行なわれる、ステップ306 でブロックのデータが読取られる。そのブロックのデータは発光ではクロミナンスＣｂまたはＣｒ、赤、青、或いはデジタルカラーフォーマットのいずれかでよい。ステップ308 でサーチ区域データがブロックのその位置の周囲の他の画像から読取られる。ブロックはその後サーチ区域の大きさまで（仮想的に）拡大され、それらの差がステップ310 で画素単位で計算され、その差はその後、運動レジスタ312 中に保存される。ループ306, 308, 310, 312は、ステップ314 のようにブロックが残らなくなるまで反復される。ステップ316 で、最小値が運動レジスタからサーチされ、一般的な運動ベクトルがそれによって規定される。一般的な運動ベクトルが知られると、随意的な特徴318 がそれに続き、それは例えば安定のためであり、或いはビデオエンコーダ中の予測運動評価のためであってもよい。この方法ではフレームがステップ320 で残らなくなるまでフレーム対をループする。方法はステップ322 で停止する。

図５、図６の（Ａ）および（Ｂ）、図７の（Ａ）および（Ｂ）は、安定化のためのグローバルな運動ベクトルの使用を示している。図５では人がテキストＨＡＮＴＲＯ ＯＵＬＵの前に立っている。明瞭にするためにフレーム400 により定められた領域だけが示されている。フレーム402 はカメラの撮影情景を規定する。画像情景404 は撮影情景402 の内部に認められ、例えばアプリケーション、ビデオコーディックに伝送される。区域406 はフレーム402 と404 との大きさの差であり、それはフレーム404 が自由に移動できる区域、すなわち安定化が最も効率のよい区域である。基本的に区域406 が大きくなるほど良好な安定化が得られる。

図６の（Ａ）および（Ｂ）は撮影情景402 と画像情景404 におけるカメラの動きの影響を示している。図６の（Ａ）は最初の状態、すなわち第１の画像を示しており、画像情景502 は撮影情景500 の内部の中央にある。図６の（Ｂ）は次の画像を示しており、それにおいてはカメラは矢印504 の方向に右に移動し、撮影される人は明瞭に画像情景と撮影情景506 の左へシフトされる。したがって図６の（Ａ）および（Ｂ）は、運動補償が使用されなければ、意図しないカメラの動きにより画像がどのように被害を受けるかを示している。

図７の（Ａ）および（Ｂ）は、運動規定のための前述の方法を使用することによるカメラの動きの補償が示されている。図７の（Ａ）の内容は図６の（Ａ）の内容に対応している。前述のように撮影情景すなわち図６の（Ａ）の前の画像500 と画像情景、すなわち図６の（Ｂ）の画像506 との間のカメラの運動の方向と大きさが計算されてグローバルな運動ベクトルが得られる。簡明にするために示された例では水平のカメラ運動504 だけが含まれており、それはグローバルな運動ベクトルと実際上同じであるが方向は反対である。カメラ運動は（反対方向の）グローバルな運動ベクトルにより撮影情景506 の内部の画像情景508 を動かすことにより補償される。図６の（Ｂ）と図７の（Ｂ）とを比較すると、補償を使用することにより、撮影される人および彼の後方のテキストは側方にシフトされないことに注目すべきである。ビデオシーケンスが続くとき安定化は画像情景の位置に追跡維持しなければならず、そのため次の画像対において安定にされることができる。グローバルな運動ベクトルと反対の方向に次の画像フレーム移動させることにより運動を消去することは別にして、規定された運動はまた例えばカルマンフィルタまたはＦＩＲフィルタ（ＦＩＲ＝有限インパルス応答）により運動を濾波するようなビデオ安定化のための従来知られている他の技術を使用することも可能であり、その後で運動が消去される。

図５にしたがって、図８はカメラ／安定化／ビデオエンコーダシステムにおける実際の情景のフェーズ400, 402, 404 を示している。人700 はカメラ702 の前に立っており、それは情景400 を示している。しかしカメラはその観察の限定された区域だけを撮影しようとしており、それは安定化フェーズ704 に採取される。安定化はそれから現在の撮影情景402 と前のフレームの撮影情景402-2 との間で行なわれる。安定化後、画像情景404 が撮影されてビデオエンコーダ710 に与えられ、現在の画像の撮影情景402 が前の画像の撮影情景402-2 と置換される。

図８はまた予測可能な運動評価装置の全体の情景を示しており、そこではグローバルな運動ベクトル706 がエンコーダ710 に供給される。その後、ビデオエンコーダ710 中の撮影情景404 が安定化されていない撮影情景402 と置換される。

デジタル画像処理装置は、第１のデジタル画像および第２のデジタル画像を得るための入力インターフェース712 と、入力インターフェース712 と結合された処理ユニット704 （および恐らくはエンコーダ710 ）を具備している。処理ユニット704 （および恐らくはエンコーダ710 ）は第１のデジタル画像中の少なくとも１つのブロックを規定し、第２のデジタル画像中のサーチ区域を各ブロックに対して規定し、サーチ区域はブロックよりも大きく、ブロックとそのサーチ区域を等しい大きさにマップされ、等しい大きさにマップされた各ブロックとサーチ区域との間の画素単位のエラーが計算され、そのエラーを運動レジスタ中に収集し、第１のデジタル画像と第２のデジタル画像との間の運動が運動レジスタを使用して決定される。デジタル画像処理装置は用途特定集積回路ＡＳＩＣのような１以上の集積回路として構成されてもよい。別々の論理コンポーネントで構成された回路、或いはソフトウエアを有するプロセッサのような他の実施形態もまた適応できる。これらの異なった実施形態のハイブリッドもまた可能である。構成方法を選択するとき、当業者は例えば装置の寸法および電力消費、必要な処理能力、生産コスト、製造容積等について必要な設定を考慮するであろう。１実施形態はデジタル画像処理のためのコンピュータプログラムプロダクトであり、分配媒体で実施される。その場合には前述の機能／構造はソフトウエアモジュールとして構成されることができる。分配媒体は（コンピュータ読取り可能な）プログラム記憶媒体、（コンピュータ読取り可能な）メモリ、（コンピュータ読取り可能な）ソフトウエア頒布パッケージ、（コンピュータ読取り可能な）信号または （コンピュータ読取り可能な）通信信号のようなソフトウエアを顧客に頒布する任意の手段でよい。

図９は（ｍｐｅｇ−４型）エンコーダ710 をさらに詳細に示している。第１の入力画像708 は安定化フェーズからフレームバッファ800 に到着し、そこからブロック単位で符号化フェーズ802 に送られるが、その詳細はここでは詳しく説明しない。その理由は、安定化は符号化の構成とは関係ないからである。符号化された画像は第２のフレームバッファ804 に送られて再配列される。第２の入力画像708 がフレームバッファ800 に到着すると、運動評価ブロック806 は運動の評価を開始し、ブロック単位で第１と第２の画像804 と800 の間で符号化フェーズ802 に対して同期される。符号化されるブロックは画像800 から採取され、基準ブロック、すなわちサーチ区域は画像804 から採取される。典型的に運動評価ではフルサーチ方法が使用され、それはブロック例えばその左上のコーナーからスタートして全ての可能な運動ベクトルによりサーチ区域中に適合されることを意味している。その後、最良の整合が基準ブロックに対して選択される。運動評価ブロックは安定化からグローバルな運動ベクトル706 を獲得する。運動評価はグローバルな運動ベクトルを使用することによって開始し、良好な基準ブロックが即座に発見された場合にはそこで終了する。選択された運動ベクトル808 は可変長コーダ810 に伝送され、その出力812 は圧縮されたデータを出力する。

図８および９を比較することにより、安定化装置における画像402 に対するものと、デコーダにおけるバッファ800 に対するものと二重フレームバッファが存在することが認められる。それらはエンコーダ710 がバッファ800 として画像402 に対するバッファを使用するように組合わされることができる。これは例えば、エンコーダ710 が安定化フェーズの後で安定化された画像404 を読取るために行なわれる。別の二重化は図８の安定化における画像402-2 および図９のデコーダにおけるバッファ804 から認められる。それらは同様に組合わされることができる。すなわち、安定化フェーズは814 を使用し、バッファ804 からの安定化された画像404 を基準フレーム402-2 として使用する。このようにして安定化はビデオ符号化システムにおけるメモリの必要性を（運動マップを除いて）増加させない。

図１０はエンコーダの運動評価におけるグローバルな運動ベクトルの使用を示している。フレーム900 は基準フレームを表しており、そこから基準ブロックがブロックを符号化するために獲得される。ブロック902 は基準フレーム900 中の（符号化されるべき）ブロックの位置、すなわちゼロ位置を表している。このゼロ位置の付近に限定されたサーチ区域があり、それは典型的にブロック902 の大きさの多数倍である。矢印906 は符号化されるべきフレームと基準フレーム900 に対して計算されたグローバルな運動ベクトルである。それ故符号化されるべきブロックに対する最も可能性の高い基準ブロックは位置908 で発見され、それをグローバルな運動ベクトル906 が指向している。失敗の場合、すなわち基準ブロックが最良のもではないと見られる場合には、手順はマップから第２に低い値をチェックし、それが駄目な場合にはさらに第３に低い値をチェックし、以下同様に処理することによって継続する。局部的な最低はまた局部的運動ベクトルを指向しており、それ故、それらもまた検査される。

この解決法はブロックの大きさに関係しないことに注意すべきである。それはビデオ符号化基準から別のものに変化する可能性がある。例えばｍｐｅｇ−４基準は４つの８×８画素のブロックから構成された１６×１６画素のマクロブロックを発光フレームに対して提供する。

以上、本発明を添付図面を参照にして実施形態により説明したが、本発明はそれだけに限定されるものではなく、本発明の技術的範囲を逸脱することなく多くの変形、変更が可能であることは明らかである。

一般的な運動規定方法を示す概略図。 前記方法の理論の実際を示す説明図。 運動マップと運動ベクトルとの間の関係を示す説明図。 一般的な運動規定方法を示すブロック図。 ビデオ安定化された撮影と画像情景を示す説明図。 カメラの移動が撮影する情景と画像情景にどのように影響するかを示す説明図。 カメラの動きの補償を示す説明図。 デジタル画像処理装置およびそのビデオソースの関係を示す説明図。 ビデオエンコーダの概要図。 エンコーダの運動評価におけるグローバル運動ベクトルの使用の説明図。

Claims (10)

1. 第１のデジタル画像と第２のデジタル画像を獲得するための入力インターフェースと、
   その入力インターフェースに結合されて第１のデジタル画像中の少くとも１つのブロックを規定し、第２のデジタル画像中のサーチ区域を各ブロックに対して規定する処理ユニットとを具備し、
   前記サーチ区域はブロックよりも大きく、
   処理ユニットは、ブロックとそのサーチ区域を等しいサイズにマップし、各ブロックと等しいサイズにマップされているサーチ区域との間の画素エラーを計算し、そのエラーを運動レジスタ中に集め、運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定するように構成されてデジタル画像処理装置。
2. 前記画素エラーはエラー関数
   Ｅ（ｉ，ｊ）＝｜Ｂ（ｉ，ｊ）−Ｓ（ｉ，ｊ）｜により計算され、
   ここで、Ｂはブロックであり、Ｓはサーチ区域であり、ｉとｊはブロックとサーチ区域のインデックスを表し、
   エラーは関数
   

   

   により運動レジスタ中に集められ、第１のデジタル画像はｎ個のブロックに分割されている請求項１記載のデジタル画像処理装置。
3. 前記処理ユニットは、ブロックが、第１のデジタル画像全体をオーバーラップするようにおよび／またはカバーしないようにブロックを選択する請求項１記載のデジタル画像処理装置。
4. 前記処理ユニットは、特徴検出によりブロックを選択する請求項１記載のデジタル画像処理装置。
5. さらに、ビデオシーケンス安定化のために動作し、それにより、前記処理ユニットは運動レジスタ中のグローバルな最小を有しているグローバルな運動ベクトルとして運動を規定し、第１のデジタル画像と第２のデジタル画像との間の運動を消去するように構成されている請求項１記載のデジタル画像処理装置。
6. さらに、ビデオ符号化のために動作し、それにより、前記処理ユニットは運動レジスタ中のグローバルな最小を有しているグローバルな運動ベクトルから、或いは運動レジスタに基づいて形成された運動マップから、或いは運動レジスタ中の局部的最小を有している少なくとも１つの局部的運動ベクトルから運動を予測するように構成されている請求項１記載のデジタル画像処理装置。
7. 第１のデジタル画像と第２のデジタル画像を獲得する手段と、
   第１のデジタル画像中の少くとも１つのブロックを規定する手段と、
   第２のデジタル画像中のブロックよりも大きいサーチ区域を各ブロックに対して規定する手段と、
   ブロックとそのサーチ区域を等しいサイズにマップする手段と、
   各ブロックと等しいサイズにマップされているそのサーチ区域との間の画素エラーを計算する手段と、
   そのエラーを運動レジスタ中に集める手段と、
   運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定する手段とを具備しているデジタル画像処理装置。
8. 分配媒体で実行されるデジタル画像処理のためのコンピュータプログラムプロダクトにおいて、
   第１のデジタル画像と第２のデジタル画像を獲得する入力モジュールと、
   その入力モジュールに結合されて第１のデジタル画像中の少くとも１つのブロックを規定し、第２のデジタル画像中のブロックよりも大きいサーチ区域を各ブロックに対して規定するコンピュータモジュールとを具備し、
   前記コンピュータモジュールは、
   ブロックおよびそのサーチ区域を等しいサイズにマップし、
   各ブロックと等しいサイズにマップされているそのサーチ区域との間の画素エラーを計算し、
   そのエラーを運動レジスタ中に集め、
   運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定するように構成されているコンピュータプログラムプロダクト。
9. 第１のデジタル画像と第２のデジタル画像を獲得するための入力ブロックと、
   その入力ブロックに結合されて第１のデジタル画像中の少くとも１つのブロックを規定し、第２のデジタル画像中のブロックよりも大きいサーチ区域を各ブロックに対して規定する処理ブロックとを具備し、
   処理ブロックは、各ブロックとそのサーチ区域を等しいサイズにマップし、各ブロックと等しいサイズにマップされたサーチ区域との間の画素エラーを計算し、そのエラーを運動レジスタ中に集め、運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定するように構成されているデジタル画像処理集積回路。
10. 第１のデジタル画像と第２のデジタル画像を獲得し、
    第１のデジタル画像中の少くとも１つのブロックを規定し、
    第２のデジタル画像中のサーチ区域を各ブロックに対して規定し、そのサーチ区域はブロックよりも大きく、
    各ブロックとそのサーチ区域を等しいサイズにマップし、
    各ブロックと等しいサイズにマップされているそのサーチ区域との間の画素エラーを計算し、
    そのエラーを運動レジスタ中に集め、
    運動レジスタを使用することにより第１のデジタル画像と第２のデジタル画像との間の運動を規定するデジタル画像間の運動を規定する方法。

Images