JP3626826B2 - ビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法であって、符号化する画像のそれぞれの画素に対して、画素を包囲する領域と、符号化する画像の画素を包囲する前記領域に対して移動されている、時間的に先行する画像の同一の形の領域とのマッチングを示すコスト関数をもとめ、それぞれの画素のためのコスト関数に基づいてダイナミックプログラミングを実施する、ビデオシーケンス（動画）の時間的に順次の画像の画素のための計算機による動き推定方法に関する。
【０００２】
【従来の技術】
ブロックを基礎とする画像符号化法又はオブジェクトを基礎とする画像符号化法の領域内で、１つのビデオシーケンスの個々の画像のブロック又はオブジェクトのための高品質の動き推定は、必要な伝送容量をできるだけ節約して、ビデオデータ流の受信機で再生された画像の高品質を達成するために重要である。
【０００３】
動き推定により、ビデオシーケンスの画像の個々の画素の輝度情報及び／又は色情報を符号化する代わりに、２つの順次の画像の間のブロック又はオブジェクトに関してある特定のブロックの形又はある特定のオブジェクトの形のみを符号化して受信機に伝送することも可能である。
【０００４】
その他の情報は例えば、２つの順次の画像の間のこれらのブロック又はオブジェクトの移動を含む。
【０００５】
ブロックを基礎とする又はオブジェクトを基礎とするこの符号化により所要伝送容量が大幅に節約できる。
【０００６】
ブロックを基礎とする画像符号化法での動き推定の基礎は例えば、Ｒ．Ｍｅｓｔｅｒ及びＭ．Ｈｏｅｔｔｅｒ著”移動ベクトル推定法及びパターン認識法の信頼性及び効率”（１９９５年，Ｉｎｆｏｒｍａｔｉｋ Ａｋｔｕｅｌｌ誌，Ｓｐｒｉｎｇｅｒ Ｖｅｒｌａｇ社，２８５〜２９５頁）及びＬｉｕ等著”画像シーケンスのための移動ベクトルを求める方法及び装置”及び米国特許第５３９８０６８号明細書及びＦ．Ｄｕｆａｕｘ及びＦ．Ｍｏｓｃｈｅｎｉ著”ディジタルテレビジョンのための動き技術”及び”Ａ Ｒｅｖｉｅｗ ａｎｄ ａ Ｎｅｗ Ｃｏｎｔｒｉｂｕｔｉｏｎ”（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ誌，Ｖｏｌ．８３，Ｎｒ．６，８５８〜８７６頁，１９９５年６月）に記載されている。
【０００７】
ダイナミックプログラミング法は公知である（Ｈ．Ｓａｋｏｅ等”音声言語認識のためのダイナミックプログラミングアルゴリズム最適化”（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ誌，Ｖｏｌ．ＡＳＳＰ−２６，Ｎｏ．１，４３〜４９頁，１９７８年））。
【０００８】
更に、画像処理において及びとりわけいわゆるステレオコレスポンデンスと関連してダイナミックプログラミング法（ダイナミックプログラミングアルゴリズム，ＤＰ法）の使用が公知である（Ｄ．Ｇｅｉｇｅｒ著”重なり（Ｏｃｃｌｕｓｉｏｎ）及び双眼鏡ステレオ”（Ｉｎｔｅｒｎ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ誌，Ｎｏ．１４，Ｋｌｕｗｅｒ Ａｃｃａｄａｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ，Ｂｏｓｔｏｎ，２１１〜２２６頁，１９９５）。
【０００９】
この提案される方法の欠点はこの方法がダイナミックプログラミング法で使用されるコスト関数により、画素に割当てられている移動ベクトルが、一体的な面の中すなわち分類するオブジェクトの中の移動ベクトルが大きい差を有しないように形成され、ひいては移動ベクトルの間に大きい跳躍変化（ジャンプ）が発生しない（単調制限）ように増強されるように形成されていることにある。これにより、オブジェクトの中の画素においては良好な品質の動き推定が達成されるが、しかしこの方法はとりわけオブジェクトのエッジにおける画素においては不充分である、何故ならばこれらの画素はこの方法ではオブジェクトエッジ点として分類されず、誤って隠ぺいとして分類されるからである。
【００１０】
動き推定のためにいわゆるステレオコレスポンデンスの範囲内でダイナミックプログラミングアルゴリズムを使用する別の１つの方法が公知である（Ｉ．Ｃｏｘ等著”規則化無しのステレオ”（ＮＥＣ研究所，Ｐｒｉｎｃｅｔｏｎ，ＮＪ ０８５４０，１〜３１頁，１９９２年）。
【００１１】
前述の２つの方法は更に、ダイナミックプログラミング法が２次元最適化空間の中でしか実施できない欠点を有する。これは、オブジェクトの動きが、例えば調べている走査線の方向等の１つの方向でのみしか確実に検出されないことを意味する。しかしオブジェクトが急速に動くと、後述するようにオブジェクトがもはやダイナミックプログラミング法によって”発見される”ことが不可能となり、ひいてはこの方法により個々の画素に誤りの移動ベクトルが割当てられることがある。
【００１２】
【発明が解決しようとする課題】
本発明の課題は、２つの順次の画像の間のオブジェクトの移動が大きい場合でも、走査線方向とは異なることもある異なる方向で正しく分類を行うことができ、ひいてはビデオシーケンスの画像の個々の画素に正しい移動ベクトルを割当てることができる動き推定方法を提供することにある。
【００１３】
【課題を解決するための手段】
上記課題は本発明により、ダイナミックプログラミングのために少なくとも３次元のサーチ領域を使用し、３つの次元は、走査線に沿って動き推定を行う走査線と、第１の方向のための画素のための第１の移動ベクトル値と、第２の方向のための画素のための第２の移動ベクトル値とであり、ダイナミックプログラミングにより求めた第１の移動ベクトル値と、ダイナミックプログラミングにより求めた第２の移動ベクトル値とを画素に割当て、コスト関数には単調関数を有する付加的な被加数が付加され、単調関数のコスト関数への影響はそれぞれの画素の輝度変化に依存させられ、これにより単調関数のコスト関数への影響はオブジェクト内部では大きいがオブジェクトエッジにおいては小さく、この結果、オブジェクトのエッジが検出される場合には、走査線が個々のセグメントに分割されることにより解決される。
【００１４】
本発明ではダイナミックプログラミング法のためにサーチ領域とも称される３次元最適化領域が使用される。
【００１５】
これらの３つの次元とは、
− 走査線に沿って動き推定を行う走査線と、
− 第１の方向のための画素のための移動ベクトル値と、
− 第２の方向のための画素のための移動ベクトル値とである。
【００１６】
ダイナミックプログラミングアルゴリズムのための最適化空間をこのように拡張することにより、２つの時間的に順次の画像の間で、第１の方向とは異なる第２の方向で大きく動かされるオブジェクトを検出し、ひいては個々の画素における動き推定を正しく実施することが可能となる。
【００１７】
これにより、公知の方法では不可避である、領域を隠ぺいとして誤って分類する現象を回避できる。
【００１８】
しかし本発明では適正化（Ｒｅｇｕｌａｒｉｓａｔｉｏｎ）は走査線全体に沿って一体的に実施されるのではなく、走査線が個々のセグメントに分割され、この分割は、オブジェクトのエッジが検出されたかされないかに依存する。走査線の１つの画素が、それぞれの画素の輝度勾配の増加された値を有するエッジ点として分類されると、適正化に用いられるダイナミックプログラミングアルゴリズムのコスト関数の一部への画素の増加された輝度勾配の影響が”減衰”される。これにより走査線は、エッジにより互いに境界を定められている個々のオブジェクトに相応するセグメントに分割される。
【００１９】
本発明の有利な実施の形態は従属項に記載されている。
【００２０】
本発明の方法の１つの有利な実施の形態では、２つの時間的に順次の画像の画素のいわゆるマッチングのために、方形又は正方形の形状を有する領域が使用される。それぞれの画素を包囲するこの領域の中で、この領域内に位置する個々の画素の輝度値が加算され、正規化され、互いに比較される。
【００２１】
【実施の形態】
次ぎに本発明を実施の形態に基づき図を用いて詳細に説明する。
【００２２】
ダイナミックプログラミング
ダイナミックプログラミングの基礎的方法はＨ．Ｓａｋｏｅ等著”音声言語認識のためのダイナミックプログラミング最適化”（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ誌，Ｖｏｌ．ＡＳＳＰ−２６，Ｎｏ．１，４３〜４９頁，１９７８年）に説明されている。
【００２３】
画像処理への利用、とりわけ動きの推定への利用の場合にダイナミックプログラミング法の目標は、ビデオシーケンス（動画）において第１の画像の１つの走査線と、時間的に第１の画像に後続する第２の画像の領域との可及的最大のマッチングを求め、これにより、その都度の走査線上にある画素の動きの推定を行うことにある。
【００２４】
ダイナミックプログラミング法は最適化法であり、この最適化法は、最適解決法を求めるために、先天的に統計的情報とある特定の検出規則とを必要とする。
【００２５】
確率Ｐ（ｎ−１，ｄ）は、ラスタ線上の第１の画素ｎ−１が移動ベクトル値ｄを有する確率を表す。
【００２６】
条件付き確率Ｐ（ｎ，ｄ’｜ｎ−１，ｄ）は、第２の画素ｎが別の１つの移動ベクトル値ｄ’を有する確率を示し、ただし条件として第１の画素ｎ−１が移動ベクトル値ｄを有することを示す。
【００２７】
この場合、別の移動ベクトル値ｄ’は移動ベクトル値ｄに等しいことも等しくないこともある。
【００２８】
前述の確率はすべての画素と、これらの画素に割当てられている移動ベクトル値とに当てはまることに注意されたい。第１の画素ｎ−１と第２の画素ｎとは、互いに隣接し同一のラスタ線上の２つの画素である。
【００２９】
走査線の経過にしたがってダイナミックプログラミング法を実施する際のこの走査線上のそれぞれの画素におけるこれらの条件付き確率が既知である場合、これを最適化問題としてまとめ、この最適化問題をダイナミックプログラミング法により解決することができる。
【００３０】
個々の画素と個々の画素に割当てられている移動ベクトル値とにおける条件付き確率を求める方法を、以下に詳細に説明する。
【００３１】
図１において、小さな原理的な例として、Ｎ個の画素を有する１本の走査線Ｓに関して走査線Ｓ上のそれぞれの画素の番号が横軸に示され、それぞれの画素に割当てることができる可能な移動ベクトル値ｄが縦軸に示され、ただしｎは［０．．Ｎ］の区間の中の個々の画素を示す。
【００３２】
図１において、簡単化のために画素の数Ｎ＝４が選択され、走査線Ｓの個々の４つの画素に対しても４つのみの可能な移動ベクトル値が示されている。
【００３３】
これは１つの非常に簡単な例であり、ダイナミックプログラミング法の理解を容易にするために用いられ、この方法の一般性を何等制限しないことに注意されたい。
【００３４】
更に、図１のそれぞれの画素に対して、それぞれの画素ｎが、対応する移動ベクトル値ｄを有する確率が示されている。例えば画素ｎ＝２が移動ベクトル値ｄ＝３を有する確率はＰ（２，３）により示されている。
【００３５】
更に、それぞれの画素に対して、後続の画素におけるそれぞれの条件付き確率が求められる。この確率は図１においてＰ（４，４｜３，３）により示され、これにより、画素ｎ＝４が別の移動ベクトル値ｄ’＝４を有する確率が示され、ただし条件として画素ｎ＝３（ｎ−１）が移動ベクトル値ｄ＝３を有することが示されている。
【００３６】
個々の画素と個々の画素に割当てられている移動ベクトル値とを求める方法を、以下に詳細に説明する。
【００３７】
個々の確率と個々の条件付き確率とから評価Ｃが求められ、評価Ｃは、パス全体のそれぞれの発生確率の尺度を示す。パス全体とは、それぞれの画素への移動ベクトル値の個々の割当ての組合せである。
【００３８】
従って評価Ｃの最大値は、時間的に順次の２つの画像の間の走査線のそれぞれの画素の最大のマッチングを提供する。
【００３９】
評価Ｃは次式により行われる。
【００４０】
【数６】

【００４１】
ダイナミックプログラミング法を実施する場合、始点からサーチ終点すなわちサーチする終点までのパスを考慮する必要がある。
【００４２】
これは図１の例では、１６の可能なパスにおいてその他の１５のパスを考慮することは不要であることを意味する。Ｄ（ｉ，ｊ）によりそれぞれ、画素ｊで終端するｉ個のベクトルの１つのパスに対する評価Ｃの最大値が示される。
【００４３】
Ｄ（ｉ，ｊ）は再帰的に次式により求めることができる。ただしこれは、図１の例に関してである。
【００４４】
【数７】

【００４５】
ただしｋにより、画素ｊに割当てられているそれぞれの移動ベクトル値が示されている。
【００４６】
これは図１の場合には、例えば画素ｎ＝３で終端するパスにおいて次式を意味する。
【００４７】
【数８】

【００４８】
再帰式（２）がｎ個のベクトルのパス長に対して実施され、この方法は局所的に、それぞれの画像の画素に対して左側から右側へ向かって実施され、ただしその際の仮定は、すべての走査線が”第０番目”画素ｎ＝０で開始することにある。
【００４９】
グローバルに最良のパターンを求めるためには、すなわち最良のパスを求めるためには、このパスをバックトラッキングすることもできなければならない。これを実現するためには、画素のそれぞれの最適先行画素と、前者の画素に割当てられている移動ベクトルとが、パス全体（Ｇｅｓａｍｔｐｆａｄ）の中でそれぞれのベクトルに対して再び見つけられることが必要である。これは、それぞれ最適の先行画素がマーキングされ記憶されることにより達成される。これにより、移動ベクトル値の最適割当て全体を求めるのに用いられるバックトラッキングが走査線Ｚの画素に対して達成される。
【００５０】
移動ベクトル値ｄの値領域の大きさは、ダイナミックプログラミング法を実施できる速度にとって重要である。このサーチ領域は通常はある特定の仮定により制限される。このような制限の１つの例は単調制限であり、この単調制限は、１つのオブジェクトの中の画素の移動ベクトルが１つの単調関数を形成するために使用される。これは、１つのオブジェクトのすべての画素が類似の移動ベクトル値を有するとの仮定に帰着される、何故ならばオブジェクトの位置も一体的に変化するからである。
【００５１】
３次元最適化空間によるダイナミックプログラミング法
ダイナミックプログラミングによる動き推定における画像処理の問題は、２つの順次のオブジェクトの間に１つのオブジェクトが任意の方向に移動し得ることが可能なことにある。
【００５２】
これにより２つの画像の間のオブジェクトの位置も非常に急速に変化することがある。この問題は図４ａ及び図４ｂに示され、第２の画像４２の中のオブジェクトＡが第１の画像４１に対して水平方向にも垂直方向にも移動している。
【００５３】
第２のオブジェクトＢは垂直方向に移動していない。
【００５４】
ラスタ線ｒが走査線としてダイナミックプログラミング法の中で使用され、これにより第１の画像４１のラスタ線ｒと第２の画像４２の領域とのマッチングを得る場合、公知の方法においては図５ａに示されているようにマッチングは第１の画像Ａの垂直方向の移動に基づいて求められる。それぞれマッチング点、すなわち正しく分類された画素が、これらの画素に割当てられている移動ベクトルと一緒に図５ａに示されている。
【００５５】
公知の方法ではこれらのマッチング点において第１の画像４１の画素の輝度と、第２の画像４２の画素の輝度との間のマッチングは求めることができない。この理由からこれらの画素の領域は誤っていわゆる隠ぺいとして分類される。
【００５６】
第１のオブジェクトＡのこの垂直運動は本発明では次の方法により補償される。ラスタ線ｒは、別のラスタ線の多数のセグメントに”分割”される。
【００５７】
簡単な例として図４ｂに別のラスタ線ｒ−ｋが示されている。
【００５８】
図５ｂには、複数のラスタ線の多数のセグメントにより示されている改善されている結果が示されている。それぞれのマッチング点が図５ｂに示されている。
【００５９】
図５ａ及び図５ｂにはそれぞれ第１の画像４１のラスタ線ｒが示されている。このラスタ線ｒは第２の画像４２のラスタ線（図５ａ）又はラスタ線ｒの個々のセグメントと、第２の画像４２の別のラスタ線ｒ−ｋ（図５ｂ）とに本発明の方法により対比される。
【００６０】
ｋによりラスタ線ｒに対する別のラスタ線ｒ−ｋの垂直方向の移動が示されている。
【００６１】
ラスタ線ｒに対してそれぞれ垂直方向に移動されている別のラスタ線の数は、任意であり用途に依存する。
【００６２】
評価Ｃの最適化は３次元最適化空間の中で次式により行われる。
【００６３】
【数９】

【００６４】
ただしＰ（ｎ，ｄ_１’，ｄ_２’｜ｎ−１，ｄ_１，ｄ_２）は、走査線Ｓ上の画素ｎが移動ベクトル（ｄ_１’，ｄ_２’）を有する確率を示し、ただし条件として隣接する画素ｎ−１が移動ベクトル（ｄ_１，ｄ_２）を有することを示す。Ｐ（ｎ，ｄ_１’，ｄ_２’）により、画素ｎが移動ベクトル（ｄ_１’，ｄ_２’）を有する確率が示される。
【００６５】
本発明では、前述の数式による説明は、ダイナミックプログラミング法に使用される最適化空間を更に１次元だけ拡張することにより実現される。
【００６６】
最適化空間のこの更なる１次元は、個々の画素ｎのためのそれぞれのコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）を求める際に考慮される。これは、１つのラスタ線に沿っている１つの画素に２つの値が割当てられることを意味する、すなわち第１の方向のための第１の移動ベクトル値ｄ_１と、第２の方向のための第２の移動ベクトル値ｄ_２とである。
【００６７】
しかしこの場合、適正化は走査線全体に沿って行われず、走査線は、オブジェクトのエッジが検出されるか又はされないかに依存して個々のセグメントに分割される。走査線の画素が、それぞれの画素の輝度勾配のその画素から得られる増加した値を有するエッジ点として分類される場合、適正化に用いられるダイナミックプログラミングアルゴリズムのコスト関数の一部への画素の増加した輝度勾配の影響は、”減衰”される。これにより走査線は、エッジにより互いに境界を定められている個々のオブジェクトに相応するセグメントに分割される。
【００６８】
これにより、適正化（単調性制限）はそれぞれのオブジェクトの中でのみ行われ、従ってオブジェクトエッジにおける誤りの分類が回避される。
【００６９】
コスト関数
それぞれの画素ｓ_ｐのための個々の確率と個々の条件付き確率と、画素ｓ_ｐに割当てられていることもある移動ベクトル（ｄ_１，ｄ_２）とがまだ既知でない場合、この確率と移動ベクトルとは例えば次のように求めることができる。
【００７０】
それぞれの画素ｓ_ｐにおいて、それぞれの発生可能な移動、すなわちすべての発生可能な第１の移動ベクトル値ｄ_１とすべての発生可能な第２の移動ベクトルｄ_２とに対して、前述の条件付き確率に原理的に相当するコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）が、次式により求められる。
【００７１】
【数１０】

【００７２】
ただし、
ｎ，ｍは個々の画素ｓ_ｐの座標値を表し、
ｄ_１はそれぞれ採用されている第１の移動ベクトル値を表し、
ｄ_２はそれぞれ採用されている第２の移動ベクトル値を表し、
（ｄ_１，ｄ_２）はそれぞれ採用されている１つの移動ベクトルを表し、
２τ＋１は画素の中の第１の方向での領域の大きさを示し、
２λ＋１は画素の中の第２の方向での領域の大きさを示し、
Ｎ＝（２τ＋２λ−１）＊３は領域の中に位置する画素の数を示し、
ｃは正規化定数を表し、
Ｗ_Ｆ１（ｉ，ｊ）は個所（ｉ，ｊ）における符号化する画像の輝度値を表し、
Ｗ_Ｆ２（ｉ，ｊ）は個所（ｉ，ｊ）における時間的に先行する画像の輝度値を示す。
【００７３】
第１の画像の画素ｓ_ｐと第２の画像の画素とのマッチングを求めるこの方法はブロックマッチングと称されている。
【００７４】
それぞれの画素のためのコスト関数を計算するために用いられる領域は、原理的には任意に形成できる。
【００７５】
しかし、この領域が方形であるか、又は図６に示されている形状を有すると有利である。
【００７６】
図６に示されている領域の形状の利点は、この形状によりエッジの近傍のマッチング結果が、使用する領域の多くのその他の形状の場合に比して改善された信頼性を有することにある。
【００７７】
この領域のこの形状は、互いに例えば垂直に位置する２つの特定の方向において動き推定においてより良好な結果を達成するために選択される。この理由からこの特別の実施の形態では十字形を有する。
【００７８】
しかしこれはこの領域の任意の形状の一般的利用可能性を何等制限しない。
【００７９】
３次元サーチ領域の中のそれぞれの可能な移動に対して輝度差が形成され、この輝度差は、この輝度差を、この領域の中に位置する画素Ｎの数により除算することにより正規化される。
【００８０】
これは原理的には、第１の画像の画素ｓ_ｐが、第２の画像の中の対応する第１の移動ベクトル値と、対応する第２の移動ベクトル値とだけそれぞれ移動されている画素に対応する確率に相当する（図６参照）。
【００８１】
それぞれの画素のためのコスト関数が値零を有する場合、これは、第１の画像又は第２の画像の２つの領域の輝度値の間に完全なマッチングが存在することを意味する。コスト関数が値１を有する場合、これは、第１の画像の中の領域の輝度値と、第２の画像の中の対応する移動ベクトル値だけ移動されている領域の輝度値との間に完全な非マッチングを意味する。
【００８２】
ここにおいて、求められたコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）のただ１つの相違点が分かる、すなわち、小さい値のためのコスト関数の場合には、より高い確率が得られるとの相違点である。しかしこの方法ではこれは、ダイナミックプログラミング法での最適化が最小コスト関数に従って行われる限り別個に考慮することは不要である。
【００８３】
図６ａにおいて画素ｓ_ｐは画素座標ｎ，ｍと、画素ｓ_ｐのためのコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）が内部で形成される領域とにより表されている。
【００８４】
図６ｂには、移動ベクトル（ｄ_１，ｄ_２）だけ移動されている領域が示されている。これは、第１の画像の画素ｓ_ｐと、第２の画像の中で第１の画像に対して移動ベクトル（ｄ_１，ｄ_２）だけ移動された第２の画像の別の画素ｓ_ｐ’とのマッチングがサーチされることを意味する。
【００８５】
本方法の１つの有利な実施の形態では、コスト関数Ｔ_ｎ（ｄ_１，ｄ_２）の付加的な被加数ｆ（ｘ_１）及び／又はｆ（ｘ_２）を付加する。この付加的な被加数は次式により求め得られる。
【００８６】
【数１１】

【００８７】
及び／又は
【００８８】
【数１２】

【００８９】
ただし、
ｘ_１，ｘ_２は走査線Ｓに沿っての２つの互いに隣接する画素の第１の方向のための移動ベクトル値ｄ_１又は第２の方向のための移動ベクトル値ｄ_２の差値であり、
μ，εは２つの経験的に求められた定数である。
【００９０】
２つの経験的に求められた定数μ及びεは有利には値μ＝０．３及びε＝０．１５を有する。
【００９１】
この被加数により、１つのオブジェクトの中の画素の移動ベクトルが単調関数を形成することが達成される（単調性制限）。
【００９２】
付加的な被加数のような特性を有するもう１つの関数が図２に示され、更にＤ．Ｇｅｉｇｅｒ等著”重なり及び双眼鏡ステレオ”（Ｉｎｔｅｒｎ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ誌，Ｎｏ．１４，Ｋｌｕｗｅｒ Ａｃｃａｄａｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ，Ｂｏｓｔｏｎ，２１１〜２２６頁，１９９５）から公知である。
【００９３】
その他の関数を、制限無しに、付加的な被加数として本発明の方法で使用することが可能である。
【００９４】
本発明の方法の別の１つの変形実施の形態ではコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）に、次式により表せる付加的被加数が付加される。
【００９５】
【数１３】

【００９６】
及び／又は
【００９７】
【数１４】

【００９８】
ただし、
ｘ_１，ｘ_２は走査線Ｓに沿っての２つの互いに隣接する画素の第１の方向のための移動ベクトル値ｄ_１又は第２の方向のための移動ベクトル値ｄ_２の差値であり、
μ，εは２つの経験的に求められた定数であり、
βは勾配増大定数であり、
ｓはそれぞれの画素のための正規化された輝度勾配である。
【００９９】
この付加的な被加数の分母
【０１００】
【数１５】

【０１０１】
により単調関数
【０１０２】
【数１６】

【０１０３】
及び／又は
【０１０４】
【数１７】

【０１０５】
のコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）への影響が、それぞれの画素の輝度の変化に依存させられ、これにより、単調関数のコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）への影響がオブジェクトの内部では大きいが、しかしオブジェクトエッジにおいては小さいことが達成される。
【０１０６】
これによりオブジェクトエッジにおいて単調関数
【０１０７】
【数１８】

【０１０８】
及び／又は
【０１０９】
【数１９】

【０１１０】
のコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）への影響が低減され、これによりダイナミックプログラミング法はこの場合のためのこの領域内で主にコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）の第１の被加数ＮＭＣ_ｎ（ｄ_１，ｄ_２）を最適化基準として使用する。
【０１１１】
オブジェクトエッジの近傍での式（５）の使用は通常は、オブジェクトの内部での場合に比してより良好な結果を有するので、オブジェクトエッジにおけるコスト関数Ｔ_ｎ（ｄ_１，ｄ_２）の信頼性が高められ、これにより、それぞれの画素と、この画素に割当てられている移動ベクトル（ｄ_１，ｄ_２）との正しい分類が、単調関数の影響無しに達成される。
【０１１２】
この用途での典型的な問題は、ラスタ線ｒに沿っての互いに順次の２つの画素の間の移動ベクトルの大きい変化が、１つのオブジェクトの急速な動きひいては大きい移動に起因して発生する領域にある。
【０１１３】
それぞれのオブジェクトのエッジが考慮されず、式（６）のみが付加的被加数としてコスト関数のなかで考慮される場合、オブジェクトエッジにおける採用されている移動ベクトルのためのダイナミックプログラミング法の範囲内でのそれぞれの画素のコスト全体（Ｇｅｓａｍｔｋｏｓｔｅｎ）は非常に高くなり、この高いコストにより、大きい動きを有する領域がいわゆる隠ぺいと解釈される。
【０１１４】
それぞれの画素のための正規化された輝度勾配を求めるために、当業者には自明の任意の形式の勾配フィルタを使用できる。
【０１１５】
しかしこの実施の形態ではゾーベル演算子の使用を説明しようとしている。方向Ｋのための輝度勾配は、次式の畳込みにより求めることができる。
【０１１６】
【数２０】

【０１１７】
ただしＨ_Ｋ（ｎ，ｍ）は３×３パルス応答マトリクスを表し、このパルス応答マトリクスはそれぞれの輝度勾配と４つの方向、すなわち垂直方向Ｖ、水平方向Ｈ、垂直方向から４５゜左方へ傾斜している方向Ｌ、及び垂直方向から４５゜右方へ傾斜している方向Ｒを求めるのに用いられる。ゾーベル演算子のパルス応答の個々のマトリクスを以下に示す。
【０１１８】
水平方向Ｈのためのパルス応答マトリクスＨ_Ｈが次式により表せる。
【０１１９】
【数２１】

【０１２０】
垂直方向Ｖのためのパルス応答マトリクスＨ_Ｖは次式により表せる。
【０１２１】
【数２２】

【０１２２】
垂直方向から４５゜左方へ傾斜している方向Ｌのためのパルス応答マトリクスＨ_Ｌは次式により表せる。
【０１２３】
【数２３】

【０１２４】
垂直方向から４５゜右方へ傾斜している方向Ｒのパルス応答マトリクスＨ_Ｒは次式により表せる。
【０１２５】
【数２４】

【０１２６】
Ｆ（ｎ，ｍ）は、ゾーベル演算子により畳込まれる画像の領域である。それぞれのＫ∈［Ｈ，Ｖ，Ｒ，Ｌ］に対して、それぞれの画素（ｎ，ｍ）のための勾配Ｇ_Ｋ（ｎ，ｍ）が求められる。
【０１２７】
４つの求められた勾配から最大値Ｇ_ｍａｘ（ｎ，ｍ）がそれぞれの画素（ｎ，ｍ）のためのエッジの勾配として使用される。
【０１２８】
G_ｍａｘ(n,m)=max(G_Ｈ(n,m),G_Ｖ(n,m),G_Ｌ(n,m),G_Ｒ(n,m)) （９）
これは、正規化された輝度勾配ｓが次式により得られることを意味する。
【０１２９】
ｓ＝Ｇ_ｍａｘ（ｎ，ｍ）／ω （１０）
ただしωは正規化定数である。
【０１３０】
図３には２次元関数ｆ（ｘ，ｓ）の形の付加的な被加数が示されている。
【０１３１】
この関数は２つの異なる領域に分割される。
【０１３２】
【数２５】

【０１３３】
０＜ｓ＜１において式（１１）は、オブジェクトのエッジを求めることができない場合、又はただ１つの非常に小さい輝度勾配ｓしか求めることができない場合、付加的な被加数が移動ベクトルの大きい変化のみを”罰し”、ひいては１つのオブジェクトの内部の画素に割当てられている移動ベクトルから単調関数が得られることを意味する。
【０１３４】
ｓ≧１により定められる第２の領域は、濃いエッジが検出された領域を表す。 これによりこの関数のコスト関数への影響が、互いに隣接する２つの画素の移動ベクトルの跳躍変化（ジャンプ）だけ低減されることが”許容”される。
【０１３５】
第２の領域ｓ≧１の場合には次式が得られる。
【０１３６】
【数２６】

【０１３７】
全コスト関数ＴＧ_ｎ（ｄ_１，ｄ_２）は、個々の画素に基づいて次式の再帰式により求められる。
【０１３８】
TG_ｎ(d_１,d_２)=NMC_ｎ(d_１,d_２)+f(x_１,s)+f(x_２,s)+TG_{ｎ - １}(d_{１ｂｅｓｔ},d_{２ｂｅｓｔ}) (１３)
ｎ＞１
ＴＧ_ｎ（ｄ_１，ｄ_２）＝ＮＭＣ_ｎ（ｄ_１，ｄ_２） ｎ＝１ （１３）
ただしＴＧ_ｎ−１（ｄ_{１ｂｅｓｔ}，ｄ_{２ｂｅｓｔ}）はそれぞれ、先行の画素ｎ−１に対する移動ベクトル（ｄ_{１ｂｅｓｔ}，ｄ_{２ｂｅｓｔ}）の最良の割当てを示す。
【０１３９】
これは、ダイナミックプログラミング法の範囲内での前述の条件付き確率による原理的方法に相応するが、相違点は、最大発生確率に相応する最大評価Ｃがサーチされるのではなく、この場合には全コスト関数（Ｇｅｓａｍｔｋｏｓｔｅｎｆｕｎｋｔｉｏｎ）Ｔ_ｎ（ｄ_１，ｄ_２）の最小値が求められ、これにより全体のコストが最小化されることにある。
【０１４０】
これにより、それぞれの走査線Ｓに位置する個々の画素への移動ベクトルの最適割当てが達成される。
【０１４１】
図７にはフローチャートの形の本発明の方法が示されている。
【０１４２】
第１のステップでは反復的にステップ７１でビデオシーケンスのそれぞれの画像に対して、ステップ７２で画像のそれぞれの走査線Ｓに対して次のステップが実施される。
【０１４３】
ステップ７４で走査線Ｓに位置するそれぞれの画素に対して、コスト関数Ｔ_ｎ（ｄ_１，ｄ_２）が求められ、これは、前述のように付加的な被加数を用いて又は用いないで行われる。
【０１４４】
ステップ７５で走査線Ｓの画素に対してダイナミックプログラミング法が実施され、パス全体は最小全コスト関数ＴＧ_ｎ（ｄ_１，ｄ_２）に基づいて、前述の３次元最適化空間により求められる。
【０１４５】
最後のステップ７６で走査線Ｓの画素に、ダイナミックプログラミング法により求められた移動ベクトル値が割当てられる。
【０１４６】
動き推定が実施された後、更に画素がオブジェクトに分類され、オブジェクトに移動ベクトルが割当てられる。この際の方法は当業者には自明である。
【０１４７】
次いで画像は、個々のオブジェクトと移動ベクトルとを考慮してビデオデータ流にチャネル符号化され、受信機にチャネルを介して伝送され、ビデオデータ流は再び複号化され、画像が再現される。この方法も当業者には自明である。
【０１４８】
本発明の方法は画像処理法であり、必然的に少なくとも１つの計算機により実施される。
【図面の簡単な説明】
【図１】ダイナミックプログラミング法の略線図である。
【図２】付加的な被加数の範囲内でコスト関数のために用いられる複数の関数の線図である。
【図３】コスト関数の中の付加的な被加数として特に適する関数の線図である。
【図４】２つのオブジェクトＡ及びＢの時間的経過を示す略線図である。
【図５】図４に示されているオブジェクトＡ及びＢにダイナミックプログラミング法の結果を公知の方法により適用し隠ぺいが求められる略線図と、本発明によりダイナミックプログラミング法の最適化空間の中の付加的なサーチ方向を用いて適用しこれにより誤分類が回避されオブジェクトＡが正しく分類されることを示す略線図である。
【図６】第１の画像の中のそれぞれ調べる画素を包囲する領域の略線図と、第１の画像に時間的に後続する画像の中の領域で移動ベクトル（ｄ_１，ｄ_２）により第１の方向及び第２の方向で移動していることを示す略線図である。
【図７】本発明の方法の個々のステップを示すフローチャートである。
【符号の説明】
４１ 第１の画像
４２ 第２の画像

Claims (7)

1. ビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法であって、
   符号化する画像のそれぞれの画素に対して、前記画素を包囲する領域と、符号化する前記画像の前記画素を包囲する前記領域に対して移動されている、時間的に先行する画像の同一の形の領域とのマッチングを示すコスト関数をもとめ、
   それぞれの前記画素のための前記コスト関数に基づいてダイナミックプログラミングを実施する、ビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法において、
   前記ダイナミックプログラミングのために少なくとも３次元のサーチ領域を使用し、３つの次元は、走査線に沿って動き推定を行う走査線と、第１の方向のための前記画素のための第１の移動ベクトル値（ｄ_１）と、第２の方向のための前記画素のための第２の移動ベクトル値（ｄ_２）とであり、
   ダイナミックプログラミングにより求めた前記第１の移動ベクトル値（ｄ_１）と、ダイナミックプログラミングにより求めた前記第２の移動ベクトル値（ｄ_２）とを前記画素に割当て、
   前記コスト関数には単調関数を有する付加的な被加数が付加され、前記単調関数の前記コスト関数への影響はそれぞれの画素の輝度変化に依存させられ、これにより前記単調関数の前記コスト関数への影響はオブジェクト内部では大きいがオブジェクトエッジにおいては小さく、
   この結果、オブジェクトのエッジが検出される場合には、走査線が個々のセグメントに分割されることを特徴とするビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法。
2. 領域が複数の画素にわたり第１の方向及び／又は第２の方向に延在することを特徴とする請求項１に記載のビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法。
3. 領域が方形又は正方形の形状を有することを特徴とする請求項１又は請求項２に記載のビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法。
4. コスト関数を再帰的に次式により求め、
   

   

   ただし、
   ｎ，ｍは個々の画素の座標値を表し、
   ｄ_１はそれぞれ採用されている第１の移動ベクトル値を表し、
   ｄ_２はそれぞれ採用されている第２の移動ベクトル値を表し、
   （ｄ_１，ｄ_２）はそれぞれ採用されている移動ベクトルを表し、
   ２τ＋１は画素の中の第１の方向での領域の大きさを示し、
   ２λ＋１は画素の中の第２の方向での領域の大きさを示し、
   Ｎ＝（２τ＋２λ−１）＊３は領域の中に位置する画素の数を示し、
   ｃは正規化定数を表し、
   Ｗ_Ｆ１（ｉ，ｊ）は個所（ｉ，ｊ）における符号化する画像の輝度値を表し、
   Ｗ_Ｆ２（ｉ，ｊ）は個所（ｉ，ｊ）における時間的に先行する画像の輝度値を示すことを特徴とする請求項１から請求項３のうちのいずれか１つの請求項に記載のビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法。
5. コスト関数が、次式により表せる付加的な被加数を有し、
   

   

   及び／又は
   

   

   ただし、
   ｘ_１，ｘ_２は走査線Ｓに沿っての２つの互いに隣接する画素の第１の方向又は第２の方向のための移動ベクトル値の差値であり、
   μ，εは２つの経験的に求められた定数であることを特徴とする請求項４に記載のビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法。
6. コスト関数が、次式により表せる付加的な被加数を有し、
   

   

   及び／又は
   

   

   ただし、
   ｘ_１，ｘ_２は走査線Ｓに沿っての互いに隣接する２つの画素の第１の方向又は第２の方向のための移動ベクトル値の差値であり、
   μ，εは２つの経験的に求められた定数であり、
   βは勾配増大定数であり、
   ｓはそれぞれの画素のための正規化された輝度勾配であることを特徴とする請求項４に記載のビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法。
7. 正規化された輝度勾配を形成するためにゾーベルフィルタ（Sobel-Filter)を使用することを特徴とする請求項６に記載のビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法。

Images