JPH06506578A - ビデオ信号における運動内容推定方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の名称 ビデオ信号における運動内容推定方法 発明の背景 本発明は、水平および垂直ベクトル要素を通常含む２次元の運動ベクトル場によ り表される、変位、動き、移動等の運動の内容、特に、ビデオ信号における運動 内容を推定する方法に関する。このような推定の一般的な目的は、ビデオ信号の 高品質の時間的変換または処理を許すことにある。本発明は各種の分野に適用す ることができ、その主要な例として、異なるテレビジョン規格間での変換、ビデ オ信号の雑音除去、テレビジョン信号または高解偉度テレビジョン信号のディジ タル伝送用データ圧縮、スローモーション機器等がある。

運動ベクトル場を発生する公知の方法は、回帰的画素傾斜法、位相相関法、およ びブロック整合法を含む。これらの技術は、以下の一般的な特徴に関連してそれ 自身の利点および欠点を有する。

Ａ：高速度で移動する目的物を追跡する能力を持ち、その結果大きな調査範囲を 使用する高トラッキング範囲Ｂ：移動する目的物の運動ベクトルの詳細な描写を 発生する能力を持ち、その結果隣接ブロックの移動の異なった速度および方向を 識別してしまう高ベクトル解像度 Ｃ：移動する目的物の小さな隣接範囲の異なる移動を表す能力を持ち、その結果 異なる移動をする隣接画素を識別してしまう高空間的解像度 Ｄ′雑音または他の妨害を抑圧する間、運動ベクトル場を発生することにより目 的物の実際の運動を区別する能力を持つロバスト（ｒｏｂｕｓｔｌアルゴリズム Ｅ：幅広い適用範囲のために商業的方法を使用する能力を持つコスト有効性（効 果的な信号処理および単純な装置）公知の方法の利点および欠点は、以下の表の とおりである。

画素傾斜　位相相間関係　基準ブロック整合Ａ：高トラッキング範囲　Ｎｏ　Ｙ ＥＳ　ＹＥＳＢ：高ベクトル解像度　ＹＥＳ　ＹＥＳ　ＹＥＳＣ：高空間的解像 度　ＹＥＳ　Ｎｏ　Ｎ。

Ｄ＝ロバスト・アルゴリズム　Ｎｏ　ＹＥＳ　Ｎ。

Ｅ：コスト有効性　ＹＥＳ　ＮＯＹＥＳ基準ブロック整合技術（ＵＳ−Ａ−４９ ２４３１０）において、ビデオ信号は将来分離される絵すなわち画像の連続シー ケンスにより表され、前記画像は予め定められた範囲およびサイズのブロックに 分割される。ブロックサイズは、ベクトル場の空間的解像度を決定する。ブロッ クの比較または整合を可能にするために、１つは、所定のサイズおよび形状を有 する調査範囲と、調査パターンであってそれに応じて調査または比較を実行する 調査パターンと、１つのブロックの他のブロックに対する結合性の度合いを表す 整合譚準とを規定することを含む。このような標準は、個々の画像要素の光強度 すなわち輝度の比較に基づく。

瞬時の運動ベクトル場を決定するために、連続する２つの画像について考察する 。複数のブロックは５Ｍ新の連続画像の複数の画素からなり、また順次処理され る。このような各ブロックのために、調査は、そのブロックを前の連続画像のブ ロックに整合させるように、調査パターンに従って、前の連続画像の調査範囲に おいて実行される。２つの整合ブロックの相対的変位の方向および量は、最新の 画像のブロックの運動ベクトルとして選択される。完全な瞬時運動ベクトル場は 、最新の画像の全内容のブロック単位処理の後に得られる。

発明の開示 本発明は、ブロック整合技術を使用する改良した方法に関し、またコスト的に効 果のあるリアルタイムアプリケーションに特に適応される。

ブロック整合技術の改良方法により解決される特殊な課題は、空間的解像度を高 め、アルゴリズムに頑強性を与えることにある。本発明によれば、アルゴリズム は、周りのブロックからの予想運動ベクトルの計算を大から小までの異なるブロ ックサイズで行なう階層処理、好ましくは、運動ベクトル場の計算後の運動適応 時間的フィルタリング（ｍｏｔｉｏｎ　ａｄａｐｔｉｖｅ　ｔｅｍｐｏｒａｌ　 ｆｉｌｔｅｒｉｎｇ）とともに、各階層調査ステップ後の運動ベクトル場の非直 線的フィルタリングによる後処理に基づく。

特に、本発明は、ビデオ信号の運動ベクトル場を発生する方法を提供する。本発 明の方法は、現在の画像の各ブロック用の各調査ステップ（Ｓｔ、５２等）が、 現在の調査ステップで得られていればその運動ベクトル（Ａｍ、　Ｃｍ、　Ｅｍ −１，Ｇｍ−１）と、現在の画像の少なくとも１つ前の調査ステップからのおそ らく少なくとも１つ先行する画像からの運動ベクトルとを基に、現在の画像（Ｐ ＮＩの共同するブロック（ＲＢ）のための予想した新たな変位位置に対応する予 想運動ベクトル（Ｐ貼）の計算をすることを含み、所定の調査範囲（ＳＡＩが前 記予想した新たな変位位置を取り巻くように配置されており、サイズにおいて２ つの連続する調査ステップ間の現在のブロックサイズ適合される、ことにより特 徴付けられる。

好ましい実施例の説明 第１図は、漸次減少するブロックサイズを有する異なる調査ステップ（例えば、 ３２画素、２４ラインのブロックサイズで開始し、次いで減少させる必要がなく なるまでブロックサイズを各ステップ間で２分の１に減少させるステップ）を示 す。このような各調査ステップにおいて、現在の画像ＰＮのブロックは、順序正 しく処理される。各ステップの終わりに、現在の画像ＰＮの全てのブロックは、 前の画像ＰＮ−１（アルゴリズムは直後の画像に関して制限されない）における 位置に関する各ブロックの変位を表す運動ベクトル（ｍｏｔｉｏｎ　ｖｅｃｔｏ ｒｌ　を割り当てられる。現在の画像ＰＮのブロックの１つに関し、第１の調査 ステップＳ１の基準ブロックＲＢに対する運動ベクトルの割り当てを以下に記載 する。

現在の画像ＰＮのブロックＲＢと、前の画像ＰＮ−１の異なる複数のブロックＲ Ｂ’　（第１図に１つだけを示す）とは、画素に関する光強度の差を基に整合標 準（ｍａｔｃｈｉｎｇ　ｃｒｉｔｅｒｉｏｎ）　Ｅ　Ｍすなわち以下の式に従っ て得られるエネルギーを計算することにより、異なる複数の候補運動ベクトル（ ｃａｎｄｉｄａｔｅ　ｍｏｔｉｏｎ　ｖｅｃｔｏｒｌＣＭＶによって表される異 なる可能な相対的変位について比較される。

ＥＭ＝ΣΣ１ｘτ、’！−Ｘτ−３．１１Ｘτ、ブ　はＲＢの画素の光強度値で あり、Ｘ　７’：□＋１はＲＢ’の画素の光強度値であり、上側のインデックス はブロックが属する画像を表し、下側のインデックスはブロックの行および列を 表し、Ｋおよび１は候補運動ベクトルＣＭＶの水平および垂直要素である。

また、第４図および第５図の説明と関連して説明する付加的な状態は、整合標準 ＥＭと組合せて使用される。ブロックＲＢ’は、前の画（ＦＰＮ−１に設けられ た調査範囲ＳＡ内で調査パターンに従って分類される。調査範囲ＳＡは、第２図 と関連して説明する予想運動ベクトル（ｐｒｅｄｉｃｔｅｄ　ｍｏｔｉｏｎ　ｖ ｅｃｔｏｒｌ　ＰＭＶにより決定される部位に設けられている。調査範囲ＳＡの 全てのブロックＲＢ’のための整合標準ＥＭが計算されると、ブロックＲＢは、 整合槽＄ＥＭを最小にする整合ブロックＲＢ’の相対的変位に従って候補運動ベ クトルＣＭＶを割り当てられる。割り当てられた運動ベクトルを選択運動ベクト ル（ｓｅｌｅｃｔｅｄ　ｍｏｔｉｏｎ　ｖｅｃｔｏｒ）　Ｓ　ＭＶ　（第３図参 照）として参照する。

従って、上記の手順は、第１の調査ステップＳ１の現在の画像ＰＮの全てのブロ ックＲ’Ｂについて実行され、また同様の手法で他の調査ステップＳ２・・・・ Ｓ９８の現在の画像ＰＨの全てのブロックについても実行され、そのため調査範 囲ＳＡと調査パターンとは各調査ステップ間のブロックサイズの減少に比例して 小さくされる。好ましくは、調査ステップは、充分な運動ベクトル情報が利用で きるようになるや否や、すなわち異なる調査ステップが同時におよび重複して実 行されるや否や、開始される。

第２図は、先行する調査ステップＳｍ−１（もしくは現在の画像またはいずれか 前の画像におけるいずれか他の先行の調査ステップ）の隣接する大きなブロック における運動ベクトル（符号ｍ−ｔを有する文字により示す）と、現在の調査ス テップＳｍの隣接するブロックの運動ベクトル（符号ｍを有する文字により示す ）とを示し、それらは全て調査ステップＳｍの現在の画像の位置Ｘｍの基準ブロ ック用の予想運動ベクトルＰＭＶの計算に役立つ。予想運動ベクトルＰＭＶを計 算するために等方性予想値（ｉｓｏｔｒｏｐｉｃｐｒｅｄｉｃｔｏｒ）を使用す ることが好ましく、運動ベクトルを予想するブロックのために、位置Ｘｍの基準 ブロックの周りの全ての方向からの運動ベクトル情報を考滓する。予想運動ベク トルＰＭＶは、ＰＭＶ＝　０．２５ＸＡｍ ＋０．２５ＸＣｍ ＋０．２５ＸＥｍ−１ ＋０．２５ＸＧｍ−１ のように算出してもよい。これは、現在の調査ステップＳｍの運動ベクトルＡｌ １１およびＣｍと、大きなブロックを有する先行の調査ステップＳｍ−１からの 運動ベクトルＥｍ−１およびＧｍ−１との組合せである。

予想】１動ベクトルＰＭＶは、基準ブロックを整合させるブロックの調査を実行 する中で、調査範囲のための位置の決定に使用される。調査範囲は前の画像位置 に集中され、その位置は予想運動ベクトルＰＭＶとスカラーＱとの積と現在の基 準ブロックの中心位置とのベクトル和に対応する。スカラーＱは、調査範囲が現 在の画像の基準ブロックの中心位置に関連して予想運動ベクトルにより変位され た位置の周りに集中される場合、値１．０としてもよい。

空間的等方性予想値だけを使用する以外に、空間的等方性予想値と時間的予想値 とを組合せること、すなわち前の画像ＰＮ−１のためにすでに決定された運動ベ クトル情報に属する運動ベクトルからの運動ベクトル情報を考膚することが好ま しい。現在の画像の注目するブロックＸｍの位置は前の画像ＰＮ−１の範囲Ｘ’ ８に対応し、また前言２範囲のための組合せ運動ベクトルＭＶＸ’は予想のため に使用される。予想運動ベクトルＰＭＶは、この場合ＰＭＶ＝　０．　１２５Ｘ Ａｍ ＋Ｑ、１２５Ｘｃｍ ＋０．　１２５ｘＥｍ−１ ＋Ｑ、＋２５ＸＧｓ−１ ＋０，５ＸＭＶＸ’ のように算出される。特に、各画像の第１の調査ステップにおいては、運動ベク トル情報を現在の画像の先行の調査ステップから得ることができないことから、 上記手刀が必要である。また、画像の角部または縁部のブロックのための予想運 動ベクトルの計算は、上記説明と多少異なってもよい。

第３ａ図および第３ｂ図に示すように、運動ベクトルの非直線的処理を各調査ス テップの後に実行することが好ましい。選択運動ベクトルＳＭＶは、位置のため に、５端子のメジアンフィルタｆｍｅｄｉａｎ　ｆｉｌｔｅｒ）　により処理さ れ、次いで数理的中央値Ｓ　Ｍ　Ｖ　ｍｅｄｉａｎに置換される。数理的中央値 Ｓ　Ｍ　Ｖ　ｍｅｄｉａｎは、［Ａ。

Ｂ、Ｄ、Ｅ、ＳＭＶＩの中央値に等しい。

第４図は、整合標準ＥＭに加算するペナルティ−値が依存する距離りを示す。整 合棟４ＥＭと、ペナルティ−値との和は、候補運動ベクトルＣＭＶのための新た な整合標準ＥＭＣＭＶを形成する。この距１ｉｌｌＤは、調査範囲内の現在の基 準ブロックのための候補運動ベクトルＣＭＶと予想運動ベクトルＰＭＶとの差の 絶対値である。この候補運動ベクトルＣＭＶは、その整合ｆｉ！！ＥＭｃＭｖが 予想運動ベクトルＰＭＶのそれより優れているかまたはいずれか他の候補運動ベ クトルのそれより優れているときだけ、現在の基準ブロックに割り当てられる。

第５図は、無運動を表すゼロ運動ベクトルＺＭＶにより移されたブロックのため のゼロ運動整合標準ＥＭｚｍｖを示す。ゼロ運動整合標準Ｅ　Ｍ　ｚｍｖは、調 査範囲内で候補運動ベクトルＣＭＶにより移された基準ブロック毎にｈａ較され る。ゼロ運動ベクトルＺＭＶは、ゼロ運動整合標＃　Ｅ　Ｍ　ｚｍｖか全ての候 補運動ベクトルＣＭＶのための整合Ｐ４ｍＥＭより優れているとき、選択するこ とができる。

第６図は、それぞれが空間的位置１０１と１０２．２０３と２０４および３０４ と３０５により表される、３つの運動ベクトルＭＶＰＮ−１，ＭＶＰＮ　（およ びその逆の−ＭＶＰＮ）およびｌｖ１■ＰＮ＋１を示す。これらの運動ベクトル は、それぞれ、３つの連続する画像ＰＮＩ、ＰＮおよびＰＮ＋　１の（移動する 目的物の）ブロックに属する。その中で、位置１０１と２０１、位置１０３と２ ０３と３０３、および位置２０４と３０４は、異なる画像における同じ空間的位 置を表す。

時折の疑似ベクトルを除去すると共に運動ベクトル場の平滑性および品質をさら に改良するために、運動ベクトル場の時間的後処理がいくつかの連続する画像に わたって適用される。時間的後処理のために、運動ベクトル場ＭＶＰｉｎは第６ ｂ図に示す適応運動補正時間フィルタ（ａｄａｐｔｉｖｅ　ｍｏｔｉｏｎ　ｃｏ ｍｐｅｎｓａｔｅｄ　ｔｅｍｐｏｒａｌ　ｆｉｌｔｅｒ）　ＡＭＣＴＦに供給さ れる。フィルタＡＭＣＴＦ中の運動補正器ＭＣは目的物の運動のために補正し、 フィルタ選択器ＦＳはメジアンフィルタｔｍｅｄｉａｎ　ｆｉｌｔｅｒｌ　ＭＦ またはリニアフィルタＬＦのいずれかを選択し、その結果１波された運動ベクト ル場Ｍ　Ｖ　Ｆ　ｏｕｔはフィルタＡＭＣＴＦから得られる。

第６ａ図の３つの連続する画像における３つの運動ベクトルは同じ移動目的物に 属するように想定され、そのため位置の差は３つの連続画像の目的物の同じ点の 運動ベクトルを精密にする手段として考濾しなければならない。運動ベクトル場 ＭＶＦＮｉｎは、運動補正器〜１Ｃに入力される。この運動補正器は、運動ベク トルＭＶＰＮの処理のために、画像ＰＮの運動ベクトルＭＶＰＮ、ＭＶＰＮによ り減じられたＭＶＰＮの断定位置に対応する位置に断定された画像ＰＮ−１の運 動ベクトル、およびＭＶＰＮにより加えられたＭＰＶＮの断定位置に対応する位 置に断定された画像ＰＮ＋　１の運動ベクトルを出力する。３つの出力運動ベク トルは、第６ａ図に示す運動ベクトルＭＶＰＮ−１，ＭＶＰＮおよびＭＶＰＮ＋ ｌである。

運動ベクトルＭＶＰＮとＭＶＰＮ−１との差およびＭＶＰＮとＭＶＰＮ＋１との 差とが大きいと、ＭＶＰＮが正しいとすることができ、フィルタＦＳはＭＶＰＮ を前記３つの運動ベクトルの中央値に置換するメジアアンフィルタＭＦを選択す る。これに対し、それぞれの運動ベクトルの差が小さいと、フィルタＦＳはＭＶ ＰＮを３つの運動ベクトルの直線的結合に置換するリニアフィルタＬＦを選択す る。

第６ａ図は、上記の３つの運動ベクトル以外に、空間的位置１０３と１０６．３ ０３と３０７との間に断定された矢印により表す２つの運動ベクトルＭＶＰＮ− １°、ＭＶＰＮ＋１°を示す。運動ベクトルＭＶＰＮ−１°およびＭＶＰＮ＋１ °は、それぞれ、前記画像の位置１０３，３０３のブロックに属する。運動補正 器ＭＣは、メジアンフィルタＭＦのＭＶＰＮ−１，ＭＶＰＮ＋１を置換する運動 ベクトルＭＶＰＮ−１°、ＭＶＰＮ＋１”を出力する。

本発明は、好ましい実施例に関して説明したが、種々の変更をすることができる 例えば、予想運動ベクトルは、画像に関する他のパラメータと共に、運動ベクト ルの適合する関数の結果としてもよい。さらに、調査パターンにおける比較は、 前または後の画像シーケンスのいずれかにおいて実行してもよい。さらには、本 発明は、他次元運動ベクトル場に適用することができる。

図面の簡単な説明 第１図は、予想運動ベクトルと階層調査ステップとを使用して２つの連続画像の ブロックを整合させる原理を示す図である。

第２図は、次の調査ステップのために運動ベクトルの予想に用いる隣接ブロック から得ることができる運動ベクトル（符号により示す）を示す図である。

第３ａ図は、メジアンフィルタを示す図である。

第３ｂ図は、各調査ステップ後に得られた運動ベクトルの処理に使用する運動ベ クトルを示す図である。

第４図は、２つのベクトル間の差により表される距離であって整合標準に加算す るペナルティ−値の計算に使用する距離を示す図である。

第５図は、ゼロ運動ベクトル試験を形成すべく予想および候補運動ベクトルと結 合させたゼロ運動ベクトルを示す図である。

第６ａ図は、３つの連続画像の移動目的物用の運動ベクトルを示す図である。

第６ｂ図は、時間的後処理に使用する適合運動補正時間的フィルタを示す図であ る。

ＰＮ−Ｉ ＦＩＧ、１ ＦＩＧ、３ａ ＦＩＧ、３ｂ ＦＩＧ、４ ＰＮ−１ＰＮ　ＰＮ＋１ 国際調査報告 国際調査報告

Claims (9)

【特許請求の範囲】
1. １．２つの連続する画像を所定の調査範囲（ＳＡ）内の調査パターンにおいてブ ロック単位で比較して整合標準（ＥＭ）により前記２つの連続する画像（ＰＮ− １，ＰＮ）のそれぞれ１つと共同する２つの対応するブロック（ＲＢ，ＲＢ′） の運動ベクトルを決定するプロセスを漸次減少するブロックサイズを有する異な るステップ（Ｓ１，Ｓ２等）で繰り返す、ビデオ信号における運動ベクトル場を 発生する方法において、現在の画像の各ブロック用の各調査ステップ（Ｓ１，Ｓ ２等）は、現在のステップですでに得られていればその運動ベクトル（Ａｍ，Ｃ ｍ）と、現在の画像の少なくとも１つ前の調査ステップからおそらく少なくとも １つの先行する画像からの運動ベクトル（Ｅｍ−１，Ｇｍ−１）とを基に、現在 の画像（ＰＮ）の共同するブロック（ＰＢ）のための予想される新たな変位位置 に対応する予想運動ベクトル（ＰＭＶ）の計算をすることを含み、前記所定の調 査範囲（ＳＡ）は前記新たな予想変位位置を囲むように配置され、前記予め定め られた調査範囲（ＳＡ）と前記パターンとはサイズにおいて前記２つの連続する 調査ステップ間の現在のブロックサイズに適合される、ことを特徴とする、ビデ オ信号における運動ベクトル場の発生方法。
2. ２．前記予想運動ベクトル（ＰＭＶ）は、空間的なすなわち画像の異なる位置に 属するおよびまたは時間的すなわち異なる画像に属する隣接運動ベクトルの関数 である、請求の範囲第１項に記載の方法。
3. ３．前記関数は前記隣接運動ベクトルの直線的結合である、請求の範囲第２項に 記載の方法。
4. ４．前記運動ベクトル（Ａ，Ｂ，Ｄ，Ｅ，ＳＭＶ）の非直線的処理を各調査ステ ップの後に実行する、請求の範囲第１項に記載の方法。
5. ５．前記非直線的処理をメジアンフィルタにより実行し、各ステップの選択され た運動ベクトル（ＳＭＶ）を密接な関係に配置されたベクトル（Ａ，Ｂ，Ｄ，Ｅ ，ＳＭＶ）の数理的中央値に置換する、請求の範囲第４項に記載の方法。
6. ６．前記密接な関係に配置された運動ベクトル（Ａ，Ｂ，Ｄ，Ｅ，ＳＭＶ）は、 同じブロック列および引き続くブロック列の前記選択された運動ベクトル（ＳＭ Ｖ）を含みかつそれに続く５つの位置に配置されている、請求の範囲第５項に記 載の方法。
7. ７．予想運動ベクトル（ＰＭＶ）と候補運動ベクトル（ＣＭＶ）との間の距離（ Ｄ）に依存するペナルティー値を前記整合標準（ＥＭ）に加える、請求の範囲第 １項〜第６項のいずれか１項に記載の方法。
8. ８．前記候補運動ベクトル（ＣＭＶ）用の前記整合標準（ＥＭ）を、ゼロ運動ベ クトル（ＺＭＶ）用の整合標準と比較する、請求の範囲第１項〜第７項のいずれ か１項に記載の方法。
9. ９．適応運動補正時間フィルタを使用して前記運動ベクトル場の時間的後処理を 実行する、請求の範囲第１項〜第８項のいずれか１項に記載の方法。