JP2008118340A - 動きベクトル検出装置及びビデオ信号処理装置 - Google Patents

Abstract

【課題】本発明は、動きベクトル検出装置及びビデオ信号処理装置に関し、特に初期偏位ベクトルを基準にした勾配法により動きベクトルを検出する場合に適用して、従来に比して動きベクトルの検出精度を向上する。
【解決手段】本発明は、平均値ベクトルＶ１Ａ及び大きさ０のベクトル「０」により動き補正した場合のフィールド間差分ＤＦＤ、ＦＤ又はフレーム間差分が小さく、さらに処理対象マクロブロックにエッジが含まれていない場合に、大きさ０のベクトル「０」に代えて、平均値ベクトルＶ１Ａを初期偏位ベクトルの候補に設定する。
【選択図】 図１

Description

本発明は、動きベクトル検出装置及びビデオ信号処理装置に関し、特に初期偏位ベクトルを基準にした勾配法により動きベクトルを検出する場合に適用することができる。本発明は、平均値ベクトル及び大きさ０のベクトルにより動き補正した場合のフィールド間差分又はフレーム間差分が小さく、さらに処理対象マクロブロックにエッジが含まれていない場合に、大きさ０のベクトルに代えて、平均値ベクトルを初期偏位ベクトルの候補に設定することにより、従来に比して動きベクトルの検出精度を向上する。

従来、ビデオ信号の高能率符号化処理では、動きベクトルを用いてフレーム間符号化処理の効率を向上させている。またビデオ信号のフォーマット変換では、動きベクトルを用いた動き補正によりフィールド周波数を変換した際のギクシャクとした動きを防止している。

このようなビデオ信号の処理では、ｍ画素×ｎライン（ｍ、ｎは整数）による動きベクトルの検出単位であるマクロブロック毎に順次、動きベクトルを検出している。また動きベクトルの検出には、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられている。

ここで勾配法では、精度良く動きベクトルを検出可能な範囲が狭いことにより、勾配法による動きベクトルの検出では、例えば特開昭６２−２０６９８０号公報に開示されているように、初期偏位ベクトルを基準にして動きベクトルを検出する方法が用いられている。

ここで初期偏位ベクトルは、動きベクトルの予測値である。初期偏位ベクトルを基準にした勾配法による動きベクトルの検出では、複数の初期偏位ベクトルの候補でそれぞれ前フィールドのビデオ信号を動き補正して現フィールドのビデオ信号と比較することにより、現フィールドに対して最も動き補正精度の高い初期偏位ベクトルの候補を選択して初期偏位ベクトルに設定する。なおこの現フィールドのビデオ信号との比較には、例えばフィールド間差分値の絶対値和が適用される。また初期偏位ベクトルの候補は、それまでに検出した隣接するマクロブロックの動きベクトル、隣接するマクロブロックの動きベクトルの平均値、大きさが０の動きベクトル等が適用される。

この初期偏位ベクトルを基準にした勾配法による動きベクトルの検出では、この初期偏位ベクトルにより前フィールドのビデオ信号を動き補正した後、勾配法により偏位ベクトルを検出し、初期偏位ベクトルと偏位ベクトルとを加算して動きベクトルを検出する。

ところで動きベクトルを用いて動き補正してビデオ信号をフォーマット変換する場合、スクロールする画面の一部で動きベクトルを誤検出し、その結果、画像歪みが発生する場合がある。この画像歪みは、いわゆる歯抜けと呼ばれており、例えばサッカー中継等において、テレビジョンカメラで競技者を追跡してゆっくりとパンニングした場合に、フェンスに表示された広告文字等に発生する。
特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報 特開昭６２−２０６９８０号公報

本発明は以上の点を考慮してなされたもので、従来に比して動きベクトルの検出精度を向上することができる動きベクトル検出装置、この動きベクトル検出装置で検出した動きベクトルを使用するビデオ信号処理装置を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、マクロブロック単位で順次ビデオ信号の動きベクトルを検出する動きベクトル検出装置において、前記ビデオ信号を遅延させて前フィールド又は前フレームのビデオ信号を生成する遅延手段と、複数の初期偏位ベクトルの候補を生成する初期偏位ベクトルの候補生成手段と、前記複数の初期偏位ベクトルの候補から、前記ビデオ信号の現フィールド又は現フレームに対して、前記前フィールド又は前フレームのビデオ信号を最も精度良く動き補正する初期偏位ベクトルの候補を選択して初期偏位ベクトルに設定する初期偏位ベクトル選択手段と、前記前フィールド又は前フレームのビデオ信号を前記初期偏位ベクトルにより動き補正し、動き補正した前フィールド又は前フレームのビデオ信号を用いて勾配法により前記ビデオ信号の偏位ベクトルを検出する偏位ベクトル検出手段と、前記偏位ベクトルと前記初期偏位ベクトルとを加算して前記動きベクトルを生成する加算手段とを備え、前記初期偏位ベクトルの候補生成手段は、前記ビデオ信号におけるエッジの有無を前記マクロブロック毎に検出するエッジ検出手段と、前記動きベクトルの検出対象のマクロブロックの周辺マクロブロックで検出された前記動きベクトルの平均値ベクトルを検出する平均化手段と、前記前フィールド又は前フレームのビデオ信号を前記平均値ベクトルで動き補正し、前記現フィールド又は現フレームのビデオ信号との間でフィールド間差分又はフレーム間差分の大きさを検出する平均値ベクトルの差分演算手段と、前記前フィールド又は前フレームのビデオ信号と、前記現フィールド又は現フレームのビデオ信号との間でフィールド間差分又はフレーム間差分の大きさを検出することにより、大きさが０のベクトルで前記前フィールド又は前フレームのビデオ信号を動き補正した場合の、フィールド間差分又はフレーム間差分の大きさを検出する大きさ０のベクトルの差分演算手段と、前記平均値ベクトルの差分演算手段及び前記大きさ０のベクトルの差分演算手段の検出結果、前記エッジ検出結果を判定する判定手段と、前記判定手段の判定結果に基づいて、前記平均値ベクトル又は前記大きさ０のベクトルを選択的に前記初期偏位ベクトルの候補に設定する選択手段とを備え、前記選択手段は、前記平均値ベクトルの差分演算手段及び前記大きさ０のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分の大きさが所定値以下の場合であって、かつ前記エッジ検出手段でエッジが検出されない場合、前記平均値ベクトルを前記初期偏位ベクトルの候補に設定し、前記平均値ベクトルの差分演算手段又は前記大きさ０のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分の大きさが所定値より大きい場合、又は前記エッジ検出手段でエッジが検出される場合以外、前記大きさ０のベクトルを前記初期偏位ベクトルの候補に設定する。

また請求項２の発明は、請求項１の構成において、前記偏位ベクトル検出手段は、水平方向及び垂直方向の画像勾配を計算して前記偏位ベクトルを検出し、前記エッジ検出手段は、前記水平方向及び垂直方向の画像勾配を所定の判定基準値で判定して、前記エッジの有無を検出する。

また請求項３の発明は、ビデオ信号処理装置に適用して、請求項１又は請求項２の動きベクトル検出装置で検出した前記動きベクトルを用いて、前記ビデオ信号を動き補正して前記ビデオ信号を処理する。

請求項１の構成によれば、例えばサッカー中継等において、テレビジョンカメラで競技者を追跡してゆっくりとパンニングした場合に、大きさ０によるベクトル、平均値ベクトルで動き補正した場合のフィールド間差分又はフレーム間差分が小さくなる。これにより大きさ０によるベクトル、平均値ベクトルを初期偏位ベクトルの候補に選択した場合には、大きさ０によるベクトル又は平均値ベクトルが初期偏位ベクトルに選択される可能性が高くなる。ここで例えば背景がゆっくりと移動しており、この背景の前に、小領域の静止物体が存在する場合において、この小領域で、平均値ベクトルが初期偏位ベクトルに選択されたのでは、偏位ベクトルを誤検出する恐れがあり、この場合、動きベクトルを誤検出することになる。この場合、平均値ベクトルに代えて大きさ０のベクトルを初期偏位ベクトルに選択すれば、偏位ベクトルの誤検出を低減し、動きベクトルの検出精度を向上することができる。これに対して背景部分では、大きさ０のベクトルが初期偏位ベクトルに選択されたのでは、偏位ベクトルを誤検出する恐れがあり、この場合、大きさ０のベクトルに代えて平均値ベクトルを初期偏位ベクトルに選択すれば、偏位ベクトルの誤検出を低減し、動きベクトルの検出精度を向上することができる。これにより請求項１の構成によれば、このように初期偏位ベクトルに大きさ０によるベクトル、平均値ベクトルが選択される可能性のある場合において、前記平均値ベクトルの差分演算手段及び前記大きさ０のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分を判定して検出され、またエッジ検出手段によるエッジ検出により、ゆっくりと移動する背景部分か、この背景部分の前に静止する小領域の部分かが判定される。またゆっくりと移動する背景部分の場合には、平均値ベクトルが初期偏位ベクトルの候補に設定され、背景部分の前に静止する小領域の部分の場合には、大きさ０のベクトルが初期偏位ベクトルの候補に設定され、これによりテレビジョンカメラがパンニングした場合等における動きベクトルの誤検出が防止され、動きベクトルの検出精度を従来に比して向上することができる。

また請求項２の構成によれば、請求項１の構成において、勾配法による偏位ベクトルの検出に使用する水平方向及び垂直方向の画像勾配を使用して、エッジの有無を検出することができ、全体構成を簡略化することができる。

また請求項３の構成によれば、ビデオ信号処理装置に適用して、請求項１又は請求項２の動きベクトル検出装置で検出した前記動きベクトルを用いて、前記ビデオ信号を動き補正して前記ビデオ信号を処理することから、従来に比して動きベクトルの誤検出に起因する画像歪みを低減することができる。

本発明によれば、従来に比して動きベクトルの検出精度を向上し、動きベクトルを用いて動き補正するフォーマット変換装置のようなビデオ信号処理装置で、画像歪みを軽減することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例１の動きベクトル検出装置の概略構成を示すブロック図である。この動きベクトル検出装置１は、初期偏位ベクトルを基準にして勾配法によりビデオ信号ＳＶのフィールド間で動きベクトルＭＶを検出する。この実施例では、この動きベクトル検出装置１で検出した動きベクトルＭＶでビデオ信号ＳＶを動き補正してビデオ信号ＳＶのフィールド周波数を変換する。なおこの動きベクトル検出装置１は、輝度信号Ｙにより動きベクトルＭＶを検出するが、輝度信号Ｙ及び色差信号でそれぞれ動きベクトルＭＶを検出してもよい。またフィールド間に代えて、フレーム間で動きベクトルを検出するようにしてもよい。なおフィールド間に代えて、フレーム間で動きベクトルを検出する場合には、以下に詳述する、前フィールド、現フィールド、フィールド間差分値等には、前フレーム、現フレーム、フレーム間差分値等を適用することになる。

この動きベクトル検出装置１において、前置フィルタ２は、例えばローパスフィルタ、バンドパスフィルタ等により構成され、輝度信号Ｙの高域を抑圧して出力する。また帯域制限に供する特性を偶数フィールドと奇数フィールドとで切り換えることにより、偶数フィールドと奇数フィールドとで変化する重心の位置を補正して出力する。なお前置フィルタ２は、実用上十分な精度で動きベクトルＭＶを検出することができる場合には、省略してもよい。

１フィールド遅延回路３は、前置フィルタ２から出力される輝度信号Ｙを１フィールドの期間だけ遅延させて出力する。

初期偏位ベクトル選択回路４は、ベクトルメモリ５に保持されたそれまでに検出された動きベクトルＭＶを参照にして初期偏位ベクトルの候補を複数生成する。またこの生成した複数の初期偏位ベクトルの候補から初期偏位ベクトルＶ１を選択して出力する。

偏位ベクトル検出回路５は、初期偏位ベクトル選択回路４から出力される前フィールドの輝度信号ＹＤを動き補正し、この動き補正した輝度信号ＹＤを用いて前置フィルタ２から出力される現フィールドの輝度信号Ｙ１の偏位ベクトルＶ２を勾配法により検出する。

加算回路６は、この偏位ベクトル検出回路５で検出した偏位ベクトルＶ２を初期偏位ベクトルＶ１に加算して動きベクトルＭＶを出力する。

ベクトルメモリ７は、加算回路６から出力される動きベクトルＭＶを記録して保持し、初期偏位ベクトル選択回路４に出力する。

図２は、この動きベクトル検出装置１の初期偏位ベクトル選択回路４の構成を詳細に示すブロック図である。ベクトルメモリ７は、例えば動きベクトル検出対象のマクロブロックに隣接するマクロブロックで検出された動きベクトルＭＶ、動きベクトル検出対象のマクロブロックに対応する前フィールドのマクロブロックで検出された動きベクトルＭＶ等を初期偏位ベクトルの候補Ｖ１Ｋとして初期偏位ベクトル選択部２１に出力する。またベクトルメモリ７は、動きベクトル検出対象のマクロブロックを中心とした水平方向及び垂直方向５×５ブロックのマクロブロックで検出された動きベクトルＭＶ１〜ＭＶ２５を出力する。なおここでこの５×５ブロックのマクロブロックによる動きベクトルＭＶ１〜ＭＶ２５は、現フィールドで動きベクトルが検出されていないマクロブロックについては、前フィールドの対応するマクロブロックで検出された動きベクトルが適用される。

初期偏位ベクトル選択回路４において、平均化回路１１は、この５×５ブロックのマクロブロックによる動きベクトルＭＶ１〜ＭＶ２５を平均値化して平均値ベクトルＶ１Ａを出力する。なお平均値ベクトルＶ１Ａは、これら動きベクトルＭＶ１〜ＭＶ２５を２次元のローパスフィルタで単に処理して生成するようにしてもよい。

切替回路１２は、切替制御回路１３の制御により、大きさが０の動きベクトル「０」、平均値ベクトルＶ１Ａを選択し、初期偏位ベクトルの候補として選択したベクトルを初期偏位ベクトル選択部２１に出力する。

偏位ベクトル選択部２１は、ベクトルメモリ７から出力される既検出の動きベクトルＭＶによる初期偏位ベクトルの候補Ｖ１Ｋ、切替回路１２から出力される初期偏位ベクトルの候補でそれぞれ前フィールドの輝度信号ＹＤを動き補正した後、現フィールドの輝度信号Ｙ１との間でそれぞれマクロブロック毎にフィールド間差分値の絶対値和を検出する。また値の最も小さなフィールド間差分値の絶対値和を検出し、この最も値の小さな絶対値和の計算に使用した初期偏位ベクトルの候補を初期偏位ベクトルＶ１に設定する。これにより動きベクトル検出装置１では、ベクトルメモリ７から出力される既検出の動きベクトルＭＶによる初期偏位ベクトルの候補Ｖ１Ｋ、切替回路１２から出力される初期偏位ベクトルの候補のうちで、最も精度良く動き補正することができるベクトルを選択して初期偏位ベクトルＶ１に設定する。

この動きベクトル検出装置１は、偏位ベクトル検出回路５において、この初期偏位ベクトルＶ１で前フィールドの輝度信号ＹＤを動き補正した後、現フィールドの輝度信号Ｙ１との間で勾配法の演算処理を実行して偏位ベクトルＶ２を検出する。

比較回路１５は、この偏位ベクトルＶ２の演算過程において画像勾配演算回路１４で求められる画像勾配ΔＸ、ΔＹの積算値ΣＸ、ΣΔＹを入力し、それぞれ所定の判定基準値β１、β２と比較する。なおここでβ１、β２は、それぞれ値０に近い数値である。また画像勾配ΔＸ、ΔＹは、それぞれ水平方向及び垂直方向の画像勾配である。図３に示すように、水平方向の画像勾配ΔＸは、例えば計算対象の画素Ａに対して水平方向に隣接する画素Ｂ及びＣの画素値を画素Ｂ及びＣの符号により表して、（Ｃ−Ｂ）／２で表される。また垂直方向の画像勾配ΔＹは、同様に垂直方向に隣接する画素Ｄ及びＥの画素値を画素Ｄ及びＥの符号により表して、（Ｅ−Ｄ）／２で表される。

比較回路１５は、判定基準値β１、β２との比較結果により、水平方向及び垂直方向の画像勾配が小さい場合、すなわち積算値ΣＸ、ΣΔＹがそれぞれ判定基準値β１、β２より小さい場合を検出して比較結果を出力する。ここで水平方向及び垂直方向の画像勾配の積算値ΣＸ、ΣΔＹが小さい場合、この画像勾配の検出に係るブロック内には、エッジが含まれていないと判定することができる。これにより比較回路１５は、動きベクトル検出対象のマクロブロックにおいて、エッジの有無を判定して判定結果を出力する。これにより比較回路１５は、輝度信号Ｙ１におけるエッジの有無をマクロブロック毎に検出するエッジ検出手段を構成する。

フィールド間差分演算回路１７は、前フィールドの輝度信号ＹＤと現フィールドの輝度信号Ｙ１との間でフィールド間差分値の絶対値和ＦＤを検出し、これにより大きさが０のベクトルで前フィールドの輝度信号ＹＤを動き補正した場合の、フィールド間差分の大きさを検出する。

またフィールド間差分演算回路１８は、平均値ベクトルＶ１Ａで前フィールドの輝度信号ＹＤを動き補正した後、現フィールドの輝度信号Ｙ１との間でフィールド間差分値の絶対値和ＤＦＤを検出する。

累計値比較回路１９は、比較回路１７、１８から出力される絶対値和ＦＤ、ＤＦＤをそれぞれ判定基準値α１、α２と比較する。ここでα２は、値０に近い数値であり、α１≦α２である。累計値比較回路１９は、フィールド間差分値の絶対値のブロック内累計値が小さい場合、すなわち絶対値和ＦＤ、ＤＦＤがそれぞれ判定基準値α１、α２より小さい場合を検出して比較結果を出力する。

切替制御回路１３は、比較回路１９において、フィールド間差分値の絶対値のブロック内累計値が小さい場合の比較結果が得られ、かつ比較回路１５で、水平方向及び垂直方向の画像勾配が小さい場合の比較結果が得られた場合、平均値ベクトルＶ１Ａを選択出力するように、またこれ以外の場合には、おおきさ０のベクトル「０」を選択出力するように、切替回路１２を制御する。これによりこの実施例において、平均化回路１１、切替回路１２、切替制御回路１３、比較回路１５、累計値比較回路１９、フィールド間差分演算回路１７、１８は、複数の初期偏位ベクトルの候補を生成する初期偏位ベクトルの候補生成手段を構成する。

（２）実施例の動作
以上の構成において、この動きベクトル検出装置１において（図１）、順次入力される輝度信号Ｙは、前置フィルタ２で周波数特性が補正されて現フィールドの輝度信号Ｙ１が生成され、またさらに１フィールド遅延回路３で１フィールド遅延されて前フィールドの輝度信号ＹＤが生成される。輝度信号Ｙ１は、初期偏位ベクトル選択回路４において、それまでに検出した動きベクトルＭＶを参考にして複数の初期偏位ベクトルの候補が生成され、これら複数の初期偏位ベクトルの候補から最も動き補正精度の高いベクトルが初期偏位ベクトルＶ１に選択される。また偏位ベクトル検出回路５において、この初期偏位ベクトルＶ１で前フィールドの輝度信号ＹＤが動き補正され、この動き補正した前フィールドの輝度信号ＹＤを基準にして現フィールドの輝度信号Ｙ１の偏位ベクトルＶ２が勾配法により検出される。また初期偏位ベクトルＶ１に偏位ベクトルＶ２を加算して動きベクトルＭＶが検出される。

ここで勾配法では、精度良く動きベクトルを検出可能な範囲が狭いことにより、初期偏位ベクトルの精度が劣化すると、偏位ベクトルＭＶを正確に検出できなくなり、その結果、動きベクトルＭＶを誤検出することになる。

これにより動きベクトル検出装置１では、複数の初期偏位ベクトルの候補から、最も動き補正精度の高い初期偏位ベクトルの候補を選択して初期偏位ベクトルＶ１に設定しているものの、テレビジョンカメラで競技者を追跡してゆっくりとパンニングした場合のように、スクロールする画面では、動きベクトルＭＶを誤検出し、動きベクトルＭＶによりビデオ信号を動き補正して処理する場合に、画像歪みが発生する。

このような画像歪みは、例えばテレビジョンカメラをパンニングして撮影されるフェンスの文字のように、ゆっくりと移動している背景自体で発生するものと、この背景の前景に存在するボール等の画面上で静止した小領域で発生するものとがあり、前者の場合には、平均値ベクトルＶ１Ａを初期偏位ベクトルＶ１に設定して動きベクトルＭＶの誤検出を低減することができる。また後者の場合には、大きさ０のベクトル「０」を初期偏位ベクトルＶ１に設定して動きベクトルＭＶの誤検出を低減することができる。

またこれにより前者の場合において、大きさ０のベクトル「０」を初期偏位ベクトルＶ１に設定すると、また後者の場合で、平均値ベクトルＶ１Ａを初期偏位ベクトルＶ１に設定すると、動きベクトルＭＶを誤検出することになる。また後者の場合における画像歪みを軽減するために、大きさ０のベクトル「０」を初期偏位ベクトルＶ１に設定し易くすると、前者の場合における動きベクトルＭＶの誤検出が増大することになる。すなわちこのようなゆっくりと移動している背景自体で発生する動きベクトルＭＶの誤検出と、この背景の前景に存在する静止した小領域で発生する動きベクトルＭＶの誤検出とは、トレードオフの関係にある。

そこでこの動きベクトル検出装置１では（図２）、平均値ベクトルＶ１Ａと、大きさ０の動きベクトル「０」とでそれぞれフィールド間差分値の絶対値和ＤＦＤ、ＦＤが検出され、またこの絶対値和ＤＦＤ、ＦＤがそれぞれ所定の判定基準値α１、α２以下の場合が検出され、これにより平均値ベクトルＶ１Ａ、大きさ０のベクトル「０」が初期偏位ベクトルＶ１に選択される可能性のある場合が検出される。

また比較回路１５において、水平方向及び垂直方向の画像勾配ΔＸ及びΔＹが所定の判定基準値β１、β２で判定されてエッジの有無が検出される。

輝度信号Ｙ１は、これらの検出結果に基づいて、平均値ベクトルＶ１Ａ、大きさ０のベクトル「０」が初期偏位ベクトルＶ１に選択される可能性のある場合において、エッジが存在しない場合には、平均値ベクトルＶ１Ａが初期偏位ベクトルの候補に設定される。これによりゆっくりと移動している背景自体では、平均値ベクトルＶ１Ａが初期偏位ベクトルＶ１に選択されるようにし、動きベクトルＭＶの誤検出が防止される。

これに対してエッジが存在する場合、さらには平均値ベクトルＶ１Ａ、大きさ０の動きベクトルが初期偏位ベクトルＶ１に選択される可能性が低い場合には、大きさ０のベクトル「０」が初期偏位ベクトルの候補に設定される。これにより移動する背景の前の静止する小領域では大きさ０の動きベクトル「０」が初期偏位ベクトルＶ１に設定されるようにし、動きベクトルＭＶの誤検出が防止される。

（３）実施例の効果
以上の構成によれば、平均値ベクトル及び大きさ０のベクトルにより動き補正した場合のフィールド間差分又はフレーム間差分が小さく、さらに処理対象マクロブロックにエッジが含まれていない場合に、大きさ０のベクトルに代えて、平均値ベクトルを初期偏位ベクトルの候補に設定することにより、従来に比して動きベクトルの検出精度を向上することができる。

また勾配法による偏位ベクトルの検出に使用する水平方向及び垂直方向の画像勾配を使用して、エッジの有無を検出することにより、全体構成を簡略化することができる。

またこのようにして検出した動きベクトルを用いて、ビデオ信号を動き補正してビデオ信号を処理することにより、従来に比して動きベクトルの誤検出に起因する画像歪みを低減することができる。

なお上述の実施例においては、エッジの有無を画像勾配で検出する場合について述べたが、本発明はこれに限らず、エッジを検出する種々の検出手法を広く適用することができる。

また上述の実施例においては、動きベクトルで動き補正してビデオ信号のフィールド周波数を変換する場合について述べたが、本発明はこれに限らず、ビデオ信号のフレーム周波数を変換する場合等、ビデオ信号を動きベクトルで動き補正してビデオ信号を処理する種々の処理に広く適用することができる。

本発明は、ビデオ信号のフォーマット変換、ビデオ信号の高能率符号化処理等に適用することができる。

本発明の実施例の動きベクトル検出装置を示すブロック図である。 図１の動きベクトル検出装置における初期偏位ベクトル選択回路を詳細に示すブロック図である。 画像勾配の説明に供する平面図である。

符号の説明

１……動きベクトル検出装置、３……１フィールド遅延回路、４……初期偏位ベクトル選択回路、５……偏位ベクトル検出回路、６……加算回路、７……ベクトルメモリ、１１……平均化回路、１２……切替回路、１３……切替制御回路、１４……画像勾配演算回路、１５……比較回路、１７、１８……フィールド間差分演算回路、１９……累計値比較回路、２１……初期偏位ベクトル選択部

Claims (3)

1. マクロブロック単位で順次ビデオ信号の動きベクトルを検出する動きベクトル検出装置において、
   前記ビデオ信号を遅延させて前フィールド又は前フレームのビデオ信号を生成する遅延手段と、
   複数の初期偏位ベクトルの候補を生成する初期偏位ベクトルの候補生成手段と、
   前記複数の初期偏位ベクトルの候補から、前記ビデオ信号の現フィールド又は現フレームに対して、前記前フィールド又は前フレームのビデオ信号を最も精度良く動き補正する初期偏位ベクトルの候補を選択して初期偏位ベクトルに設定する初期偏位ベクトル選択手段と、
   前記前フィールド又は前フレームのビデオ信号を前記初期偏位ベクトルにより動き補正し、動き補正した前フィールド又は前フレームのビデオ信号を用いて勾配法により前記ビデオ信号の偏位ベクトルを検出する偏位ベクトル検出手段と、
   前記偏位ベクトルと前記初期偏位ベクトルとを加算して前記動きベクトルを生成する加算手段とを備え、
   前記初期偏位ベクトルの候補生成手段は、
   前記ビデオ信号におけるエッジの有無を前記マクロブロック毎に検出するエッジ検出手段と、
   前記動きベクトルの検出対象のマクロブロックの周辺マクロブロックで検出された前記動きベクトルの平均値ベクトルを検出する平均化手段と、
   前記前フィールド又は前フレームのビデオ信号を前記平均値ベクトルで動き補正し、前記現フィールド又は現フレームのビデオ信号との間でフィールド間差分又はフレーム間差分の大きさを検出する平均値ベクトルの差分演算手段と、
   前記前フィールド又は前フレームのビデオ信号と、前記現フィールド又は現フレームのビデオ信号との間でフィールド間差分又はフレーム間差分の大きさを検出することにより、大きさが０のベクトルで前記前フィールド又は前フレームのビデオ信号を動き補正した場合の、フィールド間差分又はフレーム間差分の大きさを検出する大きさ０のベクトルの差分演算手段と、
   前記平均値ベクトルの差分演算手段及び前記大きさ０のベクトルの差分演算手段の検出結果、前記エッジ検出結果を判定する判定手段と、
   前記判定手段の判定結果に基づいて、前記平均値ベクトル又は前記大きさ０のベクトルを選択的に前記初期偏位ベクトルの候補に設定する選択手段とを備え、
   前記選択手段は、
   前記平均値ベクトルの差分演算手段及び前記大きさ０のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分の大きさが所定値以下の場合であって、かつ前記エッジ検出手段でエッジが検出されない場合、前記平均値ベクトルを前記初期偏位ベクトルの候補に設定し、
   前記平均値ベクトルの差分演算手段又は前記大きさ０のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分の大きさが所定値より大きい場合、又は前記エッジ検出手段でエッジが検出される場合、前記大きさ０のベクトルを前記初期偏位ベクトルの候補に設定する
   ことを特徴とする動きベクトル検出装置。
2. 前記偏位ベクトル検出手段は、
   水平方向及び垂直方向の画像勾配を計算して前記偏位ベクトルを検出し、
   前記エッジ検出手段は、
   前記水平方向及び垂直方向の画像勾配を所定の判定基準値で判定して、前記エッジの有無を検出する
   ことを特徴とする請求項１に記載の動きベクトル検出装置。
3. 請求項１又は請求項２の動きベクトル検出装置で検出した前記動きベクトルを用いて、前記ビデオ信号を動き補正して前記ビデオ信号を処理する
   ことを特徴とするビデオ信号処理装置。
   

Images