JP2008118340A - 動きベクトル検出装置及びビデオ信号処理装置 - Google Patents
動きベクトル検出装置及びビデオ信号処理装置 Download PDFInfo
- Publication number
- JP2008118340A JP2008118340A JP2006298802A JP2006298802A JP2008118340A JP 2008118340 A JP2008118340 A JP 2008118340A JP 2006298802 A JP2006298802 A JP 2006298802A JP 2006298802 A JP2006298802 A JP 2006298802A JP 2008118340 A JP2008118340 A JP 2008118340A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- motion
- video signal
- difference
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
【課題】本発明は、動きベクトル検出装置及びビデオ信号処理装置に関し、特に初期偏位ベクトルを基準にした勾配法により動きベクトルを検出する場合に適用して、従来に比して動きベクトルの検出精度を向上する。
【解決手段】本発明は、平均値ベクトルV1A及び大きさ0のベクトル「0」により動き補正した場合のフィールド間差分DFD、FD又はフレーム間差分が小さく、さらに処理対象マクロブロックにエッジが含まれていない場合に、大きさ0のベクトル「0」に代えて、平均値ベクトルV1Aを初期偏位ベクトルの候補に設定する。
【選択図】 図1
【解決手段】本発明は、平均値ベクトルV1A及び大きさ0のベクトル「0」により動き補正した場合のフィールド間差分DFD、FD又はフレーム間差分が小さく、さらに処理対象マクロブロックにエッジが含まれていない場合に、大きさ0のベクトル「0」に代えて、平均値ベクトルV1Aを初期偏位ベクトルの候補に設定する。
【選択図】 図1
Description
本発明は、動きベクトル検出装置及びビデオ信号処理装置に関し、特に初期偏位ベクトルを基準にした勾配法により動きベクトルを検出する場合に適用することができる。本発明は、平均値ベクトル及び大きさ0のベクトルにより動き補正した場合のフィールド間差分又はフレーム間差分が小さく、さらに処理対象マクロブロックにエッジが含まれていない場合に、大きさ0のベクトルに代えて、平均値ベクトルを初期偏位ベクトルの候補に設定することにより、従来に比して動きベクトルの検出精度を向上する。
従来、ビデオ信号の高能率符号化処理では、動きベクトルを用いてフレーム間符号化処理の効率を向上させている。またビデオ信号のフォーマット変換では、動きベクトルを用いた動き補正によりフィールド周波数を変換した際のギクシャクとした動きを防止している。
このようなビデオ信号の処理では、m画素×nライン(m、nは整数)による動きベクトルの検出単位であるマクロブロック毎に順次、動きベクトルを検出している。また動きベクトルの検出には、例えば特開昭55−162683号公報、特開昭55−162684号公報に開示のパターンマッチング法、特開昭60−158786号公報に開示の勾配法、位相相関法等が用いられている。
ここで勾配法では、精度良く動きベクトルを検出可能な範囲が狭いことにより、勾配法による動きベクトルの検出では、例えば特開昭62−206980号公報に開示されているように、初期偏位ベクトルを基準にして動きベクトルを検出する方法が用いられている。
ここで初期偏位ベクトルは、動きベクトルの予測値である。初期偏位ベクトルを基準にした勾配法による動きベクトルの検出では、複数の初期偏位ベクトルの候補でそれぞれ前フィールドのビデオ信号を動き補正して現フィールドのビデオ信号と比較することにより、現フィールドに対して最も動き補正精度の高い初期偏位ベクトルの候補を選択して初期偏位ベクトルに設定する。なおこの現フィールドのビデオ信号との比較には、例えばフィールド間差分値の絶対値和が適用される。また初期偏位ベクトルの候補は、それまでに検出した隣接するマクロブロックの動きベクトル、隣接するマクロブロックの動きベクトルの平均値、大きさが0の動きベクトル等が適用される。
この初期偏位ベクトルを基準にした勾配法による動きベクトルの検出では、この初期偏位ベクトルにより前フィールドのビデオ信号を動き補正した後、勾配法により偏位ベクトルを検出し、初期偏位ベクトルと偏位ベクトルとを加算して動きベクトルを検出する。
ところで動きベクトルを用いて動き補正してビデオ信号をフォーマット変換する場合、スクロールする画面の一部で動きベクトルを誤検出し、その結果、画像歪みが発生する場合がある。この画像歪みは、いわゆる歯抜けと呼ばれており、例えばサッカー中継等において、テレビジョンカメラで競技者を追跡してゆっくりとパンニングした場合に、フェンスに表示された広告文字等に発生する。
特開昭55−162683号公報
特開昭55−162684号公報
特開昭60−158786号公報
特開昭62−206980号公報
本発明は以上の点を考慮してなされたもので、従来に比して動きベクトルの検出精度を向上することができる動きベクトル検出装置、この動きベクトル検出装置で検出した動きベクトルを使用するビデオ信号処理装置を提案しようとするものである。
上記の課題を解決するため請求項1の発明は、マクロブロック単位で順次ビデオ信号の動きベクトルを検出する動きベクトル検出装置において、前記ビデオ信号を遅延させて前フィールド又は前フレームのビデオ信号を生成する遅延手段と、複数の初期偏位ベクトルの候補を生成する初期偏位ベクトルの候補生成手段と、前記複数の初期偏位ベクトルの候補から、前記ビデオ信号の現フィールド又は現フレームに対して、前記前フィールド又は前フレームのビデオ信号を最も精度良く動き補正する初期偏位ベクトルの候補を選択して初期偏位ベクトルに設定する初期偏位ベクトル選択手段と、前記前フィールド又は前フレームのビデオ信号を前記初期偏位ベクトルにより動き補正し、動き補正した前フィールド又は前フレームのビデオ信号を用いて勾配法により前記ビデオ信号の偏位ベクトルを検出する偏位ベクトル検出手段と、前記偏位ベクトルと前記初期偏位ベクトルとを加算して前記動きベクトルを生成する加算手段とを備え、前記初期偏位ベクトルの候補生成手段は、前記ビデオ信号におけるエッジの有無を前記マクロブロック毎に検出するエッジ検出手段と、前記動きベクトルの検出対象のマクロブロックの周辺マクロブロックで検出された前記動きベクトルの平均値ベクトルを検出する平均化手段と、前記前フィールド又は前フレームのビデオ信号を前記平均値ベクトルで動き補正し、前記現フィールド又は現フレームのビデオ信号との間でフィールド間差分又はフレーム間差分の大きさを検出する平均値ベクトルの差分演算手段と、前記前フィールド又は前フレームのビデオ信号と、前記現フィールド又は現フレームのビデオ信号との間でフィールド間差分又はフレーム間差分の大きさを検出することにより、大きさが0のベクトルで前記前フィールド又は前フレームのビデオ信号を動き補正した場合の、フィールド間差分又はフレーム間差分の大きさを検出する大きさ0のベクトルの差分演算手段と、前記平均値ベクトルの差分演算手段及び前記大きさ0のベクトルの差分演算手段の検出結果、前記エッジ検出結果を判定する判定手段と、前記判定手段の判定結果に基づいて、前記平均値ベクトル又は前記大きさ0のベクトルを選択的に前記初期偏位ベクトルの候補に設定する選択手段とを備え、前記選択手段は、前記平均値ベクトルの差分演算手段及び前記大きさ0のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分の大きさが所定値以下の場合であって、かつ前記エッジ検出手段でエッジが検出されない場合、前記平均値ベクトルを前記初期偏位ベクトルの候補に設定し、前記平均値ベクトルの差分演算手段又は前記大きさ0のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分の大きさが所定値より大きい場合、又は前記エッジ検出手段でエッジが検出される場合以外、前記大きさ0のベクトルを前記初期偏位ベクトルの候補に設定する。
また請求項2の発明は、請求項1の構成において、前記偏位ベクトル検出手段は、水平方向及び垂直方向の画像勾配を計算して前記偏位ベクトルを検出し、前記エッジ検出手段は、前記水平方向及び垂直方向の画像勾配を所定の判定基準値で判定して、前記エッジの有無を検出する。
また請求項3の発明は、ビデオ信号処理装置に適用して、請求項1又は請求項2の動きベクトル検出装置で検出した前記動きベクトルを用いて、前記ビデオ信号を動き補正して前記ビデオ信号を処理する。
請求項1の構成によれば、例えばサッカー中継等において、テレビジョンカメラで競技者を追跡してゆっくりとパンニングした場合に、大きさ0によるベクトル、平均値ベクトルで動き補正した場合のフィールド間差分又はフレーム間差分が小さくなる。これにより大きさ0によるベクトル、平均値ベクトルを初期偏位ベクトルの候補に選択した場合には、大きさ0によるベクトル又は平均値ベクトルが初期偏位ベクトルに選択される可能性が高くなる。ここで例えば背景がゆっくりと移動しており、この背景の前に、小領域の静止物体が存在する場合において、この小領域で、平均値ベクトルが初期偏位ベクトルに選択されたのでは、偏位ベクトルを誤検出する恐れがあり、この場合、動きベクトルを誤検出することになる。この場合、平均値ベクトルに代えて大きさ0のベクトルを初期偏位ベクトルに選択すれば、偏位ベクトルの誤検出を低減し、動きベクトルの検出精度を向上することができる。これに対して背景部分では、大きさ0のベクトルが初期偏位ベクトルに選択されたのでは、偏位ベクトルを誤検出する恐れがあり、この場合、大きさ0のベクトルに代えて平均値ベクトルを初期偏位ベクトルに選択すれば、偏位ベクトルの誤検出を低減し、動きベクトルの検出精度を向上することができる。これにより請求項1の構成によれば、このように初期偏位ベクトルに大きさ0によるベクトル、平均値ベクトルが選択される可能性のある場合において、前記平均値ベクトルの差分演算手段及び前記大きさ0のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分を判定して検出され、またエッジ検出手段によるエッジ検出により、ゆっくりと移動する背景部分か、この背景部分の前に静止する小領域の部分かが判定される。またゆっくりと移動する背景部分の場合には、平均値ベクトルが初期偏位ベクトルの候補に設定され、背景部分の前に静止する小領域の部分の場合には、大きさ0のベクトルが初期偏位ベクトルの候補に設定され、これによりテレビジョンカメラがパンニングした場合等における動きベクトルの誤検出が防止され、動きベクトルの検出精度を従来に比して向上することができる。
また請求項2の構成によれば、請求項1の構成において、勾配法による偏位ベクトルの検出に使用する水平方向及び垂直方向の画像勾配を使用して、エッジの有無を検出することができ、全体構成を簡略化することができる。
また請求項3の構成によれば、ビデオ信号処理装置に適用して、請求項1又は請求項2の動きベクトル検出装置で検出した前記動きベクトルを用いて、前記ビデオ信号を動き補正して前記ビデオ信号を処理することから、従来に比して動きベクトルの誤検出に起因する画像歪みを低減することができる。
本発明によれば、従来に比して動きベクトルの検出精度を向上し、動きベクトルを用いて動き補正するフォーマット変換装置のようなビデオ信号処理装置で、画像歪みを軽減することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
(1)実施例の構成
図1は、本発明の実施例1の動きベクトル検出装置の概略構成を示すブロック図である。この動きベクトル検出装置1は、初期偏位ベクトルを基準にして勾配法によりビデオ信号SVのフィールド間で動きベクトルMVを検出する。この実施例では、この動きベクトル検出装置1で検出した動きベクトルMVでビデオ信号SVを動き補正してビデオ信号SVのフィールド周波数を変換する。なおこの動きベクトル検出装置1は、輝度信号Yにより動きベクトルMVを検出するが、輝度信号Y及び色差信号でそれぞれ動きベクトルMVを検出してもよい。またフィールド間に代えて、フレーム間で動きベクトルを検出するようにしてもよい。なおフィールド間に代えて、フレーム間で動きベクトルを検出する場合には、以下に詳述する、前フィールド、現フィールド、フィールド間差分値等には、前フレーム、現フレーム、フレーム間差分値等を適用することになる。
図1は、本発明の実施例1の動きベクトル検出装置の概略構成を示すブロック図である。この動きベクトル検出装置1は、初期偏位ベクトルを基準にして勾配法によりビデオ信号SVのフィールド間で動きベクトルMVを検出する。この実施例では、この動きベクトル検出装置1で検出した動きベクトルMVでビデオ信号SVを動き補正してビデオ信号SVのフィールド周波数を変換する。なおこの動きベクトル検出装置1は、輝度信号Yにより動きベクトルMVを検出するが、輝度信号Y及び色差信号でそれぞれ動きベクトルMVを検出してもよい。またフィールド間に代えて、フレーム間で動きベクトルを検出するようにしてもよい。なおフィールド間に代えて、フレーム間で動きベクトルを検出する場合には、以下に詳述する、前フィールド、現フィールド、フィールド間差分値等には、前フレーム、現フレーム、フレーム間差分値等を適用することになる。
この動きベクトル検出装置1において、前置フィルタ2は、例えばローパスフィルタ、バンドパスフィルタ等により構成され、輝度信号Yの高域を抑圧して出力する。また帯域制限に供する特性を偶数フィールドと奇数フィールドとで切り換えることにより、偶数フィールドと奇数フィールドとで変化する重心の位置を補正して出力する。なお前置フィルタ2は、実用上十分な精度で動きベクトルMVを検出することができる場合には、省略してもよい。
1フィールド遅延回路3は、前置フィルタ2から出力される輝度信号Yを1フィールドの期間だけ遅延させて出力する。
初期偏位ベクトル選択回路4は、ベクトルメモリ5に保持されたそれまでに検出された動きベクトルMVを参照にして初期偏位ベクトルの候補を複数生成する。またこの生成した複数の初期偏位ベクトルの候補から初期偏位ベクトルV1を選択して出力する。
偏位ベクトル検出回路5は、初期偏位ベクトル選択回路4から出力される前フィールドの輝度信号YDを動き補正し、この動き補正した輝度信号YDを用いて前置フィルタ2から出力される現フィールドの輝度信号Y1の偏位ベクトルV2を勾配法により検出する。
加算回路6は、この偏位ベクトル検出回路5で検出した偏位ベクトルV2を初期偏位ベクトルV1に加算して動きベクトルMVを出力する。
ベクトルメモリ7は、加算回路6から出力される動きベクトルMVを記録して保持し、初期偏位ベクトル選択回路4に出力する。
図2は、この動きベクトル検出装置1の初期偏位ベクトル選択回路4の構成を詳細に示すブロック図である。ベクトルメモリ7は、例えば動きベクトル検出対象のマクロブロックに隣接するマクロブロックで検出された動きベクトルMV、動きベクトル検出対象のマクロブロックに対応する前フィールドのマクロブロックで検出された動きベクトルMV等を初期偏位ベクトルの候補V1Kとして初期偏位ベクトル選択部21に出力する。またベクトルメモリ7は、動きベクトル検出対象のマクロブロックを中心とした水平方向及び垂直方向5×5ブロックのマクロブロックで検出された動きベクトルMV1〜MV25を出力する。なおここでこの5×5ブロックのマクロブロックによる動きベクトルMV1〜MV25は、現フィールドで動きベクトルが検出されていないマクロブロックについては、前フィールドの対応するマクロブロックで検出された動きベクトルが適用される。
初期偏位ベクトル選択回路4において、平均化回路11は、この5×5ブロックのマクロブロックによる動きベクトルMV1〜MV25を平均値化して平均値ベクトルV1Aを出力する。なお平均値ベクトルV1Aは、これら動きベクトルMV1〜MV25を2次元のローパスフィルタで単に処理して生成するようにしてもよい。
切替回路12は、切替制御回路13の制御により、大きさが0の動きベクトル「0」、平均値ベクトルV1Aを選択し、初期偏位ベクトルの候補として選択したベクトルを初期偏位ベクトル選択部21に出力する。
偏位ベクトル選択部21は、ベクトルメモリ7から出力される既検出の動きベクトルMVによる初期偏位ベクトルの候補V1K、切替回路12から出力される初期偏位ベクトルの候補でそれぞれ前フィールドの輝度信号YDを動き補正した後、現フィールドの輝度信号Y1との間でそれぞれマクロブロック毎にフィールド間差分値の絶対値和を検出する。また値の最も小さなフィールド間差分値の絶対値和を検出し、この最も値の小さな絶対値和の計算に使用した初期偏位ベクトルの候補を初期偏位ベクトルV1に設定する。これにより動きベクトル検出装置1では、ベクトルメモリ7から出力される既検出の動きベクトルMVによる初期偏位ベクトルの候補V1K、切替回路12から出力される初期偏位ベクトルの候補のうちで、最も精度良く動き補正することができるベクトルを選択して初期偏位ベクトルV1に設定する。
この動きベクトル検出装置1は、偏位ベクトル検出回路5において、この初期偏位ベクトルV1で前フィールドの輝度信号YDを動き補正した後、現フィールドの輝度信号Y1との間で勾配法の演算処理を実行して偏位ベクトルV2を検出する。
比較回路15は、この偏位ベクトルV2の演算過程において画像勾配演算回路14で求められる画像勾配ΔX、ΔYの積算値ΣX、ΣΔYを入力し、それぞれ所定の判定基準値β1、β2と比較する。なおここでβ1、β2は、それぞれ値0に近い数値である。また画像勾配ΔX、ΔYは、それぞれ水平方向及び垂直方向の画像勾配である。図3に示すように、水平方向の画像勾配ΔXは、例えば計算対象の画素Aに対して水平方向に隣接する画素B及びCの画素値を画素B及びCの符号により表して、(C−B)/2で表される。また垂直方向の画像勾配ΔYは、同様に垂直方向に隣接する画素D及びEの画素値を画素D及びEの符号により表して、(E−D)/2で表される。
比較回路15は、判定基準値β1、β2との比較結果により、水平方向及び垂直方向の画像勾配が小さい場合、すなわち積算値ΣX、ΣΔYがそれぞれ判定基準値β1、β2より小さい場合を検出して比較結果を出力する。ここで水平方向及び垂直方向の画像勾配の積算値ΣX、ΣΔYが小さい場合、この画像勾配の検出に係るブロック内には、エッジが含まれていないと判定することができる。これにより比較回路15は、動きベクトル検出対象のマクロブロックにおいて、エッジの有無を判定して判定結果を出力する。これにより比較回路15は、輝度信号Y1におけるエッジの有無をマクロブロック毎に検出するエッジ検出手段を構成する。
フィールド間差分演算回路17は、前フィールドの輝度信号YDと現フィールドの輝度信号Y1との間でフィールド間差分値の絶対値和FDを検出し、これにより大きさが0のベクトルで前フィールドの輝度信号YDを動き補正した場合の、フィールド間差分の大きさを検出する。
またフィールド間差分演算回路18は、平均値ベクトルV1Aで前フィールドの輝度信号YDを動き補正した後、現フィールドの輝度信号Y1との間でフィールド間差分値の絶対値和DFDを検出する。
累計値比較回路19は、比較回路17、18から出力される絶対値和FD、DFDをそれぞれ判定基準値α1、α2と比較する。ここでα2は、値0に近い数値であり、α1≦α2である。累計値比較回路19は、フィールド間差分値の絶対値のブロック内累計値が小さい場合、すなわち絶対値和FD、DFDがそれぞれ判定基準値α1、α2より小さい場合を検出して比較結果を出力する。
切替制御回路13は、比較回路19において、フィールド間差分値の絶対値のブロック内累計値が小さい場合の比較結果が得られ、かつ比較回路15で、水平方向及び垂直方向の画像勾配が小さい場合の比較結果が得られた場合、平均値ベクトルV1Aを選択出力するように、またこれ以外の場合には、おおきさ0のベクトル「0」を選択出力するように、切替回路12を制御する。これによりこの実施例において、平均化回路11、切替回路12、切替制御回路13、比較回路15、累計値比較回路19、フィールド間差分演算回路17、18は、複数の初期偏位ベクトルの候補を生成する初期偏位ベクトルの候補生成手段を構成する。
(2)実施例の動作
以上の構成において、この動きベクトル検出装置1において(図1)、順次入力される輝度信号Yは、前置フィルタ2で周波数特性が補正されて現フィールドの輝度信号Y1が生成され、またさらに1フィールド遅延回路3で1フィールド遅延されて前フィールドの輝度信号YDが生成される。輝度信号Y1は、初期偏位ベクトル選択回路4において、それまでに検出した動きベクトルMVを参考にして複数の初期偏位ベクトルの候補が生成され、これら複数の初期偏位ベクトルの候補から最も動き補正精度の高いベクトルが初期偏位ベクトルV1に選択される。また偏位ベクトル検出回路5において、この初期偏位ベクトルV1で前フィールドの輝度信号YDが動き補正され、この動き補正した前フィールドの輝度信号YDを基準にして現フィールドの輝度信号Y1の偏位ベクトルV2が勾配法により検出される。また初期偏位ベクトルV1に偏位ベクトルV2を加算して動きベクトルMVが検出される。
以上の構成において、この動きベクトル検出装置1において(図1)、順次入力される輝度信号Yは、前置フィルタ2で周波数特性が補正されて現フィールドの輝度信号Y1が生成され、またさらに1フィールド遅延回路3で1フィールド遅延されて前フィールドの輝度信号YDが生成される。輝度信号Y1は、初期偏位ベクトル選択回路4において、それまでに検出した動きベクトルMVを参考にして複数の初期偏位ベクトルの候補が生成され、これら複数の初期偏位ベクトルの候補から最も動き補正精度の高いベクトルが初期偏位ベクトルV1に選択される。また偏位ベクトル検出回路5において、この初期偏位ベクトルV1で前フィールドの輝度信号YDが動き補正され、この動き補正した前フィールドの輝度信号YDを基準にして現フィールドの輝度信号Y1の偏位ベクトルV2が勾配法により検出される。また初期偏位ベクトルV1に偏位ベクトルV2を加算して動きベクトルMVが検出される。
ここで勾配法では、精度良く動きベクトルを検出可能な範囲が狭いことにより、初期偏位ベクトルの精度が劣化すると、偏位ベクトルMVを正確に検出できなくなり、その結果、動きベクトルMVを誤検出することになる。
これにより動きベクトル検出装置1では、複数の初期偏位ベクトルの候補から、最も動き補正精度の高い初期偏位ベクトルの候補を選択して初期偏位ベクトルV1に設定しているものの、テレビジョンカメラで競技者を追跡してゆっくりとパンニングした場合のように、スクロールする画面では、動きベクトルMVを誤検出し、動きベクトルMVによりビデオ信号を動き補正して処理する場合に、画像歪みが発生する。
このような画像歪みは、例えばテレビジョンカメラをパンニングして撮影されるフェンスの文字のように、ゆっくりと移動している背景自体で発生するものと、この背景の前景に存在するボール等の画面上で静止した小領域で発生するものとがあり、前者の場合には、平均値ベクトルV1Aを初期偏位ベクトルV1に設定して動きベクトルMVの誤検出を低減することができる。また後者の場合には、大きさ0のベクトル「0」を初期偏位ベクトルV1に設定して動きベクトルMVの誤検出を低減することができる。
またこれにより前者の場合において、大きさ0のベクトル「0」を初期偏位ベクトルV1に設定すると、また後者の場合で、平均値ベクトルV1Aを初期偏位ベクトルV1に設定すると、動きベクトルMVを誤検出することになる。また後者の場合における画像歪みを軽減するために、大きさ0のベクトル「0」を初期偏位ベクトルV1に設定し易くすると、前者の場合における動きベクトルMVの誤検出が増大することになる。すなわちこのようなゆっくりと移動している背景自体で発生する動きベクトルMVの誤検出と、この背景の前景に存在する静止した小領域で発生する動きベクトルMVの誤検出とは、トレードオフの関係にある。
そこでこの動きベクトル検出装置1では(図2)、平均値ベクトルV1Aと、大きさ0の動きベクトル「0」とでそれぞれフィールド間差分値の絶対値和DFD、FDが検出され、またこの絶対値和DFD、FDがそれぞれ所定の判定基準値α1、α2以下の場合が検出され、これにより平均値ベクトルV1A、大きさ0のベクトル「0」が初期偏位ベクトルV1に選択される可能性のある場合が検出される。
また比較回路15において、水平方向及び垂直方向の画像勾配ΔX及びΔYが所定の判定基準値β1、β2で判定されてエッジの有無が検出される。
輝度信号Y1は、これらの検出結果に基づいて、平均値ベクトルV1A、大きさ0のベクトル「0」が初期偏位ベクトルV1に選択される可能性のある場合において、エッジが存在しない場合には、平均値ベクトルV1Aが初期偏位ベクトルの候補に設定される。これによりゆっくりと移動している背景自体では、平均値ベクトルV1Aが初期偏位ベクトルV1に選択されるようにし、動きベクトルMVの誤検出が防止される。
これに対してエッジが存在する場合、さらには平均値ベクトルV1A、大きさ0の動きベクトルが初期偏位ベクトルV1に選択される可能性が低い場合には、大きさ0のベクトル「0」が初期偏位ベクトルの候補に設定される。これにより移動する背景の前の静止する小領域では大きさ0の動きベクトル「0」が初期偏位ベクトルV1に設定されるようにし、動きベクトルMVの誤検出が防止される。
(3)実施例の効果
以上の構成によれば、平均値ベクトル及び大きさ0のベクトルにより動き補正した場合のフィールド間差分又はフレーム間差分が小さく、さらに処理対象マクロブロックにエッジが含まれていない場合に、大きさ0のベクトルに代えて、平均値ベクトルを初期偏位ベクトルの候補に設定することにより、従来に比して動きベクトルの検出精度を向上することができる。
以上の構成によれば、平均値ベクトル及び大きさ0のベクトルにより動き補正した場合のフィールド間差分又はフレーム間差分が小さく、さらに処理対象マクロブロックにエッジが含まれていない場合に、大きさ0のベクトルに代えて、平均値ベクトルを初期偏位ベクトルの候補に設定することにより、従来に比して動きベクトルの検出精度を向上することができる。
また勾配法による偏位ベクトルの検出に使用する水平方向及び垂直方向の画像勾配を使用して、エッジの有無を検出することにより、全体構成を簡略化することができる。
またこのようにして検出した動きベクトルを用いて、ビデオ信号を動き補正してビデオ信号を処理することにより、従来に比して動きベクトルの誤検出に起因する画像歪みを低減することができる。
なお上述の実施例においては、エッジの有無を画像勾配で検出する場合について述べたが、本発明はこれに限らず、エッジを検出する種々の検出手法を広く適用することができる。
また上述の実施例においては、動きベクトルで動き補正してビデオ信号のフィールド周波数を変換する場合について述べたが、本発明はこれに限らず、ビデオ信号のフレーム周波数を変換する場合等、ビデオ信号を動きベクトルで動き補正してビデオ信号を処理する種々の処理に広く適用することができる。
本発明は、ビデオ信号のフォーマット変換、ビデオ信号の高能率符号化処理等に適用することができる。
1……動きベクトル検出装置、3……1フィールド遅延回路、4……初期偏位ベクトル選択回路、5……偏位ベクトル検出回路、6……加算回路、7……ベクトルメモリ、11……平均化回路、12……切替回路、13……切替制御回路、14……画像勾配演算回路、15……比較回路、17、18……フィールド間差分演算回路、19……累計値比較回路、21……初期偏位ベクトル選択部
Claims (3)
- マクロブロック単位で順次ビデオ信号の動きベクトルを検出する動きベクトル検出装置において、
前記ビデオ信号を遅延させて前フィールド又は前フレームのビデオ信号を生成する遅延手段と、
複数の初期偏位ベクトルの候補を生成する初期偏位ベクトルの候補生成手段と、
前記複数の初期偏位ベクトルの候補から、前記ビデオ信号の現フィールド又は現フレームに対して、前記前フィールド又は前フレームのビデオ信号を最も精度良く動き補正する初期偏位ベクトルの候補を選択して初期偏位ベクトルに設定する初期偏位ベクトル選択手段と、
前記前フィールド又は前フレームのビデオ信号を前記初期偏位ベクトルにより動き補正し、動き補正した前フィールド又は前フレームのビデオ信号を用いて勾配法により前記ビデオ信号の偏位ベクトルを検出する偏位ベクトル検出手段と、
前記偏位ベクトルと前記初期偏位ベクトルとを加算して前記動きベクトルを生成する加算手段とを備え、
前記初期偏位ベクトルの候補生成手段は、
前記ビデオ信号におけるエッジの有無を前記マクロブロック毎に検出するエッジ検出手段と、
前記動きベクトルの検出対象のマクロブロックの周辺マクロブロックで検出された前記動きベクトルの平均値ベクトルを検出する平均化手段と、
前記前フィールド又は前フレームのビデオ信号を前記平均値ベクトルで動き補正し、前記現フィールド又は現フレームのビデオ信号との間でフィールド間差分又はフレーム間差分の大きさを検出する平均値ベクトルの差分演算手段と、
前記前フィールド又は前フレームのビデオ信号と、前記現フィールド又は現フレームのビデオ信号との間でフィールド間差分又はフレーム間差分の大きさを検出することにより、大きさが0のベクトルで前記前フィールド又は前フレームのビデオ信号を動き補正した場合の、フィールド間差分又はフレーム間差分の大きさを検出する大きさ0のベクトルの差分演算手段と、
前記平均値ベクトルの差分演算手段及び前記大きさ0のベクトルの差分演算手段の検出結果、前記エッジ検出結果を判定する判定手段と、
前記判定手段の判定結果に基づいて、前記平均値ベクトル又は前記大きさ0のベクトルを選択的に前記初期偏位ベクトルの候補に設定する選択手段とを備え、
前記選択手段は、
前記平均値ベクトルの差分演算手段及び前記大きさ0のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分の大きさが所定値以下の場合であって、かつ前記エッジ検出手段でエッジが検出されない場合、前記平均値ベクトルを前記初期偏位ベクトルの候補に設定し、
前記平均値ベクトルの差分演算手段又は前記大きさ0のベクトルの差分演算手段によるフィールド間差分又はフレーム間差分の大きさが所定値より大きい場合、又は前記エッジ検出手段でエッジが検出される場合、前記大きさ0のベクトルを前記初期偏位ベクトルの候補に設定する
ことを特徴とする動きベクトル検出装置。 - 前記偏位ベクトル検出手段は、
水平方向及び垂直方向の画像勾配を計算して前記偏位ベクトルを検出し、
前記エッジ検出手段は、
前記水平方向及び垂直方向の画像勾配を所定の判定基準値で判定して、前記エッジの有無を検出する
ことを特徴とする請求項1に記載の動きベクトル検出装置。 - 請求項1又は請求項2の動きベクトル検出装置で検出した前記動きベクトルを用いて、前記ビデオ信号を動き補正して前記ビデオ信号を処理する
ことを特徴とするビデオ信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006298802A JP2008118340A (ja) | 2006-11-02 | 2006-11-02 | 動きベクトル検出装置及びビデオ信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006298802A JP2008118340A (ja) | 2006-11-02 | 2006-11-02 | 動きベクトル検出装置及びビデオ信号処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008118340A true JP2008118340A (ja) | 2008-05-22 |
Family
ID=39503927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006298802A Pending JP2008118340A (ja) | 2006-11-02 | 2006-11-02 | 動きベクトル検出装置及びビデオ信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008118340A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014139997A1 (de) * | 2013-03-11 | 2014-09-18 | Vorbach, Martin | Videostromauswertung |
JP2015012548A (ja) * | 2013-07-01 | 2015-01-19 | 富士通株式会社 | 画像処理装置、補正方法および補正プログラム |
-
2006
- 2006-11-02 JP JP2006298802A patent/JP2008118340A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014139997A1 (de) * | 2013-03-11 | 2014-09-18 | Vorbach, Martin | Videostromauswertung |
US9659221B2 (en) | 2013-03-11 | 2017-05-23 | Martin Vorbach | Video stream evaluation |
JP2015012548A (ja) * | 2013-07-01 | 2015-01-19 | 富士通株式会社 | 画像処理装置、補正方法および補正プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4997281B2 (ja) | イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置 | |
US7548655B2 (en) | Image still area determination device | |
JP2004343715A (ja) | フレームレート変換時のフレーム補間方法およびその装置 | |
EP2011334A2 (en) | Method and system for creating an interpolated image | |
JP2007122232A (ja) | 画像処理装置及びプログラム | |
KR20040093424A (ko) | 신호 처리 장치 및 신호 처리 방법 | |
JP4861636B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP2005051460A (ja) | ビデオ信号処理装置及びビデオ信号の処理方法 | |
JP2008118340A (ja) | 動きベクトル検出装置及びビデオ信号処理装置 | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
JP2000201328A (ja) | 動きベクトルの検出方法および回路 | |
AU2004200237B2 (en) | Image processing apparatus with frame-rate conversion and method thereof | |
JP2007243627A (ja) | ビデオ信号処理装置 | |
JP2009044456A (ja) | 画像符号化装置および画像符号化方法 | |
JP4235209B2 (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JP2008160773A (ja) | 順次走査変換装置及び順次走査変換方法 | |
JP4261381B2 (ja) | 映像信号処理装置 | |
US10587840B1 (en) | Image processing method capable of deinterlacing the interlacing fields | |
JP2006129326A (ja) | 動きベクトル検出装置 | |
JP3022977B2 (ja) | テレビジョン信号内挿方式 | |
JPH11242747A (ja) | 動き検出装置および画像信号処理装置 | |
KR100882300B1 (ko) | 화상 움직임 검출 회로 | |
JP4274430B2 (ja) | 動きベクトル検出装置 | |
JP2008244686A (ja) | 映像処理装置及び映像処理方法 | |
JP2005202921A (ja) | 動きベクトル検出装置 |