JP2005051460A - ビデオ信号処理装置及びビデオ信号の処理方法 - Google Patents

Abstract

【課題】 本発明は、ビデオ信号処理装置及びビデオ信号の処理方法に関し、例えばフォーマット変換装置に適用して、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができるようにする。
【解決手段】 本発明は、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合に、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定する。
【選択図】 図１

Description

本発明は、ビデオ信号処理装置及びビデオ信号の処理方法に関し、例えばフォーマット変換装置に適用することができる。本発明は、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合に、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定することにより、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができるようにする。

従来、ビデオ信号の各種処理においては、動きベクトルを用いる方法が種々に利用されるようになされている。

このような動きベクトルの検出においては、Ｍ画素×Ｎライン（Ｍ、Ｎは整数）のマクロブロック単位でビデオ信号を細分化した後、各マクロブロック毎に動きベクトルを検出するようになされており、この検出方法として、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報等にパターンマッチング法による動きベクトル検出方法が提案されるようになされ、また特開昭６０−１５８７８６号公報等には、反復勾配法による動きベクトル検出方法が提案されるようになされている。

またこのような動きベクトルを用いたビデオ信号の処理の１つであるフォーマット変換においては、検出した動きベクトルによる動き内挿処理により、動きの不連続性を軽減するようになされている。すなわちこの処理においては、内挿フィールドのフィールド内挿比により、検出した動きベクトルを補正し、この補正した動きベクトルによりそれぞれ前フィールド、現フィールドを動き補正する。またこの動き補正した２つのフィールドによりフィールド間内挿演算し、内挿フィールドを生成するようになされている。

しかしながらこのような動きベクトルにおいては、対応する画像間で動きベクトルを正確に検出できない場合がある。すなわち図４（Ａ）及び（Ｂ）に前フィールドＧ２の画像及び現フィールドＧ１の画像を示すように、背景Ｆの前面に静止物体による前景Ｅが存在し、矢印Ａにより示すように背景Ｆが横方向に移動した場合、前景Ｅにそれまで隠されていた背景Ｒの領域αにおいては、対応する画像が前フィールドには存在しないことになる。これによりこの領域αに関しては、動きベクトルを正確に検出できなくなり、動きベクトルを誤検出することになる。

これにより従来のフィールド数の変換に係る動き内挿処理においては、画像歪みが発生する問題があった。

すなわち図４との対比により図５に示すように、前フィールドＧ２及び現フィールドＧ１よりフィールド内挿比γの内挿フィールドＧ０を生成する場合において、現フィールドＧ１の背景Ｆに属するマクロブロックＡ１で動きベクトルＶが検出され、このマクロブロックＡ１に対応する前フィールドＧ２における領域Ａ２が背景Ｆに属する場合、このマクロブロックＡ１については、このマクロブロックＡ１で検出される動きベクトルＶの分だけ、マクロブロックＡ１の画像を偏位させて動き補正すると、この動き補正したマクロブロックＡ１が前フィールドＧ２の背景Ｆに属する領域Ａ２の画像と重なり合うことになる。

これによりこれらマクロブロックＡ１及び領域Ａ２の現フィールドＧ１及び前フィールドＧ２における位置を直線により結べば、内挿フィールドＧ０における対応する領域Ａ２もこの直線上に位置することになる。これによりこの場合、動きベクトルＶを内挿比γにより補正して、前フィールドＧ２及び現フィールドＧ１のマクロブロックＡ１及び領域Ａ２を、内挿フィールドＧ０の領域Ａ０の位置に動き補正し、これら動き補正した画像データをフィールド間内挿処理することにより、内挿フィールドＧ０の画像データを正しく生成することができる。

また現フィールドＧ１の前景Ｅに属するマクロブロックＤ１においては、静止していることにより動きベクトルＶが値０により検出され、この動きベクトルＶによる前フィールドＧ２の対応する領域Ｄ２においても、前景Ｅに属することになる。これによりこの場合も、動きベクトルＶにより動き補正してフィールド間内挿処理することにより、内挿フィールドＧ０の画像データを正しく生成することができる。

これに対して現フィールドＧ１では背景Ｆに属しているマクロブロックＢ１、Ｃ１であっても、前フィールドＧ２では、対応する領域Ｂ２、Ｃ２が前景Ｅで隠されている場合、前フィールドＧ２より各マクロブロックＢ１、Ｃ１に対応する領域Ｂ２、Ｃ２の画像データを適切に取得できなくなる。この場合、動きベクトルが誤検出され、この動きベクトルにより動き補正してフィールド間内挿処理したのでは、画像歪みが発生することになる。
特開昭５５−１６２６８３号公報 特開昭５５−１６２６８４号公報 特開昭６０−１５８７８６号公報

本発明は以上の点を考慮してなされたもので、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができるビデオ信号処理装置及びビデオ信号の処理方法を提案しようとするものである。

係る課題を解決するため請求項１の発明においては、動きベクトルによりビデオ信号を処理するビデオ信号処理装置に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間の差分値との比較により、動きベクトルを所定値に設定し、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定する。

また請求項２の発明においては、請求項１の構成において、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較を、一定領域における動き補正によるフィールド間差分又はフレーム間差分の絶対値和と、一定領域における動き補正していないフィールド間差分又はフレーム間差分の絶対値和との比較により実行する。

また請求項３の発明においては、請求項１又は請求項２の構成において、所定値が、値０であるようにする。

また請求項４の発明においては、請求項１、請求項２又は請求項３の構成において、動きベクトルにより、フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換する。

また請求項５の発明においては、動きベクトルによりビデオ信号を処理するビデオ信号の処理方法に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間の差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較により、動きベクトルを所定値に設定し、動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定する。

請求項１の構成により、ビデオ信号処理装置に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出する場合に、これら動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値とは、それぞれ動き補正した場合と、動き補正していない場合とについて、処理に係るフィールド間又はフレーム間の相違の程度を示すことになる。これにより動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間値差分値との比較により、動きベクトルを所定値に設定すれば、相違が小さくなる側の動きベクトルによりビデオ信号を処理し得、その分、画像歪み等を防止することができる。しかしながらこのような処理においても、動き補正によるフィールド間差分値又はフレーム間差分値が一定値以上立ち上がっている場合、これらのフィールド間又はフレーム間にあっては、動きが無く、例えばそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合であると判断することができる。これにより動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定すれば、これらそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合に、動き補正して処理することによる画像歪みを低減することができ、これらにより動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができる。

また請求項２の構成により、請求項１の構成において、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較を、一定領域における動き補正によるフィールド間差分又はフレーム間の差分の絶対値和と、一定領域における動き補正していないフィールド間差分又はフレーム間差分の絶対値和との比較により実行すれば、簡易かつ確実に、動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値とを比較することができる。

また請求項３の構成により、請求項１又は請求項２の構成において、所定値が、値０であるようにすれば、動画と静止画とで処理を切り換えることができる。

また請求項４の構成により、請求項１、請求項２又は請求項３の構成において、動きベクトルにより、フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換すれば、フィールドの数の変換の処理に適用して、動きベクトルの誤検出による画像歪みを低減することができる。

また請求項５の構成により、ビデオ信号の処理方法に適用して、連続するフィールド又はフレームをビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出する場合に、これら動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値とは、それぞれ動き補正した場合と、動き補正していない場合とについて、処理に係るフィールド間又はフレーム間の相違の程度を示すことになる。これにより動き補正によるフィールド間差分値又はフレーム間差分値と、動き補正していないフィールド間差分値又はフレーム間差分値との比較により、動きベクトルを所定値に設定すれば、相違が小さくなる側の動きベクトルによりビデオ信号を処理し得、その分、画像歪み等を防止することができる。しかしながらこのような処理においても、動き補正によるフィールド間差分値又はフレーム間の差分値が一定値以上立ち上がっている場合、これらのフィールド間又はフレーム間にあっては、動きが無く、例えばそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合であると判断することができる。これにより動き補正によるフィールド間差分値又はフレーム間差分値が動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、動きベクトルを所定値に設定すれば、これらそれまで前景に隠れていて表れた領域、さらにはシーンチェンジ等の場合に、動き補正して処理することによる画像歪みを低減することができ、これらにより動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができる。

本発明によれば、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図１は、本発明の実施例に係るビデオ信号処理装置を示すブロック図である。このビデオ信号処理装置１は、動き内挿によるフィールド間内挿処理によりビデオ信号Ｓ１のフィールド数を変換してビデオ信号Ｓ１にフォーマット変換する。

すなわちこのビデオ信号処理装置１において、前置フィルタ２は、二次元のローパスフィルタであり、ビデオ信号Ｓ１の輝度信号成分を入力して高域成分を抑圧し、これによりノイズによる動きベクトルの誤検出を防止する。なおこの前置フィルタ２は、省略することも可能である。

１フィールド遅延回路（１ＦＤ）３は、この前置フィルタ２から輝度信号成分を選択的に入力し、１フィールドの期間だけ遅延させて出力する。これにより１フィールド遅延回路３は、前置フィルタ２から出力される現フィールドのビデオ信号Ｓ２に対して前フィールドのビデオ信号Ｓ３を生成する。

動きベクトル検出回路４は、前置フィルタ２から出力されるビデオ信号Ｓ２にマクロブロックを順次設定して、１フィールド遅延回路３の出力信号との間で動きベクトルを検出することにより、現フィールドを基準にして動きベクトルを検出する。なおこの動きベクトル検出回路４において、フレーム間で動きベクトルを検出する場合、１フィールド遅延回路３に代えて１フレーム遅延回路を適用し、ビデオ信号Ｓ２を１フレーム遅延させることになる。また動きベクトルの検出手法にあっては、ブロックマッチング法、反復勾配法、位相相関法等、種々の検出手法を広く適用することができる。また画素毎に動きベクトルを検出するようにしてもよい。なおこの実施例では、マクロブロックを８画素×８ラインの大きさに設定した。

動きベクトル検出回路４は、このようにして検出した動きベクトルに、内挿フィールドに係る内挿比γ、１−γをそれぞれ乗算して動きベクトルを補正し、現フィールドから内挿フィールドへの動きベクトルＶａ、前フィールドから内挿フィールドへの動きベクトルＶｂを生成して出力する。

遅延回路（Ｄ）５は、前置フィルタ２から出力される現フィールドのビデオ信号Ｓ２を一定時間遅延させて出力する。偏位回路６は、この遅延回路５から出力されるビデオ信号を内蔵のメモリに一時記録し、現フィールドから内挿フィールドへの動きベクトルＶａに応じたタイミングにより出力する。これにより偏位回路６は、現フィールドを構成する画像の位置を動きベクトル検出回路４で検出された動きベクトルに応じて偏位させて出力するようになされている。以下、この偏位回路６から出力されるビデオ信号を現フィールドによる動き補正のビデオ信号ＳＣと呼ぶ。

遅延回路（Ｄ）７は、この現フィールドによる動き補正のビデオ信号ＳＣにタイミングが一致するように、現フィールドのビデオ信号Ｓ２を遅延させてビデオ信号ＳＥを出力する。以下、このビデオ信号ＳＥを、現フィールドによる動き補正していないビデオ信号と呼ぶ。

遅延回路（Ｄ）８は、１フィールド遅延回路３から出力される前フィールドのビデオ信号Ｓ３を一定時間遅延させて出力する。偏位回路９は、この遅延回路８から出力されるビデオ信号を内蔵のメモリに一時記録し、前フィールドから内挿フィールドへの動きベクトルＶｂに応じたタイミングにより出力する。これにより偏位回路９は、前フィールドを構成する画像データの位置を動きベクトル検出回路４で検出された動きベクトルに応じて偏位させて出力するようになされている。以下、この偏位回路９から出力されるビデオ信号を、前フィールドによる動き補正のビデオ信号ＳＤと呼ぶ。

遅延回路（Ｄ）１０は、この前フィールドによる動き補正のビデオ信号ＳＤにタイミングが一致するように、前フィールドのビデオ信号Ｓ３を遅延させてビデオ信号ＳＦを出力する。以下、このビデオ信号ＳＥを、前フィールドによる動き補正していないビデオ信号と呼ぶ。

これらによりこのビデオ信号処理装置１では、前フィールド及び現フィールドのビデオ信号ＳＦ及びＳＥ、前フィールド及び現フィールドのビデオ信号ＳＦ、ＳＥを内挿フィールドに対応するように動き補正したビデオ信号ＳＤ及びＳＣを生成するようになされている。

動き判定回路１１は、これらのビデオ信号ＳＥ〜ＳＦにより、動きベクトル検出回路４から出力される動きベクトルＶａ、Ｖｂを適宜補正して出力する。すなわち動き判定回路１１は、前フィールド及び現フィールドの動き補正しないビデオ信号ＳＦ及びＳＥ間で、フィールド間差分値を検出し、また前フィールド及び現フィールドの動き補正によるビデオ信号ＳＤ及びＳＣ間で、フィールド間差分値を検出する。

この実施例では、これらフィールド間差分値の検出に、所定ブロックにおけるフィールド間差分の絶対値和が適用される。すなわち動き判定回路１１は、動き補正しないビデオ信号ＳＦ及びＳＥ間の対応する画素間で順次差分値を計算し、この差分値の絶対値を所定ブロック単位で加算し、これにより動き補正していないフィールド間差分値ＦＤを検出する。また同様に、動き補正によるビデオ信号ＳＤ及びＳＣ間の対応する画素間で順次差分値を計算し、この差分値の絶対値を所定ブロック単位で加算し、これにより動きベクトル検出回路４で検出した動きベクトルにより動き補正した際の動き補正によるフィールド間差分値ＤＦＤを検出する。なおこれら加算に供するブロックは、動きベクトル検出単位であるマクロブロックより小さなブロックが適用され、この実施例ではマクロブロックを細かく分割した、例えば１つのブロックが４画素×２ラインに設定される。なおこのような加算の処理を省略するようにして、画素単位で以降の処理を実行するようにしてもよい。

動き判定回路１１は、このようにして検出した動き補正していないフィールド間差分値ＦＤ、動き補正によるフィールド間差分値ＤＦＤを図２に示す構成により判定する。

すなわちこの図２に示す動き判定回路１１において、比較回路１１Ａは、フィールド間差分値ＦＤ、ＤＦＤを比較回路１１Ａに入力して比較し、比較結果をスイッチ回路１１Ｃに出力する。

比較回路１１Ｂは、動き補正によるフィールド間差分値ＤＦＤを判定基準値βにより判定し、判定結果を出力する。

スイッチ回路１１Ｃは、動きベクトル検出回路４から出力される現フィールドから内挿フィールドへの動きベクトルＶａ、前フィールドから内挿フィールドの動きベクトルＶｂを一方の接点に受け、値０の動きベクトル（図２においては、スイッチ回路１１Ｃの接点の接地により示す）を他方の接点に受け、比較回路１１Ａ及び１１Ｂの判定結果によりこれら接点入力を選択出力する。

この判定結果による選択出力においてスイッチ回路１１Ｃは、動き補正していないフィールド間差分値ＦＤが動き補正によるフィールド間差分値ＤＦＤより小さい場合、値０の動きベクトルを選択出力する。また動き補正していないフィールド間差分値ＦＤが動き補正によるフィールド間差分値ＤＦＤ以上の場合、現フィールドから内挿フィールドへの動きベクトルＶａ、前フィールドから内挿フィールドの動きベクトルＶｂを選択出力する。

すなわち図５との対比により図３に示すように、このようにして検出されるフィールド間差分値ＦＤ、ＤＦＤのうち、動き補正していないフィールド間差分値ＦＤにおいては、内挿フィールドＧ０の対応する領域Ｃ０が、現フィールドＧ１及び前フィールドＧ２において、何ら動きが無い領域Ｂ０１及びＢ０２の場合に、すなわちこれら現フィールドＧ１及び前フィールドＧ２における対応する領域Ｂ０１、Ｂ０２が一致する場合に、ほぼ値０となる。これとは逆に領域Ｃ０が、現フィールドＧ１、前フィールドＧ２において動きのある領域に対応する領域である場合、動き補正していないフィールド間差分値ＦＤにおいては、値が大きくなり、これらにより動き補正しない場合について、処理に係るフィールド間の相違の程度を示すことになる。

これに対して動き補正によるフィールド間差分値ＤＦＤにおいては、前フィールドＧ２における領域Ａ２が現フィールドＧ１の領域Ａ１に移動した場合であって、この移動に係る動きベクトルＶにより動き補正された場合に、ほぼ値０となる。またこれとは逆に、この動き補正に係る動きベクトルの値が、正しい値より異なると、動き補正によるフィールド間差分値ＤＦＤにおいては、値が大きくなり、これらにより動き補正する場合について、処理に係るフィールド間の相違の程度を示すことになる。なおこの図３の例では、内挿フィールドＧ０の領域Ｃ０に対して、それぞれこれら２つのフィールド間差分は、ＤＦＤ＝Σ｜Ａ１−Ａ２｜、ＦＤ＝Σ｜Ｂ０１−Ｂ０２｜となる。

これにより動き補正していないフィールド間差分値ＦＤが動き補正によるフィールド間差分値ＤＦＤより小さい場合、値０の動きベクトルを選択出力し、また動き補正していないフィールド間差分値ＦＤが動き補正によるフィールド間差分値ＤＦＤ以上の場合、現フィールドから内挿フィールドへの動きベクトルＶａ、前フィールドから内挿フィールドの動きベクトルＶｂを選択出力することにより、動きのある領域については、動きベクトル検出回路４で検出される動きベクトルを出力し、動きの無い領域については、動きベクトル検出回路４で検出される動きベクトルを値０に補正して出力し得、動きベクトルの誤検出を補正することができる。

しかしながらこのようにして動きベクトルを補正する場合にあっても、例えばそれまで前景に隠れていた領域、さらにシーンチェンジが発生した場合にあっては、何らフィールド間で対応する領域が無いにも係わらず、動き補正していないフィールド間差分値ＦＤより動き補正によるフィールド間差分値ＤＦＤが小さくなる場合も発生する。

すなわち動きが均一であり、動きベクトルが正常に検出された場合、現フールドを基準として検出された動きベクトルは、均一になり、また動き補正によるフィールド間差分値ＤＦＤも小さくなる。

しかしながら動きベクトルが正しく検出されない領域では、動き補正によるフィールド間差分値ＤＦＤが大きくなり、このような場合にあって静止画でない場合、動き補正しないフィールド間差分値ＦＤも大きくなり、動き補正によるフィールド間差分値ＤＦＤが動き補正しないフィールド間差分値ＦＤより小さくなり、動きベクトル検出回路４で検出される動きベクトルが選択される場合が発生する。この場合、この動きベクトルにより動き補正して内挿処理したのでは、図５について上述したように、画像歪みが発生し、却って動き補正しない方が、画像歪みが小さくなる。

これにより動き判定回路１１においては、動き補正によるフィールド間差分値ＤＦＤの値が判定基準値β以上の場合、動き補正によるフィールド間差分値ＤＦＤが動き補正していないフィールド間差分値ＦＤより小さい場合であっても、値０により動きベクトルを所定値に設定して出力し、画像歪みを低減するようになされている。ここでこのビデオ信号処理装置１では、オペレータの操作によりこの判定基準値βを設定できるようになされ、これにより処理結果を確認して判定基準値βを設定することにより、処理対象であるビデオ信号に応じて判定基準値βを適宜設定して、従来に比して画像歪みを低減できるようになされている。

これらによりこのビデオ信号処理装置１では、この動き判定回路１１から出力される動きベクトルＶａ１、Ｖｂ１により動き内挿処理を実行する。すなわちビデオ信号処理装置１において、１フィールド遅延回路（１ＦＤ）１４は、ビデオ信号Ｓ１を１フィールドの期間だけ遅延させ、これにより前フィールドのビデオ信号を生成して出力する。

遅延回路１５は、この前フィールドのビデオ信号を内蔵のメモリに一時記録した後、動き判定回路１１から出力される対応する動きベクトルＶｂ１に応じたタイミングで出力することにより、この前フィールドのビデオ信号を動き補正して出力する。

遅延回路１６は、ビデオ信号Ｓ１を内蔵のメモリに一時記録した後、動き判定回路１１から出力される対応する動きベクトルＶａ１に応じたタイミングで出力することにより、現フィールドのビデオ信号を動き補正して出力する。

動き内挿回路１７は、これら遅延回路１５、１６から出力されるビデオ信号Ｓ１を内挿演算処理し、これによりフィールド数を変化してなるビデオ信号Ｓ０を出力する。

（２）実施例の動作
以上の構成において、このビデオ信号処理装置１では、処理対象のビデオ信号Ｓ１である現フィールドのビデオ信号が１フィールド遅延回路１４により１フィールド遅延されて前フィールドのビデオ信号が生成され、これらのビデオ信号が動き内挿回路１７によりフィールド間内挿処理され、これによりビデオ信号Ｓ１のフィールド数が変換される。この処理において、このビデオ信号処理装置１では、前フィールド及び現フィールドのビデオ信号がそれぞれ遅延回路１５、１６により動き補正されて内挿処理されることにより、連続するフィールドで動きを滑らかにすることができる。

このビデオ信号処理装置１は、このビデオ信号Ｓ１の輝度信号成分が、１フィールド遅延回路３により１フィールド遅延されて前フィールドのビデオ信号Ｓ３が生成され、この前フィールドのビデオ信号Ｓ３と現フィールドのビデオ信号Ｓ２とが動きベクトル検出回路４で処理されて、現フィールドを基準にした動きベクトルが検出される。またこの動きベクトルが内挿フィールドの内挿比γ、１−γにより補正され、それぞれ遅延回路１５、１６における前フィールド及び現フィールドの動き補正用の動きベクトルＶａ及びＶｂが生成される。

ビデオ信号処理装置１では、この動き補正用の動きベクトルＶａ及びＶｂでそれぞれ前フィールド及び現フィールドのビデオ信号Ｓ３及びＳ２が偏位回路６、９で動き補正され、前フィールド及び現フィールドのビデオ信号Ｓ３及びＳ２と共に動き判定回路１１に入力され、この動き判定回路１１において、これらのビデオ信号から、動き補正によるフィールド間差分値ＤＦＤと、動き補正していないフィールド間差分値ＦＤが検出される。ビデオ信号処理装置１では、この動き補正によるフィールド間差分値ＤＦＤと、動き補正していないフィールド間差分値ＦＤとの比較により、これらフィールド間差分値が小さくなる側となるように、動きベクトル検出回路４で生成された前フィールド及び現フィールドの動き補正用の動きベクトルＶａ及びＶｂが直接に、または値０に補正されて遅延回路１５、１６に出力される。

すなわち動き補正によるフィールド間差分値ＤＦＤの方が小さい場合には、動きベクトル検出回路４で生成された前フィールド及び現フィールドの動き補正用の動きベクトルＶａ及びＶｂが遅延回路１５、１６に出力されるのに対し、動き補正していないフィールド間差分値ＦＤの方が小さい場合には、動きベクトルを値０に補正して遅延回路１５、１６に出力され、これによりそれぞれ動画、静止画に対応するフィールド間内挿処理により、ビデオ信号Ｓ１のフィールド数が変換される。

このビデオ信号処理装置１では、このようにして動きベクトルＶａ、Ｖｂを処理する際に、動き補正によるフィールド間差分値ＤＦＤが所定値βより大きい場合には、このフィールド間差分値ＤＦＤが動き補正していないフィールド間差分値ＦＤより小さい場合でも、検出された動きベクトルＶａ、Ｖｂを値０に設定して遅延回路１５、１６に出力され、これにより例えばそれまで背景に隠されていた領域、シーンチェジンジ等の場面について、動き補正しないようにしてフィールド間内挿により内挿フィールドが生成される。これによりこのビデオ信号処理装置１では、従来に比して画像歪みを低減することができるようになされている。

（３）実施例の効果
以上の構成によれば、動き補正によるフィールド間差分値が動き補正していないフィールド間差分値より小さい場合に、動き補正によるフィールド間差分値が判定基準値以上の場合、動きベクトルを所定値に設定することにより、動きベクトルを用いた動き内挿処理等において、動きベクトルの誤検出による画像歪みを低減することができる。

またこのときこれらのフィールド間差分値を、フィールド間差分の絶対値和により検出することにより、簡易かつ確実にこれらフィールド間差分値を検出して比較することができる。

また動き補正によるフィールド間差分値が判定基準値以上の場合に設定する動きベクトルの所定値が値０であることにより、動画と静止画とで処理を切り換えることができる。

またこのようにして補正してなる動きベクトルにより、動き補正した後、フィールド間内挿処理して内挿フィールドを作成することにより、フィールド数の変換に適用して、動きベクトルの誤検出による画像歪みを低減することができる。

なお上述の実施例においては、フィールド間差分の絶対値和によりフィールド間差分値を検出する場合について述べたが、本発明はこれに限らず、例えばフィールド間差分の２乗和によりフィールド間差分値を検出する場合等、種々の検出手法を広く適用することができる。

また上述の実施例においては、フィールド数の変換に係るフォーマット変換に本発明を適用する場合について述べたが、本発明はこれに限らず、フレーム数の変換処理に係るフォーマット変換にも適用することができ、さらにはインターレスとノンインターレスとに係るフォーマット変換におけるフィールド間内挿処理、動きベクトルを用いたノイズ低減処理、高能率符号化装置におけるフィールド内挿画像の生成処理等、動きベクトルを用いた内挿処理に広く適用することができる。

本発明は、ビデオ信号処理装置及びビデオ信号の処理方法に関し、例えばフォーマット変換装置に適用することができる。

本発明の実施例１に係るビデオ信号処理装置を示すブロック図である。 図１のビデオ信号処理装置の動き判定回路を示すブロック図である。 図２の動き判定回路の動作の説明に供する図表である。 動きベクトルの誤検出の説明に供する平面図である。 画像歪みの説明に供する略線図である。

符号の説明

１……ビデオ信号処理装置、３、１４……１フィールド遅延回路、４……動きベクトル検出回路、５、７、８、１０、１５、１６……遅延回路、６、９……偏位回路、１１……動き判定回路、１７……動き内挿回路

Claims (5)

1. 動きベクトルによりビデオ信号を処理するビデオ信号処理装置において、
   連続するフィールド又はフレームを前記ビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、
   前記連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、
   前記動き補正によるフィールド間差分値又はフレーム間差分値と、前記動き補正していないフィールド間差分値又はフレーム間差分値との比較により、前記動きベクトルを所定値に設定し、
   前記動き補正によるフィールド間差分値又はフレーム間差分値が前記動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、前記動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、前記動きベクトルを所定値に設定する
   ことを特徴とするビデオ信号処理装置。
2. 前記動き補正によるフィールド間差分値又はフレーム間差分値と、前記動き補正していないフィールド間差分値又はフレーム間差分値との比較を、一定領域における前記動き補正によるフィールド間差分又はフレーム間差分の絶対値和と、前記一定領域における動き補正していないフィールド間差分又はフレーム間差分の絶対値和との比較により実行する
   ことを特徴とする請求項１に記載のビデオ信号処理装置。
3. 前記所定値が、値０である
   ことを特徴とする請求項１又は請求項２に記載のビデオ信号処理装置。
4. 前記動きベクトルにより、前記フィールド又はフレームを動き補正した後、フィールド間又はフレーム間で内挿処理して内挿フィールド又は内挿フレームを作成することによりフィールド数又はフレーム数を変換する
   ことを特徴とする請求項１、請求項２又は請求項３に記載のビデオ信号処理装置。
5. 動きベクトルによりビデオ信号を処理するビデオ信号の処理方法において、
   連続するフィールド又はフレームを前記ビデオ信号から検出された動きベクトルの分だけ動き補正して、フィールド間差分値又はフレーム間差分値を検出することにより、動き補正によるフィールド間差分値又はフレーム間差分値を検出し、
   前記連続するフィールド又はフレームを動き補正することなくフィールド間差分値又はフレーム間差分値を検出することにより、動き補正していないフィールド間差分値又はフレーム間差分値を検出し、
   前記動き補正によるフィールド間差分値又はフレーム間差分値と、前記動き補正していないフィールド間差分値又はフレーム間差分値との比較により、前記動きベクトルを所定値に設定し、
   前記動き補正によるフィールド間差分値又はフレーム間差分値が前記動き補正していないフィールド間差分値又はフレーム間差分値より小さい場合でも、前記動き補正によるフィールド間差分値又はフレーム間差分値が判定基準値以上の場合、前記動きベクトルを所定値に設定する
   ことを特徴とするビデオ信号の処理方法。
   

Images