JP4304911B2 - 動きベクトル検出装置及び方法 - Google Patents
動きベクトル検出装置及び方法 Download PDFInfo
- Publication number
- JP4304911B2 JP4304911B2 JP2002108319A JP2002108319A JP4304911B2 JP 4304911 B2 JP4304911 B2 JP 4304911B2 JP 2002108319 A JP2002108319 A JP 2002108319A JP 2002108319 A JP2002108319 A JP 2002108319A JP 4304911 B2 JP4304911 B2 JP 4304911B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- motion vector
- adjacent
- sum
- polarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動きベクトル修正装置及び方法に関し、特にブロックマッチング法において本来の動きに適合させた動きベクトルを検出可能な動きベクトル検出装置及び方法に関する。
0
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、テレビジョン受像機側において、入力画像信号に動き補償型のフィールド周波数変換や走査変換を施すことにより、画面全体がちらついて見える面フリッカ妨害を抑え、動きのスムーズな変換画像を得ることができる。
【０００３】
上述の動き補償型の変換を行うためには、入力された画像信号において、現フィールドである参照フィールドと、現フィールドから１フレーム前の基準フィールドとの間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。そして、基準フィールドと参照フィールドの中間に位置する動き補正フィールドにおいて、求めた動きベクトルに基づき画素をシフトさせる。ちなみに、この動きベクトルの検出は、一般に実用化されている方式として、ブロックマッチング法が一般的に用いられている。
【０００４】
このブロックマッチング法では、図１４に示すように、基準フィールド８０を複数の基準ブロック１０１に分割し、基準フィールド８０における基準ブロック１０１と最も高い相関度を示すブロックを、参照フィールド９０における探索範囲１０４内を移動する探索ブロック１０３から検出する。そして当該検出された探索ブロック１０３と基準ブロック１０１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【０００５】
上述の相関度の判定は、先ず探索ブロック１０３の各画素値について、基準ブロック１０１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック１０３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック１０３を、基準ブロック１０１と最も高い相関度を示すブロックとし、かかるブロックの原点の画素１１３と、基準ブロック１０１の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【０００６】
次に、この求めた動きベクトルのベクトル量、ベクトル方向に基づき、画素をシフトさせる量やシフト方向を決定する。そして基準フィールド８０、参照フィールド９０の中間に位置する動き補正フィールド１００において、基準ブロックの原点の画素位置から決定したシフト量等に応じて画素をシフトさせる（或いは、画素１１３の画素位置からシフト量の分だけ、シフト方向へ画素をシフトさせる）。ここで、シフト量を、動きベクトルのベクトル量の１／２とすれば、動き補正フィールド１００においてシフトさせる画素の画素位置は、基準フィールド８０における画素位置と、参照フィールド９０における画素位置の中央になる。すなわち、基準フィールド８０から参照フィールド９０へ続く画素の動きがスムーズになるような、動き補正フィールドを挿入することができるため、画面品質の劣化を防止したインタレース画像を作り出すことが可能となる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来のブロックマッチング法は、画面全体に表示される本来の画像の動きに関係なく、単に基準ブロックと誤差の総和が最小となる探索ブロックを最優先して動きベクトルを求めるため、実際の画像の動きと無関係な動きベクトルが求まり、変換画像の画質が劣化する場合がある。
【０００８】
0 また例えば、図１５(a)に示すように、殆ど左右対称なラインαと、ラインβの二つの縦ラインを有する”ｕ”の文字を右から左へ水平方向にシフトさせる場合に、原点に存在するラインαを構成する一の画素につき差分絶対値和を求めると、図１５(b)に示すように、極小点が２箇所生じる。これは原点に存在するラインαを構成する画素２０１が、参照フィールド上においてＡの位置２０２と相関度が高く、またラインβを構成する画素が参照フィールド上においてＢの位置２０３と相関度が高いため、Ａ，Ｂ２箇所で差分絶対値和が小さくなるためである。
【０００９】
このため、”ｕ”の左右対称な文字を右から左へ水平方向にシフトさせる場合に、従来のブロックマッチング同様に動きベクトルを求めると、最小となる差分絶対値和を示す画素としてＡの位置にシフトしたラインαを構成する画素以外に、Ｂの位置にシフトしたラインβの画素が求まる場合もあり、動きベクトルの方向が局所的に逆転する。
【００１０】
従って、殆ど左右対称な”ｕ”や”Ｈ”等の文字について、動きベクトルの水平成分を揃えることにより、画質の劣化を抑える必要があり、特に情報を水平方向へ随時シフトさせるケースが増えた近年のテレビジョン放送において、かかる画質改善の要請は高まっている。
【００１１】
更に、ブロックマッチング法の下、求める動きベクトルを実際の画像の動きに適合するようにしても、全体的に動きベクトルがばらつく場合もあり、領域単位での処理破綻の原因となる。このため、実際の画像の動きと無関係な動きベクトルのベクトル方向を修正することにより、動きベクトルのばらつきを解消する必要があった。
【００１２】
そこで本発明は、上述したような実情に鑑みて提案されたものであり、実際の画像の動きに適合した動きベクトルを求めることができる動きベクトル検出装置及び方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、上述の課題を解決するため、入力される参照フィールドから１フレーム前の基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算する演算手段と、上記演算した差分絶対値和の中から上記探索範囲において最小となる差分絶対値和と画素位置と、ライン極小値と称する上記探索範囲の垂直成分に対応する水平ライン毎に最小となる差分絶対値和と画素位置とを識別し、探索範囲において最小となる上記差分絶対値和と、基準画素の垂直負方向に隣接する画素の動きベクトルの垂直成分に対応するライン極小値との差分絶対値を求め、比較する比較手段と、上記比較手段により求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの垂直成分を、上記隣接する画素の動きベクトルの垂直成分に合致するように特定し、上記基準画素における動きベクトルの水平成分を、特定した上記垂直成分に対応するライン極小値をもつ画素位置の水平成分に特定し、上記比較手段により求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定する第１の動きベクトル特定手段と、上記演算した差分絶対値和から上記探索範囲内において、上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和の最小値と画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標を識別する識別手段と、上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なるかどうかを判定し、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が小さいかどうかを判定する判定手段と、上記判定手段により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なり、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値以下と判定したとき、上記隣接する画素の動きベクトルの水平成分が正の極性を持つ場合は上記正領域の差分絶対値和の最小値となる画素の座標を上記基準画素の動きベクトルと特定し、上記隣接する画素の動きベクトルの水平成分が負の極性を持つ場合は上記負領域の差分絶対値和の最小値となる画素の座標を上記基準画素の動きベクトルと特定し、上記判定手段により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と同じ、又は、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値よりも大きいと判定したときは、上記探索範囲内において最小となる差分絶対値和を示す画素の位置を上記基準画素の動きベクトルと特定する第２の動きベクトル特定手段と、上記第１の動きベクトル特定手段により特定された基準画素の動きベクトルと、上記第２の動きベクトル特定手段により特定された基準画素の動きベクトルのうち、いずれか一の動きベクトルを選択するベクトル選択手段とを備えることを特徴とする。
【００１４】
また、本発明は、上述の課題を解決するため、入力される参照フィールドから１フレーム前の基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算し、上記演算した差分絶対値和の中から上記探索範囲において最小となる差分絶対値和と画素位置と、ライン極小値と称する上記探索範囲の垂直成分に対応する水平ライン毎に最小となる差分絶対値和と画素位置とを識別し、探索範囲において最小となる上記差分絶対値和と、基準画素の垂直負方向に隣接する画素の動きベクトルの垂直成分に対応するライン極小値との差分絶対値を求め、比較し、上記比較した結果、上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの垂直成分を、上記隣接する画素の動きベクトルの垂直成分に合致するように特定し、上記基準画素における動きベクトルの水平成分を、特定した当該垂直成分に対応するライン極小値をもつ画素位置の水平成分に特定し、上記比較した結果、上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定した第１の動きベクトルと、上記演算した差分絶対値和から上記探索範囲内において、上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和の最小値と画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なるかどうかを判定し、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が小さいかどうかを判定し、上記判定により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なり、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値以下と判定したとき、上記隣接する画素の動きベクトルの水平成分が正の極性を持つ場合は上記正領域の差分絶対値和の最小値となる画素の座標を上記基準画素の第２の動きベクトルと特定し、上記隣接する画素の動きベクトルの水平成分が負の極性を持つ場合は上記負領域の差分絶対値和の最小値となる画素の座標を上記基準画素の第２動きベクトルと特定し、上記判定により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と同じ、又は、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値よりも大きいと判定したときは、上記探索範囲内において最小となる差分絶対値和を示す画素の位置を上記基準画素の第２の動きベクトルと特定し、上記特定された第１の動きベクトルと、上記特定された第２の動きベクトルの動きベクトルのうち、いずれか一の動きベクトルを選択することを特徴とする。
【００１５】
この動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布傾向を識別し、基準画素の垂直負方向に隣接する画素について予め識別された差分絶対値和の分布傾向と比較した上で、第１の動きベクトルを隣接する画素の動きベクトルに応じて特定し、また基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布の傾向及び探索範囲内において差分絶対値和が最小となる画素についての基準画素の左側に隣接する画素の動きベクトルに基づく相対的な位置に応じて第２の動きベクトルを特定し、特定された第１の動きベクトル及び第２の動きベクトルの動きベクトルのうちいずれか一の動きベクトルを選択する。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００１７】
本発明は、例えば入力画像信号に対して補間処理を施すことにより、奇数番目の走査線から構成されるフィールド画像と偶数番目の走査線から構成されるフィールド画像により１枚のインタレース画像を形成するテレビジョン受像機に内蔵される。
【００１８】
図１は、本発明を適用した動きベクトル検出装置１の構成図を示している。この動きベクトル検出装置１は、画像格納用メモリ１１と、誤差演算部１２と、比較処理部１３と、第１の動きベクトル検出部１４と、識別処理部１５と、第２の動きベクトル検出部１６と、ベクトル選択部１７と、ベクトル格納用メモリ１８と、動きベクトル修正部１９と、動きベクトル検出装置１全体の制御等を行なう制御部２０とを備えている。
【００１９】
画像格納用メモリ１１は、順次供給される入力画像信号を所定のアドレスに格納する。
【００２０】
誤差演算部１２は、画像格納用メモリ１１に格納されている入力画像信号において制御部２０から受け取った座標を原点とする画素ブロックを切り出して、ブロック毎の差分絶対値和を順次演算する。またこの誤差演算部１２は、演算した差分絶対値和を比較処理部１３及び識別処理部１５へ送信する。
【００２１】
比較処理部１３は、誤差演算部１２から送信されたブロック毎の差分絶対値和の分布傾向等を識別する。
【００２２】
第１の動きベクトル検出部１４は、比較処理部１３における識別結果に応じて、一の動きベクトルを特定する。この第１の動きベクトル検出部１４により特定された動きベクトルを、以下第１の動きベクトルと称する。
【００２３】
識別処理部１５は、誤差演算部１２から送信されたブロック毎の差分絶対値和の分布傾向等を識別する。
【００２４】
第２の動きベクトル検出部１６は、識別処理部１５における識別結果に応じて、一の動きベクトルを特定する。この第２の動きベクトル検出部１６により特定された動きベクトルを、以下第２の動きベクトルと称する。
【００２５】
ベクトル選択部１７は、第１の動きベクトル検出部１４から送信される第１の動きベクトルと、第２の動きベクトル１６から送信される第２の動きベクトルのうちいずれか一の動きベクトルを選択する。ベクトル選択部１７は、この選択した動きベクトルをベクトル格納用メモリ１８へ送信する。
【００２６】
ベクトル格納用メモリ１８は、ベクトル選択部１７により送信された動きベクトルを各画素毎に格納する。ちなみに、このベクトル格納用メモリ１８に格納された動きベクトルは、第１の動きベクトルや第２の動きベクトルに読み出される場合もある。
【００２７】
動きベクトル修正部１９は、画素毎に求められた動きベクトルの中から、動きベクトルのばらつき具合を精査し、実際の画像の動きと無関係な動きベクトルが求められている画素（以下、この画素を修正画素と称する）の動きベクトルを修正する。なお本発明に係る動きベクトル検出装置１は、この動きベクトル修正部１９を割愛した構成を採用しても良い。
【００２８】
次に本発明を適用した動きベクトル検出装置１の動作について説明する。先ず誤差演算部１２の動作について説明をする。図２は、画像格納用メモリ１１に書き込まれる画像信号としての現フィールドである参照フィールドと、現フィールドから１フレーム前の基準フィールド３０の位置関係を示している。基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索ブロック５３はそれぞれ、Ｍ×Ｎの画素のサイズで表される。探索ブロック５３の探索範囲５４は任意に設定される。
【００２９】
誤差演算部１２は、基準フィールド３０を複数の基準ブロック５１に分割し、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索範囲５４内を移動する探索ブロック５３との間で相関度を判定する。相関度の判定は、先ず探索ブロック５３の各画素値について、基準ブロック５１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定を探索範囲５４内の全ての探索ブロック５３について行い、差分絶対値和を順次演算する。
【００３０】
次に比較処理部１３及び第１の動きベクトル検出部１４の動作について説明する。この比較処理部１３及び第１の動きベクトル検出部１４は、上述のブロックマッチングにより求めた差分絶対値和に基づき、以下のコンセプトから第１の動きベクトルを特定する。
【００３１】
図３は、探索範囲５４内に割り当てられた全探索ブロック５３について求めた差分絶対値和の分布傾向の一例を示している。この図３より、差分絶対値和の大きい領域は、基準ブロック５１と探索ブロック５３との画素値が著しく異なる領域である。一方、凹部を形成している差分絶対値の小さい領域は、基準ブロック５１と探索ブロック５３との画素値の相関度が高い領域である。すなわち画素値の相関度が高い領域に対して動きベクトルを特定することで、高画質化、高解像度化を実現することができる。
【００３２】
探索範囲５４は、垂直成分（ｙｓ）に対応した水平ラインが割り当てられている。各水平ラインは、それぞれ差分絶対値の極小値を有し、これらの極小値が上述した差分絶対値の低い領域を形成している。以下、これらの水平ライン毎の極小値をライン極小値と称する。
【００３３】
また、通常のブロックマッチング同様に探索範囲５４全体の中から特定した差分絶対値和の極小値を領域極小値と称する。すなわち各ライン極小値の中で最小となる差分絶対値和は、この領域極小値に相当する。図３において示されるように、黒丸で示した領域極小値は、他のライン極小値と比較しても大差無い。このため、この領域極小値を示す画素の代わりに、ライン極小値を示す画素について、基準ブロック５１の原点の画素との間で動きベクトルを特定しても、画質や解像度にほとんど影響が及ばないことになる。
【００３４】
従って、第１の動きベクトル検出部１４は、かかる性質に着目し、ライン極小値を有する画素の中から本来の画像の動きに最も適合する画素を選択し、基準ブロック５１の原点の画素との間で第１の動きベクトルを特定する。
【００３５】
次に、第１の動きベクトルを検出する手順について、図４を用いて詳細に説明する。
【００３６】
先ずステップＳ１１において、誤差演算部１２において求められた差分絶対値和を順次抽出する。探索範囲５４内部を移動する全ての探索ブロック５３につき差分絶対値和を抽出した後、ステップＳ１２に移行する。
【００３７】
ステップＳ１２では、算出した差分絶対値和の中から先ず領域極小値を選び出し、当該領域極小値を示す画素の座標を特定する。
【００３８】
次にステップＳ１３へ移行し、算出した差分絶対値和の中から、水平ライン毎にライン極小値を選び出し、当該ライン極小値を示す画素の座標を特定する。
【００３９】
次にステップＳ１４へ移行し、基準ブロック５１の原点の画素から垂直負方向に隣接する画素（以下、この画素を隣接画素と称する）に基づいて本来の画像の動きを識別するため、動きベクトルに関する情報を取得する。すなわち、この隣接画素の動きベクトル、及び当該動きベクトルに基づくライン極小値を、隣接画素情報として取得することにより、本来の画像の動きを識別することができる。ちなみに、この隣接画素の動きベクトルに基づくライン極小値は、隣接画素と、隣接画素から動きベクトル分ずらした（参照フィールド４０における）水平ラインにおけるライン極小値である。以下このライン極小値を、候補ライン極小値Ｋと称する。
【００４０】
次にステップＳ１５に移行し、先ず候補ライン極小値Ｋと領域極小値との差分絶対値を求める。基準ブロック５１の原点の画素の動きベクトルを、隣接画素の動きベクトルに合わせることにより、本来の画像の動きに適合させるためには、基準ブロック５１の原点の画素と隣接画素の動きのパターンが類似している必要がある。このためには、両者のライン極小値の配列傾向（差分絶対値和の分布傾向）が類似していることが条件となる。このライン極小値の配列傾向が類似しているか否か判別するために、候補ライン極小値Ｋと領域極小値の差分絶対値を求めて比較を行う。
【００４１】
このステップＳ１５において、求めた候補ライン極小値Ｋと領域極小値との差分絶対値が所定の閾値より大きい場合には、隣接画素と、基準ブロック５１の原点の画素におけるライン極小値の配列傾向が異なることを示唆しており、かかる場合にはステップＳ１６へ移行する。また求めた候補ライン極小値Ｋと領域極小値との差分絶対値がが所定の閾値より小さい場合には、隣接画素と、基準ブロック５１の原点の画素におけるライン極小値の配列傾向が類似していることを示唆しており、かかる場合にはステップＳ１７に移行する。なお、この所定の閾値は、動きベクトルのばらつき具合を考慮して任意に設定される。
【００４２】
ステップＳ１６に移行した場合には、隣接画素の動きベクトルに合わせても本来の画像の動きに適合させることができないため、通常のブロックマッチング法と同様に、基準ブロック５１と最も高い相関度を示す探索ブロック５３により動きベクトルを求める。すなわち、領域極小値を有する画素と、基準ブロック５１の原点の画素との間で求める動きベクトルを特定する。
【００４３】
ステップＳ１７に移行した場合に、求める第１の動きベクトルを隣接画素の動きベクトルに合わせる。すなわち、求める第１の動きベクトルの水平成分、垂直成分をそれぞれ（Ｖｘ、Ｖｙ）とし、また隣接画素の動きベクトルの水平成分、垂直成分をそれぞれ（Ｖｘｕ、Ｖｙｕ）としたときに、Ｖｙについては、Ｖｙ＝Ｖｙｕとなるように設定する。すなわち、原点の座標から垂直方向にＶｙだけ移動させた水平ライン上においてライン極小値を有する画素へ動くように動きベクトルを合わせる。図５に示す例において、Ｖｙｕ＝＋１である場合には、原点の座標からＶｙだけ移動させた水平ラインは、ｙｓ＝＋１の水平ラインである。この水平ラインにおけるライン極小値を有する画素の水平成分は、ｘｓ＝−２である。従って、動きベクトルは、水平成分Ｖｘが−２であり垂直成分Ｖｙが＋１として特定されることとなる。
【００４４】
すなわち、第１の動きベクトル検出部１４は、求める第１の動きベクトルの垂直成分を隣接画素の動きベクトルに合致させ、求める第１の動きベクトルの水平成分を、特定した垂直成分に対応する水平ライン上においてライン極小値を有する画素に応じて求める。この第１の動きベクトルを求めることにより、動きベクトルそのもののばらつきを解消することにより本来の画像の動きに適合させることができるため、動きベクトルのばらつきを抑えることができ、ひいては変換画像の劣化を防止することができる。
【００４５】
次に識別処理部１５及び第２の動きベクトル検出部１６の動作について説明する。この識別処理部１５及び第２の動きベクトル検出部１６は、上述のブロックマッチング法により求めた差分絶対値和に基づき、以下のコンセプトから第２の動きベクトルを特定する。
【００４６】
本来の画像の動きを識別するために、左隣の画素の動きベクトルを本来の画像の動きを識別するためのパラメータとして読み出す。そして図６に示すように、動きベクトルを求める画素３５（基準ブロック５１の原点の画素）の左隣に位置する画素３４において求められている動きベクトルが正確なものであると仮定する。実際には、画素３５の動きベクトルの方向を、該左隣に位置する画素３４の動きベクトルに合わせる。このようにして求められた画素３５の動きベクトルも正確なものとなるため、さらに画素３６の動きベクトルを求める際に、画素３５を参酌することができ、動きベクトルの正確性を担保することが可能となる。
【００４７】
次に第２の動きベクトルを特定する手順について図７に基づいて詳細に説明する。まずステップＳ２１において、誤差演算部１２において求められた差分絶対値和を抽出する。このステップＳ２１において、探索範囲５４内部を移動する全ての探索ブロック５３につき差分絶対値和を抽出した後、ステップＳ２２に移行する。
【００４８】
ステップＳ２２では、探索範囲５４において領域極小値を示す画素を選別し、当該画素の座標を特定する。この領域極小値を示す画素の座標を（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）とする。
【００４９】
次にステップＳ２３へ移行し、図６に示すように、探索範囲５４を、基準ブロックの原点の画素３５を中心とした正領域５６と、負領域５７に分割する。そして分割した正領域５６と負領域５７毎に、差分絶対値和の極小値を選別し、当該画素の座標を特定する。以下、差分絶対値和の正領域における極小値を正領域極小値と称し、また差分絶対値和の負領域の極小値を負領域極小値と称する。すなわち、求めた領域極小値は、正領域極小値或いは負領域極小値のいずれかと一致することとなる。
【００５０】
次にステップＳ２４へ移行し、基準ブロック５１の原点の画素３５の左隣の画素３４において求められた動きベクトルの情報を取得する。すなわち、この左隣の画素３４の動きベクトル、及び当該動きベクトルに基づく差分絶対値和を、隣接画素情報として取得することにより、本来の画像の動きを識別することができる。
【００５１】
次にステップＳ２５へ移行し、領域極小値を示す画素の位置を、画素３４において求められた動きベクトルに基づき、相対的に判定する。具体的には、領域極小値を示す画素のｘ座標（ｘｓ＿ｍｉｎ）と、画素３４において求められた動きベクトルの水平成分（以下、Ｖｘ＿ｌと称する）との積を求め、正か負かを識別することにより、両者の位置関係を把握する。
【００５２】
図８の例は、左隣の画素３４の動きベクトルにおける水平成分Ｖｘ＿ｌが、負の極性を有する場合について示している。ここで領域極小値を示す画素のｘｓ＿ｍｉｎの極性が負の場合には、正確性が担保された左隣の画素３４の動きベクトルと水平成分が揃う。このため、かかる領域極小値を示す画素と原点の画素３４との間で動きベクトルを特定しても動きベクトルがばらつくことはなくなる。従って、求めた積が０以上の場合は、ステップＳ２６へ移行し、通常のブロックマッチング法と同様に動きベクトルを求める。なお、水平成分Ｖｘ＿ｌが、正の極性を有する場合についても同様に積を求めることにより、両者の位置関係を把握することができる。
【００５３】
一方、領域極小値を示す画素の水平成分ｘｓ＿ｍｉｎの極性が正の場合には、図９に示すように、左隣の画素３４の動きベクトルと水平成分が逆方向になるため、ステップＳ２８へ移行し、以下に説明するように動きベクトルを特定することで両者の水平成分を揃える。これにより、正領域極小値或いは負領域極小値を有する画素の中から、左隣の画素３４における動きベクトルの水平成分に適合する画素を選択し、原点の画素３５との間で動きベクトルを特定することができる。
【００５４】
すなわち、このステップＳ２８以下に示す動きベクトルの特定において、原点の画素３５との間で動きベクトルを求める画素を、正領域極小値或いは負領域極小値を示す画素のいずれから選び出す。そして選び出した負領域極小値或いは正領域極小値を示す画素と、原点の画素３５との間で動きベクトルを特定する。なお、正領域極小値を示す画素或いは負領域極小値を示す画素から一の画素を選び出すため、両者間の差分絶対値和の格差が小さいことが望ましい。このため、ステップＳ２７において、正領域極小値と負領域極小値を比較し、格差が小さい場合のみステップＳ２８へ移行し、上述の動きベクトルの特定を行なっても良い。なお、この正領域極小値と負領域極小値の比較は、例えば、正領域極小値と負領域極小値の差分絶対値を求め、当該差分絶対値が閾値を下回る場合のみにステップＳ２８へ移行しても良い。
【００５５】
ステップＳ２８以下における動きベクトルの特定は、具体的に次の手順により行う。先ずＶｘ＿ｌが０以上か否か判定する。Ｖｘ＿ｌが０以上の場合には、正領域極小値を示す画素の座標を、上述の領域最小値を示す画素の座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）として定義し直す。一方、Ｖｘ＿ｌが０より小さい場合には、負領域極小値を示す画素の座標を、上述の領域最小値を示す画素の座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）として定義し直す。
【００５６】
ステップＳ２９では、定義し直した座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）と原点の座標との間で動きベクトルを特定する。
【００５７】
ちなみに、求めた差分絶対値が閾値を越える場合において上述したステップＳ２８,２９の処理を進めると却って画質の低下等の不都合を生じるため、ステップＳ２６へ移行して、通常のブロックマッチング法と同様に動きベクトルを求める。
【００５８】
すなわち、この第２の動きベクトル検出部１６は、正領域極小値或いは負領域極小値を有する画素の中から、左隣の画素３４の水平成分の極性に適合する画素を選択し、当該選択した画素と原点の画素との間で第２の動きベクトルを求める。この第２の動きベクトルを求めることにより、差分絶対値和の極小点が複数生じるような、左右対称な"ｕ"や"Ｈ"の文字等についても動きベクトルの水平成分を揃えることができ、画質の劣化を抑えることが可能となり、ひいては情報を水平方向へ随時シフトさせる場合が増えた近年の放送のニーズに応えることができる。
【００５９】
ちなみに、ベクトル選択部１７は、上述のように求められた第１の動きベクトル及び第２の動きベクトルのうち、所定の優先順位に従って一のベクトルを選択する。この所定の優先順位を、例えば本来の画像の動きに適合するような動きベクトルを優先して選択するようにすれば、更に動きベクトルのばらつきを解消することができ、更なる高画質化を期待することができる。
【００６０】
次に、動きベクトル修正部１９の処理手順について図１０を用いて説明する。すなわち、この図１０に示す処理手順では、各画素毎に選択された動きベクトルが格納されているベクトル格納用メモリ１８から、実際の画像の動きと無関係な動きベクトルが求められている画素（以下、この画素を修正画素と称する）を抽出し、当該修正画素に隣接する修正隣接画素の動きベクトルに適合させるものである。
【００６１】
まず、動きベクトル修正部１９は、ステップＳ３１において各変数を初期化し、次にステップＳ３２において、図１１に示す隣接画素Ａ〜Ｈの中から最初の修正隣接画素（例えば修正隣接画素Ａ）における動きベクトルを抽出する。
【００６２】
次に、動きベクトル修正部１９は、ステップＳ３３において、修正隣接画素における動きベクトルの水平成分の極性Ｖｘ＿ｉを識別し、当該極性がプラスであればステップＳ３４へ移行し、当該極性がマイナスであればステップＳ３５へ移行する。
【００６３】
ステップＳ３４において、動きベクトル修正部１９は、図示しないカウンタＣｎｔ＿ｐに１を加算し、また抽出した動きベクトルの水平成分を、修正隣接画素の水平成分の和Ｖｘ＿ａｖｅ＿ｐへ、また当該動きベクトルの垂直成分を垂直成分の和Ｖｙ＿ａｖｅ＿ｐへ加算し、ステップＳ３６へ移行する。
【００６４】
ステップＳ３５において、動きベクトル修正部１９は、図示しないカウンタＣｎｔ＿ｍに１を加算し、また抽出した動きベクトルの水平成分を、修正隣接画素の水平成分の和Ｖｘ＿ａｖｅ＿ｍへ、当該動きベクトルの垂直成分を垂直成分の和Ｖｙ＿ａｖｅ＿ｍへ加算し、ステップＳ３６へ移行する。
【００６５】
ステップＳ３６において、動きベクトル修正部１９は、ステップＳ３３で識別した修正隣接画素が、抽出すべき隣接画素Ａ〜Ｈのうち最後の修正隣接画素か否か識別する。最後の修正隣接画素であればステップＳ３８へ移行する。最後の修正隣接画素でなければステップＳ３７へ移行する。
【００６６】
ステップＳ３７において、動きベクトル修正部１９は、次の修正隣接画素の動きベクトル（例えば修正隣接画素Ｂ）を抽出し、再度ステップＳ３３へ移行する。このルーチンを組むことにより、図１１に示す修正隣接画素Ａ〜Ｈ全てについて動きベクトルの識別をすることが可能となる。また修正隣接画素Ａ〜Ｈ全てについて動きベクトルを識別して、ステップＳ３８に移行する際には、カウンタＣｎｔ＿ｐにおいて、動きベクトルの水平成分の極性がプラスである修正隣接画素の個数が、またカウンタＣｎｔ＿ｍにおいて、動きベクトルの水平成分の極性がマイナスである修正隣接画素の個数が示されることとなる。さらに、動きベクトルの水平成分の極性がプラスである修正隣接画素における水平成分の和Ｖｘ＿ａｖｅ＿ｐ、垂直成分の和Ｖｙ＿ａｖｅ＿ｐが求められており、また動きベクトルの水平成分の極性がマイナスである修正隣接画素における水平成分の和Ｖｘ＿ａｖｅ＿ｍ、垂直成分の和Ｖｙ＿ａｖｅ＿ｍが求められることになる。
【００６７】
ちなみに、ステップＳ３７において、修正隣接画素Ａ〜Ｈの抽出する順は時計回り、或いは反時計回りであっても良いし、ランダムであっても良い。また抽出する修正隣接画素は、修正隣接画素Ａ〜Ｈ全て抽出しなくても良く、例えば、上段の修正隣接画素Ａ〜Ｃ、修正隣接画素Ｂ,Ｄ,Ｅ、又は、修正隣接画素Ａ,Ｂ,Ｃ,Ｄ,Ｅであっても良い。
【００６８】
ステップＳ３８に移行すると、動きベクトル修正部１９は、カウンタＣｎｔ＿ｐとカウンタＣｎｔ＿ｍの数値を比較する。その結果、カウンタＣｎｔ＿ｐがより大きい場合には、修正隣接画素のうち、動きベクトル水平成分の極性がプラスである修正隣接画素の方が多いことが示され、ステップＳ３９へ移行する。また、カウンタＣｎｔ＿ｍがより大きい場合には、修正隣接画素のうち、動きベクトルの水平成分の極性がマイナスである修正隣接画素の方が多いことが示され、ステップＳ４０へ移行する。
【００６９】
ステップＳ３９では、動きベクトルの水平成分の極性がプラスである修正隣接画素に基づき、基準画素における修正動きベクトルを求める。この修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）は、水平成分の極性がプラスである修正隣接画素の各成分の平均値とする。具体的には以下の式に基づき算出する。
【００７０】
Ｖｘ＿ｎ＝Ｖｘ＿ａｖｅ＿ｐ／Ｃｎｔ＿ｐ
Ｖｙ＿ｎ＝Ｖｙ＿ａｖｅ＿ｐ／Ｃｎｔ＿ｐ
また、ステップＳ４０では、動きベクトルの水平成分の極性がマイナスである修正隣接画素に基づき、基準画素における修正動きベクトルを求める。この修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）は、水平成分の極性がマイナスである修正隣接画素の各成分の平均値とする。具体的には以下の式に基づき算出する。
【００７１】
Ｖｘ＿ｎ＝Ｖｘ＿ａｖｅ＿ｍ／Ｃｎｔ＿ｍ
Ｖｙ＿ｎ＝Ｖｙ＿ａｖｅ＿ｍ／Ｃｎｔ＿ｍ
すなわち、動きベクトル修正部１９は、上述した図１０に示す処理手順を踏むことにより、修正画素の動きベクトルを、修正隣接画素の動きベクトルのベクトル方向をカウントし、多数の修正隣接画素が示すベクトル方向に合うように修正することができる。換言すれば、修正画素の周囲に位置する修正隣接画素の動きベクトルの方向を多数決し、多い方の動きベクトルの方向を実際の画像の動きであるものと推定して、修正画素の動きベクトルのベクトル方向を修正することができる。また、ベクトル選択部１７により、求める動きベクトルを実際の画像の動きに適合するようにしても、全体的に動きベクトルがばらつく場合に、ベクトルの方向を修正することができる。これにより、求められる動きベクトルのばらつきを更に解消することが可能となり、ひいては変換画像の劣化を防止することができる。
【００７２】
ちなみに本発明は、画素単位の処理に限定されるものではなく、ブロック単位の処理にも適用可能である。この場合、基準画素位置を所定の画素数からなる基準ブロックに代替し、また隣接画素位置を所定の画素数からなり、基準ブロックに隣接する隣接ブロックに代替しても良い。
【００７３】
なお、本発明を適用した動きベクトル検出装置１は、上述した実施の形態に限定されるものではない。例えば図１２に示すように、誤差演算部１２の代替として、制約項演算部２２を設けても良い。
【００７４】
制約項演算部２２は、画像格納用メモリ１１に格納されている入力画像信号から制御部２０から受け取った座標を原点とする画素ブロックを切り出し、例えばブロックマッチング法等に基づき、ブロック毎の差分絶対値和を順次演算する。また、この制約項演算部２２は、探索ブロック５３を構成する画素の位置、及び基準画素に隣接する画素の動きベクトルに基づいて制約項を算出し、当該制約項を差分絶対値和に加算する。
【００７５】
ちなみに、この制約項は以下のコンセプトに基づいて求められる。本来の画像の動きを識別するために、左隣の画素の動きベクトルを本来の画像の動きを識別するためのパラメータとして、ベクトル格納用メモリ１８から読み出す。そして、図６に示す動きベクトルを求める画素３５（基準ブロック５１の原点の画素）の左隣に位置する画素３４において求められている動きベクトルが正確なものであると仮定する。実際には、画素３５の動きベクトルの方向を、該左隣に位置する画素３４の動きベクトルに合うように制約項を求める。このようにして求められた画素３５の動きベクトルも正確なものとなるため、さらに画素３６の動きベクトルを求める際に、画素３５を参酌して制約項を設定することができ、動きベクトルの正確性を担保することが可能となる。
【００７６】
この制約項演算部２２における制約項の演算方法について図１３を用いて説明をする。
【００７７】
先ずステップＳ４１において、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索範囲５４内部を移動する探索ブロック５３との間で、差分絶対値和Ｄ（ｘｓ、ｙｓ）を順次演算する。ちなみにｘｓ、ｙｓは、探索ブロック５３の中心座標を示している。
【００７８】
ステップＳ４２では、探索ブロック５３の中心座標（ｘｓ、ｙｓ）に応じて、制約項Ｇ（ｘｓ、ｙｓ）を求める。このステップＳ４２において、先ず、動きベクトル格納用メモリ１４に格納されている隣接画素情報を読み出し、左隣の画素３４の動きベクトルの水平成分Ｖｘ＿ｌを抽出する。そして、探索範囲５４における画素（ｘｓ、ｙｓ）を、左隣の画素３４において求められた動きベクトルの水平成分Ｖｘ＿ｌとの関係において求める。具体的には、探索範囲５４における画素の水平成分ｘｓと、画素３４において求められた動きベクトルの水平成分（以下、Ｖｘ＿ｌとする）との積（＝ｘｓ×Ｖｘ＿ｌ）を求め、正か負かを識別することにより、両者の位置関係を把握する。積が正であれば探索範囲５４における画素の水平成分ｘｓの極性と、隣接する画素３４における動きベクトルの水平成分Ｖｘ＿ｌの極性は等しく、積が負であれば両者の極性は異なる。
【００７９】
ここでｘｓ×Ｖｘ＿ｌ＜０の場合には、Ｇ（ｘｓ、ｙｓ）＝αとする（αは正数とする）。一方、ｘｓ×Ｖｘ＿ｌ≧０の場合は、Ｇ（ｘｓ、ｙｓ）＝０とする。この制約項Ｇ（ｘｓ、ｙｓ）を演算した後、ステップＳ４３へ移行する。
【００８０】
ステップＳ４３では、以下の（１２）式に基づいて、修正差分絶対値和Ｓ（ｘｓ、ｙｓ）を求める。
【００８１】
Ｓ（ｘｓ、ｙｓ）＝Ｄ（ｘｓ、ｙｓ）＋Ｇ（ｘｓ、ｙｓ） （１２）
この修正差分絶対値は、差分絶対値和Ｄ（ｘｓ、ｙｓ）に、上述のステップＳ４２において求められた制約項Ｇ（ｘｓ、ｙｓ）が加算されている。制約項Ｇ（ｘｓ、ｙｓ）は、探索範囲５４における画素の水平成分が、左隣の画素３４において求められた動きベクトルの水平成分Ｖｘ＿ｌと極性が異なる場合に正数αとして表される。このため、ｘｓとＶｘ＿ｌの極性が異なる場合には正数αが加算されるため、かかる極性が同一の場合と比較して、修正差分絶対値和Ｓ（ｘｓ、ｙｓ）は大きくなる。
【００８２】
このようにして求められた修正差分絶対値和Ｓ（ｘｓ、ｙｓ）は、ｘｓとＶｘ＿ｌの極性が異なる場合において大きく、ｘｓとＶｘ＿ｌの極性が同一になる場合において小さい。このため、探索範囲５４において最小となる修正差分絶対値和ｍｉｎＳ（ｘｓ、ｙｓ）を求めることにより、修正差分絶対値和が相対的に小さくなる画素、すなわちＶｘ＿ｌと極性が同一となる画素において動きベクトルが与えられる可能性が高くなる。
【００８３】
従って、誤差演算部１２の代替として、制約項演算部２２を設けることにより、求めることができる動きベクトルの水平成分は、左隣の画素３４の動きベクトルにおける水平成分Ｖｘ＿ｌと同一の極性を示す可能性が高くなる。このため、左隣の画素３４の動きベクトルの水平成分に適合した動きベクトルを求めることが可能となる。すなわち、制約項演算部２２を備える動きベクトル検出装置１は、実際の画像の動きに更に適合した動きベクトルを求めることができ、動きベクトルのばらつきを更に改善することができ、変換画像の劣化をより改善できる。
【００８４】
また本発明は、例えばＰＡＬ(Phase Alternation by Line)方式において、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式を採用するテレビジョン受像機に対しても適用可能である。このフィールド周波数倍速方式を採用するテレビジョンに本発明を内蔵することにより、更なる面フリッカ妨害の抑制を期しつつ、動きベクトルのばらつきを解消することができるため、相乗的に画質を向上させることができる。
【００８５】
本発明は上述したインタレース走査方式における入力画像信号の補間処理に適用される場合に限らず、例えば、ＭＰＥＧ（Moving Picture Expert Group）方式の動き補償予測によるフレーム間符号化にも適用可能である。
【００８６】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布傾向を識別し、基準画素の垂直負方向に隣接する画素について予め識別された差分絶対値和の分布傾向と比較した上で、第１の動きベクトルを隣接する画素の動きベクトルに応じて特定し、また基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布の傾向及び探索範囲内において差分絶対値和が最小となる画素についての基準画素の左側に隣接する画素の動きベクトルに基づく相対的な位置に応じて第２の動きベクトルを特定し、特定された第１の動きベクトル及び第２の動きベクトルの動きベクトルのうちいずれか一の動きベクトルを選択する。
【００８７】
これにより、本発明に係る動きベクトル検出装置及び方法は、実際の画像の動きに適合した動きベクトルを求めることができ、動きベクトルのばらつきを解消することができ、ひいては変換画像の劣化を防止することができる。
【図面の簡単な説明】
【図１】本発明を適用した動きベクトル検出装置の内部構成例を示した図である。
【図２】参照フィールドと基準フィールドの位置関係を示した図である。
【図３】探索範囲内に割り当てられた全探索ブロックについて求めた差分絶対値和の分布傾向の一例を示した図である。
【図４】第１の動きベクトルを検出する手順について示したフローチャートである。
【図５】本発明を適用した動きベクトル検出方法において、求める動きベクトルを、隣接画素の動きベクトルに応じて特定する場合について説明するための図である。
【図６】動きベクトルを求める画素の順番について説明するための図である。
【図７】第２の動きベクトルを検出する手順について示したフローチャートである。
【図８】第２の動きベクトルを検出する画素について、左隣の画素の動きベクトルにおける水平成分Ｖｘ＿ｌが、負の極性を有する場合について示した図である。
【図９】第２の動きベクトルを求める際に行なう置き換え操作について示した図である。
【図１０】動きベクトル修正部における処理手順について示したフローチャートである。
【図１１】修正隣接画素について説明するための図である。
【図１２】誤差演算部の代替として、制約項演算部を設けた動きベクトル検出装置の構成について示した図である。
【図１３】制約項演算部により制約項を演算する手順を示したフローチャートである。
【図１４】従来のブロックマッチング法について説明するための図である。
【図１５】”ｕ”の文字を右から左へ水平方向にシフトさせる場合において求めた差分絶対値和の分布を示した図である。
【符号の説明】
１ 動きベクトル検出装置、１１ 画像格納用メモリ、１２ 誤差演算部、１３ 比較処理部、１４ 第１の動きベクトル検出部、１５ 識別処理部、１６ 第２の動きベクトル検出部、１７ ベクトル選択部、１８ ベクトル格納用メモリ、１９ 動きベクトル修正部、２０ 制御部
【発明の属する技術分野】
本発明は、動きベクトル修正装置及び方法に関し、特にブロックマッチング法において本来の動きに適合させた動きベクトルを検出可能な動きベクトル検出装置及び方法に関する。
0
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、テレビジョン受像機側において、入力画像信号に動き補償型のフィールド周波数変換や走査変換を施すことにより、画面全体がちらついて見える面フリッカ妨害を抑え、動きのスムーズな変換画像を得ることができる。
【０００３】
上述の動き補償型の変換を行うためには、入力された画像信号において、現フィールドである参照フィールドと、現フィールドから１フレーム前の基準フィールドとの間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。そして、基準フィールドと参照フィールドの中間に位置する動き補正フィールドにおいて、求めた動きベクトルに基づき画素をシフトさせる。ちなみに、この動きベクトルの検出は、一般に実用化されている方式として、ブロックマッチング法が一般的に用いられている。
【０００４】
このブロックマッチング法では、図１４に示すように、基準フィールド８０を複数の基準ブロック１０１に分割し、基準フィールド８０における基準ブロック１０１と最も高い相関度を示すブロックを、参照フィールド９０における探索範囲１０４内を移動する探索ブロック１０３から検出する。そして当該検出された探索ブロック１０３と基準ブロック１０１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【０００５】
上述の相関度の判定は、先ず探索ブロック１０３の各画素値について、基準ブロック１０１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック１０３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック１０３を、基準ブロック１０１と最も高い相関度を示すブロックとし、かかるブロックの原点の画素１１３と、基準ブロック１０１の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【０００６】
次に、この求めた動きベクトルのベクトル量、ベクトル方向に基づき、画素をシフトさせる量やシフト方向を決定する。そして基準フィールド８０、参照フィールド９０の中間に位置する動き補正フィールド１００において、基準ブロックの原点の画素位置から決定したシフト量等に応じて画素をシフトさせる（或いは、画素１１３の画素位置からシフト量の分だけ、シフト方向へ画素をシフトさせる）。ここで、シフト量を、動きベクトルのベクトル量の１／２とすれば、動き補正フィールド１００においてシフトさせる画素の画素位置は、基準フィールド８０における画素位置と、参照フィールド９０における画素位置の中央になる。すなわち、基準フィールド８０から参照フィールド９０へ続く画素の動きがスムーズになるような、動き補正フィールドを挿入することができるため、画面品質の劣化を防止したインタレース画像を作り出すことが可能となる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来のブロックマッチング法は、画面全体に表示される本来の画像の動きに関係なく、単に基準ブロックと誤差の総和が最小となる探索ブロックを最優先して動きベクトルを求めるため、実際の画像の動きと無関係な動きベクトルが求まり、変換画像の画質が劣化する場合がある。
【０００８】
0 また例えば、図１５(a)に示すように、殆ど左右対称なラインαと、ラインβの二つの縦ラインを有する”ｕ”の文字を右から左へ水平方向にシフトさせる場合に、原点に存在するラインαを構成する一の画素につき差分絶対値和を求めると、図１５(b)に示すように、極小点が２箇所生じる。これは原点に存在するラインαを構成する画素２０１が、参照フィールド上においてＡの位置２０２と相関度が高く、またラインβを構成する画素が参照フィールド上においてＢの位置２０３と相関度が高いため、Ａ，Ｂ２箇所で差分絶対値和が小さくなるためである。
【０００９】
このため、”ｕ”の左右対称な文字を右から左へ水平方向にシフトさせる場合に、従来のブロックマッチング同様に動きベクトルを求めると、最小となる差分絶対値和を示す画素としてＡの位置にシフトしたラインαを構成する画素以外に、Ｂの位置にシフトしたラインβの画素が求まる場合もあり、動きベクトルの方向が局所的に逆転する。
【００１０】
従って、殆ど左右対称な”ｕ”や”Ｈ”等の文字について、動きベクトルの水平成分を揃えることにより、画質の劣化を抑える必要があり、特に情報を水平方向へ随時シフトさせるケースが増えた近年のテレビジョン放送において、かかる画質改善の要請は高まっている。
【００１１】
更に、ブロックマッチング法の下、求める動きベクトルを実際の画像の動きに適合するようにしても、全体的に動きベクトルがばらつく場合もあり、領域単位での処理破綻の原因となる。このため、実際の画像の動きと無関係な動きベクトルのベクトル方向を修正することにより、動きベクトルのばらつきを解消する必要があった。
【００１２】
そこで本発明は、上述したような実情に鑑みて提案されたものであり、実際の画像の動きに適合した動きベクトルを求めることができる動きベクトル検出装置及び方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、上述の課題を解決するため、入力される参照フィールドから１フレーム前の基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算する演算手段と、上記演算した差分絶対値和の中から上記探索範囲において最小となる差分絶対値和と画素位置と、ライン極小値と称する上記探索範囲の垂直成分に対応する水平ライン毎に最小となる差分絶対値和と画素位置とを識別し、探索範囲において最小となる上記差分絶対値和と、基準画素の垂直負方向に隣接する画素の動きベクトルの垂直成分に対応するライン極小値との差分絶対値を求め、比較する比較手段と、上記比較手段により求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの垂直成分を、上記隣接する画素の動きベクトルの垂直成分に合致するように特定し、上記基準画素における動きベクトルの水平成分を、特定した上記垂直成分に対応するライン極小値をもつ画素位置の水平成分に特定し、上記比較手段により求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定する第１の動きベクトル特定手段と、上記演算した差分絶対値和から上記探索範囲内において、上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和の最小値と画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標を識別する識別手段と、上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なるかどうかを判定し、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が小さいかどうかを判定する判定手段と、上記判定手段により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なり、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値以下と判定したとき、上記隣接する画素の動きベクトルの水平成分が正の極性を持つ場合は上記正領域の差分絶対値和の最小値となる画素の座標を上記基準画素の動きベクトルと特定し、上記隣接する画素の動きベクトルの水平成分が負の極性を持つ場合は上記負領域の差分絶対値和の最小値となる画素の座標を上記基準画素の動きベクトルと特定し、上記判定手段により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と同じ、又は、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値よりも大きいと判定したときは、上記探索範囲内において最小となる差分絶対値和を示す画素の位置を上記基準画素の動きベクトルと特定する第２の動きベクトル特定手段と、上記第１の動きベクトル特定手段により特定された基準画素の動きベクトルと、上記第２の動きベクトル特定手段により特定された基準画素の動きベクトルのうち、いずれか一の動きベクトルを選択するベクトル選択手段とを備えることを特徴とする。
【００１４】
また、本発明は、上述の課題を解決するため、入力される参照フィールドから１フレーム前の基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算し、上記演算した差分絶対値和の中から上記探索範囲において最小となる差分絶対値和と画素位置と、ライン極小値と称する上記探索範囲の垂直成分に対応する水平ライン毎に最小となる差分絶対値和と画素位置とを識別し、探索範囲において最小となる上記差分絶対値和と、基準画素の垂直負方向に隣接する画素の動きベクトルの垂直成分に対応するライン極小値との差分絶対値を求め、比較し、上記比較した結果、上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの垂直成分を、上記隣接する画素の動きベクトルの垂直成分に合致するように特定し、上記基準画素における動きベクトルの水平成分を、特定した当該垂直成分に対応するライン極小値をもつ画素位置の水平成分に特定し、上記比較した結果、上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定した第１の動きベクトルと、上記演算した差分絶対値和から上記探索範囲内において、上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和の最小値と画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なるかどうかを判定し、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が小さいかどうかを判定し、上記判定により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なり、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値以下と判定したとき、上記隣接する画素の動きベクトルの水平成分が正の極性を持つ場合は上記正領域の差分絶対値和の最小値となる画素の座標を上記基準画素の第２の動きベクトルと特定し、上記隣接する画素の動きベクトルの水平成分が負の極性を持つ場合は上記負領域の差分絶対値和の最小値となる画素の座標を上記基準画素の第２動きベクトルと特定し、上記判定により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と同じ、又は、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値よりも大きいと判定したときは、上記探索範囲内において最小となる差分絶対値和を示す画素の位置を上記基準画素の第２の動きベクトルと特定し、上記特定された第１の動きベクトルと、上記特定された第２の動きベクトルの動きベクトルのうち、いずれか一の動きベクトルを選択することを特徴とする。
【００１５】
この動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布傾向を識別し、基準画素の垂直負方向に隣接する画素について予め識別された差分絶対値和の分布傾向と比較した上で、第１の動きベクトルを隣接する画素の動きベクトルに応じて特定し、また基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布の傾向及び探索範囲内において差分絶対値和が最小となる画素についての基準画素の左側に隣接する画素の動きベクトルに基づく相対的な位置に応じて第２の動きベクトルを特定し、特定された第１の動きベクトル及び第２の動きベクトルの動きベクトルのうちいずれか一の動きベクトルを選択する。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
【００１７】
本発明は、例えば入力画像信号に対して補間処理を施すことにより、奇数番目の走査線から構成されるフィールド画像と偶数番目の走査線から構成されるフィールド画像により１枚のインタレース画像を形成するテレビジョン受像機に内蔵される。
【００１８】
図１は、本発明を適用した動きベクトル検出装置１の構成図を示している。この動きベクトル検出装置１は、画像格納用メモリ１１と、誤差演算部１２と、比較処理部１３と、第１の動きベクトル検出部１４と、識別処理部１５と、第２の動きベクトル検出部１６と、ベクトル選択部１７と、ベクトル格納用メモリ１８と、動きベクトル修正部１９と、動きベクトル検出装置１全体の制御等を行なう制御部２０とを備えている。
【００１９】
画像格納用メモリ１１は、順次供給される入力画像信号を所定のアドレスに格納する。
【００２０】
誤差演算部１２は、画像格納用メモリ１１に格納されている入力画像信号において制御部２０から受け取った座標を原点とする画素ブロックを切り出して、ブロック毎の差分絶対値和を順次演算する。またこの誤差演算部１２は、演算した差分絶対値和を比較処理部１３及び識別処理部１５へ送信する。
【００２１】
比較処理部１３は、誤差演算部１２から送信されたブロック毎の差分絶対値和の分布傾向等を識別する。
【００２２】
第１の動きベクトル検出部１４は、比較処理部１３における識別結果に応じて、一の動きベクトルを特定する。この第１の動きベクトル検出部１４により特定された動きベクトルを、以下第１の動きベクトルと称する。
【００２３】
識別処理部１５は、誤差演算部１２から送信されたブロック毎の差分絶対値和の分布傾向等を識別する。
【００２４】
第２の動きベクトル検出部１６は、識別処理部１５における識別結果に応じて、一の動きベクトルを特定する。この第２の動きベクトル検出部１６により特定された動きベクトルを、以下第２の動きベクトルと称する。
【００２５】
ベクトル選択部１７は、第１の動きベクトル検出部１４から送信される第１の動きベクトルと、第２の動きベクトル１６から送信される第２の動きベクトルのうちいずれか一の動きベクトルを選択する。ベクトル選択部１７は、この選択した動きベクトルをベクトル格納用メモリ１８へ送信する。
【００２６】
ベクトル格納用メモリ１８は、ベクトル選択部１７により送信された動きベクトルを各画素毎に格納する。ちなみに、このベクトル格納用メモリ１８に格納された動きベクトルは、第１の動きベクトルや第２の動きベクトルに読み出される場合もある。
【００２７】
動きベクトル修正部１９は、画素毎に求められた動きベクトルの中から、動きベクトルのばらつき具合を精査し、実際の画像の動きと無関係な動きベクトルが求められている画素（以下、この画素を修正画素と称する）の動きベクトルを修正する。なお本発明に係る動きベクトル検出装置１は、この動きベクトル修正部１９を割愛した構成を採用しても良い。
【００２８】
次に本発明を適用した動きベクトル検出装置１の動作について説明する。先ず誤差演算部１２の動作について説明をする。図２は、画像格納用メモリ１１に書き込まれる画像信号としての現フィールドである参照フィールドと、現フィールドから１フレーム前の基準フィールド３０の位置関係を示している。基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索ブロック５３はそれぞれ、Ｍ×Ｎの画素のサイズで表される。探索ブロック５３の探索範囲５４は任意に設定される。
【００２９】
誤差演算部１２は、基準フィールド３０を複数の基準ブロック５１に分割し、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索範囲５４内を移動する探索ブロック５３との間で相関度を判定する。相関度の判定は、先ず探索ブロック５３の各画素値について、基準ブロック５１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定を探索範囲５４内の全ての探索ブロック５３について行い、差分絶対値和を順次演算する。
【００３０】
次に比較処理部１３及び第１の動きベクトル検出部１４の動作について説明する。この比較処理部１３及び第１の動きベクトル検出部１４は、上述のブロックマッチングにより求めた差分絶対値和に基づき、以下のコンセプトから第１の動きベクトルを特定する。
【００３１】
図３は、探索範囲５４内に割り当てられた全探索ブロック５３について求めた差分絶対値和の分布傾向の一例を示している。この図３より、差分絶対値和の大きい領域は、基準ブロック５１と探索ブロック５３との画素値が著しく異なる領域である。一方、凹部を形成している差分絶対値の小さい領域は、基準ブロック５１と探索ブロック５３との画素値の相関度が高い領域である。すなわち画素値の相関度が高い領域に対して動きベクトルを特定することで、高画質化、高解像度化を実現することができる。
【００３２】
探索範囲５４は、垂直成分（ｙｓ）に対応した水平ラインが割り当てられている。各水平ラインは、それぞれ差分絶対値の極小値を有し、これらの極小値が上述した差分絶対値の低い領域を形成している。以下、これらの水平ライン毎の極小値をライン極小値と称する。
【００３３】
また、通常のブロックマッチング同様に探索範囲５４全体の中から特定した差分絶対値和の極小値を領域極小値と称する。すなわち各ライン極小値の中で最小となる差分絶対値和は、この領域極小値に相当する。図３において示されるように、黒丸で示した領域極小値は、他のライン極小値と比較しても大差無い。このため、この領域極小値を示す画素の代わりに、ライン極小値を示す画素について、基準ブロック５１の原点の画素との間で動きベクトルを特定しても、画質や解像度にほとんど影響が及ばないことになる。
【００３４】
従って、第１の動きベクトル検出部１４は、かかる性質に着目し、ライン極小値を有する画素の中から本来の画像の動きに最も適合する画素を選択し、基準ブロック５１の原点の画素との間で第１の動きベクトルを特定する。
【００３５】
次に、第１の動きベクトルを検出する手順について、図４を用いて詳細に説明する。
【００３６】
先ずステップＳ１１において、誤差演算部１２において求められた差分絶対値和を順次抽出する。探索範囲５４内部を移動する全ての探索ブロック５３につき差分絶対値和を抽出した後、ステップＳ１２に移行する。
【００３７】
ステップＳ１２では、算出した差分絶対値和の中から先ず領域極小値を選び出し、当該領域極小値を示す画素の座標を特定する。
【００３８】
次にステップＳ１３へ移行し、算出した差分絶対値和の中から、水平ライン毎にライン極小値を選び出し、当該ライン極小値を示す画素の座標を特定する。
【００３９】
次にステップＳ１４へ移行し、基準ブロック５１の原点の画素から垂直負方向に隣接する画素（以下、この画素を隣接画素と称する）に基づいて本来の画像の動きを識別するため、動きベクトルに関する情報を取得する。すなわち、この隣接画素の動きベクトル、及び当該動きベクトルに基づくライン極小値を、隣接画素情報として取得することにより、本来の画像の動きを識別することができる。ちなみに、この隣接画素の動きベクトルに基づくライン極小値は、隣接画素と、隣接画素から動きベクトル分ずらした（参照フィールド４０における）水平ラインにおけるライン極小値である。以下このライン極小値を、候補ライン極小値Ｋと称する。
【００４０】
次にステップＳ１５に移行し、先ず候補ライン極小値Ｋと領域極小値との差分絶対値を求める。基準ブロック５１の原点の画素の動きベクトルを、隣接画素の動きベクトルに合わせることにより、本来の画像の動きに適合させるためには、基準ブロック５１の原点の画素と隣接画素の動きのパターンが類似している必要がある。このためには、両者のライン極小値の配列傾向（差分絶対値和の分布傾向）が類似していることが条件となる。このライン極小値の配列傾向が類似しているか否か判別するために、候補ライン極小値Ｋと領域極小値の差分絶対値を求めて比較を行う。
【００４１】
このステップＳ１５において、求めた候補ライン極小値Ｋと領域極小値との差分絶対値が所定の閾値より大きい場合には、隣接画素と、基準ブロック５１の原点の画素におけるライン極小値の配列傾向が異なることを示唆しており、かかる場合にはステップＳ１６へ移行する。また求めた候補ライン極小値Ｋと領域極小値との差分絶対値がが所定の閾値より小さい場合には、隣接画素と、基準ブロック５１の原点の画素におけるライン極小値の配列傾向が類似していることを示唆しており、かかる場合にはステップＳ１７に移行する。なお、この所定の閾値は、動きベクトルのばらつき具合を考慮して任意に設定される。
【００４２】
ステップＳ１６に移行した場合には、隣接画素の動きベクトルに合わせても本来の画像の動きに適合させることができないため、通常のブロックマッチング法と同様に、基準ブロック５１と最も高い相関度を示す探索ブロック５３により動きベクトルを求める。すなわち、領域極小値を有する画素と、基準ブロック５１の原点の画素との間で求める動きベクトルを特定する。
【００４３】
ステップＳ１７に移行した場合に、求める第１の動きベクトルを隣接画素の動きベクトルに合わせる。すなわち、求める第１の動きベクトルの水平成分、垂直成分をそれぞれ（Ｖｘ、Ｖｙ）とし、また隣接画素の動きベクトルの水平成分、垂直成分をそれぞれ（Ｖｘｕ、Ｖｙｕ）としたときに、Ｖｙについては、Ｖｙ＝Ｖｙｕとなるように設定する。すなわち、原点の座標から垂直方向にＶｙだけ移動させた水平ライン上においてライン極小値を有する画素へ動くように動きベクトルを合わせる。図５に示す例において、Ｖｙｕ＝＋１である場合には、原点の座標からＶｙだけ移動させた水平ラインは、ｙｓ＝＋１の水平ラインである。この水平ラインにおけるライン極小値を有する画素の水平成分は、ｘｓ＝−２である。従って、動きベクトルは、水平成分Ｖｘが−２であり垂直成分Ｖｙが＋１として特定されることとなる。
【００４４】
すなわち、第１の動きベクトル検出部１４は、求める第１の動きベクトルの垂直成分を隣接画素の動きベクトルに合致させ、求める第１の動きベクトルの水平成分を、特定した垂直成分に対応する水平ライン上においてライン極小値を有する画素に応じて求める。この第１の動きベクトルを求めることにより、動きベクトルそのもののばらつきを解消することにより本来の画像の動きに適合させることができるため、動きベクトルのばらつきを抑えることができ、ひいては変換画像の劣化を防止することができる。
【００４５】
次に識別処理部１５及び第２の動きベクトル検出部１６の動作について説明する。この識別処理部１５及び第２の動きベクトル検出部１６は、上述のブロックマッチング法により求めた差分絶対値和に基づき、以下のコンセプトから第２の動きベクトルを特定する。
【００４６】
本来の画像の動きを識別するために、左隣の画素の動きベクトルを本来の画像の動きを識別するためのパラメータとして読み出す。そして図６に示すように、動きベクトルを求める画素３５（基準ブロック５１の原点の画素）の左隣に位置する画素３４において求められている動きベクトルが正確なものであると仮定する。実際には、画素３５の動きベクトルの方向を、該左隣に位置する画素３４の動きベクトルに合わせる。このようにして求められた画素３５の動きベクトルも正確なものとなるため、さらに画素３６の動きベクトルを求める際に、画素３５を参酌することができ、動きベクトルの正確性を担保することが可能となる。
【００４７】
次に第２の動きベクトルを特定する手順について図７に基づいて詳細に説明する。まずステップＳ２１において、誤差演算部１２において求められた差分絶対値和を抽出する。このステップＳ２１において、探索範囲５４内部を移動する全ての探索ブロック５３につき差分絶対値和を抽出した後、ステップＳ２２に移行する。
【００４８】
ステップＳ２２では、探索範囲５４において領域極小値を示す画素を選別し、当該画素の座標を特定する。この領域極小値を示す画素の座標を（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）とする。
【００４９】
次にステップＳ２３へ移行し、図６に示すように、探索範囲５４を、基準ブロックの原点の画素３５を中心とした正領域５６と、負領域５７に分割する。そして分割した正領域５６と負領域５７毎に、差分絶対値和の極小値を選別し、当該画素の座標を特定する。以下、差分絶対値和の正領域における極小値を正領域極小値と称し、また差分絶対値和の負領域の極小値を負領域極小値と称する。すなわち、求めた領域極小値は、正領域極小値或いは負領域極小値のいずれかと一致することとなる。
【００５０】
次にステップＳ２４へ移行し、基準ブロック５１の原点の画素３５の左隣の画素３４において求められた動きベクトルの情報を取得する。すなわち、この左隣の画素３４の動きベクトル、及び当該動きベクトルに基づく差分絶対値和を、隣接画素情報として取得することにより、本来の画像の動きを識別することができる。
【００５１】
次にステップＳ２５へ移行し、領域極小値を示す画素の位置を、画素３４において求められた動きベクトルに基づき、相対的に判定する。具体的には、領域極小値を示す画素のｘ座標（ｘｓ＿ｍｉｎ）と、画素３４において求められた動きベクトルの水平成分（以下、Ｖｘ＿ｌと称する）との積を求め、正か負かを識別することにより、両者の位置関係を把握する。
【００５２】
図８の例は、左隣の画素３４の動きベクトルにおける水平成分Ｖｘ＿ｌが、負の極性を有する場合について示している。ここで領域極小値を示す画素のｘｓ＿ｍｉｎの極性が負の場合には、正確性が担保された左隣の画素３４の動きベクトルと水平成分が揃う。このため、かかる領域極小値を示す画素と原点の画素３４との間で動きベクトルを特定しても動きベクトルがばらつくことはなくなる。従って、求めた積が０以上の場合は、ステップＳ２６へ移行し、通常のブロックマッチング法と同様に動きベクトルを求める。なお、水平成分Ｖｘ＿ｌが、正の極性を有する場合についても同様に積を求めることにより、両者の位置関係を把握することができる。
【００５３】
一方、領域極小値を示す画素の水平成分ｘｓ＿ｍｉｎの極性が正の場合には、図９に示すように、左隣の画素３４の動きベクトルと水平成分が逆方向になるため、ステップＳ２８へ移行し、以下に説明するように動きベクトルを特定することで両者の水平成分を揃える。これにより、正領域極小値或いは負領域極小値を有する画素の中から、左隣の画素３４における動きベクトルの水平成分に適合する画素を選択し、原点の画素３５との間で動きベクトルを特定することができる。
【００５４】
すなわち、このステップＳ２８以下に示す動きベクトルの特定において、原点の画素３５との間で動きベクトルを求める画素を、正領域極小値或いは負領域極小値を示す画素のいずれから選び出す。そして選び出した負領域極小値或いは正領域極小値を示す画素と、原点の画素３５との間で動きベクトルを特定する。なお、正領域極小値を示す画素或いは負領域極小値を示す画素から一の画素を選び出すため、両者間の差分絶対値和の格差が小さいことが望ましい。このため、ステップＳ２７において、正領域極小値と負領域極小値を比較し、格差が小さい場合のみステップＳ２８へ移行し、上述の動きベクトルの特定を行なっても良い。なお、この正領域極小値と負領域極小値の比較は、例えば、正領域極小値と負領域極小値の差分絶対値を求め、当該差分絶対値が閾値を下回る場合のみにステップＳ２８へ移行しても良い。
【００５５】
ステップＳ２８以下における動きベクトルの特定は、具体的に次の手順により行う。先ずＶｘ＿ｌが０以上か否か判定する。Ｖｘ＿ｌが０以上の場合には、正領域極小値を示す画素の座標を、上述の領域最小値を示す画素の座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）として定義し直す。一方、Ｖｘ＿ｌが０より小さい場合には、負領域極小値を示す画素の座標を、上述の領域最小値を示す画素の座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）として定義し直す。
【００５６】
ステップＳ２９では、定義し直した座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）と原点の座標との間で動きベクトルを特定する。
【００５７】
ちなみに、求めた差分絶対値が閾値を越える場合において上述したステップＳ２８,２９の処理を進めると却って画質の低下等の不都合を生じるため、ステップＳ２６へ移行して、通常のブロックマッチング法と同様に動きベクトルを求める。
【００５８】
すなわち、この第２の動きベクトル検出部１６は、正領域極小値或いは負領域極小値を有する画素の中から、左隣の画素３４の水平成分の極性に適合する画素を選択し、当該選択した画素と原点の画素との間で第２の動きベクトルを求める。この第２の動きベクトルを求めることにより、差分絶対値和の極小点が複数生じるような、左右対称な"ｕ"や"Ｈ"の文字等についても動きベクトルの水平成分を揃えることができ、画質の劣化を抑えることが可能となり、ひいては情報を水平方向へ随時シフトさせる場合が増えた近年の放送のニーズに応えることができる。
【００５９】
ちなみに、ベクトル選択部１７は、上述のように求められた第１の動きベクトル及び第２の動きベクトルのうち、所定の優先順位に従って一のベクトルを選択する。この所定の優先順位を、例えば本来の画像の動きに適合するような動きベクトルを優先して選択するようにすれば、更に動きベクトルのばらつきを解消することができ、更なる高画質化を期待することができる。
【００６０】
次に、動きベクトル修正部１９の処理手順について図１０を用いて説明する。すなわち、この図１０に示す処理手順では、各画素毎に選択された動きベクトルが格納されているベクトル格納用メモリ１８から、実際の画像の動きと無関係な動きベクトルが求められている画素（以下、この画素を修正画素と称する）を抽出し、当該修正画素に隣接する修正隣接画素の動きベクトルに適合させるものである。
【００６１】
まず、動きベクトル修正部１９は、ステップＳ３１において各変数を初期化し、次にステップＳ３２において、図１１に示す隣接画素Ａ〜Ｈの中から最初の修正隣接画素（例えば修正隣接画素Ａ）における動きベクトルを抽出する。
【００６２】
次に、動きベクトル修正部１９は、ステップＳ３３において、修正隣接画素における動きベクトルの水平成分の極性Ｖｘ＿ｉを識別し、当該極性がプラスであればステップＳ３４へ移行し、当該極性がマイナスであればステップＳ３５へ移行する。
【００６３】
ステップＳ３４において、動きベクトル修正部１９は、図示しないカウンタＣｎｔ＿ｐに１を加算し、また抽出した動きベクトルの水平成分を、修正隣接画素の水平成分の和Ｖｘ＿ａｖｅ＿ｐへ、また当該動きベクトルの垂直成分を垂直成分の和Ｖｙ＿ａｖｅ＿ｐへ加算し、ステップＳ３６へ移行する。
【００６４】
ステップＳ３５において、動きベクトル修正部１９は、図示しないカウンタＣｎｔ＿ｍに１を加算し、また抽出した動きベクトルの水平成分を、修正隣接画素の水平成分の和Ｖｘ＿ａｖｅ＿ｍへ、当該動きベクトルの垂直成分を垂直成分の和Ｖｙ＿ａｖｅ＿ｍへ加算し、ステップＳ３６へ移行する。
【００６５】
ステップＳ３６において、動きベクトル修正部１９は、ステップＳ３３で識別した修正隣接画素が、抽出すべき隣接画素Ａ〜Ｈのうち最後の修正隣接画素か否か識別する。最後の修正隣接画素であればステップＳ３８へ移行する。最後の修正隣接画素でなければステップＳ３７へ移行する。
【００６６】
ステップＳ３７において、動きベクトル修正部１９は、次の修正隣接画素の動きベクトル（例えば修正隣接画素Ｂ）を抽出し、再度ステップＳ３３へ移行する。このルーチンを組むことにより、図１１に示す修正隣接画素Ａ〜Ｈ全てについて動きベクトルの識別をすることが可能となる。また修正隣接画素Ａ〜Ｈ全てについて動きベクトルを識別して、ステップＳ３８に移行する際には、カウンタＣｎｔ＿ｐにおいて、動きベクトルの水平成分の極性がプラスである修正隣接画素の個数が、またカウンタＣｎｔ＿ｍにおいて、動きベクトルの水平成分の極性がマイナスである修正隣接画素の個数が示されることとなる。さらに、動きベクトルの水平成分の極性がプラスである修正隣接画素における水平成分の和Ｖｘ＿ａｖｅ＿ｐ、垂直成分の和Ｖｙ＿ａｖｅ＿ｐが求められており、また動きベクトルの水平成分の極性がマイナスである修正隣接画素における水平成分の和Ｖｘ＿ａｖｅ＿ｍ、垂直成分の和Ｖｙ＿ａｖｅ＿ｍが求められることになる。
【００６７】
ちなみに、ステップＳ３７において、修正隣接画素Ａ〜Ｈの抽出する順は時計回り、或いは反時計回りであっても良いし、ランダムであっても良い。また抽出する修正隣接画素は、修正隣接画素Ａ〜Ｈ全て抽出しなくても良く、例えば、上段の修正隣接画素Ａ〜Ｃ、修正隣接画素Ｂ,Ｄ,Ｅ、又は、修正隣接画素Ａ,Ｂ,Ｃ,Ｄ,Ｅであっても良い。
【００６８】
ステップＳ３８に移行すると、動きベクトル修正部１９は、カウンタＣｎｔ＿ｐとカウンタＣｎｔ＿ｍの数値を比較する。その結果、カウンタＣｎｔ＿ｐがより大きい場合には、修正隣接画素のうち、動きベクトル水平成分の極性がプラスである修正隣接画素の方が多いことが示され、ステップＳ３９へ移行する。また、カウンタＣｎｔ＿ｍがより大きい場合には、修正隣接画素のうち、動きベクトルの水平成分の極性がマイナスである修正隣接画素の方が多いことが示され、ステップＳ４０へ移行する。
【００６９】
ステップＳ３９では、動きベクトルの水平成分の極性がプラスである修正隣接画素に基づき、基準画素における修正動きベクトルを求める。この修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）は、水平成分の極性がプラスである修正隣接画素の各成分の平均値とする。具体的には以下の式に基づき算出する。
【００７０】
Ｖｘ＿ｎ＝Ｖｘ＿ａｖｅ＿ｐ／Ｃｎｔ＿ｐ
Ｖｙ＿ｎ＝Ｖｙ＿ａｖｅ＿ｐ／Ｃｎｔ＿ｐ
また、ステップＳ４０では、動きベクトルの水平成分の極性がマイナスである修正隣接画素に基づき、基準画素における修正動きベクトルを求める。この修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）は、水平成分の極性がマイナスである修正隣接画素の各成分の平均値とする。具体的には以下の式に基づき算出する。
【００７１】
Ｖｘ＿ｎ＝Ｖｘ＿ａｖｅ＿ｍ／Ｃｎｔ＿ｍ
Ｖｙ＿ｎ＝Ｖｙ＿ａｖｅ＿ｍ／Ｃｎｔ＿ｍ
すなわち、動きベクトル修正部１９は、上述した図１０に示す処理手順を踏むことにより、修正画素の動きベクトルを、修正隣接画素の動きベクトルのベクトル方向をカウントし、多数の修正隣接画素が示すベクトル方向に合うように修正することができる。換言すれば、修正画素の周囲に位置する修正隣接画素の動きベクトルの方向を多数決し、多い方の動きベクトルの方向を実際の画像の動きであるものと推定して、修正画素の動きベクトルのベクトル方向を修正することができる。また、ベクトル選択部１７により、求める動きベクトルを実際の画像の動きに適合するようにしても、全体的に動きベクトルがばらつく場合に、ベクトルの方向を修正することができる。これにより、求められる動きベクトルのばらつきを更に解消することが可能となり、ひいては変換画像の劣化を防止することができる。
【００７２】
ちなみに本発明は、画素単位の処理に限定されるものではなく、ブロック単位の処理にも適用可能である。この場合、基準画素位置を所定の画素数からなる基準ブロックに代替し、また隣接画素位置を所定の画素数からなり、基準ブロックに隣接する隣接ブロックに代替しても良い。
【００７３】
なお、本発明を適用した動きベクトル検出装置１は、上述した実施の形態に限定されるものではない。例えば図１２に示すように、誤差演算部１２の代替として、制約項演算部２２を設けても良い。
【００７４】
制約項演算部２２は、画像格納用メモリ１１に格納されている入力画像信号から制御部２０から受け取った座標を原点とする画素ブロックを切り出し、例えばブロックマッチング法等に基づき、ブロック毎の差分絶対値和を順次演算する。また、この制約項演算部２２は、探索ブロック５３を構成する画素の位置、及び基準画素に隣接する画素の動きベクトルに基づいて制約項を算出し、当該制約項を差分絶対値和に加算する。
【００７５】
ちなみに、この制約項は以下のコンセプトに基づいて求められる。本来の画像の動きを識別するために、左隣の画素の動きベクトルを本来の画像の動きを識別するためのパラメータとして、ベクトル格納用メモリ１８から読み出す。そして、図６に示す動きベクトルを求める画素３５（基準ブロック５１の原点の画素）の左隣に位置する画素３４において求められている動きベクトルが正確なものであると仮定する。実際には、画素３５の動きベクトルの方向を、該左隣に位置する画素３４の動きベクトルに合うように制約項を求める。このようにして求められた画素３５の動きベクトルも正確なものとなるため、さらに画素３６の動きベクトルを求める際に、画素３５を参酌して制約項を設定することができ、動きベクトルの正確性を担保することが可能となる。
【００７６】
この制約項演算部２２における制約項の演算方法について図１３を用いて説明をする。
【００７７】
先ずステップＳ４１において、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索範囲５４内部を移動する探索ブロック５３との間で、差分絶対値和Ｄ（ｘｓ、ｙｓ）を順次演算する。ちなみにｘｓ、ｙｓは、探索ブロック５３の中心座標を示している。
【００７８】
ステップＳ４２では、探索ブロック５３の中心座標（ｘｓ、ｙｓ）に応じて、制約項Ｇ（ｘｓ、ｙｓ）を求める。このステップＳ４２において、先ず、動きベクトル格納用メモリ１４に格納されている隣接画素情報を読み出し、左隣の画素３４の動きベクトルの水平成分Ｖｘ＿ｌを抽出する。そして、探索範囲５４における画素（ｘｓ、ｙｓ）を、左隣の画素３４において求められた動きベクトルの水平成分Ｖｘ＿ｌとの関係において求める。具体的には、探索範囲５４における画素の水平成分ｘｓと、画素３４において求められた動きベクトルの水平成分（以下、Ｖｘ＿ｌとする）との積（＝ｘｓ×Ｖｘ＿ｌ）を求め、正か負かを識別することにより、両者の位置関係を把握する。積が正であれば探索範囲５４における画素の水平成分ｘｓの極性と、隣接する画素３４における動きベクトルの水平成分Ｖｘ＿ｌの極性は等しく、積が負であれば両者の極性は異なる。
【００７９】
ここでｘｓ×Ｖｘ＿ｌ＜０の場合には、Ｇ（ｘｓ、ｙｓ）＝αとする（αは正数とする）。一方、ｘｓ×Ｖｘ＿ｌ≧０の場合は、Ｇ（ｘｓ、ｙｓ）＝０とする。この制約項Ｇ（ｘｓ、ｙｓ）を演算した後、ステップＳ４３へ移行する。
【００８０】
ステップＳ４３では、以下の（１２）式に基づいて、修正差分絶対値和Ｓ（ｘｓ、ｙｓ）を求める。
【００８１】
Ｓ（ｘｓ、ｙｓ）＝Ｄ（ｘｓ、ｙｓ）＋Ｇ（ｘｓ、ｙｓ） （１２）
この修正差分絶対値は、差分絶対値和Ｄ（ｘｓ、ｙｓ）に、上述のステップＳ４２において求められた制約項Ｇ（ｘｓ、ｙｓ）が加算されている。制約項Ｇ（ｘｓ、ｙｓ）は、探索範囲５４における画素の水平成分が、左隣の画素３４において求められた動きベクトルの水平成分Ｖｘ＿ｌと極性が異なる場合に正数αとして表される。このため、ｘｓとＶｘ＿ｌの極性が異なる場合には正数αが加算されるため、かかる極性が同一の場合と比較して、修正差分絶対値和Ｓ（ｘｓ、ｙｓ）は大きくなる。
【００８２】
このようにして求められた修正差分絶対値和Ｓ（ｘｓ、ｙｓ）は、ｘｓとＶｘ＿ｌの極性が異なる場合において大きく、ｘｓとＶｘ＿ｌの極性が同一になる場合において小さい。このため、探索範囲５４において最小となる修正差分絶対値和ｍｉｎＳ（ｘｓ、ｙｓ）を求めることにより、修正差分絶対値和が相対的に小さくなる画素、すなわちＶｘ＿ｌと極性が同一となる画素において動きベクトルが与えられる可能性が高くなる。
【００８３】
従って、誤差演算部１２の代替として、制約項演算部２２を設けることにより、求めることができる動きベクトルの水平成分は、左隣の画素３４の動きベクトルにおける水平成分Ｖｘ＿ｌと同一の極性を示す可能性が高くなる。このため、左隣の画素３４の動きベクトルの水平成分に適合した動きベクトルを求めることが可能となる。すなわち、制約項演算部２２を備える動きベクトル検出装置１は、実際の画像の動きに更に適合した動きベクトルを求めることができ、動きベクトルのばらつきを更に改善することができ、変換画像の劣化をより改善できる。
【００８４】
また本発明は、例えばＰＡＬ(Phase Alternation by Line)方式において、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式を採用するテレビジョン受像機に対しても適用可能である。このフィールド周波数倍速方式を採用するテレビジョンに本発明を内蔵することにより、更なる面フリッカ妨害の抑制を期しつつ、動きベクトルのばらつきを解消することができるため、相乗的に画質を向上させることができる。
【００８５】
本発明は上述したインタレース走査方式における入力画像信号の補間処理に適用される場合に限らず、例えば、ＭＰＥＧ（Moving Picture Expert Group）方式の動き補償予測によるフレーム間符号化にも適用可能である。
【００８６】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布傾向を識別し、基準画素の垂直負方向に隣接する画素について予め識別された差分絶対値和の分布傾向と比較した上で、第１の動きベクトルを隣接する画素の動きベクトルに応じて特定し、また基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布の傾向及び探索範囲内において差分絶対値和が最小となる画素についての基準画素の左側に隣接する画素の動きベクトルに基づく相対的な位置に応じて第２の動きベクトルを特定し、特定された第１の動きベクトル及び第２の動きベクトルの動きベクトルのうちいずれか一の動きベクトルを選択する。
【００８７】
これにより、本発明に係る動きベクトル検出装置及び方法は、実際の画像の動きに適合した動きベクトルを求めることができ、動きベクトルのばらつきを解消することができ、ひいては変換画像の劣化を防止することができる。
【図面の簡単な説明】
【図１】本発明を適用した動きベクトル検出装置の内部構成例を示した図である。
【図２】参照フィールドと基準フィールドの位置関係を示した図である。
【図３】探索範囲内に割り当てられた全探索ブロックについて求めた差分絶対値和の分布傾向の一例を示した図である。
【図４】第１の動きベクトルを検出する手順について示したフローチャートである。
【図５】本発明を適用した動きベクトル検出方法において、求める動きベクトルを、隣接画素の動きベクトルに応じて特定する場合について説明するための図である。
【図６】動きベクトルを求める画素の順番について説明するための図である。
【図７】第２の動きベクトルを検出する手順について示したフローチャートである。
【図８】第２の動きベクトルを検出する画素について、左隣の画素の動きベクトルにおける水平成分Ｖｘ＿ｌが、負の極性を有する場合について示した図である。
【図９】第２の動きベクトルを求める際に行なう置き換え操作について示した図である。
【図１０】動きベクトル修正部における処理手順について示したフローチャートである。
【図１１】修正隣接画素について説明するための図である。
【図１２】誤差演算部の代替として、制約項演算部を設けた動きベクトル検出装置の構成について示した図である。
【図１３】制約項演算部により制約項を演算する手順を示したフローチャートである。
【図１４】従来のブロックマッチング法について説明するための図である。
【図１５】”ｕ”の文字を右から左へ水平方向にシフトさせる場合において求めた差分絶対値和の分布を示した図である。
【符号の説明】
１ 動きベクトル検出装置、１１ 画像格納用メモリ、１２ 誤差演算部、１３ 比較処理部、１４ 第１の動きベクトル検出部、１５ 識別処理部、１６ 第２の動きベクトル検出部、１７ ベクトル選択部、１８ ベクトル格納用メモリ、１９ 動きベクトル修正部、２０ 制御部
Claims (10)
- 入力される参照フィールドから１フレーム前の基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、
基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算する演算手段と、
上記演算した差分絶対値和の中から上記探索範囲において最小となる差分絶対値和と画素位置と、ライン極小値と称する上記探索範囲の垂直成分に対応する水平ライン毎に最小となる差分絶対値和と画素位置とを識別し、探索範囲において最小となる上記差分絶対値和と、基準画素の垂直負方向に隣接する画素の動きベクトルの垂直成分に対応するライン極小値との差分絶対値を求め、比較する比較手段と、
上記比較手段により求めた上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの垂直成分を、上記隣接する画素の動きベクトルの垂直成分に合致するように特定し、上記基準画素における動きベクトルの水平成分を、特定した上記垂直成分に対応するライン極小値をもつ画素位置の水平成分に特定し、上記比較手段により求めた上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定する第１の動きベクトル特定手段と、
上記演算した差分絶対値和から上記探索範囲内において、上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和の最小値と画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標を識別する識別手段と、
上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なるかどうかを判定し、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が小さいかどうかを判定する判定手段と、
上記判定手段により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なり、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値以下と判定したとき、上記隣接する画素の動きベクトルの水平成分が正の極性を持つ場合は上記正領域の差分絶対値和の最小値となる画素の座標を上記基準画素の動きベクトルと特定し、上記隣接する画素の動きベクトルの水平成分が負の極性を持つ場合は上記負領域の差分絶対値和の最小値となる画素の座標を上記基準画素の動きベクトルと特定し、上記判定手段により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と同じ、又は、上記正領域の差分絶対値和の最小値と負領域の差分絶対値和の最小値との差分が閾値よりも大きいと判定したときは、上記探索範囲内において最小となる差分絶対値和を示す画素の位置を上記基準画素の動きベクトルと特定する第２の動きベクトル特定手段と、
上記第１の動きベクトル特定手段により特定された基準画素の動きベクトルと、上記第２の動きベクトル特定手段により特定された基準画素の動きベクトルのうち、いずれか一の動きベクトルを選択するベクトル選択手段と
を備えることを特徴とする動きベクトル検出装置。 - 上記ベクトル選択手段により選択された動きベクトルを各画素毎に順次格納するベクトル格納手段と、
上記選択された動きベクトルを修正する修正画素について隣接する隣接画素の動きベクトルを上記ベクトル格納手段から読み出し、読み出した隣接画素の動きベクトルにおいて水平成分の極性を識別する識別手段と、
上記識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較手段と、
上記識別手段による識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求める演算手段と、
上記比較手段による水平成分の極性が正である隣接画素位置の個数が水平成分の極性が負である隣接画素位置の個数以上となる場合は、上記演算手段により求められた極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を、上記修正画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記比較手段による水平成分の極性が正である隣接画素位置の個数が水平成分の極性が負である隣接画素位置の個数よりも少ない場合は、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を、上記修正画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正手段を備えることを特徴とする請求項１記載の動きベクトル検出装置。 - 上記隣接画素は、上記修正画素の左、右、上、下、左上、右上、左下、右下に隣接する画素、又は上記修正画素の左上、上、右上に隣接する画素、又は上記修正画素の左、上、右に隣接する画素、又は上記修正画素の左、左上、上、右上、右に隣接する画素である
ことを特徴とする請求項２記載の動きベクトル検出装置。 - 上記演算手段は、上記隣接画素における動きベクトルの水平成分毎、及び垂直成分毎に総和を算出し、算出した各総和を上記識別された水平成分の極性が正である隣接画素の個数、或いは上記識別された水平成分の極性が負である隣接画素の個数で割ることにより、上記隣接画素における動きベクトルの水平成分及び垂直成分の平均値を求めることを特徴とする請求項２記載の動きベクトル検出装置。
- 上記基準画素を原点とした直交座標系での、上記探索ブロックの中心に位置する画素における水平成分の極性と、上記基準画素に隣接する画素の動きベクトルにおける水平成分の極性が異なる場合に、正数となる修正値を算出し、上記探索ブロックの中心に位置する画素における水平成分の極性と、上記基準画素に隣接する画素の動きベクトルにおける水平成分の極性が同じ場合に、０となる修正値を算出し、当該修正値を上記差分絶対値和に加算する修正手段を備える
ことを特徴とする請求項１記載の動きベクトル検出装置。 - 入力される参照フィールドから１フレーム前の基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、
基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算し、
上記演算した差分絶対値和の中から上記探索範囲において最小となる差分絶対値和と画素位置と、ライン極小値と称する上記探索範囲の垂直成分に対応する水平ライン毎に最小となる差分絶対値和と画素位置とを識別し、
探索範囲において最小となる上記差分絶対値和と、基準画素の垂直負方向に隣接する画素の動きベクトルの垂直成分に対応するライン極小値との差分絶対値を求め、比較し、
上記比較した結果、上記差分絶対値が閾値より小さい場合に、上記基準画素における動きベクトルの垂直成分を、上記隣接する画素の動きベクトルの垂直成分に合致するように特定し、
上記基準画素における動きベクトルの水平成分を、特定した当該垂直成分に対応するライン極小値をもつ画素位置の水平成分に特定し、
上記比較した結果、上記差分絶対値が閾値以上の場合は、上記探索範囲において最小となる差分絶対値和の画素位置を動きベクトルと特定した第１の動きベクトルと、上記演算した差分絶対値和から上記探索範囲内において、上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和の最小値と画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標を識別し、上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なるかどうかを判定し、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が小さいかどうかを判定し、
上記判定により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と異なり、かつ、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値以下と判定したとき、上記隣接する画素の動きベクトルの水平成分が正の極性を持つ場合は上記正領域の差分絶対値和の最小値となる画素の座標を上記基準画素の第２の動きベクトルと特定し、
上記隣接する画素の動きベクトルの水平成分が負の極性を持つ場合は上記負領域の差分絶対値和の最小値となる画素の座標を上記基準画素の第２動きベクトルと特定し、
上記判定により上記探索範囲内において最小となる差分絶対値和を示す画素の座標の水平成分の極性が、上記基準画素の隣接する画素の動きベクトルの水平成分の極性と同じ、又は、上記正領域の差分絶対値和の最小値と上記負領域の差分絶対値和の最小値との差分が閾値よりも大きいと判定したときは、上記探索範囲内において最小となる差分絶対値和を示す画素の位置を上記基準画素の第２の動きベクトルと特定し、
上記特定された第１の動きベクトルと、上記特定された第２の動きベクトルの動きベクトルのうち、いずれか一の動きベクトルを選択する
ことを特徴とする動きベクトル検出方法。 - 上記選択された動きベクトルを各画素毎に順次格納し、
動きベクトルを修正する修正画素について隣接する隣接画素の動きベクトルを読み出し、
読み出した隣接画素の動きベクトルにおいて水平成分の極性を識別し、
上記識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較し、
上記識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、
上記比較した結果、水平成分の極性が正である隣接画素位置の個数が水平成分の極性が負である隣接画素位置の個数以上となる場合は、上記演算により求められた極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を、上記修正画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記比較した結果水平成分の極性が正である隣接画素位置の個数が水平成分の極性が負である隣接画素位置の個数よりも少ない場合は、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を、上記修正画素位置の動きベクトルにおける水平成分及び垂直成分とする
ことを特徴とする請求項６記載の動きベクトル検出方法。 - 上記隣接画素は、上記修正画素の左、右、上、下、左上、右上、左下、右下に隣接する画素、又は上記修正画素の左上、上、右上に隣接する画素、又は上記修正画素の左、上、右に隣接する画素、又は上記修正画素の左、左上、上、右上、右に隣接する画素である
ことを特徴とする請求項７記載の動きベクトル検出方法。 - 上記隣接画素における動きベクトルの水平成分毎、及び垂直成分毎に総和を算出し、算出した各総和を上記識別された水平成分の極性が正である隣接画素の個数、或いは上記識別された水平成分の極性が負である隣接画素の個数で割ることにより、上記隣接画素における動きベクトルの水平成分及び垂直成分の平均値を求める
ことを特徴とする請求項７記載の動きベクトル検出方法。 - 上記基準画素を原点とした直交座標系での、上記探索ブロックの中心に位置する画素における水平成分の極性と、上記基準画素に隣接する画素の動きベクトルにおける水平成分の極性が異なる場合に、正数となる修正値を算出し、上記探索ブロックの中心に位置する画素における水平成分の極性と、上記基準画素に隣接する画素の動きベクトルにおける水平成分の極性が同じ場合に、０となる修正値を算出し、当該修正値を上記差分絶対値和に加算する
ことを特徴とする請求項６記載の動きベクトル検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002108319A JP4304911B2 (ja) | 2002-04-10 | 2002-04-10 | 動きベクトル検出装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002108319A JP4304911B2 (ja) | 2002-04-10 | 2002-04-10 | 動きベクトル検出装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003304507A JP2003304507A (ja) | 2003-10-24 |
| JP4304911B2 true JP4304911B2 (ja) | 2009-07-29 |
Family
ID=29392130
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002108319A Expired - Fee Related JP4304911B2 (ja) | 2002-04-10 | 2002-04-10 | 動きベクトル検出装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4304911B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006186504A (ja) * | 2004-12-27 | 2006-07-13 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4412323B2 (ja) | 2006-12-28 | 2010-02-10 | 株式会社日立製作所 | 映像処理装置及び映像表示装置 |
| US8395709B2 (en) | 2009-03-04 | 2013-03-12 | ATI Technology ULC | 3D video processing |
-
2002
- 2002-04-10 JP JP2002108319A patent/JP4304911B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003304507A (ja) | 2003-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8446524B2 (en) | Apparatus and method for frame rate conversion | |
| US8644387B2 (en) | Motion estimation method | |
| JP3226020B2 (ja) | 動きベクトル検出装置 | |
| US8340186B2 (en) | Method for interpolating a previous and subsequent image of an input image sequence | |
| US20050232357A1 (en) | Motion vector estimation at image borders | |
| US7227897B2 (en) | Motion vector detector and motion vector detecting method | |
| WO2007119198A1 (en) | Motion estimation at image borders | |
| KR20060135177A (ko) | 움직임 에러 검출장치와 이를 포함하는 움직임 에러보정장치와 이에 의한 움직임 에러 검출방법 및 움직임에러 보정방법 | |
| JP5669599B2 (ja) | 画像処理装置及びその制御方法 | |
| KR20070074781A (ko) | 프레임율 변환장치 | |
| US7773151B2 (en) | Deinterlacing of a sequence of moving images | |
| US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
| JP4304911B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
| JP5114290B2 (ja) | 信号処理装置 | |
| JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
| JP2005318588A (ja) | ビデオシーケンスの補助データ処理 | |
| JP4250598B2 (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 | |
| JP4092935B2 (ja) | 動きベクトル修正装置及び方法 | |
| JP4269573B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP4269571B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP4250806B2 (ja) | フィールド周波数変換装置および変換方法 | |
| US20090122187A1 (en) | Image processing device | |
| JP4304912B2 (ja) | 動きベクトル検出装置及び方法 | |
| US9602763B1 (en) | Frame interpolation using pixel adaptive blending |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090420 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |