JP4092935B2 - 動きベクトル修正装置及び方法 - Google Patents
動きベクトル修正装置及び方法 Download PDFInfo
- Publication number
- JP4092935B2 JP4092935B2 JP2002101767A JP2002101767A JP4092935B2 JP 4092935 B2 JP4092935 B2 JP 4092935B2 JP 2002101767 A JP2002101767 A JP 2002101767A JP 2002101767 A JP2002101767 A JP 2002101767A JP 4092935 B2 JP4092935 B2 JP 4092935B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixel position
- polarity
- horizontal
- adjacent pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動きベクトル修正装置及び方法に関し、特にブロックマッチング法において本来の動きに適合させた動きベクトルへ修正可能な動きベクトル修正装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、入力画像信号に内挿処理を施して、５０ＧＨｚから１００ＧＨｚへフィールド周波数の変換や、インタレース走査からプログレッシブ走査へ走査変換を行なうことにより、画面全体がちらついて見える面フリッカ妨害を抑え、動きのスムーズな変換画像を得ることができる。
【０００３】
上述の動き補償型の変換を行うためには、入力された画像信号において、現フィールドと、現フィールドを１フレーム遅延させた１フレーム遅延フィールドとの間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。そして、現フィールドと１フレーム遅延フィールドの中間に位置する動き補正フィールドにおいて、求めた動きベクトルに基づき画素をシフトさせる。ちなみに、この動きベクトルの検出は、一般に実用化されている方式として、ブロックマッチング法が一般的に用いられている。
【０００４】
このブロックマッチング法では、図７に示すように基準となるフィールド（以下、基準フィールド８０と称する）と、参照するフィールド（以下参照フィールド９０と称する）を切り出す。ちなみにこの図７の例では、上述した１フレーム遅延フィールドが基準フィールド８０に相当し、また現フィールドが参照フィールドに相当する。この基準フィールド８０を複数の基準ブロック１０１に分割し、基準ブロック１０１と最も高い相関度を示すブロックを、参照フィールド９０における探索範囲１０４内を移動する探索ブロック１０３から検出する。そして当該検出された探索ブロック１０３と基準ブロック１０１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【０００５】
上述の相関度の判定は、先ず探索ブロック１０３の各画素値について、基準ブロック１０１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック１０３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック１０３を、基準ブロック１０１と最も高い相関度を示すブロックとし、かかるブロックの原点の画素位置１１３と、基準ブロック１０１の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【０００６】
次に、この求めた動きベクトルのベクトル量、ベクトル方向に基づき、画素をシフトさせる量やシフト方向を決定する。そして基準フィールド８０、参照フィールド９０の中間に位置する動き補正フィールド１００において、基準ブロックの原点の画素位置１１３から決定したシフト量に応じて画素をシフトさせる（或いは、画素位置１１３からシフト量の分だけ、画素をシフトさせる）。ここで、シフト量を、動きベクトルのベクトル量の１／２とすれば、動き補正フィールド１００においてシフトさせる画素の画素位置は、基準フィールド８０における画素位置と、参照フィールド９０における画素位置の中央になる。すなわち、基準フィールド８０から参照フィールド９０へ続く画素の動きがスムーズになるような、動き補正フィールドを挿入することができるため、画面品質の劣化を防止したインタレース画像を作り出すことが可能となる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来のブロックマッチング法は、画面全体に表示される本来の画像の動きに関係なく、各ブロック１０１,１０３間の誤差の総和を最優先することにより求められる。このため実際の動きの無関係な動きベクトルが求まると、動きベクトルがばらつき、画質の劣化や、領域単位での処理破綻の原因となる。
【０００８】
このため、実際の画像の動きと無関係な動きベクトルのベクトル方向を修正することにより、動きベクトルのばらつきを解消する必要があった。
【０００９】
そこで、本発明は上述した問題点に鑑みて案出されたものであり、実際の画像の動きと無関係な動きベクトルのベクトル方向を、実際の画像の動きに適合するように修正することにより、変換画像の劣化を防止することができる動きベクトル修正装置及び方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、上述の課題を解決するため、入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正方法において、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別する識別ステップと、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較ステップと、上記識別ステップにおける識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求める演算ステップと、上記演算ステップで求められた水平成分及び垂直成分の平均値を、上記比較ステップにおける比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正ステップとを有し、上記ベクトル修正ステップでは、上記比較ステップにおける比較結果に基づいて、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記識別ステップで識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする。
【００１１】
この動きベクトル修正装置は、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、水平成分の極性が正である隣接画素位置の個数と水平成分の極性が負である隣接画素位置の個数とを比較し、当該比較結果に基づいて隣接画素位置における動きベクトルの平均を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００１２】
また、本発明は、上述の課題を解決するため、入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正装置において、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別するベクトル識別手段と、上記識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較手段と、上記識別手段による識別結果に基づいて、極性が正である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、また、極性が負である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求める演算手段と、上記演算手段により求められた動きベクトルの水平成分及び垂直成分を、上記比較手段による比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正手段を備え、上記ベクトル修正手段は、上記比較手段による比較結果に基づいて、上記ベクトル識別手段により識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算手段により求められた上記極性が正である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記ベクトル識別手段により識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算手段により求められた上記極性が負である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする。
【００１３】
この動きベクトル修正装置は、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、水平成分の極性が正である隣接画素位置の個数と水平成分の極性が負である隣接画素位置の個数とを比較し、当該比較結果に基づいて隣接画素位置の動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００１４】
また、本発明は、上述の課題を解決するため、入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正方法において、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別する識別ステップと、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較ステップと、上記識別ステップにおける識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求める演算ステップと、上記演算ステップで求められた水平成分及び垂直成分の平均値を、上記比較ステップにおける比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正ステップとを有し、上記ベクトル修正ステップでは、上記比較ステップにおける比較結果に基づいて、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記識別ステップで識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする。
【００１５】
この動きベクトル修正方法は、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、水平成分の極性が正である隣接画素位置の個数と水平成分の極性が負である隣接画素位置の個数とを比較し、当該比較結果に基づいて隣接画素位置における動きベクトルの平均を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００１６】
さらに、本発明は、上述の課題を解決するため、入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正方法において、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別する識別ステップと、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較ステップと、上記識別ステップにおける識別結果に基づいて、極性が正である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、また、極性が負である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求める演算ステップと、上記演算ステップで求められた動きベクトルの水平成分及び垂直成分を、上記比較ステップにおける比較結果に基づいて、上上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正ステップとを有し、上記ベクトル修正ステップでは、上記比較ステップにおける比較結果に基づいて、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が正である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記識別ステップで識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が負である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする。
【００１７】
この動きベクトル修正方法は、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、水平成分の極性が正である隣接画素位置の個数と水平成分の極性が負である隣接画素位置の個数とを比較し、当該比較結果に基づいて隣接画素位置の動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１９】
図１は、本発明に係る動きベクトル修正装置が適用される動きベクトル修正システム１０の構成例を示している。動くベクトル修正システム１０は、内挿するフィールドの動き補償に用いる動きベクトルを修正するために設けられるものであり、動きベクトル修正装置１にそれぞれ接続される第１の格納用メモリ２１と、第２の格納用メモリ２２と、制御装置２３とを備える。
【００２０】
第１の格納用メモリ２１は、各画素毎または各ブロック毎（以下、各画素毎に求められている場合で述べる）に求められた動きベクトルを格納するためのメモリであり、動きベクトル修正装置１からの要求に基づき、所定の画素位置の動きベクトルを渡す。
【００２１】
第２の格納用メモリ２２は、動きベクトル修正装置により求められた修正動きベクトルを各画素位置毎に格納する。
【００２２】
制御装置２３は、各画素位置毎に求められた動きベクトルの中から、動きベクトルのばらつき具合を精査し、実際の画像の動きと無関係な動きベクトルが求められている画素位置（以下、この画素を基準画素位置と称する）の動きベクトル修正装置１へ通知する。
【００２３】
次に、本発明を適用した動きベクトル修正装置１の構成について説明する。
【００２４】
動きベクトル修正装置１は、制御装置２３から通知された基準画素位置を第１の格納用メモリ２１へ送信する。また、この動きベクトル修正装置１は、第１の格納用メモリから、基準画素位置と、当該基準画素位置に隣接する画素位置（以下、これらの画素位置を隣接画素位置と称する）の動きベクトルを受け取り、該隣接画素位置における動きベクトルの水平成分の極性を識別する。ちなみに、第１の格納用メモリ２１から動きベクトル修正装置１へ供給される動きベクトルは、図２に示すように、基準画素位置と、基準画素位置と上下、左右、左上、右上、左下、右下に隣接する隣接画素位置Ａ〜Ｈである。また、動きベクトル修正装置１は、水平成分の極性が正である隣接画素位置の個数と、水平成分の極性が負である隣接画素位置の個数を比較し、さらに隣接画素位置における動きベクトルの平均を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正した修正動きベクトルを求める。
【００２５】
なお、この動きベクトル修正装置１は、上述の動きベクトルの水平成分における極性の識別を図３に示すベクトル識別部１１を介して行なっても良い。またこの動きベクトル修正装置１は、上述した水平成分の極性が正又は負である隣接画素位置の個数の比較を、比較部１２を介して行なっても良い。また、この動きベクトル修正装置１は、隣接画素位置における動きベクトルの平均を求める際に、比較部１２による比較結果に応じて、隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求めることができる演算部１３を介して行なっても良い。さらに、動きベクトル修正装置１は、基準画素位置における修正動きベクトルの特定を、ベクトル修正部１４を介して行なっても良い。
【００２６】
ちなみに、動きベクトル修正装置１の動作フロー全体について、制御装置２３により制御されるか、又は動きベクトル修正装置１内部に設けられた図示しない制御部により制御される。
【００２７】
次に、第１の格納用メモリに格納される動きベクトルについて説明する。
【００２８】
動きベクトル修正装置１が内蔵されるテレビジョン受像機には、奇数番目の走査線から構成されるフィールド画像と偶数番目の走査線から構成されるフィールド画像からなるインタレース画像信号が供給される。この画像信号は、図４に示すように、順次提供されるインタレース画像信号のうち、現フィールドを参照フィールド４０とし、また現フィールドから１フレーム遅延させた１フレーム遅延フィールドを基準フィールド３０とする。動き補正フィールド５０は、基準フィールド３０と、参照フィールド４０の中間に位置し、動きベクトルに基づいて基準フィールド３０と参照フィールド４０から生成され、０／１００にある基準フィールド３０と組み合わさることにより、１枚のインタレース画像を生成するものである。
【００２９】
ちなみに、テレビジョン受像機では、上述の動き補正フィールドにおいて所定の動き補償処理を施すことにより、移動する文字が二重に見えたり、水平パンの動きが不規則になる等の視覚妨害を抑え、画面品質の劣化を防止する。この動き補償処理を行なうためには、入力された画像信号において、基準フィールド３０と、参照フィールド４０との間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う（ちなみに、この動きベクトルの検出は、一般に実用化されている方式として、ブロックマッチング法が一般的に用いられている）。通常では、この求めた動きベクトルのベクトル量、ベクトル方向に基づき、シフト量、シフト方向を決定し、動き補正フィールド５０において、基準ブロックの原点の画素位置からシフト量の分だけ、シフト方向へ、画素をシフトさせる。制御装置２３は、この各画素毎に求められた動きベクトルから、実際の画像の動きと無関係な基準画素位置を抽出する。
【００３０】
次に、本発明を適用した動きベクトル修正装置１の実際の処理手順について図５のフローチャートを用いて説明をする。
【００３１】
まず、動きベクトル修正装置１は、ステップＳ１１において各変数を初期化し、次にステップＳ１２において、図２に示す隣接画素位置Ａ〜Ｈの中から最初の隣接画素位置（例えば隣接画素位置Ａ）における動きベクトルを抽出する。
【００３２】
次に、動きベクトル修正装置１は、ステップＳ１３において、隣接画素位置における動きベクトルの水平成分の極性Ｖｘ＿ｉを識別し、当該極性がプラスであればステップＳ１４へ移行し、当該極性がマイナスであればステップＳ１５へ移行する。
【００３３】
ステップＳ１４において、動きベクトル修正装置１は、図示しないカウンタＣｎｔ＿ｐに１を加算し、また抽出した動きベクトルの水平成分を、隣接画素位置の水平成分の和Ｖｘ＿ａｖｅ＿ｐへ、また当該動きベクトルの垂直成分を垂直成分の和Ｖｙ＿ａｖｅ＿ｐへ加算し、ステップＳ１６へ移行する。
【００３４】
ステップＳ１５において、動きベクトル修正装置１は、図示しないカウンタＣｎｔ＿ｍに１を加算し、また抽出した動きベクトルの水平成分を、隣接画素位置の水平成分の和Ｖｘ＿ａｖｅ＿ｍへ、当該動きベクトルの垂直成分を垂直成分の和Ｖｙ＿ａｖｅ＿ｍへ加算し、ステップＳ１６へ移行する。
【００３５】
ステップＳ１６において、動きベクトル修正装置１は、ステップＳ１３で識別した隣接画素位置が、抽出すべき隣接画素位置Ａ〜Ｈのうち最後の隣接画素位置か否か識別する。最後の隣接画素位置であればステップＳ１８へ移行する。最後の隣接画素位置でなければステップＳ１７へ移行する。
【００３６】
ステップＳ１７において、動きベクトル修正装置１は、次の隣接画素位置の動きベクトル（例えば隣接画素位置Ｂ）を抽出し、再度ステップＳ１３へ移行する。このルーチンを組むことにより、図２に示す隣接画素位置Ａ〜Ｈ全てについて動きベクトルの識別をすることが可能となる。また隣接画素位置Ａ〜Ｈ全てについて動きベクトルを識別して、ステップＳ１８に移行する際には、カウンタＣｎｔ＿ｐにおいて、動きベクトルの水平成分の極性がプラスである隣接画素位置の個数が、またカウンタＣｎｔ＿ｍにおいて、動きベクトルの水平成分の極性がマイナスである隣接画素位置の個数が示されることとなる。さらに、動きベクトルの水平成分の極性がプラスである隣接画素位置における水平成分の和Ｖｘ＿ａｖｅ＿ｐ、垂直成分の和Ｖｙ＿ａｖｅ＿ｐが求められており、また動きベクトルの水平成分の極性がマイナスである隣接画素位置における水平成分の和Ｖｘ＿ａｖｅ＿ｍ、垂直成分の和Ｖｙ＿ａｖｅ＿ｍが求められることになる。
【００３７】
ちなみに、ステップＳ１７において、隣接画素位置Ａ〜Ｈの抽出する順は時計回り、或いは反時計回りであっても良いし、ランダムであっても良い。また抽出する隣接画素位置は、隣接画素位置Ａ〜Ｈ全て抽出しなくても良く、例えば、上段の隣接画素位置Ａ〜Ｃ、隣接画素位置Ｂ,Ｄ,Ｅ、又は、隣接画素位置Ａ,Ｂ,Ｃ,Ｄ,Ｅであっても良い。
【００３８】
ステップＳ１８に移行すると、動きベクトル修正装置１は、カウンタＣｎｔ＿ｐとカウンタＣｎｔ＿ｐの数値を比較する。その結果、カウンタＣｎｔ＿ｐがより大きい場合には、隣接画素位置のうち、動きベクトル水平成分の極性がプラスである隣接画素位置の方が多いことが示され、ステップＳ１９へ移行する。また、カウンタＣｎｔ＿ｍがより大きい場合には、隣接画素位置のうち、動きベクトルの水平成分の極性がマイナスである隣接画素位置の方が多いことが示され、ステップＳ２０へ移行する。
【００３９】
ステップＳ１９において、動きベクトル修正装置１は、動きベクトルの水平成分の極性がプラスである隣接画素位置に基づき、基準画素位置における修正動きベクトルを求める。この修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）は、水平成分の極性がプラスである隣接画素位置の各成分の平均値とする。具体的には以下の式に基づき算出する。
Ｖｘ＿ｎ＝Ｖｘ＿ａｖｅ＿ｐ／Ｃｎｔ＿ｐ
Ｖｙ＿ｎ＝Ｖｙ＿ａｖｅ＿ｐ／Ｃｎｔ＿ｐ
また、ステップＳ２０において、動きベクトル修正装置１は、動きベクトルの水平成分の極性がマイナスである隣接画素位置に基づき、基準画素位置における修正動きベクトルを求める。この修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）は、水平成分の極性がマイナスである隣接画素位置の各成分の平均値とする。具体的には以下の式に基づき算出する。
Ｖｘ＿ｎ＝Ｖｘ＿ａｖｅ＿ｍ／Ｃｎｔ＿ｍ
Ｖｙ＿ｎ＝Ｖｙ＿ａｖｅ＿ｍ／Ｃｎｔ＿ｍ
すなわち、本発明を適用した動きベクトル修正装置１は、上述した図５に示す処理手順を踏むことにより、基準画素位置の動きベクトルを、隣接画素位置の動きベクトルのベクトル方向をカウントし、多数の隣接画素位置が示すベクトル方向に合うように修正することができる。換言すれば、基準画素位置の周囲に位置する隣接画素位置の動きベクトルの方向を多数決し、多い方の動きベクトルの方向を実際の画像の動きであるものと推定して、基準画素位置の動きベクトルのベクトル方向を修正することができる。これにより、動きベクトルのばらつきを解消することが可能となり、ひいては、変換画像の劣化を防止することができる。
【００４０】
上述した実施の形態に限定されるものではない。図５に示すフローでは、隣接画素位置の動きベクトルの水平成分に応じて多数決するが、隣接画素位置の動きベクトルの垂直成分に応じて多数決しても良い。かかる場合には、ステップＳ１３において、隣接画素位置における動きベクトルの垂直成分の極性を識別し、当該極性がプラスかマイナスか、判断することにより、多数決を行なう。
【００４１】
また、図５に示すフローでは、修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）を、隣接画素位置の各成分の平均値としているが、最も大きい動きベクトルに置き換えても良い。例えば、動きベクトルの水平成分の極性がプラスである隣接画素位置が多い場合、当該隣接画素位置の中から動きベクトル量が最大の動きベクトル（Ｖｘ＿ｍａｘ＿ｐ、Ｖｙ＿ｍａｘ＿ｐ）を探し出す。そして、修正動きベクトルの各成分について、Ｖｘ＿ｎをＶｘ＿ｍａｘ＿ｐとし、またＶｙ＿ｎをＶｙ＿ｍａｘ＿ｐとする。
【００４２】
また、本発明は、上述した実施の形態に限定されるものではなく、図６に示す動くベクトル修正システム１９に適用可能である。この動きベクトル修正システム１９では、動きベクトル修正装置１に対してベクトル格納用メモリ２５と、制御装置２３とが接続される。
【００４３】
ベクトル格納用メモリ２５は、上述した第１の格納用メモリ２１と、第２の格納用メモリ２２の機能を包含させたものであり、各画素毎に求められた動きベクトルを格納し、また動きベクトル修正装置により求められた修正動きベクトルを画素位置毎に格納する。
【００４４】
また、本発明は、例えばＰＡＬ(Phase Alternation by Line)方式において、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式を採用するテレビジョン受像機に対しても適用可能である。このフィールド周波数倍速方式を採用するテレビジョンに本発明を内蔵することにより、移動する文字が二重に見えたり、水平パンの動きが不規則になる等の視覚妨害の抑制を期しつつ、動きベクトルのばらつきを解消することができるため、相乗的に画質を向上させることができる。
【００４５】
また、本発明は、画素単位の処理に限定されるものではなく、ブロック単位の処理にも適用可能である。この場合、基準画素位置を所定の画素数からなる基準ブロックに代替し、また隣接画素位置を所定の画素数からなり、基準ブロックに隣接する隣接ブロックに代替しても良い。
【００４６】
更に本発明は、上述したインタレース走査方式における入力画像信号の内挿処理に適用される場合に限らず、例えば、ＭＰＥＧ（Moving Picture Expert Group）方式の動き補償予測によるフレーム間符号化にも適用可能である。
【００４７】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル修正装置及び方法では、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較し、上記識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、上記比較結果に基づいて、識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、求められた上記極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。また、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較し、上記識別結果に基づいて、極性が正である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、また、極性が負である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、上記比較結果に基づいて、識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記極性が正である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記極性が負である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００４８】
これにより、動きベクトルのばらつきを解消することが可能となり、ひいては、変換画像の劣化を防止することができる 。
【図面の簡単な説明】
【図１】本発明に係る動きベクトル修正装置が適用される動きベクトル修正システムの構成例を示した図である。
【図２】基準画素位置と隣接画素位置の配列の関係を示した図である。
【図３】本発明を適用した動きベクトル修正装置の内部構成例について示した図である。
【図４】本発明を適用した動きベクトル修正装置に順次提供されるインタレース画像信号について示した図である。
【図５】本発明を適用した動きベクトル修正装置の実際の処理手順について示したフローチャートである。
【図６】動きベクトル修正システムの別の構成例について示した図である。
【図７】従来型のブロックマッチング法について説明するための図である。
【符号の説明】
１ 動きベクトル修正装置、１１ ベクトル識別部、１２ 比較部、１３ 演算部、１４ ベクトル修正部、２１ 第１の格納用メモリ、２２ 第２の格納用メモリ、２３ 制御装置
【発明の属する技術分野】
本発明は、動きベクトル修正装置及び方法に関し、特にブロックマッチング法において本来の動きに適合させた動きベクトルへ修正可能な動きベクトル修正装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、入力画像信号に内挿処理を施して、５０ＧＨｚから１００ＧＨｚへフィールド周波数の変換や、インタレース走査からプログレッシブ走査へ走査変換を行なうことにより、画面全体がちらついて見える面フリッカ妨害を抑え、動きのスムーズな変換画像を得ることができる。
【０００３】
上述の動き補償型の変換を行うためには、入力された画像信号において、現フィールドと、現フィールドを１フレーム遅延させた１フレーム遅延フィールドとの間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。そして、現フィールドと１フレーム遅延フィールドの中間に位置する動き補正フィールドにおいて、求めた動きベクトルに基づき画素をシフトさせる。ちなみに、この動きベクトルの検出は、一般に実用化されている方式として、ブロックマッチング法が一般的に用いられている。
【０００４】
このブロックマッチング法では、図７に示すように基準となるフィールド（以下、基準フィールド８０と称する）と、参照するフィールド（以下参照フィールド９０と称する）を切り出す。ちなみにこの図７の例では、上述した１フレーム遅延フィールドが基準フィールド８０に相当し、また現フィールドが参照フィールドに相当する。この基準フィールド８０を複数の基準ブロック１０１に分割し、基準ブロック１０１と最も高い相関度を示すブロックを、参照フィールド９０における探索範囲１０４内を移動する探索ブロック１０３から検出する。そして当該検出された探索ブロック１０３と基準ブロック１０１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【０００５】
上述の相関度の判定は、先ず探索ブロック１０３の各画素値について、基準ブロック１０１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック１０３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック１０３を、基準ブロック１０１と最も高い相関度を示すブロックとし、かかるブロックの原点の画素位置１１３と、基準ブロック１０１の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【０００６】
次に、この求めた動きベクトルのベクトル量、ベクトル方向に基づき、画素をシフトさせる量やシフト方向を決定する。そして基準フィールド８０、参照フィールド９０の中間に位置する動き補正フィールド１００において、基準ブロックの原点の画素位置１１３から決定したシフト量に応じて画素をシフトさせる（或いは、画素位置１１３からシフト量の分だけ、画素をシフトさせる）。ここで、シフト量を、動きベクトルのベクトル量の１／２とすれば、動き補正フィールド１００においてシフトさせる画素の画素位置は、基準フィールド８０における画素位置と、参照フィールド９０における画素位置の中央になる。すなわち、基準フィールド８０から参照フィールド９０へ続く画素の動きがスムーズになるような、動き補正フィールドを挿入することができるため、画面品質の劣化を防止したインタレース画像を作り出すことが可能となる。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述した従来のブロックマッチング法は、画面全体に表示される本来の画像の動きに関係なく、各ブロック１０１,１０３間の誤差の総和を最優先することにより求められる。このため実際の動きの無関係な動きベクトルが求まると、動きベクトルがばらつき、画質の劣化や、領域単位での処理破綻の原因となる。
【０００８】
このため、実際の画像の動きと無関係な動きベクトルのベクトル方向を修正することにより、動きベクトルのばらつきを解消する必要があった。
【０００９】
そこで、本発明は上述した問題点に鑑みて案出されたものであり、実際の画像の動きと無関係な動きベクトルのベクトル方向を、実際の画像の動きに適合するように修正することにより、変換画像の劣化を防止することができる動きベクトル修正装置及び方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、上述の課題を解決するため、入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正方法において、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別する識別ステップと、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較ステップと、上記識別ステップにおける識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求める演算ステップと、上記演算ステップで求められた水平成分及び垂直成分の平均値を、上記比較ステップにおける比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正ステップとを有し、上記ベクトル修正ステップでは、上記比較ステップにおける比較結果に基づいて、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記識別ステップで識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする。
【００１１】
この動きベクトル修正装置は、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、水平成分の極性が正である隣接画素位置の個数と水平成分の極性が負である隣接画素位置の個数とを比較し、当該比較結果に基づいて隣接画素位置における動きベクトルの平均を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００１２】
また、本発明は、上述の課題を解決するため、入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正装置において、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別するベクトル識別手段と、上記識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較手段と、上記識別手段による識別結果に基づいて、極性が正である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、また、極性が負である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求める演算手段と、上記演算手段により求められた動きベクトルの水平成分及び垂直成分を、上記比較手段による比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正手段を備え、上記ベクトル修正手段は、上記比較手段による比較結果に基づいて、上記ベクトル識別手段により識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算手段により求められた上記極性が正である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記ベクトル識別手段により識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算手段により求められた上記極性が負である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする。
【００１３】
この動きベクトル修正装置は、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、水平成分の極性が正である隣接画素位置の個数と水平成分の極性が負である隣接画素位置の個数とを比較し、当該比較結果に基づいて隣接画素位置の動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００１４】
また、本発明は、上述の課題を解決するため、入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正方法において、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別する識別ステップと、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較ステップと、上記識別ステップにおける識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求める演算ステップと、上記演算ステップで求められた水平成分及び垂直成分の平均値を、上記比較ステップにおける比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正ステップとを有し、上記ベクトル修正ステップでは、上記比較ステップにおける比較結果に基づいて、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記識別ステップで識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする。
【００１５】
この動きベクトル修正方法は、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、水平成分の極性が正である隣接画素位置の個数と水平成分の極性が負である隣接画素位置の個数とを比較し、当該比較結果に基づいて隣接画素位置における動きベクトルの平均を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００１６】
さらに、本発明は、上述の課題を解決するため、入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正方法において、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別する識別ステップと、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較ステップと、上記識別ステップにおける識別結果に基づいて、極性が正である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、また、極性が負である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求める演算ステップと、上記演算ステップで求められた動きベクトルの水平成分及び垂直成分を、上記比較ステップにおける比較結果に基づいて、上上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正ステップとを有し、上記ベクトル修正ステップでは、上記比較ステップにおける比較結果に基づいて、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が正である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記識別ステップで識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が負である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする。
【００１７】
この動きベクトル修正方法は、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、水平成分の極性が正である隣接画素位置の個数と水平成分の極性が負である隣接画素位置の個数とを比較し、当該比較結果に基づいて隣接画素位置の動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１９】
図１は、本発明に係る動きベクトル修正装置が適用される動きベクトル修正システム１０の構成例を示している。動くベクトル修正システム１０は、内挿するフィールドの動き補償に用いる動きベクトルを修正するために設けられるものであり、動きベクトル修正装置１にそれぞれ接続される第１の格納用メモリ２１と、第２の格納用メモリ２２と、制御装置２３とを備える。
【００２０】
第１の格納用メモリ２１は、各画素毎または各ブロック毎（以下、各画素毎に求められている場合で述べる）に求められた動きベクトルを格納するためのメモリであり、動きベクトル修正装置１からの要求に基づき、所定の画素位置の動きベクトルを渡す。
【００２１】
第２の格納用メモリ２２は、動きベクトル修正装置により求められた修正動きベクトルを各画素位置毎に格納する。
【００２２】
制御装置２３は、各画素位置毎に求められた動きベクトルの中から、動きベクトルのばらつき具合を精査し、実際の画像の動きと無関係な動きベクトルが求められている画素位置（以下、この画素を基準画素位置と称する）の動きベクトル修正装置１へ通知する。
【００２３】
次に、本発明を適用した動きベクトル修正装置１の構成について説明する。
【００２４】
動きベクトル修正装置１は、制御装置２３から通知された基準画素位置を第１の格納用メモリ２１へ送信する。また、この動きベクトル修正装置１は、第１の格納用メモリから、基準画素位置と、当該基準画素位置に隣接する画素位置（以下、これらの画素位置を隣接画素位置と称する）の動きベクトルを受け取り、該隣接画素位置における動きベクトルの水平成分の極性を識別する。ちなみに、第１の格納用メモリ２１から動きベクトル修正装置１へ供給される動きベクトルは、図２に示すように、基準画素位置と、基準画素位置と上下、左右、左上、右上、左下、右下に隣接する隣接画素位置Ａ〜Ｈである。また、動きベクトル修正装置１は、水平成分の極性が正である隣接画素位置の個数と、水平成分の極性が負である隣接画素位置の個数を比較し、さらに隣接画素位置における動きベクトルの平均を求めることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正した修正動きベクトルを求める。
【００２５】
なお、この動きベクトル修正装置１は、上述の動きベクトルの水平成分における極性の識別を図３に示すベクトル識別部１１を介して行なっても良い。またこの動きベクトル修正装置１は、上述した水平成分の極性が正又は負である隣接画素位置の個数の比較を、比較部１２を介して行なっても良い。また、この動きベクトル修正装置１は、隣接画素位置における動きベクトルの平均を求める際に、比較部１２による比較結果に応じて、隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求めることができる演算部１３を介して行なっても良い。さらに、動きベクトル修正装置１は、基準画素位置における修正動きベクトルの特定を、ベクトル修正部１４を介して行なっても良い。
【００２６】
ちなみに、動きベクトル修正装置１の動作フロー全体について、制御装置２３により制御されるか、又は動きベクトル修正装置１内部に設けられた図示しない制御部により制御される。
【００２７】
次に、第１の格納用メモリに格納される動きベクトルについて説明する。
【００２８】
動きベクトル修正装置１が内蔵されるテレビジョン受像機には、奇数番目の走査線から構成されるフィールド画像と偶数番目の走査線から構成されるフィールド画像からなるインタレース画像信号が供給される。この画像信号は、図４に示すように、順次提供されるインタレース画像信号のうち、現フィールドを参照フィールド４０とし、また現フィールドから１フレーム遅延させた１フレーム遅延フィールドを基準フィールド３０とする。動き補正フィールド５０は、基準フィールド３０と、参照フィールド４０の中間に位置し、動きベクトルに基づいて基準フィールド３０と参照フィールド４０から生成され、０／１００にある基準フィールド３０と組み合わさることにより、１枚のインタレース画像を生成するものである。
【００２９】
ちなみに、テレビジョン受像機では、上述の動き補正フィールドにおいて所定の動き補償処理を施すことにより、移動する文字が二重に見えたり、水平パンの動きが不規則になる等の視覚妨害を抑え、画面品質の劣化を防止する。この動き補償処理を行なうためには、入力された画像信号において、基準フィールド３０と、参照フィールド４０との間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う（ちなみに、この動きベクトルの検出は、一般に実用化されている方式として、ブロックマッチング法が一般的に用いられている）。通常では、この求めた動きベクトルのベクトル量、ベクトル方向に基づき、シフト量、シフト方向を決定し、動き補正フィールド５０において、基準ブロックの原点の画素位置からシフト量の分だけ、シフト方向へ、画素をシフトさせる。制御装置２３は、この各画素毎に求められた動きベクトルから、実際の画像の動きと無関係な基準画素位置を抽出する。
【００３０】
次に、本発明を適用した動きベクトル修正装置１の実際の処理手順について図５のフローチャートを用いて説明をする。
【００３１】
まず、動きベクトル修正装置１は、ステップＳ１１において各変数を初期化し、次にステップＳ１２において、図２に示す隣接画素位置Ａ〜Ｈの中から最初の隣接画素位置（例えば隣接画素位置Ａ）における動きベクトルを抽出する。
【００３２】
次に、動きベクトル修正装置１は、ステップＳ１３において、隣接画素位置における動きベクトルの水平成分の極性Ｖｘ＿ｉを識別し、当該極性がプラスであればステップＳ１４へ移行し、当該極性がマイナスであればステップＳ１５へ移行する。
【００３３】
ステップＳ１４において、動きベクトル修正装置１は、図示しないカウンタＣｎｔ＿ｐに１を加算し、また抽出した動きベクトルの水平成分を、隣接画素位置の水平成分の和Ｖｘ＿ａｖｅ＿ｐへ、また当該動きベクトルの垂直成分を垂直成分の和Ｖｙ＿ａｖｅ＿ｐへ加算し、ステップＳ１６へ移行する。
【００３４】
ステップＳ１５において、動きベクトル修正装置１は、図示しないカウンタＣｎｔ＿ｍに１を加算し、また抽出した動きベクトルの水平成分を、隣接画素位置の水平成分の和Ｖｘ＿ａｖｅ＿ｍへ、当該動きベクトルの垂直成分を垂直成分の和Ｖｙ＿ａｖｅ＿ｍへ加算し、ステップＳ１６へ移行する。
【００３５】
ステップＳ１６において、動きベクトル修正装置１は、ステップＳ１３で識別した隣接画素位置が、抽出すべき隣接画素位置Ａ〜Ｈのうち最後の隣接画素位置か否か識別する。最後の隣接画素位置であればステップＳ１８へ移行する。最後の隣接画素位置でなければステップＳ１７へ移行する。
【００３６】
ステップＳ１７において、動きベクトル修正装置１は、次の隣接画素位置の動きベクトル（例えば隣接画素位置Ｂ）を抽出し、再度ステップＳ１３へ移行する。このルーチンを組むことにより、図２に示す隣接画素位置Ａ〜Ｈ全てについて動きベクトルの識別をすることが可能となる。また隣接画素位置Ａ〜Ｈ全てについて動きベクトルを識別して、ステップＳ１８に移行する際には、カウンタＣｎｔ＿ｐにおいて、動きベクトルの水平成分の極性がプラスである隣接画素位置の個数が、またカウンタＣｎｔ＿ｍにおいて、動きベクトルの水平成分の極性がマイナスである隣接画素位置の個数が示されることとなる。さらに、動きベクトルの水平成分の極性がプラスである隣接画素位置における水平成分の和Ｖｘ＿ａｖｅ＿ｐ、垂直成分の和Ｖｙ＿ａｖｅ＿ｐが求められており、また動きベクトルの水平成分の極性がマイナスである隣接画素位置における水平成分の和Ｖｘ＿ａｖｅ＿ｍ、垂直成分の和Ｖｙ＿ａｖｅ＿ｍが求められることになる。
【００３７】
ちなみに、ステップＳ１７において、隣接画素位置Ａ〜Ｈの抽出する順は時計回り、或いは反時計回りであっても良いし、ランダムであっても良い。また抽出する隣接画素位置は、隣接画素位置Ａ〜Ｈ全て抽出しなくても良く、例えば、上段の隣接画素位置Ａ〜Ｃ、隣接画素位置Ｂ,Ｄ,Ｅ、又は、隣接画素位置Ａ,Ｂ,Ｃ,Ｄ,Ｅであっても良い。
【００３８】
ステップＳ１８に移行すると、動きベクトル修正装置１は、カウンタＣｎｔ＿ｐとカウンタＣｎｔ＿ｐの数値を比較する。その結果、カウンタＣｎｔ＿ｐがより大きい場合には、隣接画素位置のうち、動きベクトル水平成分の極性がプラスである隣接画素位置の方が多いことが示され、ステップＳ１９へ移行する。また、カウンタＣｎｔ＿ｍがより大きい場合には、隣接画素位置のうち、動きベクトルの水平成分の極性がマイナスである隣接画素位置の方が多いことが示され、ステップＳ２０へ移行する。
【００３９】
ステップＳ１９において、動きベクトル修正装置１は、動きベクトルの水平成分の極性がプラスである隣接画素位置に基づき、基準画素位置における修正動きベクトルを求める。この修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）は、水平成分の極性がプラスである隣接画素位置の各成分の平均値とする。具体的には以下の式に基づき算出する。
Ｖｘ＿ｎ＝Ｖｘ＿ａｖｅ＿ｐ／Ｃｎｔ＿ｐ
Ｖｙ＿ｎ＝Ｖｙ＿ａｖｅ＿ｐ／Ｃｎｔ＿ｐ
また、ステップＳ２０において、動きベクトル修正装置１は、動きベクトルの水平成分の極性がマイナスである隣接画素位置に基づき、基準画素位置における修正動きベクトルを求める。この修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）は、水平成分の極性がマイナスである隣接画素位置の各成分の平均値とする。具体的には以下の式に基づき算出する。
Ｖｘ＿ｎ＝Ｖｘ＿ａｖｅ＿ｍ／Ｃｎｔ＿ｍ
Ｖｙ＿ｎ＝Ｖｙ＿ａｖｅ＿ｍ／Ｃｎｔ＿ｍ
すなわち、本発明を適用した動きベクトル修正装置１は、上述した図５に示す処理手順を踏むことにより、基準画素位置の動きベクトルを、隣接画素位置の動きベクトルのベクトル方向をカウントし、多数の隣接画素位置が示すベクトル方向に合うように修正することができる。換言すれば、基準画素位置の周囲に位置する隣接画素位置の動きベクトルの方向を多数決し、多い方の動きベクトルの方向を実際の画像の動きであるものと推定して、基準画素位置の動きベクトルのベクトル方向を修正することができる。これにより、動きベクトルのばらつきを解消することが可能となり、ひいては、変換画像の劣化を防止することができる。
【００４０】
上述した実施の形態に限定されるものではない。図５に示すフローでは、隣接画素位置の動きベクトルの水平成分に応じて多数決するが、隣接画素位置の動きベクトルの垂直成分に応じて多数決しても良い。かかる場合には、ステップＳ１３において、隣接画素位置における動きベクトルの垂直成分の極性を識別し、当該極性がプラスかマイナスか、判断することにより、多数決を行なう。
【００４１】
また、図５に示すフローでは、修正動きベクトルの各成分（Ｖｘ＿ｎ、Ｖｙ＿ｎ）を、隣接画素位置の各成分の平均値としているが、最も大きい動きベクトルに置き換えても良い。例えば、動きベクトルの水平成分の極性がプラスである隣接画素位置が多い場合、当該隣接画素位置の中から動きベクトル量が最大の動きベクトル（Ｖｘ＿ｍａｘ＿ｐ、Ｖｙ＿ｍａｘ＿ｐ）を探し出す。そして、修正動きベクトルの各成分について、Ｖｘ＿ｎをＶｘ＿ｍａｘ＿ｐとし、またＶｙ＿ｎをＶｙ＿ｍａｘ＿ｐとする。
【００４２】
また、本発明は、上述した実施の形態に限定されるものではなく、図６に示す動くベクトル修正システム１９に適用可能である。この動きベクトル修正システム１９では、動きベクトル修正装置１に対してベクトル格納用メモリ２５と、制御装置２３とが接続される。
【００４３】
ベクトル格納用メモリ２５は、上述した第１の格納用メモリ２１と、第２の格納用メモリ２２の機能を包含させたものであり、各画素毎に求められた動きベクトルを格納し、また動きベクトル修正装置により求められた修正動きベクトルを画素位置毎に格納する。
【００４４】
また、本発明は、例えばＰＡＬ(Phase Alternation by Line)方式において、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式を採用するテレビジョン受像機に対しても適用可能である。このフィールド周波数倍速方式を採用するテレビジョンに本発明を内蔵することにより、移動する文字が二重に見えたり、水平パンの動きが不規則になる等の視覚妨害の抑制を期しつつ、動きベクトルのばらつきを解消することができるため、相乗的に画質を向上させることができる。
【００４５】
また、本発明は、画素単位の処理に限定されるものではなく、ブロック単位の処理にも適用可能である。この場合、基準画素位置を所定の画素数からなる基準ブロックに代替し、また隣接画素位置を所定の画素数からなり、基準ブロックに隣接する隣接ブロックに代替しても良い。
【００４６】
更に本発明は、上述したインタレース走査方式における入力画像信号の内挿処理に適用される場合に限らず、例えば、ＭＰＥＧ（Moving Picture Expert Group）方式の動き補償予測によるフレーム間符号化にも適用可能である。
【００４７】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル修正装置及び方法では、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較し、上記識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、上記比較結果に基づいて、識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、求められた上記極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。また、基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別し、識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較し、上記識別結果に基づいて、極性が正である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、また、極性が負である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、上記比較結果に基づいて、識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記極性が正である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記極性が負である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることにより、基準画素位置の動きベクトルを実際の画像の動きに適合するように修正する。
【００４８】
これにより、動きベクトルのばらつきを解消することが可能となり、ひいては、変換画像の劣化を防止することができる 。
【図面の簡単な説明】
【図１】本発明に係る動きベクトル修正装置が適用される動きベクトル修正システムの構成例を示した図である。
【図２】基準画素位置と隣接画素位置の配列の関係を示した図である。
【図３】本発明を適用した動きベクトル修正装置の内部構成例について示した図である。
【図４】本発明を適用した動きベクトル修正装置に順次提供されるインタレース画像信号について示した図である。
【図５】本発明を適用した動きベクトル修正装置の実際の処理手順について示したフローチャートである。
【図６】動きベクトル修正システムの別の構成例について示した図である。
【図７】従来型のブロックマッチング法について説明するための図である。
【符号の説明】
１ 動きベクトル修正装置、１１ ベクトル識別部、１２ 比較部、１３ 演算部、１４ ベクトル修正部、２１ 第１の格納用メモリ、２２ 第２の格納用メモリ、２３ 制御装置
Claims (8)
- 入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正装置において、
基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別するベクトル識別手段と、
上記識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較手段と、
上記ベクトル識別手段による識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求める演算手段と、
上記演算手段により求められた水平成分及び垂直成分の平均値を、上記比較手段による比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正手段を備え、
上記ベクトル修正手段は、上記比較手段による比較結果に基づいて、上記ベクトル識別手段により識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算手段により求められた上記極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記ベクトル識別手段により識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算手段により求められた上記極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする動きベクトル修正装置。 - 上記隣接画素位置は、上記基準画素位置の左,右,上,下,左上,右上,左下,右下に隣接する画素位置、又は上記基準画素位置の左上,上,右上に隣接する画素位置、又は上記基準画素位置の左,上,右に隣接する画素位置、又は上記基準画素位置の左,左上,上,右上,右に隣接する画素位置であることを特徴とする請求項１記載の動きベクトル修正装置。
- 上記演算手段は、上記隣接画素位置における動きベクトルの水平成分毎、及び垂直成分毎に総和を算出し、算出した各総和を上記識別された水平成分の極性が正である隣接画素位置の個数、或いは上記識別された水平成分の極性が負である隣接画素位置の個数で割ることにより、上記隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求めることを特徴とする請求項１記載の動きベクトル修正装置。
- 入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正装置において、
基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別するベクトル識別手段と、
上記識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較手段と、
上記識別手段による識別結果に基づいて、極性が正である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、また、極性が負である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求める演算手段と、
上記演算手段により求められた動きベクトルの水平成分及び垂直成分を、上記比較手段による比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正手段を備え、
上記ベクトル修正手段は、上記比較手段による比較結果に基づいて、上記ベクトル識別手段により識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算手段により求められた上記極性が正である隣接画素位置のうち、ベクトル量が最大と なる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記ベクトル識別手段により識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算手段により求められた上記極性が負である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする動きベクトル修正装置。 - 入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正方法において、
基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別する識別ステップと、
上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較ステップと、
上記識別ステップにおける識別結果に基づいて、極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求め、また、極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求める演算ステップと、
上記演算ステップで求められた水平成分及び垂直成分の平均値を、上記比較ステップにおける比較結果に基づいて、上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正ステップと
を有し、
上記ベクトル修正ステップでは、上記比較ステップにおける比較結果に基づいて、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が正である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記識別ステップで識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が負である隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする動きベクトル修正方法。 - 上記隣接画素位置は、上記基準画素位置の左,右,上,下,左上,右上,左下,右下に隣接する画素位置、又は上記基準画素位置の左上,上,右上に隣接する画素位置、又は上記基準画素位置の左,上,右に隣接する画素位置、又は上記基準画素位置の左,左上,上,右上,右に隣接する画素位置であることを特徴とする請求項５記載の動きベクトル修正方法。
- 上記演算ステップでは、上記隣接画素位置における動きベクトルの水平成分毎、及び垂直成分毎に総和を算出し、算出した各総和を上記識別された水平成分の極性が正である隣接画素位置の個数、或いは上記識別された水平成分の極性が負である隣接画素位置の個数で割ることにより、上記隣接画素位置における動きベクトルの水平成分及び垂直成分の平均値を求めることを特徴とする請求項５記載の動きベクトル修正方法。
- 入力された画像信号の基準画素位置における動きベクトルを修正する動きベクトル修正方法において、
基準画素位置に隣接する隣接画素位置における動きベクトルの水平成分の極性を識別する識別ステップと、
上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数と、上記識別された水平成分の極性が負である隣接画素位置の個数とを比較する比較ステップと、
上記識別ステップにおける識別結果に基づいて、極性が正である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求め、また、極性が負である隣接画素位置における動きベクトルのうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を求める演算ステップと、
上記演算ステップで求められた動きベクトルの水平成分及び垂直成分を、上記比較ステップにおける比較結果に基づいて、上上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とするベクトル修正ステップと
を有し、
上記ベクトル修正ステップでは、上記比較ステップにおける比較結果に基づいて、上記識別ステップで識別された水平成分の極性が正である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が正である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とし、また、上記識別ステップで識別された水平成分の極性が負である隣接画素位置の個数が多い場合に、上記演算ステップで求められた上記極性が負である隣接画素位置のうち、ベクトル量が最大となる動きベクトルの水平成分及び垂直成分を上記基準画素位置の動きベクトルにおける水平成分及び垂直成分とすることを特徴とする動きベクトル修正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002101767A JP4092935B2 (ja) | 2002-04-03 | 2002-04-03 | 動きベクトル修正装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002101767A JP4092935B2 (ja) | 2002-04-03 | 2002-04-03 | 動きベクトル修正装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003299041A JP2003299041A (ja) | 2003-10-17 |
| JP4092935B2 true JP4092935B2 (ja) | 2008-05-28 |
Family
ID=29388771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002101767A Expired - Fee Related JP4092935B2 (ja) | 2002-04-03 | 2002-04-03 | 動きベクトル修正装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4092935B2 (ja) |
-
2002
- 2002-04-03 JP JP2002101767A patent/JP4092935B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003299041A (ja) | 2003-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8446524B2 (en) | Apparatus and method for frame rate conversion | |
| CN100452832C (zh) | 使用行和列向量的运动向量估计 | |
| JP2005287048A (ja) | 画像境界における動きベクトル検出の改良 | |
| JP2004064788A (ja) | デインタレーシング装置及び方法 | |
| US20080151106A1 (en) | Reducing Artefacts In Scan-Rate Conversion Of Image Signals By Combining Interpolation And Extrapolation Of Images | |
| US7227897B2 (en) | Motion vector detector and motion vector detecting method | |
| JP2001285810A (ja) | 動きベクトルを算出するための方法および装置 | |
| WO2007119198A1 (en) | Motion estimation at image borders | |
| US7365801B2 (en) | Apparatus and method for processing signal | |
| KR20050089886A (ko) | 배경 움직임 벡터 검출 | |
| KR20060047638A (ko) | 필름 모드 판정 방법, 움직임 보상 화상 처리 방법, 필름모드 검출기 및 움직임 보상기 | |
| KR20070094796A (ko) | 디인터레이싱 방법, 장치 및 시스템 | |
| KR100927281B1 (ko) | 화상 신호 처리 장치 및 방법 | |
| US8345148B2 (en) | Method and system for inverse telecine and scene change detection of progressive video | |
| EP1424851B1 (en) | Motion detection apparatus and method | |
| KR101140442B1 (ko) | 이미지 상태 정보의 정정 방법, 움직임 보상 이미지 처리방법, 및 이미지 상태 정보 정정기 | |
| KR100422575B1 (ko) | 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법 | |
| CN101309376B (zh) | 去隔行方法和装置 | |
| JP4746909B2 (ja) | ビデオシーケンスの補助データ処理 | |
| JP4092935B2 (ja) | 動きベクトル修正装置及び方法 | |
| KR100692597B1 (ko) | 필드 선택이 가능한 영상처리 장치 및 그 방법 | |
| JP4304911B2 (ja) | 動きベクトル検出装置及び方法 | |
| KR101012621B1 (ko) | 이미지 처리 장치 | |
| WO2006013510A1 (en) | De-interlacing | |
| US7405767B2 (en) | Video image conversion method for interlaced image to progressive image and system thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070814 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |