JP3619530B2

JP3619530B2 - 画像処理方法及び画像処理装置及びテレビジョン標準変換器

Info

Publication number: JP3619530B2
Application number: JP04011593A
Authority: JP
Inventors: ニコラス・イアン・サーンダース; スティーブン・マーク・キーティング
Original assignee: Sony United Kingdom Ltd
Current assignee: Sony Europe BV United Kingdom Branch
Priority date: 1992-03-02
Filing date: 1993-03-01
Publication date: 2005-02-09
Anticipated expiration: 2020-02-09
Also published as: GB2265065B; GB2265065A; US5363146A; GB9204504D0; JPH06225267A

Description

【０００１】
【産業上の利用分野】
本発明は、動き補償画像処理に関する。
【０００２】
【従来の技術】
動き補償画像処理は、テレビジョン標準変換、フィルム標準変換、又はビデオからフィルムへの変換等の画像処理に応用されている。今までに提案された動き補償画像処理装置は、英国特許出願第ＧＢ−Ａ−２２３１７４９号に述べられている。その中では、或るディジタル・ビデオ信号についての時間的に隣接した入力画像（フィールド又はフレーム）対を処理して、出力画像の動き補償補間に使うための対応する組の動きベクトルを発生する。
【０００３】
１対の入力画像から発生したこの動きベクトルの組は、出力画像の各画素（ピクセル）に対する複数の動きベクトルから成っている。しかし、各ピクセルは、出力画像の１ブロックにおける他のピクセルと同じ複数の動きベクトルを持つことができる。
【０００４】
出力画像における各ピクセルに対しては、この動きベクトルの組が動きベクトル選択器に供給され、ここでそのピクセルの補間に使うための１つの動きベクトルを選択するために、そのピクセルに対応する複数の動きベクトルをテストする。
【０００５】
各ピクセルに対して選択された動きベクトルは、動き補償補間器に供給され、入力画像間の動きを考慮しながらその入力画像対から出力画像を補間する。
【０００６】
或る種の公知の動き補償画像処理システムにおいては、複数の動きベクトルの各々は、その動きベクトルによって指向された２つの入力画像におけるピクセルのテスト・ブロックを比較することによりテストすべき、特定の出力ピクセルに対応している。
【０００７】
特に、２つのブロックの互いに対応するピクセルの間の絶対的輝度差の和を検出し、この複数の中でその和が最低値を持つ動きベクトルが選択されて出力ピクセルの補間に使われている。
【０００８】
【発明が解決しようとする課題】
しかしながら、このテスト・ブロックの一方又は両方が部分的に或る特定の動きベクトルに対するそれぞれの入力画像の外部に出ているならば、そこから絶対輝度差の和が計算されるピクセルの中の数個は、その入力フレームの実画像エリアの外部にあるピクセルであろう。
【０００９】
これらは、入力フレームのブランキング・エリアのピクセルであったり、単にそれらのピクセルのアドレスが有効でないという理由で発生されたスプリアス・データ値であったりしうる。
【００１０】
その結果、それらのピクセルを使って計算された絶対差の総計はベクトル選択処理では使えず、事実、この問題に対する以前に提案された１つの解答は、こうした環境の下では出力ピクセルにゼロ動きベクトルを割り当てることである。
【００１１】
【課題を解決するための手段】
本発明は、動き補償画像処理の方法及び装置を提供するもので、本発明方法は、１対の入力画像の間の画像の動きを表わすために動きベクトルが発生され、この１対の入力画像から、動き補償された補間によって出力画像が導き出されるものであり、次のステップから成る。出力画像の各ピクセルに対して複数の動きベクトルを発生すること
【００１２】
その出力画像の出力ピクセルに関連した複数の動きベクトルの各々を下記の方法でテストすること、
（ｉ）テストに供された動きベクトルによって指向された、入力画像対のそれぞれのテスト・ブロックが一部それぞれの入力画像の外部にあるかどうかを決定すること、
（ｉｉ）もし、テスト・ブロックの一方又は両方が一部それぞれの入力画像の外部にあるならば、それらのそれぞれの入力画像の内側にあるテスト・ブロックの部分についての第１の相関テストを遂行することによって、テスト・ブロック間の相関の度合を検出すること、及び
（ｉｉｉ）もし両方のテスト・ブロックがそれらのそれぞれの入力画像内に全部あるならば、それらのテスト・ブロックについての第２の相関テストを遂行してそれらのテスト・ブロック間の相関の度合を検出すること、並びに
【００１３】
複数の動きベクトルから、その動きベクトルによって指向されたテスト・ブロックの間の最も高い相関度を持つ動きベクトルを選択すること。
【００１４】
本発明方法によれば、テストに供されている動きベクトルによって指向された一方又は両方のテスト・ブロックが部分的にそれぞれの入力画像の外部に在るときでも動きベクトルの選択ができる。
【００１５】
入力画像内部に在る各テスト・ブロックにおけるそれらのピクセルのみを使ったテスト・ブロックの間の相関の度合を検出するには、相関テストが遂行される。
【００１６】
これは、次のことを意味する。
単にその動きベクトルによって指向されたテスト・ブロックの部分が入力画像の外部にあるという理由で、その動きベクトルを選択処理において捨てる必要はない。
【００１７】
第２相関テストを遂行するステップは、次のステップを含むことが好ましい。すなわち、テスト・ブロックにおける対応する位置のピクセル対の間の絶対輝度差を検出するステップと、その絶対輝度差を総計して絶対差の和（ＳＡＤ）の値を発生するステップを含むのがよい。
【００１８】
１つの好ましい実施例によれば、第１の相関テストを遂行するステップは、各対の両ピクセルが対応する入力画像内部に在るテスト・ブロックにおける対応する位置のピクセル対の間の絶対輝度差を検出し、その絶対輝度差を総計してＳＡＤ値を発生するステップを含む。
【００１９】
このＳＡＤ値は、全体がそれら入力画像内部に在るテスト・ブロックから発生される複数のＳＡＤ値よりも少ない数のピクセルから発生されるので、第１の相関テストから得られる各ＳＡＤ値に、そのＳＡＤ値を計算するのに使われたピクセル対の数に対する各テスト・ブロックにおけるピクセルの数の比に応じたスケール・ファクタ（尺度係数）だけ乗じるステップが、このテストのあとに続くことが必要である。
【００２０】
この正規化ステップによれば、複数のＳＡＤ値を類似項について比較されるべき第１及び第２相関テストによって発生することができる。
【００２１】
第１相関テストを達成するステップは、次のステップから成るのがよい。すなわち、テスト・ブロックにおける複数の対応位置にある複数のピクセル対の間の絶対輝度差を検出するステップ、一方又は両方の対がそれに対応する入力画像の外部に在る複数のピクセル対に対して、検出された絶対輝度差をゼロに設定するステップ、及びその絶対輝度差を総計してＳＡＤ値を発生するステップから成るものである。
【００２２】
この装置において、その計算に使われるピクセルが対応する入力画像の外部に在ろうがなかろうが、差値は全て計算される。
【００２３】
この計算が遂行された後、ＳＡＤ値が総計される前に、望ましくない値はマスクされるかゼロに設定される。
【００２４】
もう１つの好ましい実施例においては、第１相関テストを遂行するステップは次のステップから成る。その一部が対応する入力画像の外部に在るテスト・ブロックに対して、その入力画像の内部のテスト・ブロックの部分からのピクセルを、入力画像の外部に在るテスト・ブロックにおけるピクセル位置に代入するステップと、複数のテスト・ブロックにおける対応位置にある複数のピクセル対の間の絶対輝度差を検出するステップと、その絶対輝度差を総計してＳＡＤ値を発生するステップとから成る。
【００２５】
ピクセル・データを入力画像の外部に在るピクセル位置に代入することによって、２つのブロックにおける対応する位置の複数のピクセル対の全ての間で全相関テストを遂行できる。こうすると、後続の正規化は必要ない。
【００２６】
選択ステップは、もし、一方又は両方のテスト・ブロックの予め定められた位置の１以上のピクセルが対応する入力画像の外部に在るならば、動きベクトルを捨てることを含むのがよい。
【００２７】
各出力ピクセルと対応する複数の動きベクトルの１つが、ゼロの画像間動きを表わす動きベクトルであることが望ましい。
【００２８】
これによって、上述したように、出力画像内部の各出力ピクセルに対して、少なくとも１つの動きベクトルが捨てられずに残ることになるであろう。
【００２９】
この方法は又、その出力ピクセルに対して選択された動きベクトルを使って各出力ピクセルを補間するステップを含むのがよい。
【００３０】
【作用】
本発明の動き補償画像処理方法及びこれを実施する装置によれば、テストしている動きベクトルによって指向された一方又は両方のテスト・ブロックが一部それぞれの入力画像の外部に在るときでもベクトルの選択ができる。
【００３１】
すなわち、単に動きベクトルによって指向されたテスト・ブロックの部分が入力画像の外部にあるという理由で、その動きベクトルを選択処理において捨てる必要がなくなる。
【００３２】
また、その一部が対応する入力画像の外部にあるテスト・ブロックに対して、その入力画像の内部のテスト・ブロックにあるピクセルを、入力画像の外部に在るテスト・ブロックのピクセル位置に代入することによって、２つのブロックにおける対応する位置の複数のピクセル対の全ての間で全相関テストを遂行できるようになる。そうすると、後続の正規化は必要がなくなる。
【００３３】
【実施例】
図１を参照して、本発明の一実施例の説明をする。
【００３４】
同図は、毎フレーム１１２５ライン、１秒間６０フィールドの入力インタレース高品位ビデオ信号（ＨＤＶＳ）８を毎フレーム６２５ライン、１秒間５０フレームの出力インタレース・ビデオ信号４０に変換するための動き補償テレビ標準変換装置のブロック図である。
【００３５】
図１に示した装置は、英国公開特許出願第ＧＢ−Ａ−２２３１７４９号に開示されたものに基いている。
【００３６】
入力ビデオ信号８は、第１にプログレッシブ走査変換器１０に供給され、そこで入力ビデオ・フィールドは、入力ビデオ・フィールドと同じレート（６０Ｈｚ）でビデオ・フレームに変換される。
【００３７】
これらのフレームは、ダウン・コンバータ１２に供給され、各フレームのラインの数を６２５に削減する。これは、出力ビデオ信号４０の１フレームのラインの数である。
【００３８】
ダウンコンバータ入力フレームは時間基準変更器１４に送られるが、この変更器は入力として入力ビデオ信号８のフィールド周波数にロックされた６０Ｈｚのクロック信号３２及び出力ビデオ信号４０の所要フィールド周波数にロックされた５０Ｈｚのクロック信号３４も受信する。
【００３９】
この時間基準変更器１４は、出力ビデオ信号の各フィールドの時間位置を決定し、出力ビデオ信号のそのフィールドを補間する際に使われる入力ビデオ信号８のダウン・コンバートされたフレームのうちの２つを選択する。
【００４０】
この２つのダウン・コンバートされた入力フレームは、時間基準変更器で選択され、制御情報を持つ時間基準変更器の第３出力１８とともに、対応する出力１６上に供給される。
【００４１】
時間基準変更器１４で選択された２つのダウン・コンバートされた入力フレームは、動き処理装置２０に入力として供給される。
【００４２】
この動き処理器は、２つの実質的に同じ処理セクションを含み、１つは偶数出力フィールドに対するものであり、もう１つは奇数出力フィールドに対するものである。
【００４３】
時間基準変更器１４で選択された２つのダウン・コンバートされた入力フレームは、５０Ｈｚのクロック信号３４から導出した信号（図示せず）の制御の下に、スイッチ２１の手段によって、適切に偶数フィールド又は奇数フィールド処理セクションに送られる。
動き処理装置２０の適切なセクション（奇又は偶）においては、ダウン・コンバートされた入力フレームが最初に直接ブロック突き合わせ器２２に供給され、そこで、２つのフレームのブロック間の空間的相関を表わす相関面を計算する。
【００４４】
これらの相関面は動きベクトル推定器２４に送られ、相関面を処理して１組の動きベクトルを発生し、動きベクトル削減器２６へ供給する。
【００４５】
動きベクトル推定器は、各発生した動きベクトルについて信頼性テストも行ない、その動きベクトルが一般ノイズ・レベルよりも際立っているか否かを決め、信頼性テストの結果を示す信頼性フラッグを各動きベクトルに結び付ける。
【００４６】
この信頼性テストそのものは、閾値テスト及びリング・テストを含み、上述の英国公開特許出願に、もっと詳しく説明されている。
【００４７】
動きベクトル削減器２６は、各ブロックの各ピクセルに対する可能な動きベクトルの中の選択されるものを減らす動作をし、それから、それらの動きベクトルを動きベクトル選択器２８に供給する。その動作の一部として、動きベクトル選択器２６は「良好」動きベクトル（即ち、信頼性テストに通った動きベクトル）の発生頻度を計数し、それらの動きベクトルを得るのに使われる入力フレームのブロックの位置は考えない。
【００４８】
この良好動きベクトルは、次に周波数が減少する順序にランク付けする。お互いに著しく異なった良好動きベクトルの中の３つの最も普通のベクトルを、「グローバル（大域的）」動きベクトルとして組み分けする。
【００４９】
信頼性テストを通った３つの動きベクトルは、動きベクトル削減器２６によって、出力フィールドの各ブロックのピクセルに割当てられ、ゼロ動きベクトルと共に、更に処理するための動きベクトル選択器２８に供給される。
【００５０】
これらの３つの選択された動きベクトルは、そのブロックから発生された動きベクトル、周辺ブロックから発生された複数のベクトル、及び最後にグローバル動きベクトルから、予め定められた優先順序で選択される。
【００５１】
この動きベクトル選択器２８は、又時間基準変更器１４によって選択された２つのダウン・コンバートされた入力フレームを入力として受信する。これらの入力フレームは、動きベクトル（好ましくはシステム遅延補償器３０で遅延して）を計算するのに使われたもので、動きベクトル選択器２８は、出力フィールドのピクセル毎に１つの動きベクトルを含む出力を供給する。
【００５２】
この動きベクトルは、動きベクトル削減器２６によって供給されたそのブロックに対する４つの動きベクトルから選択される。この動きベクトル選択器２８による動きベクトルの選択における不規則性は、動きベクトル後処理器３６で取り除かれ、そこから、処理された動きベクトルが供給されて補間器３８を制御する。補間器は、時間基準変更器で選択され、再びシステム遅延補償器３０で適宜遅延されたダウン・コンバートされた入力フレームの中の適正な奇又は偶対も受信する。
【００５３】
これらの動きベクトルを使って、補間器３８は、２つのフレームの間のいかなる画像の動きも考慮に入れて、時間基準変更器によって選ばれた２つのダウン・コンバートされた入力フレームから１つの出力フィールドを補間する。
【００５４】
２つのダウン・コンバートされた入力フレームは、その２つのフレームに関係する出力フィールドの時間位置に応じた相対的割合で結合される。従って、より大きな割合を持つ、より近い入力フレームが使われる。
【００５５】
補間器３８の出力４０は、フレーム当たり６２５ライン、毎秒５０フィールドを持つインタレースされたビデオ信号である。
【００５６】
動きベクトル選択器２８は、動きベクトル削減器によって、当該ピクセルを含むブロックに割り当てられた４つの動きベクトルから、その出力フィールドにおける各ピクセルに対する１つの動きベクトルを選択する。
【００５７】
これを達成するには、動きベクトル選択器２８は、これら４つの動きベクトルの中のどれが出力ピクセルの画像の動きに最も良く近似しているかを決定するために、各出力ピクセルと関連した４つの動きベクトルの各々をテストする。
【００５８】
このテストを遂行する方法は図２に示す。
図２は、出力フィールド５２における出力ピクセル５０と関連する２つの動きベクトル（ベクトル１及びベクトル２）を示す。
【００５９】
図を明確にするため、出力ピクセル５０と関連する他の２つの動きベクトル（そのうち１つはゼロ動きベクトル）は示されていない。
【００６０】
出力ピクセル５０と関連した１つの動きベクトル（例えば、ベクトル１）をテストするためには、それらの入力フレームから出力フィールド５２が補間されるべき入力フレームにおけるそれぞれのピクセル５４を指向するように、そのベクトルを外挿する。
【００６１】
そこで、入力フレームのピクセル５４を取り囲むピクセルのそれぞれのブロックの間の相関度が計算される。
【００６２】
テスト中の動きベクトルによって指向されたピクセル５４を囲むピクセルのブロックがそれ等それぞれの入力フレーム内に在るとき、ブロック間の相関度は、２つのブロックの対応位置にあるピクセル対間の絶対輝度差を計算することによって計算される。
【００６３】
これらの絶対輝度差値は加算されて、テスト中動きベクトルと関連する絶対輝度差の和（ＳＡＤ）を作る。
ＳＡＤの値が高いと云うことは、その動きベクトルによって指向されたピクセルを囲む入力フレームのブロック間の相関度が低いことを示している。
【００６４】
また、ＳＡＤの値が低いと云うことは、それらのブロックの間の相関度が高いことを示している。このテストは、動きベクトル削減器２６によって動きベクトル選択器２８に供給された４つの動きベクトルのそれぞれに対して行われる。
【００６５】
そのテストからの低ＳＡＤ値を持つ動きベクトルが、動きベクトル選択器２８によって選択され、出力ピクセル５０の補間に使われる。もし両方のピクセル５４がそれ等のそれぞれに対応する入力フレームの内部にあるが、テスト・ブロックの１つ以上が入力フレームの外部に在るならば、上述の方法で発生したＳＡＤ値は、テスト中の動きベクトルによって指向されたエリア（領域）間の相関度の有効表示とはならない。
【００６６】
何故ならば、ＳＡＤ値を発生するのに使われたピクセルの幾つかは入力フレームの実画像エリアの外部にあるからである。これらは、入力フレームのブランキング・エリアのピクセルか、又は単にそれらのピクセルのアドレスが有効でないと云う理由で発生したスプリアス値である可能性がある。
【００６７】
この問題に対する解決策（前に提案された画像処理装置に使われたような）には、こうした環境下の出力ピクセルに対して、ゼロ動きベクトルを割り当てることであろう。
【００６８】
しかしながら、以下に述べる実施例では、もっと満足のいく解決策が用いられている。
【００６９】
図３は動きベクトル選択器２８の一実施例を示す。この動きベクトル選択器２８は、入力として、その入力フレームから現在出力フィールドが補間されるべき２つの入力フレームの各々の少なくとも関係部分を受信する。
【００７０】
これらの部分は、対応する画像セグメント蓄積器６０に蓄積される。この動きベクトル選択器２８は、出力フィールドのピクセルの各ブロックと対応する数組みの動きベクトルも受信する。そして、これらはマップ蓄積器６２に蓄積される。
【００７１】
動作について説明すると、基準読出しアドレス発生器６４は出力フィールドの各ピクセルのアドレスを順番に発生する。このアドレスは、そのピクセルを含む出力フィールドのブロックに割り当てられた４つの動きベクトルと共に、アドレス・シフター６６に供給される。アドレス・シフター６６は、４つの動きベクトルの各々に対して順番に、２つの入力フレームの各々におけるその動きベクトルによって指向されるピクセルのピクセル・アドレスを計算する。
【００７２】
このピクセル・アドレスは、各入力フレームに対する対応した位置検出器６８に送られる。
各位置検出器６８は、テスト中の動きベクトルによって指向されるピクセルのアドレスが対応入力フレーム外部にあるか、或いは入力フレームの端に近くてそのピクセルを囲む１ブロックのピクセルが部分的に入力フレームの外部になってしまうかを検出する。
【００７３】
もし位置検出器が、テスト中の動きベクトルにより指向されるピクセルが外部にあると決定したら、ＯＲゲート７０に「領域外」信号を送る。
【００７４】
このＯＲゲートは、両位置検出器６８から領域外信号を受信し、論理ＯＲ動作を遂行し、テスト中の動きベクトルによって指向されるピクセルのどちらか一方がその対応する入力フレームの外部にあれば、領域外信号７２を発生する。しかしながら、もし位置検出器が、テスト中の動きベクトルによって指向されたピクセルが対応する入力フレームの外部にはないが、その入力フレームの端部に非常に近い所にあるため、そのピクセルを囲む複数のピクセルから成る１テスト・ブロックが部分的に入力フレームの外部にかかることを検出したならば、この位置検出器は１つ以上のマスク信号を発生する。この信号についてはあとで説明する。
【００７５】
アドレス・シフター６６により発生されたピクセル・アドレスは、位置検出器６８を経て対応する画像セグメント蓄積器６０に送られる。この蓄積器６０は、出力として、テスト中の動きベクトルによって指向されたピクセルを中心とした５×５ピクセルのブロックを供給する。
【００７６】
この実施例においては、これらのブロックは、そのブロックのピクセルの１以上の行又は列が対応する入力画像の外部に在るか否かにかかわらず全部供給される。
【００７７】
対応する画像セグメント蓄積器６０からの２ブロックのピクセルは、さらに処理するために、ブロック突き合わせ器７４に供給される。
【００７８】
ブロック突き合わせ器７４においては、その２ピクセル・ブロックにおける対応位置にあるピクセルの輝度値が比較され、絶対差値（そのブロックの各ピクセル位置に対して１つの値）のアレイが発生され、マスク装置７６に送られる。
【００７９】
マスク装置７６は、選択的に動作して、絶対差値のアレイにおける１以上の行及び（又は）１以上の列の値をゼロにセットする。
【００８０】
どの行及びどの列をゼロに設定するかの選択は、位置検出器６８によって行われるから、入力フレームの一方又は両方の外部に在るピクセルから発生された絶対差値のどの行又は列でもゼロにセットされる。
【００８１】
複数の行又は列が選択的にマスクされた後、２５の絶対差値（その中の幾つかはゼロにセットされているかもしれない）は、合計されてＳＡＤ値となり、正規化装置７８に送られる。
【００８２】
正規化装置７８は、現在の出力ピクセルに対応する４つの異なる動きベクトルに対して発生されるＳＡＤ値を類似項について比較するために必要である。
【００８３】
正規化装置７８は、マスク装置７６に送られた絶対差のアレイにおいてどれだけ多くのピクセル位置がゼロにセットされたかを決定することによって動作し、マスク装置７６によって出力されるＳＡＤ値に次の値に等しい正規化係数を実効的に乗算する。
【００８４】

【００８５】
正規化の後、正規化されたＳＡＤ値は蓄積及び比較装置８０に送られる。この装置８０は、ＯＲゲート７０で発生された領域外信号７２も受信する。
【００８６】
４つの可能な動きベクトルの中の第１のものが特定の出力ピクセルに対しテストされているとき、蓄積及び比較装置８０は、そのベクトルに対応した正規化されたＳＡＤ値を、そのベクトルを識別するベクトル番号と共に単純に蓄積する。
【００８７】
この４つの動きベクトルの中の後続のベクトルがテストされるとき、蓄積及び比較装置に送られた正規化されたＳＡＤ値はそこに既に蓄積されているＳＡＤ値と比較され、比較された２つの値の中の高い方が捨てられる。各段の動作で捨てられなかったＳＡＤ値に対応するベクトル番号が、そのＳＡＤ値と共に蓄積される。
【００８８】
もし、蓄積及び比較装置８０がテスト中の動きベクトルのどれかに対応する領域外信号７２を受信すれば、その動きベクトルは蓄積及び比較装置８０内で自動的に捨てられる。
【００８９】
従って、各出力ピクセルに対してテストされる４つの動きベクトルの中の１つがゼロ動きベクトルであるから、結果として領域外信号７２にならない動きベクトルが常に少なくとも１個はあると云うことに注意されたい。
【００９０】
蓄積及び比較装置８０で遂行された比較及び廃棄処理は、次のことを意味する。第４番目の動きベクトルがテストされ終わるまで、蓄積及び比較装置に維持された動きベクトル番号は、その動きベクトルによって指向された入力フレームのブロックから発生した正規化ＳＡＤ値が最低となるような動きベクトルに対応している。従って、それらのブロック間の相関度は最も高いことを示す。
【００９１】
このテスト処理の終わりには、その出力ピクセルに適したベクトル番号が、蓄積及び比較装置８０によって出力８２上に供給される。
【００９２】
図４は、位置検出器６８、マスク装置７６及び正規化装置７８の動作を示す５つの例（ａ）〜（ｅ）を図解したものである。各例において、各入力フレーム（入力フレーム１及び入力フレーム２）についてテスト中の動きベクトルによって指向されたピクセルを中心とする５×５ピクセルのブロックが示されている。
【００９３】
テスト中の動きベクトルによって指向された実際のピクセルは、それらブロックの中央位置に「Ｘ」で示されている。そして、対応する入力フレームの境界は、全ブロックにわたり太線で示してある。
【００９４】
複数のブロックは５行Ｒ_０〜Ｒ_４に並べられていて、５つの列はＣ_０〜Ｃ_４で示されている。それぞれの入力フレームの外部に出ているブロックのピクセルは、破線で示されている。
【００９５】
第１の例、すなわち、図４に示された例（ａ）の各テスト・ブロックにおける最上行Ｒ_０は対応する入力フレームの外部にある。
【００９６】
これは、位置検出器６８によって検出され、マスク装置７６に、行Ｒ_０のピクセルを使って計算された絶対差値全部をゼロにセットするように指令する。
【００９７】
しかしながら、位置（Ｃ_０，Ｒ_１）〜（Ｃ_４，Ｒ_４）にあるピクセル対を使って２０個の使用可能な絶対差値しか計算されない。
従って、これら２０個の絶対差値は、その合計に２５／２０を掛けることによって正規化される。
【００９８】
第２の例（ｂ）において、入力フレーム１のテスト・ブロックの全ピクセルはその入力フレーム内に在るが、入力フレーム２のテスト・ブロックがその入力フレームの角に重複しているのでそのテスト・ブロックの行Ｒ_０及び１つの列Ｃ_４は入力フレーム２の外部に在る。
【００９９】
入力フレーム１に対する位置検出器６８はいかなるマスク信号も発生しないが、入力フレーム２に対する位置検出器６８は、行Ｒ_０及び列Ｃ_４はマスクするべきであることを示す信号を発生する。
【０１００】
マスク装置７６でこのマスク動作が遂行された後、テスト・ブロックの可能な２５個のピクセル対の中から１６個がＳＡＤ値を発生するのに使われてきたので、正規化係数として２５／１６が適用される。
【０１０１】
例（ｃ）においては、テスト中の動きベクトルによって指向された入力フレーム１の実際のピクセルは、その入力フレームの外部にある。
【０１０２】
入力フレームに対して位置検出器によって、領域外信号が発生され、その結果、ＯＲゲート７０の出力に領域外信号７２を生じる。
【０１０３】
こうして、その動きベクトルに対して発生されたＳＡＤ値が、上述したように、蓄積及び比較装置８０で自動的に捨てられる。それ故、いかなる正規化もあてはまらない。
【０１０４】
例（ｄ）における入力フレーム１のテスト・ブロックではピクセルの１つの行Ｒ_０と１つの列Ｃ_４がその入力フレームの外部にあり、入力フレーム２のテスト・ブロックはピクセルの２つの行（Ｒ_０とＲ_１）がその入力フレームの外部に在る。
【０１０５】
上述のとおり、マスク装置７６はピクセルのどちらか一方又は両方のテスト・ブロックの外に在る行と列をマスクするように動作するから、行Ｒ_０及びＲ_１及び列Ｃ_４にマスクが適用される。このマスク動作により、その動きベクトルに対するＳＡＤ値を発生するのに使う１２個のピクセル位置が残される。
【０１０６】
最後に、例（ｅ）はマスク動作の極端な場合を示し、ピクセル位置の２つの行（Ｒ_０とＲ_１）及び２つの列（Ｃ_３とＣ_４）がマスク装置７６によってマスクされる。
【０１０７】
これによって、ＳＡＤを発生するのに使う９個のピクセル位置が残されるので、正規化係数はこの場合は２５／９である。
【０１０８】
図５は位置検出器６８の１つの動作を示す図である。位置検出器６８は入力としてアドレス・シフター６６からのシフトされたアドレスを受信し、複数の出力を供給する。即ち、領域外信号（ＯＲゲート７０）；マスク信号（マスク装置７６へ）；（不変更）シフト・アドレス（それぞれの画像セグメント蓄積器６０へ）である。
【０１０９】
位置検出器６８へのシフトされたアドレスは、まず、行／列復号器９０に供給され、問題のピクセルの列アドレスから行アドレスを分離する。（もし、アドレス・シフター６６によって供給されたシフトされたアドレスが、行及び列位置がすでに分離されたフォーマットになっていれば、行／列復号器は不用である。この列アドレスは２つの減算器９２及び９３に供給される。そのうちの一つ（減算器９３）は、列アドレスから、入力フレームの第１の列の列アドレスに等しい値を減算し、他の一つ（減算器９２）は、列アドレスから、その入力フレームの最後の列の列アドレスに等しい値を減算する。
【０１１０】
減算器９２及び９３のそれぞれの出力は複数の比較器９６に供給される。特に、減算器９２（その中で、入力フレームの最後の列のアドレスが現在のピクセルの列アドレスから減算される）の出力上で遂行されるテストは次のとおりである：もし、その値が正ならば、現在ピクセルの列アドレスは、入力フレームの最後の列のアドレスよりも大きいから、「領域外」信号が発生される；
【０１１１】
もし、その値がゼロであれば、現在のピクセルは入力フレームの最後の列にあるから、テスト・ブロックの右手列（Ｃ_３とＣ_４）は入力フレームの外部に在りマスクされるべきである；そして、
【０１１２】
もし、その値が−１に等しければ、その現在ピクセルは入力フレームの罰列にあるから、そのテスト・ブロックの最右端列（Ｃ_４）はマスクされるべきである。
【０１１３】
同様にして、減算器９３（その中で、入力フレームの第１列のアドレスが現在ピクセルの列アドレスから減算される）によって発生された出力値は次のようにテストされる：
【０１１４】
もし、その値が負であれば、シフトされたアドレスは入力フレームの外部に在るから、領域外信号が発生される；
【０１１５】
もし、その値がゼロならば、現在ピクセルは入力フレームの第１列に在る；このことはテスト・ブロックの２つの左手列が入力フレームの外部にあり、マスクされるべきであることを意味する；そして、もし、その値が１に等しければ、その現在ピクセルは入力フレームの第２列に在り；このことはテスト・ブロック（Ｃ_０）の最左端列が入力フレームの外にあり、マスクされるべきであることを意味している。
【０１１６】
減算器９４及び９５によって、行アドレスに対しても同様のテストが適用される。これらのテストは下記に集約される。
【０１１７】

【０１１８】
図６は、ブロック突き合わせ器７４及びマスク装置７６の動作を図解している。図６に示された装置は、２５個の個別エレメント１００を含み、各々が入力フレーム１及び入力フレーム２の対応位置にあるピクセルの輝度値を受信し、加算器（図示せず）に出力を供給し、２５個のエレメント１００で与えられた全出力を合計する。
【０１１９】
位置検出器６８からのマスク信号は、対応する供給ライン１０２に供給され、各々、２位置検出器６８からのマスク信号の論理和結合に応答する。
【０１２０】
換言すると、もし位置検出器６８の一方又は両方が、特定の行又は列をマスクすべきだと示していれば、その行又は列の供給ライン１０２上にマスク信号が現れる。
【０１２１】
個々のエレメント１００の各々は減算器１０４を含み、それが入力フレーム１及び入力フレーム２の対応位置にあるピクセルに対する輝度値を受信する。
【０１２２】
減算器１０４の出力は、係数（モジュラス）発生器１０６に供給され、減算器１０４の出力の正の大きさに等しい出力を供給する。
【０１２３】
係数発生器１０６の出力は、減算器１０４に供給される２つのピクセルの間の輝度差の絶対値に等しく、クリア装置１０８に供給される。クリア装置は、そのエレメント１００に供給されるピクセルの行及び列位置に相当する供給ライン上のマスク信号に応答し、もし、一方又は両方のマスク信号が、対応する行又は列がマスクされるべきであることを示すように設定されていれば、加算器に送る出力をゼロにするように動作する。
【０１２４】
図７，８及び９は正規化装置７８の３つの例を図解している。
図７において、位置検出器６８から供給されるマスク信号は、プログラマブル・リードオンリー・メモリ（ＰＲＯＭ）１１０への入力として使われる。
【０１２５】
これらのアドレス入力は、マスク装置７６によって行Ｒ_０，Ｒ_１，Ｒ_３及び／又はＲ_４がマスクされてきたかどうか、及び列Ｃ_０，Ｃ_１，Ｃ_３及び／又はＣ_４がマスクされてきたかを示す。
【０１２６】
行Ｒ_２及び列Ｃ_２は、もしその行又はその列が対応する入力フレームの外に在れば領域外信号を発生するので、決してマスクされることはない。
【０１２７】
複数の列マスク信号と複数の行マスク信号の各結合に対して、ＰＲＯＭ１１０は、マスク装置でＳＡＤ値出力に適用されるべき正規化係数を表わすデータ出力１１２を供給する。
【０１２８】
データ出力１１２は乗算器１１４に供給され、そこで、ＳＡＤは適正なスケール係数を乗じて、出力１１６に正規化されたＳＡＤを作り出す。
【０１２９】
正規化装置７８の第２の同様な実施例が図８に示されている。そこでは、２つのＰＲＯＭ１１８及び１２０が使われている。
【０１３０】
ＰＲＯＭ１１８は、アドレス入力として、行マスク信号を受信し、行方向に正規化を行なうための正規化係数を表わすデータ出力１２２を供給し、それが乗算器１２４によってＳＡＤに適用される。そうして、ＰＲＯＭ１２０はアドレス入力として列マスク信号を受信し、出力１１６上に正規化されたＳＡＤを作るため乗算器１２８によってＳＡＤに適用されるデータ出力１２６を発生する。
【０１３１】
行及び列正規化は図８に示すように順番に行われると説明するのが正直な説明である。例えば、ピクセルの１行及び１列がマスクされていれば、そのことは、ＳＡＤ値が１６個のピクセル位置から計算され、正規化係数は２５／１６であることを意味している。
【０１３２】
５行の中の４行が使われているので、正規化係数５／４が乗算器１２４で乗算される。同様にして、５列の中の４列が使われているので、正規化係数５／４が乗算器１２８で乗算される。
【０１３３】
これら２つの乗算器は直列に動作し、従って、適用される全正規化係数は５／４×５／４＝２５／１６である。
【０１３４】
正規化装置７８のさらに他の実施例が図９に示されている。図において、行マスク信号、列マスク信号及びＳＡＤはアドレス入力として全て単一ＰＲＯＭ１３０に印加される。
【０１３５】
行マスク信号、列マスク信号及びＳＡＤの各結合に対しては、ＰＲＯＭ１３０がデータ出力１１６上に正規化されたＳＡＤ値を作る。
【０１３６】
これまで説明した実施例は、それぞれの入力フレームの外部に在るピクセルから導出したそれら絶対輝度差値をマスクすることを含んでいた。下記に説明する実施例は、同様の基本的考えに基いている。即ち、テストに供されている動きベクトルによって指向されるテスト・ブロックの間の相関を表わす絶対輝度差の合計を発生するのに使われた絶対差値が、それぞれの入力フレームの内部に在るピクセルのみを使って発生される。
【０１３７】
しかし、図１０〜１３を参照して下記に説明する実施例においては、この基本的考えが少し違った方法で適用されている。そこでは、対応する入力フレーム内部に存在するテスト・ブロックのピクセルは、その入力フレームの外部に存在するテスト・ブロックのピクセルを置き替えるために再び使われる。
【０１３８】
テスト下の動きベクトルによって指向された実際のピクセルがその入力フレームの内部に在ると仮定して、ブロック突き合わせ処理は正常に進めることができる。
【０１３９】
図１０は図１の装置を部分変更したものを示す。これによれば、常時或る入力フレームの外部に存在するピクセルをその入力フレームの内部に在るピクセルによって置換することができる。図１０の装置の効果は図１１に例示してある。
図１０の装置は図１の装置の或る位置（例えば時間基準変更器１４）に挿入するのに適しているので、そのデータが動きベクトル選択器２８に供給される前にそれが入力フレームデータ上で動作する。
【０１４０】
この装置は、１対のフレーム蓄積器（フレーム蓄積器Ａ１４０及びフレーム蓄積器Ｂ１４２）を含み、どのフレーム蓄積器入力データが書き込まれるかを制御する入力スイッチ１４４、どのフレーム蓄積出力データが読み出されるかを制御する出力スイッチ１４６、及び各フレーム蓄積器において、入力データが書き込まれ、出力データが読み出されるアドレスを制御するアドレス発生器１４８を含む。
【０１４１】
入力スイッチ１４４及び出力スイッチ１４６は、リンクされて、入力データはフレーム蓄積器Ａ１４０に書き込まれ、同時に、出力データはフレーム蓄積器Ｂ１４２から読み出され、この逆も行なわれるようになっている。
【０１４２】
フレーム蓄積器１４０及び１４２の各々は、１フレーム分のピクセル（この実施例では）９６０×５７６を保持するのに充分なだけ大きい。
【０１４３】
各入力フレームに対して、入力データは、アドレス発生器１４８の制御の下に入力スイッチ１４４によって選択されたフレーム蓄積器に書き込まれる。
【０１４４】
アドレス発生器１４８の制御の下に入力データがフレーム蓄積器の１つ（例えばフレーム蓄積器Ａ１４０）に書き込まれている間に、出力データはフレーム蓄積器の他方（この場合、フレーム蓄積器Ｂ１４２）から読み出される。
【０１４５】
この出力データは、９６４×５８０ピクセルを含み、各行及び各列の初めと終わりに特別につけた２つのピクセルを表わしている。これら特別につけたピクセルは入力フレームの最外端の近隣ピクセルを単純に複製したものである。
【０１４６】
このことは、図１１を参照すればわかるとおり、図１０の装置に供給された入力データの広がり、及び図１０の装置によって作られた出力データの広がりを示している。
【０１４７】
図１１において、最初の２行のピクセルは、その入力データのピクセルの最上行の単純な複製である。同様にして、図１１に示された出力データにおけるピクセルの最初の２列はその入力データのピクセルの最初の列の複製である。
【０１４８】
このようにして、入力データのピクセルを複製することにより入力データよりも多い行と列のピクセルを含む出力データが発生される。
【０１４９】
この複製は、アドレス発生器１４８によって制御されるので、例えば、出力データにおけるピクセルの第１行が読み出され（図１１の出力データの最上行）たとき、アドレス発生器が入力データの最上行左ピクセルを３回アドレス指定し、それから３回繰り返される最上行右ピクセル（番号９５９，０）になるまで、入力データの最上行に沿って続け、各ピクセルを１度読む。
【０１５０】
このアドレス順序は、図１１の出力データの最初の３行は同じものであるから、実際には３回発生される。その後、アドレス発生器は、特定行の最左端ピクセルを３回アドレス指定し、それから、その行に沿って続行し、各ピクセルを１度読み、最右端ピクセルに至り、そこが再び３回アドレス指定される。
【０１５１】
図１０に示された装置の効果は、所要の出力フィールドよりも事実上大きい入力フレームを発生することにあり、従って、その中心が（拡大されていない）入力フレーム内にある５×５ピクセルのテスト・ブロックは、その（拡大された）入力フレームの外部には存在しない。
【０１５２】
図１２は、図１０の装置によって発生された拡大入力フレームで使う動きベクトル選択器を示す。図１２の動きベクトル選択器は図３に示したものと類似しており、アドレス・シフター６６が、基準読み取りアドレス発生器６４によって供給される出力ピクセル・アドレスと、マップ蓄積器６２によって供給される動きベクトル値に応答してシフトされたアドレスを発生する。
【０１５３】
入力フレーム１と入力フレーム２に対するシフトされたアドレスがそれぞれの位置検出器１５０に供給され、この位置検出器が図３の位置検出器６８と類似の仕方で動作するが、テスト下の動きベクトル（即ち、各テスト・ブロックの中央ピクセル）によって指向されたピクセルが拡大前の入力フレームの広がりの外部に存在するか否かを検出することを必要とするだけである。
【０１５４】
もしそうだとすると、ＯＲゲート７０に信号が供給され、領域外信号７２を発生し、蓄積及び比較装置８０にテスト中の動きベクトルを捨てるように指令する。
【０１５５】
テスト中の動きベクトルによって指向されたピクセルがその対応する入力フレーム（拡大前）の外部になければ、そのシフトされたアドレスは対応する画像セグメント蓄積器６０に供給され、それが、テスト中の動きベクトルによって指向されたピクセル上に中心を持つ５×５ピクセルの１ブロックをブロック突き合わせ器７４に出力する。
【０１５６】
ブロック突き合わせ器７４はＳＡＤ値を発生し、前のように、蓄積及び比較装置８０に送る。図１０の装置によって発生した拡大入力フレームを使えば、次のことが保障される。すなわち、テスト下の動きベクトルによって指向された中央ピクセルが原寸入力フレーム内に存在すれば、テスト・ブロックは全部拡大入力フレーム内部に在るであろう。従って、全５×５ブロック突き合わせが遂行され正規化もマスクも要しない。
【０１５７】
図１３は、動きベクトル選択器の他の実施例を示す、同図の装置においては、動きベクトル選択器に供給される前に入力データを拡大する必要なしに図１０の装置と同じ効果が得られる。
【０１５８】
図１３に示された動きベクトル選択器の基本動作は上に説明したものと類似している。しかしながら、シフトされたアドレスがアドレス・シフター６６から位置検出器１５２に供給される時、図３に示した位置検出器６８と類似の仕方で２つのチェックが行なわれる。
【０１５９】
前と同様に、テスト中の動きベクトルによって指向されたピクセルが、それに対応する入力フレームの外部に存在するかどうかを知るためにチェックが行なわれる。その場合、領域外信号７２を発生することができ、蓄積及び比較装置８０に送られるために、ＯＲゲート７０に或る信号が送られる。
【０１６０】
同様にして、テスト中の動きベクトルによって指向されたピクセルが入力フレームの所又はその近傍にあるかどうかに関してチェックがなされる。
【０１６１】
この場合には、或る信号が対応する画像セグメント蓄積器１６０に送られ、その蓄積器に読み取りアドレスを発生するように命じ、入力フレームの外部に在るテスト・ブロックの行又は列にあるピクセルが、図１１に示されたような方法で入力フレームの端部にあるピクセルによって置換されるようにする。
【０１６２】
従って、２つの画像セグメント蓄積器から供給されたテスト・ブロックは、５×５の使用可能ピクセルを含むから、前述と同様にして、正規化する必要なしに全ブロックの突き合わせが遂行できる。
【０１６３】
【発明の効果】
本発明の動き補償画像処理方法及び装置によれば、動きベクトルの選択を効率よく行なうことができる。
【図面の簡単な説明】
【図１】動き補償テレビジョン標準変換装置を示すブロック図である。
【図２】動きベクトル選択器の動作を示す図である。
【図３】動きベクトル選択器の一実施例のブロック図である。
【図４】（ａ）〜（ｅ）は位置検出器及びマスク装置の動作を示す５つの例を示す図である。
【図５】位置検出器のブロック図である。
【図６】ブロック突き合わせ器の一部とマスク装置を示す図である。
【図７】正規化装置の一実施例を示す図である。
【図８】正規化装置の一実施例を示す図である。
【図９】正規化装置の一実施例を示す図である。
【図１０】図１の装置の変形を示す図であり、常時入力フレームの外部に在るピクセルがフレーム内部からのピクセルによって取り替えられるようになっている。
【図１１】入力画像についての図１０の装置の効果を示す図である。
【図１２】図１０の装置と一緒に使う動きベクトル選択器のブロック図である。
【図１３】動きベクトル選択器の他の例を示す図である。
【符号の説明】
６０画像セグメント蓄積器
６２マップ蓄積器
６４基準読み出しアドレス発生器
６６アドレス・シフター
６８位置検出器
７４ブロック突き合わせ器
７６マスク装置
７８正規化装置
８０蓄積及び比較器

Claims

動き補償補間によって出力画像を導出するための１対の入力画像の間の画像の動きを表すために動きベクトルを発生する動き補償画像処理方法であって、
当該出力画像の各ピクセルに対する動きベクトルを発生するステップと、
該出力画像の１つの出力ピクセルに関連した複数の動きベクトルの各々をテストするステップであって、
（ｉ）テストされている動きベクトルによって指定された一対の入力画像の複数のテスト・ブロックのそれぞれが部分的にそれぞれの入力画像の外部にあるかどうかを決定するステップと、
（ｉｉ）上記複数のテスト・ブロックの一方又は両方が、部分的にその対応する入力画像の外部にあれば、それぞれの入力画像の内部に在る部分のテスト・ブロックのピクセルからテスト・ブロック全体に相当する相関度を擬似的に発生する相関テストであり、当該テスト・ブロックの対応する位置にあるピクセル対の間の絶対輝度差を検出し、該絶対輝度差を合計して絶対差の合計（ＳＡＤ）値を発生し、その発生したＳＡＤ値に、該ＳＡＤ値を計算するために使われたピクセル対の数に対する各テスト・ブロックのピクセルの数の割合に依存したスケールファクタを乗算する第１の相関テストを行うことにより、それらのテスト・ブロック間の相関度を検出するステップと、
（ｉｉｉ）上記複数のテスト・ブロックの両方が全部それぞれの入力画像の内部に在れば、それらのテスト・ブロックについて、当該テスト・ブロックの対応する位置にあるピクセル対の間の絶対輝度差を検出し、該絶対輝度差を合計し、絶対差の合計（ＳＡＤ）値を発生して、第２相関テストを行うことにより、それらのテスト・ブロック間の相関度を検出するステップとから成るステップと、
上記複数の動きベクトルから、その動きベクトルによって指定されたテスト・ブロックの間で最も高い相関度を持つ１つの動きベクトルを選択する選択ステップと
を含む画像処理方法。
請求項１に記載の方法において、
上記第１の相関テストを行うステップが、
それぞれの入力画像に対して部分的に外部に在るテスト・ブロックについては、ピクセルを、入力画像の内部のテスト・ブロックの部分から該入力画像の外部に在るテスト・ブロックのピクセル位置へ置換するステップと、
複数のテスト・ブロックの中の対応する位置にあるピクセル対の間の絶対輝度差を検出するステップと、
その絶対輝度差を合計して、絶対差の合計（ＳＡＤ）値を発生するステップとから成る画像処理方法。
請求項１又は請求項２に記載の方法において、
上記選択ステップが、もし、上記複数のテスト・ブロックの一方又は両方における、テストされている動きベクトルで指向される実際のピクセルがそれに対応する入力画像の外部にあれば、その動きベクトルに対して発生されたＳＡＤ値を捨てるステップから成る画像処理方法。
動き補償補間によって出力画像を導出するための１対の入力画像の間の画像の動きを表すために動きベクトルを発生するようになった動き補償画像処理装置であって、
当該出力画像の各ピクセルに対する動きベクトルを発生する手段と、
該出力画像の１つの出力ピクセルに関連した複数の動きベクトルの各々をテストする手段であって、
（ｉ）テストされている動きベクトルによって指定された一対の入力画像の複数のテスト・ブロックのそれぞれが部分的にそれらのそれぞれの入力画像の外部にあるかどうかを決定する手段と、
（ｉｉ）上記複数のテスト・ブロックの一方又は両方が、部分的にその対応する入力画像の外部にあれば、それぞれの入力画像の内部に在る部分のテスト・ブロックのピクセルからテスト・ブロック全体に相当する相関度を擬似的に発生する相関テストであり、当該テスト・ブロックの対応する位置にあるピクセル対の間の絶対輝度差を検出し、該絶対輝度差を合計して絶対差の合計（ＳＡＤ）値を発生し、その発生したＳＡＤ値に、該ＳＡＤ値を計算するために使われたピクセル対の数に対する各テスト・ブロックのピクセルの数の割合に依存したスケールファクタを乗算する第１の相関テストを行うことにより、それらのテスト・ブロック間の相関度を検出する手段と、
（ｉｉｉ）上記複数のテスト・ブロックの両方が全部それぞれの入力画像の内部に在れば、それらのテスト・ブロックについて、当該テスト・ブロックの対応する位置にあるピクセル対の間の絶対輝度差を検出し、該絶対輝度差を合計し、絶対差の合計（ＳＡＤ）値を発生して、第２相関テストを行うことにより、それらのテスト・ブロック間の相関度を検出する手段とから成る動きベクトルをテストする手段と、
上記複数の動きベクトルから、その動きベクトルによって指定されたテスト・ブロックの間で最も高い相関度を持つ１つの動きベクトルを選択する手段と
を含む画像処理装置。