JP3905922B2 - 画像信号処理方法及び装置 - Google Patents

Description

〔産業上の利用分野〕
本発明は、入力のフィールドから動きベクトルに基づいて内挿フィールドを得る、動き補償形のフィールド数変換に関するものである。
国際特許出願公開明細書ＷＯ−Ａ−９３／００７７３には、フレーム周波数Ｆをフレーム周波数ｆに変換するために、一連の動画像のタイミングを変換する方法について開示されている。奇数番目の画像の画素は、少なくともそれらの輝度値によって規定され、一方少なくとも偶数番目の画像の画素は、少なくともそれらの輝度値と動きベクトルとによって規定される。５０Ｈｚ-６０Ｈｚ変換の場合に、対称的に推定される動きベクトル−Ｖ１及びＶ１は、入力のフィールドＴ１，Ｔ２及びＴ３間にて推定される。出力のフィールドｔ２は、それぞれの動きベクトル−5/6Ｖ１及び1/6Ｖ１を用いて入力フィールドＴ１とＴ２との間の内挿によって得られる。出力フィールドｔ３は、それぞれの動きベクトル−4/6Ｖ１及び2/6Ｖ１を用いて入力フィールドＴ２とＴ３との間の内挿によって得られる。
欧州特許出願公開明細書ＥＰ−０，４７５，４９９には、内挿画像が、シフトされた入力フィールドとして生じるようにするフィールド数変換方式が開示されている。動き補償はおおよそ動きベクトルの信頼性に応じて達成されると云われる。換言するに、動きベクトルが信頼できない場合には、これらの動きベクトルによる補償効果は、動きベクトルに１よりも小さな係数を乗じることにより低減される。前記欧州特許出願に記載されているフィールド数二倍器の場合には、変換によって約５０Ｈｚの動きジャダーが生じるも、これはさほど気にならず、速度に依存するぼけと見做される。
入力と出力のフィールド数間の、高いか、又は非整数比でのフィールド数変換においては、動き補償効果の低減が、動きジャダーにおける非常に低い周波数をブレークスルーすることになる。この周波数は、出力と入力フィールド数の最大公約数に等しい。例えば、２４Ｈｚのフィルム資料から６０Ｈｚのビデオ資料へのアップ・コンバージョンは、動きジャダーに１２Ｈｚの成分を導入する。動きジャダーのこの長い反復周期は別として、動き描写が極めて不規則になることがよくある。
本発明の目的は、特に、斯様な妨害を低減させる動き補償形の内挿法を提供することにある。このために、本発明の第１の態様では、請求項１にて規定したような方法を提供する。本発明の第２の態様では、請求項４にて規定したような装置を提供する。本発明の第３の態様では、請求５にて規定したようなテレビジョン信号受信機を提供する。有利な実施態様は従属請求項に規定した通りのものである。
画像信号の入力フィールドを処理して、これら入力フィールド間に時間的に位置付けられる内挿フィールドを得る方法では、連続する入力フィールド間における動きベクトルを求めた後に、これらの動きベクトルの品質を評価する。本発明によれば、評価した品質に基づいて動きベクトルを適合させ、それによって、減少及び増加の両動きベクトル長がそれぞれの内挿フィールドに生じるようにする。内挿フィールドは、このようにして適合させた動きベクトルに基づいて入力フィールドから得られる。
従って、推定した動きベクトルが直の動き補償内挿に使用するのには十分に信頼できると思えない場合には、規則的な動きジャダーに、好ましくは最高可能周波数、即ち、出力フィールド周波数の1/2の（部分的な）フォール・バックを用立てるようにする。このジャダーは、信頼できない動きベクトルのために画像中に見えようになるアーチファクトを減少させるが、これでも、従来技術におけるように動きベクトルを直にダウン・スケールすることにより生じる不規則で、もっと低い周波数のジャダーほどには気に障ることはない。本発明は、任意の入力及び出力のフィールド数間の変更に適用可能であり、また、いくつかの出力フィールドに対する適合ベクトルシフトを拡大させると云う多少意外な特性も有する。
入力のビデオフィールドを動き補償して、所定の出力フィールド周波数のビデオデータにする際に、通常の処理手順は、時間的に最も近い入力フィールドから（又は、必要とされる時間瞬時のいずれもの側の２つのフィールドから）情報を取り出して、このデータを、物体が動きの軌道、即ち、物体の時間−位置グラフによる仮想のラインに位置付けられるようにシフトさせる必要がある。利用可能なフィールドと必要とされるフィールドとの間の時間的な距離に応じて、連続する入力フィールド間にて計算されるような動きベクトルの長さは、或る係数によって割らなければならなくなる。提案したグローバルなフォール・バックアルゴリズムでは、斯かる係数を、動いている物体の位置がフィールド毎にその動き軌道の上又は下に交互に位置するように適合させる。従って、動きベクトルは或るフィールドでは縮小されるが、他のフィールドでは拡大される。好ましくは、この動きベクトル長の適合は、単にフィールド毎に交互させるのではなくて、入力と出力のフィールド数間の比と、推定した動きベクトルでのシフト後に出力フィールドを提供するのに用いられる入力フィールドの選定とに依存して適合させるようにする。
本発明のこれら及び他の要点は、以下詳述する実施例についての説明から明らかにされるであろう。
〔実施例〕
図１は、シフトを直ぐ隣の１つの入力フィールドのみに適用する。２５Ｈｚのフィルムから１００Ｈｚのビデオへのアップ・コンバージョンの場合の例である。水平軸はフィールドの番号を示し、垂直軸は位置を示す。まっすぐな非加速の動きを想定すると、物体は動き軌道ＭＴに沿って動くことになり、この軌道ＭＴは、連続するフィールドにおける物体の、この直線からの実際の位置のずれが平均して最小となるように描いた直線と理解すべきものとする。この線が径時的にシフトされることは勿論であり、そのシフト量は全体にわたる処理遅延時間に相当する。小さい黒丸は２５Ｈｚの入力フィールドにおける物体の位置を示している。矢印は、物体を動き軌道にシフトさせるのに想定される動きベクトルを示している。しかしながら、これらの動きベクトルが、何等かの別の手段を講じなければ、使用するのには十分信頼できると思えない場合に、本発明によるフォール・バックがアクティブになる。図１に示すように、フォール・バックの場合には、動きベクトルを２度拡大し（＋）、そして２度縮小し（−）、以下同様にして、フィールド毎に交互に動き軌道ＭＴの上又は下に位置する移動物体の位置を得るようにする。図面にこのように適合させた矢印によって示すように、毎秒正確に５０の動きフェースが生じ、即ち、２つの連続するフィールドにおける物体の位置が同じになる。この例は選択対象の１つに過ぎず、２５Ｈｚから１００Ｈｚまでのもっと小さいか、大きな偏差を補償することも可能である。その選択は動きベクトルの信頼性に依存し、（グローバルな）信頼性が悪くなればなるほど、全ての矢印が動き軌道ＭＴ上にて終わる理想的な補償からの偏差が大きくなる。
図２は第２の例を示し、ここでは本発明を２４Ｈｚのフィルムから６０Ｈｚのビデオへの変換の場合につき説明する。大きな円は補償前の位置を示し、小さな円は本発明による部分的な動き補償内挿後に得られる位置を示している。大きな円は、２４Ｈｚの入力フィールドから６０Ｈｚの出力フィールドを得るための標準の２-３プルダウンコンバージョンによって形成される。また、信頼できない動きベクトルの場合には、これらの動きベクトルを、移動物体の位置がフィールド毎に交互に動き軌道ＭＴの片側又は他の側に位置するように適合させる。
図３は６０Ｈｚから５０Ｈｚへのビデオのフィールド数変換に対して同じ思想を如何にして実現するかを示している。この図は、最初の行（１）に（入力）ビデオ資料の元の位置を、最後の行（３）に完全に動き補償した５０Ｈｚの出力を、そしてこれらの間の行（２）に本発明によって“部分的に補正した”内挿結果を示している。行３は、推定した動きベクトルが十分に信頼できる場合に使用できる直の動き補償内挿で得られるものである。行２は、行３における対応する位置の右側と左側に交互に存在する位置を示しており、行３における対応する位置の右側の位置は拡大した動きベクトルによって得られ、一方、行３における対応する位置の左側の位置は縮小した動きベクトルによって得られる。
１つの特定の実施例においては、動きベクトルのスケーリングを、速度平面で測定したコントラストに依存して適合させた。２つの水平方向に隣接している変位ベクトルのｘ-成分又は２つの垂直方向に隣接している変位ベクトルのｙ-成分が、第１の閾値よりも大きく異なる場合に、スケーリングから、完全な動き補償をするのに必要とされるような僅かな偏差を導入した。差が第２の閾値よりも大きく異なる場合には、スケーリングをさらに適合させるようにする。実施に当たり、任意数の閾値を使用し得ることは明らかである。このような特殊な適合の背景は、互いに接近して異なる方向に速く動いている幾つかの物体がある場合に（入力資料が、速度の増加に伴ってかなり扱い難く成長し、特に、速度場が大きなコントラストを含む場合に）、或るシーンにおける動きベクトルのグローバルな信頼性が低下すると予想されることにある。動きベクトルのグローバルな信頼性が如何に速く低下するかは、適用する推定アルゴリズムに依存し、従って使用すべき最適な閾値を決定することになる。
図４は本発明による動き補償内挿回路の第１実施例を示し、内挿出力フィールドＯは、単一の入力フィールドＩを動き軌道に沿ってシフトすることにより得られる。入力信号は、時間軸補正器（ＴＢＣ）１０を経て動きベクトル可制御可変遅延回路２０に供給される。動き推定器（ＭＢ）３０は動きベクトルＭＶを供給する。フォール・バック検出回路４０は動き推定器３０に結合されて、動きベクトル場における一致性を示すエラー信号Ｅｒｒ、推定整合エラー、又は推定した動きベクトルの信頼性を決定するのに有効な他の何等かの情報を受信する。フォール・バック検出回路４０は、エラー信号Ｅｒｒが許容値からかなり十分にずれているかどうかを決定し、もしそうであれば、動き推定器３０によって生成された動きベクトルＭＶは、動き推定エラーの視認性を低減させるように適合させるべきであることをベクトル変更器５０に知らせる。ベクトル変更器５０は、ベクトル長変更係数ｋを生成する。この係数ｋはベクトル乗算器６０に供給され、ベクトル乗算器６０は、動き推定器３０からの動きベクトルの水平及び垂直方向成分に係数ｋを乗じる。適合させる必要がなければ、ベクトル長変更係数ｋは、対応する入力フィールドに関し、内挿フィールドの時間的な位置にのみ依存することは明らかである。このようにして変更した動きベクトルｋ*ＭＶは、動きベクトルに依存してシフト量を制御する可変遅延回路２０に供給される。この可変遅延回路２０は出力フィールドＯを生成する。
上述したように、動きベクトル推定エラーの視認性を低減させるべく動きベクトルを適合させなければならない場合には、これらの動きベクトルは、移動物体の位置が動き軌道の両側に交互に位置するように、出力フィールドを交互に適合させるべきである。このために、ベクトル変更器５０は奇数／偶数フィールド識別信号ｏ／ｅを受信する。フィールドはインターレース又は非インターレースフィールドとすることができる。
図５は本発明による動き補償内挿回路の第２実施例を示し、この例では、２つの入力フィールドを動き軌道に沿ってシフトし、かつこのシフトした入力フィールドを平均化することによって内挿出力フィールドＯを得る。図５の例は図４の例に非常に似ているので、これらの例の相違点のみにつき説明する。時間軸補正器１０の出力信号はフィールド遅延回路１５を経て第２の可変遅延回路２０’にも供給される。図４の動き推定器３０は動き推定器３０’に置き換えられ、この動き推定器３０’は、上述した動きベクトルに加えて、他の入力フィールドに使用する動きベクトルＭＶ’も生成する。図４のベクトル変更器５０はベクトル変更器５０’に置き換えられ、これは上述した係数ｋに加えて、他の入力フィールドに使用するベクトル長変更係数１−ｋを生成する。２つの入力フィールドを動き補償内挿に使用すると、これらの入力フィールドの一方に使用すべき動きベクトルＭＶを係数ｋによって短縮（又は伸長）させる場合に、他方のフィールドに使用すべき動きベクトルＭＶ’は対応する係数１−ｋによって伸長（又は短縮）しなればならないことは明らかである。ベクトル乗算器６０’は、動き推定器３０’からの動きベクトルＭＶ’の水平及び垂直方向成分に斯かる係数１−ｋを乗じる。このようにして変更した動きベクトル（１−ｋ）^＊ＭＶ’は、その動きベクトル依存シフト量を制御するための可変遅延回路２０’に供給される。平均化回路２５は可変遅延回路２０及び２０’からの各動き補償されシフトされたフィールドを受信し、出力フィールドＯを生成する。
図６は本発明によるテレビジョン受信機の実施例を示す。チューナ兼ＩＦ回路１００はアンテナ信号を受信して、復調ビデオ信号をビデオプロセッサ２００に供給する。ビデオプロセッサは輝度及びコントラスト制御のような通常の処理を全て行なって、処理したビデオ信号をアップコンバータ３００に供給する。このアップコンバータ３００は、内挿出力フィールドを得るための図４又は図５のいずれかの例の動き補償内挿回路とすることができる。アップコンバータ３００はこれらの内挿出力フィールドをディスプレイ４００に供給する。
本発明の要点は次のように要約される。動き補償形のフィールド数変換器により得られる画像には、複雑か、又は非常に速い動きを伴うシーンに、動きベクトル推定エラーによるアーチファクトが発生し得る。こうしたアーチファクトが、動き補償で得られるものよりももっと画像品質を低下させる場合には、動き補償しない内挿に徐々に切り替えるのがよい。本明細書では、従来既知の動きベクトル長の単なる縮小によって得られるものよりも遥かに優れた結果を生じる手法を開示している。以前の提案とは対照的に、ベクトル長を時には増大させるため、それぞれの内挿フィールドには増大及び減少の双方の動きベクトル長が生じる。これにより、動きベクトル推定エラーの視認性を低減する動きジャダーが得られる。
上述した実施例は本発明を限定するものでなく、本発明は添付した請求の範囲から逸脱することなく、幾多の変更を加え得ることは当業者に明らかである。請求の範囲における括弧内の参照符号は請求の範囲を限定するものとして解釈されるべきではない。本発明は、幾つかの個別の素子を具えているハードウェアによって、また、適当にプログラムしたコンピュータによって実施することができる。偏差の適合を径時的にゆっくり変化させるだけとする高性能化も可能なことは明らかである。このような高性能化は、導入されるグローバルなぼけ、又は動きベクトル推定エラーの可視的な切り替えをなくすのに有効である。本明細書及び請求の範囲において、フィールドはインターレースされていても、インターレースされていていなくてもよい。
【図面の簡単な説明】
図１は、２５Ｈｚのフィルムから１００Ｈｚのビデオへの変換の場合における本発明によるグローバルなフォール・バックを示す図である。
図２は、２４Ｈｚ（フィルム）から６０Ｈｚ（ビデオ）への変換の場合における本発明によるグローバルなフォール・バックモードを示す図である。
図３は、６０Ｈｚから５０Ｈｚへのフィールド数変換に対するグローバルなフォール・バック手法の実施を示した図である。
図４は、本発明による動き補償内挿回路の第１実施例を示す図である。
図５は、本発明による動き補償内挿回路の第２実施例を示す図である。
図６は、本発明によるテレビジョン受信機の実施例を示す図である。

Claims (5)

1. 画像信号の入力のフィールド（Ｉ）を処理して、入力フィールド（Ｉ）間に時間的に位置付けられる内挿フィールド（Ｏ）を得る方法であって、：
   前記入力フィールド（Ｉ）間の動きベクトル（ＭＶ）を提供するステップ（３０）と；
   前記動きベクトル（ＭＶ）の信頼性（Ｅｒｒ）を決定するするステップ（４０）と；
   前記信頼性（Ｅｒｒ）と、対応する入力フィールド（Ｉ）に対する内挿フィールド（Ｏ）の時間的位置とに基づいてベクトル長変更係数（ｋ）を生成するステップ（５０）と；
   前記動きベクトル（ＭＶ）に前記ベクトル長変更係数（ｋ）を乗じて、適合動きベクトル（ｋ*ＭＶ）を得るステップ（６０）と；
   前記適合動きベクトル（ｋ*ＭＶ）に基づいて前記入力フィールド（Ｉ）から前記内挿フィールド（Ｏ）を得るステップ（２０）と；
   を具えている、画像信号処理方法において、
   前記ベクトル長変更係数（ｋ）は、それぞれの内挿フィールド（Ｏ）において、減少と増加の両動きベクトル長が、前記対応する入力フィールド（Ｉ）に対する前記内挿フィールド（Ｏ）の前記時間的位置に依存する動きベクトル長だけに対して生じるように生成されることを特徴とする画像信号処理方法。
2. 前記動きベクトル（ＭＶ）の信頼性（Ｅｒｒ）を決定するステップ（４０）は、前記動きベクトル（ＭＶ）によって形成される速度平面におけるコントラストを測定するステップを含む、請求項１記載の方法。
3. 前記動きベクトル（ＭＶ）によって形成される速度平面におけるコントラストを測定するステップは、隣接する画像部分に対応する動きベクトル（ＭＶ）の水平及び/又は垂直方向成分間の差を、少なくとも１つの閾値と比較するステップを含み、前記差が前記少なくとも１つの閾値を越えるか否かに基づいて、前記動きベクトル（ＭＶ）を適合させる、請求項２記載の方法。
4. 画像信号の入力のフィールド（Ｉ）を処理して、入力フィールド（Ｉ）間に時間的に位置付けられる内挿フィールド（Ｏ）を得るための画像信号処理装置であって、；
   前記入力フィールド（Ｉ）間の動きベクトル（ＭＶ）を提供する手段（３０）と；
   前記動きベクトル（ＭＶ）の信頼性（Ｅｒｒ）を決定する手段（４０）と；
   前記信頼性（Ｅｒｒ）と、対応する入力フィールド（Ｉ）に対する内挿フィールド（Ｏ）の時間的位置とに基づいてベクトル長変更係数（ｋ）を生成する手段（５０）と；
   前記動きベクトル（ＭＶ）に前記ベクトル長変更係数（ｋ）を乗じて、適合動きベクトル（ｋ*ＭＶ）を得る手段（６０）と；
   前記適合動きベクトル（ｋ*ＭＶ）に基づいて前記入力フィールド（Ｉ）から前記内挿フィールド（Ｏ）を得る手段（２０）と；
   を具えている画像信号処理装置において、
   前記ベクトル長変更係数（ｋ）を生成する手段（５０）は、それぞれの内挿フィールド（Ｏ）において、減少及び増加の両動きベクトル長が、前記対応する入力フィールド（Ｉ）に対する前記内挿フィールド（Ｏ）の前記時間的位置に依存する動きベクトル長だけに対して生じるように、前記ベクトル長変更係数（ｋ）を生成する手段を具えていることを特徴とする画像信号処理装置。
5. 画像信号を供給するためにテレビジョン信号を受信すべく結合された手段（１００，２００）と；
   前記画像信号の入力のフィールド（Ｉ）を処理して、内挿フィールド（Ｏ）を得るための、請求項４記載の画像信号処理装置（３００）と；
   前記処理装置（３００）に結合された表示手段（４００）と；
   を具えているテレビジョン信号受信機。

Images