JP4159606B2 - 動き推定 - Google Patents

Description

【技術分野】
【０００１】
本発明は、動きベクトルを推定するための方法および装置並びにかかる装置を備えたビデオ表示装置に関するものである。
【背景技術】
【０００２】
欧州特許出願ＥＰ−Ｂ０，４１０，８２６号公報〔文献１〕は基準映像と現下の映像との間の回帰的動き推定を行ない、各反復毎に、反復の都度増大する分解能による両映像の標本化、基準映像内の特徴的標本の検出、現下の反復に先立つ反復の過程で実現した全体的動き推定から取出した変位ベクトルで推定が始まる、基準映像内の特徴的標本毎の局部的動きベクトルの推定、および、最終反復の過程における局部的動きベクトル推定に基づいて標本のパラメータ群の値が計算される現下の映像の全体的動き推定の遂行が行なわれる固定回数の反復を実現する方法を開示している。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
全体的動きを推定するには、動きの標本を規定する８パラメータａ１…ａ８の値を、座標Ｘ，Ｙを有する標本が、
Ｘ’＝（ａ１・Ｘ＋ａ２・Ｙ＋ａ３）／（ａ７・Ｘ＋ａ８・Ｙ＋１）および
Ｙ’＝（ａ４・Ｘ＋ａ５・Ｙ＋ａ６）／（ａ７・Ｘ＋ａ８・Ｙ＋１）
なる座標Ｘ’，Ｙ’に変位するようにして計算し、８パラメータａ１…ａ８を、特徴的標本について上述した二つの関係からなる８未知数の等式系を解くことによって計算し、座標Ｘ’，Ｙ’を、かかる標本のそれぞれについて推定した局部動きベクトルの関数および考慮中の標本の座標Ｘ，Ｙの関数として決定する。
【０００４】
現下の映像の各特徴的標本について局部動きベクトルを推定するには、つぎの各過程、すなわち、考慮中の特徴的標本に集中した基準映像の標本群の第１ブロックの規定；
【０００５】
考慮中の特徴的標本に対応する標本群に集中するが、進行中の反復に先立つ反復の過程で行なわれた動きの全体推定および予め決定された複数の付加的変位から取った付加的変位から計算した、考慮中の特徴的標本の初期変位のベクトル和からそれぞれなる、試験すべき複数のベクトルを超えてずれた、現下の映像の標本群の複数の第２ブロックの規定；および
【０００６】
局部動きベクトルを得るための第２ブロックそれぞれと第１ブロックとの最良の整合をもたらす、試験すべきベクトルの選択を遂行する。
【０００７】
したがって、従来技術では、最高の分解能に対応する最終動きベクトルを得るために、複数回の反復が同一映像間で行なわれるように見える。
【０００８】
本発明の目的は、就中、余り複雑でない動きベクトル推定を提供することにある。
【課題を解決するための手段】
【０００９】
この目的で、本発明の第１面は、請求項１に規定するような動きベクトル推定の方法を提供することである。本発明の第２面は、請求項１０に規定するような動きベクトル推定装置を提供することである。本発明の第３面は、請求項１１に規定するようなビデオ表示装置を提供することである。有利な実施例は、従属請求項に規定されている。
【発明の効果】
【００１０】
本発明の第１面による動きベクトル推定の方法では、動きパラメータ群が、ビデオ信号の所定フィールド（ｎ−１）に対して規定され、当該ビデオ信号のフィールド（ｎ）に対する動きベクトル群は、少なくとも一つの予め決定された動きベクトルおよび当該動きパラメータ群から取出した少なくとも一つの付加的動きベクトルに従って決定される。
本発明のかかる面は、以下に述べる実施例を参照すれば明らかに説明されよう。
【発明を実施するための最良の形態】
【００１１】
Ｉ．序論
動き推定器は、映像内の各位置に対して可能な種々の動きベクトルの一つを選択する基準関数を、複雑な場合もあるが通常は簡単に最小もしくは最大にする。これらの推定器は、徹底的な探索方法を適用し、すなわち、予定領域のあらゆる可能なベクトルを試みて、基準関数全体の最良値を得るか、あるいは、効率のよい接近の一つを用いて、限られた個数の候補ベクトルのみを試みる〔文献９，１０，１１，１３〕。もっと進んだ効率のよい動き推定方法では、この限られた候補群には、最も可能性のある予測ベクトルが含まれる。その可能性は、さらに高い階層レベルの画像の解析に基づき〔文献２，１４〕、周波数領域の解析により〔文献１５，１６，１７〕、もしくは、候補群におけるベクトルの空間的乃至時間的な近親性に基づいている〔文献４，５，６，１２，１９〕。
【００１２】
ビデオ映像の動きは、対象物の動きによるか、カメラの動きによって生ずる。
対象物の寸法によって空間領域における動きベクトルの相関が生じ、一方、対象物の慣性は、ベクトル領域の時間的相関を説明する。カメラの動きの部類にはカメラのパン、チルトおよび移動とレンズによるズーミングとが含まれる。この種の動きは、通例、空間および時間の両領域における極めて平滑な速度を起す。カメラ・レンズによるズームは、Ｖvが直線的に変化する垂直速度を示し、Ｖhが直線的に変化する水平速度を示す、図１に示したように、空間位置とともに直線的に変化する動きベクトルを生ずる。他方、カメラのパン、チルトもしくは移動は、テレビジョン画面全体の均一な動きベクトルを起す。かかる種類の動きは、以前に〔文献３〕で示唆したように、三つのパラメータ・モデルで説明することができる。粗い動きベクトル領域からかかるモデルのパラメータ群を抽出する方法は、文献〔１〕に示唆されている。回転のようなもっと複雑な全体的動きさえ、８個までのパラメータを必要とするパラメータ・モデルで説明することができる〔文献１８〕。その説明では、当該領域の簡単なパラメトリックな説明により画像の各部位毎に付加的予測ベクトルを発生させるために、先行映像における動きベクトル領域の粗い推定を用いることを提案している。この予測は、さらに時間および空間の予測ベクトルとその更新値とを含んだ、進んだ効率のよいブロック整合器の候補群に含まれる〔文献４、６〕。パラメトリック・モデルは、映像の境界部においてさえ、要すれば副画素の精度でベクトルの計算を可能にするので、カメラの動きの場合、特に、時空間の予測器が失敗することのある、映像の境界近傍の細部のコントラストが小さい乃至は低い領域がある場合に、かなりの改善をもたらす。
【００１３】
本明細書の第ＩＩ部では、本願の記号法を紹介するとともに、本願の改善を有効にする基礎として用いた〔文献６〕の動き推定のアルゴリズムを要約する。また、第ＩＩＩ部では、パラメトリック・モデルと、予め計算した動きベクトル領域からの付加的候補の抽出とを紹介する。第ＩＶ部では、（インタレースを解いた）局限用途における改善の推定を行ない、第Ｖ部では、ＭＰＥＧ動きベクトルの適用性を本発明の原理を用いて如何に拡大し得るかを説明し、第ＶＩ部では、本願の結論を要約する。
【００１４】
II．三次元回帰探索ブロック整合器
本願人は、最も興味のある進んだ動き推定器の完成を考慮しているので、〔文献６〕の高品質推定方法を適用する。このアルゴリズムは、走査レート変換に好適な、１／４画素精度と真の動きベクトル領域への接近とをもたらす〔文献４，５〕。そのうえに、このアルゴリズムの効率は、目下唯一の単一チップの真の動き推定器となるものである〔文献７，８〕。
【００１５】
ブロック整合した動き推定のアルゴリズムにおいては、中心Ｘに集中しているが、先行フィールドｎ−１における探索領域ＳＡ（Ｘ）内で同様なブロックを探索することにより、現下のフィールドｎにおける画素群のブロックＢ（Ｘ）の中心Ｘに変位ベクトルが割当てられる。その同様なブロックは、中心Ｘに対し、変位ベクトルＤ（Ｘ，ｎ）を超えてずれた中心を有している。このＤ（Ｘ，ｎ）を見出すためには、ブロックの類似性を定量するのに誤差尺度ｅ（Ｃ，Ｘ，ｎ）を適用して、候補ベクトルの個数Ｃを推定する。
さらに公式的には、ＣＳ^maxを候補ベクトルの組Ｃと定義して、先行映像における探索領域ＳＡ（Ｘ）内の中心Ｘに対する可能な（通例整数の）変位全部をつぎの式（１）のように表わす。
【数１】

ここに、ＮおよびＭはＳＡ（Ｘ）を限定する定数である。そのうえに、現フィールドｎにおける画素位置ｘよりなる大きさＸ掛けＹのＸに中心をおくブロックＢ（Ｘ）は、つぎの式（２）のように考えられる。
【数２】

ブロック整合過程から生じた変位ベクトルＤ（Ｘ，ｎ）は、つぎの式（３）のように、誤差関数ｅ（Ｃ，Ｘ，ｎ）の最小値をもたらす候補ベクトルＣである。
【数３】

最小の整合誤差を有するベクトルＤ（ｘ，ｎ）が、つぎの式（４）に示すように、ブロックＢ（Ｘ）における全画素位置ｘに割当てられる普通の場合には、
【数４】

中心画素のみの場合よりも、寧ろ、大幅な計算の縮小が達成される。暗黙のこととして、引続くブロックＢ（Ｘ）は重ならない。
【００１６】
所定の候補ベクトルＣに対する誤差値は、現下のブロックにおける画素群の輝度値および先行フィールドからずれたブロックの画素群輝度値をブロックＢ（Ｘ）全体に亘って集計した関数である。本願で用いる普通の選択は、つぎの式（５）で表わす絶対差の和（ＳＡＤ）である。
【数５】

【００１７】
その替わりに、自乗平均誤差（ＭＳＥ）もしくは正規化相互相関関数（ＮＣＣＦ）を用いることもできる。
【００１８】
可能な候補ベクトル全部を計算するよりも、寧ろ、〔文献６〕の三次元回帰探索ブロック整合器は、三次元近傍からの空間乃至時間の「予測ベクトル」および単一の現下の予測ベクトルを用いる。これは、暗黙裡に、空間乃至時間の不変性を仮定している。更新過程には、空間予測のいずれかに付加した更新値が含まれる。本願では、つぎの式（６）で定義される結果のベクトルＤをブロック整合器が選択する、候補ベクトルＣを含んだ候補群ＣＳ（Ｘ，ｎ）を適用する。

ここに、候補ベクトルＣ ₁ に対する二つの選択は、ブロック単位で交替し、また、更新ベクトルＵ（Ｘ，ｎ）は、本願の場合、つぎの式（７）で限定された固定整数の更新ベクトル群ＵＳ_iから取られる。

【００１９】
副画素精度を実現するためには、式（７）の更新群を端数更新値だけ拡大する。本願では更新群につぎの式（８）による端数ベクトルを加算することによって、１／４画素精度を実現している。
【数８】

【００２０】
候補ベクトルの個数が少ないが故に、この推定方法は極めて有効である。そのうえに、固有の平滑性を強いられるので、この推定方法は、対象物の真の動きに密接に対応した、極めて首尾一貫したベクトル領域をもたらす。これは、特に、走査様式の変換に適したものとなる。
【００２１】
III．カメラの動きとそのパラメトリック・モデル
カメラの動きには、カメラのパン、チルト、ライドおよびズームによる動きが含まれる。この種の動きは、対象物の動きに比して極めて平滑な速度、すなわち、動きベクトルを生ずる極めて規則正しい性格を有している。カメラによるズームは、図１に説明してあるように、空間位置とともに直線的に変化する動きベクトルを発生させる。他方、カメラによるパン、チルトもしくはライドは、テレビジョン・スクリーン全体に均一な動きベクトルを発生させる。
【００２２】
III.1．３パラメータ・モデル
この種の動きは、以前に示唆した〔文献３〕とおりに、つぎの式（９）に示すような３パラメータ・モデルで説明することができる。
【数９】

ここに、ｐ₁，ｐ₂およびｐ₃は、それぞれ、カメラのパン、チルトおよびズームを表わす。このモデルは、各ブロックが映像平面上で真四角である場合にのみ有効である。少なくともテレビジョンにおいては、各ブロックが画素格子上で四角である場合でさえ、固定した標本化周波数による種々異なる縦横比の故に、かかる仮定が無効となる場合が多い。
かかる場合には、４パラメータ・モデルが、つぎの式（１０）に従って用いられる。
【数１０】

ここに、ｐ₃とｐ₄との間には、水平（Ｈ）と垂直（Ｖ）との標本化密度の比によって決まる固定比が生ずる。この比ｐ₃／ｐ₄がＨとＶとの標本化密度に対応しない場合には、抽出されたパラメータ群は、頼みにならないに違いない。したがって、この比を測定することにより、付加的な候補が動き推定器で用いられない方がよい状態を同定することが可能となる。
【００２３】
この推定方法を６パラメータ・モデルにまで拡大すれば、回転を含めることがさらに可能となる。しかしながら、この種の動きはテレビジョン放送素材ではあまり起らないので、（請求の範囲から除外はしないが）この説明では、さらに考慮することはない。
【００２４】
III.2．パラメータ候補による三次元回帰探索ブロック整合器の昇格
提案の実施は、第II部で規定した組ＣＳ（Ｘ，ｎ）に、各ブロック毎に単一の候補ベクトルを付加することにより行なわれ、ここでは、ブロックＢ（Ｘ）に対するこの付加的候補Ｃ（Ｘ，ｎ）を式（１０）の４パラメータ・モデルに従って計算し、その結果としてつぎの式（１１）を得る。
【数１１】

候補ベクトルを動き推定器に付加するよりも、寧ろ、その付加的候補を他の候補ベクトルに（例えばブロック単位で）替えることが可能である。その場合には、推定器の処理計数は増大し難いが、利点は同等と見られた。その結果として、式（６）における候補ベクトルＣ₄は、つぎの式（１２）のように修正される。
【数１２】

【００２５】
この考えの利点は、モデルの信頼性に応じたパラメトリック・モデル候補の発生頻度を有していることである。本願の実施においては、これは、つぎの式（１３）によるＣ₄のさらなる修正に通ずる。
【数１３】

【００２６】
つぎの副区分においては、かかる信頼性の表示を可能にするパラメトリック・モデル抽出過程を説明する。
【００２７】
III.3．映像データからのパラメータ群の抽出
動きモデル全体のパラメータ群を、推定した動きベクトル領域から抽出するには、幾多の選択がある。三次元回帰探索（３ＤＲＳ）ブロック整合器内にモデルが集積されている本願の場合には、すでに利用可能の動きベクトル、すなわち、時間的予測メモリで利用可能のベクトルから出発するのに意義がある。処理計数値を低く保つためには、そのメモリで利用可能のベクトルの限定された組のみを用いるのがさらに魅力的である。
【００２８】
予測メモリからのベクトルを用いる選択の結果として、パラメトリック・モデルとともに発生した候補の効力は、かかる手法の回帰性の故に時間の経過につれて増大する。映像の主要部分に対してパラメトリック・モデルが有効な場合には、付加的な候補が推定器の機関によってさらに頻繁に選択されて、次のフィールドで、時間的予測メモリ内のベクトル群から抽出したパラメータ群の質を改善する。これが、発生した付加的候補の精度を再び改善するので、さらに頻繁に選択され、モデルがさらに改良され、以下同様となる。
全体の動きを説明するモデルのパラメータ群を推定するために、本願では、つぎの式（１４）に従い、時間ベクトル予測メモリから、幅ＷＸおよび高さＨＹの画像における大きさ（Ｗ−２ｍ）Ｘ掛け（Ｈ−２ｇ）Ｙの中心窓内のブロック格子上の種々異なる位置Ｘから、９動きベクトルＤ（Ｘ，ｎ−１）を含んだ標本組Ｓ（ｎ）を取る。
【数１４】

【００２９】
ここに、ｍおよびｑは、小さい値であって、映像内のブロックの個数によって決まる。図２は、標本組中のベクトルを取る映像内の位置を示したものである。
ｍおよびｑを小さく選定すれば、一般に、ズーム・パラメータｐ₃およびｐ₄のより正確な推定がもたらされる。しかしながら、映像の境界に近過ぎるベクトルは、カメラの速い動きの場合には、信頼を置き得ない。特定の場合にはその方がよいと思われる他の選択が可能であることは明らかであるが、より小さい大きさの他の標本組によって系統的な改善が得られる明白な原因は判らない。より大きい標本組は、結果を改善し得るが、計算上の負担を増大させることになる。
【００３０】
４パラメータ・モデルは、４等式、すなわち、二つの「独立した」標本ベクトルによって解くことができる。ここで、「独立した」とは、かかるベクトル群を、映像の同じ水平もしくは垂直の位置からは取らないことを意味する。Ｓ個の組からγ個の標本を選ぶための組合わせの個数は、つぎの式（１５）に示すような初歩の統計から知られている。
【数１５】

【００３１】
本願の場合には、Ｓ＝９およびＹ＝２に達するが、これは、９から２には３６とおりの組合わせと、１８対の「非独立」標本、すなわち、同じ行もしくは列上の標本とが存在するから、このモデルを解くための３６−１８＝１８とおりの選択を意味する。３行と３列とが存在して、それぞれが、利用し得る３ベクトルから２ベクトルの３対が選ばれるのを可能にするので、２×３×３＝１８とおりの非独立対が存在することになる。
ともに標本組Ｓ（ｎ）内にある独立標本ベクトルＤ（Ｘ _i1 ，ｎ−１）とＤ（Ｘ _i2 ，ｎ−１）とのｉ^th対からのパラメータ群の抽出は、つぎの各式に示すように率直である。

【００３２】
さて、２独立標本ベクトルの各対については、４パラメータの組が利用可能であり、最良のパラメータの組が選択されるべきである。本願では、ここで、各パラメータに対する選択全体の中間値を終局のモデル・パラメータに割当てることを提案する。結局、ｉ＝１乃至ｉ＝１８に対して、本願では個々のパラメータをつぎの式（２０）のように格付けし、
【数２０】

モデル・パラメータの最終値をつぎの式（２１）に従って取出す。
【数２１】

【００３３】
最後に、ｐ₃とｐ₄との比を計算して、モデルの信頼性を照合する。実験によれば、正常値からの２５％のずれが許される。パラメータ群がこの試験を通過し、ＨおよびＶの標本化密度に従って、その比をｐ₃／ｐ₄＝Ｒとした（区分III.１参照）場合には、異なった標本化密度に対して修正した（ｐ₃が（ｐ₃＋Ｒ・ｐ₄）／２となり、ｐ₄が（ｐ₄＋１／Ｒ・ｐ₃）／２となった）後に、ｐ₃およびｐ₄をその平均値に置換することにより、モデルの精度をさらにわずかに改善することができる。このこじつけは、検討ずみのアルゴリズムによって行なわれた。
【００３４】
式（２０）と式（２１）との中間のアルゴリズムより必要とする計算が少ないだけ有利な替わりの実施例では、二つの独立標本ベクトルの各対毎に４パラメータの組がつぎのようにして用いられる。モデルが信頼できるものとなるまで、すなわち、正しいｐ₃／ｐ₄比が得られるまで、パラメータ群の１８とおりの組が（各フィールド毎に一対ずつ）周期的に用いられる。正しいｐ₃／ｐ₄比をもたらしたパラメータの組は、ｐ₃／ｐ₄比が最早正しくないと見られるまで維持される。その場合に、そのパラメータの組は、正しいｐ₃／ｐ₄比が再び得られるまで、再度周期的に適用される。
【００３５】
推定済みの動きベクトル領域から動きモデル全体のパラメータ群を抽出するには、幾多の選択肢がある。そのうえに、かかるパラメトリック動きモデルによって発生した付加的候補ベクトルを適用し得る動き推定には幾多のアルゴリズムが存在する。〔文献６〕の三次元回帰探索ブロック整合動き推定器における本発明の可能な他の実施を以下に説明しよう。
動きモデル全体のパラメータ群を推定するために、画像内の種々異なる位置に割当てた９ベクトルＤ〔０，…，８〕が、図２に示すように、時間的ベクトル予測メモリから取られる。パラメータ群を計算するために、かかるベクトル組から四つのベクトル値を選択する。パラメトリック・モデルに対して最も信頼し得る基礎（利用し得る９ベクトルから最良の４ベクトル）を選択するために、つぎの式（２２）に従って第１の３平均ｘ成分Ｄ_Ax〔ｑ〕を計算する。
【数２２】

かかる平均のそれぞれに対し、つぎの式（２３）を用いて品質尺度Ｄｉｆｆ_x〔ｑ〕を割当てる。
【数２３】

【００３６】
この品質尺度の背景は、ベクトル群が全体的動き（カメラのパンもしくはズーム）のみによる場合には、計算した差違が零であるべきである、ということである。ある差違が大きければ大きい程、対応するベクトルがパラメトリック・モデルの基礎としては貧弱である機会が大きくなる。ベクトルのｙ成分に対しても、式（２４）および式（２５）に示すように、同様の計算が必要である。
【数２４】

および
【数２５】

【００３７】
最小の差違に属するベクトルのｘもしくはｙの成分値は、つぎの式（２６）を用いて新たなパラメトリック副画素ベクトル候補を補間乃至補外するのに用いられる。
【数２６】

【００３８】
ベクトルのｘ_成分およびｙ_成分のそれぞれに対するパラメータｐ₁およびｐ₂と同様に、モデルの勾配ｐ₃も計算しなければならない。この勾配ｐ₃は、パンおよびズームの特性により、ｘ_成分およびｙ_成分に対するのと同じになる。かかる勾配は別々に計算する。別々の勾配が著しく相違している場合には、パラメトリック・ベクトル候補は信頼し得ないものと見做され、この情報は、上述したようなパラメトリック候補の発生周波数を修正するのに用いることができる。小さい妨害を避けるために、両方の勾配を平均して、つぎの式（２７）により最終勾配ｐ₃を得る。
【数２７】

ここに、Ｎ_xおよびＮ _y は、勾配計算の基礎をなすベクトル群の各位置間のブロック格子について測定した水平および垂直の距離である。パラメータｐ₁およびｐ₂は、ベクトル領域のエッジで補間が始まることを確かめたうえで、つぎの式（２８）に示すように補外によって見出すことができる。
【数２８】

ここに、Ｘ〔５〕およびＹ〔５〕は、ブロック格子上の標本ベクトルＤ〔５〕の座標である。したがって、（ブロック当り一つの）パラメトリック・ベクトル候補は、つぎの式（２９）のように計算することができ、
【数２９】

任意の動き推定アルゴリズムの候補ベクトル組に付加することができる。
【００３９】
上述した信頼性の基準は、カメラと動き推定器との間の処理における幾何学的歪みの場合に適応すべきであると気付くのは好ましい。かかる歪み（例えば、水平圧縮もしくは垂直伸長）は、ワイドスクリーン・テレビジョン用回路で起ることが多い。
【００４０】
IV改善の推定
本願提案に期待される利点は、カメラの動きの場合に推定した動きベクトルの精度の増大であった。本来の三次元回帰探索ブロック整合アルゴリズムはすでに極めて的確になっているのであるから、改善を示すにはきわどい応用が必要である。順次配列が動き推定器からの高度の正確さを要する、すなわち、推定の副画素部分が順次配列の品質で重要な役割を演ずることは、早い段階ですでに判っていた〔文献６〕。したがって、本願では、パラメトリック候補ベクトルの利点を立証するために、ここで再び、ウオング他〔文献２０〕の時間回帰順次走査アルゴリズムにおける三次元回帰探索（３−Ｄ ＲＳ）ブロック整合器を適用した。本願では、本質的に、動きベクトルの品質の指示を得るために〔文献６〕で用いたのと類似した動き補償自乗平均予測誤差を計算する。
【００４１】
さらに正確には、図２に示すように（Ｗ−２ｍ）Ｘ掛け（Ｈ−２ｑ）Ｙ画素群の大きさの測定窓について、現下の入力フィールド（Ｆ（ｘ，ｎ）と推定済み変位ベクトルＤ（ｘ，ｎ）に亘ってずれた予め計算済みの順次走査画像Ｆｓ（ｘ，ｎ−１）との間の輝度の自乗平均誤差（ＭＳＥ）を、式（３０）に示すように計算する。
【数３０】

【００４２】
ここに、ｘは、奇数の入力フィールドの奇数走査線の画素格子上の測定窓内の位置全部および偶数入力フィールドの場合の偶数走査線上の画素位置全部を通って変化する。
【００４３】
図３では〔文献６〕の推定器におけるフィールド数（横軸）に対する自乗平均誤差（ＭＳＥ）（縦軸）の値を、パラメトリック候補ベクトルの有（曲線ｂ）と無（曲線ａ）とによって示したものである。両方のアルゴリズムとも最初のフィールドで収斂し、以降のフィールドではパラメトリック候補が特定の著しい改善をもたらすことが明らかに認められる。画像は、きわどい試験素材を提供するように選定する。供試系列画像は、垂直および水平の詳細を伴った大面積領域とカメラのズームによる多種類の（副画素）速度を伴った種々異なる方向の動きとを含んでいる。カメラの動きが存在しない場合には、付加的候補は特性を劣化させないことが判る。ズームもしくはパンした画像素材のＭＳＥ得点は、新たなパラメータ候補によるよりも１２％低くなることが判った。
【００４４】
図４および図５は、本願提案の結果を見えるようにしたものである。かかる図では、シミュレーションの結果を示し、パラメトリック・ベクトル候補の有り（図４，５の下半分）および無し（図４，５の上半分）による速度を示している。ベクトルのＸ成分は図４に示され、ベクトルのＹ成分は図５に示されている。図４の種々異なる灰色陰影１〜６と図５の１〜５とは、相互に異なる動きベクトル成分値を示している。その場合に、モデルの入力は、図１に示したように、水平および垂直の両方向で直線的に変化する速度を生ずるカメラのズームであった。図４，５の上下半分ずつの比較から、本発明の手段により、動き推定の精度が大いに改善されていることが判る。
【００４５】
図６は、本発明による動きベクトル推定装置を備えた表示装置の実施例を示すものである。アンテナＡで受信したテレビジョン信号は、当業者には周知の同調、復調およびビデオ信号処理の各動作のために処理回路Ｐに適用される。処理回路Ｐの出力は、２倍のフィールド周波数でビデオ信号を得るために第１フィールド・メモリＦＭ１に供給される。第１フィールドメモリＦＭ１の出力は、フィールド遅延ビデオ信号を得るために第２フィールド・メモリＦＭ２に供給される。第２フィールド・メモリＦＭ２の入力および出力は、動きベクトルＤ（ｘ，ｎ）を得るために、動きベクトル推定装置ＭＥに供給される。動きベクトルＤ（ｘ，ｎ）と第２フィールド・メモリＦＭ２の入力および出力とは、動き補償補間器Ｉに供給され、その出力は表示ユニットＤ_Pに供給される。
【００４６】
動きベクトル推定器ＭＥは、ブロック周波数クロック信号Ｎ_b1が供給されるモジュールｐカウンタを含む更新発生器ＵＧを備えている。そのカウンタＣの出力は、上述したような更新ベクトルＵ（Ｘ，ｎ）と、増大する更新ベクトル長とともに増大する更新に依存するペナルティを得るために、ルックアップテーブルＬＵＴに供給する。更新ベクトルＵ（Ｘ，ｎ）は更新多重回路ＵＰ−ＭＵＸに供給され、その更新多重回路は、零ベクトル０、パラメトリック候補発生器ＰＧからのパラメトリック候補ベクトルＰＶ（Ｘ）並びに予測メモリＰＭからの予め決定したベクトルＤ（ｘ＋Ｘ，ｙ−Ｙ，ｎ）およびＤ（ｘ−Ｘ，ｙ−Ｙ，ｎ）も受信する。更新多重回路ＵＰ−ＭＵＸは、予測メモリＰＭからのベクトルＤ（ｘ，ｕ＋２Ｙ，ｎ−１）も受信する最良整合ベクトル選択器ＳＥＬに３候補ベクトルを供給する。最良整合ベクトル選択器ＳＥＬは、さらに、第２フィールド・メモリＦＭ２の入力および出力を受信して、現下のフィールドにおけるブロックと先行フィールドにおいて対応する画素群との間に最良ベクトルＤ（ｘ，ｎ）を決定する。最良ベクトルＤ（ｘ，ｎ）は、ブロックＸにおける各画素ｘ毎に動きベクトルＤ（ｘ，ｎ）を得るために、予測メモリＰＭおよびブロックエロージョン（block erosion）回路ＢＥに供給される。予測メモリＰＭからは、パラメトリック候補発生器ＰＧに供給される４動きパラメータを得るために、図２に示した標本ベクトルがパラメータ計算器ＰＣに供給される。
【００４７】
Ｖ．ＭＰＥＧ動きベクトルの適用性の拡大
ドイツ特許出願ＤＥ−Ａ−１９５．１０．３８９号公報（文献２１）には、符号化ビデオ信号を受信するための方法および回路装置が開示してある。この方法は、冗長性を圧縮した、例えば、ＭＰＥＧ標準に従って符号化した一連の映像を含んだビデオ信号に関係している。動き復号がまず行なわれる。つぎに、本質的に補間を含む動き復号フィールドの後処理が、フリッカを除去する処理とともに行なわれる。好都合にも、動き復号で回復された動きベクトルは、フリッカ除去に用いられる。
【００４８】
上述したように、動き推定は、最良化の問題と見做すことができ、時に複雑であるが通常は簡単な基準関数は、出力動きベクトルを見出すために最小化もしくは最大化されなければならない。基準関数の全体的最良点を確実に得るために、予め限定した範囲で、単に可能なベクトル全部を試みるだけの粗雑な方法がある。また、最もありそうな動きベクトルのみを試みる効率のよい接近法がある。そのありそうな見込みは、通常、空間的もしくは時間的な親近性で決まり、したがって、時間的および空間的な予測ベクトルは、効率のよい動き推定のアルゴリズムではよく知られている。使用した動き推定のアルゴリズムによって結果の動きベクトル推定領域が異なるので、種々の動き推定アルゴリズムの適用領域が異なって来る。動きベクトルは、動き補償走査変換、動き補償ノイズ低減および映像符号化のような高品質ビデオ信号処理に用いることができる。所期の処理は、動きベクトルの種々の品質面を束縛する。例えば、高品質動き補償走査変換は、ベクトル群が映像系列内の真の動きベクトル（すなわち、真の方向および速度）を表す動きベクトル領域を必要とする。符号化用途については、唯一の品質基準が低い平均予測誤差であるから、このことは見当違いである。
【００４９】
全探索ブロック整合のような粗雑な方法は真の動きベクトルを提供しそうもない。その替わりに、全探索ブロック整合は、ブロック相互間の誤差を最小にするので、そのベクトルは、当該２ブロック間に最小誤差を有する２ブロックを接続するが、これは、符号化用途における予測誤差を最小にするのに適している。かかる最小誤差がＭＰＥＧのような圧縮アルゴリズムに対して効率よく作用する一方、結果のベクトル群は高品質走査変換における使用には不適切である。他方、３−Ｄ回帰ブロック整合のような、より効率のよい動き推定器は、高品質走査変換に用い得るが、圧縮アルゴリズムに用いるには適していない真の動きベクトルを与えがちである。
【００５０】
ＭＰＥＧおよびその他の種類のビデオ圧縮の出現により、動きベクトルをすでに含んでいる入力ビデオ素材を有することが可能であるので、一見したところでは、受信機側でのこの種の源素材動き推定は必要でないように見える。しかしながら、ＭＰＥＧ動きベクトルが真の動きを表すか否かは未知であるので、この種の動きベクトルが、例えば走査レート変換に直接に使用し得るか否かは確かではない。復号器乃至受信機の側では、如何なる種類の動き推定アルゴリズムが符号化器乃至送信機の側で用いられたかは不明であるので、最悪の場合にはＭＰＥＧ動きベクトルが、高効率の圧縮に対して最良とされ、しかも、真の動きベクトルを表してはいないものと見做さなければならない。例えば、細部の少ない画像領域における周期構造とノイズとは、かかる矛盾したベクトル群を起こし易い。ＭＰＥＧデータ流における動きベクトルに伴う他の問題は、あらゆる動きベクトルがデータ流内で伝送されるか否かが確かではないことである。かかる理由で、〔文献２１〕により提案された技術は、高品質後処理には適していないように見える。
【００５１】
同様の問題を解く試みでは、ディジタル的に符号化したテレビジョン信号とともに伝送するベクトル群を、フィールド・レート上昇変換動作用にかかるベクトル群を使用する前に平滑化することが提案されている〔文献２２〕。高品質後処理に適した動きベクトル群を提供するのが、本発明の他の面の目的である。本発明のかかる他の面は、上述した諸問題はＭＰＥＧ動きベクトルを高品質走査変換における使用から完全には排除しない、という認識に基づいている。適切な後処理が適用された場合には、ＭＰＥＧ動きベクトルを有用にすることができる。特に、受信機がＭＰＥＧ動きベクトルの品質を決定し得る場合、および、ＭＰＥＧ動きベクトルの品質の改善が可能であるので、ＭＰＥＧ動きベクトルが所期の処理に対するある基準に合致している場合には、ＭＰＥＧ動きベクトルを用いることができる。ＭＰＥＧ動きベクトルの適用性を拡大するための幾つかの可能な後処理方法が、つぎのように考えられる。
【００５２】
１．ＭＰＥＧ動きベクトルの実用性を増大させるために、ある種のベクトル平滑化作用のような作用によってＭＰＥＧ動きベクトルを処理する。
２．１９９６年５月２４日出願の未公開欧州優先権特許出願ＥＰ９６２０１４６２．７号に開示された付加的パラメトリック・ベクトル候補の使用と同様の、例えば、三次元回帰ブロック整合アルゴリズムにおける空間的乃至時間的候補に沿い、ＭＰＥＧ動きベクトルを付加的候補として使用する。
３．未公開欧州特許出願ＥＰ９６２０１４６２．７号に記載のパラメトリック・ベクトル候補を計算するのにＭＰＥＧ動きベクトルを使用し得る。
種々の実施例の模式的記述のために、図７を参照する。
【００５３】
図７は、基本区域Ｂと、映像表示装置の明瞭な４実施例Ｂ＋Ｅ１，Ｂ＋Ｅ２，Ｂ＋Ｅ３およびＢ＋Ｅ３＋Ｅ４を得るために基本区域Ｂを拡大する四つの明瞭な方法を示す４区域Ｅ１，…，Ｅ４とを示したものである。
【００５４】
基本区域Ｂにおいては、ビデオ信号Ｖおよび動きベクトルＭＶを備えたＭＰＥＧ信号が、動きベクトルＭＶによってビデオ信号ＶをＭＰＥＧ入力信号から回収するために、復号器ＤＥＣに供給される。ビデオ信号Ｖは、倍増フィールド周波数乃至ライン周波数を有する出力ビデオ信号ＯＶＳもしくはビデオ信号Ｖに関して改良された動き描写を得るために、ビデオ後処理器ＶＰＰに供給される。その替わりもしくはそれに加えて、ビデオ後処理器ＶＰＰは、ビデオ信号Ｖのノイズを低減させ、乃至、ライン当たりの画素数乃至フィールド当たりのライン数を変化させる。処理器ＶＰＰによって行なわれるビデオ後処理は、改良された動きベクトルＭＶ’に依存している。出力ビデオ信号ＰＶＳは、表示器Ｄに表示される。
【００５５】
第１実施例Ｂ＋Ｅ１によれば、改良された動きベクトルＭＶ’が、後処理器ＰＰにより、ＭＰＥＧ信号に含まれている動きベクトルＭＶから得られる。例えば、平滑化動作は、ＭＰＥＧ動きベクトルＭＶが、プロセッサＶＰＰによって行なわれるビデオ後処理に直接用いられたとした場合に生ずるであろうアーティファクトの多くを減少させるであろう。平滑化動作には、動きベクトルの水平および垂直の成分に対する低減濾波作用を含めることができる。その替わりに、動きベクトルの水平および垂直の各成分は、極端な動きベクトル成分値を画像要素の近隣ブロック群の動きベクトルの実在する動きベクトル成分値と置換するために、中間フィルタ群に供給することができる。
【００５６】
保留中の特許出願に包括されている第２実施例Ｂ＋Ｅ２によれば、ＭＰＥＧ動きベクトルＭＶは、随意に後処理器ＰＰによって行なわれる後処理動作（例えば平滑化）の後に候補ベクトル発生器ＣＶＧによって発生した候補ベクトルと多重器ＭＵＸによって多重される。その多重されたベクトルは、最小誤差を呈すると期待される、改良された動きベクトルＭＶ’を得るために、候補ベクトル選択器ＣＶＳに供給される。
【００５７】
本願の請求の範囲に抱含される第３実施例Ｂ＋Ｅ３では、パラメータ抽出器ＰＥが、ＭＰＥＧ動きベクトル群ＭＶから動きパラメータｐ１，…，ｐｎを抽出する。その動きパラメータｐ１，…，ｐｎは、改良された動きベクトルＭＶ’を得るために、ベクトル・フィールド計算器ＶＦＣに供給される。請求の範囲１に記載される予め決定された動きベクトルは、零ベクトルとすることができる。
【００５８】
本願の特許請求の範囲に抱含される第４実施例Ｂ＋Ｅ３＋Ｅ４は、区域Ｅ３でベクトル・フィールド計算器により計算された動きベクトルが、候補ベクトル発生器ＣＶＧからの候補動きベクトル群と多重されて、改良された動きベクトルＭＶ’を得るために、候補ベクトル選択器ＣＶＳに供給される。この第４実施例は、第２と第３との実施例を結合させたものである。
【００５９】
本発明の現下の面を支える基本的考察は、つぎのように要約することができる。種々異なる動き推定アルゴリズムは、それぞれの結果のベクトル領域に基づき種々異なる用途をもっている。ＭＰＥＧビデオ・データ流には、おそらく高品質ビデオ処理に用い得る動きベクトル群が含まれる。しかしながら、かかるＭＰＥＧ動きベクトルは、有効な圧縮を達成するのに最適化されそうであるから、真の動きを表すことは期待し得ない。これは、高品質後処理に対するその品質および実用性の改善に付加的処理を要することを意味する。ＭＰＥＧ動きベクトルを受信機の側で処理することが提案されている。特に、有効な動き推定器で付加的候補ベクトルとして用いられる若干のパラメトリック動きベクトルを得るのに用いられる動きパラメータを発生させるのにＭＰＥＧベクトルが用いられる。かかる態様では、ＭＰＥＧ動きベクトルの適用性が拡大される。明らかに、本発明の現下の面はＭＰＥＧ信号に限定されるものではなく、他の信号も同様の態様で取り扱い得る。本願で開示されているが請求されていない特徴に対しては、保留中の特許出願を参照することとする。
【００６０】
VI．結論および最終意見
新しい動き推定器が呈示されている。この推定器は、現下の映像に対する動きベクトルを四つの候補ベクトルのみから選択し、かかる候補ベクトルの一つが先行映像における全体的な（カメラの）動きを描写したパラメトリック・モデルによって作り出されることを特徴としている。
【００６１】
本願では、この「パラメトリック候補」を極めて有効な（三次元回帰探索）ブロック整合アルゴリズムに導入している。この目的で、本願では、この推定器の候補ベクトルの一つを４パラメータ・モデルで発生した候補ベクトルによってブロック交互に置換している。このモデルに対するパラメータは、広く分散した９標本ベクトルのみを用い、先に推定したベクトル・フィールドから取って、フィールド毎に一度ずつ抽出される。その結果、究極のアルゴリズムに対する付加的な処理能力の要求は無視し得るものとなる。本願では、このように抽出した９動きベクトルにより、カメラの動きを描写する４パラメータの１８組を発生させ得ることを示す。印加したパラメータの組を選択する中間動作を導入して対象物の動きによる挾雑物を排除する。そのうえに、本願では、水平および垂直の標本化密度を知っていることを用いて、モデルの信頼性を判断することができた。この情報は、推定器の特性の劣化に通ずるおそれがある場合に、推定器における「パラメトリック候補」のブロック交互の注入を切り離す手段を提供した。
【００６２】
推定部分ＩＶにおいては、自乗平均誤差の５０％低減という重大な利点が、順次走査のための動きベクトルを供給する重要素材に見出された。ベクトル・フィールドの写真は、結果のブロック整合器から得た変位ベクトルのわずかな部分も一連の画面における真の動きに密接に対応していることを示唆する主観的推定を可能にした。最後に、信頼度指示器の性能は、実験では適切に動作したにも拘らず、決定的過ぎることはないことが判った。
【００６３】
パラメトリック動きモデルからの候補ベクトルを用いた効率のよい真の動き推定器を提供する本発明の好適な実施例は、つぎのように要約することができる。限られた個数の正しいらしい候補ベクトルもしくは予測ベクトルから出力動きベクトルを選択する有効な動き推定アルゴリズムが知られている。この周知の空間的および時間的な予測ベクトルに加えて、付加的で独立した予測が提案されている。この候補ベクトルは、先に推定した動きの場における全体的動きを描写するパラメトリック・モデルによって発生する。この提案は、三次元回帰探索ブロック整合アルゴリズムに対する付加物として仕上げられる。その推定は、副画素精度の真の動き推定器の結果が極めて低い動作回数計数値となることを示している。
【００６４】
上述した実施例は本発明を限定するものではなく、当業者は、付記した請求の範囲を逸脱することなく、幾多の代替実施例を設計し得ることに留意すべきである。請求の範囲においては、挿入語句間に置かれた如何なる参照記号も、請求の範囲を限定するように解釈されるものではない。本発明は若干の別個の要素に備えたハードウェアおよび適切にプログラムしたコンピュータによって実施し得るものである。
【００６５】
本願の開示においては、現下のフィールドｎについて付加的ベクトルを決定するのに用いる動きパラメータを得るために、先行フィールドｎ−１について得られた動きベクトルに基づいて決定したパラメータを用いることが記載されている。しかしながら、２４Ｈｚ映画フイルムから起こった５０Ｈｚ入力信号から１００Ｈｚ出力信号への変換においては、所定フィールドについて第１推定段階中に決定された動きベクトルを、同じフィールドについて第２推定段階で用いるためのパラメータ群を得るのに用いることができる。したがって、フィールドｎ−１がフィールドｎと同じフィールドとなることがあり得る。
【００６６】
本発明の好適な適用が回帰性動き推定器で行なわれる一方、付加的な動きパラメータ依存ベクトルも、周知の三段階ブロック整合アルゴリズムのような他の動き推定器で適用することができる。したがって、請求の範囲において表現を予定された動きベクトルには、動きベクトルが動きパラメータ群から取り出されるようにしたアルゴリズム以外の任意のアルゴリズムに従って得られた候補動きベクトルが含まれることになる。
【００６７】
本発明による他の実施例においては所定フィールド（ｎ−１）に対する動きベクトル全部が適用され、ヒストグラムのピークが動きパラメータを形成する二次元ヒストグラム・アルゴリズムに従って動きパラメータ群が得られる。そのピークは、映像内に極めて頻繁に現れ、おそらく全体的動きを描写する動きベクトルを指示する。このピークが指示した動きベクトル乃至ピークの集まりの重心点は、付加的パラメトリック動きベクトルとして用いることができる。必要とする付加的動きベクトルより多くのピークが存在する場合には、そのピークにより指示された動きベクトルは、付加的動きベクトルとして周期的に使用することができる。
【００６８】
本発明による動きベクトル推定は、走査様式の変換、例えば、５０Ｈｚフィールド周波数信号の１００Ｈｚフィールド周波数信号への変換、６０Ｈｚフィールド周波数信号の５０Ｈｚフィールド周波数信号への変換、もしくは、インターレース信号の順次走査信号への変換に適用するのが好適である。
【００６９】
VII．参考文献
〔１〕エル．ブロンドおよびピー．サルモン，欧州特許出願ＥＰ−Ｂ０．４１０，８２６号
〔２〕ビー、シュポー、「多分解能動き推定」第４回ＨＤＴＶ他国際研究集会会報、トリノ、１９９１年
〔３〕マンフレッド ジョーツ「ＨＤＴＶ信号の動き補償補間用動きベクトル・フィールドの発生」、ＨＤＴＶ信号処理、エル．シャリン グリオン，エルスビア科学出版社，１９８８年
〔４〕ジー．デ ハーン、ピー．ダブリュ．エー．シー．ビーゼン、エッチ ヒュージェン、オー．エー．オジョ「三次元回帰探索ブロック整合」アイ イーイーイー会報ビデオ技術用回路方式編、第３巻、１９９３年１０月、３６８〜３８８ページ
〔５〕ジー．デ ハーン、ピー．ダブリュ．エー．シー．ビーゼン、オー．エー．オジョ「動き補償１００Ｈｚテレビジョン用進化構造」アイ イーイーイー会報ビデオ技術用回路方式編、第５巻、１９９５年６月、２０７〜２１７ページ
〔６〕ジー．デ ハーン、ピー．ダブリュ．エー．シー．ビーゼン「三次元回帰探索ブロック整合」信号処理、映像通信６．１９９４年、２２９〜２３９ページ
〔７〕ジー．デ ハーン、ジェー．ケッテニス、ビー．デ ルーア「平滑動き映画風動き補償１００ＨｚＴＶ用ＩＣ」アイシーシーイーダイジェスト、１９９５年６月、シカゴ
〔８〕ジー．デ ハーン、ジェー．ケッテニス、ビー．デ ルーア「平滑動き映画風動き補償１００ＨｚＴＶ用ＩＣ」アイイーイーイー会報、消費者電子編、１９９６年出版予定
〔９〕ジェー．アール．ジェイン、エー．ケー．ジェイン「フレーム間映像符号化における変位測定およびその応用」アイイーイーイー会報．通信編、ＣＯＭ−２９巻、１２号、１９８１年
〔10〕ティ．古賀、ケー．飯沼、エー．平野、ワイ．飯島、ティ．石黒「ビデオ会議用動き補償フレーム符号化」アイイーイーイー会報 ＮＴＣ８１．Ｇ５．３．１．，ニューオールリンス エル エー、１９８１年
〔11〕エッチ．ジー．ムスマン、ピー．ピラフ、エッチ．ジェー．グララート「画像符号化の進歩」アイイーイーイー会報、７３巻、４号、１９８５年４月、５２３〜５４８ページ
〔12〕ワイ 二宮、ワイ 大塚「テレビジョン画像用動き補償フレーム間符号化」アイイーイーイー会報 通信編、ＣＯＭ３０巻、１号、１９８２年
〔13〕アール．スリニバサン、ケー．アール．ラオ「有効動き推定に基づく予測符号化」アイイーイーイー会報 通信編、８号、１９８５年、８８８〜８９６ページ
〔14〕アール．トーマ、エム．ビールリング「背景被覆の有無を考慮した動き補償補間」信号処理：映像伝送１（１９８９）、１９１〜２１２ページ、エルセビーア科学出版社
〔15〕ジー．エー．トーマス「ＤＡＴＶ他用途のテレビジョン動き測定」ビービーシー研究報告、ビービーシー アールディ、１９８７年１１月
〔16〕ジー．エー．トーマス「ＴＶ画像動き測定」欧州特許出願ＥＰ−Ａ ０，２６１，１３７
〔17〕ジー．エー．トーマス「適応性副標本化によるＨＤＴＶ帯域幅低減および動き補償ＤＡＴＶ 技術」エス．エム．ピー．ティー．イー．誌、１９８７年５月、４６０〜４６５ページ
〔18〕アール．ワイ．ツァイ．テイ．エス．ファン「固定平坦ピッチの三次元動きパラメータの推定」アイ．イー．イー．イー会報 エー．エス．エス．ピー．編、２９巻、１９８１年１２月、１１４７〜１１５２ページ
〔19〕ピー．エッチ．エヌ．デ ウイズ「ＨＤＴＶ信号圧縮用単純回帰動き推定技術」アイ．イー．イー映像処理およびその応用会議、マアストリヒト、１９９２年４月
〔20〕エフ．エム．ウァン、ディ アナスタシア、エー．エヌ．ネトラバリ「ＩＤＴＶ用時間回帰性順次走査およびピラミッド符号化」映像伝送２、１９９０年、３６５〜３７４ページ
〔21〕エム．エス．イー．イー．卒業報告「ディジタル・テレビジョン信号の動き補償補間」エル．ジェー．ステーンベーク、デルフト工業大学、１９８６年１２月、６０〜６８ページ
【図面の簡単な説明】
【００７０】
【図１】図１は、ズーミングにより直線的に変化する動き速度を示す。
【図２】図２は、動きベクトル推定器の時間的予測メモリから取った９ベクトル群を示す。
【図３】図３は、動きベクトル推定を新たなパラメトリック・ベクトル候補の有無に整合させる三次元回帰探索ブロックに対する自乗平均誤差（ＭＳＥ）を示す。
【図４】図４は、パラメトリック候補の有（図４の下半分）無（図４の上半分）によるベクトルＸ成分を示す。
【図５】図５は、パラメトリック候補の有（図５の下半分）無（図５の上半分）によるベクトルＹ成分を示す。
【図６】図６は、本発明による動きベクトル推定装置を備えた表示装置の実施例を示す。
【図７】図７は、本発明による動きベクトル供給装置を有する映像表示装置の種々の模式形態実施例を示す。

Claims (11)

1. 予測記憶手段、パラメータ計算手段、パラメトリック候補発生手段及びベクトル選択手段を具える動きベクトル推定装置によって実行される動きベクトル推定の方法であって、
   少なくとも一つの予め決定された動きベクトルを前記予測記憶手段から発生し、
   前記パラメータ計算手段において、ビデオ信号の第１フィールドに対して動きパラメータを決定し、
   前記パラメトリック候補発生手段において、少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルを前記動きパラメータから取得し、
   前記ベクトル選択手段において、前記少なくとも一つの予め決定された動きベクトル及び前記少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルに基づいて前記ビデオ信号の前記第１フィールド又はそれに続くフィールドに対する動きベクトルを決定する動きベクトル推定の方法。
2. 前記動きベクトル推定装置が、多重手段を更に具え、
   前記多重手段において、前記少なくとも一つの予め決定された動きベクトルが、少なくとも複数の時空間的近隣ブロックから選択した画素ブロックに対応する少なくとも一つの第１の予め決定した動きベクトル、および、前記予め決定した動きベクトルもしくは他の予め決定した動きベクトルに更新ベクトルを加算することによって得た第２の動きベクトルを含んでいる請求項１記載の方法。
3. 前記ベクトル選択手段において、前記動きベクトルが、前記少なくとも一つの予め決定された動きベクトルおよび前記少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルからの選択に基づく請求項１記載の方法。
4. ビデオ信号の前記第１フィールドに対する前記動きパラメータが当該第１フィールドに対して決定した動きベクトルから決定された請求項１記載の方法。
5. 前記パラメータ計算手段において、前記動きパラメータが、各動きパラメータに対して、選択された動きベクトルから複数のパラメータ候補を決定すること、および、対応した動きパラメータを得るために前記複数のパラメータ候補の中点を取ることによって計算された請求項４記載の方法。
6. 前記パラメータ計算手段において、
   前記動きパラメータが、
   所定フィールドにおいて選択された複数の動きベクトルから複数の水平および垂直の差ベクトル成分を計算し、
   選択された水平および垂直のベクトル成分を得るために最小の差ベクトル成分に対応する水平および垂直のベクトル成分を選択し、並びに、
   前記選択された水平および垂直のベクトル成分に従って前記動きパラメータを計算する
   各過程によって計算された請求項４記載の方法。
7. 前記パラメータ計算手段において、前記動きパラメータが、各動きパラメータに対して選択された動きベクトルから複数のパラメータ候補を決定すること、および、対応する動きベクトルを得るために当該パラメータが前記ビデオ信号の縦横比に対応するまで前記複数のパラメータ候補を周期的に適用することによって計算された請求項４記載の方法。
8. 前記第１フィールドに対して決定した前記動きベクトルに対する二次元ヒストグラム処理によって得られる請求項４記載の方法。
9. 前記動きパラメータが前記ビデオ信号とともに受信した動きベクトルから決定された請求項１記載の方法。
10. 少なくとも一つの予め決定された動きベクトルを発生する手段と、
    ビデオ信号の第１フィールドに対して動きパラメータを決定するための手段と、
    少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルを前記動きパラメータから取得する手段と、
    前記少なくとも一つの予め決定された動きベクトルおよび前記少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルに基づいて前記ビデオ信号の前記第１フィールド又はそれに続くフィールドに対する動きベクトルを決定するための手段とを備えた動きベクトル推定装置。
11. 第１走査様式でビデオ信号を受信するための入力端、
    前記第１走査様式とは異なる第２の走査様式で出力ビデオ信号を提供するために前記入力端に係合した動き補償補間装置、および、
    前記第２の走査様式で前記ビデオ信号を表示するための表示器を備えたビデオ表示装置において、
    前記動き補償装置が請求項１０記載の動きベクトル推定装置を備えていることを特徴とするビデオ表示装置。

Images