JP4159606B2 - 動き推定 - Google Patents
動き推定 Download PDFInfo
- Publication number
- JP4159606B2 JP4159606B2 JP54191997A JP54191997A JP4159606B2 JP 4159606 B2 JP4159606 B2 JP 4159606B2 JP 54191997 A JP54191997 A JP 54191997A JP 54191997 A JP54191997 A JP 54191997A JP 4159606 B2 JP4159606 B2 JP 4159606B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- vector
- motion vector
- parameter
- parametric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
- G09G2340/0435—Change or adaptation of the frame rate of the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】
本発明は、動きベクトルを推定するための方法および装置並びにかかる装置を備えたビデオ表示装置に関するものである。
【背景技術】
【0002】
欧州特許出願EP−B0,410,826号公報〔文献1〕は基準映像と現下の映像との間の回帰的動き推定を行ない、各反復毎に、反復の都度増大する分解能による両映像の標本化、基準映像内の特徴的標本の検出、現下の反復に先立つ反復の過程で実現した全体的動き推定から取出した変位ベクトルで推定が始まる、基準映像内の特徴的標本毎の局部的動きベクトルの推定、および、最終反復の過程における局部的動きベクトル推定に基づいて標本のパラメータ群の値が計算される現下の映像の全体的動き推定の遂行が行なわれる固定回数の反復を実現する方法を開示している。
【発明の開示】
【発明が解決しようとする課題】
【0003】
全体的動きを推定するには、動きの標本を規定する8パラメータa1…a8の値を、座標X,Yを有する標本が、
X’=(a1・X+a2・Y+a3)/(a7・X+a8・Y+1)および
Y’=(a4・X+a5・Y+a6)/(a7・X+a8・Y+1)
なる座標X’,Y’に変位するようにして計算し、8パラメータa1…a8を、特徴的標本について上述した二つの関係からなる8未知数の等式系を解くことによって計算し、座標X’,Y’を、かかる標本のそれぞれについて推定した局部動きベクトルの関数および考慮中の標本の座標X,Yの関数として決定する。
【0004】
現下の映像の各特徴的標本について局部動きベクトルを推定するには、つぎの各過程、すなわち、考慮中の特徴的標本に集中した基準映像の標本群の第1ブロックの規定;
【0005】
考慮中の特徴的標本に対応する標本群に集中するが、進行中の反復に先立つ反復の過程で行なわれた動きの全体推定および予め決定された複数の付加的変位から取った付加的変位から計算した、考慮中の特徴的標本の初期変位のベクトル和からそれぞれなる、試験すべき複数のベクトルを超えてずれた、現下の映像の標本群の複数の第2ブロックの規定;および
【0006】
局部動きベクトルを得るための第2ブロックそれぞれと第1ブロックとの最良の整合をもたらす、試験すべきベクトルの選択を遂行する。
【0007】
したがって、従来技術では、最高の分解能に対応する最終動きベクトルを得るために、複数回の反復が同一映像間で行なわれるように見える。
【0008】
本発明の目的は、就中、余り複雑でない動きベクトル推定を提供することにある。
【課題を解決するための手段】
【0009】
この目的で、本発明の第1面は、請求項1に規定するような動きベクトル推定の方法を提供することである。本発明の第2面は、請求項10に規定するような動きベクトル推定装置を提供することである。本発明の第3面は、請求項11に規定するようなビデオ表示装置を提供することである。有利な実施例は、従属請求項に規定されている。
【発明の効果】
【0010】
本発明の第1面による動きベクトル推定の方法では、動きパラメータ群が、ビデオ信号の所定フィールド(n−1)に対して規定され、当該ビデオ信号のフィールド(n)に対する動きベクトル群は、少なくとも一つの予め決定された動きベクトルおよび当該動きパラメータ群から取出した少なくとも一つの付加的動きベクトルに従って決定される。
本発明のかかる面は、以下に述べる実施例を参照すれば明らかに説明されよう。
【発明を実施するための最良の形態】
【0011】
I.序論
動き推定器は、映像内の各位置に対して可能な種々の動きベクトルの一つを選択する基準関数を、複雑な場合もあるが通常は簡単に最小もしくは最大にする。これらの推定器は、徹底的な探索方法を適用し、すなわち、予定領域のあらゆる可能なベクトルを試みて、基準関数全体の最良値を得るか、あるいは、効率のよい接近の一つを用いて、限られた個数の候補ベクトルのみを試みる〔文献9,10,11,13〕。もっと進んだ効率のよい動き推定方法では、この限られた候補群には、最も可能性のある予測ベクトルが含まれる。その可能性は、さらに高い階層レベルの画像の解析に基づき〔文献2,14〕、周波数領域の解析により〔文献15,16,17〕、もしくは、候補群におけるベクトルの空間的乃至時間的な近親性に基づいている〔文献4,5,6,12,19〕。
【0012】
ビデオ映像の動きは、対象物の動きによるか、カメラの動きによって生ずる。
対象物の寸法によって空間領域における動きベクトルの相関が生じ、一方、対象物の慣性は、ベクトル領域の時間的相関を説明する。カメラの動きの部類にはカメラのパン、チルトおよび移動とレンズによるズーミングとが含まれる。この種の動きは、通例、空間および時間の両領域における極めて平滑な速度を起す。カメラ・レンズによるズームは、Vvが直線的に変化する垂直速度を示し、Vhが直線的に変化する水平速度を示す、図1に示したように、空間位置とともに直線的に変化する動きベクトルを生ずる。他方、カメラのパン、チルトもしくは移動は、テレビジョン画面全体の均一な動きベクトルを起す。かかる種類の動きは、以前に〔文献3〕で示唆したように、三つのパラメータ・モデルで説明することができる。粗い動きベクトル領域からかかるモデルのパラメータ群を抽出する方法は、文献〔1〕に示唆されている。回転のようなもっと複雑な全体的動きさえ、8個までのパラメータを必要とするパラメータ・モデルで説明することができる〔文献18〕。その説明では、当該領域の簡単なパラメトリックな説明により画像の各部位毎に付加的予測ベクトルを発生させるために、先行映像における動きベクトル領域の粗い推定を用いることを提案している。この予測は、さらに時間および空間の予測ベクトルとその更新値とを含んだ、進んだ効率のよいブロック整合器の候補群に含まれる〔文献4、6〕。パラメトリック・モデルは、映像の境界部においてさえ、要すれば副画素の精度でベクトルの計算を可能にするので、カメラの動きの場合、特に、時空間の予測器が失敗することのある、映像の境界近傍の細部のコントラストが小さい乃至は低い領域がある場合に、かなりの改善をもたらす。
【0013】
本明細書の第II部では、本願の記号法を紹介するとともに、本願の改善を有効にする基礎として用いた〔文献6〕の動き推定のアルゴリズムを要約する。また、第III部では、パラメトリック・モデルと、予め計算した動きベクトル領域からの付加的候補の抽出とを紹介する。第IV部では、(インタレースを解いた)局限用途における改善の推定を行ない、第V部では、MPEG動きベクトルの適用性を本発明の原理を用いて如何に拡大し得るかを説明し、第VI部では、本願の結論を要約する。
【0014】
II.三次元回帰探索ブロック整合器
本願人は、最も興味のある進んだ動き推定器の完成を考慮しているので、〔文献6〕の高品質推定方法を適用する。このアルゴリズムは、走査レート変換に好適な、1/4画素精度と真の動きベクトル領域への接近とをもたらす〔文献4,5〕。そのうえに、このアルゴリズムの効率は、目下唯一の単一チップの真の動き推定器となるものである〔文献7,8〕。
【0015】
ブロック整合した動き推定のアルゴリズムにおいては、中心Xに集中しているが、先行フィールドn−1における探索領域SA(X)内で同様なブロックを探索することにより、現下のフィールドnにおける画素群のブロックB(X)の中心Xに変位ベクトルが割当てられる。その同様なブロックは、中心Xに対し、変位ベクトルD(X,n)を超えてずれた中心を有している。このD(X,n)を見出すためには、ブロックの類似性を定量するのに誤差尺度e(C,X,n)を適用して、候補ベクトルの個数Cを推定する。
さらに公式的には、CSmaxを候補ベクトルの組Cと定義して、先行映像における探索領域SA(X)内の中心Xに対する可能な(通例整数の)変位全部をつぎの式(1)のように表わす。
【数1】
ここに、NおよびMはSA(X)を限定する定数である。そのうえに、現フィールドnにおける画素位置xよりなる大きさX掛けYのXに中心をおくブロックB(X)は、つぎの式(2)のように考えられる。
【数2】
ブロック整合過程から生じた変位ベクトルD(X,n)は、つぎの式(3)のように、誤差関数e(C,X,n)の最小値をもたらす候補ベクトルCである。
【数3】
最小の整合誤差を有するベクトルD(x,n)が、つぎの式(4)に示すように、ブロックB(X)における全画素位置xに割当てられる普通の場合には、
【数4】
中心画素のみの場合よりも、寧ろ、大幅な計算の縮小が達成される。暗黙のこととして、引続くブロックB(X)は重ならない。
【0016】
所定の候補ベクトルCに対する誤差値は、現下のブロックにおける画素群の輝度値および先行フィールドからずれたブロックの画素群輝度値をブロックB(X)全体に亘って集計した関数である。本願で用いる普通の選択は、つぎの式(5)で表わす絶対差の和(SAD)である。
【数5】
【0017】
その替わりに、自乗平均誤差(MSE)もしくは正規化相互相関関数(NCCF)を用いることもできる。
【0018】
可能な候補ベクトル全部を計算するよりも、寧ろ、〔文献6〕の三次元回帰探索ブロック整合器は、三次元近傍からの空間乃至時間の「予測ベクトル」および単一の現下の予測ベクトルを用いる。これは、暗黙裡に、空間乃至時間の不変性を仮定している。更新過程には、空間予測のいずれかに付加した更新値が含まれる。本願では、つぎの式(6)で定義される結果のベクトルDをブロック整合器が選択する、候補ベクトルCを含んだ候補群CS(X,n)を適用する。
ここに、候補ベクトルC 1 に対する二つの選択は、ブロック単位で交替し、また、更新ベクトルU(X,n)は、本願の場合、つぎの式(7)で限定された固定整数の更新ベクトル群USiから取られる。
【0019】
副画素精度を実現するためには、式(7)の更新群を端数更新値だけ拡大する。本願では更新群につぎの式(8)による端数ベクトルを加算することによって、1/4画素精度を実現している。
【数8】
【0020】
候補ベクトルの個数が少ないが故に、この推定方法は極めて有効である。そのうえに、固有の平滑性を強いられるので、この推定方法は、対象物の真の動きに密接に対応した、極めて首尾一貫したベクトル領域をもたらす。これは、特に、走査様式の変換に適したものとなる。
【0021】
III.カメラの動きとそのパラメトリック・モデル
カメラの動きには、カメラのパン、チルト、ライドおよびズームによる動きが含まれる。この種の動きは、対象物の動きに比して極めて平滑な速度、すなわち、動きベクトルを生ずる極めて規則正しい性格を有している。カメラによるズームは、図1に説明してあるように、空間位置とともに直線的に変化する動きベクトルを発生させる。他方、カメラによるパン、チルトもしくはライドは、テレビジョン・スクリーン全体に均一な動きベクトルを発生させる。
【0022】
III.1.3パラメータ・モデル
この種の動きは、以前に示唆した〔文献3〕とおりに、つぎの式(9)に示すような3パラメータ・モデルで説明することができる。
【数9】
ここに、p1,p2およびp3は、それぞれ、カメラのパン、チルトおよびズームを表わす。このモデルは、各ブロックが映像平面上で真四角である場合にのみ有効である。少なくともテレビジョンにおいては、各ブロックが画素格子上で四角である場合でさえ、固定した標本化周波数による種々異なる縦横比の故に、かかる仮定が無効となる場合が多い。
かかる場合には、4パラメータ・モデルが、つぎの式(10)に従って用いられる。
【数10】
ここに、p3とp4との間には、水平(H)と垂直(V)との標本化密度の比によって決まる固定比が生ずる。この比p3/p4がHとVとの標本化密度に対応しない場合には、抽出されたパラメータ群は、頼みにならないに違いない。したがって、この比を測定することにより、付加的な候補が動き推定器で用いられない方がよい状態を同定することが可能となる。
【0023】
この推定方法を6パラメータ・モデルにまで拡大すれば、回転を含めることがさらに可能となる。しかしながら、この種の動きはテレビジョン放送素材ではあまり起らないので、(請求の範囲から除外はしないが)この説明では、さらに考慮することはない。
【0024】
III.2.パラメータ候補による三次元回帰探索ブロック整合器の昇格
提案の実施は、第II部で規定した組CS(X,n)に、各ブロック毎に単一の候補ベクトルを付加することにより行なわれ、ここでは、ブロックB(X)に対するこの付加的候補C(X,n)を式(10)の4パラメータ・モデルに従って計算し、その結果としてつぎの式(11)を得る。
【数11】
候補ベクトルを動き推定器に付加するよりも、寧ろ、その付加的候補を他の候補ベクトルに(例えばブロック単位で)替えることが可能である。その場合には、推定器の処理計数は増大し難いが、利点は同等と見られた。その結果として、式(6)における候補ベクトルC4は、つぎの式(12)のように修正される。
【数12】
【0025】
この考えの利点は、モデルの信頼性に応じたパラメトリック・モデル候補の発生頻度を有していることである。本願の実施においては、これは、つぎの式(13)によるC4のさらなる修正に通ずる。
【数13】
【0026】
つぎの副区分においては、かかる信頼性の表示を可能にするパラメトリック・モデル抽出過程を説明する。
【0027】
III.3.映像データからのパラメータ群の抽出
動きモデル全体のパラメータ群を、推定した動きベクトル領域から抽出するには、幾多の選択がある。三次元回帰探索(3DRS)ブロック整合器内にモデルが集積されている本願の場合には、すでに利用可能の動きベクトル、すなわち、時間的予測メモリで利用可能のベクトルから出発するのに意義がある。処理計数値を低く保つためには、そのメモリで利用可能のベクトルの限定された組のみを用いるのがさらに魅力的である。
【0028】
予測メモリからのベクトルを用いる選択の結果として、パラメトリック・モデルとともに発生した候補の効力は、かかる手法の回帰性の故に時間の経過につれて増大する。映像の主要部分に対してパラメトリック・モデルが有効な場合には、付加的な候補が推定器の機関によってさらに頻繁に選択されて、次のフィールドで、時間的予測メモリ内のベクトル群から抽出したパラメータ群の質を改善する。これが、発生した付加的候補の精度を再び改善するので、さらに頻繁に選択され、モデルがさらに改良され、以下同様となる。
全体の動きを説明するモデルのパラメータ群を推定するために、本願では、つぎの式(14)に従い、時間ベクトル予測メモリから、幅WXおよび高さHYの画像における大きさ(W−2m)X掛け(H−2g)Yの中心窓内のブロック格子上の種々異なる位置Xから、9動きベクトルD(X,n−1)を含んだ標本組S(n)を取る。
【数14】
【0029】
ここに、mおよびqは、小さい値であって、映像内のブロックの個数によって決まる。図2は、標本組中のベクトルを取る映像内の位置を示したものである。
mおよびqを小さく選定すれば、一般に、ズーム・パラメータp3およびp4のより正確な推定がもたらされる。しかしながら、映像の境界に近過ぎるベクトルは、カメラの速い動きの場合には、信頼を置き得ない。特定の場合にはその方がよいと思われる他の選択が可能であることは明らかであるが、より小さい大きさの他の標本組によって系統的な改善が得られる明白な原因は判らない。より大きい標本組は、結果を改善し得るが、計算上の負担を増大させることになる。
【0030】
4パラメータ・モデルは、4等式、すなわち、二つの「独立した」標本ベクトルによって解くことができる。ここで、「独立した」とは、かかるベクトル群を、映像の同じ水平もしくは垂直の位置からは取らないことを意味する。S個の組からγ個の標本を選ぶための組合わせの個数は、つぎの式(15)に示すような初歩の統計から知られている。
【数15】
【0031】
本願の場合には、S=9およびY=2に達するが、これは、9から2には36とおりの組合わせと、18対の「非独立」標本、すなわち、同じ行もしくは列上の標本とが存在するから、このモデルを解くための36−18=18とおりの選択を意味する。3行と3列とが存在して、それぞれが、利用し得る3ベクトルから2ベクトルの3対が選ばれるのを可能にするので、2×3×3=18とおりの非独立対が存在することになる。
ともに標本組S(n)内にある独立標本ベクトルD(X i1 ,n−1)とD(X i2 ,n−1)とのith対からのパラメータ群の抽出は、つぎの各式に示すように率直である。
【0032】
さて、2独立標本ベクトルの各対については、4パラメータの組が利用可能であり、最良のパラメータの組が選択されるべきである。本願では、ここで、各パラメータに対する選択全体の中間値を終局のモデル・パラメータに割当てることを提案する。結局、i=1乃至i=18に対して、本願では個々のパラメータをつぎの式(20)のように格付けし、
【数20】
モデル・パラメータの最終値をつぎの式(21)に従って取出す。
【数21】
【0033】
最後に、p3とp4との比を計算して、モデルの信頼性を照合する。実験によれば、正常値からの25%のずれが許される。パラメータ群がこの試験を通過し、HおよびVの標本化密度に従って、その比をp3/p4=Rとした(区分III.1参照)場合には、異なった標本化密度に対して修正した(p3が(p3+R・p4)/2となり、p4が(p4+1/R・p3)/2となった)後に、p3およびp4をその平均値に置換することにより、モデルの精度をさらにわずかに改善することができる。このこじつけは、検討ずみのアルゴリズムによって行なわれた。
【0034】
式(20)と式(21)との中間のアルゴリズムより必要とする計算が少ないだけ有利な替わりの実施例では、二つの独立標本ベクトルの各対毎に4パラメータの組がつぎのようにして用いられる。モデルが信頼できるものとなるまで、すなわち、正しいp3/p4比が得られるまで、パラメータ群の18とおりの組が(各フィールド毎に一対ずつ)周期的に用いられる。正しいp3/p4比をもたらしたパラメータの組は、p3/p4比が最早正しくないと見られるまで維持される。その場合に、そのパラメータの組は、正しいp3/p4比が再び得られるまで、再度周期的に適用される。
【0035】
推定済みの動きベクトル領域から動きモデル全体のパラメータ群を抽出するには、幾多の選択肢がある。そのうえに、かかるパラメトリック動きモデルによって発生した付加的候補ベクトルを適用し得る動き推定には幾多のアルゴリズムが存在する。〔文献6〕の三次元回帰探索ブロック整合動き推定器における本発明の可能な他の実施を以下に説明しよう。
動きモデル全体のパラメータ群を推定するために、画像内の種々異なる位置に割当てた9ベクトルD〔0,…,8〕が、図2に示すように、時間的ベクトル予測メモリから取られる。パラメータ群を計算するために、かかるベクトル組から四つのベクトル値を選択する。パラメトリック・モデルに対して最も信頼し得る基礎(利用し得る9ベクトルから最良の4ベクトル)を選択するために、つぎの式(22)に従って第1の3平均x成分DAx〔q〕を計算する。
【数22】
かかる平均のそれぞれに対し、つぎの式(23)を用いて品質尺度Diffx〔q〕を割当てる。
【数23】
【0036】
この品質尺度の背景は、ベクトル群が全体的動き(カメラのパンもしくはズーム)のみによる場合には、計算した差違が零であるべきである、ということである。ある差違が大きければ大きい程、対応するベクトルがパラメトリック・モデルの基礎としては貧弱である機会が大きくなる。ベクトルのy成分に対しても、式(24)および式(25)に示すように、同様の計算が必要である。
【数24】
および
【数25】
【0037】
最小の差違に属するベクトルのxもしくはyの成分値は、つぎの式(26)を用いて新たなパラメトリック副画素ベクトル候補を補間乃至補外するのに用いられる。
【数26】
【0038】
ベクトルのx_成分およびy_成分のそれぞれに対するパラメータp1およびp2と同様に、モデルの勾配p3も計算しなければならない。この勾配p3は、パンおよびズームの特性により、x_成分およびy_成分に対するのと同じになる。かかる勾配は別々に計算する。別々の勾配が著しく相違している場合には、パラメトリック・ベクトル候補は信頼し得ないものと見做され、この情報は、上述したようなパラメトリック候補の発生周波数を修正するのに用いることができる。小さい妨害を避けるために、両方の勾配を平均して、つぎの式(27)により最終勾配p3を得る。
【数27】
ここに、NxおよびN y は、勾配計算の基礎をなすベクトル群の各位置間のブロック格子について測定した水平および垂直の距離である。パラメータp1およびp2は、ベクトル領域のエッジで補間が始まることを確かめたうえで、つぎの式(28)に示すように補外によって見出すことができる。
【数28】
ここに、X〔5〕およびY〔5〕は、ブロック格子上の標本ベクトルD〔5〕の座標である。したがって、(ブロック当り一つの)パラメトリック・ベクトル候補は、つぎの式(29)のように計算することができ、
【数29】
任意の動き推定アルゴリズムの候補ベクトル組に付加することができる。
【0039】
上述した信頼性の基準は、カメラと動き推定器との間の処理における幾何学的歪みの場合に適応すべきであると気付くのは好ましい。かかる歪み(例えば、水平圧縮もしくは垂直伸長)は、ワイドスクリーン・テレビジョン用回路で起ることが多い。
【0040】
IV改善の推定
本願提案に期待される利点は、カメラの動きの場合に推定した動きベクトルの精度の増大であった。本来の三次元回帰探索ブロック整合アルゴリズムはすでに極めて的確になっているのであるから、改善を示すにはきわどい応用が必要である。順次配列が動き推定器からの高度の正確さを要する、すなわち、推定の副画素部分が順次配列の品質で重要な役割を演ずることは、早い段階ですでに判っていた〔文献6〕。したがって、本願では、パラメトリック候補ベクトルの利点を立証するために、ここで再び、ウオング他〔文献20〕の時間回帰順次走査アルゴリズムにおける三次元回帰探索(3−D RS)ブロック整合器を適用した。本願では、本質的に、動きベクトルの品質の指示を得るために〔文献6〕で用いたのと類似した動き補償自乗平均予測誤差を計算する。
【0041】
さらに正確には、図2に示すように(W−2m)X掛け(H−2q)Y画素群の大きさの測定窓について、現下の入力フィールド(F(x,n)と推定済み変位ベクトルD(x,n)に亘ってずれた予め計算済みの順次走査画像Fs(x,n−1)との間の輝度の自乗平均誤差(MSE)を、式(30)に示すように計算する。
【数30】
【0042】
ここに、xは、奇数の入力フィールドの奇数走査線の画素格子上の測定窓内の位置全部および偶数入力フィールドの場合の偶数走査線上の画素位置全部を通って変化する。
【0043】
図3では〔文献6〕の推定器におけるフィールド数(横軸)に対する自乗平均誤差(MSE)(縦軸)の値を、パラメトリック候補ベクトルの有(曲線b)と無(曲線a)とによって示したものである。両方のアルゴリズムとも最初のフィールドで収斂し、以降のフィールドではパラメトリック候補が特定の著しい改善をもたらすことが明らかに認められる。画像は、きわどい試験素材を提供するように選定する。供試系列画像は、垂直および水平の詳細を伴った大面積領域とカメラのズームによる多種類の(副画素)速度を伴った種々異なる方向の動きとを含んでいる。カメラの動きが存在しない場合には、付加的候補は特性を劣化させないことが判る。ズームもしくはパンした画像素材のMSE得点は、新たなパラメータ候補によるよりも12%低くなることが判った。
【0044】
図4および図5は、本願提案の結果を見えるようにしたものである。かかる図では、シミュレーションの結果を示し、パラメトリック・ベクトル候補の有り(図4,5の下半分)および無し(図4,5の上半分)による速度を示している。ベクトルのX成分は図4に示され、ベクトルのY成分は図5に示されている。図4の種々異なる灰色陰影1〜6と図5の1〜5とは、相互に異なる動きベクトル成分値を示している。その場合に、モデルの入力は、図1に示したように、水平および垂直の両方向で直線的に変化する速度を生ずるカメラのズームであった。図4,5の上下半分ずつの比較から、本発明の手段により、動き推定の精度が大いに改善されていることが判る。
【0045】
図6は、本発明による動きベクトル推定装置を備えた表示装置の実施例を示すものである。アンテナAで受信したテレビジョン信号は、当業者には周知の同調、復調およびビデオ信号処理の各動作のために処理回路Pに適用される。処理回路Pの出力は、2倍のフィールド周波数でビデオ信号を得るために第1フィールド・メモリFM1に供給される。第1フィールドメモリFM1の出力は、フィールド遅延ビデオ信号を得るために第2フィールド・メモリFM2に供給される。第2フィールド・メモリFM2の入力および出力は、動きベクトルD(x,n)を得るために、動きベクトル推定装置MEに供給される。動きベクトルD(x,n)と第2フィールド・メモリFM2の入力および出力とは、動き補償補間器Iに供給され、その出力は表示ユニットDPに供給される。
【0046】
動きベクトル推定器MEは、ブロック周波数クロック信号Nb1が供給されるモジュールpカウンタを含む更新発生器UGを備えている。そのカウンタCの出力は、上述したような更新ベクトルU(X,n)と、増大する更新ベクトル長とともに増大する更新に依存するペナルティを得るために、ルックアップテーブルLUTに供給する。更新ベクトルU(X,n)は更新多重回路UP−MUXに供給され、その更新多重回路は、零ベクトル0、パラメトリック候補発生器PGからのパラメトリック候補ベクトルPV(X)並びに予測メモリPMからの予め決定したベクトルD(x+X,y−Y,n)およびD(x−X,y−Y,n)も受信する。更新多重回路UP−MUXは、予測メモリPMからのベクトルD(x,u+2Y,n−1)も受信する最良整合ベクトル選択器SELに3候補ベクトルを供給する。最良整合ベクトル選択器SELは、さらに、第2フィールド・メモリFM2の入力および出力を受信して、現下のフィールドにおけるブロックと先行フィールドにおいて対応する画素群との間に最良ベクトルD(x,n)を決定する。最良ベクトルD(x,n)は、ブロックXにおける各画素x毎に動きベクトルD(x,n)を得るために、予測メモリPMおよびブロックエロージョン(block erosion)回路BEに供給される。予測メモリPMからは、パラメトリック候補発生器PGに供給される4動きパラメータを得るために、図2に示した標本ベクトルがパラメータ計算器PCに供給される。
【0047】
V.MPEG動きベクトルの適用性の拡大
ドイツ特許出願DE−A−195.10.389号公報(文献21)には、符号化ビデオ信号を受信するための方法および回路装置が開示してある。この方法は、冗長性を圧縮した、例えば、MPEG標準に従って符号化した一連の映像を含んだビデオ信号に関係している。動き復号がまず行なわれる。つぎに、本質的に補間を含む動き復号フィールドの後処理が、フリッカを除去する処理とともに行なわれる。好都合にも、動き復号で回復された動きベクトルは、フリッカ除去に用いられる。
【0048】
上述したように、動き推定は、最良化の問題と見做すことができ、時に複雑であるが通常は簡単な基準関数は、出力動きベクトルを見出すために最小化もしくは最大化されなければならない。基準関数の全体的最良点を確実に得るために、予め限定した範囲で、単に可能なベクトル全部を試みるだけの粗雑な方法がある。また、最もありそうな動きベクトルのみを試みる効率のよい接近法がある。そのありそうな見込みは、通常、空間的もしくは時間的な親近性で決まり、したがって、時間的および空間的な予測ベクトルは、効率のよい動き推定のアルゴリズムではよく知られている。使用した動き推定のアルゴリズムによって結果の動きベクトル推定領域が異なるので、種々の動き推定アルゴリズムの適用領域が異なって来る。動きベクトルは、動き補償走査変換、動き補償ノイズ低減および映像符号化のような高品質ビデオ信号処理に用いることができる。所期の処理は、動きベクトルの種々の品質面を束縛する。例えば、高品質動き補償走査変換は、ベクトル群が映像系列内の真の動きベクトル(すなわち、真の方向および速度)を表す動きベクトル領域を必要とする。符号化用途については、唯一の品質基準が低い平均予測誤差であるから、このことは見当違いである。
【0049】
全探索ブロック整合のような粗雑な方法は真の動きベクトルを提供しそうもない。その替わりに、全探索ブロック整合は、ブロック相互間の誤差を最小にするので、そのベクトルは、当該2ブロック間に最小誤差を有する2ブロックを接続するが、これは、符号化用途における予測誤差を最小にするのに適している。かかる最小誤差がMPEGのような圧縮アルゴリズムに対して効率よく作用する一方、結果のベクトル群は高品質走査変換における使用には不適切である。他方、3−D回帰ブロック整合のような、より効率のよい動き推定器は、高品質走査変換に用い得るが、圧縮アルゴリズムに用いるには適していない真の動きベクトルを与えがちである。
【0050】
MPEGおよびその他の種類のビデオ圧縮の出現により、動きベクトルをすでに含んでいる入力ビデオ素材を有することが可能であるので、一見したところでは、受信機側でのこの種の源素材動き推定は必要でないように見える。しかしながら、MPEG動きベクトルが真の動きを表すか否かは未知であるので、この種の動きベクトルが、例えば走査レート変換に直接に使用し得るか否かは確かではない。復号器乃至受信機の側では、如何なる種類の動き推定アルゴリズムが符号化器乃至送信機の側で用いられたかは不明であるので、最悪の場合にはMPEG動きベクトルが、高効率の圧縮に対して最良とされ、しかも、真の動きベクトルを表してはいないものと見做さなければならない。例えば、細部の少ない画像領域における周期構造とノイズとは、かかる矛盾したベクトル群を起こし易い。MPEGデータ流における動きベクトルに伴う他の問題は、あらゆる動きベクトルがデータ流内で伝送されるか否かが確かではないことである。かかる理由で、〔文献21〕により提案された技術は、高品質後処理には適していないように見える。
【0051】
同様の問題を解く試みでは、ディジタル的に符号化したテレビジョン信号とともに伝送するベクトル群を、フィールド・レート上昇変換動作用にかかるベクトル群を使用する前に平滑化することが提案されている〔文献22〕。高品質後処理に適した動きベクトル群を提供するのが、本発明の他の面の目的である。本発明のかかる他の面は、上述した諸問題はMPEG動きベクトルを高品質走査変換における使用から完全には排除しない、という認識に基づいている。適切な後処理が適用された場合には、MPEG動きベクトルを有用にすることができる。特に、受信機がMPEG動きベクトルの品質を決定し得る場合、および、MPEG動きベクトルの品質の改善が可能であるので、MPEG動きベクトルが所期の処理に対するある基準に合致している場合には、MPEG動きベクトルを用いることができる。MPEG動きベクトルの適用性を拡大するための幾つかの可能な後処理方法が、つぎのように考えられる。
【0052】
1.MPEG動きベクトルの実用性を増大させるために、ある種のベクトル平滑化作用のような作用によってMPEG動きベクトルを処理する。
2.1996年5月24日出願の未公開欧州優先権特許出願EP96201462.7号に開示された付加的パラメトリック・ベクトル候補の使用と同様の、例えば、三次元回帰ブロック整合アルゴリズムにおける空間的乃至時間的候補に沿い、MPEG動きベクトルを付加的候補として使用する。
3.未公開欧州特許出願EP96201462.7号に記載のパラメトリック・ベクトル候補を計算するのにMPEG動きベクトルを使用し得る。
種々の実施例の模式的記述のために、図7を参照する。
【0053】
図7は、基本区域Bと、映像表示装置の明瞭な4実施例B+E1,B+E2,B+E3およびB+E3+E4を得るために基本区域Bを拡大する四つの明瞭な方法を示す4区域E1,…,E4とを示したものである。
【0054】
基本区域Bにおいては、ビデオ信号Vおよび動きベクトルMVを備えたMPEG信号が、動きベクトルMVによってビデオ信号VをMPEG入力信号から回収するために、復号器DECに供給される。ビデオ信号Vは、倍増フィールド周波数乃至ライン周波数を有する出力ビデオ信号OVSもしくはビデオ信号Vに関して改良された動き描写を得るために、ビデオ後処理器VPPに供給される。その替わりもしくはそれに加えて、ビデオ後処理器VPPは、ビデオ信号Vのノイズを低減させ、乃至、ライン当たりの画素数乃至フィールド当たりのライン数を変化させる。処理器VPPによって行なわれるビデオ後処理は、改良された動きベクトルMV’に依存している。出力ビデオ信号PVSは、表示器Dに表示される。
【0055】
第1実施例B+E1によれば、改良された動きベクトルMV’が、後処理器PPにより、MPEG信号に含まれている動きベクトルMVから得られる。例えば、平滑化動作は、MPEG動きベクトルMVが、プロセッサVPPによって行なわれるビデオ後処理に直接用いられたとした場合に生ずるであろうアーティファクトの多くを減少させるであろう。平滑化動作には、動きベクトルの水平および垂直の成分に対する低減濾波作用を含めることができる。その替わりに、動きベクトルの水平および垂直の各成分は、極端な動きベクトル成分値を画像要素の近隣ブロック群の動きベクトルの実在する動きベクトル成分値と置換するために、中間フィルタ群に供給することができる。
【0056】
保留中の特許出願に包括されている第2実施例B+E2によれば、MPEG動きベクトルMVは、随意に後処理器PPによって行なわれる後処理動作(例えば平滑化)の後に候補ベクトル発生器CVGによって発生した候補ベクトルと多重器MUXによって多重される。その多重されたベクトルは、最小誤差を呈すると期待される、改良された動きベクトルMV’を得るために、候補ベクトル選択器CVSに供給される。
【0057】
本願の請求の範囲に抱含される第3実施例B+E3では、パラメータ抽出器PEが、MPEG動きベクトル群MVから動きパラメータp1,…,pnを抽出する。その動きパラメータp1,…,pnは、改良された動きベクトルMV’を得るために、ベクトル・フィールド計算器VFCに供給される。請求の範囲1に記載される予め決定された動きベクトルは、零ベクトルとすることができる。
【0058】
本願の特許請求の範囲に抱含される第4実施例B+E3+E4は、区域E3でベクトル・フィールド計算器により計算された動きベクトルが、候補ベクトル発生器CVGからの候補動きベクトル群と多重されて、改良された動きベクトルMV’を得るために、候補ベクトル選択器CVSに供給される。この第4実施例は、第2と第3との実施例を結合させたものである。
【0059】
本発明の現下の面を支える基本的考察は、つぎのように要約することができる。種々異なる動き推定アルゴリズムは、それぞれの結果のベクトル領域に基づき種々異なる用途をもっている。MPEGビデオ・データ流には、おそらく高品質ビデオ処理に用い得る動きベクトル群が含まれる。しかしながら、かかるMPEG動きベクトルは、有効な圧縮を達成するのに最適化されそうであるから、真の動きを表すことは期待し得ない。これは、高品質後処理に対するその品質および実用性の改善に付加的処理を要することを意味する。MPEG動きベクトルを受信機の側で処理することが提案されている。特に、有効な動き推定器で付加的候補ベクトルとして用いられる若干のパラメトリック動きベクトルを得るのに用いられる動きパラメータを発生させるのにMPEGベクトルが用いられる。かかる態様では、MPEG動きベクトルの適用性が拡大される。明らかに、本発明の現下の面はMPEG信号に限定されるものではなく、他の信号も同様の態様で取り扱い得る。本願で開示されているが請求されていない特徴に対しては、保留中の特許出願を参照することとする。
【0060】
VI.結論および最終意見
新しい動き推定器が呈示されている。この推定器は、現下の映像に対する動きベクトルを四つの候補ベクトルのみから選択し、かかる候補ベクトルの一つが先行映像における全体的な(カメラの)動きを描写したパラメトリック・モデルによって作り出されることを特徴としている。
【0061】
本願では、この「パラメトリック候補」を極めて有効な(三次元回帰探索)ブロック整合アルゴリズムに導入している。この目的で、本願では、この推定器の候補ベクトルの一つを4パラメータ・モデルで発生した候補ベクトルによってブロック交互に置換している。このモデルに対するパラメータは、広く分散した9標本ベクトルのみを用い、先に推定したベクトル・フィールドから取って、フィールド毎に一度ずつ抽出される。その結果、究極のアルゴリズムに対する付加的な処理能力の要求は無視し得るものとなる。本願では、このように抽出した9動きベクトルにより、カメラの動きを描写する4パラメータの18組を発生させ得ることを示す。印加したパラメータの組を選択する中間動作を導入して対象物の動きによる挾雑物を排除する。そのうえに、本願では、水平および垂直の標本化密度を知っていることを用いて、モデルの信頼性を判断することができた。この情報は、推定器の特性の劣化に通ずるおそれがある場合に、推定器における「パラメトリック候補」のブロック交互の注入を切り離す手段を提供した。
【0062】
推定部分IVにおいては、自乗平均誤差の50%低減という重大な利点が、順次走査のための動きベクトルを供給する重要素材に見出された。ベクトル・フィールドの写真は、結果のブロック整合器から得た変位ベクトルのわずかな部分も一連の画面における真の動きに密接に対応していることを示唆する主観的推定を可能にした。最後に、信頼度指示器の性能は、実験では適切に動作したにも拘らず、決定的過ぎることはないことが判った。
【0063】
パラメトリック動きモデルからの候補ベクトルを用いた効率のよい真の動き推定器を提供する本発明の好適な実施例は、つぎのように要約することができる。限られた個数の正しいらしい候補ベクトルもしくは予測ベクトルから出力動きベクトルを選択する有効な動き推定アルゴリズムが知られている。この周知の空間的および時間的な予測ベクトルに加えて、付加的で独立した予測が提案されている。この候補ベクトルは、先に推定した動きの場における全体的動きを描写するパラメトリック・モデルによって発生する。この提案は、三次元回帰探索ブロック整合アルゴリズムに対する付加物として仕上げられる。その推定は、副画素精度の真の動き推定器の結果が極めて低い動作回数計数値となることを示している。
【0064】
上述した実施例は本発明を限定するものではなく、当業者は、付記した請求の範囲を逸脱することなく、幾多の代替実施例を設計し得ることに留意すべきである。請求の範囲においては、挿入語句間に置かれた如何なる参照記号も、請求の範囲を限定するように解釈されるものではない。本発明は若干の別個の要素に備えたハードウェアおよび適切にプログラムしたコンピュータによって実施し得るものである。
【0065】
本願の開示においては、現下のフィールドnについて付加的ベクトルを決定するのに用いる動きパラメータを得るために、先行フィールドn−1について得られた動きベクトルに基づいて決定したパラメータを用いることが記載されている。しかしながら、24Hz映画フイルムから起こった50Hz入力信号から100Hz出力信号への変換においては、所定フィールドについて第1推定段階中に決定された動きベクトルを、同じフィールドについて第2推定段階で用いるためのパラメータ群を得るのに用いることができる。したがって、フィールドn−1がフィールドnと同じフィールドとなることがあり得る。
【0066】
本発明の好適な適用が回帰性動き推定器で行なわれる一方、付加的な動きパラメータ依存ベクトルも、周知の三段階ブロック整合アルゴリズムのような他の動き推定器で適用することができる。したがって、請求の範囲において表現を予定された動きベクトルには、動きベクトルが動きパラメータ群から取り出されるようにしたアルゴリズム以外の任意のアルゴリズムに従って得られた候補動きベクトルが含まれることになる。
【0067】
本発明による他の実施例においては所定フィールド(n−1)に対する動きベクトル全部が適用され、ヒストグラムのピークが動きパラメータを形成する二次元ヒストグラム・アルゴリズムに従って動きパラメータ群が得られる。そのピークは、映像内に極めて頻繁に現れ、おそらく全体的動きを描写する動きベクトルを指示する。このピークが指示した動きベクトル乃至ピークの集まりの重心点は、付加的パラメトリック動きベクトルとして用いることができる。必要とする付加的動きベクトルより多くのピークが存在する場合には、そのピークにより指示された動きベクトルは、付加的動きベクトルとして周期的に使用することができる。
【0068】
本発明による動きベクトル推定は、走査様式の変換、例えば、50Hzフィールド周波数信号の100Hzフィールド周波数信号への変換、60Hzフィールド周波数信号の50Hzフィールド周波数信号への変換、もしくは、インターレース信号の順次走査信号への変換に適用するのが好適である。
【0069】
VII.参考文献
〔1〕エル.ブロンドおよびピー.サルモン,欧州特許出願EP−B0.410,826号
〔2〕ビー、シュポー、「多分解能動き推定」第4回HDTV他国際研究集会会報、トリノ、1991年
〔3〕マンフレッド ジョーツ「HDTV信号の動き補償補間用動きベクトル・フィールドの発生」、HDTV信号処理、エル.シャリン グリオン,エルスビア科学出版社,1988年
〔4〕ジー.デ ハーン、ピー.ダブリュ.エー.シー.ビーゼン、エッチ ヒュージェン、オー.エー.オジョ「三次元回帰探索ブロック整合」アイ イーイーイー会報ビデオ技術用回路方式編、第3巻、1993年10月、368〜388ページ
〔5〕ジー.デ ハーン、ピー.ダブリュ.エー.シー.ビーゼン、オー.エー.オジョ「動き補償100Hzテレビジョン用進化構造」アイ イーイーイー会報ビデオ技術用回路方式編、第5巻、1995年6月、207〜217ページ
〔6〕ジー.デ ハーン、ピー.ダブリュ.エー.シー.ビーゼン「三次元回帰探索ブロック整合」信号処理、映像通信6.1994年、229〜239ページ
〔7〕ジー.デ ハーン、ジェー.ケッテニス、ビー.デ ルーア「平滑動き映画風動き補償100HzTV用IC」アイシーシーイーダイジェスト、1995年6月、シカゴ
〔8〕ジー.デ ハーン、ジェー.ケッテニス、ビー.デ ルーア「平滑動き映画風動き補償100HzTV用IC」アイイーイーイー会報、消費者電子編、1996年出版予定
〔9〕ジェー.アール.ジェイン、エー.ケー.ジェイン「フレーム間映像符号化における変位測定およびその応用」アイイーイーイー会報.通信編、COM−29巻、12号、1981年
〔10〕ティ.古賀、ケー.飯沼、エー.平野、ワイ.飯島、ティ.石黒「ビデオ会議用動き補償フレーム符号化」アイイーイーイー会報 NTC81.G5.3.1.,ニューオールリンス エル エー、1981年
〔11〕エッチ.ジー.ムスマン、ピー.ピラフ、エッチ.ジェー.グララート「画像符号化の進歩」アイイーイーイー会報、73巻、4号、1985年4月、523〜548ページ
〔12〕ワイ 二宮、ワイ 大塚「テレビジョン画像用動き補償フレーム間符号化」アイイーイーイー会報 通信編、COM30巻、1号、1982年
〔13〕アール.スリニバサン、ケー.アール.ラオ「有効動き推定に基づく予測符号化」アイイーイーイー会報 通信編、8号、1985年、888〜896ページ
〔14〕アール.トーマ、エム.ビールリング「背景被覆の有無を考慮した動き補償補間」信号処理:映像伝送1(1989)、191〜212ページ、エルセビーア科学出版社
〔15〕ジー.エー.トーマス「DATV他用途のテレビジョン動き測定」ビービーシー研究報告、ビービーシー アールディ、1987年11月
〔16〕ジー.エー.トーマス「TV画像動き測定」欧州特許出願EP−A 0,261,137
〔17〕ジー.エー.トーマス「適応性副標本化によるHDTV帯域幅低減および動き補償DATV 技術」エス.エム.ピー.ティー.イー.誌、1987年5月、460〜465ページ
〔18〕アール.ワイ.ツァイ.テイ.エス.ファン「固定平坦ピッチの三次元動きパラメータの推定」アイ.イー.イー.イー会報 エー.エス.エス.ピー.編、29巻、1981年12月、1147〜1152ページ
〔19〕ピー.エッチ.エヌ.デ ウイズ「HDTV信号圧縮用単純回帰動き推定技術」アイ.イー.イー映像処理およびその応用会議、マアストリヒト、1992年4月
〔20〕エフ.エム.ウァン、ディ アナスタシア、エー.エヌ.ネトラバリ「IDTV用時間回帰性順次走査およびピラミッド符号化」映像伝送2、1990年、365〜374ページ
〔21〕エム.エス.イー.イー.卒業報告「ディジタル・テレビジョン信号の動き補償補間」エル.ジェー.ステーンベーク、デルフト工業大学、1986年12月、60〜68ページ
【図面の簡単な説明】
【0070】
【図1】図1は、ズーミングにより直線的に変化する動き速度を示す。
【図2】図2は、動きベクトル推定器の時間的予測メモリから取った9ベクトル群を示す。
【図3】図3は、動きベクトル推定を新たなパラメトリック・ベクトル候補の有無に整合させる三次元回帰探索ブロックに対する自乗平均誤差(MSE)を示す。
【図4】図4は、パラメトリック候補の有(図4の下半分)無(図4の上半分)によるベクトルX成分を示す。
【図5】図5は、パラメトリック候補の有(図5の下半分)無(図5の上半分)によるベクトルY成分を示す。
【図6】図6は、本発明による動きベクトル推定装置を備えた表示装置の実施例を示す。
【図7】図7は、本発明による動きベクトル供給装置を有する映像表示装置の種々の模式形態実施例を示す。
Claims (11)
- 予測記憶手段、パラメータ計算手段、パラメトリック候補発生手段及びベクトル選択手段を具える動きベクトル推定装置によって実行される動きベクトル推定の方法であって、
少なくとも一つの予め決定された動きベクトルを前記予測記憶手段から発生し、
前記パラメータ計算手段において、ビデオ信号の第1フィールドに対して動きパラメータを決定し、
前記パラメトリック候補発生手段において、少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルを前記動きパラメータから取得し、
前記ベクトル選択手段において、前記少なくとも一つの予め決定された動きベクトル及び前記少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルに基づいて前記ビデオ信号の前記第1フィールド又はそれに続くフィールドに対する動きベクトルを決定する動きベクトル推定の方法。 - 前記動きベクトル推定装置が、多重手段を更に具え、
前記多重手段において、前記少なくとも一つの予め決定された動きベクトルが、少なくとも複数の時空間的近隣ブロックから選択した画素ブロックに対応する少なくとも一つの第1の予め決定した動きベクトル、および、前記予め決定した動きベクトルもしくは他の予め決定した動きベクトルに更新ベクトルを加算することによって得た第2の動きベクトルを含んでいる請求項1記載の方法。 - 前記ベクトル選択手段において、前記動きベクトルが、前記少なくとも一つの予め決定された動きベクトルおよび前記少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルからの選択に基づく請求項1記載の方法。
- ビデオ信号の前記第1フィールドに対する前記動きパラメータが当該第1フィールドに対して決定した動きベクトルから決定された請求項1記載の方法。
- 前記パラメータ計算手段において、前記動きパラメータが、各動きパラメータに対して、選択された動きベクトルから複数のパラメータ候補を決定すること、および、対応した動きパラメータを得るために前記複数のパラメータ候補の中点を取ることによって計算された請求項4記載の方法。
- 前記パラメータ計算手段において、
前記動きパラメータが、
所定フィールドにおいて選択された複数の動きベクトルから複数の水平および垂直の差ベクトル成分を計算し、
選択された水平および垂直のベクトル成分を得るために最小の差ベクトル成分に対応する水平および垂直のベクトル成分を選択し、並びに、
前記選択された水平および垂直のベクトル成分に従って前記動きパラメータを計算する
各過程によって計算された請求項4記載の方法。 - 前記パラメータ計算手段において、前記動きパラメータが、各動きパラメータに対して選択された動きベクトルから複数のパラメータ候補を決定すること、および、対応する動きベクトルを得るために当該パラメータが前記ビデオ信号の縦横比に対応するまで前記複数のパラメータ候補を周期的に適用することによって計算された請求項4記載の方法。
- 前記第1フィールドに対して決定した前記動きベクトルに対する二次元ヒストグラム処理によって得られる請求項4記載の方法。
- 前記動きパラメータが前記ビデオ信号とともに受信した動きベクトルから決定された請求項1記載の方法。
- 少なくとも一つの予め決定された動きベクトルを発生する手段と、
ビデオ信号の第1フィールドに対して動きパラメータを決定するための手段と、
少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルを前記動きパラメータから取得する手段と、
前記少なくとも一つの予め決定された動きベクトルおよび前記少なくとも一つのパラメトリック動きモデルに基づくパラメトリック候補ベクトルに基づいて前記ビデオ信号の前記第1フィールド又はそれに続くフィールドに対する動きベクトルを決定するための手段とを備えた動きベクトル推定装置。 - 第1走査様式でビデオ信号を受信するための入力端、
前記第1走査様式とは異なる第2の走査様式で出力ビデオ信号を提供するために前記入力端に係合した動き補償補間装置、および、
前記第2の走査様式で前記ビデオ信号を表示するための表示器を備えたビデオ表示装置において、
前記動き補償装置が請求項10記載の動きベクトル推定装置を備えていることを特徴とするビデオ表示装置。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP96201462.7 | 1996-05-24 | ||
EP96201462 | 1996-05-24 | ||
EP96203394 | 1996-12-06 | ||
EP96203394.0 | 1996-12-06 | ||
PCT/IB1997/000548 WO1997046022A2 (en) | 1996-05-24 | 1997-05-14 | Motion estimation |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11510937A JPH11510937A (ja) | 1999-09-21 |
JP4159606B2 true JP4159606B2 (ja) | 2008-10-01 |
Family
ID=26142831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP54191997A Expired - Lifetime JP4159606B2 (ja) | 1996-05-24 | 1997-05-14 | 動き推定 |
Country Status (6)
Country | Link |
---|---|
US (1) | US6278736B1 (ja) |
EP (1) | EP0840982B1 (ja) |
JP (1) | JP4159606B2 (ja) |
KR (1) | KR100482898B1 (ja) |
DE (1) | DE69710413T2 (ja) |
WO (1) | WO1997046022A2 (ja) |
Families Citing this family (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
US7206346B2 (en) | 1997-06-25 | 2007-04-17 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs |
JP3564961B2 (ja) | 1997-08-21 | 2004-09-15 | 株式会社日立製作所 | ディジタル放送受信装置 |
WO1999016251A1 (en) * | 1997-09-23 | 1999-04-01 | Koninklijke Philips Electronics N.V. | Motion estimation and motion-compensated interpolation |
EP0917363A1 (en) * | 1997-11-17 | 1999-05-19 | STMicroelectronics S.r.l. | Motion estimator algorithm and system's architecture |
GB2339101B (en) * | 1998-06-25 | 2002-09-18 | Sony Uk Ltd | Processing of compressed video signals using picture motion vectors |
JP2000165821A (ja) | 1998-11-30 | 2000-06-16 | Fujitsu Ltd | 画像フォーマット変換装置及び画像フォーマット変換方法 |
JP2003503971A (ja) * | 1999-07-06 | 2003-01-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオシーケンスの構造の自動抽出方法 |
EP1075147A1 (en) * | 1999-08-02 | 2001-02-07 | Koninklijke Philips Electronics N.V. | Motion estimation |
GB9920256D0 (en) * | 1999-08-26 | 1999-10-27 | Wave Limited M | Motion estimation and compensation in video compression |
EP1091576A1 (en) | 1999-09-30 | 2001-04-11 | Koninklijke Philips Electronics N.V. | Picture signal processing |
KR100635009B1 (ko) * | 1999-10-15 | 2006-10-16 | 삼성전자주식회사 | 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치 |
JP4854159B2 (ja) * | 1999-11-26 | 2012-01-18 | エルジー エレクトロニクス インコーポレイティド | 画像を処理するユニット及びその方法 |
JP2001251632A (ja) * | 1999-12-27 | 2001-09-14 | Toshiba Corp | 動きベクトル検出方法および装置並びに動きベクトル検出プログラム |
KR20020031182A (ko) * | 2000-07-13 | 2002-04-26 | 요트.게.아. 롤페즈 | 모션 추정을 위한 전처리 방법 |
US7072392B2 (en) * | 2000-11-13 | 2006-07-04 | Micronas Semiconductors, Inc. | Equalizer for time domain signal processing |
US6940557B2 (en) * | 2001-02-08 | 2005-09-06 | Micronas Semiconductors, Inc. | Adaptive interlace-to-progressive scan conversion algorithm |
US6825885B2 (en) | 2001-02-13 | 2004-11-30 | Koninklijke Philips Electronics N.V. | Motion information coding and decoding method |
US6738099B2 (en) * | 2001-02-16 | 2004-05-18 | Tektronix, Inc. | Robust camera motion estimation for video sequences |
US6829297B2 (en) * | 2001-06-06 | 2004-12-07 | Micronas Semiconductors, Inc. | Adaptive equalizer having a variable step size influenced by output from a trellis decoder |
US7190744B2 (en) * | 2001-06-07 | 2007-03-13 | Micronas Semiconductors, Inc. | Error generation for adaptive equalizer |
KR100393066B1 (ko) * | 2001-06-11 | 2003-07-31 | 삼성전자주식회사 | 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법 |
US7418034B2 (en) * | 2001-06-19 | 2008-08-26 | Micronas Semiconductors. Inc. | Combined trellis decoder and decision feedback equalizer |
KR100408294B1 (ko) * | 2001-09-05 | 2003-12-01 | 삼성전자주식회사 | 저전송율 동영상 부호화에 적합한 움직임 추정 방법 |
US20030099295A1 (en) * | 2001-10-31 | 2003-05-29 | Infowrap Inc. | Method for fast motion estimation using bi-directional and symmetrical gradient schemes |
US6862372B2 (en) * | 2001-12-27 | 2005-03-01 | Koninklijke Philips Electronics N.V. | System for and method of sharpness enhancement using coding information and local spatial features |
US6873657B2 (en) * | 2001-12-27 | 2005-03-29 | Koninklijke Philips Electronics, N.V. | Method of and system for improving temporal consistency in sharpness enhancement for a video signal |
ATE369701T1 (de) * | 2002-01-17 | 2007-08-15 | Koninkl Philips Electronics Nv | Einheit und verfahren zur schätzung eines aktuellen bewegungsvektors |
US20030235259A1 (en) * | 2002-04-04 | 2003-12-25 | Jingsong Xia | System and method for symbol clock recovery |
US6980059B2 (en) * | 2002-04-05 | 2005-12-27 | Micronas Semiconductors, Inc. | Data directed frequency acquisition loop that synchronizes to a received signal by using the redundancy of the data in the frequency domain |
US7376181B2 (en) * | 2002-04-05 | 2008-05-20 | Micronas Semiconductors, Inc. | Transposed structure for a decision feedback equalizer combined with a trellis decoder |
US7321642B2 (en) * | 2002-04-05 | 2008-01-22 | Micronas Semiconductors, Inc. | Synchronization symbol re-insertion for a decision feedback equalizer combined with a trellis decoder |
US7272203B2 (en) * | 2002-04-05 | 2007-09-18 | Micronas Semiconductors, Inc. | Data-directed frequency-and-phase lock loop for decoding an offset-QAM modulated signal having a pilot |
US6995617B2 (en) * | 2002-04-05 | 2006-02-07 | Micronas Semiconductors, Inc. | Data-directed frequency-and-phase lock loop |
JP2003339029A (ja) * | 2002-05-20 | 2003-11-28 | Sony Corp | 動きベクトル補正回路及び方法 |
US7184093B2 (en) * | 2002-05-20 | 2007-02-27 | Thomson Licensing | Video image formatting technique |
EP1590957A1 (en) * | 2003-01-23 | 2005-11-02 | Koninklijke Philips Electronics N.V. | Background motion vector detection |
US7277581B1 (en) * | 2003-08-19 | 2007-10-02 | Nvidia Corporation | Method for video format detection |
US8493298B2 (en) * | 2003-11-01 | 2013-07-23 | Silicon Quest Kabushiki-Kaisha | Video display system |
US20090174810A1 (en) * | 2003-11-01 | 2009-07-09 | Taro Endo | Video display system |
US8350790B2 (en) * | 2003-11-01 | 2013-01-08 | Silicon Quest Kabushiki-Kaisha | Video display system |
US7346226B2 (en) * | 2003-12-16 | 2008-03-18 | Genesis Microchip Inc. | Method and apparatus for MPEG artifacts reduction |
US7480334B2 (en) * | 2003-12-23 | 2009-01-20 | Genesis Microchip Inc. | Temporal motion vector filtering |
US7499494B2 (en) * | 2003-12-23 | 2009-03-03 | Genesis Microchip Inc. | Vector selection decision for pixel interpolation |
US7346109B2 (en) * | 2003-12-23 | 2008-03-18 | Genesis Microchip Inc. | Motion vector computation for video sequences |
US7457438B2 (en) * | 2003-12-23 | 2008-11-25 | Genesis Microchip Inc. | Robust camera pan vector estimation using iterative center of mass |
EP1711931A1 (en) * | 2004-01-27 | 2006-10-18 | Koninklijke Philips Electronics N.V. | Image motion compensation arrangement and method therefor |
DE102004017145B4 (de) * | 2004-04-07 | 2006-02-16 | Micronas Gmbh | Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind |
US8369405B2 (en) * | 2004-05-04 | 2013-02-05 | Qualcomm Incorporated | Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video |
DE102004026782A1 (de) * | 2004-06-02 | 2005-12-29 | Infineon Technologies Ag | Verfahren und Vorrichtung zur rechnergestützten Bewegungsschätzung in mindestens zwei zeitlich aufeinander folgenden digitalen Bildern, computerlesbares Speichermedium und Computerprogramm-Element |
MX2007000254A (es) | 2004-07-01 | 2007-04-09 | Qualcomm Inc | Metodo y aparato para utilizar tecnicas de conversion ascendente de indice de cuadro en codificacion de video que se puede escalar. |
TW200625964A (en) | 2004-07-20 | 2006-07-16 | Qualcomm Inc | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
US7684628B2 (en) * | 2004-08-12 | 2010-03-23 | Industrial Technology Research Institute | System and method for non-iterative global motion estimation |
US20060062303A1 (en) * | 2004-09-17 | 2006-03-23 | Sony Corporation | Hybrid global motion estimator for video encoding |
US20060198441A1 (en) * | 2005-03-02 | 2006-09-07 | Hua-Chang Chi | Motion detection method for detecting motion objects in video frames generated from a video surveillance system |
US8705614B2 (en) * | 2005-04-04 | 2014-04-22 | Broadcom Corporation | Motion estimation using camera tracking movements |
WO2006123309A2 (en) * | 2005-05-20 | 2006-11-23 | Koninklijke Philips Electronics N.V. | Video decoder using a reliability map |
EP1994753A2 (en) * | 2005-09-26 | 2008-11-26 | Koninklijke Philips Electronics N.V. | Method and device for tracking a movement of an object or of a person |
CN101273634A (zh) * | 2005-09-27 | 2008-09-24 | 皇家飞利浦电子股份有限公司 | 运动检测设备 |
US20100091845A1 (en) * | 2006-03-30 | 2010-04-15 | Byeong Moon Jeon | Method and apparatus for decoding/encoding a video signal |
AU2007232607B2 (en) * | 2006-03-30 | 2010-09-16 | Lg Electronics Inc. | A method and apparatus for decoding/encoding a video signal |
US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
EP2030450B1 (en) * | 2006-06-19 | 2015-01-07 | LG Electronics Inc. | Method and apparatus for processing a video signal |
US8154604B2 (en) * | 2006-08-11 | 2012-04-10 | Mavs Lab. Inc. | Camera motion parameter retrieving system and solving process |
JP4210954B2 (ja) * | 2006-08-22 | 2009-01-21 | ソニー株式会社 | 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置 |
US8532178B2 (en) * | 2006-08-25 | 2013-09-10 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal with inter-view reference picture list construction |
KR100800804B1 (ko) | 2006-12-27 | 2008-02-04 | 삼성전자주식회사 | 파노라마 영상 촬영 방법 |
US20080165278A1 (en) * | 2007-01-04 | 2008-07-10 | Sony Corporation | Human visual system based motion detection/estimation for video deinterlacing |
US8553758B2 (en) * | 2007-03-02 | 2013-10-08 | Sony Corporation | Motion parameter engine for true motion |
US20080212687A1 (en) * | 2007-03-02 | 2008-09-04 | Sony Corporation And Sony Electronics Inc. | High accurate subspace extension of phase correlation for global motion estimation |
US8693541B2 (en) | 2007-05-24 | 2014-04-08 | Samsung Electronics Co., Ltd | System and method of providing motion estimation |
US8144247B2 (en) * | 2007-06-21 | 2012-03-27 | Samsung Electronics Co., Ltd. | Detection and interpolation of still objects in a video sequence |
US8126063B2 (en) * | 2007-06-21 | 2012-02-28 | Samsung Electronics Co., Ltd. | System and method for still object detection based on normalized cross correlation |
US8571114B2 (en) | 2008-01-11 | 2013-10-29 | Zoran (France) S.A. | Sparse geometry for super resolution video processing |
US8300117B2 (en) * | 2008-03-28 | 2012-10-30 | Fuji Xerox Co., Ltd. | System and method for exposing video-taking heuristics at point of capture |
US8363728B2 (en) * | 2008-04-18 | 2013-01-29 | Sony Corporation | Block based codec friendly edge detection and transform selection |
US8559518B2 (en) | 2008-06-30 | 2013-10-15 | Samsung Electronics Co., Ltd. | System and method for motion estimation of digital video using multiple recursion rules |
US8144766B2 (en) * | 2008-07-16 | 2012-03-27 | Sony Corporation | Simple next search position selection for motion estimation iterative search |
US8094714B2 (en) * | 2008-07-16 | 2012-01-10 | Sony Corporation | Speculative start point selection for motion estimation iterative search |
EP2308241B1 (en) * | 2008-07-24 | 2017-04-12 | Koninklijke Philips N.V. | Versatile 3-d picture format |
US8139883B2 (en) * | 2008-07-29 | 2012-03-20 | Sony Corporation | System and method for image and video encoding artifacts reduction and quality improvement |
US20100067818A1 (en) * | 2008-09-15 | 2010-03-18 | Sony Corporation, A Japanese Corporation | System and method for high quality image and video upscaling |
US9336624B2 (en) * | 2008-10-07 | 2016-05-10 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for rendering 3D distance fields |
US8295551B2 (en) | 2009-04-08 | 2012-10-23 | Samsung Electronics Co., Ltd. | System and method of adaptive vertical search range tracking for motion estimation in digital video |
GB2469679B (en) * | 2009-04-23 | 2012-05-02 | Imagination Tech Ltd | Object tracking using momentum and acceleration vectors in a motion estimation system |
TWI391877B (zh) * | 2009-12-24 | 2013-04-01 | Univ Nat Taiwan Science Tech | 相連元件標記方法及其電腦系統 |
US8488007B2 (en) * | 2010-01-19 | 2013-07-16 | Sony Corporation | Method to estimate segmented motion |
US8285079B2 (en) * | 2010-03-19 | 2012-10-09 | Sony Corporation | Method for highly accurate estimation of motion using phase correlation |
WO2011128259A1 (en) * | 2010-04-13 | 2011-10-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | A video decoder and a video encoder using motion-compensated prediction |
US9247203B2 (en) * | 2011-04-11 | 2016-01-26 | Intel Corporation | Object of interest based image processing |
CN103875233A (zh) | 2011-07-13 | 2014-06-18 | 熵敏通讯公司 | 用于视频图像数据中的运动估计的方法和装置 |
US10523961B2 (en) | 2017-08-03 | 2019-12-31 | Samsung Electronics Co., Ltd. | Motion estimation method and apparatus for plurality of frames |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2648977B1 (fr) * | 1989-06-27 | 1995-07-21 | Thomson Csf | Procede iteratif d'estimation de mouvement, entre une image de reference et une image courante, et dispositif pour la mise en oeuvre de ce procede |
SE469866B (sv) * | 1991-04-12 | 1993-09-27 | Dv Sweden Ab | Metod för estimering av rörelseinnehåll i videosignaler |
US5647049A (en) * | 1991-05-31 | 1997-07-08 | Kabushiki Kaisha Toshiba | Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors |
DE69416717T2 (de) * | 1993-05-21 | 1999-10-07 | Nippon Telegraph And Telephone Corp., Tokio/Tokyo | Bewegtbildkoder und -dekoder |
JP2576771B2 (ja) * | 1993-09-28 | 1997-01-29 | 日本電気株式会社 | 動き補償予測装置 |
US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
JP3846642B2 (ja) * | 1994-01-31 | 2006-11-15 | ソニー株式会社 | 動き量検出方法及び動き量検出装置 |
JP2870415B2 (ja) * | 1994-08-22 | 1999-03-17 | 日本電気株式会社 | 領域分割方法および装置 |
US5619268A (en) * | 1995-01-17 | 1997-04-08 | Graphics Communication Laboratories | Motion estimation method and apparatus for calculating a motion vector |
US5731840A (en) * | 1995-03-10 | 1998-03-24 | Kabushiki Kaisha Toshiba | Video coding/decoding apparatus which transmits different accuracy prediction levels |
DE19510389C2 (de) * | 1995-03-22 | 1998-02-19 | Siemens Ag | Verfahren und Schaltungsanordnung zum Empfang von codierten Videosignalen |
KR0181036B1 (ko) * | 1995-04-08 | 1999-05-01 | 배순훈 | 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법 |
JP3612360B2 (ja) * | 1995-04-10 | 2005-01-19 | 株式会社大宇エレクトロニクス | 移動物体分割法を用いた動画像の動き推定方法 |
US5812787A (en) * | 1995-06-30 | 1998-09-22 | Intel Corporation | Video coding scheme with foreground/background separation |
-
1997
- 1997-05-14 JP JP54191997A patent/JP4159606B2/ja not_active Expired - Lifetime
- 1997-05-14 WO PCT/IB1997/000548 patent/WO1997046022A2/en active IP Right Grant
- 1997-05-14 EP EP97919609A patent/EP0840982B1/en not_active Expired - Lifetime
- 1997-05-14 KR KR10-1998-0700557A patent/KR100482898B1/ko not_active IP Right Cessation
- 1997-05-14 DE DE69710413T patent/DE69710413T2/de not_active Expired - Lifetime
- 1997-05-27 US US08/863,700 patent/US6278736B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11510937A (ja) | 1999-09-21 |
KR100482898B1 (ko) | 2005-08-31 |
DE69710413T2 (de) | 2002-10-02 |
KR19990035896A (ko) | 1999-05-25 |
EP0840982B1 (en) | 2002-02-13 |
EP0840982A2 (en) | 1998-05-13 |
WO1997046022A2 (en) | 1997-12-04 |
WO1997046022A3 (en) | 1998-02-05 |
DE69710413D1 (de) | 2002-03-21 |
US6278736B1 (en) | 2001-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4159606B2 (ja) | 動き推定 | |
US9077969B2 (en) | Method and apparatus for determining motion between video images | |
US8718143B2 (en) | Optical flow based motion vector estimation systems and methods | |
US7343044B2 (en) | Interpolation image generating method and apparatus | |
CN102055947B (zh) | 使用运动估计和补偿的帧速率转换 | |
Jeon et al. | Coarse-to-fine frame interpolation for frame rate up-conversion using pyramid structure | |
US20060023119A1 (en) | Apparatus and method of motion-compensation adaptive deinterlacing | |
US20050249288A1 (en) | Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method | |
De Haan et al. | An efficient true-motion estimator using candidate vectors from a parametric motion model | |
Jung et al. | An effective de-interlacing technique using motion compensated interpolation | |
US20060171464A1 (en) | Method and apparatus for motion estimation | |
US20100177239A1 (en) | Method of and apparatus for frame rate conversion | |
KR100565066B1 (ko) | 중첩된 블록 기반 움직임 추정에 의한 움직임 보상 보간방법 및 그를 적용한 프레임 레이트 변환 장치 | |
US8565309B2 (en) | System and method for motion vector collection for motion compensated interpolation of digital video | |
KR20010034255A (ko) | 비디오 프레임의 해상도 증가 방법 | |
Biswas et al. | A novel motion estimation algorithm using phase plane correlation for frame rate conversion | |
Lee et al. | Method and architecture design for motion compensated frame interpolation in high-definition video processing | |
Biswas et al. | A novel de-interlacing technique based on phase plane correlation motion estimation | |
Kang et al. | Hardware implementation of motion estimation using a sub-sampled block for frame rate up-conversion | |
Kim et al. | A novel de-interlacing technique using bi-directional motion estimation | |
JP4354799B2 (ja) | 補間画像生成方法および装置 | |
JP2931783B2 (ja) | 動きベクトル探索装置 | |
EP1398960B1 (en) | Method and device for displaying frozen pictures on video display device | |
KR101057999B1 (ko) | 움직임 보상에 기반한 프레임 율 변환 장치, 및 그 방법과이를 구현하기 위한 프로그램이 기록된 기록 매체 | |
Lee et al. | A new VLSI architecture of a hierarchical motion estimator for low bit-rate video coding |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040511 |
|
A72 | Notification of change in name of applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A721 Effective date: 20040511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070409 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070709 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071120 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20080606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080804 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20081209 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |