JP2000050281A - 動きベクトル検出方法および装置、記録媒体 - Google Patents
動きベクトル検出方法および装置、記録媒体Info
- Publication number
- JP2000050281A JP2000050281A JP21842498A JP21842498A JP2000050281A JP 2000050281 A JP2000050281 A JP 2000050281A JP 21842498 A JP21842498 A JP 21842498A JP 21842498 A JP21842498 A JP 21842498A JP 2000050281 A JP2000050281 A JP 2000050281A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- group
- blocks
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
ルの検出を抑制することができる、改良された動きベク
トル検索方法を提供する。 【解決手段】 第1画像フレームと第2画像フレームと
から動きベクトルを検出する際に、ブロック化部32で
第2画像フレームを複数のブロックに分割し、各分割ブ
ロックを、ブロック分類部33で、互いに他グループの
ものが隣接する第1グループおよび第2グループのブロ
ック群に分類する。動きベクトル学習手段は、各グルー
プのブロックについて動きベクトル候補を特定した後、
第1グループのブロックについて個々のブロックに隣接
する他ブロックの動きベクトル候補の平均ベクトル成分
を学習して当該ブロックの新たな動きベクトル候補とし
て更新する処理と、第2グループについての同様の学習
とを一定時間繰り返す。
Description
号化技術に係り、特に、動画像データに含まれる動きベ
クトルを効率的に検出する方法およびその関連技術に関
する。
画像データを通信媒体を通じて相手側端末に伝送した
り、動画像データをDVD(Digital Video Disk)等に
記録する際に、符号化を施し、原データサイズ以下に圧
縮することが一般的になっている。
から構成されるが、時間的な相関を利用すれば、これを
効率的に符号化することが可能であることは、良く知ら
れている。例えば、時刻t1と時刻t2とで撮像して得
た画像フレーム#1と画像フレーム#2とが存在する場
合に、その差分データである画像フレーム#12を計算
によって求め、この画像フレーム#12を画像フレーム
#2の代わりに符号化することで、効率良く動画像デー
タを圧縮することが可能となる。これは、画像フレーム
#12が画像フレーム#1と画像フレーム#2との時間
的な相関を利用したデータであり、通常の画像の動き程
度では小さな値をもつことが多いことによる。
率をより向上させるための手法も種々提案されている。
例えば、画像フレーム間の動きベクトルを検出し、この
動きベクトルを符号化することで圧縮率を高める技術が
知られている。この技術は、例えば画像フレーム#2
を、微小な領域、例えば16×16画素の矩形ブロック
に分割し、各矩形ブロックを画像フレーム#2に透間な
く並べる。そして、それぞれの矩形ブロックに似た小領
域を画像フレーム#1から探し出し、画像フレーム#1
からの、その小領域における差分データを計算する。
を演算する。この絶対値の平均値は、画像フレーム#1
2のそれよりも更に小さくなって、符号化効率を向上さ
せることが期待できる。この場合、探し出した小領域の
位置からのオフセット値は、「動きベクトル」として、
差分データと共に符号化する必要があるが、それでも符
号化後のデータサイズは、動きベクトルを使用しない場
合に比べて小さくなるのが殆どである。
レーム#2の矩形ブロックに似た画素特徴をもつ小領域
を探し出し、両者のオフセットを検出することを、「動
きベクトル検出」と呼ぶ。具体的には、画像フレーム#
2上の矩形ブロックG2に似た画素特徴をもつ画像フレ
ーム#1上の位置G1を探索し、その位置G1の画素値
と矩形ブロックG2に属するすべての画素値との評価関
数値の合計を求め、それが最小となる位置を指し示すベ
クトル成分を動きベクトルmbとする。通常、評価関数
値には、絶対値や差分の2乗値が用いられる。このよう
に動きベクトルを使用して動画像データを圧縮する手法
として、CCITT勧告によるH.261方式や、IS
OによるMPEG(Moving Picture Experts Group)方
式等が知られている。
ある画像フレームの矩形ブロックに対応する他の画像フ
レーム上の位置をどのようにして特定するか、つまり探
索手法が問題となる。これについては、良く知られた手
法として、「全探索法」と呼ばれる探索手法がある。
いるかを誤差評価関数で表し、その合計値が最も小さい
画素を含む矩形ブロックを似ている矩形ブロックとす
る。誤差評価関数は、ferror(pixel1、pixel2)、例えば
画素値pixel1と画素値pixel2の差分の絶対値|pixel1-p
ixel2|、または、差分の2乗((pixel1-pixel2)*(p
ixel1-pixel2))で表される。いま、符号化しようとす
る画像フレームの、ある位置(x,y)における矩形ブロ
ックをAとして、この矩形ブロックAのそれぞれの画素
をA(bx,by)とする。一方、動きベクトル検出の際の探
索範囲となる画像フレームの、ある位置(x+dx,x+dy)に
おける矩形ブロックAと同じ大きさの画素集合をBとし
て、それぞれの画素をB(bx,by)とする。矩形ブロック
Aの画素集合Bに対するそれぞれの画素の誤差評価関数
の合計値をE(dx,dy)とすると、この合計値E(bx,by)
は、下式で表される。 E(dx,dy)=Σbx(Σby(ferror(A(bx,by),B(bx,by))) dxの値がdx1..dx2、dyの値がdy1..dy2をとり得るとし
て、この(dx1,dy2)..(dx2,dy2)の矩形を探索範囲とする
と、全探索法は、この探索範囲内で合計値E(dx,dy)が
最小になる(dx,dy)を求めることで、動きベクトルを検
出する。
すべての位置において演算することから、動きベクトル
検出が正確であると推測されるが、以下のような問題も
ある。
る。より激しい動きに対応するためには、探索範囲を拡
げる必要がある。つまり、画像フレーム間の動きベクト
ルの長さが大きいときに探索範囲が狭いと、真の動きベ
クトルの方向を正しく検出できないので、これを正しく
検出するためには、探索範囲を拡げる必要がある。しか
し、そうすると、演算量が膨大となってしまう。
う問題もある。つまり、誤差評価関数値の合計E(dx,d
y)は、同一探索範囲内の異なる場所で同じ値をとり得る
ため、探索範囲内での探索順序に結果が依存する。その
結果、真の動きにを反映しない動きベクトルを検出する
ことがある。特に、画像テクスチャが平坦なものであっ
たり、繰り返しパターンであった場合は、ブロックの誤
差評価関数値の合計は、異なる場所で似たような値をと
ることが多い。この場合は、本来の動きとは、かけ離れ
た位置に、たまたま参照元の矩形ブロックと似ている画
素集合を発見する場合がある。この場合は、検出された
動きベクトルが真の動きを反映しない。
移動を仮定し、また、ノイズも無いとして探索するが、
現実の動画像は絶えず変形を伴っており、また、画像フ
レームにノイズが混入する場合がある。この場合も、最
小の平均誤差評価関数を与える動きベクトルが、必ずし
も真の動きを反映しない。動きの激しい画像の動きを捉
えるために探索範囲を拡げると、このような誤検出が発
生する機会も増加する。この場合、著しく長い誤った動
きベクトルとなってしまうことがある。動画像データの
符号化の際には、動きベクトルも符号化の対象になるの
で、このような場合には、誤差は小さいけれども符号化
ビット量が多い動きベクトルとなっていしまい、結果的
に符号化効率の低下をもたらす。
を拡げて動きベクトルを正しく探索することが困難とな
るため、演算量を削減できる手法、例えば、「画素間引
き法」、「探索位置間引き法」、「縮小画像を用いた階
層探索法」も実用化のための検討がなされている。以
下、これらの手法を簡単に説明する。
算出する過程において、矩形ブロック内のすべての画素
を用いずに、代表点だけを用いる手法である。例えば、
矩形ブロックの大きさを16×16画素とした場合、矩
形ブロック内の全画素(256画素)を用いないで、そ
の半分の128画素を対象にしたり、全画素の1/4で
ある64画素を対象とする。この手法では、対象となる
画素が間引かれるため、全探索法に比べれば動きベクト
ルの検出精度は劣る。特に、間引いた画素における誤差
評価関数の値がその矩形ブロックの代表画素の平均に比
較して著しく異なる場合には、誤検出が起こる。
価関数を求めずに、まず、粗い探索範囲で動きベクトル
候補の検出を行い、その後、順次精度を上げていく手法
である。例えば、最初に4画素おきに探索して動きベク
トル候補Aを求め、次に、動きベクトル候補Aを中心に
して、2画素おきに探索して動きベクトル候補Bを求め
る。最後に動きベクトル候補Bの周囲の画素を探索して
最終的な動きベクトルCを得る。
ける変化を見逃してしまう可能性があるため、全探索法
に比べれば動きベクトルの検出精度は劣る。また、粗い
探索の時点で動きベクトル候補を限定してしまうため、
精度を上げていく過程において、一旦誤った動きベクト
ル候補を決めてしまうと、それ以降は、それを基準にし
て探索を行うため、正しい動きベクトルを検出すること
ができない。探索位置間引き法と画素間引き法の併用も
可能である。この場合、演算量は更に削減されるが、誤
検出が生ずる可能性も高くなる。
ベクトル候補の検出を行い、その後、画像の縮小率を低
くしていって順次精度を上げていく手法である。例え
ば、まず、原画像を1/4に縮小した縮小画像で動きベ
クトルAを求める。次いで、原画像を1/2に縮小した
画像において、動きベクトルAと相対的に同じ位置を中
心にして他の動きベクトルBを求める。最後に、原画像
において動きベクトルAと相対的に同じ位置を中心にし
て最終的な動きベクトルCを得る。この手法は、演算量
の観点からは、探索位置間引き法と画素間引き法を併用
したものと同じである。縮小画像においては、探索位置
と画素のそれぞれが間引きされるからである。特に、縮
小画像生成に単なる間引きを適用した場合、行われる演
算量は、探索位置間引き法と画素間引き法を併用した場
合と全く等価になる。
の細かいテクスチャが失われるので、細かい絵柄を含む
画像に対しては全探索法に比べて動きベクトルの検出精
度は劣る。また、動きベクトルの検出精度は縮小画像の
生成方法に依存する。単純な間引きではなく、例えば、
1/2縮小画像を、これに対応する原画像の2×2画
素、もしくはそれ以上の画素を参照して重み付けを行
い、その平均をとることによって作成した場合は、探索
位置間引き法と画素間引き法を併用したものよりは、動
きベクトルの検出精度は高まる。これは、画素間引き法
が単純に間引いた画素を捨て去るのと比べて、縮小画像
生成時に全ての画素を参照することによる。また、探索
点間引き法に対しても同様のことがいえ、探索点間引き
法が見逃してしまう可能性のあるエッジ等の情報も捉ら
える確率は高くなる。これは、探索点間引き法が単純に
その探索位置を無視したのに比べて、縮小画像を用いた
階層探索法は、縮小画像を生成する過程において全ての
探索位置を隙間なく調べるからである。
点でまず動きベクトル候補を限定するため、必ずしも最
小の平均誤差関数値を与える動きベクトルが求まるとは
限らない。また、精度を上げていく過程において、一旦
誤った動きベクトルを求めてしまうと、それ以降は、正
しい動きベクトルを検出できなくなる。なお、縮小画像
における階層探索法の場合も、探索位置間引き法または
画素間引き法、あるいは、その両方を併用することも可
能であり、その場合、演算量は更に削減されるが、動き
ベクトル検出精度における個々の利点は失われ、誤った
動きベクトルを検出する可能性が高くなる。つまり、演
算量と検出精度とは、トレード・オフの関係にある。
して、一定の検出精度を確保しようとすれば、かなりの
演算量が必要となる。そのため、これまでは、演算処理
を並列的に実行できるようにした専用LSIが用いられ
ることが多く、CPUやMPUに読み込まれて実行され
るソフトウェアで動きベクトルを検出することは殆ど行
われていない。しかしながら、CPU等の処理速度は年
々高速化しているため、今後は、柔軟な処理形態が可能
となるソフトウェアによる実装も考えられる。動きベク
トル検出のすべてをソフトウェア化しないまでも、階層
的に動きベクトルを検出する際に、一部の層、例えば、
最終的に原画像データで1画素おきに探索する部分だけ
をハードウェアによる実装として、残りをソフトウェア
化することも考えられる。
検出を行う場合の障害は、画像フレーム間の画素集合の
対応位置を見つけるための演算量が膨大なために処理の
実時間性が保証できず、逆に実時間性を重視した場合に
は検出精度が著しく低下することである。特に全探索法
を用いて実時間性を保証しようとすると、非常に狭い探
索範囲しか実現できない。
の利点を活かして、広い探索範囲を確保しつつ誤った動
きベクトルの検出を抑制することができる、改良された
動きベクトル検索技術を提供することにある。また、ソ
フトウェアによる実装をも容易にする改良された手法を
提供することにある。
決する、改良された動きベクトル方法を提供する。この
動きベクトル検出方法は、連続する第1画像フレームと
第2画像フレームとの間の対応画素を指し示す動きベク
トルを検出する際に、前記第2画像フレームを複数のブ
ロックに分割するとともに各ブロックを互いに他グルー
プのものが隣接する第1グループおよび第2グループの
ブロック群に分類し、第1グループに属するすべてのブ
ロックについて動きベクトル候補を画像フレーム間の平
均誤差評価関数値に基づいて特定した後、第2グループ
に属するすべてのブロックについて個々のブロックに隣
接する他ブロックの動きベクトル候補の平均ベクトル成
分を当該ブロックの動きベクトル候補として特定し、さ
らに、第1グループに属するすべてのブロックについて
個々のブロックに隣接する他ブロックの動きベクトル候
補の平均ベクトル成分を当該ブロックの新たな動きベク
トル候補として更新することを特徴とする。これによ
り、第2画像フレームのすべてのブロックについて平均
誤差評価関数値を演算する場合に比べて、演算量を少な
くすることができる。本発明はまた、下記の工程を含む
動きベクトル検出方法をも提供する。 (1−1)連続する第1画像フレームと第2画像フレー
ムとを取得して前記第1画像フレームを保持するととも
に、前記第2画像フレームを複数のブロックに分割し、
これにより得られた各ブロックを、互いに他グループの
ものが隣接する第1グループおよび第2グループのブロ
ック群に分類する前処理工程、(1−2)前記第1グル
ープに属する個々のブロックの画素と前記第1画像フレ
ームの探索位置の画素との間の平均誤差評価関数値を演
算し、この平均誤差評価関数値が最小となる探索位置を
指し示すベクトル成分を当該ブロックにおける動きベク
トル候補として特定するとともに、前記第2グループに
属する個々のブロックに隣接する他ブロックの動きベク
トル候補の平均ベクトル成分を当該ブロックにおける動
きベクトル候補として特定する初期探索工程、(1−
3)前記第1グループに属する個々のブロックに隣接す
る他ブロックの動きベクトル候補の平均ベクトル成分を
学習して当該ブロックの新たな動きベクトル候補として
更新する第1詳細探索工程、(1−4)第2グループに
属する個々のブロックに隣接する他ブロックの動きベク
トル候補の平均ベクトル成分を学習して当該ブロックの
新たな動きベクトル候補として更新する第2詳細探索工
程。
当該平均ベクトル成分が指し示す第1画像フレーム上の
探索位置を所定方向に変えながら画像フレーム間の画素
の平均誤差評価関数値を演算し、前記平均誤差評価関数
値が相対的に小さくなる位置を指し示すベクトル成分を
当該ブロックの新たな動きベクトル候補として更新する
処理である。前記探索位置を変える過程で前記平均ベク
トル成分が同一ブロック内の他の平均ベクトル成分に対
して所定の閾値以上に近似しない場合は、当該平均ベク
トル成分が指し示す位置を前記探索位置の新たな起点と
する。
値以内のときは直ちに同一グループの他のブロックにつ
いての前記平均ベクトル成分の学習に移行するように
し、好ましくは、前記第1詳細探索工程と前記第2詳細
探索工程とを交互に繰り返しながら、前記収束基準値を
前回のものより低下させるようにする。これにより、動
きベクトルの検出精度が次第に高まるようになる。
ベクトル検出装置を提供する。 (2−1)時間的に連続する第1画像フレームおよび第
2画像フレームを取得する画像フレーム取得手段、(2
−2)前記第2画像フレームを複数のブロックに分割す
るとともに、分割された各ブロックを、互いに他グルー
プのものが隣接する第1グループおよび第2グループの
ブロック群に分類する前処理手段、(2−3)前記第1
グループに属する個々のブロックと前記第1画像フレー
ムの該当位置とを結ぶ第1動きベクトル候補、および、
前記第2グループに属する個々のブロックと前記第1画
像フレームの該当位置とを結ぶ第2動きベクトル候補を
それぞれ概略的に特定するとともに、特定した各動きベ
クトル候補を、当該ブロックに隣接する他ブロックの動
きベクトル候補の平均ベクトル成分に基づいて画像フレ
ーム間の平均誤差評価関数値が小さくなる方向に学習さ
せる動きベクトル学習手段。
ロックについて前記概略的な動きベクトル候補を特定し
た後、前記第1グループのすべてのブロックについての
前記平均ベクトル成分の学習と前記第2グループのすべ
てのブロックについての前記平均ベクトル成分の学習と
を交互に繰り返すように構成される。また、前記平均誤
差評価関数値が収束基準値以内に低下した時点で同一グ
ループの他のブロックについて前記平均ベクトル成分を
学習させ、この学習が繰り返される度に前記収束基準値
が低下するように構成される。
ータ装置に実行させるためのプログラムコードが記録さ
れたコンピュータ読取可能な記録媒体を提供する。 (3−1)時間的に連続する第1画像フレームと第2画
像フレームとを取得し、前記第1画像フレームを保持す
るとともに、前記第2画像フレームを複数のブロックに
分割し、これにより得られた各ブロックを、互いに他グ
ループのものが隣接する第1グループおよび第2グルー
プのブロック群に分類する処理、(3−2)前記第1グ
ループに属する個々のブロックの画素と前記第1画像フ
レームの探索位置の画素との間の平均誤差評価関数値を
演算し、この平均誤差評価関数値が最小となる探索位置
を指し示すベクトル成分を当該ブロックにおける動きベ
クトル候補として特定する処理、(3−3)前記第2グ
ループに属する個々のブロックに隣接する他ブロックの
動きベクトル候補の平均ベクトル成分を当該ブロックに
おける動きベクトル候補として特定する処理、(3−
4)前記第1グループに属する個々のブロックに隣接す
る他ブロックの動きベクトル候補の平均ベクトル成分を
学習して当該ブロックの新たな動きベクトル候補として
更新する処理、(3−5)第2グループに属する個々の
ブロックに隣接する他ブロックの動きベクトル候補の平
均ベクトル成分を学習して当該ブロックの新たな動きベ
クトル候補として更新する処理。
ように、他の画像フレームとの相関を利用して動画像デ
ータを符号化する予測符号化に応用した場合の実施形態
を説明する。
の要部構成図である。この予測符号化装置1では、入力
された動画像データを画像処理装置2で画像フレーム単
位に分解し、各画像フレームのデータ(画素値)を、本
発明の動きベクトル検出装置3に順次送る。動きベクト
ル検出装置3は、現在の画像フレームのデータ(以下、
「現フレームデータ」と称する)と直前の画像フレーム
のデータ(以下、「参照フレームデータ」と称する)と
を比較して動きベクトルを検出し、検出した動きベクト
ルを動き補償回路4へ送る。また、現フレームデータを
そのまま減算器5へ送る。動き補償回路4はフレームメ
モリを有しており、このフレームメモリに保持されてい
る参照フレームデータの動き成分を上記動きベクトルで
補償するようになっている。なお、ここでいう「補償」
とは、符号化のための動き成分の補償をいい、後述する
差分データは含まない。動き成分が補償された参照フレ
ームデータは、減算器5と加算器6へ送られる。減算器
5は、現フレームデータと動き成分が補償された参照フ
レームデータとの減算を行い、その差分データをDCT
(Discrete Cosine Transform)回路7へ送る。DCT
回路7は、この差分データをDCT変換して量子化器8
へ送る。量子化器8は、DCT変換された差分データを
量子化して可変長符号器9へ送る。これにより符号化デ
ータが出力される。
8へ送られるときに、逆量子化回路10と逆DCT回路
11にも入力されて元の差分データに復元され、加算器
6に入力されるようになっている。加算器6は、上記参
照フレームデータと復元された差分データとを加算す
る。これにより、現フレームデータが復元される。この
復元された現フレームデータは、次の参照フレームデー
タとして、動き補償回路4のフレームメモリに保持され
る。このように、予測符号化装置1では、現フレームデ
ータと、動きベクトルによってその動き成分が補償され
た参照フレームデータとの差分データが可変長符号化さ
れる。
構成例を説明する。この動きベクトル検出装置3は、後
述するように、演算量を従来のものより大幅に低減する
ことができるため、専用LSIによって実現しても良い
が、本実施形態では、これをソフトウェアによって実現
する。
S)が搭載されたコンピュータシステムに、所定のプロ
グラムコードを読み込ませて実行させることにより、図
2に示すような機能ブロックを当該コンピュータ装置上
に形成し、これをもって、動きベクトル検出装置3を実
現する。
録され、装置構築時にコンピュータシステムの記憶装置
に一括で読み込まれるのが通常であるが、運用中に、適
宜、記録媒体から上記記憶装置に読み込まれるような形
態も可能である。記録媒体としては、半導体メモリ、ハ
ードディスク、光ディスク、光磁気ディスク、CD−R
OM、CD−R、DVD、磁気テープのほか、通信路を
介してそのシステムがアクセス可能なプログラムサーバ
等も含まれる。
とによって上記各機能が実現されるだけでなく、そのプ
ログラムコードの指示に基づいてコンピュータシステム
上で稼働しているOSが実際の処理の一部を行い、その
処理を通じて上記各機能が実現される場合も、本発明の
範囲である。コンピュータシステムとしては、スタンド
アロン型のコンピュータ装置、分散処理型の複数のコン
ピュータ装置、ネットワーク環境下で通信可能な複数の
コンピュータ装置のいずれであっても良い。
装置3は、上記コンピュータシステムが、画像フレーム
取得部31、ブロック化部32、ブロック分類部33、
第1初期探索部34、第2初期探索部35、第1詳細探
索部36、第2詳細探索部37、学習制御部38の機能
ブロックを有するように構成される。 第1初期探索部
34、第2初期探索部35、第1詳細探索部36、第2
詳細探索部37、学習制御部38で、動きベクトル学習
手段を形成している。
するフレームデータを取得するものであり、ブロック化
部32は、現フレームデータを複数のブロックに分割す
るものである。ブロック分類部33は、分割された各ブ
ロックを、互いに他グループのものが隣接する第1グル
ープおよび第2グループのブロック群に分類するもので
ある。図3は、分類後の現フレームデータの構造を示し
た図である。図中、「B0」は第1グループに分類され
るブロック、「B1」は第2グループに分類されるブロ
ックである。図示のように、本実施形態では、上下左右
に他のグループのブロックが出現するように分類してい
る。
する個々のブロックについて、それに対応する参照フレ
ームデータの該当位置を探索し、個々のブロックと探索
位置とを結ぶ動きベクトル候補を特定するものである。
ロックを用意し、そのブロックと参照フレームデータと
の間で動きの無い位置を探索し、その位置を起点(0,
0)として平均誤差評価関数値を求める(ステップS1
01,S102)。このときの参照フレームデータの位
置を指し示すベクトル成分を(0,0)とする(ステッ
プS103)。予め定めた探索範囲、例えば起点から数
画素分拡大した範囲で、予め定めた精度で最初の探索を
行い(ステップS104)、その位置で平均誤差評価関
数値を求める(ステップS105)。平均誤差評価関数
値がこれまでの最小値よりも小さいかどうかを判定し、
小さい場合はその探索位置を指し示すベクトル成分を動
きベクトル候補として保持しておく(ステップS10
6:Yes、S107)。探索開始時には保持されている
動きベクトル候補がないので、そのときのベクトル成分
(0,0)を保持しておく。
りも大きかった場合、あるいは動きベクトル候補を保持
した後は、上記範囲での最後の探索位置になるまで、次
の位置にずらして再度ステップS105以降の処理を繰
り返す(ステップS106:No、S108:No、S10
9)。上記範囲での探索が終了した場合は、第1グルー
プの次のブロックについて、ステップS102以降の処
理を繰り返す(ステップS110:No、S111)。
同数の動きベクトル候補を特定することができる。但
し、この段階では、おおまかな精度の動きベクトル候補
となっており、誤差を多分に含んでいる。
する個々のブロックに対応する参照フレームデータの該
当位置を探索し、個々のブロックと探索位置とを結ぶ動
きベクトル候補を特定するものである。
ロックについて、隣接する第1グループのブロックにつ
いて既に求められている動きベクトル候補を平均化し、
それにより得られたベクトル成分をそのブロックの動き
ベクトル候補とする(ステップS201,S202)。
そして、その動きベクトル候補が指し示す参照フレーム
データの位置との間で平均誤差評価関数値を求めておく
(ステップS203)。これを第2グループのすべての
ブロックについて繰り返す(ステップS204)。これ
により、第2グループのブロック数と同数の動きベクト
ル候補を特定することができる。なお、動きベクトル候
補を特定するだけであれば、上記ステップS202の処
理は必ずしも必要ではない。
する個々のブロックに隣接する他ブロック(つまり第2
グループのブロック群)の動きベクトル候補の平均ベク
トル成分を学習して当該ブロックの新たな動きベクトル
候補として更新するものであり、第2詳細探索部37
は、第2グループに属する個々のブロックに隣接する他
ブロック(つまり第1グループのブロック群)の動きベ
クトル候補の平均ベクトル成分を学習して当該ブロック
の新たな動きベクトル候補として更新するものである。
具体的には、図7に示す手順で行われる。前提として、
学習のための探索位置の移動ルートは予め定めておく。
例えば、探索開始位置を起点にスパイラル状に拡げてい
くものとする。また、以下の処理は、便宜上、学習処理
のための時間制限がない場合の例を示すものである。
クについて、上下左右の他ブロックの動きベクトル候補
を平均化したベクトル成分を求める(ステップS30
1,S302)。そして、このベクトル成分が、既に特
定されている動きベクトル候補と予め定めた閾値よりも
近似しているかどうかを判定する(ステップS30
3)。これは、ノイズ成分が混入しない場合には、ベク
トル成分が以前のものに近似するのに対し、ベクトル成
分が混入した場合には、ベクトル成分の方向や長さが以
前のものと大きく異なる点に着目した処理である。例え
ば、図4上段では、ノイズ成分を表すベクトル成分41
が混入している。このベクトル成分41は、他のベクト
ル成分とは異なった向きと長さを持つのが通常である。
そこで、このステップS303で他のベクトル成分との
近似性を判定し、近似していない場合は、平均化したベ
クトル成分を求めることで、このノイズ成分が排除され
ることになる。図4下段におけるベクトル成分42は、
この平均化されたベクトル成分である。
が近似していないと判定した場合は、そのときのベクト
ル成分が差し示す位置で平均誤差評価関数値を求め、以
後の探索において、この位置を探索の起点にする(ステ
ップS303:No、S304)。つまり探索ルートを修
正する。
位置での平均誤差評価関数値を求め、それが学習制御部
38で定めた「収束基準値」、すなわち、その時点で正
常な動きベクトル候補となり得るものが見つかったかど
うかを判定するための閾値を越えているかどうかを判定
する(ステップS303:Yes、S305)。越えてい
る場合は、正しい動きベクトルが検出されていないとみ
なして、次の処理を行う。
次の位置に設定し、その位置で平均誤差評価関数値を求
める(ステップS305:Yes、S306、S30
7)。その平均誤差評価関数値がこれまでの値の最小値
よりも小さければ、その位置を指し示すベクトル成分
を、そのブロックの動きベクトル候補として更新する
(ステップS308)。なお、ステップS305におい
て、平均誤差評価関数値が収束基準値を越えていなかっ
た場合は、直ちにステップS309の処理に移行する
(ステップS305:No)。これにより、動画像の動き
の変化が激しい場合には探索処理のための十分な演算量
を確保し、逆に、動きの変化が少ない場合には演算量を
削減することが可能となる。
繰り返し(ステップS309:No、S310)、探索範
囲のすべての位置を探索した場合は第1グループの次の
ブロックについて同様の処理を繰り返す(ステップS3
11:No,S312)。
合と同様の処理を行う。つまり、図7において、「第2
グループ」とあるのを「第1グループ」と置き換えるこ
とで、これを第2グループの処理に読み替えることがで
きる。
4、第2初期探索部35、第1詳細探索部36、第2詳
細探索部37における動作タイミング、動作順序、前述
の「閾値」や「収束基準値」の変更等を行うものであ
る。上述の第1詳細探索部36および第2詳細探索部3
7についての説明は、処理時間に制限が無い場合の例で
あった。しかし、実際には、演算量と実時間性確保との
関係で、処理時間や処理順序には制限を設けている。こ
の場合の各部の動作タイミング等を制御するのが学習制
御部38である。
手順は、例えば図8に従う。すなわち、最初に第1初期
探索部34を動作させ、第1グループに属するすべての
ブロックについて、概略的ながら動きベクトル候補を特
定できるだけの探索範囲で平均誤差評価関数値を演算さ
せる。そして、平均誤差評価関数値が最小となる探索位
置を指し示すベクトル成分をそれぞれ当該ブロックにお
ける動きベクトル候補として特定させる(ステップS4
01)。その後、第2初期探索部35を動作させ、第2
グループに属するすべてのブロックに隣接する他ブロッ
クの動きベクトル候補の平均ベクトル成分をそれぞれ当
該ブロックにおける動きベクトル候補として特定させる
(ステップS402)。
準値」をやや高めに設定して動きベクトル候補を見つけ
易くしておいて一定時間動作させる(ステップS40
3、S404)。これにより、第1グループのブロック
における探索位置が、初期状態から探索ルート上を少し
移動する。第2詳細探索部37も、「収束基準値」もや
や高めてに設定して一定時間動作させる(ステップS4
05)。これにより、第2グループのブロックにおける
探索位置が、初期状態から探索ルート上を少し移動す
る。
了させても良いが、時間的に余裕がある場合、つまり処
理の許容時間に達していない場合は(ステップS40
6:No)、「収束基準値」を前回よりも低くして、つま
り、より正確性を増した上で探索ルートを拡げさせ、ス
テップS404移行の処理を繰り返す(ステップS40
7)。その際、その後、第2詳細探索部37に対して、
第1詳細探索部36と同様の制御を行う(ステップS4
07)。なお、「収束基準値」の初期値および変更の幅
は、対象となる動画像データにおける画像の動きの激し
さに応じて適宜変えるようにする。
と、検出精度が重要視される場合とで、第1詳細探索部
36および第2詳細探索部37の動作回数を調整できる
ようになる。また、一旦、第1初期探索部34で第1グ
ループにおける動きベクトル候補を特定しておけば、第
2初期探索部35、第1詳細探索部36、第2詳細探索
部37では、隣接する他ブロックのベクトル成分(動き
ベクトル候補)の平均ベクトル成分を演算するだけで動
きベクトル候補を特定できるので、演算量の大幅な削減
が可能になる。さらに、複数の動きベクトル候補の平均
をとっているので、突発的な変化成分、例えばノイズ成
分の混入に対して頑強であり、精度の良い動きベクトル
検出が可能になる。しかも、学習が繰り返されるたび
に、これらの突発的な変化成分が吸収されるので、検出
精度がより高まる効果がある。
準値」が低くなるので、ブロック上の画素特徴と参照フ
レームデータの位置との一致性がとりやすくなる。
ル検索方法を、全探索法の改良として考えた場合である
が、更に、本発明の動きベクトル検索方式を階層的に用
いることで縮小画像を用いた階層探索法にも応用が可能
である。この場合、通常の縮小画像を用いた階層探索法
と比較して、演算量(演算時間)の低減と、検出精度の
向上が期待できるようになる。また、各階層において誤
った動きベクトルを訂正する効果が期待できるため、一
旦誤りが発生しても、次の階層でこれを補正できる場合
がある。
り、予測符号化装置1における符号化効率の向上も見込
まれる。例えば、縮小画像を用いた階層探索法に適用す
ることで、各階層において空間的に滑らかな動きベクト
ルにすることができるため、誤った動きベクトルであっ
てもそれが著しく長くはならない。
によれば、広い探索範囲を確保しつつ誤った動きベクト
ルの検出を抑制することができるとう、特有の効果があ
る。また、演算量を低減させることができ、しかも探索
処理の実時間性を保証することが可能なので、ソフトウ
ェアによる実装も容易になる。
図。
に分類した現フレームデータの構造説明図。
説明図、下段は平均化されたベクトル成分の説明図。
Claims (13)
- 【請求項1】 連続する第1画像フレームと第2画像フ
レームとの間の対応画素を指し示す動きベクトルを検出
する際に、 前記第2画像フレームを複数のブロックに分割するとと
もに各ブロックを互いに他グループのものが隣接する第
1グループおよび第2グループのブロック群に分類し、
第1グループに属するすべてのブロックについて動きベ
クトル候補を画像フレーム間の平均誤差評価関数値に基
づいて特定した後、 第2グループに属するすべてのブロックについて個々の
ブロックに隣接する他ブロックの動きベクトル候補の平
均ベクトル成分を当該ブロックの動きベクトル候補とし
て特定し、さらに、第1グループに属するすべてのブロ
ックについて個々のブロックに隣接する他ブロックの動
きベクトル候補の平均ベクトル成分を当該ブロックの新
たな動きベクトル候補として更新することを特徴とす
る、 動きベクトル検出方法。 - 【請求項2】 連続する第1画像フレームと第2画像フ
レームとを取得し、前記第1画像フレームを保持すると
ともに、前記第2画像フレームを複数のブロックに分割
し、これにより得られた各ブロックを、互いに他グルー
プのものが隣接する第1グループおよび第2グループの
ブロック群に分類する前処理工程と、 前記第1グループに属する個々のブロックの画素と前記
第1画像フレームの探索位置の画素との間の平均誤差評
価関数値を演算し、この平均誤差評価関数値が最小とな
る探索位置を指し示すベクトル成分を当該ブロックにお
ける動きベクトル候補として特定するとともに、前記第
2グループに属する個々のブロックに隣接する他ブロッ
クの動きベクトル候補の平均ベクトル成分を当該ブロッ
クにおける動きベクトル候補として特定する初期探索工
程と、 前記第1グループに属する個々のブロックに隣接する他
ブロックの動きベクトル候補の平均ベクトル成分を学習
して当該ブロックの新たな動きベクトル候補として更新
する第1詳細探索工程と、 第2グループに属する個々のブロックに隣接する他ブロ
ックの動きベクトル候補の平均ベクトル成分を学習して
当該ブロックの新たな動きベクトル候補として更新する
第2詳細探索工程とを含み、 更新された各ブロックの動きベクトル候補を前記動きベ
クトルとすることを特徴とする動きベクトル検出方法。 - 【請求項3】 前記初期探索工程は、前記第1グループ
の個々のブロックと前記第1画像フレームとの間で動き
の無い位置を起点として段階的に探索位置を拡げて前記
平均誤差評価関数値を演算し、当該平均誤差評価関数値
が収束した位置を指し示すベクトル成分を当該ブロック
の動きベクトル候補として特定することを特徴とする、 請求項2記載の動きベクトル検出方法。 - 【請求項4】 前記平均ベクトル成分の学習は、当該平
均ベクトル成分が指し示す第1画像フレーム上の探索位
置を所定方向に変えながら画像フレーム間の画素の平均
誤差評価関数値を演算し、前記平均誤差評価関数値が相
対的に小さくなる位置を指し示すベクトル成分を当該ブ
ロックの新たな動きベクトル候補として更新する処理で
あることを特徴とする、 請求項2記載の動きベクトル検出方法。 - 【請求項5】 前記探索位置を、スパイラル状に拡がる
方向に変えることを特徴とする、 請求項3記載の動きベクトル検出方法。 - 【請求項6】 前記探索位置を変える過程で前記平均ベ
クトル成分が同一ブロック内の他の平均ベクトル成分に
対して所定の閾値以上に近似しない場合に、当該平均ベ
クトル成分が指し示す位置を、前記探索位置の新たな起
点とすることを特徴とする、 請求項5記載の動きベクトル検出方法。 - 【請求項7】 前記平均誤差評価関数値が収束基準値を
越える場合は探索位置を変えて前記平均誤差評価関数値
を再演算し、一方、前記収束基準値以内のときに、直ち
に同一グループの他のブロックについての前記平均ベク
トル成分の学習に移行することを特徴とする、請求項3
記載の動きベクトル検出方法。 - 【請求項8】 前記第1詳細探索工程と前記第2詳細探
索工程とを交互に繰り返し、その際に前記収束基準値を
前回のものより低下させることを特徴とする、請求項7
記載の動きベクトル検出方法。 - 【請求項9】 連続する第1画像フレームおよび第2画
像フレームを取得する画像フレーム取得手段と、 前記第2画像フレームを複数のブロックに分割するとと
もに、分割された各ブロックを、互いに他グループのも
のが隣接する第1グループおよび第2グループのブロッ
ク群に分類する前処理手段と、 前記第1グループに属する個々のブロックと前記第1画
像フレームの該当位置とを結ぶ第1動きベクトル候補、
および、前記第2グループに属する個々のブロックと前
記第1画像フレームの該当位置とを結ぶ第2動きベクト
ル候補をそれぞれ概略的に特定するとともに、特定した
各動きベクトル候補を、当該ブロックに隣接する他ブロ
ックの動きベクトル候補の平均ベクトル成分に基づいて
画像フレーム間の平均誤差評価関数値が小さくなる方向
に学習させる動きベクトル学習手段とを有することを特
徴とする、動きベクトル検出装置。 - 【請求項10】 前記動きベクトル学習手段は、すべて
のブロックについて前記概略的な動きベクトル候補を特
定した後、前記第1グループのすべてのブロックについ
ての前記平均ベクトル成分の学習と前記第2グループの
すべてのブロックについての前記平均ベクトル成分の学
習とを交互に繰り返すことを特徴とする請求項9記載の
動きベクトル検出装置。 - 【請求項11】 前記動きベクトル学習手段は、前記平
均誤差評価関数値が収束基準値以内のときは直ちに同一
グループの他のブロックについて前記平均ベクトル成分
を学習させるように構成され、当該学習が繰り返される
度に前記収束基準値が低くなるように構成されているこ
とを特徴とする、請求項10記載の動きベクトル検出装
置。 - 【請求項12】 動画像データを画像フレーム単位に分
解する画像データ処理装置と、この画像データ処理手段
から時系列に出力される第1画像フレームと第2画像フ
レームとから動きベクトルを検出する動きベクトル検出
装置とを有し、この動きベクトル検出装置で検出された
動きベクトルに基づいて前記第1画像フレームの動き検
出を行って予測符号化を行う装置であって、 前記動きベクトル検出装置が請求項9、10又は11記
載の動きベクトル検出装置であることを特徴とする予測
符号化装置。 - 【請求項13】 連続する第1画像フレームと第2画像
フレームとを取得し、前記第1画像フレームを保持する
とともに、前記第2画像フレームを複数のブロックに分
割し、これにより得られた各ブロックを、互いに他グル
ープのものが隣接する第1グループおよび第2グループ
のブロック群に分類する処理、 前記第1グループに属する個々のブロックの画素と前記
第1画像フレームの探索位置の画素との間の平均誤差評
価関数値を演算し、この平均誤差評価関数値が最小とな
る探索位置を指し示すベクトル成分を当該ブロックにお
ける動きベクトル候補として特定する処理、 前記第2グループに属する個々のブロックに隣接する他
ブロックの動きベクトル候補の平均ベクトル成分を当該
ブロックにおける動きベクトル候補として特定する処
理、 前記第1グループに属する個々のブロックに隣接する他
ブロックの動きベクトル候補の平均ベクトル成分を学習
して当該ブロックの新たな動きベクトル候補として更新
する処理、および、 第2グループに属する個々のブロックに隣接する他ブロ
ックの動きベクトル候補の平均ベクトル成分を学習して
当該ブロックの新たな動きベクトル候補として更新する
処理をコンピュータ装置に実行させるためのプログラム
コードが記録されたコンピュータ読取可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21842498A JP4004653B2 (ja) | 1998-08-03 | 1998-08-03 | 動きベクトル検出方法および装置、記録媒体 |
US09/358,208 US6424676B1 (en) | 1998-08-03 | 1999-07-21 | Motion vector detecting method and device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21842498A JP4004653B2 (ja) | 1998-08-03 | 1998-08-03 | 動きベクトル検出方法および装置、記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000050281A true JP2000050281A (ja) | 2000-02-18 |
JP4004653B2 JP4004653B2 (ja) | 2007-11-07 |
Family
ID=16719706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21842498A Expired - Fee Related JP4004653B2 (ja) | 1998-08-03 | 1998-08-03 | 動きベクトル検出方法および装置、記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6424676B1 (ja) |
JP (1) | JP4004653B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6888890B2 (en) | 2000-03-28 | 2005-05-03 | Nec Corporation | Device and method for searching for a motion vector |
JP2014233094A (ja) * | 2010-02-24 | 2014-12-11 | シャープ株式会社 | 画像符号化装置、及び画像復号装置 |
WO2015083300A1 (ja) * | 2013-12-04 | 2015-06-11 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および非一時的なコンピュータ可読媒体 |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000184351A (ja) * | 1998-12-11 | 2000-06-30 | Office Noa:Kk | 動画像配信方法およびそのシステム |
JP2001145109A (ja) * | 1999-11-11 | 2001-05-25 | Nec Corp | 動きベクトル検出装置 |
US6687388B2 (en) * | 2000-01-28 | 2004-02-03 | Sony Corporation | Picture processing apparatus |
WO2001058170A1 (en) * | 2000-02-01 | 2001-08-09 | Koninklijke Philips Electronics N.V. | Video encoding and decoding with selectable image resolution |
WO2001091448A2 (en) * | 2000-05-19 | 2001-11-29 | Koninklijke Philips Electronics N.V. | Method system and apparatus_for motion estimation using block matching |
EP1302045A2 (en) * | 2000-07-21 | 2003-04-16 | PMC-Sierra Ltd. | Reduction of peak to average power ratio |
US6687301B2 (en) * | 2001-03-19 | 2004-02-03 | Fulvio Moschetti | Method for block matching motion estimation in digital video sequences |
US20020136302A1 (en) * | 2001-03-21 | 2002-09-26 | Naiqian Lu | Cascade window searching method and apparatus |
US6931063B2 (en) * | 2001-03-26 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding |
US7450641B2 (en) | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
EP1747678B1 (en) * | 2004-05-04 | 2015-01-07 | Qualcomm, Incorporated | Method and apparatus for motion compensated frame rate up conversion |
TWI392374B (zh) * | 2004-07-01 | 2013-04-01 | Qualcomm Inc | 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置 |
EP2096873A3 (en) * | 2004-07-20 | 2009-10-14 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression |
US8553776B2 (en) * | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
KR20070069615A (ko) * | 2005-12-28 | 2007-07-03 | 삼성전자주식회사 | 움직임 추정장치 및 움직임 추정방법 |
US20070230564A1 (en) * | 2006-03-29 | 2007-10-04 | Qualcomm Incorporated | Video processing with scalability |
US8634463B2 (en) * | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
US8750387B2 (en) * | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
US8144780B2 (en) * | 2007-09-24 | 2012-03-27 | Microsoft Corporation | Detecting visual gestural patterns |
US20100013992A1 (en) * | 2008-07-18 | 2010-01-21 | Zhi Zhou | Method and system for detecting motion at an intermediate position between image fields |
CN101419667B (zh) * | 2008-12-15 | 2010-12-08 | 东软集团股份有限公司 | 识别图像中障碍物的方法和装置 |
US9420308B2 (en) * | 2009-12-18 | 2016-08-16 | Vixs Systems, Inc. | Scaled motion search section with parallel processing and method for use therewith |
US8797414B2 (en) | 2010-12-23 | 2014-08-05 | Samsung Electronics Co., Ltd. | Digital image stabilization device |
WO2012140821A1 (ja) | 2011-04-12 | 2012-10-18 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置 |
MX2013012020A (es) | 2011-05-24 | 2013-12-10 | Panasonic Corp | Metodo de codificacion de imagenes, aparato de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion /decodificacion de imagenes. |
US9485518B2 (en) | 2011-05-27 | 2016-11-01 | Sun Patent Trust | Decoding method and apparatus with candidate motion vectors |
PL3614665T3 (pl) | 2011-05-27 | 2022-07-04 | Sun Patent Trust | Sposób kodowania obrazów, urządzenie do kodowania obrazów, sposób dekodowania obrazów, urządzenie do dekodowania obrazów, i urządzenie do kodowania i dekodowania obrazów |
EP3629583B1 (en) | 2011-05-31 | 2023-10-25 | Sun Patent Trust | Video decoding method, video decoding device |
SG194746A1 (en) | 2011-05-31 | 2013-12-30 | Kaba Gmbh | Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device |
MX2013013029A (es) | 2011-06-30 | 2013-12-02 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes. |
US9456214B2 (en) | 2011-08-03 | 2016-09-27 | Sun Patent Trust | Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
WO2013057877A1 (ja) | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置 |
US10602175B2 (en) * | 2012-12-21 | 2020-03-24 | Nvidia Corporation | Using an average motion vector for a motion search |
US10457578B1 (en) | 2018-06-22 | 2019-10-29 | Gary McInnis | Automated sulfur burner for agricultural irrigation |
CN113508595B (zh) * | 2019-03-08 | 2023-11-28 | 华为技术有限公司 | 运动矢量细化的搜索区域 |
CN113076894B (zh) * | 2021-04-09 | 2022-05-17 | 中山大学 | 一种连续帧目标检测去重方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3019787B2 (ja) * | 1996-09-20 | 2000-03-13 | 日本電気株式会社 | 動きベクトル検出装置 |
JP2897761B2 (ja) * | 1997-07-18 | 1999-05-31 | 日本電気株式会社 | ブロック・マッチング演算装置及びプログラムを記録した機械読み取り可能な記録媒体 |
US6128047A (en) * | 1998-05-20 | 2000-10-03 | Sony Corporation | Motion estimation process and system using sparse search block-matching and integral projection |
-
1998
- 1998-08-03 JP JP21842498A patent/JP4004653B2/ja not_active Expired - Fee Related
-
1999
- 1999-07-21 US US09/358,208 patent/US6424676B1/en not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6888890B2 (en) | 2000-03-28 | 2005-05-03 | Nec Corporation | Device and method for searching for a motion vector |
JP2014233094A (ja) * | 2010-02-24 | 2014-12-11 | シャープ株式会社 | 画像符号化装置、及び画像復号装置 |
JP2016103851A (ja) * | 2010-02-24 | 2016-06-02 | シャープ株式会社 | 画像復号装置 |
JP2017079473A (ja) * | 2010-02-24 | 2017-04-27 | シャープ株式会社 | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体 |
WO2015083300A1 (ja) * | 2013-12-04 | 2015-06-11 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および非一時的なコンピュータ可読媒体 |
US10136154B2 (en) | 2013-12-04 | 2018-11-20 | Nec Corporation | Video coding apparatus, video coding method, and non-transitory computer readable medium |
Also Published As
Publication number | Publication date |
---|---|
JP4004653B2 (ja) | 2007-11-07 |
US6424676B1 (en) | 2002-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4004653B2 (ja) | 動きベクトル検出方法および装置、記録媒体 | |
JP4528441B2 (ja) | ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置 | |
EP1389016B1 (en) | Improved motion estimation and block matching pattern | |
KR950009699B1 (ko) | 움직임벡터 검출방법 및 장치 | |
US6128047A (en) | Motion estimation process and system using sparse search block-matching and integral projection | |
US6404932B1 (en) | Apparatus and method of decoding an image using a statistical model based on pixels | |
US6549576B1 (en) | Motion vector detecting method and apparatus | |
US20020015513A1 (en) | Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded | |
JP3655651B2 (ja) | データ処理装置 | |
JP2003528500A (ja) | 動き推定アルゴリズム | |
US6317460B1 (en) | Motion vector generation by temporal interpolation | |
US6408101B1 (en) | Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation | |
CN112954318A (zh) | 数据编码方法及装置 | |
US7773673B2 (en) | Method and apparatus for motion estimation using adaptive search pattern for video sequence compression | |
EP0973336A2 (en) | Motion vector detecting, picture encoding and recording method and apparatus | |
JP3867346B2 (ja) | 画像信号処理装置及び方法並びに予測パラメータの学習装置及び方法 | |
JP4228705B2 (ja) | 動きベクトル探索方法および装置 | |
JP2007067552A (ja) | 階層間予測処理方法,階層間予測処理装置,階層間予測処理プログラムおよびその記録媒体 | |
US20090268822A1 (en) | Motion vector detection by stepwise search | |
CN113810692A (zh) | 对变化和移动进行分帧的方法、图像处理装置及程序产品 | |
JP2004064518A (ja) | 動画像符号化方法、動画像符号化装置、およびコンピュータプログラム | |
JP3694349B2 (ja) | 輪郭符号化装置 | |
JPH07240927A (ja) | 映像符号化装置 | |
KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
JP3908793B2 (ja) | 画像照合方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070822 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |