JP2000050281A - 動きベクトル検出方法および装置、記録媒体 - Google Patents
動きベクトル検出方法および装置、記録媒体Info
- Publication number
- JP2000050281A JP2000050281A JP21842498A JP21842498A JP2000050281A JP 2000050281 A JP2000050281 A JP 2000050281A JP 21842498 A JP21842498 A JP 21842498A JP 21842498 A JP21842498 A JP 21842498A JP 2000050281 A JP2000050281 A JP 2000050281A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- block
- group
- blocks
- image frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 広い探索範囲を確保しつつ誤った動きベクト
ルの検出を抑制することができる、改良された動きベク
トル検索方法を提供する。 【解決手段】 第１画像フレームと第２画像フレームと
から動きベクトルを検出する際に、ブロック化部３２で
第２画像フレームを複数のブロックに分割し、各分割ブ
ロックを、ブロック分類部３３で、互いに他グループの
ものが隣接する第１グループおよび第２グループのブロ
ック群に分類する。動きベクトル学習手段は、各グルー
プのブロックについて動きベクトル候補を特定した後、
第１グループのブロックについて個々のブロックに隣接
する他ブロックの動きベクトル候補の平均ベクトル成分
を学習して当該ブロックの新たな動きベクトル候補とし
て更新する処理と、第２グループについての同様の学習
とを一定時間繰り返す。
ルの検出を抑制することができる、改良された動きベク
トル検索方法を提供する。 【解決手段】 第１画像フレームと第２画像フレームと
から動きベクトルを検出する際に、ブロック化部３２で
第２画像フレームを複数のブロックに分割し、各分割ブ
ロックを、ブロック分類部３３で、互いに他グループの
ものが隣接する第１グループおよび第２グループのブロ
ック群に分類する。動きベクトル学習手段は、各グルー
プのブロックについて動きベクトル候補を特定した後、
第１グループのブロックについて個々のブロックに隣接
する他ブロックの動きベクトル候補の平均ベクトル成分
を学習して当該ブロックの新たな動きベクトル候補とし
て更新する処理と、第２グループについての同様の学習
とを一定時間繰り返す。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像データの符
号化技術に係り、特に、動画像データに含まれる動きベ
クトルを効率的に検出する方法およびその関連技術に関
する。
号化技術に係り、特に、動画像データに含まれる動きベ
クトルを効率的に検出する方法およびその関連技術に関
する。
【０００２】
【発明の背景】例えばテレビ会議システムのように、動
画像データを通信媒体を通じて相手側端末に伝送した
り、動画像データをＤＶＤ（Digital Video Disk）等に
記録する際に、符号化を施し、原データサイズ以下に圧
縮することが一般的になっている。
画像データを通信媒体を通じて相手側端末に伝送した
り、動画像データをＤＶＤ（Digital Video Disk）等に
記録する際に、符号化を施し、原データサイズ以下に圧
縮することが一般的になっている。
【０００３】通常、動画像データは多数の画像フレーム
から構成されるが、時間的な相関を利用すれば、これを
効率的に符号化することが可能であることは、良く知ら
れている。例えば、時刻ｔ１と時刻ｔ２とで撮像して得
た画像フレーム＃１と画像フレーム＃２とが存在する場
合に、その差分データである画像フレーム＃１２を計算
によって求め、この画像フレーム＃１２を画像フレーム
＃２の代わりに符号化することで、効率良く動画像デー
タを圧縮することが可能となる。これは、画像フレーム
＃１２が画像フレーム＃１と画像フレーム＃２との時間
的な相関を利用したデータであり、通常の画像の動き程
度では小さな値をもつことが多いことによる。
から構成されるが、時間的な相関を利用すれば、これを
効率的に符号化することが可能であることは、良く知ら
れている。例えば、時刻ｔ１と時刻ｔ２とで撮像して得
た画像フレーム＃１と画像フレーム＃２とが存在する場
合に、その差分データである画像フレーム＃１２を計算
によって求め、この画像フレーム＃１２を画像フレーム
＃２の代わりに符号化することで、効率良く動画像デー
タを圧縮することが可能となる。これは、画像フレーム
＃１２が画像フレーム＃１と画像フレーム＃２との時間
的な相関を利用したデータであり、通常の画像の動き程
度では小さな値をもつことが多いことによる。
【０００４】最近は、効率的な符号化技術を用いて圧縮
率をより向上させるための手法も種々提案されている。
例えば、画像フレーム間の動きベクトルを検出し、この
動きベクトルを符号化することで圧縮率を高める技術が
知られている。この技術は、例えば画像フレーム＃２
を、微小な領域、例えば１６×１６画素の矩形ブロック
に分割し、各矩形ブロックを画像フレーム＃２に透間な
く並べる。そして、それぞれの矩形ブロックに似た小領
域を画像フレーム＃１から探し出し、画像フレーム＃１
からの、その小領域における差分データを計算する。
率をより向上させるための手法も種々提案されている。
例えば、画像フレーム間の動きベクトルを検出し、この
動きベクトルを符号化することで圧縮率を高める技術が
知られている。この技術は、例えば画像フレーム＃２
を、微小な領域、例えば１６×１６画素の矩形ブロック
に分割し、各矩形ブロックを画像フレーム＃２に透間な
く並べる。そして、それぞれの矩形ブロックに似た小領
域を画像フレーム＃１から探し出し、画像フレーム＃１
からの、その小領域における差分データを計算する。
【０００５】上記の差分データとその絶対値の平均値と
を演算する。この絶対値の平均値は、画像フレーム＃１
２のそれよりも更に小さくなって、符号化効率を向上さ
せることが期待できる。この場合、探し出した小領域の
位置からのオフセット値は、「動きベクトル」として、
差分データと共に符号化する必要があるが、それでも符
号化後のデータサイズは、動きベクトルを使用しない場
合に比べて小さくなるのが殆どである。
を演算する。この絶対値の平均値は、画像フレーム＃１
２のそれよりも更に小さくなって、符号化効率を向上さ
せることが期待できる。この場合、探し出した小領域の
位置からのオフセット値は、「動きベクトル」として、
差分データと共に符号化する必要があるが、それでも符
号化後のデータサイズは、動きベクトルを使用しない場
合に比べて小さくなるのが殆どである。
【０００６】このように、画像フレーム＃１から画像フ
レーム＃２の矩形ブロックに似た画素特徴をもつ小領域
を探し出し、両者のオフセットを検出することを、「動
きベクトル検出」と呼ぶ。具体的には、画像フレーム＃
２上の矩形ブロックＧ２に似た画素特徴をもつ画像フレ
ーム＃１上の位置Ｇ１を探索し、その位置Ｇ１の画素値
と矩形ブロックＧ２に属するすべての画素値との評価関
数値の合計を求め、それが最小となる位置を指し示すベ
クトル成分を動きベクトルｍｂとする。通常、評価関数
値には、絶対値や差分の２乗値が用いられる。このよう
に動きベクトルを使用して動画像データを圧縮する手法
として、ＣＣＩＴＴ勧告によるＨ．２６１方式や、ＩＳ
ＯによるＭＰＥＧ（Moving Picture Experts Group）方
式等が知られている。
レーム＃２の矩形ブロックに似た画素特徴をもつ小領域
を探し出し、両者のオフセットを検出することを、「動
きベクトル検出」と呼ぶ。具体的には、画像フレーム＃
２上の矩形ブロックＧ２に似た画素特徴をもつ画像フレ
ーム＃１上の位置Ｇ１を探索し、その位置Ｇ１の画素値
と矩形ブロックＧ２に属するすべての画素値との評価関
数値の合計を求め、それが最小となる位置を指し示すベ
クトル成分を動きベクトルｍｂとする。通常、評価関数
値には、絶対値や差分の２乗値が用いられる。このよう
に動きベクトルを使用して動画像データを圧縮する手法
として、ＣＣＩＴＴ勧告によるＨ．２６１方式や、ＩＳ
ＯによるＭＰＥＧ（Moving Picture Experts Group）方
式等が知られている。
【０００７】ところで、動きベクトル検出に際しては、
ある画像フレームの矩形ブロックに対応する他の画像フ
レーム上の位置をどのようにして特定するか、つまり探
索手法が問題となる。これについては、良く知られた手
法として、「全探索法」と呼ばれる探索手法がある。
ある画像フレームの矩形ブロックに対応する他の画像フ
レーム上の位置をどのようにして特定するか、つまり探
索手法が問題となる。これについては、良く知られた手
法として、「全探索法」と呼ばれる探索手法がある。
【０００８】全探索法では、２つの画素がどの程度似て
いるかを誤差評価関数で表し、その合計値が最も小さい
画素を含む矩形ブロックを似ている矩形ブロックとす
る。誤差評価関数は、ferror(pixel1、pixel2)、例えば
画素値pixel1と画素値pixel2の差分の絶対値｜pixel1-p
ixel2｜、または、差分の２乗（（pixel1-pixel2）*（p
ixel1-pixel2））で表される。いま、符号化しようとす
る画像フレームの、ある位置(ｘ,ｙ)における矩形ブロ
ックをＡとして、この矩形ブロックＡのそれぞれの画素
をＡ(bx,by)とする。一方、動きベクトル検出の際の探
索範囲となる画像フレームの、ある位置(x+dx,x+dy)に
おける矩形ブロックＡと同じ大きさの画素集合をＢとし
て、それぞれの画素をＢ(bx,by)とする。矩形ブロック
Ａの画素集合Ｂに対するそれぞれの画素の誤差評価関数
の合計値をＥ(dx,dy)とすると、この合計値Ｅ(bx,by)
は、下式で表される。 Ｅ(dx,dy)=Σbx(Σby(ferror(Ａ(bx,by),Ｂ(bx,by))) ｄｘの値がdx1..dx2、dyの値がdy1..dy2をとり得るとし
て、この(dx1,dy2)..(dx2,dy2)の矩形を探索範囲とする
と、全探索法は、この探索範囲内で合計値Ｅ(dx,dy)が
最小になる(dx,dy)を求めることで、動きベクトルを検
出する。
いるかを誤差評価関数で表し、その合計値が最も小さい
画素を含む矩形ブロックを似ている矩形ブロックとす
る。誤差評価関数は、ferror(pixel1、pixel2)、例えば
画素値pixel1と画素値pixel2の差分の絶対値｜pixel1-p
ixel2｜、または、差分の２乗（（pixel1-pixel2）*（p
ixel1-pixel2））で表される。いま、符号化しようとす
る画像フレームの、ある位置(ｘ,ｙ)における矩形ブロ
ックをＡとして、この矩形ブロックＡのそれぞれの画素
をＡ(bx,by)とする。一方、動きベクトル検出の際の探
索範囲となる画像フレームの、ある位置(x+dx,x+dy)に
おける矩形ブロックＡと同じ大きさの画素集合をＢとし
て、それぞれの画素をＢ(bx,by)とする。矩形ブロック
Ａの画素集合Ｂに対するそれぞれの画素の誤差評価関数
の合計値をＥ(dx,dy)とすると、この合計値Ｅ(bx,by)
は、下式で表される。 Ｅ(dx,dy)=Σbx(Σby(ferror(Ａ(bx,by),Ｂ(bx,by))) ｄｘの値がdx1..dx2、dyの値がdy1..dy2をとり得るとし
て、この(dx1,dy2)..(dx2,dy2)の矩形を探索範囲とする
と、全探索法は、この探索範囲内で合計値Ｅ(dx,dy)が
最小になる(dx,dy)を求めることで、動きベクトルを検
出する。
【０００９】全探索法は、誤差評価関数を探索範囲内で
すべての位置において演算することから、動きベクトル
検出が正確であると推測されるが、以下のような問題も
ある。
すべての位置において演算することから、動きベクトル
検出が正確であると推測されるが、以下のような問題も
ある。
【００１０】まず、演算量が膨大になるという問題があ
る。より激しい動きに対応するためには、探索範囲を拡
げる必要がある。つまり、画像フレーム間の動きベクト
ルの長さが大きいときに探索範囲が狭いと、真の動きベ
クトルの方向を正しく検出できないので、これを正しく
検出するためには、探索範囲を拡げる必要がある。しか
し、そうすると、演算量が膨大となってしまう。
る。より激しい動きに対応するためには、探索範囲を拡
げる必要がある。つまり、画像フレーム間の動きベクト
ルの長さが大きいときに探索範囲が狭いと、真の動きベ
クトルの方向を正しく検出できないので、これを正しく
検出するためには、探索範囲を拡げる必要がある。しか
し、そうすると、演算量が膨大となってしまう。
【００１１】また、探索結果が探索順序に依存するとい
う問題もある。つまり、誤差評価関数値の合計Ｅ(dx,d
y)は、同一探索範囲内の異なる場所で同じ値をとり得る
ため、探索範囲内での探索順序に結果が依存する。その
結果、真の動きにを反映しない動きベクトルを検出する
ことがある。特に、画像テクスチャが平坦なものであっ
たり、繰り返しパターンであった場合は、ブロックの誤
差評価関数値の合計は、異なる場所で似たような値をと
ることが多い。この場合は、本来の動きとは、かけ離れ
た位置に、たまたま参照元の矩形ブロックと似ている画
素集合を発見する場合がある。この場合は、検出された
動きベクトルが真の動きを反映しない。
う問題もある。つまり、誤差評価関数値の合計Ｅ(dx,d
y)は、同一探索範囲内の異なる場所で同じ値をとり得る
ため、探索範囲内での探索順序に結果が依存する。その
結果、真の動きにを反映しない動きベクトルを検出する
ことがある。特に、画像テクスチャが平坦なものであっ
たり、繰り返しパターンであった場合は、ブロックの誤
差評価関数値の合計は、異なる場所で似たような値をと
ることが多い。この場合は、本来の動きとは、かけ離れ
た位置に、たまたま参照元の矩形ブロックと似ている画
素集合を発見する場合がある。この場合は、検出された
動きベクトルが真の動きを反映しない。
【００１２】さらに、全探索法では、画像の単純な平行
移動を仮定し、また、ノイズも無いとして探索するが、
現実の動画像は絶えず変形を伴っており、また、画像フ
レームにノイズが混入する場合がある。この場合も、最
小の平均誤差評価関数を与える動きベクトルが、必ずし
も真の動きを反映しない。動きの激しい画像の動きを捉
えるために探索範囲を拡げると、このような誤検出が発
生する機会も増加する。この場合、著しく長い誤った動
きベクトルとなってしまうことがある。動画像データの
符号化の際には、動きベクトルも符号化の対象になるの
で、このような場合には、誤差は小さいけれども符号化
ビット量が多い動きベクトルとなっていしまい、結果的
に符号化効率の低下をもたらす。
移動を仮定し、また、ノイズも無いとして探索するが、
現実の動画像は絶えず変形を伴っており、また、画像フ
レームにノイズが混入する場合がある。この場合も、最
小の平均誤差評価関数を与える動きベクトルが、必ずし
も真の動きを反映しない。動きの激しい画像の動きを捉
えるために探索範囲を拡げると、このような誤検出が発
生する機会も増加する。この場合、著しく長い誤った動
きベクトルとなってしまうことがある。動画像データの
符号化の際には、動きベクトルも符号化の対象になるの
で、このような場合には、誤差は小さいけれども符号化
ビット量が多い動きベクトルとなっていしまい、結果的
に符号化効率の低下をもたらす。
【００１３】演算量が多いこの全探索法では、探索範囲
を拡げて動きベクトルを正しく探索することが困難とな
るため、演算量を削減できる手法、例えば、「画素間引
き法」、「探索位置間引き法」、「縮小画像を用いた階
層探索法」も実用化のための検討がなされている。以
下、これらの手法を簡単に説明する。
を拡げて動きベクトルを正しく探索することが困難とな
るため、演算量を削減できる手法、例えば、「画素間引
き法」、「探索位置間引き法」、「縮小画像を用いた階
層探索法」も実用化のための検討がなされている。以
下、これらの手法を簡単に説明する。
【００１４】（１）画素間引き法 画素間引き法は、矩形ブロックにおける平均評価関数を
算出する過程において、矩形ブロック内のすべての画素
を用いずに、代表点だけを用いる手法である。例えば、
矩形ブロックの大きさを１６×１６画素とした場合、矩
形ブロック内の全画素（２５６画素）を用いないで、そ
の半分の１２８画素を対象にしたり、全画素の１／４で
ある６４画素を対象とする。この手法では、対象となる
画素が間引かれるため、全探索法に比べれば動きベクト
ルの検出精度は劣る。特に、間引いた画素における誤差
評価関数の値がその矩形ブロックの代表画素の平均に比
較して著しく異なる場合には、誤検出が起こる。
算出する過程において、矩形ブロック内のすべての画素
を用いずに、代表点だけを用いる手法である。例えば、
矩形ブロックの大きさを１６×１６画素とした場合、矩
形ブロック内の全画素（２５６画素）を用いないで、そ
の半分の１２８画素を対象にしたり、全画素の１／４で
ある６４画素を対象とする。この手法では、対象となる
画素が間引かれるため、全探索法に比べれば動きベクト
ルの検出精度は劣る。特に、間引いた画素における誤差
評価関数の値がその矩形ブロックの代表画素の平均に比
較して著しく異なる場合には、誤検出が起こる。
【００１５】（２）探索位置間引き法 探索位置間引き法は、探索範囲から虱潰しに平均誤差評
価関数を求めずに、まず、粗い探索範囲で動きベクトル
候補の検出を行い、その後、順次精度を上げていく手法
である。例えば、最初に４画素おきに探索して動きベク
トル候補Ａを求め、次に、動きベクトル候補Ａを中心に
して、２画素おきに探索して動きベクトル候補Ｂを求め
る。最後に動きベクトル候補Ｂの周囲の画素を探索して
最終的な動きベクトルＣを得る。
価関数を求めずに、まず、粗い探索範囲で動きベクトル
候補の検出を行い、その後、順次精度を上げていく手法
である。例えば、最初に４画素おきに探索して動きベク
トル候補Ａを求め、次に、動きベクトル候補Ａを中心に
して、２画素おきに探索して動きベクトル候補Ｂを求め
る。最後に動きベクトル候補Ｂの周囲の画素を探索して
最終的な動きベクトルＣを得る。
【００１６】この手法は、エッジ部分の画素の空間にお
ける変化を見逃してしまう可能性があるため、全探索法
に比べれば動きベクトルの検出精度は劣る。また、粗い
探索の時点で動きベクトル候補を限定してしまうため、
精度を上げていく過程において、一旦誤った動きベクト
ル候補を決めてしまうと、それ以降は、それを基準にし
て探索を行うため、正しい動きベクトルを検出すること
ができない。探索位置間引き法と画素間引き法の併用も
可能である。この場合、演算量は更に削減されるが、誤
検出が生ずる可能性も高くなる。
ける変化を見逃してしまう可能性があるため、全探索法
に比べれば動きベクトルの検出精度は劣る。また、粗い
探索の時点で動きベクトル候補を限定してしまうため、
精度を上げていく過程において、一旦誤った動きベクト
ル候補を決めてしまうと、それ以降は、それを基準にし
て探索を行うため、正しい動きベクトルを検出すること
ができない。探索位置間引き法と画素間引き法の併用も
可能である。この場合、演算量は更に削減されるが、誤
検出が生ずる可能性も高くなる。
【００１７】（３）縮小画像を用いた階層探索法 縮小画像を用いた階層探索法は、縮小画像を用いて動き
ベクトル候補の検出を行い、その後、画像の縮小率を低
くしていって順次精度を上げていく手法である。例え
ば、まず、原画像を１／４に縮小した縮小画像で動きベ
クトルＡを求める。次いで、原画像を１／２に縮小した
画像において、動きベクトルＡと相対的に同じ位置を中
心にして他の動きベクトルＢを求める。最後に、原画像
において動きベクトルＡと相対的に同じ位置を中心にし
て最終的な動きベクトルＣを得る。この手法は、演算量
の観点からは、探索位置間引き法と画素間引き法を併用
したものと同じである。縮小画像においては、探索位置
と画素のそれぞれが間引きされるからである。特に、縮
小画像生成に単なる間引きを適用した場合、行われる演
算量は、探索位置間引き法と画素間引き法を併用した場
合と全く等価になる。
ベクトル候補の検出を行い、その後、画像の縮小率を低
くしていって順次精度を上げていく手法である。例え
ば、まず、原画像を１／４に縮小した縮小画像で動きベ
クトルＡを求める。次いで、原画像を１／２に縮小した
画像において、動きベクトルＡと相対的に同じ位置を中
心にして他の動きベクトルＢを求める。最後に、原画像
において動きベクトルＡと相対的に同じ位置を中心にし
て最終的な動きベクトルＣを得る。この手法は、演算量
の観点からは、探索位置間引き法と画素間引き法を併用
したものと同じである。縮小画像においては、探索位置
と画素のそれぞれが間引きされるからである。特に、縮
小画像生成に単なる間引きを適用した場合、行われる演
算量は、探索位置間引き法と画素間引き法を併用した場
合と全く等価になる。
【００１８】この手法では、原画像を縮小する際に画像
の細かいテクスチャが失われるので、細かい絵柄を含む
画像に対しては全探索法に比べて動きベクトルの検出精
度は劣る。また、動きベクトルの検出精度は縮小画像の
生成方法に依存する。単純な間引きではなく、例えば、
１／２縮小画像を、これに対応する原画像の２×２画
素、もしくはそれ以上の画素を参照して重み付けを行
い、その平均をとることによって作成した場合は、探索
位置間引き法と画素間引き法を併用したものよりは、動
きベクトルの検出精度は高まる。これは、画素間引き法
が単純に間引いた画素を捨て去るのと比べて、縮小画像
生成時に全ての画素を参照することによる。また、探索
点間引き法に対しても同様のことがいえ、探索点間引き
法が見逃してしまう可能性のあるエッジ等の情報も捉ら
える確率は高くなる。これは、探索点間引き法が単純に
その探索位置を無視したのに比べて、縮小画像を用いた
階層探索法は、縮小画像を生成する過程において全ての
探索位置を隙間なく調べるからである。
の細かいテクスチャが失われるので、細かい絵柄を含む
画像に対しては全探索法に比べて動きベクトルの検出精
度は劣る。また、動きベクトルの検出精度は縮小画像の
生成方法に依存する。単純な間引きではなく、例えば、
１／２縮小画像を、これに対応する原画像の２×２画
素、もしくはそれ以上の画素を参照して重み付けを行
い、その平均をとることによって作成した場合は、探索
位置間引き法と画素間引き法を併用したものよりは、動
きベクトルの検出精度は高まる。これは、画素間引き法
が単純に間引いた画素を捨て去るのと比べて、縮小画像
生成時に全ての画素を参照することによる。また、探索
点間引き法に対しても同様のことがいえ、探索点間引き
法が見逃してしまう可能性のあるエッジ等の情報も捉ら
える確率は高くなる。これは、探索点間引き法が単純に
その探索位置を無視したのに比べて、縮小画像を用いた
階層探索法は、縮小画像を生成する過程において全ての
探索位置を隙間なく調べるからである。
【００１９】また、探索位置間引き法と同様、粗い探索
点でまず動きベクトル候補を限定するため、必ずしも最
小の平均誤差関数値を与える動きベクトルが求まるとは
限らない。また、精度を上げていく過程において、一旦
誤った動きベクトルを求めてしまうと、それ以降は、正
しい動きベクトルを検出できなくなる。なお、縮小画像
における階層探索法の場合も、探索位置間引き法または
画素間引き法、あるいは、その両方を併用することも可
能であり、その場合、演算量は更に削減されるが、動き
ベクトル検出精度における個々の利点は失われ、誤った
動きベクトルを検出する可能性が高くなる。つまり、演
算量と検出精度とは、トレード・オフの関係にある。
点でまず動きベクトル候補を限定するため、必ずしも最
小の平均誤差関数値を与える動きベクトルが求まるとは
限らない。また、精度を上げていく過程において、一旦
誤った動きベクトルを求めてしまうと、それ以降は、正
しい動きベクトルを検出できなくなる。なお、縮小画像
における階層探索法の場合も、探索位置間引き法または
画素間引き法、あるいは、その両方を併用することも可
能であり、その場合、演算量は更に削減されるが、動き
ベクトル検出精度における個々の利点は失われ、誤った
動きベクトルを検出する可能性が高くなる。つまり、演
算量と検出精度とは、トレード・オフの関係にある。
【００２０】いずれにしても、動きベクトルの検出に際
して、一定の検出精度を確保しようとすれば、かなりの
演算量が必要となる。そのため、これまでは、演算処理
を並列的に実行できるようにした専用ＬＳＩが用いられ
ることが多く、ＣＰＵやＭＰＵに読み込まれて実行され
るソフトウェアで動きベクトルを検出することは殆ど行
われていない。しかしながら、ＣＰＵ等の処理速度は年
々高速化しているため、今後は、柔軟な処理形態が可能
となるソフトウェアによる実装も考えられる。動きベク
トル検出のすべてをソフトウェア化しないまでも、階層
的に動きベクトルを検出する際に、一部の層、例えば、
最終的に原画像データで１画素おきに探索する部分だけ
をハードウェアによる実装として、残りをソフトウェア
化することも考えられる。
して、一定の検出精度を確保しようとすれば、かなりの
演算量が必要となる。そのため、これまでは、演算処理
を並列的に実行できるようにした専用ＬＳＩが用いられ
ることが多く、ＣＰＵやＭＰＵに読み込まれて実行され
るソフトウェアで動きベクトルを検出することは殆ど行
われていない。しかしながら、ＣＰＵ等の処理速度は年
々高速化しているため、今後は、柔軟な処理形態が可能
となるソフトウェアによる実装も考えられる。動きベク
トル検出のすべてをソフトウェア化しないまでも、階層
的に動きベクトルを検出する際に、一部の層、例えば、
最終的に原画像データで１画素おきに探索する部分だけ
をハードウェアによる実装として、残りをソフトウェア
化することも考えられる。
【００２１】現在、ソフトウェアによって動きベクトル
検出を行う場合の障害は、画像フレーム間の画素集合の
対応位置を見つけるための演算量が膨大なために処理の
実時間性が保証できず、逆に実時間性を重視した場合に
は検出精度が著しく低下することである。特に全探索法
を用いて実時間性を保証しようとすると、非常に狭い探
索範囲しか実現できない。
検出を行う場合の障害は、画像フレーム間の画素集合の
対応位置を見つけるための演算量が膨大なために処理の
実時間性が保証できず、逆に実時間性を重視した場合に
は検出精度が著しく低下することである。特に全探索法
を用いて実時間性を保証しようとすると、非常に狭い探
索範囲しか実現できない。
【００２２】そこで、本発明の課題は、上述の各探索法
の利点を活かして、広い探索範囲を確保しつつ誤った動
きベクトルの検出を抑制することができる、改良された
動きベクトル検索技術を提供することにある。また、ソ
フトウェアによる実装をも容易にする改良された手法を
提供することにある。
の利点を活かして、広い探索範囲を確保しつつ誤った動
きベクトルの検出を抑制することができる、改良された
動きベクトル検索技術を提供することにある。また、ソ
フトウェアによる実装をも容易にする改良された手法を
提供することにある。
【００２３】
【課題を解決するための手段】本発明は、上記課題を解
決する、改良された動きベクトル方法を提供する。この
動きベクトル検出方法は、連続する第１画像フレームと
第２画像フレームとの間の対応画素を指し示す動きベク
トルを検出する際に、前記第２画像フレームを複数のブ
ロックに分割するとともに各ブロックを互いに他グルー
プのものが隣接する第１グループおよび第２グループの
ブロック群に分類し、第１グループに属するすべてのブ
ロックについて動きベクトル候補を画像フレーム間の平
均誤差評価関数値に基づいて特定した後、第２グループ
に属するすべてのブロックについて個々のブロックに隣
接する他ブロックの動きベクトル候補の平均ベクトル成
分を当該ブロックの動きベクトル候補として特定し、さ
らに、第１グループに属するすべてのブロックについて
個々のブロックに隣接する他ブロックの動きベクトル候
補の平均ベクトル成分を当該ブロックの新たな動きベク
トル候補として更新することを特徴とする。これによ
り、第２画像フレームのすべてのブロックについて平均
誤差評価関数値を演算する場合に比べて、演算量を少な
くすることができる。本発明はまた、下記の工程を含む
動きベクトル検出方法をも提供する。 （１−１）連続する第１画像フレームと第２画像フレー
ムとを取得して前記第１画像フレームを保持するととも
に、前記第２画像フレームを複数のブロックに分割し、
これにより得られた各ブロックを、互いに他グループの
ものが隣接する第１グループおよび第２グループのブロ
ック群に分類する前処理工程、（１−２）前記第１グル
ープに属する個々のブロックの画素と前記第１画像フレ
ームの探索位置の画素との間の平均誤差評価関数値を演
算し、この平均誤差評価関数値が最小となる探索位置を
指し示すベクトル成分を当該ブロックにおける動きベク
トル候補として特定するとともに、前記第２グループに
属する個々のブロックに隣接する他ブロックの動きベク
トル候補の平均ベクトル成分を当該ブロックにおける動
きベクトル候補として特定する初期探索工程、（１−
３）前記第１グループに属する個々のブロックに隣接す
る他ブロックの動きベクトル候補の平均ベクトル成分を
学習して当該ブロックの新たな動きベクトル候補として
更新する第１詳細探索工程、（１−４）第２グループに
属する個々のブロックに隣接する他ブロックの動きベク
トル候補の平均ベクトル成分を学習して当該ブロックの
新たな動きベクトル候補として更新する第２詳細探索工
程。
決する、改良された動きベクトル方法を提供する。この
動きベクトル検出方法は、連続する第１画像フレームと
第２画像フレームとの間の対応画素を指し示す動きベク
トルを検出する際に、前記第２画像フレームを複数のブ
ロックに分割するとともに各ブロックを互いに他グルー
プのものが隣接する第１グループおよび第２グループの
ブロック群に分類し、第１グループに属するすべてのブ
ロックについて動きベクトル候補を画像フレーム間の平
均誤差評価関数値に基づいて特定した後、第２グループ
に属するすべてのブロックについて個々のブロックに隣
接する他ブロックの動きベクトル候補の平均ベクトル成
分を当該ブロックの動きベクトル候補として特定し、さ
らに、第１グループに属するすべてのブロックについて
個々のブロックに隣接する他ブロックの動きベクトル候
補の平均ベクトル成分を当該ブロックの新たな動きベク
トル候補として更新することを特徴とする。これによ
り、第２画像フレームのすべてのブロックについて平均
誤差評価関数値を演算する場合に比べて、演算量を少な
くすることができる。本発明はまた、下記の工程を含む
動きベクトル検出方法をも提供する。 （１−１）連続する第１画像フレームと第２画像フレー
ムとを取得して前記第１画像フレームを保持するととも
に、前記第２画像フレームを複数のブロックに分割し、
これにより得られた各ブロックを、互いに他グループの
ものが隣接する第１グループおよび第２グループのブロ
ック群に分類する前処理工程、（１−２）前記第１グル
ープに属する個々のブロックの画素と前記第１画像フレ
ームの探索位置の画素との間の平均誤差評価関数値を演
算し、この平均誤差評価関数値が最小となる探索位置を
指し示すベクトル成分を当該ブロックにおける動きベク
トル候補として特定するとともに、前記第２グループに
属する個々のブロックに隣接する他ブロックの動きベク
トル候補の平均ベクトル成分を当該ブロックにおける動
きベクトル候補として特定する初期探索工程、（１−
３）前記第１グループに属する個々のブロックに隣接す
る他ブロックの動きベクトル候補の平均ベクトル成分を
学習して当該ブロックの新たな動きベクトル候補として
更新する第１詳細探索工程、（１−４）第２グループに
属する個々のブロックに隣接する他ブロックの動きベク
トル候補の平均ベクトル成分を学習して当該ブロックの
新たな動きベクトル候補として更新する第２詳細探索工
程。
【００２４】前記平均ベクトル成分の学習は、例えば、
当該平均ベクトル成分が指し示す第１画像フレーム上の
探索位置を所定方向に変えながら画像フレーム間の画素
の平均誤差評価関数値を演算し、前記平均誤差評価関数
値が相対的に小さくなる位置を指し示すベクトル成分を
当該ブロックの新たな動きベクトル候補として更新する
処理である。前記探索位置を変える過程で前記平均ベク
トル成分が同一ブロック内の他の平均ベクトル成分に対
して所定の閾値以上に近似しない場合は、当該平均ベク
トル成分が指し示す位置を前記探索位置の新たな起点と
する。
当該平均ベクトル成分が指し示す第１画像フレーム上の
探索位置を所定方向に変えながら画像フレーム間の画素
の平均誤差評価関数値を演算し、前記平均誤差評価関数
値が相対的に小さくなる位置を指し示すベクトル成分を
当該ブロックの新たな動きベクトル候補として更新する
処理である。前記探索位置を変える過程で前記平均ベク
トル成分が同一ブロック内の他の平均ベクトル成分に対
して所定の閾値以上に近似しない場合は、当該平均ベク
トル成分が指し示す位置を前記探索位置の新たな起点と
する。
【００２５】また、前記平均誤差評価関数値が収束基準
値以内のときは直ちに同一グループの他のブロックにつ
いての前記平均ベクトル成分の学習に移行するように
し、好ましくは、前記第１詳細探索工程と前記第２詳細
探索工程とを交互に繰り返しながら、前記収束基準値を
前回のものより低下させるようにする。これにより、動
きベクトルの検出精度が次第に高まるようになる。
値以内のときは直ちに同一グループの他のブロックにつ
いての前記平均ベクトル成分の学習に移行するように
し、好ましくは、前記第１詳細探索工程と前記第２詳細
探索工程とを交互に繰り返しながら、前記収束基準値を
前回のものより低下させるようにする。これにより、動
きベクトルの検出精度が次第に高まるようになる。
【００２６】本発明は、また、下記の機能を有する動き
ベクトル検出装置を提供する。 （２−１）時間的に連続する第１画像フレームおよび第
２画像フレームを取得する画像フレーム取得手段、（２
−２）前記第２画像フレームを複数のブロックに分割す
るとともに、分割された各ブロックを、互いに他グルー
プのものが隣接する第１グループおよび第２グループの
ブロック群に分類する前処理手段、（２−３）前記第１
グループに属する個々のブロックと前記第１画像フレー
ムの該当位置とを結ぶ第１動きベクトル候補、および、
前記第２グループに属する個々のブロックと前記第１画
像フレームの該当位置とを結ぶ第２動きベクトル候補を
それぞれ概略的に特定するとともに、特定した各動きベ
クトル候補を、当該ブロックに隣接する他ブロックの動
きベクトル候補の平均ベクトル成分に基づいて画像フレ
ーム間の平均誤差評価関数値が小さくなる方向に学習さ
せる動きベクトル学習手段。
ベクトル検出装置を提供する。 （２−１）時間的に連続する第１画像フレームおよび第
２画像フレームを取得する画像フレーム取得手段、（２
−２）前記第２画像フレームを複数のブロックに分割す
るとともに、分割された各ブロックを、互いに他グルー
プのものが隣接する第１グループおよび第２グループの
ブロック群に分類する前処理手段、（２−３）前記第１
グループに属する個々のブロックと前記第１画像フレー
ムの該当位置とを結ぶ第１動きベクトル候補、および、
前記第２グループに属する個々のブロックと前記第１画
像フレームの該当位置とを結ぶ第２動きベクトル候補を
それぞれ概略的に特定するとともに、特定した各動きベ
クトル候補を、当該ブロックに隣接する他ブロックの動
きベクトル候補の平均ベクトル成分に基づいて画像フレ
ーム間の平均誤差評価関数値が小さくなる方向に学習さ
せる動きベクトル学習手段。
【００２７】前記動きベクトル学習手段は、すべてのブ
ロックについて前記概略的な動きベクトル候補を特定し
た後、前記第１グループのすべてのブロックについての
前記平均ベクトル成分の学習と前記第２グループのすべ
てのブロックについての前記平均ベクトル成分の学習と
を交互に繰り返すように構成される。また、前記平均誤
差評価関数値が収束基準値以内に低下した時点で同一グ
ループの他のブロックについて前記平均ベクトル成分を
学習させ、この学習が繰り返される度に前記収束基準値
が低下するように構成される。
ロックについて前記概略的な動きベクトル候補を特定し
た後、前記第１グループのすべてのブロックについての
前記平均ベクトル成分の学習と前記第２グループのすべ
てのブロックについての前記平均ベクトル成分の学習と
を交互に繰り返すように構成される。また、前記平均誤
差評価関数値が収束基準値以内に低下した時点で同一グ
ループの他のブロックについて前記平均ベクトル成分を
学習させ、この学習が繰り返される度に前記収束基準値
が低下するように構成される。
【００２８】本発明は、さらに、下記の処理をコンピュ
ータ装置に実行させるためのプログラムコードが記録さ
れたコンピュータ読取可能な記録媒体を提供する。 （３−１）時間的に連続する第１画像フレームと第２画
像フレームとを取得し、前記第１画像フレームを保持す
るとともに、前記第２画像フレームを複数のブロックに
分割し、これにより得られた各ブロックを、互いに他グ
ループのものが隣接する第１グループおよび第２グルー
プのブロック群に分類する処理、（３−２）前記第１グ
ループに属する個々のブロックの画素と前記第１画像フ
レームの探索位置の画素との間の平均誤差評価関数値を
演算し、この平均誤差評価関数値が最小となる探索位置
を指し示すベクトル成分を当該ブロックにおける動きベ
クトル候補として特定する処理、（３−３）前記第２グ
ループに属する個々のブロックに隣接する他ブロックの
動きベクトル候補の平均ベクトル成分を当該ブロックに
おける動きベクトル候補として特定する処理、（３−
４）前記第１グループに属する個々のブロックに隣接す
る他ブロックの動きベクトル候補の平均ベクトル成分を
学習して当該ブロックの新たな動きベクトル候補として
更新する処理、（３−５）第２グループに属する個々の
ブロックに隣接する他ブロックの動きベクトル候補の平
均ベクトル成分を学習して当該ブロックの新たな動きベ
クトル候補として更新する処理。
ータ装置に実行させるためのプログラムコードが記録さ
れたコンピュータ読取可能な記録媒体を提供する。 （３−１）時間的に連続する第１画像フレームと第２画
像フレームとを取得し、前記第１画像フレームを保持す
るとともに、前記第２画像フレームを複数のブロックに
分割し、これにより得られた各ブロックを、互いに他グ
ループのものが隣接する第１グループおよび第２グルー
プのブロック群に分類する処理、（３−２）前記第１グ
ループに属する個々のブロックの画素と前記第１画像フ
レームの探索位置の画素との間の平均誤差評価関数値を
演算し、この平均誤差評価関数値が最小となる探索位置
を指し示すベクトル成分を当該ブロックにおける動きベ
クトル候補として特定する処理、（３−３）前記第２グ
ループに属する個々のブロックに隣接する他ブロックの
動きベクトル候補の平均ベクトル成分を当該ブロックに
おける動きベクトル候補として特定する処理、（３−
４）前記第１グループに属する個々のブロックに隣接す
る他ブロックの動きベクトル候補の平均ベクトル成分を
学習して当該ブロックの新たな動きベクトル候補として
更新する処理、（３−５）第２グループに属する個々の
ブロックに隣接する他ブロックの動きベクトル候補の平
均ベクトル成分を学習して当該ブロックの新たな動きベ
クトル候補として更新する処理。
【００２９】
【発明の実施の形態】以下、本発明を、ＭＰＥＧ方式の
ように、他の画像フレームとの相関を利用して動画像デ
ータを符号化する予測符号化に応用した場合の実施形態
を説明する。
ように、他の画像フレームとの相関を利用して動画像デ
ータを符号化する予測符号化に応用した場合の実施形態
を説明する。
【００３０】図１は、本実施形態による予測符号化装置
の要部構成図である。この予測符号化装置１では、入力
された動画像データを画像処理装置２で画像フレーム単
位に分解し、各画像フレームのデータ（画素値）を、本
発明の動きベクトル検出装置３に順次送る。動きベクト
ル検出装置３は、現在の画像フレームのデータ（以下、
「現フレームデータ」と称する）と直前の画像フレーム
のデータ（以下、「参照フレームデータ」と称する）と
を比較して動きベクトルを検出し、検出した動きベクト
ルを動き補償回路４へ送る。また、現フレームデータを
そのまま減算器５へ送る。動き補償回路４はフレームメ
モリを有しており、このフレームメモリに保持されてい
る参照フレームデータの動き成分を上記動きベクトルで
補償するようになっている。なお、ここでいう「補償」
とは、符号化のための動き成分の補償をいい、後述する
差分データは含まない。動き成分が補償された参照フレ
ームデータは、減算器５と加算器６へ送られる。減算器
５は、現フレームデータと動き成分が補償された参照フ
レームデータとの減算を行い、その差分データをＤＣＴ
（Discrete Cosine Transform）回路７へ送る。ＤＣＴ
回路７は、この差分データをＤＣＴ変換して量子化器８
へ送る。量子化器８は、ＤＣＴ変換された差分データを
量子化して可変長符号器９へ送る。これにより符号化デ
ータが出力される。
の要部構成図である。この予測符号化装置１では、入力
された動画像データを画像処理装置２で画像フレーム単
位に分解し、各画像フレームのデータ（画素値）を、本
発明の動きベクトル検出装置３に順次送る。動きベクト
ル検出装置３は、現在の画像フレームのデータ（以下、
「現フレームデータ」と称する）と直前の画像フレーム
のデータ（以下、「参照フレームデータ」と称する）と
を比較して動きベクトルを検出し、検出した動きベクト
ルを動き補償回路４へ送る。また、現フレームデータを
そのまま減算器５へ送る。動き補償回路４はフレームメ
モリを有しており、このフレームメモリに保持されてい
る参照フレームデータの動き成分を上記動きベクトルで
補償するようになっている。なお、ここでいう「補償」
とは、符号化のための動き成分の補償をいい、後述する
差分データは含まない。動き成分が補償された参照フレ
ームデータは、減算器５と加算器６へ送られる。減算器
５は、現フレームデータと動き成分が補償された参照フ
レームデータとの減算を行い、その差分データをＤＣＴ
（Discrete Cosine Transform）回路７へ送る。ＤＣＴ
回路７は、この差分データをＤＣＴ変換して量子化器８
へ送る。量子化器８は、ＤＣＴ変換された差分データを
量子化して可変長符号器９へ送る。これにより符号化デ
ータが出力される。
【００３１】ＤＣＴ変換された差分データは、量子化器
８へ送られるときに、逆量子化回路１０と逆ＤＣＴ回路
１１にも入力されて元の差分データに復元され、加算器
６に入力されるようになっている。加算器６は、上記参
照フレームデータと復元された差分データとを加算す
る。これにより、現フレームデータが復元される。この
復元された現フレームデータは、次の参照フレームデー
タとして、動き補償回路４のフレームメモリに保持され
る。このように、予測符号化装置１では、現フレームデ
ータと、動きベクトルによってその動き成分が補償され
た参照フレームデータとの差分データが可変長符号化さ
れる。
８へ送られるときに、逆量子化回路１０と逆ＤＣＴ回路
１１にも入力されて元の差分データに復元され、加算器
６に入力されるようになっている。加算器６は、上記参
照フレームデータと復元された差分データとを加算す
る。これにより、現フレームデータが復元される。この
復元された現フレームデータは、次の参照フレームデー
タとして、動き補償回路４のフレームメモリに保持され
る。このように、予測符号化装置１では、現フレームデ
ータと、動きベクトルによってその動き成分が補償され
た参照フレームデータとの差分データが可変長符号化さ
れる。
【００３２】次に、本発明の動きベクトル検出装置３の
構成例を説明する。この動きベクトル検出装置３は、後
述するように、演算量を従来のものより大幅に低減する
ことができるため、専用ＬＳＩによって実現しても良い
が、本実施形態では、これをソフトウェアによって実現
する。
構成例を説明する。この動きベクトル検出装置３は、後
述するように、演算量を従来のものより大幅に低減する
ことができるため、専用ＬＳＩによって実現しても良い
が、本実施形態では、これをソフトウェアによって実現
する。
【００３３】すなわち、オペレーティングシステム（Ｏ
Ｓ）が搭載されたコンピュータシステムに、所定のプロ
グラムコードを読み込ませて実行させることにより、図
２に示すような機能ブロックを当該コンピュータ装置上
に形成し、これをもって、動きベクトル検出装置３を実
現する。
Ｓ）が搭載されたコンピュータシステムに、所定のプロ
グラムコードを読み込ませて実行させることにより、図
２に示すような機能ブロックを当該コンピュータ装置上
に形成し、これをもって、動きベクトル検出装置３を実
現する。
【００３４】プログラムコードは、通常は記録媒体に記
録され、装置構築時にコンピュータシステムの記憶装置
に一括で読み込まれるのが通常であるが、運用中に、適
宜、記録媒体から上記記憶装置に読み込まれるような形
態も可能である。記録媒体としては、半導体メモリ、ハ
ードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ
ＯＭ、ＣＤ−Ｒ、ＤＶＤ、磁気テープのほか、通信路を
介してそのシステムがアクセス可能なプログラムサーバ
等も含まれる。
録され、装置構築時にコンピュータシステムの記憶装置
に一括で読み込まれるのが通常であるが、運用中に、適
宜、記録媒体から上記記憶装置に読み込まれるような形
態も可能である。記録媒体としては、半導体メモリ、ハ
ードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ
ＯＭ、ＣＤ−Ｒ、ＤＶＤ、磁気テープのほか、通信路を
介してそのシステムがアクセス可能なプログラムサーバ
等も含まれる。
【００３５】また、上記プログラムコードを実行するこ
とによって上記各機能が実現されるだけでなく、そのプ
ログラムコードの指示に基づいてコンピュータシステム
上で稼働しているＯＳが実際の処理の一部を行い、その
処理を通じて上記各機能が実現される場合も、本発明の
範囲である。コンピュータシステムとしては、スタンド
アロン型のコンピュータ装置、分散処理型の複数のコン
ピュータ装置、ネットワーク環境下で通信可能な複数の
コンピュータ装置のいずれであっても良い。
とによって上記各機能が実現されるだけでなく、そのプ
ログラムコードの指示に基づいてコンピュータシステム
上で稼働しているＯＳが実際の処理の一部を行い、その
処理を通じて上記各機能が実現される場合も、本発明の
範囲である。コンピュータシステムとしては、スタンド
アロン型のコンピュータ装置、分散処理型の複数のコン
ピュータ装置、ネットワーク環境下で通信可能な複数の
コンピュータ装置のいずれであっても良い。
【００３６】図２を参照すると、本実施形態の動き検出
装置３は、上記コンピュータシステムが、画像フレーム
取得部３１、ブロック化部３２、ブロック分類部３３、
第１初期探索部３４、第２初期探索部３５、第１詳細探
索部３６、第２詳細探索部３７、学習制御部３８の機能
ブロックを有するように構成される。 第１初期探索部
３４、第２初期探索部３５、第１詳細探索部３６、第２
詳細探索部３７、学習制御部３８で、動きベクトル学習
手段を形成している。
装置３は、上記コンピュータシステムが、画像フレーム
取得部３１、ブロック化部３２、ブロック分類部３３、
第１初期探索部３４、第２初期探索部３５、第１詳細探
索部３６、第２詳細探索部３７、学習制御部３８の機能
ブロックを有するように構成される。 第１初期探索部
３４、第２初期探索部３５、第１詳細探索部３６、第２
詳細探索部３７、学習制御部３８で、動きベクトル学習
手段を形成している。
【００３７】画像フレーム取得部３１は、時間的に連続
するフレームデータを取得するものであり、ブロック化
部３２は、現フレームデータを複数のブロックに分割す
るものである。ブロック分類部３３は、分割された各ブ
ロックを、互いに他グループのものが隣接する第１グル
ープおよび第２グループのブロック群に分類するもので
ある。図３は、分類後の現フレームデータの構造を示し
た図である。図中、「Ｂ０」は第１グループに分類され
るブロック、「Ｂ１」は第２グループに分類されるブロ
ックである。図示のように、本実施形態では、上下左右
に他のグループのブロックが出現するように分類してい
る。
するフレームデータを取得するものであり、ブロック化
部３２は、現フレームデータを複数のブロックに分割す
るものである。ブロック分類部３３は、分割された各ブ
ロックを、互いに他グループのものが隣接する第１グル
ープおよび第２グループのブロック群に分類するもので
ある。図３は、分類後の現フレームデータの構造を示し
た図である。図中、「Ｂ０」は第１グループに分類され
るブロック、「Ｂ１」は第２グループに分類されるブロ
ックである。図示のように、本実施形態では、上下左右
に他のグループのブロックが出現するように分類してい
る。
【００３８】第１初期探索部３４は、第１グループに属
する個々のブロックについて、それに対応する参照フレ
ームデータの該当位置を探索し、個々のブロックと探索
位置とを結ぶ動きベクトル候補を特定するものである。
する個々のブロックについて、それに対応する参照フレ
ームデータの該当位置を探索し、個々のブロックと探索
位置とを結ぶ動きベクトル候補を特定するものである。
【００３９】具体的には、図５に示すように、最初のブ
ロックを用意し、そのブロックと参照フレームデータと
の間で動きの無い位置を探索し、その位置を起点（０，
０）として平均誤差評価関数値を求める（ステップＳ１
０１，Ｓ１０２）。このときの参照フレームデータの位
置を指し示すベクトル成分を（０，０）とする（ステッ
プＳ１０３）。予め定めた探索範囲、例えば起点から数
画素分拡大した範囲で、予め定めた精度で最初の探索を
行い（ステップＳ１０４）、その位置で平均誤差評価関
数値を求める（ステップＳ１０５）。平均誤差評価関数
値がこれまでの最小値よりも小さいかどうかを判定し、
小さい場合はその探索位置を指し示すベクトル成分を動
きベクトル候補として保持しておく（ステップＳ１０
６：Yes、Ｓ１０７）。探索開始時には保持されている
動きベクトル候補がないので、そのときのベクトル成分
（０，０）を保持しておく。
ロックを用意し、そのブロックと参照フレームデータと
の間で動きの無い位置を探索し、その位置を起点（０，
０）として平均誤差評価関数値を求める（ステップＳ１
０１，Ｓ１０２）。このときの参照フレームデータの位
置を指し示すベクトル成分を（０，０）とする（ステッ
プＳ１０３）。予め定めた探索範囲、例えば起点から数
画素分拡大した範囲で、予め定めた精度で最初の探索を
行い（ステップＳ１０４）、その位置で平均誤差評価関
数値を求める（ステップＳ１０５）。平均誤差評価関数
値がこれまでの最小値よりも小さいかどうかを判定し、
小さい場合はその探索位置を指し示すベクトル成分を動
きベクトル候補として保持しておく（ステップＳ１０
６：Yes、Ｓ１０７）。探索開始時には保持されている
動きベクトル候補がないので、そのときのベクトル成分
（０，０）を保持しておく。
【００４０】平均誤差評価関数値がこれまでの最小値よ
りも大きかった場合、あるいは動きベクトル候補を保持
した後は、上記範囲での最後の探索位置になるまで、次
の位置にずらして再度ステップＳ１０５以降の処理を繰
り返す（ステップＳ１０６：No、Ｓ１０８：No、Ｓ１０
９）。上記範囲での探索が終了した場合は、第１グルー
プの次のブロックについて、ステップＳ１０２以降の処
理を繰り返す（ステップＳ１１０：No、Ｓ１１１）。
りも大きかった場合、あるいは動きベクトル候補を保持
した後は、上記範囲での最後の探索位置になるまで、次
の位置にずらして再度ステップＳ１０５以降の処理を繰
り返す（ステップＳ１０６：No、Ｓ１０８：No、Ｓ１０
９）。上記範囲での探索が終了した場合は、第１グルー
プの次のブロックについて、ステップＳ１０２以降の処
理を繰り返す（ステップＳ１１０：No、Ｓ１１１）。
【００４１】これにより、第１グループのブロック数と
同数の動きベクトル候補を特定することができる。但
し、この段階では、おおまかな精度の動きベクトル候補
となっており、誤差を多分に含んでいる。
同数の動きベクトル候補を特定することができる。但
し、この段階では、おおまかな精度の動きベクトル候補
となっており、誤差を多分に含んでいる。
【００４２】第２初期探索部３５は、第２グループに属
する個々のブロックに対応する参照フレームデータの該
当位置を探索し、個々のブロックと探索位置とを結ぶ動
きベクトル候補を特定するものである。
する個々のブロックに対応する参照フレームデータの該
当位置を探索し、個々のブロックと探索位置とを結ぶ動
きベクトル候補を特定するものである。
【００４３】具体的には、図６に示すように、最初のブ
ロックについて、隣接する第１グループのブロックにつ
いて既に求められている動きベクトル候補を平均化し、
それにより得られたベクトル成分をそのブロックの動き
ベクトル候補とする（ステップＳ２０１，Ｓ２０２）。
そして、その動きベクトル候補が指し示す参照フレーム
データの位置との間で平均誤差評価関数値を求めておく
（ステップＳ２０３）。これを第２グループのすべての
ブロックについて繰り返す（ステップＳ２０４）。これ
により、第２グループのブロック数と同数の動きベクト
ル候補を特定することができる。なお、動きベクトル候
補を特定するだけであれば、上記ステップＳ２０２の処
理は必ずしも必要ではない。
ロックについて、隣接する第１グループのブロックにつ
いて既に求められている動きベクトル候補を平均化し、
それにより得られたベクトル成分をそのブロックの動き
ベクトル候補とする（ステップＳ２０１，Ｓ２０２）。
そして、その動きベクトル候補が指し示す参照フレーム
データの位置との間で平均誤差評価関数値を求めておく
（ステップＳ２０３）。これを第２グループのすべての
ブロックについて繰り返す（ステップＳ２０４）。これ
により、第２グループのブロック数と同数の動きベクト
ル候補を特定することができる。なお、動きベクトル候
補を特定するだけであれば、上記ステップＳ２０２の処
理は必ずしも必要ではない。
【００４４】第１詳細探索部３６は、第１グループに属
する個々のブロックに隣接する他ブロック（つまり第２
グループのブロック群）の動きベクトル候補の平均ベク
トル成分を学習して当該ブロックの新たな動きベクトル
候補として更新するものであり、第２詳細探索部３７
は、第２グループに属する個々のブロックに隣接する他
ブロック（つまり第１グループのブロック群）の動きベ
クトル候補の平均ベクトル成分を学習して当該ブロック
の新たな動きベクトル候補として更新するものである。
する個々のブロックに隣接する他ブロック（つまり第２
グループのブロック群）の動きベクトル候補の平均ベク
トル成分を学習して当該ブロックの新たな動きベクトル
候補として更新するものであり、第２詳細探索部３７
は、第２グループに属する個々のブロックに隣接する他
ブロック（つまり第１グループのブロック群）の動きベ
クトル候補の平均ベクトル成分を学習して当該ブロック
の新たな動きベクトル候補として更新するものである。
【００４５】第１詳細探索部３６における学習処理は、
具体的には、図７に示す手順で行われる。前提として、
学習のための探索位置の移動ルートは予め定めておく。
例えば、探索開始位置を起点にスパイラル状に拡げてい
くものとする。また、以下の処理は、便宜上、学習処理
のための時間制限がない場合の例を示すものである。
具体的には、図７に示す手順で行われる。前提として、
学習のための探索位置の移動ルートは予め定めておく。
例えば、探索開始位置を起点にスパイラル状に拡げてい
くものとする。また、以下の処理は、便宜上、学習処理
のための時間制限がない場合の例を示すものである。
【００４６】まず、第１グループに属する最初のブロッ
クについて、上下左右の他ブロックの動きベクトル候補
を平均化したベクトル成分を求める（ステップＳ３０
１，Ｓ３０２）。そして、このベクトル成分が、既に特
定されている動きベクトル候補と予め定めた閾値よりも
近似しているかどうかを判定する（ステップＳ３０
３）。これは、ノイズ成分が混入しない場合には、ベク
トル成分が以前のものに近似するのに対し、ベクトル成
分が混入した場合には、ベクトル成分の方向や長さが以
前のものと大きく異なる点に着目した処理である。例え
ば、図４上段では、ノイズ成分を表すベクトル成分４１
が混入している。このベクトル成分４１は、他のベクト
ル成分とは異なった向きと長さを持つのが通常である。
そこで、このステップＳ３０３で他のベクトル成分との
近似性を判定し、近似していない場合は、平均化したベ
クトル成分を求めることで、このノイズ成分が排除され
ることになる。図４下段におけるベクトル成分４２は、
この平均化されたベクトル成分である。
クについて、上下左右の他ブロックの動きベクトル候補
を平均化したベクトル成分を求める（ステップＳ３０
１，Ｓ３０２）。そして、このベクトル成分が、既に特
定されている動きベクトル候補と予め定めた閾値よりも
近似しているかどうかを判定する（ステップＳ３０
３）。これは、ノイズ成分が混入しない場合には、ベク
トル成分が以前のものに近似するのに対し、ベクトル成
分が混入した場合には、ベクトル成分の方向や長さが以
前のものと大きく異なる点に着目した処理である。例え
ば、図４上段では、ノイズ成分を表すベクトル成分４１
が混入している。このベクトル成分４１は、他のベクト
ル成分とは異なった向きと長さを持つのが通常である。
そこで、このステップＳ３０３で他のベクトル成分との
近似性を判定し、近似していない場合は、平均化したベ
クトル成分を求めることで、このノイズ成分が排除され
ることになる。図４下段におけるベクトル成分４２は、
この平均化されたベクトル成分である。
【００４７】ステップＳ３０３において、ベクトル成分
が近似していないと判定した場合は、そのときのベクト
ル成分が差し示す位置で平均誤差評価関数値を求め、以
後の探索において、この位置を探索の起点にする（ステ
ップＳ３０３：No、Ｓ３０４）。つまり探索ルートを修
正する。
が近似していないと判定した場合は、そのときのベクト
ル成分が差し示す位置で平均誤差評価関数値を求め、以
後の探索において、この位置を探索の起点にする（ステ
ップＳ３０３：No、Ｓ３０４）。つまり探索ルートを修
正する。
【００４８】ベクトル成分が近似している場合は、その
位置での平均誤差評価関数値を求め、それが学習制御部
３８で定めた「収束基準値」、すなわち、その時点で正
常な動きベクトル候補となり得るものが見つかったかど
うかを判定するための閾値を越えているかどうかを判定
する（ステップＳ３０３：Yes、Ｓ３０５）。越えてい
る場合は、正しい動きベクトルが検出されていないとみ
なして、次の処理を行う。
位置での平均誤差評価関数値を求め、それが学習制御部
３８で定めた「収束基準値」、すなわち、その時点で正
常な動きベクトル候補となり得るものが見つかったかど
うかを判定するための閾値を越えているかどうかを判定
する（ステップＳ３０３：Yes、Ｓ３０５）。越えてい
る場合は、正しい動きベクトルが検出されていないとみ
なして、次の処理を行う。
【００４９】まず、探索位置をそのブロックにおいて、
次の位置に設定し、その位置で平均誤差評価関数値を求
める（ステップＳ３０５：Yes、Ｓ３０６、Ｓ３０
７）。その平均誤差評価関数値がこれまでの値の最小値
よりも小さければ、その位置を指し示すベクトル成分
を、そのブロックの動きベクトル候補として更新する
（ステップＳ３０８）。なお、ステップＳ３０５におい
て、平均誤差評価関数値が収束基準値を越えていなかっ
た場合は、直ちにステップＳ３０９の処理に移行する
（ステップＳ３０５：No）。これにより、動画像の動き
の変化が激しい場合には探索処理のための十分な演算量
を確保し、逆に、動きの変化が少ない場合には演算量を
削減することが可能となる。
次の位置に設定し、その位置で平均誤差評価関数値を求
める（ステップＳ３０５：Yes、Ｓ３０６、Ｓ３０
７）。その平均誤差評価関数値がこれまでの値の最小値
よりも小さければ、その位置を指し示すベクトル成分
を、そのブロックの動きベクトル候補として更新する
（ステップＳ３０８）。なお、ステップＳ３０５におい
て、平均誤差評価関数値が収束基準値を越えていなかっ
た場合は、直ちにステップＳ３０９の処理に移行する
（ステップＳ３０５：No）。これにより、動画像の動き
の変化が激しい場合には探索処理のための十分な演算量
を確保し、逆に、動きの変化が少ない場合には演算量を
削減することが可能となる。
【００５０】以上の処理を予め定めた探索範囲において
繰り返し（ステップＳ３０９：No、Ｓ３１０）、探索範
囲のすべての位置を探索した場合は第１グループの次の
ブロックについて同様の処理を繰り返す（ステップＳ３
１１：No，Ｓ３１２）。
繰り返し（ステップＳ３０９：No、Ｓ３１０）、探索範
囲のすべての位置を探索した場合は第１グループの次の
ブロックについて同様の処理を繰り返す（ステップＳ３
１１：No，Ｓ３１２）。
【００５１】第２グループについても第１グループの場
合と同様の処理を行う。つまり、図７において、「第２
グループ」とあるのを「第１グループ」と置き換えるこ
とで、これを第２グループの処理に読み替えることがで
きる。
合と同様の処理を行う。つまり、図７において、「第２
グループ」とあるのを「第１グループ」と置き換えるこ
とで、これを第２グループの処理に読み替えることがで
きる。
【００５２】学習制御部３８は、上記第１初期探索部３
４、第２初期探索部３５、第１詳細探索部３６、第２詳
細探索部３７における動作タイミング、動作順序、前述
の「閾値」や「収束基準値」の変更等を行うものであ
る。上述の第１詳細探索部３６および第２詳細探索部３
７についての説明は、処理時間に制限が無い場合の例で
あった。しかし、実際には、演算量と実時間性確保との
関係で、処理時間や処理順序には制限を設けている。こ
の場合の各部の動作タイミング等を制御するのが学習制
御部３８である。
４、第２初期探索部３５、第１詳細探索部３６、第２詳
細探索部３７における動作タイミング、動作順序、前述
の「閾値」や「収束基準値」の変更等を行うものであ
る。上述の第１詳細探索部３６および第２詳細探索部３
７についての説明は、処理時間に制限が無い場合の例で
あった。しかし、実際には、演算量と実時間性確保との
関係で、処理時間や処理順序には制限を設けている。こ
の場合の各部の動作タイミング等を制御するのが学習制
御部３８である。
【００５３】この学習制御部３８による実動作時の制御
手順は、例えば図８に従う。すなわち、最初に第１初期
探索部３４を動作させ、第１グループに属するすべての
ブロックについて、概略的ながら動きベクトル候補を特
定できるだけの探索範囲で平均誤差評価関数値を演算さ
せる。そして、平均誤差評価関数値が最小となる探索位
置を指し示すベクトル成分をそれぞれ当該ブロックにお
ける動きベクトル候補として特定させる（ステップＳ４
０１）。その後、第２初期探索部３５を動作させ、第２
グループに属するすべてのブロックに隣接する他ブロッ
クの動きベクトル候補の平均ベクトル成分をそれぞれ当
該ブロックにおける動きベクトル候補として特定させる
（ステップＳ４０２）。
手順は、例えば図８に従う。すなわち、最初に第１初期
探索部３４を動作させ、第１グループに属するすべての
ブロックについて、概略的ながら動きベクトル候補を特
定できるだけの探索範囲で平均誤差評価関数値を演算さ
せる。そして、平均誤差評価関数値が最小となる探索位
置を指し示すベクトル成分をそれぞれ当該ブロックにお
ける動きベクトル候補として特定させる（ステップＳ４
０１）。その後、第２初期探索部３５を動作させ、第２
グループに属するすべてのブロックに隣接する他ブロッ
クの動きベクトル候補の平均ベクトル成分をそれぞれ当
該ブロックにおける動きベクトル候補として特定させる
（ステップＳ４０２）。
【００５４】その後、第１詳細探索部３６を、「収束基
準値」をやや高めに設定して動きベクトル候補を見つけ
易くしておいて一定時間動作させる（ステップＳ４０
３、Ｓ４０４）。これにより、第１グループのブロック
における探索位置が、初期状態から探索ルート上を少し
移動する。第２詳細探索部３７も、「収束基準値」もや
や高めてに設定して一定時間動作させる（ステップＳ４
０５）。これにより、第２グループのブロックにおける
探索位置が、初期状態から探索ルート上を少し移動す
る。
準値」をやや高めに設定して動きベクトル候補を見つけ
易くしておいて一定時間動作させる（ステップＳ４０
３、Ｓ４０４）。これにより、第１グループのブロック
における探索位置が、初期状態から探索ルート上を少し
移動する。第２詳細探索部３７も、「収束基準値」もや
や高めてに設定して一定時間動作させる（ステップＳ４
０５）。これにより、第２グループのブロックにおける
探索位置が、初期状態から探索ルート上を少し移動す
る。
【００５５】この時点で、動きベクトル検出の処理を終
了させても良いが、時間的に余裕がある場合、つまり処
理の許容時間に達していない場合は（ステップＳ４０
６：No）、「収束基準値」を前回よりも低くして、つま
り、より正確性を増した上で探索ルートを拡げさせ、ス
テップＳ４０４移行の処理を繰り返す（ステップＳ４０
７）。その際、その後、第２詳細探索部３７に対して、
第１詳細探索部３６と同様の制御を行う（ステップＳ４
０７）。なお、「収束基準値」の初期値および変更の幅
は、対象となる動画像データにおける画像の動きの激し
さに応じて適宜変えるようにする。
了させても良いが、時間的に余裕がある場合、つまり処
理の許容時間に達していない場合は（ステップＳ４０
６：No）、「収束基準値」を前回よりも低くして、つま
り、より正確性を増した上で探索ルートを拡げさせ、ス
テップＳ４０４移行の処理を繰り返す（ステップＳ４０
７）。その際、その後、第２詳細探索部３７に対して、
第１詳細探索部３６と同様の制御を行う（ステップＳ４
０７）。なお、「収束基準値」の初期値および変更の幅
は、対象となる動画像データにおける画像の動きの激し
さに応じて適宜変えるようにする。
【００５６】これにより、実時間性が重要視される場合
と、検出精度が重要視される場合とで、第１詳細探索部
３６および第２詳細探索部３７の動作回数を調整できる
ようになる。また、一旦、第１初期探索部３４で第１グ
ループにおける動きベクトル候補を特定しておけば、第
２初期探索部３５、第１詳細探索部３６、第２詳細探索
部３７では、隣接する他ブロックのベクトル成分（動き
ベクトル候補）の平均ベクトル成分を演算するだけで動
きベクトル候補を特定できるので、演算量の大幅な削減
が可能になる。さらに、複数の動きベクトル候補の平均
をとっているので、突発的な変化成分、例えばノイズ成
分の混入に対して頑強であり、精度の良い動きベクトル
検出が可能になる。しかも、学習が繰り返されるたび
に、これらの突発的な変化成分が吸収されるので、検出
精度がより高まる効果がある。
と、検出精度が重要視される場合とで、第１詳細探索部
３６および第２詳細探索部３７の動作回数を調整できる
ようになる。また、一旦、第１初期探索部３４で第１グ
ループにおける動きベクトル候補を特定しておけば、第
２初期探索部３５、第１詳細探索部３６、第２詳細探索
部３７では、隣接する他ブロックのベクトル成分（動き
ベクトル候補）の平均ベクトル成分を演算するだけで動
きベクトル候補を特定できるので、演算量の大幅な削減
が可能になる。さらに、複数の動きベクトル候補の平均
をとっているので、突発的な変化成分、例えばノイズ成
分の混入に対して頑強であり、精度の良い動きベクトル
検出が可能になる。しかも、学習が繰り返されるたび
に、これらの突発的な変化成分が吸収されるので、検出
精度がより高まる効果がある。
【００５７】また、学習が繰り返されるたびに「収束基
準値」が低くなるので、ブロック上の画素特徴と参照フ
レームデータの位置との一致性がとりやすくなる。
準値」が低くなるので、ブロック上の画素特徴と参照フ
レームデータの位置との一致性がとりやすくなる。
【００５８】なお、以上の説明は、本発明の動きベクト
ル検索方法を、全探索法の改良として考えた場合である
が、更に、本発明の動きベクトル検索方式を階層的に用
いることで縮小画像を用いた階層探索法にも応用が可能
である。この場合、通常の縮小画像を用いた階層探索法
と比較して、演算量（演算時間）の低減と、検出精度の
向上が期待できるようになる。また、各階層において誤
った動きベクトルを訂正する効果が期待できるため、一
旦誤りが発生しても、次の階層でこれを補正できる場合
がある。
ル検索方法を、全探索法の改良として考えた場合である
が、更に、本発明の動きベクトル検索方式を階層的に用
いることで縮小画像を用いた階層探索法にも応用が可能
である。この場合、通常の縮小画像を用いた階層探索法
と比較して、演算量（演算時間）の低減と、検出精度の
向上が期待できるようになる。また、各階層において誤
った動きベクトルを訂正する効果が期待できるため、一
旦誤りが発生しても、次の階層でこれを補正できる場合
がある。
【００５９】また、本発明の動きベクトル検出方法によ
り、予測符号化装置１における符号化効率の向上も見込
まれる。例えば、縮小画像を用いた階層探索法に適用す
ることで、各階層において空間的に滑らかな動きベクト
ルにすることができるため、誤った動きベクトルであっ
てもそれが著しく長くはならない。
り、予測符号化装置１における符号化効率の向上も見込
まれる。例えば、縮小画像を用いた階層探索法に適用す
ることで、各階層において空間的に滑らかな動きベクト
ルにすることができるため、誤った動きベクトルであっ
てもそれが著しく長くはならない。
【００６０】
【発明の効果】以上の説明から明らかなように、本発明
によれば、広い探索範囲を確保しつつ誤った動きベクト
ルの検出を抑制することができるとう、特有の効果があ
る。また、演算量を低減させることができ、しかも探索
処理の実時間性を保証することが可能なので、ソフトウ
ェアによる実装も容易になる。
によれば、広い探索範囲を確保しつつ誤った動きベクト
ルの検出を抑制することができるとう、特有の効果があ
る。また、演算量を低減させることができ、しかも探索
処理の実時間性を保証することが可能なので、ソフトウ
ェアによる実装も容易になる。
【図１】本発明を適用した予測符号化装置の構成図。
【図２】本実施形態の動き検出装置の機能ブロック構成
図。
図。
【図３】第１グループおよび第２グループのブロック群
に分類した現フレームデータの構造説明図。
に分類した現フレームデータの構造説明図。
【図４】上段は、ノイズ成分が混入したベクトル成分の
説明図、下段は平均化されたベクトル成分の説明図。
説明図、下段は平均化されたベクトル成分の説明図。
【図５】第１初期探索部による処理手順説明図。
【図６】第２初期探索部による処理手順説明図。
【図７】第１詳細探索部による処理手順説明図。
【図８】学習制御部における制御手順説明図。
１ 予測符号化装置 ２ 画像処理装置 ３ 動きベクトル検出装置 ４ 動き補償回路 ５ 減算器 ６ 加算器 ７ ＤＣＴ回路 ８ 量子化器 ９ 可変長符号器 １０ 逆量子化回路 １１ 逆ＤＣＴ回路 ３１ 画像フレーム取得部 ３２ ブロック化部 ３３ ブロック分類部 ３４ 第１初期探索部 ３５ 第２初期探索部 ３６ 第１詳細探索部 ３７ 第２詳細探索部 ３８ 学習制御部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 指田 信行 東京都目黒区東山２丁目２番６号 カスタ ム・テクノロジー株式会社内 Ｆターム(参考） 5C059 KK19 MA05 MA23 NN02 NN03 NN05 NN10 NN11 NN28 PP04 RC16 RC40 SS07 SS13 UA02
Claims (13)
- 【請求項１】 連続する第１画像フレームと第２画像フ
レームとの間の対応画素を指し示す動きベクトルを検出
する際に、 前記第２画像フレームを複数のブロックに分割するとと
もに各ブロックを互いに他グループのものが隣接する第
１グループおよび第２グループのブロック群に分類し、
第１グループに属するすべてのブロックについて動きベ
クトル候補を画像フレーム間の平均誤差評価関数値に基
づいて特定した後、 第２グループに属するすべてのブロックについて個々の
ブロックに隣接する他ブロックの動きベクトル候補の平
均ベクトル成分を当該ブロックの動きベクトル候補とし
て特定し、さらに、第１グループに属するすべてのブロ
ックについて個々のブロックに隣接する他ブロックの動
きベクトル候補の平均ベクトル成分を当該ブロックの新
たな動きベクトル候補として更新することを特徴とす
る、 動きベクトル検出方法。 - 【請求項２】 連続する第１画像フレームと第２画像フ
レームとを取得し、前記第１画像フレームを保持すると
ともに、前記第２画像フレームを複数のブロックに分割
し、これにより得られた各ブロックを、互いに他グルー
プのものが隣接する第１グループおよび第２グループの
ブロック群に分類する前処理工程と、 前記第１グループに属する個々のブロックの画素と前記
第１画像フレームの探索位置の画素との間の平均誤差評
価関数値を演算し、この平均誤差評価関数値が最小とな
る探索位置を指し示すベクトル成分を当該ブロックにお
ける動きベクトル候補として特定するとともに、前記第
２グループに属する個々のブロックに隣接する他ブロッ
クの動きベクトル候補の平均ベクトル成分を当該ブロッ
クにおける動きベクトル候補として特定する初期探索工
程と、 前記第１グループに属する個々のブロックに隣接する他
ブロックの動きベクトル候補の平均ベクトル成分を学習
して当該ブロックの新たな動きベクトル候補として更新
する第１詳細探索工程と、 第２グループに属する個々のブロックに隣接する他ブロ
ックの動きベクトル候補の平均ベクトル成分を学習して
当該ブロックの新たな動きベクトル候補として更新する
第２詳細探索工程とを含み、 更新された各ブロックの動きベクトル候補を前記動きベ
クトルとすることを特徴とする動きベクトル検出方法。 - 【請求項３】 前記初期探索工程は、前記第１グループ
の個々のブロックと前記第１画像フレームとの間で動き
の無い位置を起点として段階的に探索位置を拡げて前記
平均誤差評価関数値を演算し、当該平均誤差評価関数値
が収束した位置を指し示すベクトル成分を当該ブロック
の動きベクトル候補として特定することを特徴とする、 請求項２記載の動きベクトル検出方法。 - 【請求項４】 前記平均ベクトル成分の学習は、当該平
均ベクトル成分が指し示す第１画像フレーム上の探索位
置を所定方向に変えながら画像フレーム間の画素の平均
誤差評価関数値を演算し、前記平均誤差評価関数値が相
対的に小さくなる位置を指し示すベクトル成分を当該ブ
ロックの新たな動きベクトル候補として更新する処理で
あることを特徴とする、 請求項２記載の動きベクトル検出方法。 - 【請求項５】 前記探索位置を、スパイラル状に拡がる
方向に変えることを特徴とする、 請求項３記載の動きベクトル検出方法。 - 【請求項６】 前記探索位置を変える過程で前記平均ベ
クトル成分が同一ブロック内の他の平均ベクトル成分に
対して所定の閾値以上に近似しない場合に、当該平均ベ
クトル成分が指し示す位置を、前記探索位置の新たな起
点とすることを特徴とする、 請求項５記載の動きベクトル検出方法。 - 【請求項７】 前記平均誤差評価関数値が収束基準値を
越える場合は探索位置を変えて前記平均誤差評価関数値
を再演算し、一方、前記収束基準値以内のときに、直ち
に同一グループの他のブロックについての前記平均ベク
トル成分の学習に移行することを特徴とする、請求項３
記載の動きベクトル検出方法。 - 【請求項８】 前記第１詳細探索工程と前記第２詳細探
索工程とを交互に繰り返し、その際に前記収束基準値を
前回のものより低下させることを特徴とする、請求項７
記載の動きベクトル検出方法。 - 【請求項９】 連続する第１画像フレームおよび第２画
像フレームを取得する画像フレーム取得手段と、 前記第２画像フレームを複数のブロックに分割するとと
もに、分割された各ブロックを、互いに他グループのも
のが隣接する第１グループおよび第２グループのブロッ
ク群に分類する前処理手段と、 前記第１グループに属する個々のブロックと前記第１画
像フレームの該当位置とを結ぶ第１動きベクトル候補、
および、前記第２グループに属する個々のブロックと前
記第１画像フレームの該当位置とを結ぶ第２動きベクト
ル候補をそれぞれ概略的に特定するとともに、特定した
各動きベクトル候補を、当該ブロックに隣接する他ブロ
ックの動きベクトル候補の平均ベクトル成分に基づいて
画像フレーム間の平均誤差評価関数値が小さくなる方向
に学習させる動きベクトル学習手段とを有することを特
徴とする、動きベクトル検出装置。 - 【請求項１０】 前記動きベクトル学習手段は、すべて
のブロックについて前記概略的な動きベクトル候補を特
定した後、前記第１グループのすべてのブロックについ
ての前記平均ベクトル成分の学習と前記第２グループの
すべてのブロックについての前記平均ベクトル成分の学
習とを交互に繰り返すことを特徴とする請求項９記載の
動きベクトル検出装置。 - 【請求項１１】 前記動きベクトル学習手段は、前記平
均誤差評価関数値が収束基準値以内のときは直ちに同一
グループの他のブロックについて前記平均ベクトル成分
を学習させるように構成され、当該学習が繰り返される
度に前記収束基準値が低くなるように構成されているこ
とを特徴とする、請求項１０記載の動きベクトル検出装
置。 - 【請求項１２】 動画像データを画像フレーム単位に分
解する画像データ処理装置と、この画像データ処理手段
から時系列に出力される第１画像フレームと第２画像フ
レームとから動きベクトルを検出する動きベクトル検出
装置とを有し、この動きベクトル検出装置で検出された
動きベクトルに基づいて前記第１画像フレームの動き検
出を行って予測符号化を行う装置であって、 前記動きベクトル検出装置が請求項９、１０又は１１記
載の動きベクトル検出装置であることを特徴とする予測
符号化装置。 - 【請求項１３】 連続する第１画像フレームと第２画像
フレームとを取得し、前記第１画像フレームを保持する
とともに、前記第２画像フレームを複数のブロックに分
割し、これにより得られた各ブロックを、互いに他グル
ープのものが隣接する第１グループおよび第２グループ
のブロック群に分類する処理、 前記第１グループに属する個々のブロックの画素と前記
第１画像フレームの探索位置の画素との間の平均誤差評
価関数値を演算し、この平均誤差評価関数値が最小とな
る探索位置を指し示すベクトル成分を当該ブロックにお
ける動きベクトル候補として特定する処理、 前記第２グループに属する個々のブロックに隣接する他
ブロックの動きベクトル候補の平均ベクトル成分を当該
ブロックにおける動きベクトル候補として特定する処
理、 前記第１グループに属する個々のブロックに隣接する他
ブロックの動きベクトル候補の平均ベクトル成分を学習
して当該ブロックの新たな動きベクトル候補として更新
する処理、および、 第２グループに属する個々のブロックに隣接する他ブロ
ックの動きベクトル候補の平均ベクトル成分を学習して
当該ブロックの新たな動きベクトル候補として更新する
処理をコンピュータ装置に実行させるためのプログラム
コードが記録されたコンピュータ読取可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21842498A JP4004653B2 (ja) | 1998-08-03 | 1998-08-03 | 動きベクトル検出方法および装置、記録媒体 |
| US09/358,208 US6424676B1 (en) | 1998-08-03 | 1999-07-21 | Motion vector detecting method and device, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21842498A JP4004653B2 (ja) | 1998-08-03 | 1998-08-03 | 動きベクトル検出方法および装置、記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000050281A true JP2000050281A (ja) | 2000-02-18 |
| JP4004653B2 JP4004653B2 (ja) | 2007-11-07 |
Family
ID=16719706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21842498A Expired - Fee Related JP4004653B2 (ja) | 1998-08-03 | 1998-08-03 | 動きベクトル検出方法および装置、記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6424676B1 (ja) |
| JP (1) | JP4004653B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6888890B2 (en) | 2000-03-28 | 2005-05-03 | Nec Corporation | Device and method for searching for a motion vector |
| JP2014233094A (ja) * | 2010-02-24 | 2014-12-11 | シャープ株式会社 | 画像符号化装置、及び画像復号装置 |
| WO2015083300A1 (ja) * | 2013-12-04 | 2015-06-11 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および非一時的なコンピュータ可読媒体 |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000184351A (ja) * | 1998-12-11 | 2000-06-30 | Office Noa:Kk | 動画像配信方法およびそのシステム |
| JP2001145109A (ja) * | 1999-11-11 | 2001-05-25 | Nec Corp | 動きベクトル検出装置 |
| US6687388B2 (en) * | 2000-01-28 | 2004-02-03 | Sony Corporation | Picture processing apparatus |
| WO2001058170A1 (en) * | 2000-02-01 | 2001-08-09 | Koninklijke Philips Electronics N.V. | Video encoding and decoding with selectable image resolution |
| WO2001091448A2 (en) * | 2000-05-19 | 2001-11-29 | Koninklijke Philips Electronics N.V. | Method system and apparatus_for motion estimation using block matching |
| EP1302045A2 (en) * | 2000-07-21 | 2003-04-16 | PMC-Sierra Ltd. | Reduction of peak to average power ratio |
| US6687301B2 (en) * | 2001-03-19 | 2004-02-03 | Fulvio Moschetti | Method for block matching motion estimation in digital video sequences |
| US20020136302A1 (en) * | 2001-03-21 | 2002-09-26 | Naiqian Lu | Cascade window searching method and apparatus |
| US6931063B2 (en) * | 2001-03-26 | 2005-08-16 | Sharp Laboratories Of America, Inc. | Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding |
| US7450641B2 (en) | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
| EP1747678B1 (en) * | 2004-05-04 | 2015-01-07 | Qualcomm, Incorporated | Method and apparatus for motion compensated frame rate up conversion |
| TWI392374B (zh) * | 2004-07-01 | 2013-04-01 | Qualcomm Inc | 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置 |
| EP2096873A3 (en) * | 2004-07-20 | 2009-10-14 | Qualcomm Incorporated | Method and apparatus for encoder assisted-frame rate conversion (EA-FRUC) for video compression |
| US8553776B2 (en) * | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| KR20070069615A (ko) * | 2005-12-28 | 2007-07-03 | 삼성전자주식회사 | 움직임 추정장치 및 움직임 추정방법 |
| US20070230564A1 (en) * | 2006-03-29 | 2007-10-04 | Qualcomm Incorporated | Video processing with scalability |
| US8634463B2 (en) * | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US8750387B2 (en) * | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US8144780B2 (en) * | 2007-09-24 | 2012-03-27 | Microsoft Corporation | Detecting visual gestural patterns |
| US20100013992A1 (en) * | 2008-07-18 | 2010-01-21 | Zhi Zhou | Method and system for detecting motion at an intermediate position between image fields |
| CN101419667B (zh) * | 2008-12-15 | 2010-12-08 | 东软集团股份有限公司 | 识别图像中障碍物的方法和装置 |
| US9420308B2 (en) * | 2009-12-18 | 2016-08-16 | Vixs Systems, Inc. | Scaled motion search section with parallel processing and method for use therewith |
| US8797414B2 (en) | 2010-12-23 | 2014-08-05 | Samsung Electronics Co., Ltd. | Digital image stabilization device |
| WO2012140821A1 (ja) | 2011-04-12 | 2012-10-18 | パナソニック株式会社 | 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置 |
| MX2013012020A (es) | 2011-05-24 | 2013-12-10 | Panasonic Corp | Metodo de codificacion de imagenes, aparato de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion /decodificacion de imagenes. |
| US9485518B2 (en) | 2011-05-27 | 2016-11-01 | Sun Patent Trust | Decoding method and apparatus with candidate motion vectors |
| PL3614665T3 (pl) | 2011-05-27 | 2022-07-04 | Sun Patent Trust | Sposób kodowania obrazów, urządzenie do kodowania obrazów, sposób dekodowania obrazów, urządzenie do dekodowania obrazów, i urządzenie do kodowania i dekodowania obrazów |
| EP3629583B1 (en) | 2011-05-31 | 2023-10-25 | Sun Patent Trust | Video decoding method, video decoding device |
| SG194746A1 (en) | 2011-05-31 | 2013-12-30 | Kaba Gmbh | Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device |
| MX2013013029A (es) | 2011-06-30 | 2013-12-02 | Panasonic Corp | Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes. |
| US9456214B2 (en) | 2011-08-03 | 2016-09-27 | Sun Patent Trust | Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus |
| WO2013057877A1 (ja) | 2011-10-19 | 2013-04-25 | パナソニック株式会社 | 画像符号化方法、画像符号化装置、画像復号方法、および、画像復号装置 |
| US10602175B2 (en) * | 2012-12-21 | 2020-03-24 | Nvidia Corporation | Using an average motion vector for a motion search |
| US10457578B1 (en) | 2018-06-22 | 2019-10-29 | Gary McInnis | Automated sulfur burner for agricultural irrigation |
| CN113508595B (zh) * | 2019-03-08 | 2023-11-28 | 华为技术有限公司 | 运动矢量细化的搜索区域 |
| CN113076894B (zh) * | 2021-04-09 | 2022-05-17 | 中山大学 | 一种连续帧目标检测去重方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3019787B2 (ja) * | 1996-09-20 | 2000-03-13 | 日本電気株式会社 | 動きベクトル検出装置 |
| JP2897761B2 (ja) * | 1997-07-18 | 1999-05-31 | 日本電気株式会社 | ブロック・マッチング演算装置及びプログラムを記録した機械読み取り可能な記録媒体 |
| US6128047A (en) * | 1998-05-20 | 2000-10-03 | Sony Corporation | Motion estimation process and system using sparse search block-matching and integral projection |
-
1998
- 1998-08-03 JP JP21842498A patent/JP4004653B2/ja not_active Expired - Fee Related
-
1999
- 1999-07-21 US US09/358,208 patent/US6424676B1/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6888890B2 (en) | 2000-03-28 | 2005-05-03 | Nec Corporation | Device and method for searching for a motion vector |
| JP2014233094A (ja) * | 2010-02-24 | 2014-12-11 | シャープ株式会社 | 画像符号化装置、及び画像復号装置 |
| JP2016103851A (ja) * | 2010-02-24 | 2016-06-02 | シャープ株式会社 | 画像復号装置 |
| JP2017079473A (ja) * | 2010-02-24 | 2017-04-27 | シャープ株式会社 | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体 |
| WO2015083300A1 (ja) * | 2013-12-04 | 2015-06-11 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法および非一時的なコンピュータ可読媒体 |
| US10136154B2 (en) | 2013-12-04 | 2018-11-20 | Nec Corporation | Video coding apparatus, video coding method, and non-transitory computer readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4004653B2 (ja) | 2007-11-07 |
| US6424676B1 (en) | 2002-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4004653B2 (ja) | 動きベクトル検出方法および装置、記録媒体 | |
| JP4528441B2 (ja) | ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置 | |
| EP1389016B1 (en) | Improved motion estimation and block matching pattern | |
| KR950009699B1 (ko) | 움직임벡터 검출방법 및 장치 | |
| US6128047A (en) | Motion estimation process and system using sparse search block-matching and integral projection | |
| US6404932B1 (en) | Apparatus and method of decoding an image using a statistical model based on pixels | |
| US6549576B1 (en) | Motion vector detecting method and apparatus | |
| US20020015513A1 (en) | Motion vector detecting method, record medium on which motion vector calculating program has been recorded, motion detecting apparatus, motion detecting method, picture encoding apparatus, picture encoding method, motion vector calculating method, record medium on which motion vector calculating program has been recorded | |
| JP3655651B2 (ja) | データ処理装置 | |
| JP2003528500A (ja) | 動き推定アルゴリズム | |
| US6317460B1 (en) | Motion vector generation by temporal interpolation | |
| US6408101B1 (en) | Apparatus and method for employing M-ary pyramids to enhance feature-based classification and motion estimation | |
| CN112954318A (zh) | 数据编码方法及装置 | |
| US7773673B2 (en) | Method and apparatus for motion estimation using adaptive search pattern for video sequence compression | |
| EP0973336A2 (en) | Motion vector detecting, picture encoding and recording method and apparatus | |
| JP3867346B2 (ja) | 画像信号処理装置及び方法並びに予測パラメータの学習装置及び方法 | |
| JP4228705B2 (ja) | 動きベクトル探索方法および装置 | |
| JP2007067552A (ja) | 階層間予測処理方法，階層間予測処理装置，階層間予測処理プログラムおよびその記録媒体 | |
| US20090268822A1 (en) | Motion vector detection by stepwise search | |
| CN113810692A (zh) | 对变化和移动进行分帧的方法、图像处理装置及程序产品 | |
| JP2004064518A (ja) | 動画像符号化方法、動画像符号化装置、およびコンピュータプログラム | |
| JP3694349B2 (ja) | 輪郭符号化装置 | |
| JPH07240927A (ja) | 映像符号化装置 | |
| KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| JP3908793B2 (ja) | 画像照合方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050720 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070508 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070822 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |