JPH08205154A - 動き補償フレーム間予測の動き検出方式及び装置 - Google Patents
動き補償フレーム間予測の動き検出方式及び装置Info
- Publication number
- JPH08205154A JPH08205154A JP1186595A JP1186595A JPH08205154A JP H08205154 A JPH08205154 A JP H08205154A JP 1186595 A JP1186595 A JP 1186595A JP 1186595 A JP1186595 A JP 1186595A JP H08205154 A JPH08205154 A JP H08205154A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- point
- vector
- similarity
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【目的】 演算時間を短縮して動き予測の精度を向上す
る。 【構成】 画像データが入力1され、動き検出器2に入
る。動き検出器2では入力された画像データと前画像メ
モリ3内のデータをもとに動き検出を行なう。動き検出
器2の動き検出は、ROM5に記憶されたベクトル集合
を用い、それらのベクトルを基準としてマッチングによ
る相似度の最大点を求める演算を繰返して動きベクトル
を求める。動き検出器2による計算済み点をRAM6に
格納し、画像出力4及び動きベクトルデータの出力7を
する。これにより演算量を減少し、動き検出の処理時間
が短縮できる。
る。 【構成】 画像データが入力1され、動き検出器2に入
る。動き検出器2では入力された画像データと前画像メ
モリ3内のデータをもとに動き検出を行なう。動き検出
器2の動き検出は、ROM5に記憶されたベクトル集合
を用い、それらのベクトルを基準としてマッチングによ
る相似度の最大点を求める演算を繰返して動きベクトル
を求める。動き検出器2による計算済み点をRAM6に
格納し、画像出力4及び動きベクトルデータの出力7を
する。これにより演算量を減少し、動き検出の処理時間
が短縮できる。
Description
【0001】
【産業上の利用分野】本発明は動き補償フレーム間予測
の動き検出方式及び検出装置に関するものである。
の動き検出方式及び検出装置に関するものである。
【0002】
【従来の技術】図16は、動き検出の概要を示したもの
である。図16−2の現在の画像内の右側のブロック
(図中ではヘリコプターを囲む領域)は、図中16−1
の1フレーム前の画像では画像内の左側に存在する。こ
のことは1フレームの間にブロックが左側から右側に動
いたことを示している。この動き量を表すベクトルが動
きベクトルであり、この動きベクトルを求める作業を動
き検出という。図中の16−3は16−1、16−2内
に存在するブロックの動きベクトルを示したものであ
る。
である。図16−2の現在の画像内の右側のブロック
(図中ではヘリコプターを囲む領域)は、図中16−1
の1フレーム前の画像では画像内の左側に存在する。こ
のことは1フレームの間にブロックが左側から右側に動
いたことを示している。この動き量を表すベクトルが動
きベクトルであり、この動きベクトルを求める作業を動
き検出という。図中の16−3は16−1、16−2内
に存在するブロックの動きベクトルを示したものであ
る。
【0003】従来から使われている代表的な動き検出に
は、図17に示すように動き検出領域(以下、探索領域
という)の全画素についてブロック同士のマッチングを
行い、マッチングの相似度が最大になるブロック位置を
探し出すブロックマッチング法と、図18に示すように
原点から探索領域端までの距離の1/2の距離になる図
中の1回目の8点と原点を合わせた9点で1回目のマッ
チング残差最小点を求め、次に前述の距離の更に1/2
の距離で同様に2回目、3回目とマッチング残差最小点
の絞り込みを行う多段階探索法などの種々の方法が考案
され、またMPEG等の動き検出も使用されている。
は、図17に示すように動き検出領域(以下、探索領域
という)の全画素についてブロック同士のマッチングを
行い、マッチングの相似度が最大になるブロック位置を
探し出すブロックマッチング法と、図18に示すように
原点から探索領域端までの距離の1/2の距離になる図
中の1回目の8点と原点を合わせた9点で1回目のマッ
チング残差最小点を求め、次に前述の距離の更に1/2
の距離で同様に2回目、3回目とマッチング残差最小点
の絞り込みを行う多段階探索法などの種々の方法が考案
され、またMPEG等の動き検出も使用されている。
【0004】
【発明が解決しようとする課題】前記従来の動き検出で
は、動き予測の精度を向上させようとすると演算時間が
増加する、あるいは演算時間を短縮させようとすれば動
き予測の精度が低下するという問題点がある。具体的に
は画像内で動いている物体が探索領域の外まで移動して
しまうことがないように探索領域を広く設定してしまう
とブロックマッチング法ではそれに伴い演算量が増大
し、演算量を少なくするために多段階探索法を用いると
1回目の探索する点同士が離れてしまうため、1回目で
求める真の動きがある方向と異なってしまった場合には
動きの予測の失敗が起こる。また、動画像を情報源符号
化する場合などにおいては前述の演算時間や動き予測の
精度が大きく作用することは言うまでもない。
は、動き予測の精度を向上させようとすると演算時間が
増加する、あるいは演算時間を短縮させようとすれば動
き予測の精度が低下するという問題点がある。具体的に
は画像内で動いている物体が探索領域の外まで移動して
しまうことがないように探索領域を広く設定してしまう
とブロックマッチング法ではそれに伴い演算量が増大
し、演算量を少なくするために多段階探索法を用いると
1回目の探索する点同士が離れてしまうため、1回目で
求める真の動きがある方向と異なってしまった場合には
動きの予測の失敗が起こる。また、動画像を情報源符号
化する場合などにおいては前述の演算時間や動き予測の
精度が大きく作用することは言うまでもない。
【0005】本発明の目的は、従来の問題点を解決し、
演算時間を短縮して動き予測の精度を向上する動き補償
フレーム間予測の動き検出方式及びその装置の提供にあ
る。
演算時間を短縮して動き予測の精度を向上する動き補償
フレーム間予測の動き検出方式及びその装置の提供にあ
る。
【0006】
【課題を解決するための手段】上記目的は、前画像デー
タを記憶する手段と、ベクトル集合を記憶する手段と、
入力された画像データと前記前画像記憶手段のデータを
もとに、前記記憶手段のベクトル集合を用い、それらの
ベクトルを基準としてマッチングによる相似度の最大点
を求める計算を繰返して動きベクトルを求める動き検出
器と、該動き検出器による計算済みブロックの動きベク
トルを記憶する手段とを設けたことによって達成され
る。
タを記憶する手段と、ベクトル集合を記憶する手段と、
入力された画像データと前記前画像記憶手段のデータを
もとに、前記記憶手段のベクトル集合を用い、それらの
ベクトルを基準としてマッチングによる相似度の最大点
を求める計算を繰返して動きベクトルを求める動き検出
器と、該動き検出器による計算済みブロックの動きベク
トルを記憶する手段とを設けたことによって達成され
る。
【0007】
【作用】上記手段を用いれば、入力画像データと前画像
データをもとに、複数のベクトルからなるベクトル集合
を用い、それらのベクトルを基準としてブロックマッチ
ング法により相似度を求め、該相似度が最大となる点に
再度、ベクトル集合を用い、それらのベクトルを基準と
してマッチングの相似度が最大点を求めることを繰り返
すことにより、マッチングの相似度が探索領域内で最大
になる点に収束させ、該収束点のベクトルを動きベクト
ルとする。これにより演算量が減少し、処理時間が短縮
する。
データをもとに、複数のベクトルからなるベクトル集合
を用い、それらのベクトルを基準としてブロックマッチ
ング法により相似度を求め、該相似度が最大となる点に
再度、ベクトル集合を用い、それらのベクトルを基準と
してマッチングの相似度が最大点を求めることを繰り返
すことにより、マッチングの相似度が探索領域内で最大
になる点に収束させ、該収束点のベクトルを動きベクト
ルとする。これにより演算量が減少し、処理時間が短縮
する。
【0008】
【実施例】以下本発明を実施例によって説明する。
【0009】図1は本発明の一実施例の動き検出の概要
を示したものである。図中1−1のように現在の画像内
のブロックの左上を原点とする。これは便宜上、原点を
左上に決めたものでブロックの中心などの他点でも良い
ことは言うまでもない。この原点と対応する図中の1−
2の1フレーム前の画像の点に原点などの代表点からど
のようにマッチングを行うかを示したベクトルの集合
(以下、そのベクトルを見本ベクトル、ベクトルの集合
を見本ベクトルの集合とする)を重ね、見本ベクトルの
集合内の点でブロック同士のマッチングを行った結果得
られる相似度から、相似度が最大になる点を求める。こ
こで、相似度を求めるにあたり、一般的には相似度を表
す関数は相似度が大きくなると小さな値を返すものを使
用し、一般的には数1に示す残差2乗和あるいは数2の
絶対値差分和等の評価関数を用いる。
を示したものである。図中1−1のように現在の画像内
のブロックの左上を原点とする。これは便宜上、原点を
左上に決めたものでブロックの中心などの他点でも良い
ことは言うまでもない。この原点と対応する図中の1−
2の1フレーム前の画像の点に原点などの代表点からど
のようにマッチングを行うかを示したベクトルの集合
(以下、そのベクトルを見本ベクトル、ベクトルの集合
を見本ベクトルの集合とする)を重ね、見本ベクトルの
集合内の点でブロック同士のマッチングを行った結果得
られる相似度から、相似度が最大になる点を求める。こ
こで、相似度を求めるにあたり、一般的には相似度を表
す関数は相似度が大きくなると小さな値を返すものを使
用し、一般的には数1に示す残差2乗和あるいは数2の
絶対値差分和等の評価関数を用いる。
【0010】
【数1】
【0011】
【数2】
【0012】この数式に示すように相似度が最大になる
ということは評価関数の値(残差2乗和、絶対値差分
和)が最小になるということである。なお、以下、評価
関数として残差2乗和を用いるが、絶対値差分和でも同
様な処理が行なえる。そこで、この数1の式を用いて残
差2乗和が最小になる残差最小点1を求める。そして、
残差最小点1を中心に、見本ベクトルの集合を重ね、そ
の見本ベクトルの集合内で残差2乗和が最小になる残差
最小点2を求める。同様に残差最小点2を中心に見本ベ
クトルの集合を重ねるという処理を、残差最小点が変化
しなくなるまで続ける。残差最小点が変化しなくなった
点に原点からベクトルを引く。これが動きベクトルとな
る。なお、見本ベクトル集合とは図2に示すような一様
に分布したベクトルの集合、あるいは図3に示すような
中心に偏って分布しているベクトルの集合を表すが、特
にこれに限定せず、探索領域内の局所的な領域を探索す
ることが可能な集合であれば良く、通常は円形の領域で
あるが、四角形領域などでも可能であることは言うまで
もない。
ということは評価関数の値(残差2乗和、絶対値差分
和)が最小になるということである。なお、以下、評価
関数として残差2乗和を用いるが、絶対値差分和でも同
様な処理が行なえる。そこで、この数1の式を用いて残
差2乗和が最小になる残差最小点1を求める。そして、
残差最小点1を中心に、見本ベクトルの集合を重ね、そ
の見本ベクトルの集合内で残差2乗和が最小になる残差
最小点2を求める。同様に残差最小点2を中心に見本ベ
クトルの集合を重ねるという処理を、残差最小点が変化
しなくなるまで続ける。残差最小点が変化しなくなった
点に原点からベクトルを引く。これが動きベクトルとな
る。なお、見本ベクトル集合とは図2に示すような一様
に分布したベクトルの集合、あるいは図3に示すような
中心に偏って分布しているベクトルの集合を表すが、特
にこれに限定せず、探索領域内の局所的な領域を探索す
ることが可能な集合であれば良く、通常は円形の領域で
あるが、四角形領域などでも可能であることは言うまで
もない。
【0013】図4は見本ベクトル集合をブロックマッチ
ング結果から得られる評価関数の値の大きさにより変化
させて動き検出を行ったものである。図中の原点に見本
ベクトル集合1を重ねて、見本ベクトル毎にブロックマ
ッチングを行い、その中で残差2乗和が最小になる残差
最小点1を求める。次に残差2乗和に応じ、見本ベクト
ル集合の大きさや見本ベクトルの分布状態を変化させた
見本ベクトル集合2を重ね、ブロックマッチングによる
残差2乗和が最小になる残差最小点2を求める。同様に
残差2乗和に応じた見本ベクトル集合3から残差最小点
3を求めると言う操作を残差最小点が変化しなくなるま
で繰り返す。最終的に求まった残差最小点から原点まで
のベクトルを動きベクトルとする。
ング結果から得られる評価関数の値の大きさにより変化
させて動き検出を行ったものである。図中の原点に見本
ベクトル集合1を重ねて、見本ベクトル毎にブロックマ
ッチングを行い、その中で残差2乗和が最小になる残差
最小点1を求める。次に残差2乗和に応じ、見本ベクト
ル集合の大きさや見本ベクトルの分布状態を変化させた
見本ベクトル集合2を重ね、ブロックマッチングによる
残差2乗和が最小になる残差最小点2を求める。同様に
残差2乗和に応じた見本ベクトル集合3から残差最小点
3を求めると言う操作を残差最小点が変化しなくなるま
で繰り返す。最終的に求まった残差最小点から原点まで
のベクトルを動きベクトルとする。
【0014】図5は動き予測点と原点との2点の処理開
始位置を示したものである。これは動き検出の処理の最
初に原点と動き予測点とでどちらかに求める動きベクト
ルがあるかを大まかに推定しその点から処理を始めると
いうものである。図中の5−1で示すようにMPEG等
の動き予測のように前のブロックから動き予測を行う。
具体的には前のブロックからの予測に限らず、既知であ
る周囲のブロックの動きベクトルを使って動きベクトル
を予測しても良いとことは言うまでもない。図中の5−
2のブロックの原点0に対応した図中の5−3の0′と
前述の方法で求めた動き予測点Pの2点でマッチング残
差を求め、残差の小さい方から前述(図4)の処理を開
始する。
始位置を示したものである。これは動き検出の処理の最
初に原点と動き予測点とでどちらかに求める動きベクト
ルがあるかを大まかに推定しその点から処理を始めると
いうものである。図中の5−1で示すようにMPEG等
の動き予測のように前のブロックから動き予測を行う。
具体的には前のブロックからの予測に限らず、既知であ
る周囲のブロックの動きベクトルを使って動きベクトル
を予測しても良いとことは言うまでもない。図中の5−
2のブロックの原点0に対応した図中の5−3の0′と
前述の方法で求めた動き予測点Pの2点でマッチング残
差を求め、残差の小さい方から前述(図4)の処理を開
始する。
【0015】図6は本発明一実施例の再計算を防止する
ための処理マップの概要図である。この図6−1に示す
ように前述までの見本ベクトル集合を用いた動きベクト
ル検出を行うと一度演算した点で再度の演算を行うこと
になる。それを防止するために探索領域と対応している
計算した点を格納しておく図6−2に示すような計算済
み点マップを作り、そのマップを検索しながら探索を行
なう。
ための処理マップの概要図である。この図6−1に示す
ように前述までの見本ベクトル集合を用いた動きベクト
ル検出を行うと一度演算した点で再度の演算を行うこと
になる。それを防止するために探索領域と対応している
計算した点を格納しておく図6−2に示すような計算済
み点マップを作り、そのマップを検索しながら探索を行
なう。
【0016】具体的な例としては、探索を開始する前に
計算済み点用マップのすべての値を0にしておく。そし
て、動きベクトル検出を行なうごとに計算を行なった点
の位置に1を格納する。この計算のときに、計算済み点
用マップを見て、0ならば計算を行なって1を格納し、
1ならば計算を行なわずに次の計算に移行する。
計算済み点用マップのすべての値を0にしておく。そし
て、動きベクトル検出を行なうごとに計算を行なった点
の位置に1を格納する。この計算のときに、計算済み点
用マップを見て、0ならば計算を行なって1を格納し、
1ならば計算を行なわずに次の計算に移行する。
【0017】図7は本発明の動き検出装置の一実施例を
示したものである。動画像の情報源符号化処理の開始時
のように動き補償フレーム間予測符号化を使用しない場
合と動き補償フレーム間予測符号化を使用する場合に大
きく分けることができる。例えば、符号化開始時の1枚
目の画像、動き補償フレーム間予測符号化を使用するこ
とによる誤りの伝播を防止するためのリフレッシュ画像
等の場合は動き補償フレーム間予測符号化は使用しな
い。
示したものである。動画像の情報源符号化処理の開始時
のように動き補償フレーム間予測符号化を使用しない場
合と動き補償フレーム間予測符号化を使用する場合に大
きく分けることができる。例えば、符号化開始時の1枚
目の画像、動き補償フレーム間予測符号化を使用するこ
とによる誤りの伝播を防止するためのリフレッシュ画像
等の場合は動き補償フレーム間予測符号化は使用しな
い。
【0018】前者の場合は、画像データが入力1され、
動き検出器2に入り、前画像メモリ3に記憶され、画像
がそのまま出力4される。
動き検出器2に入り、前画像メモリ3に記憶され、画像
がそのまま出力4される。
【0019】後者の場合は、画像データが入力1され、
動き検出器2に入る。動き検出器2では入力された画像
データと前画像メモリ3内のデータをもとに動き検出を
行う。動き検出は図10で示した流れ図の処理に従い、
動きベクトルを求める。その後、動き検出器2は、動き
ベクトルが検出可能、あるいは不可能という信号を出力
し、また検出できた場合には動きベクトルを出力7す
る。さらに、前画像データに対する入力された画像デー
タの差分データなど情報源符号化に必要となるデータを
出力することになるが、このような符号化技法に左右さ
れる内容については特に言及しない。
動き検出器2に入る。動き検出器2では入力された画像
データと前画像メモリ3内のデータをもとに動き検出を
行う。動き検出は図10で示した流れ図の処理に従い、
動きベクトルを求める。その後、動き検出器2は、動き
ベクトルが検出可能、あるいは不可能という信号を出力
し、また検出できた場合には動きベクトルを出力7す
る。さらに、前画像データに対する入力された画像デー
タの差分データなど情報源符号化に必要となるデータを
出力することになるが、このような符号化技法に左右さ
れる内容については特に言及しない。
【0020】また、見本ベクトル集合用ROM5の具体
的な構成例は図8に示すように、0番地にはi1番地,
i2番地、…in番地項目が格納され、i1番地にはM
AP〔1〕、i2番地にはMAP〔2〕,…in番地に
はMAP〔n〕の基本ベクトルが各々格納されている。
また、計算済み点を格納するRAM6の具体的構成は、
図9に示すようにベクトルX成分X1,X2,…Xn、ベ
クトルY成分Y1,Y2…Ynが格納される。
的な構成例は図8に示すように、0番地にはi1番地,
i2番地、…in番地項目が格納され、i1番地にはM
AP〔1〕、i2番地にはMAP〔2〕,…in番地に
はMAP〔n〕の基本ベクトルが各々格納されている。
また、計算済み点を格納するRAM6の具体的構成は、
図9に示すようにベクトルX成分X1,X2,…Xn、ベ
クトルY成分Y1,Y2…Ynが格納される。
【0021】図10は動き検出器2の動き検出アルゴリ
ズムのフローチャートである。求める。ブロックの原点
でまず、残差最小点(x,y)とその点の残差2乗和D
を求める(ステップ102)。この残差最小点と残差2
乗和Dを求める処理を図11に示す。求めた残差最小点
(x,y)を残差最小点(x_min,y_min)付近
の残差最小点(x,y)と残差2乗和Dを求める(ステ
ップ105)。ここで求めたDとD_minを比較(ス
テップ106)して、等しくない場合は残差最小点
(x,y)を(x_min,y_min)に残差2乗和D
をD_minに代入し(ステップ107)、ステップ1
08からステップ104に戻り同様に処理を繰り返す。
等しくなった場合は最小点の座標を動きベクトルとして
保存し(ステップ109)、処理を終了する(ステップ
110)。なお、総ての座標系は動きベクトルを求める
ブロックを原点とした座標系を使用する。
ズムのフローチャートである。求める。ブロックの原点
でまず、残差最小点(x,y)とその点の残差2乗和D
を求める(ステップ102)。この残差最小点と残差2
乗和Dを求める処理を図11に示す。求めた残差最小点
(x,y)を残差最小点(x_min,y_min)付近
の残差最小点(x,y)と残差2乗和Dを求める(ステ
ップ105)。ここで求めたDとD_minを比較(ス
テップ106)して、等しくない場合は残差最小点
(x,y)を(x_min,y_min)に残差2乗和D
をD_minに代入し(ステップ107)、ステップ1
08からステップ104に戻り同様に処理を繰り返す。
等しくなった場合は最小点の座標を動きベクトルとして
保存し(ステップ109)、処理を終了する(ステップ
110)。なお、総ての座標系は動きベクトルを求める
ブロックを原点とした座標系を使用する。
【0022】図11は前記残差最小点および残差2乗和
を計算するアルゴリズムのフローチャートである。初期
設定(ステップ202)の後、変数iが使用する見本ベ
クトルの総数以上になるまで、ステップ209間をルー
プする(ステップ203)。ループ内は見本ベクトルの
成分に残差最小点を加算した成分(vx,vy)(ステ
ップ204)が計算を行なっている点かどうか判断(ス
テップ205)して、まだ計算を行なっていない点なら
ば、計算済み点用マップの対応箇所に1を代入(ステッ
プ206)し、その点の残差2乗和Dを求め(ステップ
207)、今まで求めた残差2乗和の最小値D_min
と比較(ステップ208)し、小さければステップ20
9へ、大きければ待避させた後(ステップ210)ステ
ップ209へ移る。ステップ205で一度計算を終えた
点であることが分かった場合はステップ209に移る。
を計算するアルゴリズムのフローチャートである。初期
設定(ステップ202)の後、変数iが使用する見本ベ
クトルの総数以上になるまで、ステップ209間をルー
プする(ステップ203)。ループ内は見本ベクトルの
成分に残差最小点を加算した成分(vx,vy)(ステ
ップ204)が計算を行なっている点かどうか判断(ス
テップ205)して、まだ計算を行なっていない点なら
ば、計算済み点用マップの対応箇所に1を代入(ステッ
プ206)し、その点の残差2乗和Dを求め(ステップ
207)、今まで求めた残差2乗和の最小値D_min
と比較(ステップ208)し、小さければステップ20
9へ、大きければ待避させた後(ステップ210)ステ
ップ209へ移る。ステップ205で一度計算を終えた
点であることが分かった場合はステップ209に移る。
【0023】図12は残差2乗和を計算するフローチャ
ートである。数1の残差2乗和を求めるものである。
ートである。数1の残差2乗和を求めるものである。
【0024】図13は動き検出アルゴリズムのフローチ
ャートである。先行して処理された隣接ブロックから導
かれる動きベクトルの予測点(px,py)付近の残差
最小点(x1,y1)とその点の残差2乗和D1を求め
る(ステップ402)。次にブロックの原点(0,0)
付近の残差最小点(x2,y2)と残差2乗和D2を求
める(ステップ403)。残差2乗和D1と残差2乗和
D2を比較し(ステップ404)、残差2乗和D1が残
差2乗和D2以下ならば、残差最小点(x1,x1)を
残差最小点(x_min,y_min)に残差2乗和D1
を残差2乗和D_minに代入(ステップ405)す
る。残差2乗和D2の方が大きければ、残差最小点(x
2,y2)を残差最小点(x_min,y_min)に残
差2乗和D2を残差2乗和D_minに代入(ステップ
406)する。
ャートである。先行して処理された隣接ブロックから導
かれる動きベクトルの予測点(px,py)付近の残差
最小点(x1,y1)とその点の残差2乗和D1を求め
る(ステップ402)。次にブロックの原点(0,0)
付近の残差最小点(x2,y2)と残差2乗和D2を求
める(ステップ403)。残差2乗和D1と残差2乗和
D2を比較し(ステップ404)、残差2乗和D1が残
差2乗和D2以下ならば、残差最小点(x1,x1)を
残差最小点(x_min,y_min)に残差2乗和D1
を残差2乗和D_minに代入(ステップ405)す
る。残差2乗和D2の方が大きければ、残差最小点(x
2,y2)を残差最小点(x_min,y_min)に残
差2乗和D2を残差2乗和D_minに代入(ステップ
406)する。
【0025】その後、最小点(x_min,y_min)
付近の残差最小点(x3,y3)と残差2乗和D3を求
める(ステップ408)。D3とD_minを比較し
(ステップ409)、残差最小点(x3,y3)の方が
小さい場合は残差最小点(x3,y3)を(x_mi
n,y_min)に残差2乗和D3をD_minに代入し
(ステップ410)、ステップ411からステップ40
7に戻り同様の処理を繰り返す。ステップ409で最小
点と誤差最小点が等しくなった場合は最小点の座標を動
きベクトルをして保存し(ステップ412)、処理を終
了する(ステップ413)。
付近の残差最小点(x3,y3)と残差2乗和D3を求
める(ステップ408)。D3とD_minを比較し
(ステップ409)、残差最小点(x3,y3)の方が
小さい場合は残差最小点(x3,y3)を(x_mi
n,y_min)に残差2乗和D3をD_minに代入し
(ステップ410)、ステップ411からステップ40
7に戻り同様の処理を繰り返す。ステップ409で最小
点と誤差最小点が等しくなった場合は最小点の座標を動
きベクトルをして保存し(ステップ412)、処理を終
了する(ステップ413)。
【0026】図14は図13で使用する残差最小点と残
差2乗和を求めるフローチャートである。ステップ50
2で見本ベクトル集合を以前までに求めた残差2乗和の
値により、決定する。以下のステップ503〜512ま
での処理については図11と同じである。
差2乗和を求めるフローチャートである。ステップ50
2で見本ベクトル集合を以前までに求めた残差2乗和の
値により、決定する。以下のステップ503〜512ま
での処理については図11と同じである。
【0027】図15は本発明の一実施例である動画像伝
送システム構成を図示したものである。送信側装置は、
装置の動作全体を制御するCPU11と、ビデオカメラ
などの画像入力装置12と、画像入力信号(例えばNT
SCコンポジット信号など)をディジタル信号に変換す
るA/D変換機能を兼ね備えた1/F13と、入力した
ディジタル画像データを記憶する入力画像記憶装置14
と、動き検出装置15と、入力画像データや動き検出の
結果得られる動きベクトルなどの情報を情報源符号化す
る情報源符号化装置16と、送受信や通信制御を行う通
信制御装置17と、それとCPU11をつなぐRS−2
32Cなどの汎用のI/F18とで構成される。
送システム構成を図示したものである。送信側装置は、
装置の動作全体を制御するCPU11と、ビデオカメラ
などの画像入力装置12と、画像入力信号(例えばNT
SCコンポジット信号など)をディジタル信号に変換す
るA/D変換機能を兼ね備えた1/F13と、入力した
ディジタル画像データを記憶する入力画像記憶装置14
と、動き検出装置15と、入力画像データや動き検出の
結果得られる動きベクトルなどの情報を情報源符号化す
る情報源符号化装置16と、送受信や通信制御を行う通
信制御装置17と、それとCPU11をつなぐRS−2
32Cなどの汎用のI/F18とで構成される。
【0028】さらに、受信側装置は、装置の動作全体を
制御するCPU21と、通信制御装置22と、それとC
PU21をつなぐRS−232Cなどの汎用のI/F2
3と、情報源復合化装置24と、復号化された画像デー
タを記憶しておく画像記憶装置25と、表示装置27
と、それとCPU21をつなぐI/F26とで構成され
る。
制御するCPU21と、通信制御装置22と、それとC
PU21をつなぐRS−232Cなどの汎用のI/F2
3と、情報源復合化装置24と、復号化された画像デー
タを記憶しておく画像記憶装置25と、表示装置27
と、それとCPU21をつなぐI/F26とで構成され
る。
【0029】
【発明の効果】以上の本発明によれば、次のような効果
を奏する。
を奏する。
【0030】(1) 従来の動き検出法に比べ、演算量
を減少できる。
を減少できる。
【0031】(2) 演算量の減少による動き検出の処
理時間が短縮できる。
理時間が短縮できる。
【0032】(3) システム全体の処理時間の短縮が
計れる。
計れる。
【図1】本発明の一実施例の動き検出の概要を示したも
のである。
のである。
【図2】見本ベクトル集合の分布状態の例1である。
【図3】見本ベクトル集合の分布状態の例2である。
【図4】本発明の他の実施例の可変見本ベクトル集合を
使った動き検出の概要を示したものである。
使った動き検出の概要を示したものである。
【図5】動き予測点の算出例である。
【図6】再計算を防止するために使用する計算済み点用
マップの説明図である。
マップの説明図である。
【図7】本発明の一実施例の動き検出装置である。
【図8】図7で使用する見本ベクトル集合用ROMの構
成例である。
成例である。
【図9】図7で使用するROMの構成例である。
【図10】図7の動き検出のフローチャート1である。
【図11】図10で用いる残差最小点と残差2乗和を求
めるフローチャートである。
めるフローチャートである。
【図12】図10で用いる残差2乗和を求めるフローチ
ャートである。
ャートである。
【図13】図7の動き検出のフローチャート2である。
【図14】図13で用いる見本ベクトル集合を変化させ
る処理を行なう時の残差最小点と残差2乗和を計算する
フローチャートである。
る処理を行なう時の残差最小点と残差2乗和を計算する
フローチャートである。
【図15】本発明の他の実施例の情報源符号化データ通
信装置のシステム構成図である。
信装置のシステム構成図である。
【図16】動き検出の概要を示したものである。
【図17】従来の動き検出方法であるブロックマッチン
グ法の概要を示したものである。
グ法の概要を示したものである。
【図18】従来の動き検出方法である多段階探索法の概
要を示したものである。
要を示したものである。
1…画像入力、2…動き検出器、3…前画像メモリ、4
…画像出力、5…見本ベクトル集合用ROM、6…動き
ベクトル用RAM、7…動きベクトルデータ出力。
…画像出力、5…見本ベクトル集合用ROM、6…動き
ベクトル用RAM、7…動きベクトルデータ出力。
Claims (6)
- 【請求項1】 動画像を情報源符号化するにあたり、時
間的相関性を符号化する動き補償フレーム間予測で使わ
れる動きベクトルを検出するための動き検出方式におい
て、複数のベクトルからなるベクトル集合を用い、それ
らのベクトルを基準として、ブロックマッチング法によ
り相似度を求め、該相似度が最大となる点に再度、ベク
トル集合を用い、それらのベクトルを基準としてマッチ
ングの相似度が最大点を求めることを繰り返すことによ
り、マッチングの相似度が探索領域内で最大になる点に
収束させ、該収束点のベクトルを動きベクトルとするこ
とを特徴とする動き補償フレーム間予測の動き検出方
式。 - 【請求項2】 前記マッチングの相似度によりベクトル
集合の大きさ、またはベクトル集合の大きさ及び内部の
ベクトルの配置を調節することを特徴とすることを特徴
とする請求項1記載の動き補償フレーム間予測の動き検
出方式。 - 【請求項3】 前記動きを検出するブロックの原点と先
行して動き検出された隣接ブロックから予測される動き
予測点との両点に対し、ベクトルの集合を用いたブロッ
クマッチング法によるマッチングの相似度が最大になる
点を各々求め、該求められた両点を比較して真の動きベ
クトルがどちらの点付近に有るかを動き検出に先行して
予測することを特徴とする請求項1記載の動き補償フレ
ーム間予測の動き検出方式。 - 【請求項4】 前記マッチングの相似度を繰返して求め
るとき、先のマッチングの相似度を計算するときに使用
した演算点に対し、再度のマッチングの相似度の計算を
行わないことを特徴とする請求項1記載の動き補償フレ
ーム間予測の動き検出方式。 - 【請求項5】 動画像を情報源符号化することにあた
り、時間的相関性を符号化する動き補償フレーム間予測
で使われる動きベクトルを検出するための動き検出装置
において、 前画像データを記憶する手段と、ベクトル集合を記憶す
る手段と、入力された画像データと前記前画像記憶手段
のデータをもとに、前記記憶手段のベクトル集合を用
い、それらのベクトルを基準としてマッチングによる相
似度の最大点を求める計算を繰返して動きベクトルを求
める動き検出器と、該動き検出器による計算済みブロッ
クの動きベクトルを記憶する手段とを設けたことを特徴
とする動き補償フレーム間予測の動き検出装置。 - 【請求項6】 請求項5記載の動き補償フレーム間予測
の動き検出装置を備えたデータの情報源符号化を行なっ
て送信する送信側装置と、伝送路を介して受信データの
情報源復号化して表示する受信側装置とから成る動画像
伝送装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1186595A JPH08205154A (ja) | 1995-01-27 | 1995-01-27 | 動き補償フレーム間予測の動き検出方式及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1186595A JPH08205154A (ja) | 1995-01-27 | 1995-01-27 | 動き補償フレーム間予測の動き検出方式及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH08205154A true JPH08205154A (ja) | 1996-08-09 |
Family
ID=11789622
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1186595A Pending JPH08205154A (ja) | 1995-01-27 | 1995-01-27 | 動き補償フレーム間予測の動き検出方式及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH08205154A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006270958A (ja) * | 2005-03-21 | 2006-10-05 | Pixart Imaging Inc | 改良式ダイアモンドサーチ動き推定方法 |
US7817717B2 (en) | 2002-06-18 | 2010-10-19 | Qualcomm Incorporated | Motion estimation techniques for video encoding |
-
1995
- 1995-01-27 JP JP1186595A patent/JPH08205154A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7817717B2 (en) | 2002-06-18 | 2010-10-19 | Qualcomm Incorporated | Motion estimation techniques for video encoding |
JP2006270958A (ja) * | 2005-03-21 | 2006-10-05 | Pixart Imaging Inc | 改良式ダイアモンドサーチ動き推定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11134263B2 (en) | Moving picture decoding method and moving picture encoding method | |
KR100492127B1 (ko) | 적응형 움직임 추정장치 및 추정 방법 | |
JP3847827B2 (ja) | 動きベクトル検出方法 | |
JP2853553B2 (ja) | 動画像符号化方式 | |
US5581308A (en) | Method and apparatus for determining true motion vectors for selected pixels | |
WO2001010135A1 (en) | Moving vector detecting method | |
JP3277111B2 (ja) | 動画像符号化装置および動画像復号化装置 | |
JPH09179987A (ja) | 動きベクトル検出方法及び動きベクトル検出装置 | |
US20050105620A1 (en) | Motion vector detecting device and motion vector detecting program | |
KR100490730B1 (ko) | 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법 | |
US5787205A (en) | Motion vector detecting device | |
JPH08205154A (ja) | 動き補償フレーム間予測の動き検出方式及び装置 | |
JPH04248789A (ja) | 撮像された画像の中の動きの推定方法 | |
JP2642160B2 (ja) | 画像処理装置の動き検出方式 | |
JPH06205403A (ja) | インテグラルプロゼクションを利用した動きベクター検出方法 | |
JP3941900B2 (ja) | 動きベクトル検出装置 | |
JP2000165883A (ja) | 動きベクトル検出装置 | |
JP3309519B2 (ja) | 動きベクトル検出装置 | |
JPH08140101A (ja) | 動き検出方法及び動き検出装置及び画像送信装置 | |
JPH0865675A (ja) | 画像符号化装置および画像復号化装置 | |
JPH1042300A (ja) | 動きベクトル検出装置 | |
JP3629745B2 (ja) | 動きベクトル検出回路および動きベクトル検出装置 | |
JP2000324495A (ja) | フィールド周波数変換装置および変換方法 | |
JPH05236454A (ja) | 画像符号化における動ベクトル検出方法と装置 | |
JPH0984017A (ja) | 動画像の動き補償予測符号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050719 |