JPH08205154A - 動き補償フレーム間予測の動き検出方式及び装置 - Google Patents

Abstract

(57)【要約】 【目的】 演算時間を短縮して動き予測の精度を向上す
る。 【構成】 画像データが入力１され、動き検出器２に入
る。動き検出器２では入力された画像データと前画像メ
モリ３内のデータをもとに動き検出を行なう。動き検出
器２の動き検出は、ＲＯＭ５に記憶されたベクトル集合
を用い、それらのベクトルを基準としてマッチングによ
る相似度の最大点を求める演算を繰返して動きベクトル
を求める。動き検出器２による計算済み点をＲＡＭ６に
格納し、画像出力４及び動きベクトルデータの出力７を
する。これにより演算量を減少し、動き検出の処理時間
が短縮できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動き補償フレーム間予測
の動き検出方式及び検出装置に関するものである。

【０００２】

【従来の技術】図１６は、動き検出の概要を示したもの
である。図１６−２の現在の画像内の右側のブロック
（図中ではヘリコプターを囲む領域）は、図中１６−１
の１フレーム前の画像では画像内の左側に存在する。こ
のことは１フレームの間にブロックが左側から右側に動
いたことを示している。この動き量を表すベクトルが動
きベクトルであり、この動きベクトルを求める作業を動
き検出という。図中の１６−３は１６−１、１６−２内
に存在するブロックの動きベクトルを示したものであ
る。

【０００３】従来から使われている代表的な動き検出に
は、図１７に示すように動き検出領域（以下、探索領域
という）の全画素についてブロック同士のマッチングを
行い、マッチングの相似度が最大になるブロック位置を
探し出すブロックマッチング法と、図１８に示すように
原点から探索領域端までの距離の１／２の距離になる図
中の１回目の８点と原点を合わせた９点で１回目のマッ
チング残差最小点を求め、次に前述の距離の更に１／２
の距離で同様に２回目、３回目とマッチング残差最小点
の絞り込みを行う多段階探索法などの種々の方法が考案
され、またＭＰＥＧ等の動き検出も使用されている。

【０００４】

【発明が解決しようとする課題】前記従来の動き検出で
は、動き予測の精度を向上させようとすると演算時間が
増加する、あるいは演算時間を短縮させようとすれば動
き予測の精度が低下するという問題点がある。具体的に
は画像内で動いている物体が探索領域の外まで移動して
しまうことがないように探索領域を広く設定してしまう
とブロックマッチング法ではそれに伴い演算量が増大
し、演算量を少なくするために多段階探索法を用いると
１回目の探索する点同士が離れてしまうため、１回目で
求める真の動きがある方向と異なってしまった場合には
動きの予測の失敗が起こる。また、動画像を情報源符号
化する場合などにおいては前述の演算時間や動き予測の
精度が大きく作用することは言うまでもない。

【０００５】本発明の目的は、従来の問題点を解決し、
演算時間を短縮して動き予測の精度を向上する動き補償
フレーム間予測の動き検出方式及びその装置の提供にあ
る。

【０００６】

【課題を解決するための手段】上記目的は、前画像デー
タを記憶する手段と、ベクトル集合を記憶する手段と、
入力された画像データと前記前画像記憶手段のデータを
もとに、前記記憶手段のベクトル集合を用い、それらの
ベクトルを基準としてマッチングによる相似度の最大点
を求める計算を繰返して動きベクトルを求める動き検出
器と、該動き検出器による計算済みブロックの動きベク
トルを記憶する手段とを設けたことによって達成され
る。

【０００７】

【作用】上記手段を用いれば、入力画像データと前画像
データをもとに、複数のベクトルからなるベクトル集合
を用い、それらのベクトルを基準としてブロックマッチ
ング法により相似度を求め、該相似度が最大となる点に
再度、ベクトル集合を用い、それらのベクトルを基準と
してマッチングの相似度が最大点を求めることを繰り返
すことにより、マッチングの相似度が探索領域内で最大
になる点に収束させ、該収束点のベクトルを動きベクト
ルとする。これにより演算量が減少し、処理時間が短縮
する。

【０００８】

【実施例】以下本発明を実施例によって説明する。

【０００９】図１は本発明の一実施例の動き検出の概要
を示したものである。図中１−１のように現在の画像内
のブロックの左上を原点とする。これは便宜上、原点を
左上に決めたものでブロックの中心などの他点でも良い
ことは言うまでもない。この原点と対応する図中の１−
２の１フレーム前の画像の点に原点などの代表点からど
のようにマッチングを行うかを示したベクトルの集合
（以下、そのベクトルを見本ベクトル、ベクトルの集合
を見本ベクトルの集合とする）を重ね、見本ベクトルの
集合内の点でブロック同士のマッチングを行った結果得
られる相似度から、相似度が最大になる点を求める。こ
こで、相似度を求めるにあたり、一般的には相似度を表
す関数は相似度が大きくなると小さな値を返すものを使
用し、一般的には数１に示す残差２乗和あるいは数２の
絶対値差分和等の評価関数を用いる。

【００１０】

【数１】

【００１１】

【数２】

【００１２】この数式に示すように相似度が最大になる
ということは評価関数の値（残差２乗和、絶対値差分
和）が最小になるということである。なお、以下、評価
関数として残差２乗和を用いるが、絶対値差分和でも同
様な処理が行なえる。そこで、この数１の式を用いて残
差２乗和が最小になる残差最小点１を求める。そして、
残差最小点１を中心に、見本ベクトルの集合を重ね、そ
の見本ベクトルの集合内で残差２乗和が最小になる残差
最小点２を求める。同様に残差最小点２を中心に見本ベ
クトルの集合を重ねるという処理を、残差最小点が変化
しなくなるまで続ける。残差最小点が変化しなくなった
点に原点からベクトルを引く。これが動きベクトルとな
る。なお、見本ベクトル集合とは図２に示すような一様
に分布したベクトルの集合、あるいは図３に示すような
中心に偏って分布しているベクトルの集合を表すが、特
にこれに限定せず、探索領域内の局所的な領域を探索す
ることが可能な集合であれば良く、通常は円形の領域で
あるが、四角形領域などでも可能であることは言うまで
もない。

【００１３】図４は見本ベクトル集合をブロックマッチ
ング結果から得られる評価関数の値の大きさにより変化
させて動き検出を行ったものである。図中の原点に見本
ベクトル集合１を重ねて、見本ベクトル毎にブロックマ
ッチングを行い、その中で残差２乗和が最小になる残差
最小点１を求める。次に残差２乗和に応じ、見本ベクト
ル集合の大きさや見本ベクトルの分布状態を変化させた
見本ベクトル集合２を重ね、ブロックマッチングによる
残差２乗和が最小になる残差最小点２を求める。同様に
残差２乗和に応じた見本ベクトル集合３から残差最小点
３を求めると言う操作を残差最小点が変化しなくなるま
で繰り返す。最終的に求まった残差最小点から原点まで
のベクトルを動きベクトルとする。

【００１４】図５は動き予測点と原点との２点の処理開
始位置を示したものである。これは動き検出の処理の最
初に原点と動き予測点とでどちらかに求める動きベクト
ルがあるかを大まかに推定しその点から処理を始めると
いうものである。図中の５−１で示すようにＭＰＥＧ等
の動き予測のように前のブロックから動き予測を行う。
具体的には前のブロックからの予測に限らず、既知であ
る周囲のブロックの動きベクトルを使って動きベクトル
を予測しても良いとことは言うまでもない。図中の５−
２のブロックの原点０に対応した図中の５−３の０′と
前述の方法で求めた動き予測点Ｐの２点でマッチング残
差を求め、残差の小さい方から前述（図４）の処理を開
始する。

【００１５】図６は本発明一実施例の再計算を防止する
ための処理マップの概要図である。この図６−１に示す
ように前述までの見本ベクトル集合を用いた動きベクト
ル検出を行うと一度演算した点で再度の演算を行うこと
になる。それを防止するために探索領域と対応している
計算した点を格納しておく図６−２に示すような計算済
み点マップを作り、そのマップを検索しながら探索を行
なう。

【００１６】具体的な例としては、探索を開始する前に
計算済み点用マップのすべての値を０にしておく。そし
て、動きベクトル検出を行なうごとに計算を行なった点
の位置に１を格納する。この計算のときに、計算済み点
用マップを見て、０ならば計算を行なって１を格納し、
１ならば計算を行なわずに次の計算に移行する。

【００１７】図７は本発明の動き検出装置の一実施例を
示したものである。動画像の情報源符号化処理の開始時
のように動き補償フレーム間予測符号化を使用しない場
合と動き補償フレーム間予測符号化を使用する場合に大
きく分けることができる。例えば、符号化開始時の１枚
目の画像、動き補償フレーム間予測符号化を使用するこ
とによる誤りの伝播を防止するためのリフレッシュ画像
等の場合は動き補償フレーム間予測符号化は使用しな
い。

【００１８】前者の場合は、画像データが入力１され、
動き検出器２に入り、前画像メモリ３に記憶され、画像
がそのまま出力４される。

【００１９】後者の場合は、画像データが入力１され、
動き検出器２に入る。動き検出器２では入力された画像
データと前画像メモリ３内のデータをもとに動き検出を
行う。動き検出は図１０で示した流れ図の処理に従い、
動きベクトルを求める。その後、動き検出器２は、動き
ベクトルが検出可能、あるいは不可能という信号を出力
し、また検出できた場合には動きベクトルを出力７す
る。さらに、前画像データに対する入力された画像デー
タの差分データなど情報源符号化に必要となるデータを
出力することになるが、このような符号化技法に左右さ
れる内容については特に言及しない。

【００２０】また、見本ベクトル集合用ＲＯＭ５の具体
的な構成例は図８に示すように、０番地にはｉ１番地，
ｉ２番地、…ｉｎ番地項目が格納され、ｉ１番地にはＭ
ＡＰ〔１〕、ｉ２番地にはＭＡＰ〔２〕，…ｉｎ番地に
はＭＡＰ〔ｎ〕の基本ベクトルが各々格納されている。
また、計算済み点を格納するＲＡＭ６の具体的構成は、
図９に示すようにベクトルＸ成分Ｘ₁，Ｘ₂，…Ｘｎ、ベ
クトルＹ成分Ｙ₁，Ｙ₂…Ｙｎが格納される。

【００２１】図１０は動き検出器２の動き検出アルゴリ
ズムのフローチャートである。求める。ブロックの原点
でまず、残差最小点（ｘ，ｙ）とその点の残差２乗和Ｄ
を求める（ステップ１０２）。この残差最小点と残差２
乗和Ｄを求める処理を図１１に示す。求めた残差最小点
（ｘ，ｙ）を残差最小点（ｘ_ｍｉｎ，ｙ_ｍｉｎ）付近
の残差最小点（ｘ，ｙ）と残差２乗和Ｄを求める（ステ
ップ１０５）。ここで求めたＤとＤ_ｍｉｎを比較（ス
テップ１０６）して、等しくない場合は残差最小点
（ｘ，ｙ）を（ｘ_ｍｉｎ，ｙ_ｍｉｎ）に残差２乗和Ｄ
をＤ_ｍｉｎに代入し（ステップ１０７）、ステップ１
０８からステップ１０４に戻り同様に処理を繰り返す。
等しくなった場合は最小点の座標を動きベクトルとして
保存し（ステップ１０９）、処理を終了する（ステップ
１１０）。なお、総ての座標系は動きベクトルを求める
ブロックを原点とした座標系を使用する。

【００２２】図１１は前記残差最小点および残差２乗和
を計算するアルゴリズムのフローチャートである。初期
設定（ステップ２０２）の後、変数ｉが使用する見本ベ
クトルの総数以上になるまで、ステップ２０９間をルー
プする（ステップ２０３）。ループ内は見本ベクトルの
成分に残差最小点を加算した成分（ｖｘ，ｖｙ）（ステ
ップ２０４）が計算を行なっている点かどうか判断（ス
テップ２０５）して、まだ計算を行なっていない点なら
ば、計算済み点用マップの対応箇所に１を代入（ステッ
プ２０６）し、その点の残差２乗和Ｄを求め（ステップ
２０７）、今まで求めた残差２乗和の最小値Ｄ_ｍｉｎ
と比較（ステップ２０８）し、小さければステップ２０
９へ、大きければ待避させた後（ステップ２１０）ステ
ップ２０９へ移る。ステップ２０５で一度計算を終えた
点であることが分かった場合はステップ２０９に移る。

【００２３】図１２は残差２乗和を計算するフローチャ
ートである。数１の残差２乗和を求めるものである。

【００２４】図１３は動き検出アルゴリズムのフローチ
ャートである。先行して処理された隣接ブロックから導
かれる動きベクトルの予測点（ｐｘ，ｐｙ）付近の残差
最小点（ｘ１，ｙ１）とその点の残差２乗和Ｄ１を求め
る（ステップ４０２）。次にブロックの原点（０，０）
付近の残差最小点（ｘ２，ｙ２）と残差２乗和Ｄ２を求
める（ステップ４０３）。残差２乗和Ｄ１と残差２乗和
Ｄ２を比較し（ステップ４０４）、残差２乗和Ｄ１が残
差２乗和Ｄ２以下ならば、残差最小点（ｘ１，ｘ１）を
残差最小点（ｘ_ｍｉｎ，ｙ_ｍｉｎ）に残差２乗和Ｄ１
を残差２乗和Ｄ_ｍｉｎに代入（ステップ４０５）す
る。残差２乗和Ｄ２の方が大きければ、残差最小点（ｘ
２，ｙ２）を残差最小点（ｘ_ｍｉｎ，ｙ_ｍｉｎ）に残
差２乗和Ｄ２を残差２乗和Ｄ_ｍｉｎに代入（ステップ
４０６）する。

【００２５】その後、最小点（ｘ_ｍｉｎ，ｙ_ｍｉｎ）
付近の残差最小点（ｘ３，ｙ３）と残差２乗和Ｄ３を求
める（ステップ４０８）。Ｄ３とＤ_ｍｉｎを比較し
（ステップ４０９）、残差最小点（ｘ３，ｙ３）の方が
小さい場合は残差最小点（ｘ３，ｙ３）を（ｘ_ｍｉ
ｎ，ｙ_ｍｉｎ）に残差２乗和Ｄ３をＤ_ｍｉｎに代入し
（ステップ４１０）、ステップ４１１からステップ４０
７に戻り同様の処理を繰り返す。ステップ４０９で最小
点と誤差最小点が等しくなった場合は最小点の座標を動
きベクトルをして保存し（ステップ４１２）、処理を終
了する（ステップ４１３）。

【００２６】図１４は図１３で使用する残差最小点と残
差２乗和を求めるフローチャートである。ステップ５０
２で見本ベクトル集合を以前までに求めた残差２乗和の
値により、決定する。以下のステップ５０３〜５１２ま
での処理については図１１と同じである。

【００２７】図１５は本発明の一実施例である動画像伝
送システム構成を図示したものである。送信側装置は、
装置の動作全体を制御するＣＰＵ１１と、ビデオカメラ
などの画像入力装置１２と、画像入力信号（例えばＮＴ
ＳＣコンポジット信号など）をディジタル信号に変換す
るＡ／Ｄ変換機能を兼ね備えた１／Ｆ１３と、入力した
ディジタル画像データを記憶する入力画像記憶装置１４
と、動き検出装置１５と、入力画像データや動き検出の
結果得られる動きベクトルなどの情報を情報源符号化す
る情報源符号化装置１６と、送受信や通信制御を行う通
信制御装置１７と、それとＣＰＵ１１をつなぐＲＳ−２
３２Ｃなどの汎用のＩ／Ｆ１８とで構成される。

【００２８】さらに、受信側装置は、装置の動作全体を
制御するＣＰＵ２１と、通信制御装置２２と、それとＣ
ＰＵ２１をつなぐＲＳ−２３２Ｃなどの汎用のＩ／Ｆ２
３と、情報源復合化装置２４と、復号化された画像デー
タを記憶しておく画像記憶装置２５と、表示装置２７
と、それとＣＰＵ２１をつなぐＩ／Ｆ２６とで構成され
る。

【００２９】

【発明の効果】以上の本発明によれば、次のような効果
を奏する。

【００３０】（１） 従来の動き検出法に比べ、演算量
を減少できる。

【００３１】（２） 演算量の減少による動き検出の処
理時間が短縮できる。

【００３２】（３） システム全体の処理時間の短縮が
計れる。

【図面の簡単な説明】

【図１】本発明の一実施例の動き検出の概要を示したも
のである。

【図２】見本ベクトル集合の分布状態の例１である。

【図３】見本ベクトル集合の分布状態の例２である。

【図４】本発明の他の実施例の可変見本ベクトル集合を
使った動き検出の概要を示したものである。

【図５】動き予測点の算出例である。

【図６】再計算を防止するために使用する計算済み点用
マップの説明図である。

【図７】本発明の一実施例の動き検出装置である。

【図８】図７で使用する見本ベクトル集合用ＲＯＭの構
成例である。

【図９】図７で使用するＲＯＭの構成例である。

【図１０】図７の動き検出のフローチャート１である。

【図１１】図１０で用いる残差最小点と残差２乗和を求
めるフローチャートである。

【図１２】図１０で用いる残差２乗和を求めるフローチ
ャートである。

【図１３】図７の動き検出のフローチャート２である。

【図１４】図１３で用いる見本ベクトル集合を変化させ
る処理を行なう時の残差最小点と残差２乗和を計算する
フローチャートである。

【図１５】本発明の他の実施例の情報源符号化データ通
信装置のシステム構成図である。

【図１６】動き検出の概要を示したものである。

【図１７】従来の動き検出方法であるブロックマッチン
グ法の概要を示したものである。

【図１８】従来の動き検出方法である多段階探索法の概
要を示したものである。

【符号の説明】

１…画像入力、２…動き検出器、３…前画像メモリ、４
…画像出力、５…見本ベクトル集合用ＲＯＭ、６…動き
ベクトル用ＲＡＭ、７…動きベクトルデータ出力。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 動画像を情報源符号化するにあたり、時
   間的相関性を符号化する動き補償フレーム間予測で使わ
   れる動きベクトルを検出するための動き検出方式におい
   て、複数のベクトルからなるベクトル集合を用い、それ
   らのベクトルを基準として、ブロックマッチング法によ
   り相似度を求め、該相似度が最大となる点に再度、ベク
   トル集合を用い、それらのベクトルを基準としてマッチ
   ングの相似度が最大点を求めることを繰り返すことによ
   り、マッチングの相似度が探索領域内で最大になる点に
   収束させ、該収束点のベクトルを動きベクトルとするこ
   とを特徴とする動き補償フレーム間予測の動き検出方
   式。
2. 【請求項２】 前記マッチングの相似度によりベクトル
   集合の大きさ、またはベクトル集合の大きさ及び内部の
   ベクトルの配置を調節することを特徴とすることを特徴
   とする請求項１記載の動き補償フレーム間予測の動き検
   出方式。
3. 【請求項３】 前記動きを検出するブロックの原点と先
   行して動き検出された隣接ブロックから予測される動き
   予測点との両点に対し、ベクトルの集合を用いたブロッ
   クマッチング法によるマッチングの相似度が最大になる
   点を各々求め、該求められた両点を比較して真の動きベ
   クトルがどちらの点付近に有るかを動き検出に先行して
   予測することを特徴とする請求項１記載の動き補償フレ
   ーム間予測の動き検出方式。
4. 【請求項４】 前記マッチングの相似度を繰返して求め
   るとき、先のマッチングの相似度を計算するときに使用
   した演算点に対し、再度のマッチングの相似度の計算を
   行わないことを特徴とする請求項１記載の動き補償フレ
   ーム間予測の動き検出方式。
5. 【請求項５】 動画像を情報源符号化することにあた
   り、時間的相関性を符号化する動き補償フレーム間予測
   で使われる動きベクトルを検出するための動き検出装置
   において、 前画像データを記憶する手段と、ベクトル集合を記憶す
   る手段と、入力された画像データと前記前画像記憶手段
   のデータをもとに、前記記憶手段のベクトル集合を用
   い、それらのベクトルを基準としてマッチングによる相
   似度の最大点を求める計算を繰返して動きベクトルを求
   める動き検出器と、該動き検出器による計算済みブロッ
   クの動きベクトルを記憶する手段とを設けたことを特徴
   とする動き補償フレーム間予測の動き検出装置。
6. 【請求項６】 請求項５記載の動き補償フレーム間予測
   の動き検出装置を備えたデータの情報源符号化を行なっ
   て送信する送信側装置と、伝送路を介して受信データの
   情報源復号化して表示する受信側装置とから成る動画像
   伝送装置。