JP2507178B2 - 動き検出方法及び動き検出装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、動画像において、物体の動きを検出する動
き検出方法及び動き検出装置に関するものである。

従来の技術 時間的に連続する動画像から、物体の動きを検出する
技術は、画像の高能率符号化における動き補償フレーム
間符号化などに広く用いられている。

以下図面を参照しながら、従来の動き検出装置の一例
について説明する。

第５図は、従来のブロックマッチング法を用いた動き
検出装置のブロック図、第６図は従来の動き検出方法の
説明図である。第５図において、１はバッファメモリ、
２は誤差計算回路、３は誤差比較回路、４はアドレス発
生回路である。また第６図において、61はｔフレームの
ある１つのブロック、62は誤差計算を行なう（ｔ−１）
フレーム目のブロック、63は動き検出によって求めた動
きベクトルを示す。以上のように構成された従来の動き
ベクトル検出装置について、以下その動作を説明する。

フレームごとに区切った画像データは、まずバッファ
メモリ１に入力する。今、基準をｔフレームとし、（ｔ
−１）フレームとｔフレームの間の動きベクトルを検出
する。バッファメモリ１に入力した画像は、ｍ×ｎ画素
ずつの２次元ブロック単位に読みだし、前記２次元単位
で動きベクトルを検出する。第６図における61は、ｔフ
レーム内の中心座標をＳ（x,y,t）を有する２次元ブロ
ックで、前記２次元ブロックを基準ブロックにとり、基
準ブロック（ｔ−１）フレームとの間の動きを検出す
る。前記２次元ブロックを基準として、バッファメモリ
には（ｔ−１）フレームの画像データもメモリしてお
り、次に、（ｔ−１）フレームの、中心座標（x,y,t−
１）を有する２次元ブロックＳ（x,y,t−１）を読みだ
す。誤差計算回路２では、前記２つのブロックにおける
画像データの振幅の２乗誤差の和、すなわち を計算し、誤差比較回路３に送る。次に、アドレス発生
回路４は、（ｔ−１）フレームにおける水平１画素隣の
ｍ×ｎブロックすなわち中心座標Ｓ（x,y,t−１）のア
ドレスを発生する。誤差計算回路２では、同様にσ０
（＋1,0）を計算し、誤差比較回路３に送る。誤差比較
回路３では、σ０（0,0）とσ０（＋1,0）を比較し、小
さいほうを選択する。以下同様に、−ｈ＜xh＜h,−ｖ＜
yv＜ｖの範囲でσ０（xh,yv）を計算する。以上の動作
は、第６図において、点線で囲まれた範囲（−ｈ＜xh＜
ｈ、−ｖ＜yv＜ｖ）に中心を有する（ｔ−１）フレーム
の２次元ブロックと、ｔフレームの基準ブロックとの誤
差を計算することである。誤差比較回路３は、以上で計
算された誤差σ０（xh,yv）から最小なる誤差σ０（mx,
my）を選択し、同時にアドレスmx,myを出力する、従っ
てＳ（x,y,t）における同期ベクトル63はmv（mx,my）と
なる。以下、ｔフレーム内の２次元ブロックすべてにつ
いて上記した動作を繰り返すことにより、画面内各ブロ
ックの動きベクトルが求まることとなる（例えば、吹抜
著、“画像のデジタル信号処理”、日刊工業新聞刊、19
81、p221−p224）。

発明が解決しようとする課題 しかしながら上記のような構成では、画像のブロック
単位での動きは検出できるが、画面全体の動きは検出で
きない。画面全体の動きとして、ブロック単位で求めた
動きベクトルとを平均して求めることも考えられるが、
ブロック単位での動きベクトルに誤検出が多数あった場
合、あるいは誤検出した値が大きかった場合など正確な
値とならない。また、平均することによって、端数が出
るが、その処理を誤ると大きな誤差を生ずるという問題
点を有していた。

本発明は上記問題点に鑑み、パニングなどの画面全体
の動きを正確に検出できる、動き検出方法及び動き検出
装置を提供するものである。

課題を解決するための手段 上記問題点を解決するために本発明の動き検出方法
は、時刻ｔの画像データのうち、隣接したＫ個の２次元
ブロックについて誤差σｋ（xh,yv）、（−ｈ＜xh＜h,
−ｖ＜yv＜ｖ）、（１≦ｋ≦Ｋ）を従来と同様の方法で
求め、 前記誤差σｋ（xh,yv）を、Ｋ個のブロックについて
加算し、加算誤差σ（xh,yv）を、として求め、前記加
算誤差σ（xh,yv）、（−ｈ＜xh＜h,−ｖ＜yv＜ｖ）か
ら、Ｋ個の２次元ブロックの動きを検出するという動作
を備えたものである。

また、本発明の動き検出装置は、入力した画像データ
を記憶するバッファメモリと、前記バッファメモリから
時刻ｔのｍ×ｎ画素からなる基準２次元ブロックおよび
時刻ｔ′におけるｍ×ｎ画素からなる２次元ブロックＪ
個を順次読みだし、前記基準２次元ブロックと、時刻
ｔ′におけるＪ個の２次元ブロックとの振幅誤差σ１
（ｊ）（１≦ｊ≦Ｊ）を計算する誤差計算回路と、前記
Ｊ個のブロック間の振幅誤差σ１（ｊ）を記憶し、前記
Ｊ個の誤差のうち小さいものａ個を選択し、前記ａ個ブ
ックアドレスを出力する第１の誤差比較回路と、前記ｔ
のフレームの基準ブロックＫ個それぞれに対して、上記
と同様の操作で計算したｊ個の振幅誤差σｋ（ｊ）（１
≦ｊ≦Ｊ），（１≦ｋ≦Ｋ）から、加算誤差σ（ｊ）
（１≦ｊ≦Ｊ）を として求める誤差加算回路と、前記加算誤差σ（ｊ）
（１≦ｊ≦Ｊ）から小さいものｂ個を選択し、前記選択
したｂ個の加算誤差σ（ｊ）のインデックスｊを出力す
る第２の誤差比較回路と、バッファメモリのアドレスを
発生するアドレス発生回路とを備えたことを特徴とする
ものである。

作用 本発明は上記した構成によって、ブロック単位の動き
ベクトルを検出する際に計算した誤差を利用して、画面
全体の動きベクトルを求めるため、従来の動き検出装置
に簡単な回路を付加するだけで、画面全体の動きベクト
ルを正確に検出できることとなる。

実施例 以下本発明の一実施例の動き検出方法及び動き検出装
置について、図面を参照しながら説明する。

第１図は本発明の第１の実施例における動きベクトル
検出装置のブロック図である。第１図において、１はバ
ッファメモリ、２は誤差計算回路、３は誤差比較回路、
４はアドレス発生回路で、以上のブロックは、従来例と
同じものである。誤差計算回路２は、従来例と同じよう
な２乗誤差計算回路でも、あるいは絶対値計算回路でも
良い。５は誤差加算回路、６は第２の誤差比較回路で、
前記誤差比較回路は３と同じ構成のものである。また第
２図は、第１図における誤差加算回路５の構成図であ
る。

以上のように構成された動き検出装置について、以下
第１図，第２図を用いてその動作を説明する。第１図に
おいて、ブロック単位で動きベクトルを検出するのは、
従来例と同様である。本発明では、画面全体の動きを検
出するため、誤差加算回路５及び、誤差比較回路６を設
けている。

今、ｔフレームとｔ′フレームの画面全体の動きを検
出する。従来例と同様に、ｔフレームの基準ブロックの
中心座標をSk（x,y,t）とし、前記基準ブロックと等し
い中心座標Sk（x,y,t′）を有する（ｔ−１）フレーム
の２次元ブロックを中心として、前記２次元ブロックの
中心座標を水平＋−h,＋−ｖ画素移動させ、各中心座標
ごとに基準ブロックとの誤差σ（xh,yv）、（−ｈ＜xh
＜h,−ｖ＜yv＜ｖ）を誤差計算回路２で計算したとす
る。

誤差加算回路５では、Ｋを画面全体のブロック数とす
ると、加算誤差σ（xh,yv）、（−ｈ＜xh＜h,−ｖ＜yv
＜ｖ）を、 として求める。次に、誤差比較回路６では、前記加算誤
差σ（xh,yv）から、最小なる誤差σ（mxt,myt）を選択
し、同時にmxt,mytを出力する。従ってｔフレームの画
面全体における動きベクトルはmv（mxt,myt）として求
まることとなる。

上記した誤差加算回路５の動作は、第２図のような構
成で実現できる。すなわち、ブロック単位の誤差を加算
する加算器51、加算した誤差を記憶するメモリ、及び、
上記した動作に対応したアドレスを発生するアドレス発
生回路53である。

以上のように本実施例によれば、各ブロックの移動画
素ごとの誤差を加算するため、σ（xh,yv）であわられ
た加算誤差は、結局、画面全体を１つのブロックとみな
して、従来と同様な方法で動きベクトルを検出すること
に等しい。従って、画面全体の動きが正確に求められる
こととなる。

第３図は本発明の第２の実施例における動きベクトル
検出装置のブロック図である。第１の実施例と異なるの
は、補間回路７を設けた点である。上記のように構成さ
れた動きベクトル検出装置について、以下その動作を、
第３図及び第４図を用いて説明する。

第４図は、画面全体の動きベクトルを補間によって求
める方法を示す説明図で、横軸が水平方向の移動量xh、
縦軸に誤差σをとっている。同図中、ｘ点が検出された
２乗誤差である。ここでは簡単のため、垂直方向の動き
はないものとして説明する。第１の実施例では、これら
の誤差のうち最も小さいものを動きベクトルとしたが、
より正確に求めるためには、第６図のように２乗誤差の
うち小さいものｂ個を選択し、ｂ個の点を補間した後、
極小点を求めた方が良い。第６図では２乗曲線を当ては
め、その極小点を画面全体の動きベクトルとしている。
補間はこの他に、良く知られた、Newtonの差商公式、ラ
グランジュの補間公式、グレゴリー，ニュートンの補間
公式、ニュートン，ガウスの補間公式、スターリングの
補間公式などを用いてもよい。上記したような補間は、
第３図に示したごとく誤差比較回路６の後ろに、補間回
路７を付加することで実現できる。この際には、誤差比
較回路６では誤差の小さいほうからｂ個を補間回路７に
出力するものとする。

なお、以上の実施例では、画面全体の動きベクトルを
求めるとしたが、画面全体に限ることなく画面のある部
分であればどれでも適用可能である。例えば、画面を４
分割して、それぞれ画面1/4における。動きベクトルを
求めるようにすることも、以上の構成をなんら変えるこ
となく可能である。

また、第２の実施例において、簡単のため垂直方向の
移動量を“なし”としたが、これに限るものではなく、
水平方向の移動量それぞれを分けて求める、あるいは、
水平，垂直方向の移動量を同じパラメータとして、２次
元空間上で、曲面補間して、その極小点をとって画面全
体の動きベクトルにすることも可能である。

発明の効果 以上のように本発明は、従来の装置に誤差加算回路誤
差比較回路のみを付加することにより画面内の局所的な
動きである、ブロック単位の動きベクトルと同時に、画
面全体の動きを正確に検出することができる。

【図面の簡単な説明】

第１図は本発明の第１の実施例における動き検出装置の
ブロック図、第２図は誤差加算回路の構成図、第３図は
本発明の第２の実施例における動き検出装置のブロック
図、第４図は本発明の第２の実施例における補間方法の
説明図、第５図は従来の動き検出装置のブロック図、第
６図は従来の動き検出方法の説明図である。 １……バッファメモリ、２……誤差計算回路、３……第
１の誤差比較回路、４……アドレス発生回路、５……誤
差加算回路、６……第２の誤差比較回路、７……補間回
路。

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】時刻ｔに入力した画像データをｍ×ｎ画素
   の２次元ブロックに分割し、 前記２次元ブロックのうちの１つを第１の基準ブロック
   とし、前記第１の基準ブロックの中心座標をS1（x,y,
   t）とし、 前記第１の基準ブロックと、時刻ｔ′に入力した画像デ
   ータのうち、第１の基準ブロックと等しい中心座標S1
   （x,y,t′）を有するｍ×ｎ画素の２次元ブロックを中
   心として、前記ｔ′フレームの２次元ブロックの中心座
   標を水平＋−h,垂直＋−ｖ画素移動させ、各中心座標
   （ｘ＋xh,y＋yv,t′）、 （−ｈ＜xh＜h,−ｖ＜yv＜ｖ）ごとに第１の基準ブロッ
   クとの誤差σ１（xh,yh）を計算し、 前記第１の基準ブロックに隣接した第２の基準ブロック
   S2（v,y,t）と、時刻ｔ′における画像データのうち、
   第２の基準ブロックと等しい中心座標S2（x,y,t′）を
   有するｍ×ｎ画素の２次元ブロックを中心として、前記
   ｔ′フレームの２次元ブロックの中心座標を水平＋−h,
   垂直＋−ｖ画素移動させ、各中心座標S2（ｘ＋xh,y＋y
   v,t′）、（−ｈ＜xh＜h,−ｖ＜yv＜ｖ）ごとに第２の
   基準ブロックとの誤差σ２（xh,yv）を計算し、 以下、時刻ｔの画像データのうち、隣接したＫ個の２次
   元ブロックについて誤差σｋ（xh,yv）、（−ｈ＜xh＜
   h,−ｖ＜yv＜ｖ）、（１≦ｋ≦Ｋ）を同様の方法で求
   め、 前記誤差σｋ（xh,yv）を、Ｋ個のブロックについて加
   算し、加算誤差σ（xh,yh）を、 として求め、前記加算誤差σ（xh,yv）、（−ｈ＜xh＜
   h,−ｖ＜yv＜ｖ）から、Ｋ個の２次元ブロックの動きを
   検出することを特徴とする動き検出方法。
2. 【請求項２】Ｋ個の２次元ブロックの動きを、前記加算
   誤差σ（xh,yx）のもっとも小さい点として選択するこ
   とを特徴とする請求項（１）記載の動き検出方法。
3. 【請求項３】Ｋ個の２次元ブロックの動きを、前記（2h
   −１）×（2v−１）この加算誤差σ（xh,yv）のうち、
   小さいものａ個を用いて補間し、前記補間点の極小値と
   して選択することを特徴とする請求項（１）記載の動き
   検出方法。
4. 【請求項４】入力した画像データを記憶するバッファメ
   モリと、前記バッファメモリから時刻ｔのｍ×ｎ画素か
   らなる基準２次元ブロックおよび時刻ｔ′におけるｍ×
   ｎ画素からなる２次元ブロックＪ個を順次読みだし、前
   記基準２次元ブロックと、時刻ｔ′におけるＪ個の２次
   元ブロックとの振幅誤差σ１（ｊ）（１≦ｊ≦Ｊ）を計
   算する誤差計算回路と、前記Ｊ個のブロック間の振幅誤
   差σ１（ｊ）を記憶し、前記Ｊ個の誤差のうち小さいも
   のａ個を選択し、前記ａ個のブロックアドレスを出力す
   る第１の誤差比較回路と、 前記ｔフレーフの基準ブロックＫ個それぞれに対し、上
   記と同様の操作で計算したｊ個の振幅誤差σｋ（ｊ），
   （１≦ｊ≦Ｊ），（１≦ｋ≦Ｋ）から、加算誤差σ
   （ｊ）（１≦ｊ≦Ｊ）を として求める誤差加算回路と、前記加算誤差σ（ｊ）
   （１≦ｊ≦Ｊ）から小さいものｂ個を選択し、前記選択
   したｂ個の加算誤差σ（ｊ）のインデクスｊを出力する
   第２の誤差比較回路と、バッファメモリのアドレスを発
   生するアドレス発生回路とを備えたことを特徴とする動
   き検出装置。