JPH04207481A - 動き検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はテレビカメラによるリモートセンシング、動画
像圧縮装置、カメラぶれを補正する防振カメラ等に用い
て好適な動き検出装置に関するものである。

（従来の技術） カメラあるいは被写体の動きを検出する手段としては種
々の方法があるが、画像から動きベクトルを検圧する手
段としては、たとえばＵＳＰ３８９０４６２をあげるこ
とができる。

この方法は、連続する２枚の画像から同一画素における
輝度差（すなわフレーム間差）と、同一画面内での空間
勾配を求め、ブロックごとにこれらの割り算結果から動
き量を求めるものである。

いまＸ方向における動き量をα、Ｘ方向における動き量
をβとして上記の関係を表すと次式のようになる。

β＝　（Σｄ）／　（Σｇ、°） ただしｂは演算ブロックサイズを表わし、画像はｇ　（
Ｆ、ｘ、ｙ）とする。

またＦはフレーム番号、ｄはフレーム間差で、空間勾配
をａｇ／ａｘ＝ｇ、’、ａ　ｇ　／　ａ　ｙ　＝　ｇ　
ｙ“とする。

（発明の解決しようとする問題点） しかしながら上記の動きベクトル検出方法では、動き量
の検出レンジが小さく、大きな動き量を検出する際は検
出誤差が著しく大きいという問題がある。

すなわち一定のフレームレートのテレビ信号では、速い
動きを正しく求めることができない。

第９図に従来例の方式を実際の画像に適用したときの動
き検出動作のシミュレーション結果を示す。

この条件は全画面５１２Ｘ５１２画素とし、周期３２画
素のストライブ状の白黒パターンを錯乱円径が１０画素
のレンズ径で撮影した場合を想定したものである。演算
を行うブロックサイズは２５画素である。

同図かられかるように、４〜５画素の動きまでは正確に
動き量を求めることができるが、それよりも大きな動き
に対しては、検出精度が低下し、検出値は理想的な特性
から離れている。

さらに実際の動き量が８画素以上となると、逆に検出値
は低下する。

たとえば１２画素動きのとき、検出値は約４画素となり
、実際に４画素動いた場合と区別がつかない。

また上述のように実際の動きが大きくなっても逆に検出
値が小さくなる現象が生じるので、この装置で単位時間
あたりの動き量どうしの差すなわち加速度を求めたいと
き、さらに大きな検出誤差になってしまうという問題が
あった。

この検出レンジは被写体のパターン周期λて正規化する
ことができ、精度良く検出可能な範囲（検出レンジ）は
λ／４〜λ／６になっており、従来例の原理的な性能の
限界である。

（問題点を解決するための手段） 本発明は上述した問題点を解決することを目的としてな
されたもので、その特徴とするところは、第１の画像信
号と第２の画像信号の差信号を検出する第１の手段と、
前記第１の手段によって検出された差信号を積分する第
２の手段と、前記第１の画像信号と前記第２の画像信号
が所定のレベルとなる時点におけるそれぞれの画像信号
レベルを検出する第３の手段と、前記第３の手段による
複数の検出結果の差信号を検出する第４の手段と、前記
第２の手段の出力信号と、前記第４の手段の出力信号を
除算することにより、画像の動きに応じた信号を検出す
る第５の手段とを備えた動き検出装置にある。

（作用） これによって、簡単なハードウェア構成で、広い動き検
出レンジを得ることができ、且つ高い検出精度を得るこ
とができる。

（実施例） 以下本発明における動き検出装置を各図を参照しながら
その実施例について詳述する。

第１図は本発明の動き検出装置の構成を示すブロック図
である。

同図において、ｌは撮像素子を含むカメラ系より出力さ
れたビデオ信号等の画像信号、２は画像を記憶するフレ
ームメモリ、３はフレームメモリ２から読み出した画像
出力信号、１３はフレームメモリ２より読み出した画像
信号と現在の画像信号との差を演算する差分回路、４は
差分回路１３より出力された輝度差信号、５は入力信号
を積算して積分する積算回路、６は積算回路５の出力信
号、７はコンパレータ、８，９は輝度信号をラッチする
ラッチ回路、１０はラッチ回路８，９の出力の差を演算
する差分回路、１１は積算回路５の出力と差分回路１０
の出力とを除算する割り算回路、１２は割り算回路１１
より出力された動き検出信号、１４はコンパレータ７の
出力及び輝度差信号４に基づいてラッチ回路８．９のラ
ッチ動作を制御するとともに、積算回路５のリセット動
作等を制御する演算制御回路を示す。

フレームメモリ２は一定フレーム時間分の画像を記憶し
、差分回路１３では、フレームメモリ２に記憶されて遅
延された信号ｌすなわちｇ（、（と現在の信号２すなわ
ちｇ　＋ｚ＋の差をとることで輝度差信号４を得るもの
である。

第２図は本装置の動作説明図である。

ここでは、説明の便宜上、Ｘ方向における一走査線の輝
度信号を示している。

同図中の信号１，３，４．６は第１図のブロック図中に
示されている信号である。

同図（ａ）は信号１すなわちｇ（１：　を示し、右側の
輝度が高いエツジ部を撮影した場合の映像信号である。

同図（ｂ）は信号２すなわちｇ（２１を示し、右方向に
画像信号のエツジが移動した場合を示している。

このようなエツジの動きがあった場合、信号１と信号３
を重ねてみると、図中ハツチングで示した領域２０が動
きによって変化を生じた領域となり、これを平行四辺形
に見立てた場合、動き量αは平行四辺形の底辺に相当す
るから、領域２０の面積をエツジの高さで除算すれば動
き量αが求まる。

本発明の動き検出装置はこの原理に基づいて動き量を求
めるものである。

領域２０の面積を電気的に求めるため、ｇ　ｎ＋とｇ１
２）を差分回路１３で引き算することによって得た輝度
差信号４を用いる。

上述の輝度差信号４は、同図（ｃ）に示すように、三角
形または台形に近い形状の曲線を呈する電気信号で、こ
の輝度差信号の領域２１の面積は領域２０の面積と等し
い。そこで積算回路５に輝度差信号４を入力して積分し
、同図（ｄ、）に示すような信号６を得、領域２１の面
積に比例した信号２２を得る。

次にエツジ高さを求めるために、輝度差信号４のレベル
が０になる境界に着目する。

第２図で輝度差信号４が０でなくなる点をｘｏとし、再
びＯになる点をＸ、とし、これらのＸ０位置、Ｘ＋位置
における輝度信号をそれぞれ検出する。

具体的には、第１図において、コンパレータ７による輝
度差信号４の０点検出のタイミングで、ラッチ回路８，
９を動作させ、その０点における輝度信号レベルをラッ
チ回路８．９にラッチすることによって、Ｘｏ位置、ｘ
１位置における輝度信号をそれぞれ求めることができる
。

すなわちコンパレータ７は輝度差信号４が０になった画
素を検出し、パルスを発生し、ラッチ回路８，９はこの
パルスによって画像信号１の輝度信号データを記憶する
。このときラッチ回路８゜９は同一の画素のデータを記
憶するのではなく、輝度差信号４の立ち上がりエツジと
立ち下がりエツジを区別してデータを記憶するように演
算制御回路１４が信号制御する。

第１図中では、これらの各ラッチ回路８．９より出力さ
れた輝度信号は２３．２４で示されている。

続いて、差分回路１０によって輝度信号２３と２４の差
を求めることで信号１のエツジ高さを求めることができ
る。この信号を第１図中２５で示す。

そして割算回路１１によって、信号値２２を信号値２５
で割ることにより、動き信号１２すなわち第２図（ｂ）
に示すエツジ移動量αに相当する信号を求めることがで
きるわけである。

またこれと同時に、演算制御回路１４によって積算回路
５がリセットされる。

上記説明はＸ方向のみの動き量検出であるが、ｙ方向動
き量検出の際はたとえばメモリに記憶した画像を垂直に
走査に走査読み出しを行うことで、同様な方式で行うこ
とができる。

第２図を用いた説明はエツジが１つしかない場合であり
、一般の画像にはさらに複雑であるが、本発明の装置で
は、上述と同様に動き量を検出することができる。

第３図にこのときの信号の状態を示す。

同図（ａ）は画像信号（輝度信号）波形、同図（ｂ）は
現画像信号１とフレームメモリ２によって所定時間遅延
させた画像信号３をそれぞれ示すものであり、同図（ｂ
）では画像信号が同図で右方にαシフトし、その移動に
よって生じた領域２０がうねったような平行四辺形にな
っている。

また同図（ｃ）は、差分回路１３より出力された輝度差
信号波形、同図（ｄ）は積算回路５の積分出力波形であ
る。

同図（ｂ）のように形のくずれた平行四辺影領域２０で
も、画像の周期えに対して動き量ａが十分に小さい場合
には、平行四辺形に近似でき、上述した方法で正確に動
き量ａを求めることができる。

また積算回路５は、演算制御回路１４によって、コンパ
レータのパルスが出るたびにリセットされているので、
注目しているエツジの動き量を正確に求めることができ
る。

しかしながら、さらに動き量が大きくなった場合、上記
の平行四辺形の幾何学的近似が成立しにくくなる。この
限界を示すため、実際に画像を用いたシミュレーション
結果を第４図に示す。計算条件は従来例と同様である。

二のシミュレーション結果によれば、従来例では、たと
えば実際は１０画素動きのとき５画素と検出してしまう
のに対し、本装置による検出では１２画素となり、検圧
誤差が少ないことがわかる。

また従来例では被写体パターンの周期えの１／４以上の
動き量では、逆に検出値が減少する傾向があるため、加
速度を検出する際、著しい誤差を生じていたが、本装置
ではこのような誤差は大幅に改善されている。

また被写体のサイズ、パターンの周期及びレンズの錯乱
円径が予めわかっている場合、第４図の曲線は一意的に
定まるので、ＲＯＭテーブルにこの形状を配憶し、特性
を補正することで、更に検出精度を向上することができ
る。

上述の画像の例では、計算誤差を考声しても、１２画素
（被写体パターン周期λの３７８）程度まで１画素以内
の誤差で検出可能である。

以上説明したように、本発明における動き検出装置によ
れば、従来の装置に比較してその検圧特性を大幅に向上
することができる。

第５図は、本発明における動き検出装置にさらに改良を
施した他の実施例である。

本実施例の装置は、被写体のパターンサイズ等が予めわ
かっていなくも高い精度で動き量を検出することができ
るものである。

同図において、５０は第１図で示した第１の実施例にお
ける動き検出装置、５１は画像バンドパスフィルタ（以
下ＢＰＦと称す）、５２はルックアップテーブル（ＬＩ
Ｔ）である。また５３はＢＰＦ５１の出力信号、５４は
動き検出装置５ｏのａ力信号を示す。

前述のように、本発明の装置５０は画像の空間周波数と
検出レンジに密接な関係がある。

逆に考えれば、必要な検出レンジが定まれば、適切な空
間周波数が定まる。

そこで、予め被写体のパターンサイズ等がわがっていな
い場合、本装置ではＢｌｌ＞Ｆ５１を用いて適切な空間
周波数成分のみを抽出している。

求めたい動き量の最大値をα°とすると、抽出すべき空
間周波数ｆは、 ｆ：１／λ＝ｋ・１／α。

で求めることができる。なおｋは３／８程度の値が良い
。

ｘ、ｙ２方向の動き量を検出する際は、ＢＰＦ５１は２
次元フィルタでなければならない。またＢＰＦ５１の位
相特性は通過帯域でなるべく直線的であることが望まし
い。

次にＬＵＴ５２の動作を説明する。

信号５３の周波数が単一に抽出されていれば、装置５０
の検出特性は一意に定まる。

第６図の曲線６１にλ：３２画素になるようにＢＰＦ処
理した場合の検出特性を示す。

ＬＵＴ５２はこの曲線の係数の逆数が入力されており、
この曲線を直線に補正する。図中曲線６２に補正後の検
出特性を示す。

またこの実施例では、一定の検出値以上では出力をクリ
ップさせている。

このようにＬＵＴ５２を用いることで、検出特性を線形
化することのみならず、用途に応じて任意な非線形特を
持たせることもできる。

本発明における動きベクトル検出装置は以上のように構
成されており、次に本発明の動きベクトル検圧装置をビ
デオカメラのぶれ補正装置として適用した場合について
説明する。

第７図は、本発明における動きベクトル検出装置をビデ
オカメラのぶれ補正装置に用いた第３の実施例を示すブ
ロック図である。

同図において、１０１は撮影レンズ光学系、１０２は撮
影レンズ光学系１０１によって撮像面に結像された被写
体像を光電変換して画像信号を８カするＣＣＤ等の撮像
素子、１０３は撮像素子１０３より出力された画像信号
を所定のレベルに増幅するプリアンプ、１０４は入力さ
れた画像信号にＡＧＣをかけてレベルを一定に保つとと
もに、ガンマ補正等の処理を行なう前処理回路、１０５
は入力されたアナログ画像信号をデジタル画像信号に変
換するＡ／Ｄ変換器、１０６はＡ／Ｄ変換器１０５より
出力されたデジタル画像信号を１フイ一ルド分記憶する
画像メモリ、１０７は画像メモリ１０６に画像を読み込
む際のアドレス及び書き込みレートをコントロールする
とともに、画像メモリ１０６より画像を読み出す際、そ
の画像の読み出しアドレス及び読み出しレートをコント
ロールするメモリコントロール回路であり、後述のシス
テムコントロール回路１０９によって動作制御される。

１０８は画像信号中より画像の動きベクトルを検出する
動きベクトル検圧回路で、その内部構成及び動作は前述
の第１図、第３図に示す回路の通りであるが、デジタル
信号による処理が行なわれることは言うまでもない。

１０９は本装置を総合的に制御するシステムコントロー
ル回路で、マイクロコンピュータによって構成され、動
きベクトル検出回路１０８において演算された動きベク
トル情報からぶれ補正情報を演算し、そ−の演算結果に
基づいてメモリコントロール回路１０７を制御し、メモ
リ１０６より画像を読み出す際、その読み出し位置すな
わち読み出しアドレスをメモリ上においてぶれの方向に
シフトすることによってぶれを相殺するように制御する
。

１１０はメモリ１０６より読み出された画像信号に所定
の信号処理を施し、規格化された映像信号に変換するた
めの処理を行なうカメラ信号処理回路、１１１はシステ
ムコントロール回路によって制御され、メモリ１０６よ
り読み出した画像の画角を補正する画角補正回路である
。すなわちメモリ１０６における画像の読み出し位置を
シフトすることによってぶれ補正を行なうため、メモリ
に読み込む画像に比較して読み出す画像は、メモリ上で
シフト可能な範囲の分だけ画角が小さくなる。したがっ
て画角補正回路１１１は、メモリ１０６より読み出した
画像かもとの画角と同じ大きさとなるよう、画角の拡大
及び画像の補間等の処理を行なうものである。

画角を補正された信号は、Ｄ／Ａ変換器１１２によって
アナログ画像信号に変換され、図示しないビデオレコー
ダ、電子ビューファインダ等のモニタへと供給される。

以上の構成により、撮像素子より出力される画像信号か
ら、本願の前記第１図、第５図に示す構成によって動き
ベクトルを演算してぶれ量を検出し、このぶれ量を相殺
する方向に、メモリの読み出しアドレスをシフトするこ
とによりぶれ補正を行なうことができる。

また第８図は、本願の動きベクトル検出回路を用いたぶ
れ補正装置を備えたビデオカメラの他の例を示すブロッ
ク図である。なお第７図と同一構成部分については、同
−打合を用いてその説明を省略する。

同図において、２０１は撮影レンズ光学系の頂角すなわ
ち光軸の向きを変化させてぶれを補正する可変頂角プリ
ズムである。そしてその構成はたとえば２枚の並行ガラ
ス板の間にシリコン系の液体を封入したもので、この２
枚のガラスのなす角度を変化させることにより、頂角を
可変することができるように構成されているものである
。

２０２はプリアンプより出力された画像信号を規格化さ
れた映像信号に変換して出力するカメラ信号処理回路、
２０３は動きベクトル検出回路１０８より供給される動
きベクトル情報からぶれの方向およびぶれ量を検出し、
これを補正するための可変頂角プリズムの駆動量を演算
するマイコンによって構成されたシステムコントロール
回路である。システムコントロール回路２０３で演算さ
れた補正情報は、駆動回路２０４へと供給され、可変頂
角プリズム２０１を駆動するためのアクチュエータ２０
５がぶれを補正する方向にそのぶれ量を打ち消す量だけ
駆動される。

このように、画像信号中より動きベクトルを検出するこ
とによってぶれ量を演算し、そのぶれ量を打ち消す方向
に可変頂角プリズムを駆動し、ぶれ補正を行なうことが
できる。

これらいずれの実施例においても、動きベクトル演算領
域を入力画像の空間周波数に応じて適応的に且つ自動的
に設定するようにしたので、特徴の少ない図柄の領域に
おいても大きなエラーベクトルを除去でき、画像の有す
る空間勾配情報を有効に活用することにより高い空間解
像度を得ることができるので、時空間勾配法が不得意と
する空間勾配の符合逆転する領域を検出ブロック間の透
き間にして演算領域から除去して検出精度を向上するこ
とができ、高精度で動作の確実なぶれ補正を行なうこと
ができる。

（発明の効果） 以上述べたように、本発明における動き検出装置によれ
ば、簡単なハードウェア構成で、高速に画像から正確な
動き量を検出することが可能であり、従来例に比較して
２倍乃至３倍以上の検出レンジを得ることができる。

【図面の簡単な説明】

第１図は本発明における動き検出装置の構成を示すブロ
ック図、 第２図は本発明装置による動き量検出の原理を説明する
ための図、 第３図は本発明装置による動き量検出の原理を説明する
ための図、 第４図は本発明装置における動き検出特性を示す図、 第５図は本発明における動き検出装置の他の実施例の構
成を示すブロック図、 第６図は第５図の装置における動き検出特性を示す図、 第７図は本発明における動き検出装置をビデオカメラの
ぶれ補正装置に適用した場合の第１の例を示すブロック
図、 第８図は本発明における動き検出装置をビデオカメラの
ぶれ補正装置に適用した場合の第２の例を示すブロック
図、 第９図は従来の動き検出装置における動き検出特性を示
す図である。 １：入力画像信号　　２：フレームメモリ３：画像信号
　　　　４：フレーム間信号５：積算回路　　　　６：
信号 ７：コンパレータ　　８，９ニラッチ回路１０．１３：
差分回路 １１：割算回路　　　２２：エッジ高さ信号値２３．２
１信号値　２５：輝度差積分信号値５０、動き検出装置
　５５　：　ＢＰＦ５２　ルックアップテーブル γ０　　　　　　χｌ マ （Ｃ） 一：゛ ゝ・、シ 変Ｎ坂・動き量　（画素） め９団

Claims (2)

【特許請求の範囲】
1. （１）第１の画像信号と第２の画像信号の差信号を検出
   する第１の手段と、前記第１の手段によつて検出された
   差信号を積分する第２の手段と、前記第１の画像信号と
   前記第２の画像信号が所定のレベルとなる時点における
   それぞれの画像信号レベルを検出する第３の手段と、前
   記第３の手段による複数の検出結果の差信号を検出する
   第４の手段と、前記第２の手段の出力信号と、前記第４
   の手段の出力信号を除算することにより、画像の動きに
   応じた信号を検出する第５の手段と、を備えたことを特
   徴とする動き検出装置。
2. （２）特許請求の範囲第（１）項において、前記画像信
   号は、画像信号中の輝度信号であることを特徴とする動
   き検出装置。