JPH04207480A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、ビデオカメラ、電子カメラ、電子スチルカメ
ラ等の撮像装置における防振や、被写体追尾に用いて好
適な、画像信号を用いた動きベクトル検出装置に関する
ものである。

（従来の技術） 従来より、画像信号より動きベクトルを検出することに
より画像の動きを検出する方法が知られている。

動きベクトルを求める方法も種々提案されているが、た
とえば、ＵＳＰ　３８９０４６２　、特公昭６０−４６
８７１１１号公報、Ｊ、０．Ｌｉｍｂ　ａｎｄ　Ｊ、Ａ
、Ｍｕｒｐｈｙ″Ｍｅａｓｕｒｉｎｇ　ｔｈｅ　５ｐｅ
ｅｄ　ｏｆ　Ｍｏｖｉｎｇ　０ｂｊｅｃｔ　ｆｒｏｍ　
　Ｔｅ１ｅｖｉｓｉｏｎ　Ｓｉｇｎａｌｓ”　、　ＩＥ
ＥＥ　Ｔｒａｎｓ、Ｃｏｍ、、Ｃｏｍ−２３，ｐｐ、４
７４−４７８（Ａｐｒｉｌ　１９７５）等に記載されて
いるような時空間勾配法がある。

この時空間勾配法では、以下の基本式に従って各点の動
き量を算出する。すなわち、 α＝Σｓ　　ｄ−ｓｉｇｎ（ｇ’ｘ）／Σ＋ｉ　　Ｉｇ
’ｘｌβ＝Σｓ　　ｄ−ｓｉｇｎ（ｇ’ｙ）／Σａ　　
Ｉｇ’ｙｌただし、ａ、βはそれぞれＸ方向、Ｘ方向に
おける動き量を示し、ｄは時間的に連続する画像間の同
じ場所における濃度差すなわち時間勾配を示し、ｇ’ｘ
　、　ｇ’ｙは画像をｇで表わしたときのＸ方向、Ｘ方
向における空間勾配をそれぞれ示すものである。またΣ
、は複数個の画素からなる単位演算領域となるブロック
内の総和演算を意味し、ｓｉｇｎ（）はｇ’、　、　ｇ
’うの符合を出力する関数である。

また前記ブロックの大きさ及び形状は入力画像に拘らず
固定されている。

（発明の解決しようとする問題点） しかしながら、前記の従来例によれば、ブロックの大き
さ、及び形状が固定されているので、画像の空間周波数
が低い領域では、ブロック内に演算に必要な空間勾配情
報が不足し、著しい精度劣化を生じるという欠点があっ
た。

逆に、画像の空間周波数が高い領域では、画像の細かい
周期の影響のために検出レンジが狭く、必ずしも大きい
ブロックを必要としていないにも拘らず、固定されたブ
ロックの大きさ及び形状によって動きベクトルを検出す
る空間解像度が制約されるという欠点があった。

（問題点を解決するための手段） そこで、本発明は、画像の空間周波数に応じた最適なブ
ロックを適応的に、且つ簡単な方法で自動的に決定うろ
ことのできる動きベクトル検出装置を提供することを目
的としてなされたもので、その特徴とするところは、画
像の任意の位置に対応する画像濃度値の所定時間におけ
る変化量と前記任意の位置に対応する画像信号の空間勾
配の関係から画像の動きベクトルを検出する検出手段と
、前記動きベクトルを出力する単位演算領域の大きさ及
び形状を入力画像の空間周波数に応じて適応的に設定す
る設定手段とを備えた動きベクトル検出装置にある。

（作用） これによって、入力画像の空間周波数を示す簡易な評価
基準（評価関数）により、人力画像の各部分における空
間周波数に適応した最適なブロックの大きさ及び形状を
自動的に設定でき、画像の持つ空間勾配情報を有効に活
用することができる。

（実施例） 以下、図面を参照しながら、本発明の詳細な説明する。

第１図は、本発明における撮像装置の一実施例を示すブ
ロック図である。

同図において、１は画像信号の入力端子、２は入力信号
の前処理を行なうローパスフィルタによって構成された
前処理フィルタ、３は１フイ一ルド期間あるいはｌフレ
ーム期間画像信号を記憶するメモリ、４は連続する２フ
イールドあるいは２フレ一ム間の対応する点における画
像濃度差を計算する減算器、５は乗算器、６，１３はリ
セット信号が入るまで順次入力データを累積加算する総
和回路、７，１４はイネーブル信号が入るまでそれぞれ
総和回路６．１３より入力された入力データを保持する
ラッチ回路、８は画像の空間勾配を演算するのに必要な
期間だけ画像信号を記憶するメモリ、９は入力信号の符
合データのみを出力する符合出力回路、１０は入力デー
タな０値と比較するためのコンパレータ、１１は画像の
空間勾配の絶対値を求めるための絶対値出力回路、１２
はリセット信号とイネーブル信号に時間差を生じさせる
ための遅延回路、１５は除算器、１６は動きベクトル出
力端子である。

次に第１図に示す回路の動作について順を追って説明す
る。

画像信号入力端子１より入力された画像信号は、まず通
常ローパスフィルタによって構成される前処理フィルタ
２に供給され、画像信号に含まれるノイズの影響を軽減
するとともに急峻な空間勾配を滑らかにする処理が行な
われる。

フィルタ２を通過後、画像信号は２つの糸路に分岐され
、一方はメモリ３及び減算器４へと供給され、フィルタ
２の画像出力信号とこれをメモリ３で所定時間遅延され
た画像信号とが減算され、時間的に連続する２つ画像間
における濃度差、すなわち時間勾配ｄが演算される。

減算器４より出力された画像の時間勾配ｄは乗算器５へ
と入力され、符合出力回路９より出力された符合倍され
た後、総和回路６へ入力される。

乗算器５より出力され総和回路６へと入力されたデータ
（＝　ｄ−ｓｉｇｎ（ｇ’））は、リセット信号が入る
まで累積加算され、リセット信号が入力されると、次の
ラッチ回路７へと供給され、除算器１５へその除算の分
子として入力される。

またフィルタ２の出力の他方は、メモリ８と減算器４に
それぞれ供給され、フィルタ出力とメモリ８で遅延され
た画像信号とを減算することによって画像空間勾配ｇ°
が演算される。この画像空間勾配ｇ゛は、さらに３系路
に分岐され、１つは時間勾配ｄを空間勾配の符合倍する
ために符合出力回路９に入力されるものであり、１つは
総和回路６．１３及びその後段のラッチ回路７．１４に
それぞれリセット信号及びイネーブル信号を送るタイミ
ングを求めるためのコンパレータユ０に入力される。ま
たもう１つは絶対値回路１１によって絶対値をとられ、
総和回路１３にて前記コンパレータ１０より発生するリ
セット信号が入力され−るまで累積加算されラッチ回路
１４を経て、除算器１５へその除算の分母として人力さ
れる。

そして除算器１５において、ラッチ回路７にラッチされ
た時間勾配ｄに符合出力回路９よより出力された符合ｓ
ｉｇｎ（ｇ’）を乗じたｄ−ｓｉｇｎ（ｇ’）の検出ブ
ロック内の総和を、空間勾配の絶対値の検出ブロック内
の総和１ｇ゛１で除すことによって画像の動きベクトル
が求められる。

またコンパレータ１０では、画像の空間勾配ｇ°の値を
Ｏ値と比較し、前記ｇ°の値が０あるいはほぼＯになっ
たときに、リセット信号とイネーブル信号を発生させる
。

なお、リセット信号は、ラッチ回路７．１４で保持され
たデータが除算器１５に入力されるまでの時間分、イネ
ーブル信号より遅く発生させる必要があるため、コンパ
レータ１０の出力後、前記時間分遅延させるための遅延
回路１２を通過させてから総和回路６．１３ヘリセット
信号として送られる。

本願の動きベクトル検出装置の構成及び動作は以上のよ
うになっており、以下にその特有の作用効果について説
明する。

第２図は画像の任意の断面を示すものである。

同図において、縦軸が画像濃度値、横軸が画像中の位置
を示すものである。

横軸に記入したＸ　１１　Ｘｓ　ｒ　Ｘｓ　＋・・・・
・・、Ｘｓは、ｇ’　ｆｘ＋）　”ｔｇ’　（ｘｉ）　
ＪＨｐ＋＋Ｊｇ’　（ｘａ）　４＝ｒＯとなる点である
。すなわち画像の空間勾配が０、あるいはほぼ０の点を
ブロックの境界と決めれば、Ｘ１％Ｘｍ間をブロック１
．ｘ２〜ｘ１間をブロック２というように、画像の空間
周波数に応じた最適なブロックの大きさ及び２次元的に
は形状が自動的に設定される。

第２図では画像周期Ｔの１／２をブロックの大きさとし
ているが、画像周期Ｔをそのままブロックの大きさとし
ても良い。

このようにすることによって、時空間勾配法の演算に必
要な画像の空間勾配情報が乏しい低周波領域ではブロッ
クの大きさを大きくとることにより、従来より問題とな
っている低周波領域から発生する大きいエラーベクトル
を除去することができる。

逆に空間勾配情報が十分に存在する高周波領域ではブロ
ックの大きさを小さくとることが可能となり、ブロック
の大きさが固定されている従来の方法において生じるブ
ロック内の空間勾配情報の冗長性を減することができ、
結果として高い空間解像度を得ることができる。

また本発明において、空間勾配の大きさがほぼ０になる
点をブロックの境界する場合、空間勾配の大きさがほぼ
Ｏになるとみなせる範囲は、時空間勾配法の演算領域か
らはずされることになる。

すなわち上記の範囲は、画像中の極めて空間勾配情報の
乏しい領域であったり、空間勾配情報は多（でも空間勾
配の符合が逆転する領域に相当しており、前記領域は原
理的に時空間勾配法がもっとも不得手とする領域である
ため、前記領域を各ブロック間のすきまとして自動的に
演算領域から除去することができる。

このように、本願によれば、入力画像の空間周波数に応
じて、空間勾配情報を検出するブロックをその精度の上
がる方向に最適化することができ、動きベクトル検出精
度を向上することができる。

上述の実施例によれば、検出ブロックの境界を決定する
手段として、画像の空間勾配を用いているが、以下に示
す第２の実施例によれば、連続する画像間の濃度差を用
いて前記実施例と同様に入力画像信号の空間周波数の大
きさに応じた適応型のブロックの大きさ及び形状を自動
的に設定するものである。

第３図は、第２の実施例を説明するためのもので、第１
図に示す第１の実施例との相違点は、コンパレータ１０
への入力信号のみである。

本実施例によれば、コンパレータ１０にメモリ３、減算
器４により演算される連続する画像の濃度差すなわち時
間勾配ｄが供給され、この時間勾配ｄと０値との比較が
行なわれ、前記時間勾配ｄの値がＯあるいは、はぼ０に
なった時に、リセット信号を遅延回路１２を会して総和
回路６へ、イネーブル信号をラッチ回路７へ送るという
ものである。

第４図は、本実施例の様子を表わす図である。

同図において、縦軸が画像濃度値を示しており、横軸が
画像中の位置を示している。

横軸に記入したｘ、、ｘｇ　、・・・・・・、Ｘａは時
間的に連続する画像時間の濃度差、すなわち時間勾配ｄ
が０になる点である。前記点ＯＣ＋、Ｘ２゜・・・・・
・、ｘｇ）をブロックの境界と定めれば、画像の空間周
波数に応じた最適なブロックの大きさ、及び２次元的に
は形状が自動的に設定される。

第４図では、時間勾配ｄ＝ｏの点ごとにブロックを区切
る様子を示したが、ｄ＝ｏの点を１回飛ばしてブロック
の境界として１ブロツクがほぼ画像の１周期Ｔに等しく
なるようにしてもよい。

また本発明において、時間勾配ｄの大きさがほぼ０にな
る点をブロックの境界する場合、時間勾配ｄの大きさが
ほぼ○になるとみなせる範囲は、時空間勾配法の演算領
域からはずされることになる。

すなわち上記の範囲は、画像中の極めて空間勾配情報の
乏しい領域であったり、空間勾配情報は多くても空間勾
配の符合が逆転する領域に相当しており、前記領域は原
理的に時空間勾配法がもっとも不得手とする領域である
ため、前記領域を各ブロック間のすきまとして自動的に
演算領域から除去することができる。

本発明における動きベクトル検出装置は以上のように構
成されており、次に本発明の動きベクトル検出装置をビ
デオカメラのぶれ補正装置として適用した場合について
説明する。

第５図は、本発明における動きベクトル検出装置をビデ
オカメラのぶれ補正装置に用いた第３の実施例を示すブ
ロック図である。

同図において、１０１は撮影レンズ光学系、１０２は撮
影レンズ光学系１０１によって撮像面に結像された被写
体像を光電変換して画像信号を出力するＣＣＤ等の撮像
素子、１０３は撮像素子１０３より出力された画像信号
を所定のレベルに増幅するプリアンプ、１０４は入力さ
れた画像信号にＡＧＣをかけてレベルを一定に保つとと
もに、ガンマ補正等の処理を行なう前処理回路、１０５
は入力されたアナログ画像信号をデジタル画像信号に変
換するＡ／Ｄ変換器、１０６はＡ／Ｄ変換器１０５より
出力されたデジタル画像信号を１フイ一ルド分記憶する
画像メモリ、１０７は画像メモリ１０６に画像を読み込
む際のアドレス及び書き込みレートをコントロールする
とともに、画像メモリ１０６より画像を読み出す際、そ
の画像の読み出しアドレス及び読み出しレートをコント
ロールするメモリコントロール回路であり、後述のシス
テムコントロール回路１０９によって動作制御される。

１０８は画像信号中より画像の動きベクトルを検出する
動きベクトル検出回路で、その内部構成及び動作は前述
の第１図、第３図に示す回路の通りであるが、デジタル
信号による処理が行なわれることは言うまでもない。

１０９は水袋！を総合的に制御するシステムコントロー
ル回路で、マイクロコンピュータによって構成され、動
きベクトル検出回路１０８において演算された動きベク
トル情報からぶれ補正情報を演算し、その演算結果に基
づいてメモリコントロール回路１０７を制御し、メモリ
１０６より画像を読み出す際、その読み出し位置すなわ
ち読み出しアドレスをメモリ上においてぶれの方向にシ
フトすることによってぶれを相殺するように制御する。

１１０はメモリ１０６より読み比された画像信号に所定
の信号処理を施し、規格化された映像信号に変換するた
めの処理を行なうカメラ信号処理回路、１１１はシステ
ムコントロール回路によって制御され、メモリ１０６よ
り読み出した画像の画角を補正する画角補正回路である
。すなわちメモリ１０６における画像の読み出し位置を
シフトすることによってぶれ補正を行なうため、メモリ
に読み込む画像に比較して読み出す画像は、メモリ上で
シフト可能な範囲の分だけ画角が小さくなる。したがっ
て画角補正回路１１１は、メモリ１０６より読み出した
画像かもとの画角と同じ大きさとなるよう、画角の拡大
及び画像の補間等の処理を行なうものである。

画角な補正された信号は、Ｄ／Ａ変換器１１２によって
アナログ画像信号に変換され、図示しないビデオレコー
ダ、電子ビューファインダ等のモニタへと供給される。

以上の構成により、撮像素子より出力される画像信号か
ら、本願の前言己第１図、第２図に示す構成によって動
きベクトルを演算してぶれ量を検出し、このぶれ量を相
殺する方向に、メモリの読み出しアドレスをシフトする
ことによりぶれ補正を行なうことができる。

また第６図は、本願の動きベクトル検出回路を用いたぶ
れ補正装置を備えたビデオカメラの他の例を示すブロッ
ク図である。なお第５図と同一構成部分については、同
一符合を用いてその説明を省略する。

同図において、２０１は撮影レンズ光学系の頂角すなわ
ち光軸の向きを変化させてぶれを補正する可変頂角プリ
ズムである。そしてその構成はたとえば２枚の並行ガラ
ス板の間にシリコン系の液体を封入したもので、この２
枚のガラスのなす角度を変化させることにより、頂角を
可変することができるように構成されているものである
。

２０２はプリアンプより出力された画像信号を規格化さ
れた映像信号に変換して出力するカメラ信号処理回路、
２０３は動きベクトル検出回路１０８より供給される動
きベクトル情報からぶれの方向およびぶれ量を検圧し、
これを補正するための可変頂角プリズムの駆動量を演算
するマイコンによって構成されたシステムコントロール
回路である。システムコントロール回路２０３で演算さ
れた補正情報は、駆動回路２０４へと供給され、可変頂
角プリズム２０１を駆動するためのアクチュエータ２０
５がぶれを補正する方向にそのぶれ量を打ち消す量だけ
駆動される。

このように、画像信号中より動きベクトルを検出するこ
とによってぶれ量を演算し、そのぶれ量を打ち消す方向
に可変頂角プリズムを駆動し、ぶれ補正を行なうことが
できる。

これらいずれの実施例においても、動きベクトル演算領
域を入力画像の空間周波数に応じて適応的に且つ自動的
に設定するようにしたので、特徴の少ない図柄の領域に
おいても大きなエラーベクトルを除去でき、画像の有す
る空間勾配情報を有効に活用することにより高い空間解
像度を得ることができるので、時空間勾配法が不得意と
する空間勾配の符合逆転する領域を検出ブロック間の透
き間にして演算領域から除去して検出精度を向上するこ
とができ、高精度で動作の確実なぶれ補正を行なうこと
ができる。

（発明の効果） 以上述べたように、本発明における動きベクトル検８装
置によれば、動きベクトル演算領域を入力画像の空間周
波数に応じて適応的に且つ自動的に設定するようにした
ので、特徴の少ない図柄の領域における大きなエラーベ
クトルを確実に除去することができ、画像の有する空間
勾配情報を有効に活用することにより高い空間解像度を
得ることができる。

また単純な評価関数卯によりブロックの境界を決定する
ため、高速にブロックを決定することができる。

また従来時空間勾配法が不得意とする空間勾配の符合逆
転する領域をブロック間の隙間として容易に演算領域か
ら除外することができ、検出精度を向上することができ
る。

【図面の簡単な説明】

第１図は本発明における動きベクトル検出装置の第１の
実施例の構成を示すブロック図、第２図は画像の空間勾
配を用いてブロックの境界を決定する方法を説明する図
、 第３図は本発明における動きベクトル検出装置の第２の
実施例の構成を示すブロック図、第４図は画像の時間勾
配を用いてブロックの境界を決定する方法を説明するた
めの図、第５図は本発明における動きベクトル検出装置
をビデオカメラのぶれ補正装置に適用した場合示す第３
の実施例のブロック図、 第６図は本発明における動きベクトル検出装置をビデオ
カメラのぶれ補正装置に適用した場合を示す第４の実施
例のブロック図である。 ９（ｚ） ８（ｔ） 発＋図

Claims (3)

【特許請求の範囲】
1. （１）画像の任意の位置に対応する画像濃度値の所定時
   間における変化量と前記任意の位置に対応する画像信号
   の空間勾配の関係から画像の動きベクトルを検出する検
   出手段と、前記動きベクトルを出力する単位演算領域の
   大きさ及び形状を入力画像の空間周波数に応じて適応的
   に設定する設定手段とを備えたことを特徴とする動きベ
   クトル検出装置。
2. （２）特許請求の範囲第（１）項において、前記設定手
   段は、前記単位演算領域の境界を、画像の空間勾配を用
   いて決定するように構成されていることを特徴とする動
   きベクトル検出装置。
3. （３）特許請求の範囲第（１）項において、前記設定手
   段は、前記単位演算領域の境界を、時間的に連続する画
   像間の濃度差を用いて決定するように構成されているこ
   とを特徴とする動きベクトル検出装置。