JPH08251474A

JPH08251474A - 動きベクトル検出装置，動きベクトル検出方法，画像ぶれ補正装置，画像追尾装置及び撮像装置

Info

Publication number: JPH08251474A
Application number: JP5575195A
Authority: JP
Inventors: Kazuya Inao; 和也稲生
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-03-15
Filing date: 1995-03-15
Publication date: 1996-09-27

Abstract

(57)【要約】【目的】画像の動きベクトルを検出する装置におい
て、画像中に複数の移動物が存在する場合でも画像全体
の動きベクトルを精度良く検出できるようにし、画像ぶ
れ補正や画像追尾処理を効果的に行えるようにする。【構成】画面中の複数のブロック位置での画像の動き
ベクトルを動きベクトル検出回路１３により検出し、検
出した動きベクトルが有効か否かを信頼性判定手段１４
により判定する。また、画面をそれぞれ動きベクトルの
異なる複数の領域に分割する画面分割手段４と、分割さ
れた領域の一つを所定の条件に従って選択する領域選択
手段５を設け、これらに上記判定手段１４で有効と判定
された動きベクトルを送出する。そして、領域選択手段
５で選択された領域の動きベクトルから画像全体の動き
ベクトルを動きベクトル決定手段１５により決定し、そ
の動きベクトルを用いて画像ぶれ補正や画像追尾処理を
行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の動きベクトルを
検出する動きベクトル検出装置，動きベクトル検出方
法，動きベクトル検出装置を用いた画像ぶれ補正装置，
画像追尾装置及び撮像装置に関するものである。

【０００２】

【従来の技術】画像の動きベクトルを検出する手段とし
て、従来相関演算に基づく相関法やブロックマッチング
法が知られている。

【０００３】ブロックマッチング法は、入力された画像
信号を複数の適当な大きさのブロック（例えば８画素×
８ライン）に分割し、このブロック単位で前のフィール
ド（またはフレーム）の一定範囲の画素との差を計算
し、この差の絶対値の和が最小となる前のフィールド
（またはフレーム）のブロックを探索する方法である。
そして、画面間の相対的なずれが、そのブロックの動き
ベクトルを示している。

【０００４】また、マッチング演算については、尾上守
夫等により、情報処理Vol.17,No.7,p.634 〜640 July 1
976 で詳しく論じられている。

【０００５】図１３は上記ブロックマッチング法を用い
た従来の動きベクトル検出装置の構成を示すブロック図
であり、以下この図を用いてその構成及び動作を簡単に
説明する。

【０００６】動きベクトルの検出対象となる画像信号が
空間周波数フィルタ１０に印加されると、フィルタ１０
はその画像信号から動きベクトル検出に有用な空間周波
数成分を抽出する。即ち、画像信号の低空間周波数成分
及び高空間周波数成分を除去する。

【０００７】上記フィルタ１０を通過した画像信号は、
相関演算回路１１及び１フィールド期間遅延手段として
設けられたメモリ１２に印加される。相関演算回路１１
には更にメモリ１２より前フィールドの画像信号が印加
されている。そして、相関演算回路１１はブロックマッ
チング法に従い、ブロック単位に現フィールドと前フィ
ールドの相関演算を行い、その結果を動きベクトル検出
回路１３に出力する。

【０００８】動きベクトル検出回路１３は、相関演算回
路１１からの相関値を用いて、ブロック単位の動きベク
トルを検出する。具体的には、相関値が最小となる前フ
ィールドのブロックを探索し、その相対的なずれを動き
ベクトルとする。

【０００９】上記動きベクトル検出回路１３は、検出し
たブロック単位の動きベクトルを信頼性判定手段１４に
送出する。信頼性判定手段１４は、各ブロックの動きベ
クトルの信頼性を評価し、信頼性の高い動きベクトルを
動きベクトル決定手段１５に出力する。

【００１０】動きベクトル決定手段１５は、信頼性判定
手段１４から送出された動きベクトルから、全体の動き
ベクトルを決定する。この全体の動きベクトルは、信頼
性の高い動きベクトルの平均値または中央値として求め
られる。そして、この領域の動きベクトルが画像全体の
動きベクトルとして出力される。

【００１１】

【発明が解決しようとする課題】しかしながら、上記従
来例では、画像中に複数の移動物がある場合の処理が不
十分であり、以下のような問題点があった。

【００１２】即ち、検出された動きベクトルの平均値を
全体の動きベクトルにすると、画像中の複数の移動物の
動きが混合してしまう。例えば、平均値を用いて画像ぶ
れ補正処理をした場合、画面が移動物に引っ張られたよ
うな動きをしてしまう。

【００１３】また、検出された動きベクトルの中央値を
全体の動きベクトルにすると、画像中の移動物の大きさ
及び数によって動きベクトルの信頼性が異なってしま
う。例えば、中央値を用いて画像ぶれ補正した場合、移
動物が多いと防振対象が随時変化し、適切な画像ぶれ補
正ができない。

【００１４】本発明は、上記のような問題点に着目して
なされたもので、画像中に複数の移動物が存在する場合
でも、画像全体の動きベクトルを精度良く検出すること
ができる動きベクトル検出装置及びその検出方法、また
これを用いた画像ぶれ補正装置、画像追尾装置、更にこ
れらの装置を備えた撮像装置を提供することを目的とし
ている。

【００１５】

【課題を解決するための手段】本発明に係る動きベクト
ル検出装置は、次のように構成したものである。

【００１６】（１）画面中の複数の位置での画像の動き
ベクトルを検出する動きベクトル検出回路と、画面をそ
れぞれ動きベクトルの異なる複数の領域に分割する画面
分割手段と、分割された領域の一つを所定の条件に従っ
て選択する領域選択手段と、選択された領域の動きベク
トルから画像全体の動きを代表する動きベクトルを決定
する動きベクトル決定手段とを備えた。

【００１７】（２）上記（１）の装置において、画面分
割手段は、画面の各位置での動きベクトルの大きさに応
じて分割精度を変えるようにした。

【００１８】（３）上記（１）または（２）の装置にお
いて、領域選択手段は、複数の領域のうち最も範囲が大
きな領域を選択するようにした。

【００１９】（４）上記（１）または（２）の装置にお
いて、領域選択手段は、複数の領域のうち最も動きベク
トルが小さな領域を選択するようにした。

【００２０】（５）上記（１）または（２）の装置にお
いて、領域選択手段は、複数の領域のうち前回選択した
領域に重なる範囲が最も大きな領域を選択するようにし
た。

【００２１】（６）上記（１）または（２）の装置にお
いて、領域選択手段は、複数の領域のうち、最も範囲が
大きな領域と、最も動きベクトルが小さな領域と、前回
選択した領域に重なる範囲が最も大きな領域の何れかを
選択するようにした。

【００２２】本発明に係る画像ぶれ補正装置は、次のよ
うに構成したものである。

【００２３】（７）画面中の複数の位置での画像の動き
ベクトルを検出する動きベクトル検出回路と、画面をそ
れぞれ動きベクトルの異なる複数の領域に分割する画面
分割手段と、分割された領域の一つを選択する領域選択
手段と、選択された領域の動きベクトルから画像全体の
動きを代表する動きベクトルを決定する動きベクトル決
定手段とからなる動きベクトル検出装置を備えた。

【００２４】（８）上記（７）の装置において、動きベ
クトル検出装置の画面分割手段は、画面の各位置での動
きベクトルの大きさに応じて分割精度を変えるようにし
た。

【００２５】（９）上記（７）または（８）の装置にお
いて、動きベクトル検出装置の領域選択手段は、複数の
領域のうち、最も範囲が大きな領域と、最も動きベクト
ルが小さな領域と、前回選択した領域に重なる範囲が最
も大きな領域の何れかを選択するようにした。

【００２６】本発明に係る画像追尾装置は、次のように
構成したものである。

【００２７】（１０）画面中の複数の位置での画像の動
きベクトルを検出する動きベクトル検出回路と、画面を
それぞれ動きベクトルの異なる複数の領域に分割する画
面分割手段と、分割された領域の一つを選択する領域選
択手段と、選択された領域の動きベクトルから画像全体
の動きを代表する動きベクトルを決定する動きベクトル
決定手段とからなる動きベクトル検出装置を備えた。

【００２８】（１１）上記（１０）の装置において、動
きベクトル検出装置の画面分割手段は、画面の各位置で
の動きベクトルの大きさに応じて分割精度を変えるよう
にした。

【００２９】（１２）上記（１０）または（１１）の装
置において、動きベクトル検出装置の領域選択手段は、
複数の領域のうち、最も範囲が大きな領域と、最も動き
ベクトルが小さな領域と、前回選択した領域に重なる範
囲が最も大きな領域の何れかを選択するようにした。

【００３０】本発明に係る撮像装置は、次のように構成
したものである。

【００３１】（１３）画面中の複数の位置での画像の動
きベクトルを検出する動きベクトル検出回路と、画面を
それぞれ動きベクトルの異なる複数の領域に分割する画
面分割手段と、分割された領域の一つを選択する領域選
択手段と、選択された領域の動きベクトルから画像全体
の動きを代表する動きベクトルを決定する動きベクトル
決定手段とからなる動きベクトル検出装置を備えた画像
ぶれ補正装置を有するようにした。

【００３２】（１４）上記（１３）の装置において、画
像ぶれ補正装置の画面分割手段は、画面の各位置での動
きベクトルの大きさに応じて分割精度を変えるようにし
た。

【００３３】（１５）上記（１３）または（１４）の装
置において、画像ぶれ補正装置の領域選択手段は、複数
の領域のうち、最も範囲が大きな領域と、最も動きベク
トルが小さな領域と、前回選択した領域に重なる範囲が
最も大きな領域の何れかを選択するようにした。

【００３４】また本発明に係る撮像装置は、次のように
構成したものである。

【００３５】（１６）画面中の複数の位置での画像の動
きベクトルを検出する動きベクトル検出回路と、画面を
それぞれ動きベクトルの異なる複数の領域に分割する画
面分割手段と、分割された領域の一つを選択する領域選
択手段と、選択された領域の動きベクトルから画像全体
の動きを代表する動きベクトルを決定する動きベクトル
決定手段とからなる動きベクトル検出装置を備えた画像
追尾装置を有するようにした。

【００３６】（１７）上記（１６）の装置において、画
像追尾装置の画面分割手段は、画面の各位置での動きベ
クトルの大きさに応じて分割精度を変えるようにした。

【００３７】（１８）上記（１６）または（１７）の装
置において、画像追尾装置の領域選択手段は、複数の領
域のうち、最も範囲が大きな領域と、最も動きベクトル
が小さな領域と、前回選択した領域に重なる範囲が最も
大きな領域の何れかを選択するようにした。

【００３８】（１９）本発明に係る動きベクトル検出方
法は、画面中の複数の位置での画像の動きベクトルを検
出し、その画面をそれぞれ動きベクトルの異なる複数の
領域に分割し、この分割された複数の領域の中から所定
の条件に従って一つの領域を選択し、その選択された領
域の動きベクトルから画像全体の動きを代表する動きベ
クトルを検出するようにしたものである。

【００３９】（２０）また上記（１９）の検出方法にお
いて、分割された画面の複数の領域の中から、最も範囲
が大きな領域と、最も動きベクトルが小さな領域と、前
回選択した領域に重なる範囲が最も大きな領域の何れか
を選択するようにしたものである。

【００４０】

【作用】本発明の動きベクトル検出装置及びその検出方
法においては、画面をそれぞれ動きベクトルの異なる複
数の領域に分割し、その中から所定の条件に従って一つ
の領域を選択し、その領域の動きベクトルから画像全体
の動きベクトルを決定するようにしているので、画像全
体の動きベクトルを精度良く検出することができる。

【００４１】また本発明の画像ぶれ補正装置において
は、上記構成の動き検出装置を備えているので、精度の
良い画像ぶれ補正を行うことができる。

【００４２】また本発明の画像追尾装置においては、上
記構成の動き検出装置を備えているので、精度の良い画
像追尾処理を行うことができる。

【００４３】また本発明の撮像装置においては、上記の
動きベクトル検出装置を備えた画像ぶれ補正装置あるい
は画像追尾装置を有しているので、高性能の撮像を行う
ことができる。

【００４４】

【実施例】以下、本発明の実施例を図面を参照して説明
する。

【００４５】（動きベクトル検出装置の実施例）図１は
本発明に係る動きベクトル検出装置の概略構成を示すブ
ロック図であり、図１３と同一符号は同一構成要素を示
している。

【００４６】動きベクトルの検出対象となる画像信号
は、まず空間周波数フィルタ１０に印加される。フィル
タ１０は、その画像信号から動きベクトル検出に有用な
空間周波数成分を抽出する。即ち、画像信号の低空間周
波数成分及び高空間周波数成分を除去する。

【００４７】上記フィルタ１０を通過した画像信号は、
相関演算回路１１及び１フィールド期間遅延手段として
設けられたメモリ１２に印加される。相関演算回路１１
には、更にメモリ１２より前フィールドの画像信号が印
加されている。そして、相関演算回路１１は前述のブロ
ックマッチング法に従い、ブロック単位に現フィールド
と前フィールドの相関演算を行い、その結果を動きベク
トル検出回路１３に出力する。

【００４８】動きベクトル検出回路１３は、画面中の複
数のブロック位置での画像の動きベクトルを検出するも
のであり、相関演算回路１１からの相関値を用いて、ブ
ロック単位の動きベクトルを検出する。具体的には、相
関値が最小となる前フィールドのブロックを探索し、そ
の相対的なずれを動きベクトルとする。

【００４９】上記動きベクトル検出回路１３は、検出し
たブロック単位の動きベクトルを信頼性判定手段１４に
送出する。信頼性判定手段１４は、各ブロックの動きベ
クトルの信頼性を評価し、有効，無効を判定する。そし
て、信頼性の高い動きベクトルを画面分割手段４に出力
する。

【００５０】画面分割手段４は、信頼性判定手段１４か
ら送られてきた動きベクトルに基づき、画面をそれぞれ
動きベクトルの異なる複数の領域に分割するものであ
り、その分割結果を領域選択手段５に出力する。

【００５１】領域選択手段５は、上記画面分割手段４に
より分割された複数の領域の中から所定の条件に従って
一つの領域を選択するものであり、その選択結果を動き
ベクトル決定手段１５に出力する。

【００５２】そして、動きベクトル決定手段１５は、領
域選択手段５により選択された領域の動きベクトルか
ら、その領域全体の動きベクトルを決定する。この全体
の動きベクトルは、信頼性の高い動きベクトルの平均値
あるいは中央値として求められ、この領域の動きベクト
ルが画像全体の動きベクトルとして出力される。

【００５３】このように、画面をそれぞれ動きベクトル
の異なる複数の領域に分割し、その中から所定の条件に
従って一つの領域を選択し、その領域の動きベクトルか
ら画像全体を代表する動きベクトルを決定するようにし
ているので、画像中に複数の移動物が存在する場合で
も、画像全体の動きベクトルを精度良く検出することが
できる。

【００５４】（画像ぶれ補正装置及び画像追尾装置の実
施例）図２は上記の動きベクトル検出装置を備えた画像
ぶれ補正装置及び画像追尾装置の概略構成を示すブロッ
ク図であり、この画像ぶれ補正装置と画像追尾装置は同
一の構成ブロックで表わされる。

【００５５】図２において、入力クロマ信号はメモリ２
０に加えられ、入力輝度信号はメモリ２１及び図１の構
成の動きベクトル検出装置１に加えられる。そして、メ
モリ２０は入力クロマ信号を一時記憶し、メモリ２１は
入力輝度信号を一時記憶する。

【００５６】動きベクトル検出装置１は、入力輝度信号
より画像全体の動きベクトルを上述のようにして検出
し、検出した動きベクトルを積分手段２２に送出する。

【００５７】積分手段は、検出された動きベクトルを積
分し、メモリ読み出し手段２３は、積分された動きベク
トルに従ってメモリ２０，メモリ２１の読み出し部分を
制御する。これにより、メモリ２０からはクロマ信号、
メモリ２１からは輝度信号がそれぞれ送出される。

【００５８】そして、このように構成された画像ぶれ補
正装置、画像追尾装置は、それぞれ精度の良い画像ぶれ
補正、画像追尾処理を行うことができ、高性能の装置を
実現することができる。

【００５９】（撮像装置の実施例）図３は上述の画像ぶ
れ補正装置または画像追尾装置を有する撮像装置の概略
構成を示すブロック図であり、以下その構成及び動作に
ついて説明する。

【００６０】図３において、被写体画像は撮像レンズ３
０を通り、撮像素子であるＣＣＤ３１によって電気信号
に変換される。このＣＣＤ３１の出力は、サンプルホー
ルド（Ｓ／Ｈ）回路３２を経て自動利得制御（ＡＧＣ）
回路３３に送出される。

【００６１】ＡＧＣ回路３３のアナログ出力は、Ａ／Ｄ
変換器３４によりディジタル信号に変換され、輝度信号
（Ｙ）と色信号（Ｃ）のＹ／Ｃ分離回路３５に入力され
る。Ｙ／Ｃ分離回路３５は、２つの１Ｈ遅延線と、入力
信号及び２Ｈ遅延信号を加算する加算器からなり、該加
算器の出力は色信号処理回路であるＣプロセス回路３６
に加えられ、また１Ｈ遅延信号は輝度信号処理回路であ
るＹプロセス回路３７に加えられる。

【００６２】Ｃプロセス回路３６は、Ｙ／Ｃ分離回路３
５より出力された色信号からクロマ信号を生成し、Ｙプ
ロセス回路３７は、Ｙ／Ｃ分離回路３５より出力された
輝度信号に対して、エッジ強調，ガンマ補正等の処理を
行う。

【００６３】上記Ｃプロセス回路３６から出力されたク
ロマ信号及びＹプロセス回路３７から出力された輝度信
号は、図２の構成の画像ぶれ補正装置または画像追尾装
置２に入力される。そして、画像ぶれ補正装置の場合
は、ここからぶれ補正されたクロマ信号及び輝度信号が
出力される。また画像追尾装置の場合は、ここから追尾
処理されたクロマ信号及び輝度信号が出力される。

【００６４】画像ぶれ補正装置または画像追尾装置２か
ら出力されたクロマ信号は、Ｄ／Ａ変換器３８によりア
ナログ信号に変換されて出力される。また画像ぶれ補正
装置あるいは画像追尾装置２から出力された輝度信号
は、Ｄ／Ａ変換器３９によりアナログ信号に変換されて
出力される。

【００６５】このようにして、画像ぶれを補正した映像
信号あるいは画像追尾処理した映像信号が得られ、この
画像ぶれ補正装置または画像追尾装置２を備えることに
より、高性能の撮像装置を得ることができる。

【００６６】次に、図１の画面分割手段４の詳細につい
て、図４，図５のフローチャートにより説明する。

【００６７】（画面分割手段の実施例１）図４は図１中
の画面分割手段４の動作の一例を示すフローチャートで
ある。

【００６８】まず、この画面分割手段４は、信頼性判定
手段１４によって有効と判断された動きベクトルを受信
して受け取る（ステップ４０１）。次に、その動きベク
トルの大きさを複数の閾値と比較していく。ここでは、
動きベクトルのＸ成分を閾値Ａ及び閾値−Ａ（Ａは定
数）と比較して（ステップ４０２，４０３）、動きベク
トルをＡより大きい集合（Ａ）、−Ａ以上Ａ以下の集合
（０）、−Ａより小さい集合（−Ａ）の３つの集合に分
類する（ステップ４０４，４０５，４０６）。

【００６９】そして、Ｙ成分も同様に３つの集合に分類
すれば、Ｘ，Ｙの組み合わせで図１０に示すように２次
元で表わされる９つの集合（集合（−Ａ，Ａ）、集合
（０，Ａ）、集合（Ａ，Ａ）、集合（−Ａ，
０）、集合（０，０）、集合（Ａ，０）、集合（−
Ａ，−Ａ）、集合（０，−Ａ）、集合（Ａ，−Ａ））に
動きベクトルを分けることができる。例えば、図１０中
の矢印で示される動きベクトルは集合（Ａ，Ａ）に分類
される。

【００７０】このとき、各動きベクトルの検出ブロック
は分かっているので、動きベクトルの集合に対応する検
出ブロックを分類すれば、その画像を動きの異なる９つ
の領域に分割することができる。そして分割後、各検出
ブロックにおける領域情報をメモリに保存する（ステッ
プ４０７）。

【００７１】以上の動作を、図１１により具体的に説明
する。図１１の（ａ）は入力画像を模式的に示したもの
であり、画面の左右に向かって移動する自動車が１台ず
つ存在している。また、図１１の（ｂ）は入力画像中の
各検出ブロックで検出された動きベクトルを表してい
る。

【００７２】自動車が存在する検出ブロックでは、Ｘ方
向（画面の横方向）に大きな動きベクトルが検出され、
背景の検出ブロックでは、Ｙ方向（画面の縦方向）に小
さな動きベクトルが検出されている。ここで、簡単のた
め全てのベクトルが高い信頼性を持ち、信頼性判定手段
１４において有効と判断されているとすると、閾値Ａを
自動車の移動速度より小さく設定しておけば、上記フロ
ーチャートの動作に従って、左に移動する自動車の動き
ベクトルは集合（−Ａ）、背景の動きベクトルは集合
（０）、右に移動する自動車の動きベクトルは集合
（Ａ）の３つに分類される。

【００７３】したがって、画面は図１１の（ｃ）に示す
ように、領域（−Ａ），領域（０），領域（Ａ）の３つ
に分割される。

【００７４】（画面分割手段の実施例２）上記の例では
閾値を固定としたが、閾値の個数や値を変化させれば、
画面分割の精度をコントロールすることができる。図５
は画面の各ブロック位置での動きベクトルの大きさに応
じて分割精度を変えるようにした画面分割手段４の動作
を示すフローチャートであり、図４と同一符号のステッ
プは同一処理内容を示している。

【００７５】図４の画面分割手段４の実施例１の動作と
異なる点は、閾値との比較ルーチンが複数用意されてい
て、適応的に選択できるようにしたことである。複数の
比較ルーチンでは、それぞれ異なった個数、値の閾値を
用意しておき、それぞれのルーチンを通すことによっ
て、異なった精度で画面を分割することができる。

【００７６】例えば、前フィールドで分割された領域の
個数を判別し（ステップ４０８）、少なくなればより細
かい精度で画面分割を行うように比較ルーチンを選択し
（ステップ４１１）、逆に分割された領域の個数が多く
なればより粗い精度で画面分割を行うように比較ルーチ
ンを選択し（ステップ４０９）、中間であれば中間の比
較ルーチンを選択する（ステップ４１０）。これによ
り、ある領域の動きベクトルを更に精度良く検出するこ
とができる。

【００７７】次に、図１の領域選択手段５の詳細につい
て、図６〜図９のフローチャートにより説明する。

【００７８】（領域選択手段の実施例１）図６は図１中
の領域選択手段５の動作の一例を示すフローチャートで
ある。

【００７９】画面分割手段４によって保存された領域情
報を読出し（ステップ５０１）、画面分割後の各領域に
付いてその領域を構成する検出ブロックの個数を計測す
る（ステップ５０２）。次に、計測された個数を比較し
（ステップ５０３）、最も個数の多い領域を選択する
（ステップ５０４）。最後に、選択された領域の動きベ
クトルを送出する（ステップ５０５）。

【００８０】以上の動作を、図１１により具体的に説明
する。図１１の（ｄ）は図１１の（ａ）の入力画像を前
述の画面分割手段４の実施例１の動作に従って分割した
後の領域情報を示している。この領域情報は、各検出ブ
ロックにつき領域を区別する情報である。この例では、
画面は３つの領域に分かれており、それぞれの領域の個
数は領域（−Ａ）が１３個、領域（０）が４９個、領域
（Ａ）が８個で、最も範囲が大きな背景を表わす領域
（０）が選択される。

【００８１】このように、画像中で最も大きな物体の動
きベクトルを検出することで、例えばＴＶ会議システム
等でカメラが固定されて、画像はほとんど一人の人物で
占められているような場合、非常に効果的な画像追尾処
理を行うことができる。

【００８２】（領域選択手段の実施例２）図７は上記領
域選択手段５の動作の他の例を示すフローチャートであ
る。

【００８３】画面分割手段４によって保存された領域情
報を読出し（ステップ５０１）、各領域内の動きの大き
さを比較してステップ（５０６）、最も動きの小さな領
域を探す。ここでは、画面分割手段４により画面は動き
ベクトルの大きさによって分割されているので、領域情
報の中で最も絶対値の小さな領域を選択する（ステップ
５０７）。そして、最後に選択された領域の動きベクト
ルを送出する（ステップ５０５）。

【００８４】以上の動作を、図１１により具体的に説明
する。図１１の（ｄ）は図１１の（ａ）の入力画像を前
述の画面分割手段４の実施例１の動作に従って分割した
後の領域情報を示している。この領域情報は、各検出ブ
ロックにつき領域を区別する情報である。この例では、
画面は３つの領域に分かれており、それぞれの領域で０
が最も絶対値が小さいので、その背景を表わす領域
（０）が選択される。

【００８５】このように、画像中で最も小さな物体の動
きベクトルを検出することで、例えばビデオカメラで撮
像する画像は被写体が動かないように意識して撮影する
ので、非常に効果的な画像ぶれ補正を行うことができ
る。

【００８６】（領域選択手段の実施例３）図８は上記領
域選択手段５の動作の他の例を示すフローチャートであ
る。

【００８７】現フィールドで画面分割手段４によって保
存された領域情報を読出すとともに（ステップ５０
１）、前回のフィールド処理時に領域選択手段５によっ
て保存された前選択領域情報を読出す（ステップ５０
８）。そして、前フィールドで選択された領域につい
て、今フィールドで分割された領域の占める個数、つま
り前選択領域内の各領域の検出ブロック数を計測する
（ステップ５０９）。

【００８８】次に、計測された個数を比較し（ステップ
５０３）、最も個数の多い領域を選択する（ステップ５
０４）。この選択された領域の位置データの情報は、次
回の領域選択時に比較するためメモリに保存する（ステ
ップ５１０）。最後に、選択された領域の動きベクトル
を送出する（ステップ５０５）。

【００８９】以上の動作を、図１２により具体的に説明
する。図１２の（ａ），（ｂ）は連続する２フィールド
の入力画像を示している。また、図１２の（ｃ）は図１
２の（ａ）の画像処理時に、領域選択手段５によって保
存された選択領域情報を示しており、図中の斜線で表わ
された領域が選択領域である。

【００９０】図１２の（ｄ）は図１２の（ｂ）の入力画
像を前述の画面分割手段４の実施例１の動作に従って分
割した後の領域情報を示している。そして、図１２の
（ｃ）の選択領域における図１２の（ｄ）の領域情報
は、図１２の（ｅ）に示すように、最大個数を占める領
域（−Ａ）が選択される。よって、図１２の（ｂ）の画
像の選択領域情報は、図１２の（ｆ）に示すようにな
り、この情報が次のフィールド処理時に備えて保存され
る。

【００９１】このように、画像中のある一つの物体の動
きベクトルを時間的に連続して検出することで、物体の
大きさや速さの変化に関係なくある物体の動きベクトル
を検出することができ、非常に効果的な画像ぶれ補正や
画像追尾処理を行うことができる。

【００９２】（領域選択手段の実施例４）図９は上記領
域選択手段５の動作の他の例を示すフローチャートであ
る。

【００９３】現フィールドで画面分割手段４によって保
存された領域情報及び、前フィールド処理時に領域選択
手段５によって保存された選択領域情報を読出す（ステ
ップ５０１，５０８）。そして、前フィールドで選択さ
れた領域があれば（ステップ５１１）、その領域内で現
フィールドで分割された領域の占める個数を計測する
（ステップ５０９）。次に、計測された個数を比較し
（ステップ５０３）、最も個数の多い領域を選択する
（ステップ５０４）。

【００９４】また、前フィールドで選択された領域がな
ければ（ステップ５１１）、画面分割手段４によって保
存された領域情報に従って各領域内の動きの大きさを比
較し（ステップ５０６）、最も動きの小さな領域を探し
て選択する（ステップ５０７）。このとき、画面分割手
段４により、画面は動きベクトルの大きさによって分割
されているので、領域情報の中で最も絶対値の小さな領
域を選択する。そして、選択した領域の位置データを次
回の領域選択時に比較するために保存する（ステップ５
１０）。最後に、選択された領域の動きベクトルを送出
する（ステップ５０５）。

【００９５】

【発明の効果】以上説明したように、本発明によれば、
画面をそれぞれ動きベクトルの異なる複数の領域に分割
し、その中から所定の条件に従って一つの領域を選択
し、その領域の動きベクトルから画像全体の動きベクト
ルを決定するようにしたため、画像中に複数の移動物が
存在する場合でも、画像を各移動物が存在する移動領域
と、移動物がない静止領域に分割することによって、画
像全体の動きベクトルを精度良く求めることができる。

【００９６】また、画面分割手段の分割精度を適応的に
変化させることによって、ある領域の動きベクトルを更
に精度良く求めることができる。

【００９７】また、領域選択手段で最も範囲が大きな動
きベクトルの領域を選択することにより、例えばＴＶ会
議システム等で使われるカメラは固定されているが、画
像はほとんど一人の人物で占められているような場合、
画像追尾処理が非常に効果的に行える。

【００９８】また、領域選択手段で最も動きの小さな動
きベクトルの領域を選択することにより、例えばビデオ
カメラで撮影する画像は撮影したい被写体が動かないよ
うに撮影者が意識するので、画像ぶれ補正処理が非常に
効果的に行える。

【００９９】また、画像中のある一つの物体の動きベク
トルを時間的に連続して検出することにより、物体の大
きさや速さの変化に関係なくある物体の動きベクトルを
検出でき、画像ぶれ補正処理や画像追尾処理を非常に効
果的に行える。

【０１００】また、上記の画像ぶれ補正処理あるいは画
像追尾処理が可能な高性能の撮像装置を実現することが
できる。

【図面の簡単な説明】

【図１】本発明に係る動きベクトル検出装置の構成を
示すブロック図

【図２】動きベクトル検出装置を備えた画像ぶれ補正
装置及び画像追尾装置の構成を示すブロック図

【図３】画像ぶれ補正装置または画像追尾装置を有し
た撮像装置の構成を示すブロック図

【図４】画面分割手段の動作の一例を示すフローチャ
ート

【図５】画面分割手段の動作の他の例を示すフローチ
ャート

【図６】領域選択手段の動作の一例を示すフローチャ
ート

【図７】領域選択手段の動作の他の例を示すフローチ
ャート

【図８】領域選択手段の動作の他の例を示すフローチ
ャート

【図９】領域選択手段の動作の他の例を示すフローチ
ャート

【図１０】動きベクトルの分類を示す説明図

【図１１】画面分割手段及び領域選択手段の具体的動
作を示す説明図

【図１２】領域選択手段の具体的動作を示す説明図

【図１３】従来の動きベクトル検出装置の構成を示す
ブロック図

【符号の説明】

１動きベクトル検出装置２画像ぶれ補正装置または画像追尾装置４画面分割手段５領域選択手段１１相関演算回路１３動きベクトル検出回路１４信頼性判定手段１５動きベクトル決定手段３１ＣＣＤ

Claims

【特許請求の範囲】

【請求項１】画面中の複数の位置での画像の動きベク
トルを検出する動きベクトル検出回路と、画面をそれぞ
れ動きベクトルの異なる複数の領域に分割する画面分割
手段と、分割された領域の一つを所定の条件に従って選
択する領域選択手段と、選択された領域の動きベクトル
から画像全体の動きを代表する動きベクトルを決定する
動きベクトル決定手段とを備えたことを特徴とする動き
ベクトル検出装置。
【請求項２】画面分割手段は、画面の各位置での動き
ベクトルの大きさに応じて分割精度を変えることを特徴
とする請求項１記載の動きベクトル検出装置。
【請求項３】領域選択手段は、複数の領域のうち最も
範囲が大きな領域を選択することを特徴とする請求項１
または２記載の動きベクトル検出装置。
【請求項４】領域選択手段は、複数の領域のうち最も
動きベクトルが小さな領域を選択することを特徴とする
請求項１または２記載の動きベクトル検出装置。
【請求項５】領域選択手段は、複数の領域のうち前回
選択した領域に重なる範囲が最も大きな領域を選択する
ことを特徴とする請求項１または２記載の動きベクトル
検出装置。
【請求項６】領域選択手段は、複数の領域のうち、最
も範囲が大きな領域と、最も動きベクトルが小さな領域
と、前回選択した領域に重なる範囲が最も大きな領域の
何れかを選択することを特徴とする請求項１または２記
載の動きベクトル検出装置。
【請求項７】画面中の複数の位置での画像の動きベク
トルを検出する動きベクトル検出回路と、画面をそれぞ
れ動きベクトルの異なる複数の領域に分割する画面分割
手段と、分割された領域の一つを選択する領域選択手段
と、選択された領域の動きベクトルから画像全体の動き
を代表する動きベクトルを決定する動きベクトル決定手
段とからなる動きベクトル検出装置を備えたことを特徴
とする画像ぶれ補正装置。
【請求項８】動きベクトル検出装置の画面分割手段
は、画面の各位置での動きベクトルの大きさに応じて分
割精度を変えることを特徴とする請求項７記載の画像ぶ
れ補正装置。
【請求項９】動きベクトル検出装置の領域選択手段
は、複数の領域のうち、最も範囲が大きな領域と、最も
動きベクトルが小さな領域と、前回選択した領域に重な
る範囲が最も大きな領域の何れかを選択することを特徴
とする請求項７または８記載の画像ぶれ補正装置。
【請求項１０】画面中の複数の位置での画像の動きベ
クトルを検出する動きベクトル検出回路と、画面をそれ
ぞれ動きベクトルの異なる複数の領域に分割する画面分
割手段と、分割された領域の一つを選択する領域選択手
段と、選択された領域の動きベクトルから画像全体の動
きを代表する動きベクトルを決定する動きベクトル決定
手段とからなる動きベクトル検出装置を備えたことを特
徴とする画像追尾装置。
【請求項１１】動きベクトル検出装置の画面分割手段
は、画面の各位置での動きベクトルの大きさに応じて分
割精度を変えることを特徴とする請求項１０記載の画像
追尾装置。
【請求項１２】動きベクトル検出装置の領域選択手段
は、複数の領域のうち、最も範囲が大きな領域と、最も
動きベクトルが小さな領域と、前回選択した領域に重な
る範囲が最も大きな領域の何れかを選択することを特徴
とする請求項１０または１１記載の画像追尾装置。
【請求項１３】画面中の複数の位置での画像の動きベ
クトルを検出する動きベクトル検出回路と、画面をそれ
ぞれ動きベクトルの異なる複数の領域に分割する画面分
割手段と、分割された領域の一つを選択する領域選択手
段と、選択された領域の動きベクトルから画像全体の動
きを代表する動きベクトルを決定する動きベクトル決定
手段とからなる動きベクトル検出装置を備えた画像ぶれ
補正装置を有することを特徴とする撮像装置。
【請求項１４】画像ぶれ補正装置の画面分割手段は、
画面の各位置での動きベクトルの大きさに応じて分割精
度を変えることを特徴とする請求項１３記載の撮像装
置。
【請求項１５】画像ぶれ補正装置の領域選択手段は、
複数の領域のうち、最も範囲が大きな領域と、最も動き
ベクトルが小さな領域と、前回選択した領域に重なる範
囲が最も大きな領域の何れかを選択することを特徴とす
る請求項１３または１４記載の撮像装置。
【請求項１６】画面中の複数の位置での画像の動きベ
クトルを検出する動きベクトル検出回路と、画面をそれ
ぞれ動きベクトルの異なる複数の領域に分割する画面分
割手段と、分割された領域の一つを選択する領域選択手
段と、選択された領域の動きベクトルから画像全体の動
きを代表する動きベクトルを決定する動きベクトル決定
手段とからなる動きベクトル検出装置を備えた画像追尾
装置を有することを特徴とする撮像装置。
【請求項１７】画像追尾装置の画面分割手段は、画面
の各位置での動きベクトルの大きさに応じて分割精度を
変えることを特徴とする請求項１６記載の撮像装置。
【請求項１８】画像追尾装置の領域選択手段は、複数
の領域のうち、最も範囲が大きな領域と、最も動きベク
トルが小さな領域と、前回選択した領域に重なる範囲が
最も大きな領域の何れかを選択することを特徴とする請
求項１６または１７記載の撮像装置。
【請求項１９】画面中の複数の位置での画像の動きベ
クトルを検出し、その画面をそれぞれ動きベクトルの異
なる複数の領域に分割し、この分割された複数の領域の
中から所定の条件に従って一つの領域を選択し、その選
択された領域の動きベクトルから画像全体の動きを代表
する動きベクトルを検出することを特徴とする動きベク
トル検出方法。
【請求項２０】分割された画面の複数の領域の中か
ら、最も範囲が大きな領域と、最も動きベクトルが小さ
な領域と、前回選択した領域に重なる範囲が最も大きな
領域の何れかを選択することを特徴とする請求項１９記
載の動きベクトル検出方法。