JP3123341B2 - 画像動き補正装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は撮像装置の手揺れ補正等
に用いる画像動き補正装置に関するものである。

【０００２】

【従来の技術】撮像装置を用いて被写体を撮影するに際
し、手で撮像装置を直接保持したり、車両等の移動体に
搭載すると撮像時の揺れが画面に発生する。このため画
面の揺れを検出し、この揺れ情報に基づいて画像の位置
補正を行う手揺れ補正装置が実用化されている。

【０００３】従来の画像動き補正装置についてその動作
原理を説明する。図１５は従来の画像動き補正装置の構
成を示すブロック図である。同図において、固体撮像素
子１０１は撮像素子で、固体撮像素子駆動回路１０９に
より駆動され、光学系を介した映像を電気信号（以下、
これを映像信号と称す。）に変換する。アナログ信号処
理回路１０２は固体撮像素子１０１からの映像信号に対
する信号処理を行い、アナログ／ディジタル変換回路１
０３はアナログ信号処理回路１０２で処理された映像信
号をディジタル信号に変換する。そして、この変換され
た信号は画像動き検出回路４とフィールドメモリ回路１
０５に送られる。画像動き検出回路４は、アナログ／デ
ィジタル変換回路１０３からの映像信号から画像の動き
（画像の動きベクトル）を検出する。フィールドメモリ
回路１０５はアナログ／ディジタル変換回路１０３から
の映像信号を記憶する。動きベクトル積分回路１０６
は、画像動き検出回路４で得られた画像の動きベクトル
を積分する。フィールドメモリ制御回路１０７は、動き
ベクトル積分回路１０６の積分結果に応じてフィールド
メモリ回路１０５の読み出しアドレスを制御する。フィ
ールドメモリ回路１０５から読み出された映像信号はデ
ィジタル信号処理回路１０８でディジタル信号処理を施
される。

【０００４】図１６は図１５に示した画像動き検出回路
４の具体的な構成を示すブロック図である。同図におい
て、代表点記憶回路２０１は固体撮像素子１０１から入
力されてくる現フィールドの映像信号を複数の領域に分
割し、各領域の特定の代表点に対応する映像信号を代表
点信号として記憶するものである。また、この回路は現
フィールドより１フィールド前に走査された前フィール
ドの代表点信号を相関演算回路２０２に与える。相関演
算回路２０２は前代表点信号と現フィールドの映像信号
間の相関演算を行い、前代表点信号と現フィールドの映
像信号の差を比較するものであり、その出力は動きベク
トル検出回路２０３に与えられる。動きベクトル検出回
路２０３は相関演算回路２０２での演算結果から、前フ
ィールドと現フィールドの間の画像の動きベクトルを検
出する。

【０００５】以上のように構成された従来の画像動き補
正装置では、固体撮像素子１０１から得た現フィールド
の映像信号は画像動き検出回路４とフィールドメモリ回
路１０５へ送られる。画像動き検出回路４はこの映像信
号から画像の動きを検出し、この検出された動きに応じ
てフィールドメモリ回路１０５のデータ読み出しアドレ
スを移動させることにより、現フィールドの画像から手
揺れ等による画像の揺れ除去を行ってきた。

【０００６】

【発明が解決しようとする課題】しかしながら上記の構
成では、手揺れ補正のためにどうしてもフィールドメモ
リ回路が必要になるという問題があった。

【０００７】本発明は上記従来の問題点を解決し、フィ
ールドメモリ回路が無くとも、手揺れ補正を実現できる
画像動き補正装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像動き補正装置は、フィールドメモリ回路
の信号読み出しアドレスを移動させて画像の揺れを補正
する代わりに、新たに予測回路と固体撮像素子駆動制御
回路を設けることにより、フィールドメモリ回路とフィ
ールドメモリ制御回路を用いることなく、固体撮像素子
からの信号読み出しアドレスを移動させることにより画
像の揺れを補正する。

【０００９】また本発明は、フィールドメモリ回路の信
号読み出しアドレスを移動させて画像の揺れを補正する
代わりに、新たに予測回路とゲイン制御回路と固体撮像
素子駆動制御回路を設けることにより、フィールドメモ
リ回路とフィールドメモリ制御回路を用いることなく、
固体撮像素子からの信号読み出しアドレスを移動させる
ことにより画像の揺れを補正し、且つ、その際の補正の
効き具合を調整する。

【００１０】また本発明は、フィールドメモリ回路の信
号読み出しアドレスを移動させて画像の揺れを補正する
代わりに、新たに予測回路と固体撮像素子駆動制御回路
を設けることにより、フィールドメモリ回路とフィール
ドメモリ制御回路を用いることなく、固体撮像素子から
の信号読み出しアドレスを移動させることにより画像の
揺れを補正するとともに、各フィールドで得られる画像
の動きの予測値を積分し、実際の読み出しアドレスを決
定する動きベクトル積分回路に新たに積分ベクトル補正
回路を設けることにより、補正の精度を向上させる。

【００１１】

【作用】上記の構成により、本発明の画像動き補正装置
は、フィールドメモリ回路とフィールドメモリ制御回路
を用いずに、固体撮像素子上の信号読み出しアドレスを
移動させることにより画像の揺れを補正することができ
る。

【００１２】また本発明は、フィールドメモリ回路とフ
ィールドメモリ制御回路を用いずに、固体撮像素子上の
信号読み出しアドレスを移動させることにより画像の揺
れを補正するとともに、その補正の効き具合を調整する
ことができる。

【００１３】また本発明は、フィールドメモリ回路とフ
ィールドメモリ制御回路を用いずに、固体撮像素子上の
信号読み出しアドレスを移動させることにより画像の揺
れを補正するとともに、その補正精度を向上させること
ができる。

【００１４】

【実施例】以下、本発明の実施例について、図面を参照
しながら説明する。

【００１５】図１は本発明の第１の実施例における画像
動き補正装置のブロック図を示すものである。同図にお
いて、固体撮像素子１は光学系を介した映像を電気信号
に変換する撮像素子で、後述する固体撮像素子駆動制御
回路９により駆動及び制御され、撮像エリアのうちの一
部を出力する。アナログ信号処理回路２は固体撮像素子
１の出力に対するアナログ信号処理を行い、アナログ／
ディジタル変換回路３はアナログ信号処理回路２で処理
された信号をディジタル信号に変換する。画像動き検出
回路４はアナログ／ディジタル変換回路３からの映像信
号から画像の動きの情報を検出し（この検出された画像
の動きの情報を以下「検出動きベクトル」と称す。）、
動きベクトル算出回路５に出力する。動きベクトル算出
回路５は、後述する予測回路６の出力と画像動き検出回
路４の出力からフィールド間の動きベクトルを計算し出
力する。予測回路６は動きベクトル算出回路５により計
算されたフィールド間の動きベクトルと後述する係数発
生回路７が発生する係数から１フィールド先の動きベク
トルの予測値（この予測値を以下「動き予測ベクトル」
と称す。）を計算し出力する。係数発生回路７は、動き
ベクトル算出回路５と予測回路６の出力に応じて、予測
回路６が動き予測ベクトルを求める際に用いる係数を求
める。動きベクトル積分回路８は予測回路６からの動き
予測ベクトルを各フィールド毎に積分する（以下、この
積分値を「動き予測積分ベクトル」と称す。）。固体撮
像素子駆動制御回路９は、固体撮像素子１を駆動し、且
つ動きベクトル積分回路８の出力に基づき固体撮像素子
１の撮像エリアのうちの一部を出力するように信号読み
出しアドレスを制御する。ディジタル信号処理回路１０
はアナログ／ディジタル変換回路３からの映像信号にデ
ィジタル信号処理を施すための回路である。

【００１６】なお、画像動き検出回路４は従来例示した
図１６と同様の構成と作用を成すものであるので詳細な
説明は省略する。以下本実施例の説明に於いては、画像
動き検出回路４を構成する各回路は図１６の各回路と同
一のものとして同一の符号を付して説明に用いる。

【００１７】図２は図１に示した予測回路６の具体的な
構成を示すブロック図である。同図において、遅延回路
２１，２２，・・・，２ｉ（ｉは正の整数）は信号を遅
延させる遅延器であり、遅延時間は、映像信号の１フィ
ールド分、つまり６０分の１秒である。乗算回路３０，
３１，・・・，３ｉは乗算器であり、入力に対し係数発
生回路７が発生する係数Ｗ０，Ｗ１，・・・，Ｗｉを乗
ずるものとする。加算器４１，４２，・・・，４ｉは乗
算回路３０，３１，・・・，３ｉの各出力の加算処理を
行う。

【００１８】図３は図２に示した予測回路６において遅
延回路の数が３個の場合の構成を示すブロック図であ
る。同図において、遅延回路２１，２２，２３は信号を
遅延させる遅延器であり、遅延時間は、映像信号の１フ
ィールド分、つまり６０分の１秒である。乗算回路３
０，３１，３２，３３は乗算器であり、入力に対し係数
発生回路７が発生する係数Ｗ０，Ｗ１，Ｗ２，Ｗ３を乗
ずるものとする。加算器４１，４２，４３は乗算回路３
０，３１，３２，３３の各出力の加算処理を行う。

【００１９】以上のように構成された本実施例の画像動
き補正装置について、以下その動作について説明する。
なお、予測回路６に関しては図３に示した構成を基に説
明する。

【００２０】画像動き検出回路４では、固体撮像素子１
で得られた現フィールドの映像信号と、前フィールドの
映像信号のうち代表点記憶回路２０１で記憶してあった
代表点信号との相関演算を相関演算回路２０２で行い、
この演算結果より画像の動き（検出動きベクトル）を検
出する。本発明においては、固体撮像素子１で得られた
映像信号は、動きの予測に基づき固体撮像素子１の撮像
エリアからその一部を読み出したものであるため、得ら
れた検出動きベクトルは前フィールドにおいて予測回路
６で予測した画像の動きと、実際の画像の動きとの差と
なる。つまり、予測回路６で予測した動きと実際の動き
が同じであれば、この画像動き検出回路４で得られる画
像の動きは０となる。故に、各フィールドでそのフィー
ルドの１フィールド前に予測回路６で求められた動き予
測ベクトルに、各フィールドで動き検出回路４で得られ
た検出動きベクトルを加算（もしくは減算）すれば、前
フィールドと現フィールドの間の実際の動きベクトルが
求められる。例えば、現在のフィールドを第ｎフィール
ド（ｎは正の整数）とし、現フィールドで画像動き検出
回路４で得られた検出動きベクトルをＶｄ（ｎ）、１フ
ィールド前に予測回路６で求められた動き予測ベクトル
をＶｐ（ｎ−１）、前フィールドと現フィールドの間の
実際の動きベクトルをＶ（ｎ）とすると、Ｖ（ｎ）は
（数１）で求められる。

【００２１】

【数１】

【００２２】このように、動きベクトル算出回路５は、
各フィールドで予測回路６が出力する動き予測ベクトル
を記憶しておき、（数１）に則り、動き予測ベクトルと
画像動き検出回路４で得られた検出動きベクトルを用い
てフィールド間の実際の動きベクトルを求める。

【００２３】そして、予測回路６は動きベクトル算出回
路５において求めた実際の動きベクトルから、図３に示
した構成により次フィールドの動きベクトルの予測値
（動き予測ベクトル）を求める。図３の構成では、各フ
ィールドで動きベクトル算出回路５から得られる実際の
動きベクトルのうち最新のものから３フィールド前のも
のまでに各々、係数発生回路７により発生された係数Ｗ
０，Ｗ１，Ｗ２，Ｗ３を乗算し、その乗算結果を加算し
たものを、動き予測ベクトルとして動きベクトル積分回
路８に出力する。

【００２４】次に、係数発生回路７による係数の更新に
ついて説明すると、現在のフィールドを第ｎフィールド
とし、動きベクトル算出回路５の出力をＶ（ｎ）、前フ
ィールドの予測回路６の出力をＶｐ（ｎ−１）とする
と、係数発生回路７は、動きベクトル算出回路５の各フ
ィールドでの出力を記憶しておき、これと予測回路６の
出力Ｖｐ（ｎ−１）から（数２）に示す計算式に則り求
められる係数の変化量△Ｗｉだけ係数Ｗｉを変化させ
る。

【００２５】

【数２】

【００２６】そしてこの更新された係数を用い、予測回
路６は、第（ｎ＋１）フィールドでの動き補正をするた
めの動き予測ベクトルＶｐ（ｎ）を、Ｖ（ｎ），Ｖ（ｎ
−１），Ｖ（ｎ―２），Ｖ（ｎ―３）から計算する。な
お、（数２）により係数を更新する方法は、最急降下法
といわれ、この方法で係数を更新することにより予測誤
差を最小にできる係数が得られる。

【００２７】以上述べた動き予測ベクトルを、動きベク
トル積分回路８は各フィールドで積分し、動き予測積分
ベクトルを計算する（この時、例えば、１フィールド前
も積分結果を動きベクトル積分回路８内で保持し、それ
に現フィールドの動き予測ベクトルを加算するような方
法が考えられる）。そして、この動き予測積分ベクトル
は固体撮像素子駆動制御回路９に送られ、この動き予測
積分ベクトルに基づき固体撮像素子駆動制御回路９が固
体撮像素子１上の映像信号読み出しアドレスを制御し、
次のフィールドの映像信号の動き成分を予測に基づき固
体撮像素子１上で補正する。

【００２８】以上のように本実施例によれば、（数２）
に示す計算式に則り求められる変化量により更新される
係数を用い、予測回路６で予測された１フィールド先の
動き予測ベクトルに基づき固体撮像素子１上の信号読み
出しアドレスを移動させることにより、フィールドメモ
リ回路を用いることなく画像の動き補正を行うことがで
きる。

【００２９】また、本実施例において、係数の初期値に
関しては特に言及しなかったが、これは特定の数値に限
定するものでは無く、例えば、係数の初期値を全て１と
する、等が考えられる。

【００３０】また、本実施例において、（数２）におい
て使用する、正の定数εに関しては特に言及しなかった
が、これは特定の数値に限定するものでは無く、例え
ば、１.０・１０-8程度の数が考えられる。

【００３１】また、本実施例において、係数の更新はす
べてフィールド毎に行ったが、これに限るものではな
く、任意の期間毎に行う、又は更新を行わず、あらかじ
め設定した係数の初期値を保持することも考えられる。

【００３２】また、本実施例において、予測回路につい
ては、図３に示した構成を説明したがこれに限るもので
は無く、遅延回路及び乗算回路及び加算器の数量を、増
加させたもしくは減少させた構成も当然考えられる。

【００３３】次に、本発明の第２の実施例について説明
する。本発明の第２の実施例の構成は、図１に示した第
１の実施例の構成に対し、ゲイン制御回路を新たに設け
たことが第１の実施例と異なる。

【００３４】図４は、本発明の第２の実施例における画
像動き補正装置のブロック図である。以下、本実施例の
説明に於いては、第１の実施例と同一の部分は、図１の
各回路と同一の符号を付して、第１の実施例と異なる部
分に関してのみ説明を行う。

【００３５】ゲイン制御回路１１は、画像動き検出回路
４の出力により決定されるゲインにより、予測回路６の
出力に対し増幅もしくは減衰処理を施すための回路であ
る。

【００３６】以上のように、ゲイン制御回路１１を備え
た構成の本実施例の画像動き補正装置について、以下そ
の動作について説明する。

【００３７】ゲイン制御回路１１は、予測回路６の出力
に対し、増幅もしくは減衰処理を施すことにより予測に
よる動き補正の効き具合を調節する。これは、動きの予
測の精度が高い場合は、動き補正画像は元の画像の動き
が除去された好ましい映像となるが、動きの予測の精度
が低い場合には、予測誤差が大きく、動き補正画像は、
元の画像に比べ逆に目障りな映像となるおそれがあり、
これを予測回路６の出力の調節により、回避するためで
ある。そしてこの増幅もしくは減衰処理のためのゲイン
に関しては、画像動き検出回路４の出力により決定され
る。次に、このゲインの決定方法に関して述べる。画像
動き検出回路４の出力（検出動きベクトル）は、第１の
実施例で述べたように、画像の動きの予測値と実際の動
きとの差である。つまり、これは予測誤差と等しくな
る。故に画像動き検出回路４の出力（検出動きベクト
ル）をモニターし、検出動きベクトルの絶対値に応じ
て、ゲインを、例えば図５に示すように設定する。図５
のようにゲインを１以下とし、検出動きベクトルの絶対
値の増加につれてゲインが小さくなるようにすること
で、予測による補正の精度が悪い場合には、補正を弱め
ることにより、予測誤差による誤動作を低減できる。

【００３８】また、この場合、動きベクトル算出回路５
において、フィールド間の実際の動きベクトルを求める
際には、画像動き検出回路４の出力と、ゲイン制御回路
１１によりゲイン制御された後の動き予測ベクトルを使
用することとする。これは画像動き検出回路４で得られ
る検出動きベクトルは、ゲイン制御後の動き予測ベクト
ルと実際の画像の動きとの差となるからである。

【００３９】以上のように本実施例によれば、ゲイン制
御回路１１により、予測回路６の出力に対し、増幅もし
くは減衰処理を施すことにより予測による動き補正の精
度を調節し、画像の揺れの状態により、予測による動き
補正の精度を調節し、誤動作を低減できる。

【００４０】なお、ゲイン決定方法に関しては、画像動
き検出回路４の出力によりゲインを決定する方法のみ述
べたが、これに限るものでは無く、例えば、動きベクト
ル算出回路５の出力に応じてゲインを決定する方法も考
えられる。動きベクトル算出回路５の出力は、実際の画
像の動きベクトルであるため、例えば、この動きベクト
ルの周波数成分に応じてゲインを決定する。例えば図６
のように画像の動きに含まれる振動成分のパワーに応じ
てゲインを決定する。これは、例えば、画像の動きの周
波数により予測回路６が持つ予測の精度が異なる場合、
特に予測誤差が大きくなる周波数の振動成分が画像の動
きに多く含まれるときには、ゲインを小さくし補正を弱
めることにより、予測誤差による誤動作を低減できる。

【００４１】また、他の方法として、予測回路６の出力
に応じてゲインを決定する方法も考えられる。例えば、
動き予測ベクトルの絶対値により図７に示すようにゲイ
ンを決定することで、予測による動き補正の効き具合を
調整できる。

【００４２】また、他の方法として、画像動き検出回路
４、動きベクトル算出回路５、予測回路６の出力によら
ず、一定のゲインを設定しておくことも考えられる。

【００４３】なお、本実施例においては、画像動き検出
回路４、動きベクトル算出回路５、予測回路６の出力の
内の１つを用いてゲインを決定する方法に関してのみ述
べたが、これに限るものでは無く、例えば、上記３つの
出力の内の２つから決定される２つのゲインの内、大き
い方、または小さい方、または２つのゲインの平均を、
ゲイン制御回路１１で用いるゲインとする方法等も考え
られる。また、上記３つの出力から決定される３つのゲ
インの内、大最大のもの、または中間のもの、または、
最小のもの、または３つのゲインの平均を、ゲイン制御
回路１１で用いるゲインとする方法等も考えられる。

【００４４】また、本実施例においてゲインを決定する
場合、画像動き検出回路４、動きベクトル算出回路５、
予測回路６の出力に対し、何等かのフィルタリングを施
してから、ゲインを決定する方法も考えられる。

【００４５】また、本実施例において、ゲインの決定方
法を、図５，図６，図７の特性図を用いて説明したがこ
れに限るものでは無く、例えば、図８のような１次関
数、図９のシグモイド関数を用いることも考えられる。

【００４６】また、本実施例において、図５，図６，図
７，図８，図９は全て右下がりのグラフとしたがこれに
限るものでは無く、例えば逆の右あがりのグラフとする
ことも考えられる。

【００４７】また、本実施例においては、ゲイン制御回
路１１を、独立したひとつの回路として設置する構成に
ついて説明したがこれに限るものでは無く、例えば、ゲ
イン制御回路１１を係数発生回路７または予測回路６に
内蔵し、動き予測ベクトルを計算する際に用いる係数に
ゲインを乗算するような構成も考えられる（但し、この
場合、係数発生回路７に入力される動き予測ベクトル
は、ゲインを乗算される前の、元の係数により計算され
た動き予測ベクトルとする必要がある）。

【００４８】次に、本発明の第３の実施例について説明
する。本発明の第３の実施例の構成は、図４に示した第
２の実施例の構成に対し、ゲイン制御回路を動きベクト
ル積分回路８の出力側に設けたことが第２の実施例と異
なる。

【００４９】図１０は、本発明の第３の実施例における
画像動き補正装置のブロック図である。以下、本実施例
の説明に於いては、第２の実施例と同一の部分は、図４
の各回路と同一の符号を付して、第２の実施例と異なる
部分に関してのみ説明を行う。

【００５０】ゲイン制御回路１２は、画像動き検出回路
４の出力により決定されるゲインにより、動きベクトル
積分回路８の出力に対し増幅もしくは減衰処理を施すた
めの回路である。また動きベクトル算出回路５１は、第
２の実施例の動きベクトル算出回路５に比べ、ゲイン制
御回路１２からの出力を受けることのみ異なる回路であ
る。

【００５１】以上のように、ゲイン制御回路１２及び動
きベクトル算出回路５１を備えた構成の本実施例の画像
動き補正装置について、以下その動作について説明す
る。

【００５２】ゲイン制御回路１２は、動きベクトル積分
回路８の出力に対し、増幅もしくは減衰処理を施すこと
により予測による動き補正の効き具合を調節する。この
理由は、第２の実施例と同様に、予測による動き補正の
精度を調節し、誤動作を低減することであり、且つ、ゲ
インの決定方法も第２の実施例と同様に、画像動き検出
回路４、動きベクトル算出回路５１、予測回路６の出力
に応じて決定される。また、本実施例においては、動き
ベクトル算出回路５１において、フィールド間の実際の
動きベクトルを求める場合には、ゲイン制御回路１２に
よる動き予測積分ベクトルの変化分を考慮する必要があ
り、具体的には、動きベクトル積分回路８の出力をＳ、
ゲイン制御回路の出力をＳｇとすると、動きベクトル算
出回路５１は、（数１）で求められたＶ（ｎ）に対し、
（数３）に示すようにＳとＳｇの差を減算し、この結果
（これをＶとする）をフィールド間の実際の動きベクト
ルとし、予測回路６に出力する。

【００５３】

【数３】

【００５４】この動きベクトル積分回路８の出力とゲイ
ン制御回路１２の出力の差は、ゲイン制御回路１２によ
り計算し、動きベクトル算出回路５１に供給される。

【００５５】以上のように本実施例によれば、ゲイン制
御回路１２により、動きベクトル積分回路８の出力に対
し、増幅もしくは減衰処理を施すことにより予測による
動き補正の精度を調節し、画像の揺れの状態により、予
測による動き補正の精度を調節し、誤動作を低減でき
る。

【００５６】なお、ゲイン決定方法に関しては、第２の
実施例と同様の方法以外に、例えば、動きベクトル積分
回路８の出力に応じてゲインを決定する方法も考えられ
る。例えば、動きベクトル積分回路８の出力（動き予測
積分ベクトル）の絶対値により図１１に示すようにゲイ
ンを決定する。このようにすると、例えば、動きベクト
ル積分回路８の出力に基づき求められる固体撮像素子１
からの映像読みだしアドレスが、固体撮像素子１の映像
読みだし範囲を越えるような場合でも、ゲイン制御回路
１２により動き予測積分ベクトルを減衰させることによ
り固体撮像素子１の映像読みだし範囲内での、映像読み
出しが可能となる。

【００５７】また、他の方法として、画像動き検出回路
４、動きベクトル算出回路５１、予測回路６、動きベク
トル積分回路８の出力によらず、一定のゲインを設定し
ておくことも考えられる。

【００５８】なお、本実施例においては、動きベクトル
積分回路８の出力を用いてゲインを決定する方法に関し
てのみ述べたが、これに限るものでは無く、例えば、画
像動き検出回路４、動きベクトル算出回路５１、予測回
路６、動きベクトル積分回路８の４つの出力の内の２つ
から決定される２つのゲインの内、大きい方、または小
さい方、または２つのゲインの平均を、ゲイン制御回路
１２で用いるゲインとする方法等も考えられる。また、
上記４つの出力の内の３つの出力から決定される３つの
ゲインの内、最大のもの、または中間のもの、または最
小のもの、または３つのゲインの平均を、ゲイン制御回
路１２で用いるゲインとする方法等も考えられる。ま
た、上記４つの出力の内、最大のもの、または２番目に
大きいもの、または３番目に大きいもの、または最小の
もの、または４つのゲインの平均を、ゲイン制御回路１
２で用いるゲインとする方法等も考えられる。

【００５９】また、本実施例においてゲインを決定する
場合、画像動き検出回路４、動きベクトル算出回路５
１、予測回路６、動きベクトル積分回路８の出力に対
し、何等かのフィルタリングを施してから、ゲインを決
定する方法も考えられる。

【００６０】また、本実施例において、ゲインの決定方
法を、図１１の特性図を用いて説明したがこれに限るも
のでは無く、例えば、図８のような１次関数、図９のシ
グモイド関数を用いることも考えられる。

【００６１】また、本実施例において、図８，図９，図
１１は、全て右下がりのグラフとしたがこれに限るもの
では無く、例えば逆の右あがりのグラフとすることも考
えられる。

【００６２】なお、動きベクトル積分回路８の出力とゲ
イン制御回路１２の出力の差は、ゲイン制御回路１２が
計算し、動きベクトル算出回路５１に対し出力すること
としたが、これに限るものではなく、例えば、動きベク
トル積分回路８の出力とゲイン制御回路１２の出力を動
きベクトル算出回路５１に供給し、動きベクトル算出回
路５１において動きベクトル積分回路８の出力とゲイン
制御回路１２の出力を求める構成も考えられる。

【００６３】なお、本実施例に対し、第２の実施例で示
したゲイン制御回路１１を追加すれば（このとき、第２
の実施例と同様にゲイン制御回路１１の出力を動きベク
トル算出回路５に供給する）、より細かく予測の精度の
調整が可能となることは言うまでもない。

【００６４】次に、本発明の第４の実施例について説明
する。本発明の第４の実施例の構成は、図１に示した第
１の実施例の構成に対し、積分ベクトル補正回路を新た
に設けたことが第１の実施例と異なる。

【００６５】図１２は、本発明の第４の実施例における
画像動き補正装置のブロック図である。以下、本実施例
の説明に於いては、第１の実施例と同一の部分は、図１
の各回路と同一の符号を付して、第１の実施例と異なる
部分に関してのみ説明を行う。

【００６６】積分ベクトル補正回路１３は、動きベクト
ル算出回路５及び予測回路６の出力に基づき、動きベク
トル積分回路８で積分された値に含まれる予測に伴う誤
差を補正するための回路である。

【００６７】以上のように、積分ベクトル補正回路１３
を備えた構成の本実施例の画像動き補正装置について、
以下その動作について説明する。

【００６８】第１の実施例と同様に、動きベクトル積分
回路８は、動き予測ベクトルの積分値を計算する。しか
し、ここで積分される動き予測ベクトルは予測回路で予
測された値であるため、当然予測の際に生じる予測誤差
が含まれることが考えられる。そしてその予測誤差は、
積分演算を行う毎に、動き予測積分ベクトルに蓄積され
る。そこで、動きベクトル算出回路５で得られた現フィ
ールドの実際の動きベクトルを用いてフィールド毎に動
き予測積分ベクトルの補正を行うことにより、本構成で
は、第１の実施例に比べ、より正確な動き補正が行える
ことが特徴である。これを図１３を用いて説明すると、
同図において、現在のフィールドをｎ、第ｎ−１フィー
ルドの動きベクトル積分回路８の出力をＳ（ｎ−１）、
現フィールドで得た動きの予測値（動き予測ベクトル）
をＶｐ（ｎ）、前フィールドに対する現フィールドの実
際の動きベクトルをＶ（ｎ）、とすると（また簡単のた
め、ベクトルは１次元で表示する）、第ｎフィールドで
動きベクトル積分回路８の出力する動き予測積分ベクト
ルは、第１の実施例では、第ｎ−１フィールドでの出力
Ｓ（ｎ−１）にＶｐ（ｎ）を加算したものになるが、Ｓ
（ｎ−１）は、第ｎ−２フィールドまでの積分結果に第
ｎ−１フィールドでの動きの予測値（Ｖｐ（ｎ−１））
を加算したものであるため、Ｓ（ｎ−１）にはＶｐ（ｎ
−１）による予測誤差が含まれる。故にこの予測誤差を
除去するために第ｎフィールドでは、積分ベクトル補正
回路１３は、動きベクトル積分回路８の出力Ｓ（ｎ−
１）から、第ｎ−１フィールドでの動きの予測値Ｖｐ
（ｎ−１）を減算し（Ｖｐ（ｎ−１）は、積分ベクトル
補正回路１３に記憶されていたものとする）、代わりに
第ｎフィールドの実際の動きベクトルＶ（ｎ）を加算す
る（この結果をＳ’（ｎ−１）とする）。つまり、誤差
を含んだ予測値の代わりに動きベクトル算出回路５によ
り得られた実際の動きベクトルを１フィールド前の動き
予測積分ベクトルに反映させるようにする。これによ
り、図１３に示すように、第ｎフィールドの動き予測積
分ベクトルＳ（ｎ）は、Ｖｐ（ｎ−１）の予測誤差を含
まないＳ’（ｎ−１）とＶｐ（ｎ）の加算値となり、Ｖ
ｐ（ｎ−１）に含まれる予測誤差が除去されたこととな
る。このような動き予測積分ベクトルに含まれる予測誤
差の除去を各フィールドで行い、且つ図１２に示すよう
に、この補正結果を動きベクトル積分回路８にフィード
バックし、次フィールドでの積分はこの補正結果に次フ
ィールドの動き予測ベクトルを加算するようにすること
により、より精度の高い補正が可能となる。

【００６９】以上のように本実施例によれば、積分ベク
トル補正回路１３を追加することにより、動き予測積分
ベクトルに含まれる予測誤差を除去でき、より画像の動
き補正をより高精度で行うことができる。

【００７０】なお、本実施例においては、積分ベクトル
補正回路１３は、動きベクトル算出回路５及び予測回路
６の出力を用いる構成として説明したがこれに限るもの
ではなく、図１４に示すように、画像動き検出回路４の
出力を用いる構成によっても、同様の効果が得られる。
このことについて説明すると、画像動き検出回路４の出
力は、現フィールドの実際の画像の動きと、前フィール
ドで予測回路６により得られた動き予測ベクトルとの
差、つまり予測誤差である。故に、積分ベクトル補正回
路において、動きベクトル積分回路の出力に、画像動き
検出回路４の出力を加算（または減算）すると、前フィ
ールドの動き予測ベクトルに含まれる予測誤差を除去す
ることが可能である。

【００７１】なお、本実施例に対し、第２，第３の実施
例で示したゲイン制御回路１１及びゲイン制御回路１２
の片方または両方を追加すれば、第２，第３の実施例と
同様の効果が実現できることは言うまでもない。

【００７２】また、第１，第２，第３，第４の実施例に
おいて、動きベクトル算出回路５、動きベクトル算出回
路５１、予測回路６、係数発生回路７、動きベクトル積
分回路８、ゲイン制御回路１１、ゲイン制御回路１２、
積分ベクトル補正回路１３の各回路の機能のソフトウエ
ア上での実現が可能であることは明かである。

【００７３】また、第１，第２，第３，第４の実施例に
おいて固体撮像素子としてＮＴＳＣ用の画素数のものを
用い、最終的な映像信号の出力をＮＴＳＣ方式の信号と
する場合には、ディジタル信号処理回路１０は電子的処
理によるズーム機能を有する構成であり、また、固体撮
像素子としてＰＡＬ用の画素数のものを用い、最終的な
映像信号の出力をＰＡＬ方式の信号とする場合にもディ
ジタル信号処理回路１０は電子的処理によるズーム機能
を有する構成となるが、ＰＡＬ用などの画素数がＮＴＳ
Ｃ用よりも多いものを用い、最終的な映像信号の出力を
ＮＴＳＣ方式の信号とする場合にはディジタル信号処理
回路１０は電子的処理によるズーム機能を含まない構成
となる。

【００７４】また、第１，第２，第３，第４の実施例に
おいて、画像動き検出回路４で検出される検出動きベク
トル及び予測回路６で予測される動き予測ベクトル及び
動きベクトル積分回路８で得られる動き予測積分ベクト
ルの精度に関しては特に言及しなかったが、これらに関
しては１画素以下の精度をもたせることは可能である。
そして、その場合はディジタル信号処理回路１０は、映
像信号の補間処理機能を有する構成であり、上記動き予
測積分ベクトルをディジタル信号処理回路１０に供給
し、この動き予測積分ベクトルを基に補間処理を行うこ
とで、１画素以下の精度で動き補正された補正信号を生
成することが可能である。

【００７５】また、第１，第２，第３，第４の実施例に
おいて、画像動き検出回路４に関しては従来の例のもの
と同じとしたがこれに限るものではない。

【００７６】また、第１，第２，第３，第４の実施例に
おいて、画像の動きの検出及び画像の動きの予測はすべ
てフィールド毎に行ったが、これに限るものではなく、
例えばフィールド毎ではなくフレーム毎に行うことも考
えられる。

【００７７】また、第１，第２，第３，第４の実施例に
おいて、固体撮像素子１からの水平方向の映像信号の読
み出しに関しては、例えば、固体撮像素子１から読み出
した映像信号を、１水平ラインずつ、一旦、１ラインメ
モリに書き込み、この１ラインメモリの読み出しを制御
することにより、動き補正のための映像信号の水平方向
の読み出しを行う構成も考えられる。

【００７８】

【発明の効果】以上詳細に説明したように、本発明によ
れば、映像信号に対し、画像の動き補正を行う場合に、
現フィールドより先の画像の動きを予測するための予測
回路を設けることにより、従来必要であった映像信号を
記憶しておくためのフィールドメモリ回路を削減するこ
とができる。

【００７９】また、映像信号に対し、画像の動き補正を
行う場合に、現フィールドより先の画像の動きを予測し
補正を行う場合に、その補正の効き具合を調整すること
ができる。

【００８０】また、映像信号に対し、画像の動き補正を
行う場合に、現フィールドより先の画像の動きを予測し
補正を行う場合の補正精度の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における画像動き補正装
置の構成を示すブロック図

【図２】図１の予測回路６の具体的な構成を示すブロッ
ク図

【図３】図１の予測回路６の具体的な構成を示すブロッ
ク図

【図４】本発明の第２の実施例における画像動き補正装
置の構成を示すブロック図

【図５】同第２の実施例におけるゲイン制御回路１１で
のゲイン決定方法の例を示す特性図

【図６】同第２の実施例におけるゲイン制御回路１１で
のゲイン決定方法の例を示す特性図

【図７】同第２の実施例におけるゲイン制御回路１１で
のゲイン決定方法の例を示す特性図

【図８】同第２の実施例におけるゲイン制御回路１１で
のゲイン決定方法の他の例を示す特性図

【図９】同第２の実施例におけるゲイン制御回路１１で
のゲイン決定方法の他の例を示す特性図

【図１０】本発明の第３の実施例における画像動き補正
装置の構成を示すブロック図

【図１１】同第３の実施例におけるゲイン制御回路１２
でのゲイン決定方法の例を示す特性図

【図１２】本発明の第４の実施例における画像動き補正
装置の構成を示すブロック図

【図１３】同第４の実施例における積分ベクトル補正回
路１３の効果を説明するための説明図

【図１４】同第４の実施例における画像動き補正装置の
別の構成を示すブロック図

【図１５】従来の画像動き補正装置の構成を示すブロッ
ク図

【図１６】図１５の画像動き検出回路４の具体的な構成
を示すブロック図

【符号の説明】

１ 固体撮像素子 ２ アナログ信号処理回路 ３ アナログ／ディジタル変換回路 ４ 画像動き検出回路 ５ 動きベクトル算出回路 ６ 予測回路 ７ 係数発生回路 ８ 動きベクトル積分回路 ９ 固体撮像素子駆動制御回路 １０ ディジタル信号処理回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/232 H04N 5/335

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 固体撮像素子からの入力画像の動きを検
   出し、これを画像の動きの情報として出力する画像動き
   検出回路と、 前記画像動き検出回路から得られた画像の動きの情報
   と、予測回路の１フィールドもしくは１フレーム前の出
   力から、現フィールドもしくは現フレームと前フィール
   ドもしくは前フレームの間の画像の動きベクトルを計算
   し出力する動きベクトル算出回路と、 前記動きベクトル算出回路から得られた画像の動きベク
   トルより次フィールドもしくは次フレームの画像の動き
   を予測し、その予測値を出力する前記予測回路と、 前記動きベクトル算出回路と前記予測回路の出力に応じ
   て更新される係数を発生する係数発生回路と、 前記予測回路の出力を積分し、この積分値を出力する動
   きベクトル積分回路と、 前記動きベクトル積分回路の出力により前記固体撮像素
   子の信号読み出しアドレスの制御を行う固体撮像素子駆
   動制御回路とを有し、 前記予測回路は、入力信号を一定期間遅延する１つ以上
   の遅延回路と、前記入力信号と前記１つ以上の遅延回路
   の出力に、前記係数発生回路により発生される係数を乗
   じる１つ以上の乗算回路と、前記１つ以上の乗算回路の
   出力を加算する１つ以上の加算器と、からなることを特
   徴とする画像動き補正装置。
2. 【請求項２】 固体撮像素子からの入力画像の動きを検
   出し、これを画像の動きの情報として出力する画像動き
   検出回路と、 前記画像動き検出回路から得られた画像の動きの情報
   と、予測回路の１フィールドもしくは１フレーム前の出
   力から、現フィールドもしくは現フレームと前フィール
   ドもしくは前フレームの間の画像の動きベクトルを計算
   し出力する動きベクトル算出回路と、 前記動きベクトル算出回路から得られた画像の動きベク
   トルより次フィールドもしくは次フレームの画像の動き
   を予測し、その予測値を出力する前記予測回路と、 前記予測回路の出力のゲイン制御を行うゲイン制御回路
   と、 前記動きベクトル算出回路と前記予測回路の出力に応じ
   て更新される係数を発生する係数発生回路と、 前記予測回路の出力を積分し、この積分値を出力する動
   きベクトル積分回路と、 前記動きベクトル積分回路の出力により前記固体撮像素
   子の信号読み出しアドレスの制御を行う固体撮像素子駆
   動制御回路とを有し、 前記予測回路は、入力信号を一定期間遅延する１つ以上
   の遅延回路と、前記入力信号と前記１つ以上の遅延回路
   の出力に、あらかじめ設定された定数もしくは前記係数
   発生回路により発生される係数を乗じる１つ以上の乗算
   回路と、前記１つ以上の乗算回路の出力を加算する１つ
   以上の加算器と、からなり、 前記ゲイン制御回路は、前記画像動き検出回路と前記動
   きベクトル算出回路と前記予測回路からの出力の全ても
   しくはその一部に基づきゲイン制御を行う、または、あ
   らかじめ設定された固定値に基づきゲイン制御を行うこ
   とを特徴とする画像動き補正装置。
3. 【請求項３】 固体撮像素子からの入力画像の動きを検
   出し、これを画像の動きの情報として出力する画像動き
   検出回路と、 前記画像動き検出回路から得られた画像の動きの情報
   と、予測回路の１フィールドもしくは１フレーム前の出
   力から、現フィールドもしくは現フレームと前フィール
   ドもしくは前フレームの間の画像の動きベクトルを計算
   し出力する動きベクトル算出回路と、 前記動きベクトル算出回路から得られた画像の動きベク
   トルより次フィールドもしくは次フレームの画像の動き
   を予測し、その予測値を出力する前記予測回路と、 前記動きベクトル算出回路と前記予測回路の出力に応じ
   て更新される係数を発生する係数発生回路と、 前記予測回路の出力を積分し、この積分値を出力する動
   きベクトル積分回路と、 前記動きベクトル積分回路の出力のゲイン制御を行うゲ
   イン制御回路と、 前記動きベクトル積分回路の出力により前記固体撮像素
   子の信号読み出しアドレスの制御を行う固体撮像素子駆
   動制御回路とを有し、 前記予測回路は、入力信号を一定期間遅延する１つ以上
   の遅延回路と、前記入力信号と前記１つ以上の遅延回路
   の出力に、あらかじめ設定された定数もしくは前記係数
   発生回路により発生される係数を乗じる１つ以上の乗算
   回路と、前記１つ以上の乗算回路の出力を加算する１つ
   以上の加算器と、からなり、 前記ゲイン制御回路は、前記画像動き検出回路と前記動
   きベクトル算出回路と前記予測回路と前記動きベクトル
   積分回路からの出力の全てもしくはその一部に基づきゲ
   イン制御を行う、または、あらかじめ設定された固定値
   に基づきゲイン制御を行うことを特徴とする画像動き補
   正装置。
4. 【請求項４】 固体撮像素子からの入力画像の動きを検
   出し、これを画像の動きの情報として出力する画像動き
   検出回路と、 前記画像動き検出回路から得られた画像の動きの情報
   と、予測回路の１フィールドもしくは１フレーム前の出
   力から、現フィールドもしくは現フレームと前フィール
   ドもしくは前フレームの間の画像の動きベクトルを計算
   し出力する動きベクトル算出回路と、 前記動きベクトル算出回路から得られた画像の動きベク
   トルより次フィールドもしくは次フレームの画像の動き
   を予測し、その予測値を出力する前記予測回路と、 前記動きベクトル算出回路と前記予測回路の出力に応じ
   て更新される係数を発生する係数発生回路と、 前記予測回路の出力を積分し、この積分値を出力する動
   きベクトル積分回路と、 前記動きベクトル積分回路の出力を前記動きベクトル算
   出回路と前記予測回路の出力により補正し、その補正結
   果を出力する積分ベクトル補正回路と、 前記積分ベクトル補正回路の出力により前記固体撮像素
   子の信号読み出しアドレスの制御を行う固体撮像素子駆
   動制御回路とを有し、 前記予測回路は、入力信号を一定期間遅延する１つ以上
   の遅延回路と、前記入力信号と前記１つ以上の遅延回路
   の出力に、あらかじめ設定された定数もしくは前記係数
   発生回路により発生される係数を乗じる１つ以上の乗算
   回路と、前記１つ以上の乗算回路の出力を加算する１つ
   以上の加算器と、からなることを特徴とする画像動き補
   正装置。
5. 【請求項５】 係数発生回路が発生する係数を、Ｗ0，
   Ｗ1，・・・，Ｗｉ（ｉは０以上の整数）、動きベクト
   ル算出回路の出力をＶ（ｎ）（ｎはフィールド数）とし
   た場合、予測回路は、 Ｖp（ｎ）＝Ｗ0・Ｖ（ｎ）＋Ｗ1・Ｖ（ｎ―１）＋・・
   ・＋Ｗｉ・Ｖ（ｎ―ｉ）を出力し、 係数発生回路は、各係数の変化量△Ｗｉが、 △Ｗｉ= ―ε（Ｖp（ｎ―１）―Ｖ（ｎ））・Ｖ（ｎ―
   １―ｉ） （ただし、ｎはフィールド数、ｉは０以上の整数、εは
   正の定数）となるように更新することを特徴とする請求
   項１，２，３または４記載の画像動き補正装置。