JP3564247B2 - 画像動き補正装置 - Google Patents
画像動き補正装置 Download PDFInfo
- Publication number
- JP3564247B2 JP3564247B2 JP31460496A JP31460496A JP3564247B2 JP 3564247 B2 JP3564247 B2 JP 3564247B2 JP 31460496 A JP31460496 A JP 31460496A JP 31460496 A JP31460496 A JP 31460496A JP 3564247 B2 JP3564247 B2 JP 3564247B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- signal
- unit
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置の手振れ補正等に用いる画像動き補正装置に関するものである。
【０００２】
【従来の技術】
撮像装置の画像動き補正装置としては、例えば、次の▲１▼〜▲３▼のものが提案されている。
【０００３】
▲１▼ ジンバル機構により撮像光学系および固体撮像素子を備えた撮像ユニットを支持し、これを角速度センサから得られる撮像装置自体の動き情報に基づき駆動制御することで、画像の動きを補正する方式（たとえば、”ビデオカメラの画振れ防止技術の開発”テレビジョン学会技術報告Ｖｏｌ．１１，Ｎｏ．２８，ｐｐ１９〜２４（１９８７）参照）。
【０００４】
▲２▼ 撮像光学系の前部に可変頂角プリズムを設け、これを同じく角速度センサからの情報により駆動制御することで、画像の動きを補正する方式（たとえば、”光学式手振れ補正システム”テレビジョン学会技術報告Ｖｏｌ．１７，Ｎｏ．５，ｐｐ１５〜２０（１９９３）参照）。
【０００５】
▲３▼ 被写体を撮像して得られる画像信号から画像の動きの有無を検出し、この検出結果に基づいて元の画像からその一部を切り出すことで画像の動きを補正する方式（たとえば、”純電子式画像揺れ補正システム”テレビジョン学会技術報告Ｖｏｌ．１５，Ｎｏ．７，ｐｐ４３〜４８（１９９１）参照）。
【０００６】
【発明が解決しようとする課題】
上記の▲１▼，▲２▼の方式のものは、角速度センサからの情報に基づいて光学的に画像の動きを補正するが、このような方式では、角速度センサの感度、温度特性による出力ドリフト等の問題から、高精度な動き補正を実現することは困難である。
【０００７】
また、▲３▼の方式では、動き補正を全て信号処理で行うため、高精度な動き補正を実現することができるものの、その反面、撮影レンズの焦点距離が大きくなればなるほど、動き補正が可能となる画角が小さくなるという問題点がある。
【０００８】
本発明は、上記従来の問題点を解決するものであって、焦点距離に影響されることなく、動き補正が可能となる一定の画角を常に確保でき、しかも高精度な動き補正を実現できる画像動き補正装置を提供することを課題とする。
【０００９】
【課題を解決するための手段】
本発明は、この課題を解決するために、固体撮像素子、この固体撮像素子上に被写体像を結像させるための撮像光学系、および光学的に撮影画像の動きを補正する光学的振れ補正系からなる撮像系と、前記光学的振れ補正系を駆動制御する光学的振れ補正系駆動制御手段とを具備した画像動き補正装置において、次の構成を採用している。
【００１０】
請求項１に係る発明では、撮像装置自体の動きを検出するセンサと前記撮像系から得られた画像信号に基づいて画像の動きを検出する動き検出手段とが併設されるとともに、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成して駆動信号を形成する信号合成手段を備え、前記信号合成手段は、前記センサにより検出された撮像装置自体の動きに関する情報と、前記動き検出手段による動き検出結果のそれぞれを、所定の乗数α，１−α（ただし、０≦α≦１）でもって重み付けして信号を合成し、前記信号合成手段から出力される駆動信号によって、前記光学的振れ補正系を駆動制御して画像の動きを補正するようにしている。これにより、高精度な動き補正を実現することができる。
【００１１】
請求項２記載に係る発明では、請求項１記載の構成において、信号合成手段による合成とは、所定の乗数α，１−αで重み付けされた両信号を加算する処理である。
【００１２】
この場合の信号合成手段による合成処理としては、所定の乗数α，１−αで重み付けされた両信号を加算することができる。また、乗数αは、撮像装置自体の振動周波数帯域と撮像光学系の焦点距離とのいずれか一方、または双方の情報に基づいて決定することもできる。これにより、焦点距離にかかわらず、一定の補正画角を確保しつつ、高精度な動き補正を実現することができる。さらに、乗数αは、撮像装置自体の振動の高周波帯域成分と低周波帯域成分との比率、または両成分の差に応じて決定することができる。さらにまた、撮像装置自体の振動の周波数帯域成分は、センサ出力または動き検出手段の出力から抽出することができる。
【００１３】
請求項５記載に係る発明では、請求項３または請求項４記載の画像動き補正装置において、撮像装置自体の振動の周波数帯域成分は、センサ出力または動き検出手段の出力から抽出することができる。
【００１４】
請求項６記載に係る発明では、請求項１記載の構成に加えて、撮像系から得られた画像信号を記憶する記憶手段と、この記憶手段を駆動して画像信号の読み出しを制御する記憶手段駆動制御手段とを設け、前記合成手段から出力される駆動信号によって前記光学的振れ補正系を駆動制御し、かつ、前記記憶手段駆動制御手段は、前記動き検出手段による動き検出結果に基づいて算出された別の駆動信号によって前記記憶手段からの画像信号の読み出しを制御して画像の動きを補正するものである。これにより、焦点距離にかかわらず、一定の補正画角を確保しつつ、かつ撮影者の動き補正による解像度の劣化を認識させることなく、高精度な動き補正を実現することができる。
【００１５】
請求項７記載に係る発明では、請求項６記載の構成に加えて、前記記憶手段から読み出された画像信号に対し電子的拡大処理を施す電子ズ−ム手段を設け、 前記合成手段から出力される駆動信号によって前記光学的振れ補正系を駆動制御し、かつ、前記記憶手段駆動制御手段は、前記電子ズ−ム手段からの指令によって電子的拡大処理を実行する場合のみ、前記動き検出手段による動き検出結果に基づいて算出された別の駆動信号によって前記記憶手段からの画像信号の読み出しを制御して画像の動きを補正するものである。これにより、焦点距離にかかわらず、一定の補正画角を確保しつつ、かつ撮影者の動き補正による解像度の劣化を認識させることなく、高精度な動き補正を実現することができる。
【００１６】
請求項８記載に係る発明では、撮像装置自体の動きを検出するセンサと前記撮像系から得られた画像信号に基づいて画像の動きを検出する動き検出手段とが併設されるとともに、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成して駆動信号を形成する信号合成手段を備え、
前記信号合成手段は、前記撮像光学系によって焦点距離が変化している期間中に動き検出手段の検出結果に基づいて得られる駆動信号の出力を停止する手段を有し、前記撮像光学系によって焦点距離が変化している期間中は、前記センサにより検出された撮像装置自体の動きに関する情報から形成される駆動信号のみにより、また、焦点距離が固定されている期間では、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成することで形成される駆動信号により、それぞれ前記光学的振れ補正系を駆動制御して画像の動きを補正するものである。これにより、焦点距離にかかわらず、一定の補正画角を確保しつつ、かつ焦点距離が変化している途中でも誤動作がなく、高精度な動き補正を実現することができる。
【００１７】
【発明の実施の形態】
（実施形態１）
図１は、本発明の実施形態１に係る画像動き補正装置を示すブロック図である。
【００１８】
同図において、光学的振れ補正系１は、撮像装置の揺れにより生じる画像の動きを光学的に補正するための手段であって、ここでは、一例として可変頂角プリズム（以下”ＶＡＰ”と略記する）が適用される。なお、ＶＡＰ１に関しては、例えば特開平２ー１３９０１号に詳細が開示されているため、その詳細な説明は省略する。
【００１９】
光学的振れ補正系駆動制御手段２は、ＶＡＰ１を駆動および制御するための手段である。また、角度検出手段３は、ＶＡＰ１の平行平面板の実際の回転角を検出して出力する手段であり、光学的振れ補正系駆動制御手段２と共にＶＡＰ１を駆動制御するための帰還制御ル−プを構成している。
【００２０】
撮像光学系４は、光学的ズ−ム動作、合焦動作するレンズ系からなり、また、撮像光学系駆動制御手段５は、撮像光学系４を駆動制御して光学的ズ−ム動作、合焦動作を行わせる手段であって、撮像光学系４の焦点距離に関する情報を後述するシステム制御手段１６１に出力するようになっている。
【００２１】
固体撮像素子６は、ＶＡＰ１および撮像光学系４を介して入射する映像を電気信号に変換するものであり、この素子６は、固体撮像素子駆動制御手段１７によって駆動および制御されるようになっている。
【００２２】
アナログ信号処理手段７は、固体撮像素子６により得られた画像信号に対してガンマ補正等のアナログ信号処理を施すための手段である。Ａ／Ｄ変換手段８は、アナログ信号をデジタル信号に変換するものであり、デジタル信号処理手段９は、Ａ／Ｄ変換手段８によってデジタル信号に変換された画像信号に対してノイズ除去、輪郭強調等のデジタル信号処理を施すものである。
【００２３】
Ａ／Ｄ変換手段８によりデジタル信号に変換された画像信号は、同時に動き検出手段１０にも送られ、ここでフィ−ルド間の画像の水平・垂直方向の位置ずれ量を示すベクトル（以下、これを検出ベクトルと称す）がフィ−ルド毎に検出される。
【００２４】
センサ１１は、撮像装置自体の動きを検出するためのものであって、この実施形態１では、一例として角速度を検出する角速度センサが適用される。
【００２５】
角速度センサ１１は、ヨ−およびピッチの２方向の動きを検出するために２個必要となるが、図には１方向分のみを示している。
【００２６】
ゲイン調整手段１２は、角速度センサ１１の出力の信号レベルの調整を行うもので、たとえばアンプ回路からなる。ＨＰＦ１３は、角速度センサ１１の出力に含まれるドリフト成分を除去するための高域通過フィルタ、ＬＰＦ１４は、角速度センサ１１の出力に含まれるノイズ成分を除去するための低域通過フィルタであり、Ａ／Ｄ変換手段１５は、角速度センサ１１の出力をデジタル信号に変換するための手段である。
【００２７】
システム制御手段１６ａは、特許請求の範囲における合成手段に相当するもので、動き検出手段１１、撮像光学系駆動制御手段５および角速度センサ１１からそれぞれ得られた各情報に基づいて画像の動き補正のために必要な情報（以下、動き補正信号と称する）を算出し、これを光学的振れ補正系駆動制御手段２に送る。光学的振れ補正系駆動制御手段２は、その動き補正信号に基づいてＶＡＰ１を駆動制御する。
【００２８】
図２は動き検出手段１０の内部構成の一例を示すブロック図である。
【００２９】
この動き検出手段１０は、代表点記憶回路１０１、相関演算回路１０２、および動きベクトル検出回路１０３からなる。
【００３０】
代表点記憶回路１０１は、Ａ／Ｄ変換手段８を経て入力されてくる現フィールドの画像信号を複数の領域に分割し、各領域に含まれる特定の代表点に対応する画像信号を代表点信号として記憶するとともに、既に記憶されている現フィールドより１フィールド前の代表点信号を読み出して相関演算回路１０２に与えるようになっている。
【００３１】
相関演算回路１０２は、前代表点信号と現フィールドの画像信号間の相関演算を行い、前代表点信号と現フィールドの画像信号の差を比較するものであって、その出力は動きベクトル検出回路１０３に与えられる。
【００３２】
動きベクトル検出回路１０３は、相関演算回路１０２における演算結果から、前フィールドと現フィールドの間の画像の動きベクトル（検出ベクトル）を１画素単位で検出する。
【００３３】
したがって、この構成においては、画像の１フィ−ルド前後間でのマッチングをとるために、検出ベクトルを得るために１フィ−ルド期間の時間遅れが生じることになる。
【００３４】
図３はシステム制御手段１６ａの内部構成の一例を示すブロック図である。
【００３５】
第１ゲイン／位相補償手段１６１は、動き検出手段１０で得られる検出ベクトルに対して、そのゲインおよび位相を調整するものである。
【００３６】
また、変換手段１６２は、第１ゲイン／位相補償手段１６１で調整された後の検出ベクトルを、撮像光学系駆動制御手段５から得られる撮像光学系４の焦点距離の情報に基づいて、単位時間当りの移動角度（角速度）に変換するものである。この場合の単位時間とは、例えば角速度センサ１１の出力をサンプリングする際の１周期に設定することができる。
【００３７】
第２ゲイン／位相補償手段１６３は、第１ゲイン位相補償手段１６１と同様に、Ａ／Ｄ変換手段１５を経て得られた角速度センサ１１の検出出力に対してそのゲインおよび位相を調整する。
【００３８】
第１帯域抽出手段１６４は、変換手段１６２を経て得られた角速度の信号の内、一部の帯域成分（ここでは動き補正に好適な低周波成分）のみを抽出する一種のフィルタである。また、第２帯域抽出手段１６５は、第２ゲイン／位相補償手段１６３を経て得られた角速度の信号の内、一部の帯域成分（ここでは動き補正に好適な高周波成分）のみを抽出する一種のフィルタである。そして、第１、第２帯域抽出手段１６４、１６５を通過した各信号は、加算器１６６によって加算される。
【００３９】
補正信号発生手段１６７は、加算器１６５による加算結果を積分し、画面上に予め設定された基準位置からの変位角度（移動角）を求めて動き補正信号を発生するものである。
【００４０】
次に、この実施形態１に係る画像動き補正装置の動作を説明する。なお、固体撮像素子７で得られる画像信号に基づく動き検出動作、角速度センサ１１で検出される動き検出動作、およびＶＡＰ１の駆動制御等の一連の動作は、水平、垂直両方向に対してそれぞれ行われるが、水平、垂直両方向ともその内容は基本的に同じであるから、ここでは説明を簡略化するため、水平、垂直方向の別は区別せずに説明する。
【００４１】
固体撮像素子６により得られた画像信号は、アナログ信号処理手段７を経て、Ａ／Ｄ変換手段８でデジタル化された後、デジタル信号処理手段９および動き検出手段１０にそれぞれ送られる。
【００４２】
動き検出手段１０では、１フィ−ルド前後間の画像の位置ずれ量（検出ベクトル）が検出され、その検出ベクトルがシステム制御手段１６ａに送られる。
【００４３】
システム制御手段１６ａにおいては、まず、第１ゲイン／位相補償手段１６１によって検出ベクトルに対するゲインおよび位相が調整される。特に、動き検出手段１０が検出ベクトルを得るまでに生じる１フィ−ルド期間の時間（位相）遅れが補償される。変換手段１６２は、画面上での画素単位で得られる検出ベクトルを、撮像光学系駆動制御手段５から得られる撮像光学系４の焦点距離の情報に基づいて単位時間当りの角速度に変換する。
【００４４】
第１帯域抽出手段１６４は、変換手段１６２からの信号出力のうち、動き補正に好適な帯域成分として、低周波成分を抽出する。その理由は、画像信号に基づく動き検出においては、角速度センサ１１の検出出力に基づく動き検出に比べて低周波帯域において一層正確な動き検出が可能となるためである。すなわち、画像信号に基づいて動きを検出する場合、画像のサンプリング周期によって動きを検出できる周波数が限定される。例えば、ＮＴＳＣ方式を対象とする場合には、サンプリング周波数は６０Ｈｚであることから、画像信号に基づいて動きを検出する場合には、サンプリング定理より動き検出の帯域は３０Ｈｚ以下に限定される。
【００４５】
これに対して、第２帯域抽出手段１６５は、第２ゲイン／位相補償手段１６３の出力のうち、動き補正に好適な帯域成分として高周波成分を抽出する。その理由は、角速度センサ１１の検出出力に基づいて動きを検出する場合、センサ１１出力に含まれるドリフト等の低域成分を除去する上でＨＰＦ１３を設けているため、低周波の動きに対する検出精度が低下しているからである。
【００４６】
第１，第２帯域抽出手段１６４，１６５の両出力は、加算器１６６で加算され、補正信号発生手段１６７において、動き補正信号が求められる。
【００４７】
光学的振れ補正系駆動制御手段２は、動き補正信号に応じて、ＶＡＰ１を駆動制御することで画像の動きを補正する。
【００４８】
つまり、この実施形態１では、動き検出手段１０によって得られた低周波帯域の動きの情報、および角速度センサ１１から得られた高周波帯域の動きの情報の両者によってＶＡＰ１を制御するので、低周波域から高周波域までにわたる画像の動きを高精度に補正することが可能となる。
【００４９】
また、第１、第２帯域抽出手段１６４，１６５は、図３に示したような加算器１６６の直前に設ける場合に限定されるものではなく、例えば、第１帯域抽出手段１６４は、第１ゲイン／位相補償手段１６１の前段、もしくはＡ／Ｄ変換手段８と動き検出手段１０との間に、また、第２帯域抽出手段１６５は、Ａ／Ｄ変換手段１５とシステム制御手段１６ａとの間に、それぞれ設置する構成であってもよい。
【００５０】
（実施形態２）
図４は、本発明の実施形態２に係る画像動き補正装置のシステム制御手段の構成を示すブロック図であり、上述の実施形態１に係る図３に対応する部分については同一の符号を付す。
【００５１】
この実施形態２の特徴は、システム制御手段１６ｂの構成にある。すなわち、このシステム制御手段１６ｂは、図３に示した構成に対して、さらに第１、第２乗算器１７１，１７２、および振動帯域検出手段１７３が追加されている。
【００５２】
第１、第２乗算器１７１，１７２は、それぞれ第１、第２帯域抽出手段１６４，１６５の各出力に対して、所定の重み付けの乗数α、１−α（ただし、０≦α≦１）を乗算するものである。また、振動帯域検出手段１７３は、例えば、高速フーリエ変換等の時系列信号の周波数分解を行う機能を有しており、Ａ／Ｄ変換手段１５を経て得られた角速度センサ１１の出力に基づいて撮像装置の動きの主要な周波数帯域を検出し、その結果から第１、第２乗算器１７１，１７２で乗算すべき乗数α，１−αの値を決定するものである。
【００５３】
その他の構成は、前述の実施形態１の図３に示した場合と同じであるから、ここでは詳しい説明は省略する。
【００５４】
次に、この実施形態２に係る画像動き補正装置の動作について説明する。
【００５５】
振動帯域検出手段１７３は、角速度センサ１１によって検出された撮像装置の動きから、その主要な振動帯域を検出し、その結果に基づいて第１、第２乗算器１７１，１７２における乗数α，１−αを決定する。
【００５６】
第１、第２乗算器１７１，１７２は、振動帯域検出手段１７３で決定された各々の乗数α，１−αを、第１、第２帯域抽出手段１６４，１６５の出力に対してそれぞれ乗算する。
【００５７】
ここで、振動帯域検出手段１７３は、撮像装置の動きが画像データに基づく動き検出だけでは困難となる高周波成分（これは画像のサンプリング周波数で決まる）が支配的となる場合には、αを０に設定する。このため、第１乗算器１７１の出力が停止される。
【００５８】
これに対して、振動帯域検出手段１７３は、撮像装置の動きが角速度センサ１１では検出が困難となる低周波成分が支配的となる場合には、αを１に設定する。このため、第２乗算器１７２の出力が停止される。
【００５９】
このように、撮影状態によって２系統ある動きを検出する手段のうち１系統の使用を停止することができるため、実施形態１の場合よりもより一層効果的に動きを検出することができる。
【００６０】
また、高周波成分と低周波成分で際だった偏りがない場合は、高周波成分と低周波成分の比率に応じて、乗数αを０以上１以下の範囲で略連続的に変化させることもできる。
【００６１】
たとえば、図５（ａ）に示すように、高周波成分と低周波成分の比率に応じてαの値を直線状に変化させたり、図５（ｂ）に示すように高周波成分が幾分大きくなるまではα＝１とし、高周波成分が一定値ρ１を越えたときには高周波成分と低周波成分の比率に応じてαの値を直線状に変化させ、さらに高周波成分が一定値ρ２を越えたときにはα＝０に設定したり、図５（ｃ）に示すように。高周波成分と低周波成分の比率に応じてαを連続的に曲線状に変化させたりすることができる。
【００６２】
なお、この実施形態２における他の構成、動作、作用等は、前述の実施形態１と同様であるから、ここでは説明を省略する。
【００６３】
このように、この実施形態２では、撮影状態に応じて２系統ある動きを検出する手段の重み付けを変化させることができるので、実施形態１の場合よりもより一層、低周波から高周波までの画像の動きを高精度に補正することが可能となる。
【００６４】
なお、この実施形態２では、振動帯域検出手段１７３は、角速度センサ１１の出力に基づいて撮像装置の動きの主要な周波数帯域を検出するようにしているが、本発明はこれに限定されるものではなく、例えば、振動帯域検出手段１７３は、動き検出手段１０の出力に基づいて撮像装置の動きの主要な周波数帯域を検出する構成とすることも可能である。また、この振動帯域検出手段１７３は、例えば、高域通過フィルタおよび低域通過フィルタのようなフィルタ手段による構成とすることもできる。
【００６５】
さらに、この実施形態２では、重み付けの乗数α，１−αを決定するのに、高周波成分と低周波成分との比を用いる場合について説明したが、これに限るものではなく、例えば、高周波成分と低周波成分の差によって乗数α，１−αを決定することもできる。
【００６６】
（実施形態３）
図６は、本発明の実施形態３に係る画像動き補正装置のシステム制御手段１６３の構成を示すブロック図であり、上述の実施形態２に係る図４に対応する部分については同一の符号を付す。
【００６７】
前述の実施形態２では、システム制御手段１６ｂは振動帯域検出手段１７３を備えているが、この実施形態３のシステム制御手段１６ｃでは、その振動帯域検出手段１７３に代えて、焦点距離検出手段１８３を設けている。
【００６８】
すなわち、この焦点距離検出手段１８３は、撮像光学系駆動制御手段５から得られた撮像光学系４の焦点距離を検出し、その焦点距離の情報に基づいて乗算器１８１および１８２で乗算する重み付けのための乗数α，１−α（ただし、０≦α≦１）を決定するものである。
【００６９】
その他の構成は、前述の実施形態２の場合と同じであるから、ここでは詳しい説明は省略する。
【００７０】
次に、この実施形態３に係る画像動き補正装置の動作について説明する。
【００７１】
一般に、撮像装置においては、撮像光学系４の焦点距離が長いほど撮影画角は狭く、逆に、焦点距離が短いほど撮影画角は広くなる。このため、同じ角度だけ撮像装置が動いたとしても、画面上に現れる動き量は焦点距離によって変化する。すなわち、同じ角度だけ撮像装置が動いた場合でも、焦点距離が長いほど画面に現れる動きは大きくなり、逆に、焦点距離が短いほど画面に現れる動きは小さくなる。
【００７２】
また、撮像装置の動きの原因である手ぶれは、先に掲げた文献（”ビデオカメラの画振れ防止技術の開発”テレビジョン学会技術報告Ｖｏｌ．１１，Ｎｏ．２８，ｐｐ１９〜２４（１９８７））にも明記されているように、単位時間についてみると、周波数の低い成分ほど動きの変移量が大きく、周波数の高い成分ほど動きの変移量が小さいことが知られている。
【００７３】
このことから、撮像光学系の焦点距離が短い場合、撮像画像に現れる動きは低周波成分が支配的となる。また、焦点距離が長い場合は、画像の動きは低周波成分、高周波成分共に大きく画像の動きとして現れるが、実際には、補正画角には限界があり、焦点距離が長い場合には画像の動きが顕著になり過ぎて低周波成分の補正が困難になる。
【００７４】
よって、焦点距離検出手段１８３は、撮像光学系の焦点距離が短い場合は、撮像画像に現れる動きは低周波成分が支配的となるため、動き検出手段１０による動き検出だけで十分に動き補正が可能であり、このため、αを１に設定する。これにより、第２乗算器１７２の出力が停止される。一方、撮像光学系の焦点距離が長い場合は、動き検出手段１０による動き検出では動きの補正が困難であり、高周波成分が支配的となるため、角速度センサ１１による動き検出のみで動き補正が行えるように、αを０に設定する。これにより、第１乗算器１７１の出力が停止される。
【００７５】
このように、撮影状態によっては、２系統ある動きを検出する手段のうち１系統の使用を停止できるため、消費電力の低減が可能となる。
【００７６】
また、焦点距離が中間程度に設定されている場合は、焦点距離に応じてαを０以上１以下の範囲で略連続的に変更することができる。その場合のαの設定の仕方としては、実施形態２の場合と同様に、前述の図５に示したような方法を採用することができる。
【００７７】
なお、本実施の形態における他の構成、動作、作用等は前述の実施形態１，２と同様であるから、ここでは説明は省略する。
【００７８】
以上のように、本発明の実施形態３では、低周波から高周波までの画像の動きを高精度に補正できると共に、撮影状態に応じて２系統ある動きを検出する手段のうち１系統の使用を停止でき、これより消費電力の低減が可能となる。
【００７９】
なお、前述の実施形態２，３では、いずれも重み付けのための乗数αを自動的に変化させる構成を示したが、例えば、撮影者の意思によって乗数αを０または１に設定できるスイッチ手段を設ければ、撮影者の判断によって２系統ある動きを検出する手段のうち１系統の使用を停止することができ、これよっても消費電力の低減が可能な構成が実現できることは明らかである。
【００８０】
なお、実施形態２で説明した振動帯域検出手段１７３および実施形態３で説明した焦点距離検出手段１８３によるα値設定の両者を組み合わせた構成も考えられる。その場合、乗数αの値をより一層精度よく設定でき、撮影状況に応じた操作性の向上が図れる。
【００８１】
（実施形態４）
図７は、本発明の実施形態４に係る画像動き補正装置の全体構成を示すブロック図、図８は同装置のシステム制御手段の構成を示すブロック図であり、実施形態１に係る図１ないし図３に対応する部分については同一の符号を付す。
【００８２】
動き検出手段１０の出力、つまり固体撮像素子６で撮像された画像に含まれる動きは、ＶＡＰ１だけでは補正しきれなかった残留動きに相当する。
【００８３】
そこで、この実施形態４では、その残留動きを除去するために、実施形態１の場合と比較すると、画像メモリ１９、画像メモリ駆動制御手段２０、および電子ズーム手段２１が設けられており、また、システム制御手段１６ｄとして、動き検出手段１０の出力を積分する積分手段２２１が追加されている。
【００８４】
上記の画像メモリ１９は、デジタル信号処理手段９を経た画像信号を一旦記憶するもので、たとえば、ＲＡＭ等で構成される。
【００８５】
画像メモリ駆動制御手段２０は、画像メモリ１９に対する画像信号の書き込み、読み出しを制御し、かつ、画像メモリ１９に記憶されていた画像信号の一部を読み出した場合には、画像を所望の大きさに拡大するよう指令を後述する電子ズーム手段２１に送るものである。
【００８６】
電子ズーム手段２１は、画像メモリ１９から読み出された一部の画像信号に対し電子的な拡大処理（電子ズーム処理）を施し、画像を拡大するものである。
【００８７】
また、システム制御手段１６４を構成する積分手段２２１は、動き検出手段１０の出力を積分するものである。
【００８８】
その他の構成は、実施形態１の場合と同様であるから、ここでは詳しい説明は省略する。
【００８９】
図９は、画像メモリ１９からの画像の読み出し制御と、電子ズーム手段２１による画像の拡大処理による動き補正の原理を説明する模式図である。
【００９０】
同図において、Ｆ１，Ｆ２，Ｆ３は画像メモリ１９に記憶される連続する３つのフィールド画像であり、これより動きに応じてその画像の一部（破線で囲まれた内側の領域）を切り出すことで画像の動きを補正することができ、かつ、その切り出した画像の一部を電子ズーム手段２１によって拡大処理を行う。
【００９１】
画像の切り出し部分以外の部分（破線で囲まれた領域の外側の領域）は動き補正のためのマージンにあたる部分であり、このマージンを広く取れば取るほど（換言すれば、画像の切り出し部分を小さく設定するほど）、画像メモリ１９からの画像の読み出し制御によって動き補正を行える可能範囲は広がるが、その反面、電子ズーム手段２１による拡大倍率が増し、出力画像の解像度に劣化が生じる。
【００９２】
次に、この実施形態４に係る画像動き補正装置の動作について説明する。
【００９３】
前述のように、動き検出手段１０の出力は、ＶＡＰ１だけでは補正しきれなかった残留動きに相当する。
【００９４】
画像メモリ１９には、動き検出手段１０により画像の動き検出がなされる間に、１フィールド分の画像が記憶される。そして、動き検出手段１０により検出された画像の残留動きは、積分手段２２１によって積分され、画面の基準位置からの変位量が求められ、その変位量の情報が画像メモリ駆動制御手段２０に送られる。画像メモリ駆動制御手段２０は、この変移量の情報に基づいて、画像メモリ１９からの画像の読み出し位置を制御する。
【００９５】
これにより、ＶＡＰ１だけでは補正しきれなかった残留動きが有効に除去され、その後、電子ズーム手段２１によって画像が所望の大きさに拡大される。
【００９６】
なお、その他の動作、作用等は実施形態１と同様であるから、ここでは説明は省略する。
【００９７】
このように、この実施形態４では、実施形態１の場合よりも更に画像の動きを高精度に補正することが可能となる。
【００９８】
なお、この実施形態４では、画像メモリ１９から読み出した画像信号に対して、電子ズーム手段２１により拡大処理を施す場合について説明したが、本発明は、これに限るものではなく、例えば、標準の固体撮像素子６よりも画素数の多い固体撮像素子を用い、最終出力として必要な画素数以上の画像を撮像し、これを画像メモリ１９に記憶し、画像メモリ１９からは最終出力に必要な画素数分だけ画像を読み出す構成も考えられる。その場合、電子的に画像を拡大する必要が無いため、高画質な出力画像を得ることができる。その場合に１画素１ライン以下の動き補正を行うためには、電子ズーム手段２１によってズーム倍率が１倍のズーム処理（単なる補間処理）を施せばよいことは明らかである。
【００９９】
また、この実施形態４の構成に対して、実施形態２，３の構成を組み合わせることも可能である。
【０１００】
（実施形態５）
この実施形態５の特徴は、実施形態４に係る図７および図８の構成に対して、さらに電子ズーム操作手段２３（図７参照）を設けたことである。
【０１０１】
この電子ズーム操作手段２３は、撮影者が電子的拡大処理（電子ズーム処理）の有無（ＯＮ／ＯＦＦ）、および電子ズーム処理を行う場合のズーム倍率を操作するものであって、例えば、レバー状の指示装置（ズームレバー）、ボタンスイッチ、ダイヤル状の指示装置等で実現できるが、これに限るものではない。
【０１０２】
その他の構成は、実施形態４の場合と同様であるから、ここでは詳しい説明は省略する。
【０１０３】
この実施形態５において、画像メモリ駆動制御手段２０は、電子ズーム操作手段２３からの指令により、電子ズーム処理が行われる場合（電子ズームＯＮ時）には、積分手段２２１で得られる画像の変移量とズーム倍率とに基づいて、画像メモリ１９からの画像の読み出し位置を制御するとともに、電子ズーム手段２１による画像の拡大を行う。
【０１０４】
一方、画像メモリ駆動制御手段２０は、電子ズーム処理を行わない場合（電子ズームＯＦＦ時）には、画像メモリ１９からの画像の読み出し位置制御および電子ズーム手段２１による画像の拡大を停止する。
【０１０５】
このように、電子ズームＯＦＦ時は、動き補正は、ＶＡＰ１の駆動制御のみによるため、撮影者の動き補正による解像度の劣化を認識させることなく、出力画像の解像度の劣化が無い高精度な動き補正が行われる。また、電子ズームＯＮ時は、ＶＡＰ１による補正に加えて、画像メモリ１９からの画像の切り出しによる動き補正が行われる。
【０１０６】
なお、この実施形態５におけるその他の動作、作用等は実施形態４と同様であるため説明は省略する。
【０１０７】
また、この実施形態５で、固体撮像素子６は標準の画素数の固体撮像素子でも、標準より画素数の多い固体撮像素子でも同様の効果が得られることは言うまでもない。さらに、この実施形態５に、上記の実施形態２，３の構成を組み合わせることも可能である。
【０１０８】
（実施形態６）
図１０は、本発明の実施形態６に係る画像動き補正装置の全体構成を示すブロック図、図１１は同装置のシステム制御手段の構成を示すブロック図であり、上述の実施形態１に係る図１ないし図３に対応する部分については同一の符号を付す。
【０１０９】
この実施形態６の特徴は、実施形態１に係る図１の構成に対して、さらに光学ズーム操作手段２４を設け、また、システム制御手段１６ｅとしては、図３に示した構成に対して、さらに、スイッチ２５１とスイッチ制御手段２５２とが追加されていることである。
【０１１０】
光学ズーム操作手段２４は、撮影者が撮像光学系４の焦点距離を手動で操作するものであり、この手段２４からの指令により、撮像光学系駆動制御手段５は、撮像光学系の焦点距離を変化させて光学的なズームを行うようになっている。
【０１１１】
また、上記のスイッチ２５１は、第１帯域抽出手段１６４の出力をＯＮ／ＯＦＦするものであり、スイッチ制御手段２５２は、撮像光学系駆動制御手段５から得られた撮像光学系４の焦点距離の変化を検出し、それに基づいてスイッチ２５１をＯＮ／ＯＦＦ制御するものである。
【０１１２】
その他の構成は、図１ないし図３に示した実施形態１の場合と同じであるから、ここでは詳しい説明は省略する。
【０１１３】
次に、この実施形態６に係る画像動き補正装置の動作について説明する。
【０１１４】
焦点距離を変化させる光学ズーム中においては、撮像画像は中心から放射状に動く。このため、動き検出手段１０では、フィールド間の画像の動きが検出範囲内で一様にならないため、動きを検出する精度が低下する。これに対して、角速度センサ１１は、光学ズーム中であっも、撮像装置自体の動きを検出する精度が低下することはない。
【０１１５】
実施形態１のように、光学ズーム中であるか否かに関係なく、常に動き検出手段１０による動き検出と、角速度センサ１１による動き検出との両結果に基づいて動き補正を行う場合には、光学ズーム中に動き検出手段１０の検出精度が低下して誤動作の原因となり得る。
【０１１６】
そこで、この実施形態６においては、撮像光学系駆動制御手段５から得られた撮像光学系４の焦点距離の変化を検出し、焦点距離に変化が有る場合（つまり、光学ズーム中）は、スイッチ制御手段２５２がスイッチ２５１をＯＦＦにし、動き検出手段１０による動き検出結果を動き補正に使用しないようにしている。
【０１１７】
これにより、光学ズーム中でも誤動作が無く、高精度に動き補正可能な撮像装置を実現することができる。
【０１１８】
なお、この実施形態６における他の動作、作用等は実施形態１と同様であるため、ここでは説明を省略する。
【０１１９】
また、光学ズーム中は、スイッチ２５１を単純にＯＦＦにするのではなく、スイッチ２５１によって動き検出手段１０から第１帯域抽出手段１６４までの処理全体を停止するようにして、消費電力の低減を図ることも可能である。
【０１２０】
また、実施形態２，３で示したような第１、第２乗算器１７１，１７２を設け、光学ズーム中は、第１乗算器１７１の乗数αを０にしても、この実施形態６と同じ効果を実現することができる。
【０１２１】
また、この実施形態６の構成に対して、上記の実施形態２，３で説明したように、振動帯域検出手段１７３と焦点距離検出手段１８３の一方または両方、および２つの乗算器１７１，１７２を設けることも可能である。
【０１２２】
（実施形態７）
図１２は本発明の実施形態７に係る画像動き補正装置の全体構成を示すブロック図、図１３は同装置のシステム制御手段の構成を示すブロック図であり、上述の実施形態４に係る図７および図８に対応する部分について同一の符号を付す。
【０１２３】
この実施形態７の特徴は、実施形態４に係る図７の構成に対して、さらに光学ズーム操作手段２４を設け、また、システム制御手段１６ｆとしては、図８に示した構成に対して、さらに、２つのスイッチ２５１，２６１、およびスイッチ制御手段２５２が追加されていることである。
【０１２４】
この実施形態７の備える光学ズーム操作手段２４、一方側のスイッチ２５１、およびスイッチ制御手段２５２は、上記の実施形態６で説明した構成に対応している。
【０１２５】
また、他方のスイッチ２６１は、動き検出手段１０から積分手段２２１に入力される信号をＯＮ／ＯＦＦするものであり、両スイッチ２５１，２６１が共にスイッチ制御手段２５２の検出出力に基づいてＯＮ／ＯＦＦ制御されるようになっている。
【０１２６】
その他の構成は、図７および図８に示した実施形態４の場合と同じであるから、ここでは詳しい説明は省略する。
【０１２７】
次に、この実施形態７の画像動き補正装置の動作について説明する。
【０１２８】
実施形態６において、焦点距離を変化させる光学ズーム中は、動き検出手段１０による動き検出精度が低下し、誤動作の原因になり得ることを説明したが、このことは、実施形態４の構成においてもそのまま当てはまる。
【０１２９】
そこで、この実施形態７では、実施形態６と同様に、光学ズーム中は一方のスイッチ２５１と共にスイッチ２６１も同時にＯＦＦとすることで、画像の動き検出に基づく動き補正を停止するとともに、画像メモリ１９からの画像の切り出し位置の調整による動き補正も同時に停止させるようにしている。
【０１３０】
このようにすれば、光学ズーム中でも誤動作が無く、高精度に動き補正が可能な撮像装置を実現することができる。
【０１３１】
なお、本実施の形態における他の構成、動作、作用等は実施の形態４および実施の形態６と同様であるため説明は省略する。
【０１３２】
また、光学ズーム中は、スイッチ２６１を単純にＯＦＦにするのではなく、動き検出手段１０による処理や積分手段２２１による処理、さらには画像メモリ駆動制御手段２０を同時に停止させて消費電力の低減を図ることも可能である。
【０１３３】
また、この実施形態７の構成に対して、上記の実施形態２，３で説明したように、振動帯域検出手段１７３と焦点距離検出手段１８３の一方または両方、および２つの乗算器１７１，１７２を設けることも可能である。
【０１３４】
なお、上記の各実施形態１〜７の説明においては、撮像装置の表示方式については、特に言及しなかったが、本発明は、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のいかなる表示方式を採用した撮像装置においても適用可能である。また、撮像装置の固体撮像素子６の素子数に関しても、特に言及しなかったが、単板式撮像装置、２板式撮像装置、３板式撮像装置のいずれの撮像装置においても、本発明が有効である。また、固体撮像素子ではなく撮像管を用いた撮像装置においても同様に本発明が有効である。
【０１３５】
その他の変形例
上記の各実施形態１〜７に対して、次のような構成の変更を加えることが可能である。
【０１３６】
（１） 上記の各実施形態１〜７において、光学的振れ補正系１は、可変頂角プリズム（ＶＡＰ）として説明を行ったが、これに限るものではなく、撮像光学系４に対して相対的に駆動されることにより光軸補正を実現する手段、例えば、複数のレンズからなりそのレンズの一部または全てを光軸に直交する方向にシフトさせることで光軸を移動させる手段（例えば、特願昭６３−２０１６２２号に開示されている手段）であっても、光学的振れ補正系１として使用することができる。
【０１３７】
また、光学的振れ補正系１として、撮像光学系４および固体撮像素子６等を撮像装置の筺体に対して回動自在に支持および駆動することで、動きを補正する構成（例えば、”ビデオカメラの画振れ防止技術の開発”テレビジョン学会技術報告Ｖｏｌ．１１，Ｎｏ．２８，ｐｐ１９〜２４（１９８７）参照））を採用することも可能である。
【０１３８】
（２） 上記の各実施形態１〜７において、動き検出手段１０による動き検出は、毎フィールド行うものとして説明したが、これに限るものではなく、例えば、２フィールドに一度ずつ動き検出を行い、動き検出を行わないフィールドでは、前フィールドまでに得られた動き検出結果を基に、画像の動きを予測し、画像の動き補正を行うような構成も考えられる。さらに、フレーム毎に動き検出を行う構成も考えられる。
【０１３９】
（３） 各システム制御手段１６ａ〜１６ｆは、電子回路、もしくはマイクロコンピュ−タ上でのソフトウエア処理により実現することが可能であることは言うまでもない。
【０１４０】
（４） システム制御手段１６ａ〜１６ｆを構成する変換手段１６２において、検出ベクトルを移動角度（角速度）に変換する場合に、撮像光学系駆動制御手段５により得られる撮像光学系４の焦点距離に関する情報を用いることとしたが、これに限るものではなく、例えば、赤外線等を用いた測距手段によって撮像装置と被写体との距離を測定し、この距離情報を上記焦点距離情報の代わりに用いることも可能である。
【０１４１】
【発明の効果】
本発明によれば、撮像装置自体の動きを検出する手段と、画像信号から画像の動きを検出する手段とを備え、これら２つの検出手段から得られた情報の双方に基づきいて画像の振れを補正するようにしているので、焦点距離に拘わらず一定の補正画角を確保することができ、かつ、高精度な動き補正を実現できる画像動き補正装置を実現することができる。これに加えて、画像動き補正装置の低消費電力化も可能であるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施形態１に係る画像動き補正装置の全体を示すブロック図である。
【図２】同装置を構成する動き検出手段を示すブロック図である。
【図３】同装置を構成するシステム制御手段を示すブロック図である。
【図４】本発明の実施形態２に係る画像動き補正装置を構成するシステム制御手段を示すブロック図である。
【図５】本発明の実施形態２による重み付けのための乗数αの値を決定する一方法を説明するグラフである。
【図６】本発明の実施形態３に係る画像動き補正装置を構成するシステム制御手段を示すブロック図である。
【図７】本発明の実施形態４に係る画像動き補正装置の全体を示すブロック図である。
【図８】同装置を構成するシステム制御手段を示すブロック図である。
【図９】本発明の実施形態４に係る画像の拡大処理のよる動き補正の原理を説明するための図である。
【図１０】本発明の実施形態６に係る画像動き補正装置の全体を示すブロック図である。
【図１１】同装置を構成するシステム制御手段を示すブロック図である。
【図１２】本発明の実施形態７に係る画像動き補正装置の全体を示すブロック図である。
【図１３】同装置を構成するシステム制御手段を示すブロック図である。
【符号の説明】
１…光学的振れ補正系
２…光学的振れ補正系駆動制御手段
３…角度検出手段
４…撮像光学系
５…撮像光学系駆動制御手段
６…固体撮像素子
７…アナログ信号処理手段
８…Ａ／Ｄ変換手段
９…デジタル信号処理手段
１０…動き検出手段
１１…角速度センサ
１２…アンプ
１３…ＨＰＦ
１４…ＬＰＦ
１５…Ａ／Ｄ変換手段
１６ａ〜１６ｆ…システム制御手段（合成手段）
【発明の属する技術分野】
本発明は、撮像装置の手振れ補正等に用いる画像動き補正装置に関するものである。
【０００２】
【従来の技術】
撮像装置の画像動き補正装置としては、例えば、次の▲１▼〜▲３▼のものが提案されている。
【０００３】
▲１▼ ジンバル機構により撮像光学系および固体撮像素子を備えた撮像ユニットを支持し、これを角速度センサから得られる撮像装置自体の動き情報に基づき駆動制御することで、画像の動きを補正する方式（たとえば、”ビデオカメラの画振れ防止技術の開発”テレビジョン学会技術報告Ｖｏｌ．１１，Ｎｏ．２８，ｐｐ１９〜２４（１９８７）参照）。
【０００４】
▲２▼ 撮像光学系の前部に可変頂角プリズムを設け、これを同じく角速度センサからの情報により駆動制御することで、画像の動きを補正する方式（たとえば、”光学式手振れ補正システム”テレビジョン学会技術報告Ｖｏｌ．１７，Ｎｏ．５，ｐｐ１５〜２０（１９９３）参照）。
【０００５】
▲３▼ 被写体を撮像して得られる画像信号から画像の動きの有無を検出し、この検出結果に基づいて元の画像からその一部を切り出すことで画像の動きを補正する方式（たとえば、”純電子式画像揺れ補正システム”テレビジョン学会技術報告Ｖｏｌ．１５，Ｎｏ．７，ｐｐ４３〜４８（１９９１）参照）。
【０００６】
【発明が解決しようとする課題】
上記の▲１▼，▲２▼の方式のものは、角速度センサからの情報に基づいて光学的に画像の動きを補正するが、このような方式では、角速度センサの感度、温度特性による出力ドリフト等の問題から、高精度な動き補正を実現することは困難である。
【０００７】
また、▲３▼の方式では、動き補正を全て信号処理で行うため、高精度な動き補正を実現することができるものの、その反面、撮影レンズの焦点距離が大きくなればなるほど、動き補正が可能となる画角が小さくなるという問題点がある。
【０００８】
本発明は、上記従来の問題点を解決するものであって、焦点距離に影響されることなく、動き補正が可能となる一定の画角を常に確保でき、しかも高精度な動き補正を実現できる画像動き補正装置を提供することを課題とする。
【０００９】
【課題を解決するための手段】
本発明は、この課題を解決するために、固体撮像素子、この固体撮像素子上に被写体像を結像させるための撮像光学系、および光学的に撮影画像の動きを補正する光学的振れ補正系からなる撮像系と、前記光学的振れ補正系を駆動制御する光学的振れ補正系駆動制御手段とを具備した画像動き補正装置において、次の構成を採用している。
【００１０】
請求項１に係る発明では、撮像装置自体の動きを検出するセンサと前記撮像系から得られた画像信号に基づいて画像の動きを検出する動き検出手段とが併設されるとともに、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成して駆動信号を形成する信号合成手段を備え、前記信号合成手段は、前記センサにより検出された撮像装置自体の動きに関する情報と、前記動き検出手段による動き検出結果のそれぞれを、所定の乗数α，１−α（ただし、０≦α≦１）でもって重み付けして信号を合成し、前記信号合成手段から出力される駆動信号によって、前記光学的振れ補正系を駆動制御して画像の動きを補正するようにしている。これにより、高精度な動き補正を実現することができる。
【００１１】
請求項２記載に係る発明では、請求項１記載の構成において、信号合成手段による合成とは、所定の乗数α，１−αで重み付けされた両信号を加算する処理である。
【００１２】
この場合の信号合成手段による合成処理としては、所定の乗数α，１−αで重み付けされた両信号を加算することができる。また、乗数αは、撮像装置自体の振動周波数帯域と撮像光学系の焦点距離とのいずれか一方、または双方の情報に基づいて決定することもできる。これにより、焦点距離にかかわらず、一定の補正画角を確保しつつ、高精度な動き補正を実現することができる。さらに、乗数αは、撮像装置自体の振動の高周波帯域成分と低周波帯域成分との比率、または両成分の差に応じて決定することができる。さらにまた、撮像装置自体の振動の周波数帯域成分は、センサ出力または動き検出手段の出力から抽出することができる。
【００１３】
請求項５記載に係る発明では、請求項３または請求項４記載の画像動き補正装置において、撮像装置自体の振動の周波数帯域成分は、センサ出力または動き検出手段の出力から抽出することができる。
【００１４】
請求項６記載に係る発明では、請求項１記載の構成に加えて、撮像系から得られた画像信号を記憶する記憶手段と、この記憶手段を駆動して画像信号の読み出しを制御する記憶手段駆動制御手段とを設け、前記合成手段から出力される駆動信号によって前記光学的振れ補正系を駆動制御し、かつ、前記記憶手段駆動制御手段は、前記動き検出手段による動き検出結果に基づいて算出された別の駆動信号によって前記記憶手段からの画像信号の読み出しを制御して画像の動きを補正するものである。これにより、焦点距離にかかわらず、一定の補正画角を確保しつつ、かつ撮影者の動き補正による解像度の劣化を認識させることなく、高精度な動き補正を実現することができる。
【００１５】
請求項７記載に係る発明では、請求項６記載の構成に加えて、前記記憶手段から読み出された画像信号に対し電子的拡大処理を施す電子ズ−ム手段を設け、 前記合成手段から出力される駆動信号によって前記光学的振れ補正系を駆動制御し、かつ、前記記憶手段駆動制御手段は、前記電子ズ−ム手段からの指令によって電子的拡大処理を実行する場合のみ、前記動き検出手段による動き検出結果に基づいて算出された別の駆動信号によって前記記憶手段からの画像信号の読み出しを制御して画像の動きを補正するものである。これにより、焦点距離にかかわらず、一定の補正画角を確保しつつ、かつ撮影者の動き補正による解像度の劣化を認識させることなく、高精度な動き補正を実現することができる。
【００１６】
請求項８記載に係る発明では、撮像装置自体の動きを検出するセンサと前記撮像系から得られた画像信号に基づいて画像の動きを検出する動き検出手段とが併設されるとともに、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成して駆動信号を形成する信号合成手段を備え、
前記信号合成手段は、前記撮像光学系によって焦点距離が変化している期間中に動き検出手段の検出結果に基づいて得られる駆動信号の出力を停止する手段を有し、前記撮像光学系によって焦点距離が変化している期間中は、前記センサにより検出された撮像装置自体の動きに関する情報から形成される駆動信号のみにより、また、焦点距離が固定されている期間では、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成することで形成される駆動信号により、それぞれ前記光学的振れ補正系を駆動制御して画像の動きを補正するものである。これにより、焦点距離にかかわらず、一定の補正画角を確保しつつ、かつ焦点距離が変化している途中でも誤動作がなく、高精度な動き補正を実現することができる。
【００１７】
【発明の実施の形態】
（実施形態１）
図１は、本発明の実施形態１に係る画像動き補正装置を示すブロック図である。
【００１８】
同図において、光学的振れ補正系１は、撮像装置の揺れにより生じる画像の動きを光学的に補正するための手段であって、ここでは、一例として可変頂角プリズム（以下”ＶＡＰ”と略記する）が適用される。なお、ＶＡＰ１に関しては、例えば特開平２ー１３９０１号に詳細が開示されているため、その詳細な説明は省略する。
【００１９】
光学的振れ補正系駆動制御手段２は、ＶＡＰ１を駆動および制御するための手段である。また、角度検出手段３は、ＶＡＰ１の平行平面板の実際の回転角を検出して出力する手段であり、光学的振れ補正系駆動制御手段２と共にＶＡＰ１を駆動制御するための帰還制御ル−プを構成している。
【００２０】
撮像光学系４は、光学的ズ−ム動作、合焦動作するレンズ系からなり、また、撮像光学系駆動制御手段５は、撮像光学系４を駆動制御して光学的ズ−ム動作、合焦動作を行わせる手段であって、撮像光学系４の焦点距離に関する情報を後述するシステム制御手段１６１に出力するようになっている。
【００２１】
固体撮像素子６は、ＶＡＰ１および撮像光学系４を介して入射する映像を電気信号に変換するものであり、この素子６は、固体撮像素子駆動制御手段１７によって駆動および制御されるようになっている。
【００２２】
アナログ信号処理手段７は、固体撮像素子６により得られた画像信号に対してガンマ補正等のアナログ信号処理を施すための手段である。Ａ／Ｄ変換手段８は、アナログ信号をデジタル信号に変換するものであり、デジタル信号処理手段９は、Ａ／Ｄ変換手段８によってデジタル信号に変換された画像信号に対してノイズ除去、輪郭強調等のデジタル信号処理を施すものである。
【００２３】
Ａ／Ｄ変換手段８によりデジタル信号に変換された画像信号は、同時に動き検出手段１０にも送られ、ここでフィ−ルド間の画像の水平・垂直方向の位置ずれ量を示すベクトル（以下、これを検出ベクトルと称す）がフィ−ルド毎に検出される。
【００２４】
センサ１１は、撮像装置自体の動きを検出するためのものであって、この実施形態１では、一例として角速度を検出する角速度センサが適用される。
【００２５】
角速度センサ１１は、ヨ−およびピッチの２方向の動きを検出するために２個必要となるが、図には１方向分のみを示している。
【００２６】
ゲイン調整手段１２は、角速度センサ１１の出力の信号レベルの調整を行うもので、たとえばアンプ回路からなる。ＨＰＦ１３は、角速度センサ１１の出力に含まれるドリフト成分を除去するための高域通過フィルタ、ＬＰＦ１４は、角速度センサ１１の出力に含まれるノイズ成分を除去するための低域通過フィルタであり、Ａ／Ｄ変換手段１５は、角速度センサ１１の出力をデジタル信号に変換するための手段である。
【００２７】
システム制御手段１６ａは、特許請求の範囲における合成手段に相当するもので、動き検出手段１１、撮像光学系駆動制御手段５および角速度センサ１１からそれぞれ得られた各情報に基づいて画像の動き補正のために必要な情報（以下、動き補正信号と称する）を算出し、これを光学的振れ補正系駆動制御手段２に送る。光学的振れ補正系駆動制御手段２は、その動き補正信号に基づいてＶＡＰ１を駆動制御する。
【００２８】
図２は動き検出手段１０の内部構成の一例を示すブロック図である。
【００２９】
この動き検出手段１０は、代表点記憶回路１０１、相関演算回路１０２、および動きベクトル検出回路１０３からなる。
【００３０】
代表点記憶回路１０１は、Ａ／Ｄ変換手段８を経て入力されてくる現フィールドの画像信号を複数の領域に分割し、各領域に含まれる特定の代表点に対応する画像信号を代表点信号として記憶するとともに、既に記憶されている現フィールドより１フィールド前の代表点信号を読み出して相関演算回路１０２に与えるようになっている。
【００３１】
相関演算回路１０２は、前代表点信号と現フィールドの画像信号間の相関演算を行い、前代表点信号と現フィールドの画像信号の差を比較するものであって、その出力は動きベクトル検出回路１０３に与えられる。
【００３２】
動きベクトル検出回路１０３は、相関演算回路１０２における演算結果から、前フィールドと現フィールドの間の画像の動きベクトル（検出ベクトル）を１画素単位で検出する。
【００３３】
したがって、この構成においては、画像の１フィ−ルド前後間でのマッチングをとるために、検出ベクトルを得るために１フィ−ルド期間の時間遅れが生じることになる。
【００３４】
図３はシステム制御手段１６ａの内部構成の一例を示すブロック図である。
【００３５】
第１ゲイン／位相補償手段１６１は、動き検出手段１０で得られる検出ベクトルに対して、そのゲインおよび位相を調整するものである。
【００３６】
また、変換手段１６２は、第１ゲイン／位相補償手段１６１で調整された後の検出ベクトルを、撮像光学系駆動制御手段５から得られる撮像光学系４の焦点距離の情報に基づいて、単位時間当りの移動角度（角速度）に変換するものである。この場合の単位時間とは、例えば角速度センサ１１の出力をサンプリングする際の１周期に設定することができる。
【００３７】
第２ゲイン／位相補償手段１６３は、第１ゲイン位相補償手段１６１と同様に、Ａ／Ｄ変換手段１５を経て得られた角速度センサ１１の検出出力に対してそのゲインおよび位相を調整する。
【００３８】
第１帯域抽出手段１６４は、変換手段１６２を経て得られた角速度の信号の内、一部の帯域成分（ここでは動き補正に好適な低周波成分）のみを抽出する一種のフィルタである。また、第２帯域抽出手段１６５は、第２ゲイン／位相補償手段１６３を経て得られた角速度の信号の内、一部の帯域成分（ここでは動き補正に好適な高周波成分）のみを抽出する一種のフィルタである。そして、第１、第２帯域抽出手段１６４、１６５を通過した各信号は、加算器１６６によって加算される。
【００３９】
補正信号発生手段１６７は、加算器１６５による加算結果を積分し、画面上に予め設定された基準位置からの変位角度（移動角）を求めて動き補正信号を発生するものである。
【００４０】
次に、この実施形態１に係る画像動き補正装置の動作を説明する。なお、固体撮像素子７で得られる画像信号に基づく動き検出動作、角速度センサ１１で検出される動き検出動作、およびＶＡＰ１の駆動制御等の一連の動作は、水平、垂直両方向に対してそれぞれ行われるが、水平、垂直両方向ともその内容は基本的に同じであるから、ここでは説明を簡略化するため、水平、垂直方向の別は区別せずに説明する。
【００４１】
固体撮像素子６により得られた画像信号は、アナログ信号処理手段７を経て、Ａ／Ｄ変換手段８でデジタル化された後、デジタル信号処理手段９および動き検出手段１０にそれぞれ送られる。
【００４２】
動き検出手段１０では、１フィ−ルド前後間の画像の位置ずれ量（検出ベクトル）が検出され、その検出ベクトルがシステム制御手段１６ａに送られる。
【００４３】
システム制御手段１６ａにおいては、まず、第１ゲイン／位相補償手段１６１によって検出ベクトルに対するゲインおよび位相が調整される。特に、動き検出手段１０が検出ベクトルを得るまでに生じる１フィ−ルド期間の時間（位相）遅れが補償される。変換手段１６２は、画面上での画素単位で得られる検出ベクトルを、撮像光学系駆動制御手段５から得られる撮像光学系４の焦点距離の情報に基づいて単位時間当りの角速度に変換する。
【００４４】
第１帯域抽出手段１６４は、変換手段１６２からの信号出力のうち、動き補正に好適な帯域成分として、低周波成分を抽出する。その理由は、画像信号に基づく動き検出においては、角速度センサ１１の検出出力に基づく動き検出に比べて低周波帯域において一層正確な動き検出が可能となるためである。すなわち、画像信号に基づいて動きを検出する場合、画像のサンプリング周期によって動きを検出できる周波数が限定される。例えば、ＮＴＳＣ方式を対象とする場合には、サンプリング周波数は６０Ｈｚであることから、画像信号に基づいて動きを検出する場合には、サンプリング定理より動き検出の帯域は３０Ｈｚ以下に限定される。
【００４５】
これに対して、第２帯域抽出手段１６５は、第２ゲイン／位相補償手段１６３の出力のうち、動き補正に好適な帯域成分として高周波成分を抽出する。その理由は、角速度センサ１１の検出出力に基づいて動きを検出する場合、センサ１１出力に含まれるドリフト等の低域成分を除去する上でＨＰＦ１３を設けているため、低周波の動きに対する検出精度が低下しているからである。
【００４６】
第１，第２帯域抽出手段１６４，１６５の両出力は、加算器１６６で加算され、補正信号発生手段１６７において、動き補正信号が求められる。
【００４７】
光学的振れ補正系駆動制御手段２は、動き補正信号に応じて、ＶＡＰ１を駆動制御することで画像の動きを補正する。
【００４８】
つまり、この実施形態１では、動き検出手段１０によって得られた低周波帯域の動きの情報、および角速度センサ１１から得られた高周波帯域の動きの情報の両者によってＶＡＰ１を制御するので、低周波域から高周波域までにわたる画像の動きを高精度に補正することが可能となる。
【００４９】
また、第１、第２帯域抽出手段１６４，１６５は、図３に示したような加算器１６６の直前に設ける場合に限定されるものではなく、例えば、第１帯域抽出手段１６４は、第１ゲイン／位相補償手段１６１の前段、もしくはＡ／Ｄ変換手段８と動き検出手段１０との間に、また、第２帯域抽出手段１６５は、Ａ／Ｄ変換手段１５とシステム制御手段１６ａとの間に、それぞれ設置する構成であってもよい。
【００５０】
（実施形態２）
図４は、本発明の実施形態２に係る画像動き補正装置のシステム制御手段の構成を示すブロック図であり、上述の実施形態１に係る図３に対応する部分については同一の符号を付す。
【００５１】
この実施形態２の特徴は、システム制御手段１６ｂの構成にある。すなわち、このシステム制御手段１６ｂは、図３に示した構成に対して、さらに第１、第２乗算器１７１，１７２、および振動帯域検出手段１７３が追加されている。
【００５２】
第１、第２乗算器１７１，１７２は、それぞれ第１、第２帯域抽出手段１６４，１６５の各出力に対して、所定の重み付けの乗数α、１−α（ただし、０≦α≦１）を乗算するものである。また、振動帯域検出手段１７３は、例えば、高速フーリエ変換等の時系列信号の周波数分解を行う機能を有しており、Ａ／Ｄ変換手段１５を経て得られた角速度センサ１１の出力に基づいて撮像装置の動きの主要な周波数帯域を検出し、その結果から第１、第２乗算器１７１，１７２で乗算すべき乗数α，１−αの値を決定するものである。
【００５３】
その他の構成は、前述の実施形態１の図３に示した場合と同じであるから、ここでは詳しい説明は省略する。
【００５４】
次に、この実施形態２に係る画像動き補正装置の動作について説明する。
【００５５】
振動帯域検出手段１７３は、角速度センサ１１によって検出された撮像装置の動きから、その主要な振動帯域を検出し、その結果に基づいて第１、第２乗算器１７１，１７２における乗数α，１−αを決定する。
【００５６】
第１、第２乗算器１７１，１７２は、振動帯域検出手段１７３で決定された各々の乗数α，１−αを、第１、第２帯域抽出手段１６４，１６５の出力に対してそれぞれ乗算する。
【００５７】
ここで、振動帯域検出手段１７３は、撮像装置の動きが画像データに基づく動き検出だけでは困難となる高周波成分（これは画像のサンプリング周波数で決まる）が支配的となる場合には、αを０に設定する。このため、第１乗算器１７１の出力が停止される。
【００５８】
これに対して、振動帯域検出手段１７３は、撮像装置の動きが角速度センサ１１では検出が困難となる低周波成分が支配的となる場合には、αを１に設定する。このため、第２乗算器１７２の出力が停止される。
【００５９】
このように、撮影状態によって２系統ある動きを検出する手段のうち１系統の使用を停止することができるため、実施形態１の場合よりもより一層効果的に動きを検出することができる。
【００６０】
また、高周波成分と低周波成分で際だった偏りがない場合は、高周波成分と低周波成分の比率に応じて、乗数αを０以上１以下の範囲で略連続的に変化させることもできる。
【００６１】
たとえば、図５（ａ）に示すように、高周波成分と低周波成分の比率に応じてαの値を直線状に変化させたり、図５（ｂ）に示すように高周波成分が幾分大きくなるまではα＝１とし、高周波成分が一定値ρ１を越えたときには高周波成分と低周波成分の比率に応じてαの値を直線状に変化させ、さらに高周波成分が一定値ρ２を越えたときにはα＝０に設定したり、図５（ｃ）に示すように。高周波成分と低周波成分の比率に応じてαを連続的に曲線状に変化させたりすることができる。
【００６２】
なお、この実施形態２における他の構成、動作、作用等は、前述の実施形態１と同様であるから、ここでは説明を省略する。
【００６３】
このように、この実施形態２では、撮影状態に応じて２系統ある動きを検出する手段の重み付けを変化させることができるので、実施形態１の場合よりもより一層、低周波から高周波までの画像の動きを高精度に補正することが可能となる。
【００６４】
なお、この実施形態２では、振動帯域検出手段１７３は、角速度センサ１１の出力に基づいて撮像装置の動きの主要な周波数帯域を検出するようにしているが、本発明はこれに限定されるものではなく、例えば、振動帯域検出手段１７３は、動き検出手段１０の出力に基づいて撮像装置の動きの主要な周波数帯域を検出する構成とすることも可能である。また、この振動帯域検出手段１７３は、例えば、高域通過フィルタおよび低域通過フィルタのようなフィルタ手段による構成とすることもできる。
【００６５】
さらに、この実施形態２では、重み付けの乗数α，１−αを決定するのに、高周波成分と低周波成分との比を用いる場合について説明したが、これに限るものではなく、例えば、高周波成分と低周波成分の差によって乗数α，１−αを決定することもできる。
【００６６】
（実施形態３）
図６は、本発明の実施形態３に係る画像動き補正装置のシステム制御手段１６３の構成を示すブロック図であり、上述の実施形態２に係る図４に対応する部分については同一の符号を付す。
【００６７】
前述の実施形態２では、システム制御手段１６ｂは振動帯域検出手段１７３を備えているが、この実施形態３のシステム制御手段１６ｃでは、その振動帯域検出手段１７３に代えて、焦点距離検出手段１８３を設けている。
【００６８】
すなわち、この焦点距離検出手段１８３は、撮像光学系駆動制御手段５から得られた撮像光学系４の焦点距離を検出し、その焦点距離の情報に基づいて乗算器１８１および１８２で乗算する重み付けのための乗数α，１−α（ただし、０≦α≦１）を決定するものである。
【００６９】
その他の構成は、前述の実施形態２の場合と同じであるから、ここでは詳しい説明は省略する。
【００７０】
次に、この実施形態３に係る画像動き補正装置の動作について説明する。
【００７１】
一般に、撮像装置においては、撮像光学系４の焦点距離が長いほど撮影画角は狭く、逆に、焦点距離が短いほど撮影画角は広くなる。このため、同じ角度だけ撮像装置が動いたとしても、画面上に現れる動き量は焦点距離によって変化する。すなわち、同じ角度だけ撮像装置が動いた場合でも、焦点距離が長いほど画面に現れる動きは大きくなり、逆に、焦点距離が短いほど画面に現れる動きは小さくなる。
【００７２】
また、撮像装置の動きの原因である手ぶれは、先に掲げた文献（”ビデオカメラの画振れ防止技術の開発”テレビジョン学会技術報告Ｖｏｌ．１１，Ｎｏ．２８，ｐｐ１９〜２４（１９８７））にも明記されているように、単位時間についてみると、周波数の低い成分ほど動きの変移量が大きく、周波数の高い成分ほど動きの変移量が小さいことが知られている。
【００７３】
このことから、撮像光学系の焦点距離が短い場合、撮像画像に現れる動きは低周波成分が支配的となる。また、焦点距離が長い場合は、画像の動きは低周波成分、高周波成分共に大きく画像の動きとして現れるが、実際には、補正画角には限界があり、焦点距離が長い場合には画像の動きが顕著になり過ぎて低周波成分の補正が困難になる。
【００７４】
よって、焦点距離検出手段１８３は、撮像光学系の焦点距離が短い場合は、撮像画像に現れる動きは低周波成分が支配的となるため、動き検出手段１０による動き検出だけで十分に動き補正が可能であり、このため、αを１に設定する。これにより、第２乗算器１７２の出力が停止される。一方、撮像光学系の焦点距離が長い場合は、動き検出手段１０による動き検出では動きの補正が困難であり、高周波成分が支配的となるため、角速度センサ１１による動き検出のみで動き補正が行えるように、αを０に設定する。これにより、第１乗算器１７１の出力が停止される。
【００７５】
このように、撮影状態によっては、２系統ある動きを検出する手段のうち１系統の使用を停止できるため、消費電力の低減が可能となる。
【００７６】
また、焦点距離が中間程度に設定されている場合は、焦点距離に応じてαを０以上１以下の範囲で略連続的に変更することができる。その場合のαの設定の仕方としては、実施形態２の場合と同様に、前述の図５に示したような方法を採用することができる。
【００７７】
なお、本実施の形態における他の構成、動作、作用等は前述の実施形態１，２と同様であるから、ここでは説明は省略する。
【００７８】
以上のように、本発明の実施形態３では、低周波から高周波までの画像の動きを高精度に補正できると共に、撮影状態に応じて２系統ある動きを検出する手段のうち１系統の使用を停止でき、これより消費電力の低減が可能となる。
【００７９】
なお、前述の実施形態２，３では、いずれも重み付けのための乗数αを自動的に変化させる構成を示したが、例えば、撮影者の意思によって乗数αを０または１に設定できるスイッチ手段を設ければ、撮影者の判断によって２系統ある動きを検出する手段のうち１系統の使用を停止することができ、これよっても消費電力の低減が可能な構成が実現できることは明らかである。
【００８０】
なお、実施形態２で説明した振動帯域検出手段１７３および実施形態３で説明した焦点距離検出手段１８３によるα値設定の両者を組み合わせた構成も考えられる。その場合、乗数αの値をより一層精度よく設定でき、撮影状況に応じた操作性の向上が図れる。
【００８１】
（実施形態４）
図７は、本発明の実施形態４に係る画像動き補正装置の全体構成を示すブロック図、図８は同装置のシステム制御手段の構成を示すブロック図であり、実施形態１に係る図１ないし図３に対応する部分については同一の符号を付す。
【００８２】
動き検出手段１０の出力、つまり固体撮像素子６で撮像された画像に含まれる動きは、ＶＡＰ１だけでは補正しきれなかった残留動きに相当する。
【００８３】
そこで、この実施形態４では、その残留動きを除去するために、実施形態１の場合と比較すると、画像メモリ１９、画像メモリ駆動制御手段２０、および電子ズーム手段２１が設けられており、また、システム制御手段１６ｄとして、動き検出手段１０の出力を積分する積分手段２２１が追加されている。
【００８４】
上記の画像メモリ１９は、デジタル信号処理手段９を経た画像信号を一旦記憶するもので、たとえば、ＲＡＭ等で構成される。
【００８５】
画像メモリ駆動制御手段２０は、画像メモリ１９に対する画像信号の書き込み、読み出しを制御し、かつ、画像メモリ１９に記憶されていた画像信号の一部を読み出した場合には、画像を所望の大きさに拡大するよう指令を後述する電子ズーム手段２１に送るものである。
【００８６】
電子ズーム手段２１は、画像メモリ１９から読み出された一部の画像信号に対し電子的な拡大処理（電子ズーム処理）を施し、画像を拡大するものである。
【００８７】
また、システム制御手段１６４を構成する積分手段２２１は、動き検出手段１０の出力を積分するものである。
【００８８】
その他の構成は、実施形態１の場合と同様であるから、ここでは詳しい説明は省略する。
【００８９】
図９は、画像メモリ１９からの画像の読み出し制御と、電子ズーム手段２１による画像の拡大処理による動き補正の原理を説明する模式図である。
【００９０】
同図において、Ｆ１，Ｆ２，Ｆ３は画像メモリ１９に記憶される連続する３つのフィールド画像であり、これより動きに応じてその画像の一部（破線で囲まれた内側の領域）を切り出すことで画像の動きを補正することができ、かつ、その切り出した画像の一部を電子ズーム手段２１によって拡大処理を行う。
【００９１】
画像の切り出し部分以外の部分（破線で囲まれた領域の外側の領域）は動き補正のためのマージンにあたる部分であり、このマージンを広く取れば取るほど（換言すれば、画像の切り出し部分を小さく設定するほど）、画像メモリ１９からの画像の読み出し制御によって動き補正を行える可能範囲は広がるが、その反面、電子ズーム手段２１による拡大倍率が増し、出力画像の解像度に劣化が生じる。
【００９２】
次に、この実施形態４に係る画像動き補正装置の動作について説明する。
【００９３】
前述のように、動き検出手段１０の出力は、ＶＡＰ１だけでは補正しきれなかった残留動きに相当する。
【００９４】
画像メモリ１９には、動き検出手段１０により画像の動き検出がなされる間に、１フィールド分の画像が記憶される。そして、動き検出手段１０により検出された画像の残留動きは、積分手段２２１によって積分され、画面の基準位置からの変位量が求められ、その変位量の情報が画像メモリ駆動制御手段２０に送られる。画像メモリ駆動制御手段２０は、この変移量の情報に基づいて、画像メモリ１９からの画像の読み出し位置を制御する。
【００９５】
これにより、ＶＡＰ１だけでは補正しきれなかった残留動きが有効に除去され、その後、電子ズーム手段２１によって画像が所望の大きさに拡大される。
【００９６】
なお、その他の動作、作用等は実施形態１と同様であるから、ここでは説明は省略する。
【００９７】
このように、この実施形態４では、実施形態１の場合よりも更に画像の動きを高精度に補正することが可能となる。
【００９８】
なお、この実施形態４では、画像メモリ１９から読み出した画像信号に対して、電子ズーム手段２１により拡大処理を施す場合について説明したが、本発明は、これに限るものではなく、例えば、標準の固体撮像素子６よりも画素数の多い固体撮像素子を用い、最終出力として必要な画素数以上の画像を撮像し、これを画像メモリ１９に記憶し、画像メモリ１９からは最終出力に必要な画素数分だけ画像を読み出す構成も考えられる。その場合、電子的に画像を拡大する必要が無いため、高画質な出力画像を得ることができる。その場合に１画素１ライン以下の動き補正を行うためには、電子ズーム手段２１によってズーム倍率が１倍のズーム処理（単なる補間処理）を施せばよいことは明らかである。
【００９９】
また、この実施形態４の構成に対して、実施形態２，３の構成を組み合わせることも可能である。
【０１００】
（実施形態５）
この実施形態５の特徴は、実施形態４に係る図７および図８の構成に対して、さらに電子ズーム操作手段２３（図７参照）を設けたことである。
【０１０１】
この電子ズーム操作手段２３は、撮影者が電子的拡大処理（電子ズーム処理）の有無（ＯＮ／ＯＦＦ）、および電子ズーム処理を行う場合のズーム倍率を操作するものであって、例えば、レバー状の指示装置（ズームレバー）、ボタンスイッチ、ダイヤル状の指示装置等で実現できるが、これに限るものではない。
【０１０２】
その他の構成は、実施形態４の場合と同様であるから、ここでは詳しい説明は省略する。
【０１０３】
この実施形態５において、画像メモリ駆動制御手段２０は、電子ズーム操作手段２３からの指令により、電子ズーム処理が行われる場合（電子ズームＯＮ時）には、積分手段２２１で得られる画像の変移量とズーム倍率とに基づいて、画像メモリ１９からの画像の読み出し位置を制御するとともに、電子ズーム手段２１による画像の拡大を行う。
【０１０４】
一方、画像メモリ駆動制御手段２０は、電子ズーム処理を行わない場合（電子ズームＯＦＦ時）には、画像メモリ１９からの画像の読み出し位置制御および電子ズーム手段２１による画像の拡大を停止する。
【０１０５】
このように、電子ズームＯＦＦ時は、動き補正は、ＶＡＰ１の駆動制御のみによるため、撮影者の動き補正による解像度の劣化を認識させることなく、出力画像の解像度の劣化が無い高精度な動き補正が行われる。また、電子ズームＯＮ時は、ＶＡＰ１による補正に加えて、画像メモリ１９からの画像の切り出しによる動き補正が行われる。
【０１０６】
なお、この実施形態５におけるその他の動作、作用等は実施形態４と同様であるため説明は省略する。
【０１０７】
また、この実施形態５で、固体撮像素子６は標準の画素数の固体撮像素子でも、標準より画素数の多い固体撮像素子でも同様の効果が得られることは言うまでもない。さらに、この実施形態５に、上記の実施形態２，３の構成を組み合わせることも可能である。
【０１０８】
（実施形態６）
図１０は、本発明の実施形態６に係る画像動き補正装置の全体構成を示すブロック図、図１１は同装置のシステム制御手段の構成を示すブロック図であり、上述の実施形態１に係る図１ないし図３に対応する部分については同一の符号を付す。
【０１０９】
この実施形態６の特徴は、実施形態１に係る図１の構成に対して、さらに光学ズーム操作手段２４を設け、また、システム制御手段１６ｅとしては、図３に示した構成に対して、さらに、スイッチ２５１とスイッチ制御手段２５２とが追加されていることである。
【０１１０】
光学ズーム操作手段２４は、撮影者が撮像光学系４の焦点距離を手動で操作するものであり、この手段２４からの指令により、撮像光学系駆動制御手段５は、撮像光学系の焦点距離を変化させて光学的なズームを行うようになっている。
【０１１１】
また、上記のスイッチ２５１は、第１帯域抽出手段１６４の出力をＯＮ／ＯＦＦするものであり、スイッチ制御手段２５２は、撮像光学系駆動制御手段５から得られた撮像光学系４の焦点距離の変化を検出し、それに基づいてスイッチ２５１をＯＮ／ＯＦＦ制御するものである。
【０１１２】
その他の構成は、図１ないし図３に示した実施形態１の場合と同じであるから、ここでは詳しい説明は省略する。
【０１１３】
次に、この実施形態６に係る画像動き補正装置の動作について説明する。
【０１１４】
焦点距離を変化させる光学ズーム中においては、撮像画像は中心から放射状に動く。このため、動き検出手段１０では、フィールド間の画像の動きが検出範囲内で一様にならないため、動きを検出する精度が低下する。これに対して、角速度センサ１１は、光学ズーム中であっも、撮像装置自体の動きを検出する精度が低下することはない。
【０１１５】
実施形態１のように、光学ズーム中であるか否かに関係なく、常に動き検出手段１０による動き検出と、角速度センサ１１による動き検出との両結果に基づいて動き補正を行う場合には、光学ズーム中に動き検出手段１０の検出精度が低下して誤動作の原因となり得る。
【０１１６】
そこで、この実施形態６においては、撮像光学系駆動制御手段５から得られた撮像光学系４の焦点距離の変化を検出し、焦点距離に変化が有る場合（つまり、光学ズーム中）は、スイッチ制御手段２５２がスイッチ２５１をＯＦＦにし、動き検出手段１０による動き検出結果を動き補正に使用しないようにしている。
【０１１７】
これにより、光学ズーム中でも誤動作が無く、高精度に動き補正可能な撮像装置を実現することができる。
【０１１８】
なお、この実施形態６における他の動作、作用等は実施形態１と同様であるため、ここでは説明を省略する。
【０１１９】
また、光学ズーム中は、スイッチ２５１を単純にＯＦＦにするのではなく、スイッチ２５１によって動き検出手段１０から第１帯域抽出手段１６４までの処理全体を停止するようにして、消費電力の低減を図ることも可能である。
【０１２０】
また、実施形態２，３で示したような第１、第２乗算器１７１，１７２を設け、光学ズーム中は、第１乗算器１７１の乗数αを０にしても、この実施形態６と同じ効果を実現することができる。
【０１２１】
また、この実施形態６の構成に対して、上記の実施形態２，３で説明したように、振動帯域検出手段１７３と焦点距離検出手段１８３の一方または両方、および２つの乗算器１７１，１７２を設けることも可能である。
【０１２２】
（実施形態７）
図１２は本発明の実施形態７に係る画像動き補正装置の全体構成を示すブロック図、図１３は同装置のシステム制御手段の構成を示すブロック図であり、上述の実施形態４に係る図７および図８に対応する部分について同一の符号を付す。
【０１２３】
この実施形態７の特徴は、実施形態４に係る図７の構成に対して、さらに光学ズーム操作手段２４を設け、また、システム制御手段１６ｆとしては、図８に示した構成に対して、さらに、２つのスイッチ２５１，２６１、およびスイッチ制御手段２５２が追加されていることである。
【０１２４】
この実施形態７の備える光学ズーム操作手段２４、一方側のスイッチ２５１、およびスイッチ制御手段２５２は、上記の実施形態６で説明した構成に対応している。
【０１２５】
また、他方のスイッチ２６１は、動き検出手段１０から積分手段２２１に入力される信号をＯＮ／ＯＦＦするものであり、両スイッチ２５１，２６１が共にスイッチ制御手段２５２の検出出力に基づいてＯＮ／ＯＦＦ制御されるようになっている。
【０１２６】
その他の構成は、図７および図８に示した実施形態４の場合と同じであるから、ここでは詳しい説明は省略する。
【０１２７】
次に、この実施形態７の画像動き補正装置の動作について説明する。
【０１２８】
実施形態６において、焦点距離を変化させる光学ズーム中は、動き検出手段１０による動き検出精度が低下し、誤動作の原因になり得ることを説明したが、このことは、実施形態４の構成においてもそのまま当てはまる。
【０１２９】
そこで、この実施形態７では、実施形態６と同様に、光学ズーム中は一方のスイッチ２５１と共にスイッチ２６１も同時にＯＦＦとすることで、画像の動き検出に基づく動き補正を停止するとともに、画像メモリ１９からの画像の切り出し位置の調整による動き補正も同時に停止させるようにしている。
【０１３０】
このようにすれば、光学ズーム中でも誤動作が無く、高精度に動き補正が可能な撮像装置を実現することができる。
【０１３１】
なお、本実施の形態における他の構成、動作、作用等は実施の形態４および実施の形態６と同様であるため説明は省略する。
【０１３２】
また、光学ズーム中は、スイッチ２６１を単純にＯＦＦにするのではなく、動き検出手段１０による処理や積分手段２２１による処理、さらには画像メモリ駆動制御手段２０を同時に停止させて消費電力の低減を図ることも可能である。
【０１３３】
また、この実施形態７の構成に対して、上記の実施形態２，３で説明したように、振動帯域検出手段１７３と焦点距離検出手段１８３の一方または両方、および２つの乗算器１７１，１７２を設けることも可能である。
【０１３４】
なお、上記の各実施形態１〜７の説明においては、撮像装置の表示方式については、特に言及しなかったが、本発明は、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のいかなる表示方式を採用した撮像装置においても適用可能である。また、撮像装置の固体撮像素子６の素子数に関しても、特に言及しなかったが、単板式撮像装置、２板式撮像装置、３板式撮像装置のいずれの撮像装置においても、本発明が有効である。また、固体撮像素子ではなく撮像管を用いた撮像装置においても同様に本発明が有効である。
【０１３５】
その他の変形例
上記の各実施形態１〜７に対して、次のような構成の変更を加えることが可能である。
【０１３６】
（１） 上記の各実施形態１〜７において、光学的振れ補正系１は、可変頂角プリズム（ＶＡＰ）として説明を行ったが、これに限るものではなく、撮像光学系４に対して相対的に駆動されることにより光軸補正を実現する手段、例えば、複数のレンズからなりそのレンズの一部または全てを光軸に直交する方向にシフトさせることで光軸を移動させる手段（例えば、特願昭６３−２０１６２２号に開示されている手段）であっても、光学的振れ補正系１として使用することができる。
【０１３７】
また、光学的振れ補正系１として、撮像光学系４および固体撮像素子６等を撮像装置の筺体に対して回動自在に支持および駆動することで、動きを補正する構成（例えば、”ビデオカメラの画振れ防止技術の開発”テレビジョン学会技術報告Ｖｏｌ．１１，Ｎｏ．２８，ｐｐ１９〜２４（１９８７）参照））を採用することも可能である。
【０１３８】
（２） 上記の各実施形態１〜７において、動き検出手段１０による動き検出は、毎フィールド行うものとして説明したが、これに限るものではなく、例えば、２フィールドに一度ずつ動き検出を行い、動き検出を行わないフィールドでは、前フィールドまでに得られた動き検出結果を基に、画像の動きを予測し、画像の動き補正を行うような構成も考えられる。さらに、フレーム毎に動き検出を行う構成も考えられる。
【０１３９】
（３） 各システム制御手段１６ａ〜１６ｆは、電子回路、もしくはマイクロコンピュ−タ上でのソフトウエア処理により実現することが可能であることは言うまでもない。
【０１４０】
（４） システム制御手段１６ａ〜１６ｆを構成する変換手段１６２において、検出ベクトルを移動角度（角速度）に変換する場合に、撮像光学系駆動制御手段５により得られる撮像光学系４の焦点距離に関する情報を用いることとしたが、これに限るものではなく、例えば、赤外線等を用いた測距手段によって撮像装置と被写体との距離を測定し、この距離情報を上記焦点距離情報の代わりに用いることも可能である。
【０１４１】
【発明の効果】
本発明によれば、撮像装置自体の動きを検出する手段と、画像信号から画像の動きを検出する手段とを備え、これら２つの検出手段から得られた情報の双方に基づきいて画像の振れを補正するようにしているので、焦点距離に拘わらず一定の補正画角を確保することができ、かつ、高精度な動き補正を実現できる画像動き補正装置を実現することができる。これに加えて、画像動き補正装置の低消費電力化も可能であるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施形態１に係る画像動き補正装置の全体を示すブロック図である。
【図２】同装置を構成する動き検出手段を示すブロック図である。
【図３】同装置を構成するシステム制御手段を示すブロック図である。
【図４】本発明の実施形態２に係る画像動き補正装置を構成するシステム制御手段を示すブロック図である。
【図５】本発明の実施形態２による重み付けのための乗数αの値を決定する一方法を説明するグラフである。
【図６】本発明の実施形態３に係る画像動き補正装置を構成するシステム制御手段を示すブロック図である。
【図７】本発明の実施形態４に係る画像動き補正装置の全体を示すブロック図である。
【図８】同装置を構成するシステム制御手段を示すブロック図である。
【図９】本発明の実施形態４に係る画像の拡大処理のよる動き補正の原理を説明するための図である。
【図１０】本発明の実施形態６に係る画像動き補正装置の全体を示すブロック図である。
【図１１】同装置を構成するシステム制御手段を示すブロック図である。
【図１２】本発明の実施形態７に係る画像動き補正装置の全体を示すブロック図である。
【図１３】同装置を構成するシステム制御手段を示すブロック図である。
【符号の説明】
１…光学的振れ補正系
２…光学的振れ補正系駆動制御手段
３…角度検出手段
４…撮像光学系
５…撮像光学系駆動制御手段
６…固体撮像素子
７…アナログ信号処理手段
８…Ａ／Ｄ変換手段
９…デジタル信号処理手段
１０…動き検出手段
１１…角速度センサ
１２…アンプ
１３…ＨＰＦ
１４…ＬＰＦ
１５…Ａ／Ｄ変換手段
１６ａ〜１６ｆ…システム制御手段（合成手段）
Claims (8)
- 固体撮像素子、この固体撮像素子上に被写体像を結像させるための撮像光学系、および光学的に撮影画像の動きを補正する光学的振れ補正系からなる撮像系と、前記光学的振れ補正系を駆動制御する光学的振れ補正系駆動制御手段とを具備したものにおいて、
撮像装置自体の動きを検出するセンサと前記撮像系から得られた画像信号に基づいて画像の動きを検出する動き検出手段とが併設されるとともに、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成して駆動信号を形成する信号合成手段を備え、
前記信号合成手段は、前記センサにより検出された撮像装置自体の動きに関する情報と、前記動き検出手段による動き検出結果のそれぞれを、所定の乗数α，１−α（ただし、０≦α≦１）でもって重み付けして信号を合成し、
前記信号合成手段から出力される駆動信号によって、前記光学的振れ補正系を駆動制御して画像の動きを補正することを特徴とする画像動き補正装置。 - 請求項１記載の画像動き補正装置において、
信号合成手段による合成とは、所定の乗数α，１−αで重み付けされた両信号を加算する処理であることを特徴とする画像動き補正装置。 - 請求項１記載の画像動き補正装置において、
前記乗数αは、撮像装置自体の振動周波数帯域と撮像光学系の焦点距離とのいずれか一方、または双方の情報に基づいて決定されることを特徴とする画像動き補正装置。 - 請求項１記載の画像動き補正装置において、
前記乗数αは、撮像装置自体の振動の高周波帯域成分と低周波帯域成分との比率、または両成分の差に応じて決定されることを特徴とする画像動き補正装置。 - 請求項３または請求項４記載の画像動き補正装置において、
撮像装置自体の振動の周波数帯域成分は、センサ出力または動き検出手段の出力から抽出することを特徴とする画像動き補正装置。 - 請求項１記載の構成に加えて、撮像系から得られた画像信号を記憶する記憶手段と、この記憶手段を駆動して画像信号の読み出しを制御する記憶手段駆動制御手段とを設け、
前記合成手段から出力される駆動信号によって前記光学的振れ補正系を駆動制御し、かつ、前記記憶手段駆動制御手段は、前記動き検出手段による動き検出結果に基づいて算出された別の駆動信号によって前記記憶手段からの画像信号の読み出しを制御して画像の動きを補正することを特徴とする画像動き補正装置。 - 請求項６記載の構成に加えて、前記記憶手段から読み出された画像信号に対し電子的拡大処理を施す電子ズ−ム手段を設け、 前記合成手段から出力される駆動信号によって前記光学的振れ補正系を駆動制御し、かつ、前記記憶手段駆動制御手段は、前記電子ズ−ム手段からの指令によって電子的拡大処理を実行する場合のみ、前記動き検出手段による動き検出結果に基づいて算出された別の駆動信号によって前記記憶手段からの画像信号の読み出しを制御して画像の動きを補正することを特徴とする画像動き補正装置。
- 固体撮像素子と、焦点距離が調整可能で且つ前記固体撮像素子上に被写体像を結像させるための撮像光学系、および光学的に撮影画像の動きを補正する光学的振れ補正系からなる撮像系と、前記光学的振れ補正系を駆動制御する光学的振れ補正系駆動制御手段とを具備したものにおいて、
撮像装置自体の動きを検出するセンサと前記撮像系から得られた画像信号に基づいて画像の動きを検出する動き検出手段とが併設されるとともに、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成して駆動信号を形成する信号合成手段を備え、
前記信号合成手段は、前記撮像光学系によって焦点距離が変化している期間中に動き検出手段の検出結果に基づいて得られる駆動信号の出力を停止する手段を有し、
前記撮像光学系によって焦点距離が変化している期間中は、前記センサにより検出された撮像装置自体の動きに関する情報から形成される駆動信号のみにより、また、焦点距離 が固定されている期間では、前記センサと前記動き検出手段による動き検出結果の双方の信号を合成することで形成される駆動信号により、それぞれ前記光学的振れ補正系を駆動制御して画像の動きを補正することを特徴とする画像動き補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31460496A JP3564247B2 (ja) | 1996-11-26 | 1996-11-26 | 画像動き補正装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31460496A JP3564247B2 (ja) | 1996-11-26 | 1996-11-26 | 画像動き補正装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10164425A JPH10164425A (ja) | 1998-06-19 |
| JP3564247B2 true JP3564247B2 (ja) | 2004-09-08 |
Family
ID=18055302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31460496A Expired - Fee Related JP3564247B2 (ja) | 1996-11-26 | 1996-11-26 | 画像動き補正装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3564247B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4536865B2 (ja) * | 2000-03-15 | 2010-09-01 | キヤノン株式会社 | ぶれ検出装置及び撮像装置 |
| JP4415596B2 (ja) * | 2003-07-28 | 2010-02-17 | 株式会社ニコン | 撮影レンズ、およびカメラシステム |
| US7880769B2 (en) * | 2004-02-13 | 2011-02-01 | Qualcomm Incorporated | Adaptive image stabilization |
| JP4556560B2 (ja) * | 2004-08-27 | 2010-10-06 | 株式会社ニコン | ブレ補正装置、およびカメラシステム |
| JP4400322B2 (ja) * | 2004-06-08 | 2010-01-20 | 株式会社ニコン | ブレ補正装置、およびカメラシステム |
| JP4759238B2 (ja) * | 2004-08-24 | 2011-08-31 | キヤノン株式会社 | 光学機器 |
| JP4725063B2 (ja) * | 2004-09-28 | 2011-07-13 | 株式会社ニコン | 像ブレ補正装置及びカメラ |
| JP4533266B2 (ja) * | 2005-07-05 | 2010-09-01 | キヤノン株式会社 | 光学機器およびその制御プログラム |
| JP4911997B2 (ja) * | 2006-03-08 | 2012-04-04 | パナソニック株式会社 | 撮像装置 |
| JP5839710B2 (ja) | 2012-09-27 | 2016-01-06 | 富士フイルム株式会社 | 解析点設定装置および方法、並びに体動検出装置および方法 |
| JP5940474B2 (ja) * | 2012-09-27 | 2016-06-29 | 富士フイルム株式会社 | 体動検出装置および方法 |
| JP6257288B2 (ja) * | 2013-12-03 | 2018-01-10 | キヤノン株式会社 | 撮像装置およびその制御方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2941815B2 (ja) * | 1988-09-09 | 1999-08-30 | キヤノン株式会社 | 撮像装置及びぶれ補正装置 |
| JP2803072B2 (ja) * | 1990-10-18 | 1998-09-24 | 富士写真フイルム株式会社 | 手振れ補正装置 |
| JPH07123317A (ja) * | 1993-10-21 | 1995-05-12 | Canon Inc | 防振機能付き撮影装置 |
| JPH07177418A (ja) * | 1993-12-20 | 1995-07-14 | Canon Inc | 画像振れ防止装置 |
-
1996
- 1996-11-26 JP JP31460496A patent/JP3564247B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10164425A (ja) | 1998-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8760526B2 (en) | Information processing apparatus and method for correcting vibration | |
| US6424372B1 (en) | Electronic image-movement correcting device with a variable correction step feature | |
| US9635258B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, image processing apparatus, and image processing method | |
| US20060132612A1 (en) | Motion picture taking apparatus and method | |
| KR101256961B1 (ko) | 촬상장치 | |
| US20110080494A1 (en) | Imaging apparatus detecting foreign object adhering to lens | |
| JPH09322057A (ja) | 撮像装置 | |
| JP3564247B2 (ja) | 画像動き補正装置 | |
| JP3250245B2 (ja) | 防振カメラ | |
| JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
| JPH09163215A (ja) | 撮像装置 | |
| JP3402770B2 (ja) | 像安定化装置及び撮影装置 | |
| JP4427701B2 (ja) | カメラ装置及びカメラ機能調整方法 | |
| JP2005303933A (ja) | 撮像装置 | |
| JPH11266389A (ja) | 撮像装置 | |
| KR100498042B1 (ko) | 안정된 영상을 획득할 수 있는 영상획득시스템 및 그안정화 방법 | |
| JP3298211B2 (ja) | ビデオカメラ及びビデオ再生装置 | |
| JP3865125B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JPH06133211A (ja) | 画像揺れ補正機能付光学装置 | |
| JP2011135537A (ja) | 撮像装置及び撮像装置の制御方法 | |
| JPH05191706A (ja) | 動画像の追跡カーソル発生回路 | |
| WO2021200191A1 (ja) | 画像処理装置および方法、並びにプログラム | |
| US20220408022A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JPH11266390A (ja) | 撮像装置 | |
| JP4195950B2 (ja) | 画像動き補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040607 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080611 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090611 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100611 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110611 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120611 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130611 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |