JP5778998B2 - 撮像装置、画像生成方法およびコンピュータプログラム - Google Patents

Description

本発明は撮像装置に関し、特に、手振れ補正機能を有する撮像装置に関する。

特許文献１は、手振れ補正機能を有するデジタルビデオカメラを開示する。このデジタルビデオカメラは、光学式の手振れ補正機能と、電子式の手振れ補正機能とを有している。このデジタルビデオカメラは、角速度センサを用いて、自装置の振れを検出する。このデジタルビデオカメラは、検出した自装置の振れを光学式の手振れ補正機能と電子式の手振れ補正機能とを用いて補正する。

これにより、このデジタルビデオカメラは、飛躍的に大きい補正角度を得て、大強度の振れでも十分に補正できる。

特開２００９−２７２８９０号公報

しかしながら、上記特許文献１に開示されているデジタルビデオカメラは、常に角速度センサを用いて自装置の振れを検出して光学式の手振れ補正機能および電子式の手振れ補正機能を実現するため、補正の精度は角速度センサの検出性能に依存してしまう。より具体的には、特許文献１に記載のデジタルビデオカメラは、角速度センサの検出限界を超えて自装置の細かな振れを精度良く検出することはできない。その結果、このデジタルビデオカメラでは、そのような細かな振れに起因する画像の振れを精度良く補正することができなかった。

たとえば図９（ａ）は、デジタルビデオカメラが実際に受ける振れの波形を示す。横軸は時間を表し、縦軸は振れに対応する角速度を示す。この波形には、相対的に低周波の振れ波形と高周波の振れ波形とが重畳されていることが理解される。一般的には、デジタルビデオカメラに与えられる手振れにおいて、高周波成分は微小振幅の手振れにより構成され、低周波成分は高周波成分と比較して大きな振幅の手振れにより構成される。

一方、図９（ｂ）は、デジタルビデオカメラ内の角速度センサが検出した振れの波形を示す。この波形は、図９（ａ）の低周波の振れ波形に相当する波形であり、高周波の振れ波形は含まれていない。その理由は、角速度センサが当該高周波の振れ波形を検出できるほどの検出性能を有していないためである。なお、このような高周波の振れ波形を角速度センサが仮に検出できたとしても、その波形の振幅は角速度センサの検出結果を示す信号のノイズ成分の振幅と同等程度になる。したがって、角速度センサからの信号を受け取った他の信号処理回路がそのような高周波の振れ波形をノイズ成分から抽出することは実質的には困難である。

図９（ｃ）は、図９（ａ）に示す波形を、上述の角速度センサの検出結果を用いて補正した後の波形を示す。補正後の波形は完全に平坦ではなく、上述した高周波の振れ波形が残存していることが理解される。

従来のデジタルビデオカメラにおいては、そのような高周波の振れが撮影画像の画質に与える影響は問題とされていなかった。その理由は、撮像素子の感度は比較的低く、また、撮像素子の画素数も少なかったため、使用者に感知できるほどの影響として画質へ顕れていなかったためである。

しかしながら、近年、撮像素子の感度の向上、撮像素子の画素数、レンズ性能の向上などに起因して、高周波の振れが撮影画像の画質に与える影響が顕在化してきている。

本発明は、上述の課題に鑑みてなされたものであって、その目的は、細かな手振れについても精度良く補正する技術を提供することにある。

本発明による撮像装置は、被写体像を形成する光学系と、前記被写体像を受けて前記被写体像を含む画像の信号を出力する撮像素子と、自装置の動きに応じて前記自装置の振れを検出するセンサと、前記画像の信号を受け取り、前記画像の一部を切り出して出力する画像処理部であって、前記画像の切り出し範囲を変更することにより、前記自装置の振れに起因する前記画像内の前記被写体像の振れを軽減する処理を行う画像処理部とを備えた撮像装置であって、前記画像処理部は、前記センサによって検出された前記自装置の振れの大きさに応じて、前記センサによって検出された前記自装置の振れに基づいて前記画像の切り出し範囲を変更するか、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更するかを切り換える。

前記画像処理部は、前記センサによって検出された前記自装置の振れが所定の値よりも大きいときは、前記センサによって検出された前記自装置の振れに基づいて前記画像の切り出し範囲を変更し、前記センサによって検出された前記自装置の振れが所定の値以下のときは、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更してもよい。

前記センサによって検出された前記自装置の振れが所定の値以下のとき、前記撮像素子は複数枚の画像の信号を出力し、前記画像処理部は、前記複数枚の画像を利用して、前記被写体像の動きを検出し、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更してもよい。

前記撮像装置は、前記被写体像の動き、および、前記センサによって検出された前記自装置の振れに基づいて、前記画像処理部に前記画像内の前記被写体像の振れを軽減する処理を行わせるか否かを決定する制御部をさらに備えていてもよい。

前記センサによって検出された前記自装置の振れが所定の値より大きいとき、前記撮像素子は複数枚の画像の信号を出力し、前記画像処理部は、前記複数枚の画像を利用して、前記被写体像の動きを検出し、前記センサによって検出された前記自装置の振れおよび前記被写体像の動きに基づいて前記画像の切り出し範囲を変更してもよい。

前記撮像装置は、前記センサによって検出された前記自装置の振れに基づいて前記光学系の光軸をずらすことにより、前記自装置の振れに起因する前記画像内の前記被写体像の振れを軽減する処理を行う補正回路をさらに備えていてもよい。

本発明による画像生成方法は、光学系と、撮像素子と、センサとを有する撮像装置を用いた画像の生成方法であって、前記光学系を用いて被写体像を形成するステップと、前記撮像素子において被写体像を受けて、前記被写体像を含む画像の信号を生成するステップと、前記センサを用いて、前記撮像装置の動きに応じて前記撮像装置の振れを検出するステップと、生成された前記画像の切り出し範囲を変更することにより、前記自装置の振れに起因する前記画像内の前記被写体像の振れを軽減して出力するステップとを包含し、前記被写体像の振れを軽減して出力する前記ステップは、前記センサによって検出された前記撮像装置の振れの大きさに応じて、前記センサによって検出された前記自装置の振れに基づいて前記画像の切り出し範囲を変更するか、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更するかを切り換える。

本発明によるコンピュータプログラムは、光学系と、撮像素子と、センサとを有する撮像装置のコンピュータによって実行される、記録媒体に記録されたコンピュータプログラムであって、前記コンピュータプログラムは、前記コンピュータプログラムを実行する前記コンピュータに、前記光学系を用いて被写体像を形成するステップと、前記撮像素子において被写体像を受けて、前記被写体像を含む画像の信号を生成するステップと、前記センサを用いて、前記撮像装置の動きに応じて前記撮像装置の振れを検出するステップと、生成された前記画像の切り出し範囲を変更することにより、前記自装置の振れに起因する前記画像内の前記被写体像の振れを軽減して出力するステップとを実行させ、前記被写体像の振れを軽減して出力する前記ステップは、前記センサによって検出された前記撮像装置の振れの大きさに応じて、前記センサによって検出された前記自装置の振れに基づいて前記画像の切り出し範囲を変更するか、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更するかを切り換える、コンピュータプログラム。

本発明によれば、細かな手振れを比較的精度良く補正できる技術を提供できる。

デジタルビデオカメラ１００の構成を示すブロック図である。 ジャイロセンサ２２０による振れ検出を説明するための模式図である。 （ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示す図である。 動きベクトルの検出方法の例を示す図である。 電子式手振れ補正を説明するための模式図である。 デジタルビデオカメラ１００における手振れ補正制御動作を説明するためのフローチャートである。 （ａ）〜（ｄ）は、上述のステップＳ１１０からステップＳ１４０までの処理に関連する波形例を示す図である。 （ａ）〜（ｄ）は、上述のステップＳ１１０からステップＳ１７０までの処理に関連する波形例を示す図である。 （ａ）はデジタルビデオカメラが実際に受ける振れの波形を示す図であり、（ｂ）はデジタルビデオカメラ内の角速度センサが検出した振れの波形を示す図であり、（ｃ）は図９（ａ）に示す波形を、上述の角速度センサの検出結果を用いて補正した後の波形を示す図である。

本発明は、撮像機能を有する電子機器、すなわち撮像装置として実施される。たとえば、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付きの携帯電話は、そのような電子機器に含まれる。また、当該電子機器を動作させるためのコンピュータプログラム、および、コンピュータプログラムを記録した記録媒体も本発明の範疇である。

以下、添付の図面を参照しながら、本発明による撮像装置の実施形態を説明する。以下の実施形態においては、本発明にかかる電子機器はデジタルビデオカメラであるとして説明する。

〔１．構成〕
まず、図１を参照しながら、本実施形態にかかるデジタルビデオカメラの構成を説明する。

図１は、デジタルビデオカメラ１００の構成を示すブロック図である。デジタルビデオカメラ１００は、ズームレンズ１１０等からなる光学系により形成された被写体像をＣＣＤイメージセンサー１８０（「撮像素子」とも呼ぶ。）で撮像する。ＣＣＤイメージセンサー１８０で生成された映像データは、画像処理部１９０で各種処理が施され、メモリカード２４０に格納される。また、メモリカード２４０に格納された映像データは、液晶モニタ２７０で表示可能である。以下、デジタルビデオカメラ１００の構成を詳細に説明する。

デジタルビデオカメラ１００の光学系は、ズームレンズ１１０、光学式手振れ補正回路（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ；ＯＩＳ）１４０、フォーカスレンズ１７０を含む。ズームレンズ１１０は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。また、フォーカスレンズ１７０は、光学系の光軸に沿って移動することにより、被写体像の焦点距離を調整する。

ＯＩＳ１４０は、その内部に、光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１４０は、デジタルビデオカメラ１００の振れを相殺する方向に補正レンズを駆動することにより、被写体像の振れを低減する。

ズームモータ１３０は、ズームレンズ１１０を駆動する。ズームモータ１３０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１３０は、カム機構やボールネジなどの機構を介してズームレンズ１１０を駆動するようにしてもよい。検出器１２０は、ズームレンズ１１０が光軸上でどの位置に存在するのかを検出する。検出器１２０は、ズームレンズ１１０の光軸方向への移動に応じて、ブラシ等のスイッチによりズームレンズの位置に関する信号を出力する。

ＯＩＳアクチュエータ１５０は、ＯＩＳ１４０内の補正レンズを光軸と垂直な面内で駆動する。ＯＩＳアクチュエータ１５０は、平面コイルや超音波モータなどで実現できる。また、検出器１６０は、ＯＩＳ１４０内における補正レンズの移動量を検出する。

ＣＣＤイメージセンサー１８０は、ズームレンズ１１０等からなる光学系で形成された被写体像を撮像して、映像データを生成する。ＣＣＤイメージセンサー１８０は、露光、転送、電子シャッタなどの各種動作を行う。

上述した光学系および撮像素子１８０は、画像の撮影に際して用いられる。これらはまとめて「撮像部」とも呼ばれることがある。

画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して各種の処理を施す。より具体的に説明すると、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して処理を施し、液晶モニタ２７０に表示するための映像データを生成する。また、メモリカード２４０に再格納するための映像データを生成したりする。例えば、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１９０は、ＣＣＤイメージセンサー１８０で生成された映像データに対して、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により映像データを圧縮する。画像処理部１９０は、ＤＳＰやマイコンなどで実現可能である。ただし、画像処理部１９０は、ハードウェアとソフトウェアとを組み合わせることによって実現してもよい。

コントローラー２１０は、デジタルビデオカメラ１００全体を動作を制御する。コントローラー２１０は、半導体素子などで実現可能である。コントローラー２１０もまた、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラー２１０は、マイコンなどで実現できる。

メモリ２００は、画像処理部１９０及びコントローラー２１０のワークメモリとして機能する。メモリ２００は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

液晶モニタ２７０は、ＣＣＤイメージセンサー１８０で生成した映像データが示す画像や、メモリカード２４０から読み出した映像データが示す画像を表示可能である。

ジャイロセンサ２２０は、圧電素子等の振動材等で構成される。ジャイロセンサ２２０は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度に関する情報（「角速度情報」）を得る。ジャイロセンサ２２０から角速度情報を得て、この揺れを相殺する方向にＯＩＳ内の補正レンズを駆動させることにより、デジタルビデオカメラ１００は、使用者による手振れを補正する。

なお、本実施形態ではジャイロセンサ２２０から出力されるジャイロ信号（角速度情報）を利用した例を説明するが、これは一例である。たとえばジャイロセンサ２２０に代えて角加速度センサや加速度センサを用いてもよい。いずれも自装置の動きに基づいて自装置の振れを検出する検出機能を有している。

カードスロット２３０は、メモリカード２４０を着脱可能である。カードスロット２３０は、機械的及び電気的にメモリカード２４０と接続可能である。メモリカード２４０は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。

内部メモリ２８０は、フラッシュメモリや強誘電低メモリなどで構成される。内部メモリ２８０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を格納する。コントローラー２１０および／または画像処理部１９０はこの制御プログラムの全部または一部を実行することにより、後述の図６に示す処理を行うことが可能である。

操作部２５０は、使用者から画像の撮像指示を受け付ける。ズームレバー２６０は、使用者からズーム倍率の変更指示を受け付ける。

〔２．手振れ補正〕
本実施形態にかかるデジタルビデオカメラ１００は、手振れ補正機能を有する。手振れ補正機能とは、自装置の振れが撮影された画像に与える影響を低減する機能である。

撮影された画像に与える影響を低減するために、まず、デジタルビデオカメラ１００は、自装置の振れを検出する。デジタルビデオカメラ１００は、自装置の振れの検出方法として２種類の方法を有する。具体的には、ジャイロセンサ２２０を用いて角速度を検出する方法、および、撮影された複数の画像から画像の動きを検出し、その動きを自装置の振れとして検出する方法（動き検出方法）である。

また、撮影された画像に与える影響を低減するために、デジタルビデオカメラ１００は、検出した振れを補正する。デジタルビデオカメラ１００は、振れの補正方法として２種類の方法を有する。具体的には、光学式手振れ補正方法、および、電子式手振れ補正方法である。

以下、２種類の自装置の振れの検出方法と、２種類の振れの補正方法を詳細に説明する。

〔２−１．振れの検出方法〕
まず、自装置の振れの検出方法を説明する。

〔２−１−１．ジャイロセンサ２２０による振れの検出〕
ジャイロセンサ２２０による振れ検出を、図２を用いて説明する。図２は、ジャイロセンサ２２０による振れ検出を説明するための模式図である。

ジャイロセンサ２２０は、自装置に与えられた振れに応じた電気信号（ジャイロ信号）を出力する。このジャイロ信号は、上述した角速度情報である。

図２は、自装置に与えられた振れの角度を示す波形（１）と、ジャイロセンサ２２０が検出した、自装置の振れの角速度を示すジャイロ信号の波形（２）とを示している。図９を参照しながら説明したように、ジャイロセンサ２２０から出力されるジャイロ信号には、実際に自装置に与えられた振れのうち、相対的に低周波の振れ波形のみが含まれており、高周波の振れ波形は含まれないことに留意されたい。

コントローラー２１０は、ジャイロセンサ２２０から取得したジャイロ信号を積分することで振れの角度を演算する。コントローラー２１０は、この演算結果に基づいて、ＯＩＳアクチュエータ１５０の駆動量を決定する。

〔２−１−２．撮影された画像に基づく動きの検出〕
次に、撮影された画像に基づく動き検出を、図３および図４を用いて説明する。図３および図４は、撮影された画像に基づく動き検出を説明するための模式図である。

画像処理部１９０は、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、撮影された画像の動き（オプティカルフロー）を検出する。

画像処理部１９０は、撮像した画像の差分を計算できる。具体的には画像処理部１９０は、撮像された１つの画像（基準フレーム）と、その画像よりも後に撮像された画像（参照フレーム）との差分を計算する。

図３（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。画像処理部１９０は、基準とするフレーム（動きを求めるべく着目している時刻ｔにおける画像）内に、図３（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、たとえば着目フレームの次のフレームが利用されることが多い。

探索範囲は、図３（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図３（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、差分を用いた演算、たとえば残差平飽和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、残差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を利用して評価することが可能である。演算の結果、画像処理部１９０は、撮影された画像に基づく動き検出結果として、動いた方向および動き量（これらはまとめて「動きベクトル」とも呼ばれる。）を生成する。

画像処理部１９０は、計算した動きベクトルをコントローラー２１０に出力する。コントローラー２１０は、この動きベクトルに基づいて、画像の動いた方向及び動き量を認識する。つまり、コントローラー２１０は、この動きベクトルに基づいて、自装置の振れの方向及び量を認識する。

ここで図４を参照しながら、動きベクトルの検出の具体例を説明する。図４は動きベクトルの検出方法の例を示す。図４において、実線で示された被写体像は、時刻ｔ０における画像に存在する。一方、点線で示された被写体像は、時刻ｔ１における画像に存在する。説明の簡単化のため、図示された被写体に対して、窓領域が設定されたとする。実線で示された被写体像は、１０画素右側の点線で示された被写体像に移動したとする。

時刻ｔ１における画像は、ｔ０の１／６０秒後に撮像された画像である。画像処理部１９０は、時刻ｔ０の画像と時刻ｔ１の画像間の差分を計算できる。その結果、画像処理部１９０は、画像の動いた方向は右方向であると特定し、動き量は１０画素であると特定する。画像処理部１９０は、計算した動きベクトルをコントローラー２１０に出力する。コントローラー２１０は、取得した動きベクトルに基づいて、自装置が左側に１０画素振れたことを認識する。これは、画像が右側に１０画素振れたことが検出されたため、自装置はその反対方向に移動したことを意味している。

〔２−２．振れの補正方法〕
次に、自装置の振れが撮影された画像に与える影響の低減方法を説明する。

〔２−２−１．光学式手振れ補正〕
光学式手振れ補正とは、自装置の振れに応じて、光学系の光軸をずらすことにより、自装置の振れが撮影された画像に与える影響を低減する補正方法である。上述したように、デジタルビデオカメラ１００は、ＯＩＳ１４０を有する。デジタルビデオカメラ１００は、自装置の振れを相殺するように、ＯＩＳ１４０を駆動し、光学系内の光軸をずらす。これにより、デジタルビデオカメラ１００は、自装置の振れによる撮影された画像への影響を低減できる。

〔２−２−２．電子式手振れ補正〕
電子式手振れ補正を、図５を用いて説明する。図５は、電子式手振れ補正を説明するための模式図である。電子式手振れ補正とは、自装置の振れに応じて、撮影された画像のうちの切り出し範囲を変更することにより、自装置の振れが撮影された画像に与える影響を低減する補正方法である。

具体例を図５を用いて説明する。

図５は、ＣＣＤイメージセンサー１８０が出力した信号が示す全体画像２９０と、切り出し範囲３００ａおよび３００ｂとの関係を示す。ＣＣＤイメージセンサー１８０は、図５の全体画像２９０として示される、全ての撮像素子を用いて撮像された画像の画像信号を出力する。デジタルビデオカメラ１００は、全体画像２９０のうちの一部の画像を切り出す。デジタルビデオカメラ１００は、切り出した画像をメモリカード２４０に記録したり、液晶モニタ２７０に表示したりする。例えば、切り出し画像３００がメモリカード２４０に記録されたり、液晶モニタ２７０に表示されたりする。

ここで、実線で示された画像３００ａは、時刻ｔ０に撮像された画像である。一方、点線で示された画像３００ｂは、時刻ｔ１に撮像された画像である。時刻ｔ１における画像３００ｂは、時刻ｔ０の１／６０秒後に撮像された画像である。

画像処理部１９０は、全体画像２９０から映像出力に使用する切り出し範囲３００の位置を変更することができる。時刻ｔ０から時刻ｔ１にかけて振れが発生した時、振れを相殺するように、それまでの全体画像２９０からの切り出し範囲３００ａを、切り出し範囲３００ｂに変更することで、自装置の振れが撮影された画像に与える影響を低減できる。

〔３．手振れ補正制御〕
次に、図６を参照しながら、本実施形態にかかるデジタルビデオカメラ１００の手振れ補正制御を説明する。

図６は、デジタルビデオカメラ１００における手振れ補正制御動作を説明するためのフローチャートである。なお、手振れ補正制御によって生成された一連の画像は、モニタ２７０に表示されてもよいし、そのデータが圧縮されてメモリカード２４０に記録されてもよい。

デジタルビデオカメラ１００の振れ検出方法は、上述したジャイロセンサ２２０による振れ検出と撮影された画像に基づく動き検出を併用する。また振れ補正方法は、上述した光学式手振れ補正と電子式手振れ補正を併用する。

使用者は、操作部材２５０を操作することにより、デジタルビデオカメラ１００を撮像モードに設定できる（Ｓ１００）。撮像モードに設定されると、デジタルビデオカメラ１００は、使用者による手振れの補正を開始する。

まず、コントローラー２１０は、ジャイロセンサ２２０の出力（角速度情報）を取得する（Ｓ１１０）。コントローラー２１０は、角速度情報を所定の期間だけ積分して角度の情報を生成する。

コントローラー２１０は、取得したジャイロ信号に基づいて、振れを相殺するようにＯＩＳ１４０を駆動する（Ｓ１２０）。すなわち、コントローラー２１０は光学式手振れ補正制御を行う。但し、自装置の振れが大きすぎる場合は、ＯＩＳ１４０の駆動範囲では振れを補正しきれないため、手振れが残留する。また、自装置の振れが小さすぎる場合は、ジャイロセンサ２２０の分解能では振れを検出できないため、手振れが残留する。また、自装置の振れが並進方向である場合には、ジャイロセンサ２２０が振れを検出できないため、手振れが残留する。

ＯＩＳ１４０を駆動すると、コントローラー２１０は、取得したジャイロ信号から得られた角度の情報と所定の値とを比較する（Ｓ１３０）。所定の値とは、たとえば０．３度である。

取得したジャイロ信号が所定の値より大きい場合、コントローラー２１０は、取得したジャイロ信号に基づいて、電子式手振れ補正による補正量を決定する（Ｓ１４０）。具体的には、取得したジャイロ信号のうち、ある所定の値以下はステップＳ１２０の光学式手振れ補正制御によって補正されているため、ある所定の値以上の信号成分を電子式手振れ補正による補正量として決定する。補正量を決定すると、コントローラー２１０は、撮影された画像を電子的に補正するよう画像処理部１９０を制御する（Ｓ１４０）。

ここで、図７（ａ）〜（ｄ）は、上述のステップＳ１１０からステップＳ１４０までの処理に関連する波形例を示す。図７（ａ）は、デジタルビデオカメラ１００が実際に受けた振れの波形を示す。この波形には、相対的に低周波の振れ波形と高周波の振れ波形とが重畳されている。そして図７（ｂ）は、ステップＳ１１０において取得されたジャイロ信号から得られた角度に関する波形を示す。図７（ｂ）に示す範囲Ｄは、ＯＩＳ１４０で補正可能な振幅の範囲を示している。従って、範囲Ｄを超える部分の振幅は、ジャイロ信号により検出できている範囲に含まれてはいるが、光学式手振れ補正制御によって完全に補正することができない。

このような状況下で図６のステップＳ１２０で光学式手振れ補正が行われる。図７（ｃ）は、図７（ｂ）の波形から、補正可能な範囲Ｄに含まれる波形を除去した後の波形を示す。すなわち図７（ｃ）に示す信号は、ジャイロ信号に基づいて生成される信号である。この波形は、ジャイロセンサ２２０が検出する振れのうち、光学式手振れ補正制御によって補正された振れ（振幅値０の部分）と、光学式手振れ補正制御によっては補正されなかった振れ（振幅値が０でない部分）とを表している。つまり、図７（ｃ）に示す波形は、光学式手振れ補正制御を行った場合において補正すべき振れを示していると言える。

コントローラー２１０は、図７（ｃ）に示す波形の振れが残存していると認識している。これは、生成された画像には、光学式手振れ補正がなされなかった振れの影響が含まれていることを意味する。コントローラー２１０は、図７（ｃ）に示す信号に基づいて、残った振れの影響を含む画像を電子的に補正するよう画像処理部１９０を制御する（Ｓ１４０）。

そして図７（ｄ）は、図７（ｃ）に示す波形を利用して電子式手振れ補正制御を行った結果を示している。この結果、低周波の振れ波形についてはＯＩＳ１４０の補正範囲を超えて、自装置の振れを補正できる。高周波の振れが残存する理由は、ここで行われた電子式手振れ補正はジャイロ信号に基づいて行われたためである。この理由は、図９（ｃ）に示される高周波の振れが残存していた理由と同じである。なお図８（ｄ）に関連して後述するように、被写体像の動きに基づく電子式手振れ補正を行った場合には、そのような高周波の振れを抑えることができる。

なお、図６のステップＳ１４０に示す「取得したジャイロ信号に基づいて」とは、図７（ｂ）に示すジャイロ信号の波形から図７（ｃ）に示す波形を求め、得られた図７（ｃ）に示す波形に基づいて、という意味である。

再び図６を参照する。

ステップＳ１３０において、取得したジャイロ信号から得られた角度の情報が所定の値以下場合、画像処理部１９０は、撮影された画像に基づいて画像の動きベクトルを検出し、コントローラー２１０に出力する（Ｓ１５０）。コントローラー２１０は、画像処理部１９０から取得した動きベクトルと、ジャイロセンサ２２０から取得したジャイロ信号とを比較することで、電子式手振れ補正による補正量を決定する（Ｓ１６０）。

このように、デジタルビデオカメラ１００は、画像処理部１９０から取得した動きベクトルと、ジャイロセンサ２２０から取得したジャイロ信号とを比較する。このような比較を行う理由を説明する。撮影された画像に基づく動き検出によれば、カメラ振れした場合も、被写体が動いた場合も、動きベクトルが検出されることになる。一方、ジャイロセンサ２２０に基づく振れ検出によれば、被写体動作に関わらず、カメラが回転方向に振れた場合にのみ振れ信号が検出される。たとえば動きベクトルによって示される動き量が大きいにもかかわらず、ジャイロセンサ２２０からのジャイロ信号が非常に小さい場合には、被写体のみが動き、デジタルビデオカメラ１００は動いていないと推測される。このような場合には、電子式手振れ補正を行ったとしても画質の向上を望むことは困難である。そのためコントローラ２１０は画像処理部１９０に指示を送信し、電子式手振れ補正を行わせない。一方、動きベクトルによって示される動き量が比較的大きく、ジャイロセンサ２２０からのジャイロ信号も比較的大きい場合には、デジタルビデオカメラ１００が動いたと推測される。このとき、コントローラ２１０は、画像処理部１９０に指示を送信し、電子式手振れ補正を行わせる。

よって、ジャイロ信号と動きベクトルとを比較することで、被写体が動いた場合の動き量を手振れとして認識する確率を低減できる。補正量を決定すると、コントローラー２１０は、撮影された画像を電子的に補正するよう画像処理部１９０を制御する（Ｓ１７０）。

ここで、図８（ａ）〜（ｄ）は、上述のステップＳ１１０からステップＳ１７０までの処理に関連する波形例を示す。図８（ａ）は、デジタルビデオカメラ１００が実際に受けた振れの波形を示す。この波形には、相対的に低周波の振れ波形と高周波の振れ波形とが重畳されている。そして図８（ｂ）は、ステップＳ１１０において取得されたジャイロ信号から得られた角度に関する波形を示す。図８（ｂ）に示す範囲Ｄは、ＯＩＳ１４０で補正可能な振幅の範囲を示している。図８（ｂ）の例では、自装置が受ける振れの大きさは、ＯＩＳ１４０で補正可能な範囲の振幅である。図６のステップＳ１２０において行われた光学式手振れ補正の結果、図８（ｃ）に示す波形が示す振れが残存することとなる。

そして処理はステップＳ１３０からステップＳ１５０以降に進む。ステップＳ１５０およびＳ１６０では、コントローラ２１０は、撮影した複数の画像から検出された被写体の動きベクトルとジャイロ信号とを比較し、電子式手振れ補正による補正量を決定する。図８（ｄ）は、決定された補正量を利用して電子的補正された後の波形を示す。図８（ｄ）によれば、低周波の振れのみならず高周波の振れも除去されていることが理解される。

このように、本実施形態にかかるデジタルビデオカメラ１００は、電子式手振れ補正の補正量を決定する際に、自装置の振れの大きさに応じて、ジャイロセンサ２２０により検出した自装置の振れを補正するか、撮影された画像に基づいて検出した自装置の振れを補正するかを切り替える。これにより、自装置の振れが小さすぎたとしても、ジャイロセンサ２２０の分解能では検出できない振れを検出し、補正できる。

また、本実施形態にかかるデジタルビデオカメラ１００は、光学式手振れ補正による補正後に残留した振れを低減するために、電子式手振れ補正を行う。電子式手振れ補正の補正量を決定する際に、自装置の振れの大きさに応じて、ジャイロセンサ２２０により検出した自装置の振れを補正するか、撮影された画像に基づいて検出した自装置の振れを補正するかを切り替える。これにより、自装置の振れが小さすぎたとしても、ジャイロセンサ２２０の分解能では検出できない振れを検出し、補正できる。また、自装置の振れが大きすぎたとしても、ＯＩＳ１４０の駆動範囲では補正しきれない振れを補正できる。

以上、本発明の実施形態を説明した。上述の実施形態は本発明の一例に過ぎず、本発明は、これらには限定されない。そこで、以下、上述の実施形態の変形例とともに、本発明の範疇に属する変形例を説明する。

本実施形態にかかるデジタルカメラ１００の光学系及び駆動系は、図１に示すものに限定されない。例えば、図１では３群構成の光学系を例示しているが、他の群構成のレンズ構成としてもよい。また、それぞれのレンズは、１つのレンズで構成してもよく、複数のレンズから構成されるレンズ群として構成してもよい。

また、本実施形態では、撮像手段として、ＣＣＤイメージセンサー１８０を例示したが、本発明はこれに限定されない。例えば、ＣＭＯＳイメージセンサーで構成してもよく、ＮＭＯＳイメージセンサーで構成してもよい。

また、本実施形態では、光学式手振れ補正後に残留した振れを補正する際に、電子式の手振れ補正を行った。しかしながら、本発明は必ずしもこのような構成に限定されない。例えば、電子式手振れ補正のみを有するような構成にも適用できる。

なお、図６のステップＳ１４０では、ジャイロセンサ２２０の出力信号に基づいて得られた信号のみを用いて手振れ補正制御を行うと説明した。しかしながら、被写体像の動き検出を行って、検出された動きベクトルをさらに利用して自装置の振れを検出してもよい。その場合には、ステップＳ１４０において、電子的補正制御によって低周波の振れを補正し、その後、動き検出を行うことにより、高周波の振れ（図７（ｄ））を補正することが可能である。動き検出処理の詳細は先に説明したとおりであるから、その説明は省略する。

また、本実施形態では、ジャイロセンサ２２０により検出した振れの大きさが所定の値より大きいか小さいかで、ジャイロセンサ２２０により検出した振れを補正するか、撮影された画像に基づいて検出した振れを補正するかを切り替えることとした。しかしながら、必ずしも、このような構成である必要はない。例えば、撮影された画像に基づいて検出した振れの大きさが所定の値より大きいか小さいかで、ジャイロセンサ２２０により検出した振れを補正するか、撮影された画像に基づいて検出した振れを補正するかを切り替えてもよい。

上述した説明では、デジタルビデオカメラを一例として挙げて説明した。しかしながら、たとえばスチルカメラであってもよい。近年、スチルカメラには動画撮影機能は具備されており、またジャイロセンサ２２０も設けられていることが多いためである。なお、撮影モードは動画モードには限られず、たとえば連続撮影モード（連写モード）であってもよい。連写モードを有していれば、電子的補正において複数枚撮影された画像から、動き検出が可能だからである。

本発明は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に適用できる。

１００ デジタルカメラ
１１０ ズームレンズ
１２０ 検出器
１３０ ズームモータ
１４０ ＯＩＳ
１５０ ＯＩＳアクチュエータ
１６０ 検出器
１７０ フォーカスレンズ
１８０ ＣＣＤイメージセンサー
１９０ 画像処理部
２００ メモリ
２１０ コントローラー
２２０ ジャイロセンサ
２３０ カードスロット
２４０ メモリカード
２５０ 操作部材
２６０ ズームレバー
２７０ 液晶モニタ
２８０ 内部メモリ

Claims (8)

1. 被写体像を形成し、補正レンズを含む光学系と、
   前記被写体像を受けて前記被写体像を含む画像の信号を出力する撮像素子と、
   自装置の動きに応じて前記自装置の振れを検出するセンサと、
   前記画像の信号を受け取り、前記画像の一部を切り出して出力する画像処理部であって、前記画像の切り出し範囲を変更することにより、前記自装置の振れに起因する前記画像内の前記被写体像の振れを軽減する処理を行う画像処理部と、
   前記自装置全体の動作を制御する制御部と、
   を備え、
   前記制御部は、前記センサによって検出された前記自装置の振れに基づいて前記自装置の振れを相殺する方向に前記補正レンズを駆動させて、光学式手振れ補正を行うように制御し、
   前記画像処理部は、前記光学式手振れ補正の後に、前記センサによって検出された前記自装置の振れの大きさに応じて、前記センサによって検出された前記自装置の振れに基づいて前記画像の切り出し範囲を変更するか、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更するかを切り換える、撮像装置。
2. 前記画像処理部は、
   前記センサによって検出された前記自装置の振れが所定の値よりも大きいときは、前記センサによって検出された前記自装置の振れに基づいて前記画像の切り出し範囲を変更し、
   前記センサによって検出された前記自装置の振れが所定の値以下のときは、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更する、請求項１に記載の撮像装置。
3. 前記センサによって検出された前記自装置の振れが所定の値以下のとき、
   前記撮像素子は複数枚の画像の信号を出力し、
   前記画像処理部は、前記複数枚の画像を利用して、前記被写体像の動きを検出し、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更する、請求項２に記載の撮像装置。
4. 前記制御部は、前記被写体像の動き、および、前記センサによって検出された前記自装置の振れに基づいて、前記画像処理部に前記画像内の前記被写体像の振れを軽減する処理を行わせるか否かを決定する、請求項３に記載の撮像装置。
5. 前記センサによって検出された前記自装置の振れが所定の値より大きいとき、
   前記撮像素子は複数枚の画像の信号を出力し、
   前記画像処理部は、前記複数枚の画像を利用して、前記被写体像の動きを検出し、前記センサによって検出された前記自装置の振れおよび前記被写体像の動きに基づいて前記画像の切り出し範囲を変更する、請求項２に記載の撮像装置。
6. 前記センサによって検出された前記自装置の振れに基づいて前記光学系の光軸をずらすことにより、前記自装置の振れに起因する前記画像内の前記被写体像の振れを軽減する処理を行う補正回路をさらに備えた、請求項２に記載の撮像装置。
7. 補正レンズを含む光学系と、撮像素子と、センサとを有する撮像装置を用いた画像の生成方法であって、
   前記光学系を用いて被写体像を形成するステップと、
   前記撮像素子において被写体像を受けて、前記被写体像を含む画像の信号を生成するステップと、
   前記センサを用いて、前記撮像装置の動きに応じて前記撮像装置の振れを検出するステップと、
   生成された前記画像の切り出し範囲を変更することにより、自装置の振れに起因する前記画像内の前記被写体像の振れを軽減して出力するステップと、
   前記センサによって検出された前記自装置の振れに基づいて前記自装置の振れを相殺する方向に前記補正レンズを駆動して、光学式手振れ補正を行うステップと、
   を包含し、
   前記光学式手振れ補正を行う前記ステップの後で、前記被写体像の振れを軽減して出力する前記ステップは、前記センサによって検出された前記撮像装置の振れの大きさに応じて、前記センサによって検出された前記自装置の振れに基づいて前記画像の切り出し範囲を変更するか、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更するかを切り換える、画像生成方法。
8. 補正レンズを含む光学系と、撮像素子と、センサとを有する撮像装置のコンピュータによって実行される、記録媒体に記録されたコンピュータプログラムであって、
   前記コンピュータプログラムは、前記コンピュータプログラムを実行する前記コンピュータに、
   前記光学系を用いて被写体像を形成するステップと、
   前記撮像素子において被写体像を受けて、前記被写体像を含む画像の信号を生成するステップと、
   前記センサを用いて、前記撮像装置の動きに応じて前記撮像装置の振れを検出するステップと、
   生成された前記画像の切り出し範囲を変更することにより、自装置の振れに起因する前記画像内の前記被写体像の振れを軽減して出力するステップと、
   前記センサによって検出された前記自装置の振れに基づいて前記自装置の振れを相殺する方向に前記補正レンズを駆動して、光学式手振れ補正を行うステップと、
   を実行させ、
   前記光学式手振れ補正を行う前記ステップが実行された後で、前記被写体像の振れを軽減して出力する前記ステップは、前記センサによって検出された前記撮像装置の振れの大きさに応じて、前記センサによって検出された前記自装置の振れに基づいて前記画像の切り出し範囲を変更するか、前記被写体像の動きに基づいて前記画像の切り出し範囲を変更するかを切り換える、コンピュータプログラム。

Images