JP2016118701A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】光学式像振れ補正機構の振れに起因する像振れの影響を低減する。【解決手段】光学的に補正を行う第１の像振れ補正手段と、電子的に補正を行う第２の像振れ補正手段と、撮像装置の振れを検出して振れ信号を出力する振れ検出手段と、振れ信号に基づいて第１の像振れ補正量を演算する第１の補正量演算手段と、第１の像振れ補正手段により駆動される光学系の一部又は撮像素子の位置を示す値を出力する位置検出手段と、第１の像振れ補正量に基づいて、第１の像振れ補正手段のための第２の像振れ補正量を演算する第２の補正量演算手段と、第１の像振れ補正量と、位置検出手段で検出された光学系の一部又は撮像素子の位置を示す値とに基づいて、第２の像振れ補正手段のための第３の像振れ補正量を演算する第３の補正量演算手段と、を備えることを特徴とする撮像装置。【選択図】図３

Description

本発明は、像振れ補正機能を有する撮像装置及びその制御方法に関するものである。

撮影者の手振れ等による撮像装置の振れを検出し、この振れに起因する像振れを補正する技術の一つとして、振れに応じて像振れ補正レンズを移動させる像振れ補正技術が知られている。このような方式の像振れ補正機能を、光学式像振れ補正又は光学防振という。

また、振れに応じて撮影画像の一部を切り出して出力することにより、動画撮影時の撮影画像の振れを補正する像振れ補正機能が知られている。このような方式の像振れ補正機能を、電子式像振れ補正又は電子防振という。

また近年では動画撮影時において、特にワイド側（広角側）の像振れ補正範囲を広げることにより、歩き撮り等により生じる大きな像振れに対する像振れ補正の効果を高める技術も知られている。このとき、光学式像振れ補正と電子式像振れ補正を併用することで、より大きな補正効果が得られ、より大きな像振れにも対応可能とする技術も知られている。

このような光学式像振れ補正と電子式像振れ補正を併用する技術として次のようなものが知られている。例えば、特許文献１には、検出された像振れ信号をフィルタにより高周波の像振れ信号と低周波の像振れ信号とに分割し、高周波の像振れは光学式像振れ補正で補正し、低周波の像振れは電子式像振れ補正で補正する技術が開示されている。これにより、制御演算が効率的になり、補正効果が向上する。

また特許文献２には、像振れ量がある一定値より小さい場合は、電子式像振れ補正で補正し、像振れ量がその一定値以上の場合は、光学式像振れ補正で補正することで、補正範囲を拡大し、補正効果を向上させる技術が開示されている。

特開２０１０−００４３７０号公報 特許第２８０３０７２号公報

しかしながら、上述の光学式像振れ補正はレンズ等の補正機構に対しメカニカルな制御を行うものである。したがって、光学式像振れ補正ユニットを有する撮像装置が、歩き撮り、走り撮り等による大きな振動を受けた場合、光学式像振れ補正機構の振れに起因する像振れが生じ得る。

本発明は上述した課題に鑑みてなされたものであり、その目的は、光学式像振れ補正機構の振れに起因する像振れの影響が低減された撮像装置を提供することである。

本発明の一実施形態に係る撮像装置は、光学系で形成された被写体像を光電変換する撮像素子と、被写体像の振れを補正する方向に光学系の一部又は撮像素子を駆動させることにより、光学的に補正を行う第１の像振れ補正手段と、被写体像の振れを補正する方向に撮像素子の読み出し位置を制御することにより、電子的に補正を行う第２の像振れ補正手段と、撮像装置の振れを検出して振れ信号を出力する振れ検出手段と、振れ信号に基づいて第１の像振れ補正量を演算する第１の補正量演算手段と、第１の像振れ補正手段により駆動される光学系の一部又は撮像素子の位置を示す値を出力する位置検出手段と、第１の像振れ補正量に基づいて、第１の像振れ補正手段のための第２の像振れ補正量を演算する第２の補正量演算手段と、第１の像振れ補正量と、位置検出手段で検出された光学系の一部又は撮像素子の位置を示す値とに基づいて、第２の像振れ補正手段のための第３の像振れ補正量を演算する第３の補正量演算手段と、を備えることを特徴とする。

本発明によれば、光学式像振れ補正機構の振れに起因する像振れの影響が低減された撮像装置を提供することが可能となる。

本発明の第１の実施形態に係る撮像装置のブロック図である。 ピッチ方向、ヨー方向、ロール方向を説明する図である。 本発明の第１の実施形態に係る像振れ補正制御部のブロック図である。 焦点距離と像振れ補正範囲の関係を示すグラフである。 焦点距離と係数Ｋの関係を示すグラフである。 ローリングシャッタ歪み補正の概念図である。 本発明の第２の実施形態に係る像振れ補正制御部のブロック図である。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。撮像装置は、デジタルカメラ、デジタル一眼レフカメラ、デジタルビデオカメラ等を含む。以下の例示的な説明では、撮像装置は、静止画像と動画の撮影機能を有するデジタルカメラとする。

撮像装置は、光学的に像振れ補正を行う光学式像振れ補正（光学防振）の機能と、電子的に像振れ補正を行う電子式像振れ補正（電子防振）の機能とを有する。撮像装置は、被写体像を形成する光学系としてズームユニット１０１、絞り・シャッタユニット１０３、像振れ補正ユニット（シフトレンズ）１０５及びフォーカスユニット１０７を含む。また、撮像装置は、これらのユニットを制御する制御部として、ズーム駆動制御部１０２、絞り・シャッタ駆動制御部１０４、像振れ補正制御部１０６及びフォーカス駆動制御部１０８をさらに含む。

ズームユニット１０１は、変倍（撮影倍率の変更）を行うためのズームレンズを含む。ズーム駆動制御部１０２は、ズームユニット１０１を駆動制御する。絞り・シャッタユニット１０３は、絞りとシャッタの機能を有する。絞り・シャッタ駆動制御部１０４は、絞り・シャッタユニット１０３を駆動制御する。像振れ補正ユニット１０５は光学式像振れ補正のために位置を変化させることが可能な像振れ補正レンズを含む。像振れ補正制御部１０６は、光学式像振れ補正及び電子式像振れ補正の制御を行う制御部であり、像振れ補正ユニット１０５を駆動制御する。フォーカスユニット１０７は、焦点調節を行うフォーカスレンズを含む。フォーカス駆動制御部１０８は、フォーカスユニット１０７を駆動制御する。

撮像装置は、撮像部１０９、撮像信号処理部１１０、映像信号処理部１１１及び表示部１１２をさらに含む。被写体から撮像装置に入射された光は、ズームユニット１０１、絞り・シャッタユニット１０３、像振れ補正ユニット１０５及びフォーカスユニット１０７を通過して、撮像部１０９に結像される。

撮像部１０９は、光学系から入射された光による被写体像を光電変換により電気信号に変換する撮像素子を含む。撮像信号処理部１１０は、撮像部１０９から出力された電気信号を映像信号に変換する。映像信号処理部１１１は、撮像信号処理部１１０から出力された映像信号を用途に応じて加工する処理する。この処理の一つとして、映像信号処理部１１１は、像振れ補正制御部１０６から出力された電子式像振れ補正の補正量に応じて映像信号の切り出し位置を変更する処理を行う。表示部１１２は、映像信号処理部１１１から出力された信号に基づいて、画像の表示を行う。

撮像装置は、電源部１１３、外部入出力端子部１１４、操作部１１５、記憶部１１６、振れ検出部１１７及びカメラシステム制御部１１８をさらに含む。電源部１１３は、撮像装置のシステム全体に用途に応じて電源を供給する。外部入出力端子部１１４は、撮像装置と外部との間の通信信号及び映像信号の入出力を行う。操作部１１５は撮像装置をユーザが操作するためのインターフェースである。記憶部１１６は、映像情報等の様々なデータを記憶する記憶媒体である。振れ検出部１１７はカメラに加わる振れ量を検出するセンサを含む検出装置である。振れ検出部１１７は、例えばジャイロセンサ（角速度センサ）を含む。カメラシステム制御部１１８は、各部への信号の送受信、各種演算等を行い、撮像装置のシステム全体を制御する。

次に、上記構成を有する撮像装置の概略動作について説明する。

操作部１１５は、像振れ補正のＯＮ／ＯＦＦを選択可能にする像振れ補正スイッチを含む。像振れ補正スイッチにより像振れ補正ＯＮが選択されると、カメラシステム制御部１１８は、像振れ補正制御部１０６に像振れ補正動作を指示する。この指示を受けた像振れ補正制御部１０６は、像振れ補正ＯＦＦの指示がなされるまで像振れ補正動作を行う。

また、操作部１１５は、光学式像振れ補正（第１の像振れ補正）のみで像振れ補正するモードと、光学式像振れ補正と電子式像振れ補正（第２の像振れ補正）を併用して像振れ補正するモードとを選択する像振れ補正モード選択スイッチを含む。光学式像振れ補正のみで像振れ補正するモードが選択された場合、電子式像振れ補正のための画像の切り出しが行われないため、広角撮影に対応可能となる。一方、光学式像振れ補正と電子式像振れ補正を併用して像振れ補正するモードが選択された場合、映像信号処理部１１１による映像信号の切り出し範囲が狭くなるため、画角が狭くなる。しかしながら、切り出し位置を像振れ補正量に応じて変更することによる電子式像振れ補正機能が提供され、より大きな像振れに対応可能となる。

操作部１１５には、押し込み量に応じてスイッチＳＷ１及びスイッチＳＷ２が順にオンするように構成されたシャッタレリーズボタンが含まれる。シャッタレリーズボタンは、約半分押し込まれたときにスイッチＳＷ１がオンし、最後まで押し込まれたときにスイッチＳＷ２がオンする構造となっている。スイッチＳＷ１がオンされると、フォーカス駆動制御部１０８がフォーカスユニット１０７を駆動して焦点調節を行うとともに、絞り・シャッタ駆動制御部１０４が絞り・シャッタユニット１０３を駆動して適正な露光量に設定する。スイッチＳＷ２がオンされると、撮像部１０９に露光された光像から得られた画像データが記憶部１１６に記憶される。

また操作部１１５には動画撮影スイッチが含まれる。動画撮影スイッチが押されると動画撮影が開始し、記録中に再度動画撮影スイッチが押されると動画撮影が終了する。動画撮影中にシャッタレリーズボタンのスイッチＳＷ１及びスイッチＳＷ２が押されると、動画撮影中の静止画撮影ができる。また、操作部１１５には撮影した動画の再生モードを選択する再生モード選択スイッチも含まれており、再生モード時には像振れ補正動作が停止される。

また操作部１１５には、ズーム変倍の指示を行う変倍スイッチが含まれる。変倍スイッチによりズーム変倍が指示されると、この指示はカメラシステム制御部１１８を介してズーム駆動制御部１０２に入力される。ズーム駆動制御部１０２は、ズームユニット１０１を駆動して、指示されたズーム位置にズームユニット１０１を移動させる。これとともに、撮像部１０９から撮像信号処理部１１０及び映像信号処理部１１１に送られ、処理された画像情報に基づいて、フォーカス駆動制御部１０８はフォーカスユニット１０７を駆動して焦点調節を行う。

図２は、Ｐｉｔｃｈ（ピッチ）方向、Ｙａｗ（ヨー）方向及びＲｏｌｌ（ロール）方向を説明する図である。振れ検出部１１７は、振れ検出のためのセンサとしてジャイロセンサ等を用いてＰｉｔｃｈ方向、Ｙａｗ方向及びＲｏｌｌ方向の角速度データを検出し、検出結果を電圧として出力する。振れ検出部１１７は、不図示のＰｉｔｃｈ方向振れ検出センサ、Ｙａｗ方向振れ検出センサ、Ｒｏｌｌ方向振れ検出センサを含む。

図２に示すように、光軸をＺ軸、正位置での鉛直方向をＹ軸、Ｙ軸及びＺ軸にそれぞれ直交する方向をＸ軸とする。Ｐｉｔｃｈ方向は、Ｘ軸回り（チルティング方向）、Ｙａｗ方向は、Ｙ軸回り（パンニング方向）、Ｒｏｌｌ方向は、Ｚ軸回り（撮像面が光軸に垂直な面で回転する方向）である。つまり、Ｐｉｔｃｈ方向は、撮像装置の垂直方向において水平面に対する傾動方向であり、Ｙａｗ方向は、撮像装置の水平方向において鉛直面に対する傾動方向であり、これらは互いに直交する。

Ｐｉｔｃｈ方向振れ検出センサは、Ｐｉｔｃｈ方向の撮像装置の振れに応じた振れ情報（角速度データ）を検出する。Ｙａｗ方向振れ検出センサは、Ｙａｗ方向の撮像装置の振れに応じた振れ情報（角速度データ）を検出する。Ｒｏｌｌ方向振れ検出センサは、光軸に垂直な面内での回転方向の撮像装置の振れに応じた振れ情報（角速度データ）を検出する。

図３は像振れ補正制御部１０６の構成をより詳細に説明したブロック図である。図３に示すブロック図は、Ｐｉｔｃｈ方向又はＹａｗ方向の回転による像振れを補正するための像振れ補正制御部１０６を想定したものである。像振れ補正制御部１０６は、撮像装置の像振れ補正の対象となる回転軸ごとに設けられるが、以下の説明では、Ｐｉｔｃｈ方向又はＹａｗ方向の１軸のみに着目する。他方の軸についても同様である。

振れ検出部１１７は、撮像装置の振れにより生じた角速度を検出して、角速度を示すアナログの電圧信号としてカメラシステム制御部１１８に出力する。カメラシステム制御部１１８は、ＡＤ（Analog-to-digital）変換部３０１、ハイパスフィルタ（ＨＰＦ）３０２、及びローパスフィルタ（ＬＰＦ）３０３を含む。

ＡＤ変換部３０１は、振れ検出部１１７から出力された角速度を示すアナログの電圧をデジタルデータに変換して、ハイパスフィルタ３０２に出力する。ハイパスフィルタ３０２は、入力された角速度データに含まれるジャイロセンサのオフセット、温度ドリフト等のノイズを除去してローパスフィルタ３０３に出力する。ローパスフィルタ３０３は、入力された角速度データを積分して、角度データに変換し、像振れ補正制御部１０６に出力する。なお、これらのカメラシステム制御部１１８の構成は必須ではなく一部を省略してもよい。また、これらの機能はカメラシステム制御部１１８から像振れ補正制御部１０６又は振れ検出部１１７に移してもよい。

像振れ補正制御部１０６は、演算を行うブロックとして、敏感度乗算部３０４、３１２、補正量演算部３０５、補正量リミッタ３０６、３１３及び減算部３１４、３１５を有する。像振れ補正制御部１０６は、さらにＰＩＤ（Proportional-Integral-Derivative）制御部３０７、ドライバ部３０８、位置検出部３１０及びＡＤ変換部３１１を有する。また、像振れ補正ユニット１０５は、像振れを補正するための像振れ補正レンズ３０９を有する。像振れ補正レンズ３０９は、ドライバ部３０８からの制御により、光軸に対して垂直な平面上でシフトする。これにより、入射光が曲がり、像振れが補正される。

敏感度乗算部（補正量演算部）３０４は、カメラシステム制御部１１８から入力された角度データに敏感度を乗算して像振れ補正量に変換する。この変換の変換係数である敏感度は、撮像装置の焦点距離に応じて変化する。そのため、敏感度は、撮像装置の焦点距離ごとに異なる。

補正量演算部３０５は、光学式像振れ補正のための像振れ補正量の演算を行うため、敏感度乗算部３０４から出力された像振れ補正量に対して係数Ｋを乗算する。係数Ｋは各焦点距離における、光学式像振れ補正の可動範囲Ａと電子式像振れ補正の可動範囲Ｂによって以下のように決定される。
Ｋ＝Ａ／（Ａ＋Ｂ） …（１）

これにより、像振れ補正量の全体量に対して光学式像振れ補正で補正されるべき補正量の割合が係数Ｋとして演算される。なお、式（１）よりＫは１以下の値となる。

補正量リミッタ３０６は、光学式像振れ補正の補正量を可動範囲Ａを超えないようにクランプして、減算部（補正量演算部）３１４に出力する。これにより、光学式像振れ補正の可動範囲端にレンズが当たる事態を防ぐことができる。補正量リミッタ３０６の出力データは、光学式像振れ補正のために像振れ補正レンズ３０９をシフトさせる際の目標位置を示す。減算部３１４で行われる処理は後述する。

ＰＩＤ制御部３０７は、減算部３１４から入力されたデータに基づいて、レンズの位置を制御するための信号をドライバ部３０８に出力する。ドライバ部３０８は、ＰＩＤ制御部３０７から出力された信号に基づいて、像振れ補正レンズ３０９に駆動電流を供給する。位置検出部３１０は、像振れ補正レンズ３０９の位置を検出し、アナログの電圧信号として出力する。ＡＤ変換部３１１は、位置検出部３１０から出力された像振れ補正レンズ３０９の位置を示すアナログの電圧をデジタル値に変換する。ＡＤ変換部３１１の出力値は減算部３１４に入力される。減算部３１４は、補正量リミッタ３０６の出力（目標位置）の値から像振れ補正レンズ３０９の位置（現在位置）を示す値を減算して、ＰＩＤ制御部３０７に出力する。以上のようにして光学式像振れ補正が行われる。

次に、電子式像振れ補正を説明する。撮像装置のユーザが、歩き撮り、走り撮り等を行うと、撮像装置は大きな加速度を受ける。この加速度が像振れ補正レンズ３０９に伝わることで、出力される静止画像又は動画に像振れが生じる。本実施形態の撮像装置は、この像振れを電子式像振れ補正によって低減する。

敏感度乗算部３０４から出力される像振れ補正量及びＡＤ変換部３１１から出力される像振れ補正レンズ３０９の位置を示す値は、減算部３１５に入力される。減算部３１５は、敏感度乗算部３０４から入力された像振れ補正量から像振れ補正レンズ３０９の位置を示す値を減算する。この減算結果は、敏感度乗算部３１２に入力される。敏感度乗算部３１２は、入力されたデータを電子式像振れ補正の補正ピクセル量に変換する。補正量リミッタ３１３は、電子式像振れ補正の補正量を電子式像振れ補正の可動範囲Ｂを超えないようにクランプして映像信号処理部１１１に出力する。この出力データに基づいて、映像信号処理部１１１は電子式像振れ補正を行う。

以上の処理により行われる電子式像振れ補正では、像振れ補正レンズ３０９の位置を示す値を補正量の演算に用いているため、像振れ補正レンズ３０９の振れに起因する像振れの影響が低減される。これにより、撮像装置が歩き撮り、走り撮り等により大きな振動を受けた場合であっても、像振れの少ない画像を撮影可能な撮像装置が提供される。

図４はカメラの焦点距離と像振れ補正可動範囲の関係を示すグラフである。横軸はカメラの焦点距離を示し、縦軸は像振れ補正可動範囲を示す。グラフ（ａ）、（ｂ）、（ｃ）は、それぞれ光学式像振れ補正の可動範囲Ａ、電子式像振れ補正の可動範囲Ｂ、全体像振れ補正可動範囲（Ａ＋Ｂ）を示す。すなわち、グラフ（ａ）、（ｂ）、（ｃ）は、（ａ）＋（ｂ）＝（ｃ）の関係を有する。

光学式像振れ補正の可動範囲Ａはレンズの光学特性で決まり、電子式像振れ補正の可動範囲Ｂは撮像素子の余剰画素で決まる。なお、光学式像振れ補正の可動範囲Ａ、電子式像振れ補正の可動範囲Ｂについてはいずれも光学ズーム倍率、焦点距離等に依存して補正角度（振れによる像の移動を補正するための光軸の偏向度合い）が変化する。

すなわち、カメラに同じ振れが加わったとしても、カメラの振れによる像振れを補正するために必要な像振れ補正ユニット１０５を駆動する量は、ズームポジション（光学ズーム倍率、焦点距離）によって異なる。例えば同じ１［ｄｅｇ］の振れがカメラに加わったとしても、この１［ｄｅｇ］の振れによる像振れを補正するための補正ユニット１０５の移動量は、Ｗｉｄｅ端（広角端）の場合の方が、Ｔｅｌｅ端（望遠端）の場合よりも小さい。

図５は焦点距離と係数Ｋの関係を示すグラフである。係数Ｋは上述したように、光学式像振れ補正の可動範囲Ａと電子式像振れ補正の可動範囲Ｂとによって決定される。カメラが図４のようにＷｉｄｅ端のとき、Ｍｉｄｄｌｅ位置のとき、Ｔｅｌｅ端のときの３点について具体例を説明する。像振れ補正ユニット１０５が光学式像振れ補正の可動範囲Ａ内で動作し、電子式像振れ補正が可動範囲Ｂ内で動作することで、全体の像振れ補正可動範囲Ａ＋Ｂに対応する像振れが補正できる。

ここで、光学式像振れ補正の可動範囲Ａが、Ｗｉｄｅ端、Ｍｉｄｄｌｅ位置、Ｔｅｌｅ端でそれぞれ（２［ｄｅｇ］、０．７５［ｄｅｇ］、０．３［ｄｅｇ］）とする。また、電子式像振れ補正の可動範囲Ｂは、Ｗｉｄｅ端、Ｍｉｄｄｌｅ位置、Ｔｅｌｅ端でそれぞれ（２．５［ｄｅｇ］、１．６［ｄｅｇ］、１．１［ｄｅｇ］）とする。この場合、式（１）より、係数ＫはＷｉｄｅ端、Ｍｉｄｄｌｅ位置、Ｔｅｌｅ端でそれぞれ（０．４４４、０．３１９、０．２１４）となる。

特許文献２のような、像振れ量に応じて光学式像振れ補正と電子式像振れ補正のいずれかを用いる補正方法では、両者の補正範囲の境界において、光学式像振れ補正の動作に起因するオーバーシュート等による画像の乱れが生じ得る。これに対し、本実施形態では、光学式像振れ補正と電子式像振れ補正の両方を同時に動作させて可動範囲を拡張しているため、光学式像振れ補正と電子式像振れ補正の可動範囲の境界がない。これにより、光学式像振れ補正のオーバーシュートによる画像の乱れが低減される。

上述のように、光学式像振れ補正のみで像振れ補正するモードと、光学式像振れ補正と電子式像振れ補正を併用して像振れ補正するモードとを操作部１１５により選択することも可能である。以下、モードの切り替え方法について説明する。

光学式像振れ補正と電子式像振れ補正を併用する場合を考える。この場合、光学式像振れ補正については、補正量演算部３０５において像振れ補正量の全体量に係数Ｋ＝Ａ／（Ａ＋Ｂ）を乗算することで光学式像振れ補正の補正量が決定される。電子式像振れ補正については、像振れ補正量の全体量から位置検出部３１０で検出される像振れ補正レンズ３０９の位置を示す値を減算して得られた補正量に基づいて画像の切り出し位置が決定される。

一方、光学式像振れ補正のみで補正する場合は、光学式像振れ補正の像振れ補正量の係数Ｋを１とする。すなわち、像振れ補正量の全体量が光学式像振れ補正の補正量と一致するよう係数Ｋを切り替える。このとき、像振れ補正量リミッタ３１３において、電子式像振れ補正の可動範囲を０にクランプする。これにより、電子式像振れ補正の補正量が０に切り替えられ、電子式像振れ補正が行われなくなる。

次に、光学式像振れ補正と電子式像振れ補正を併用した動画撮影中に静止画を撮影する際の動作について説明する。スイッチＳＷ２が押され静止画撮影に入るとき、補正量演算部３０５は係数Ｋを１とする。また、静止画撮影時は電子式像振れ補正を行わないため、補正量リミッタ３１３において、電子式像振れ補正の可動範囲を０にクランプし、電子式像振れ補正の補正量を０とするよう切り替える。すなわち、光学式像振れ補正のみで補正するモードと同様に像振れ補正量を切り替える。

静止画露光の終了時において、補正量演算部３０５は、係数ＫをＫ＝Ａ／（Ａ＋Ｂ）に切り替え、補正量リミッタ３１３は、電子式像振れ補正の可動範囲を０から元の値に切り替える。このようにして、本実施形態の撮像装置は、光学式像振れ補正と電子式像振れ補正を併用した動画撮影中に静止画撮影を行うことができる。

特許文献１のような、高周波の像振れは光学式像振れ補正で補正し、低周波の像振れは電子式像振れ補正で補正する撮像装置において、動画撮影中に静止画を撮影した場合、低周波の像振れの補正が困難となり得る。これに対し、本実施形態では、光学式像振れ補正と電子式像振れ補正とを周波数で分離していないので、このような問題が解消又は低減されている。また、本実施形態では周波数を分離するためのフィルタが不要であるため、特許文献１の構成に比べ演算負荷及びプログラム容量が低減される。

なお、静止画撮影の開始時と終了時の切り替えにおいて、光学式像振れ補正及び電子式像振れ補正の補正量が急激に変動することによるノイズを低減するため、所定の出力時間の間に徐々に出力を変更させてもよい。

＜第２の実施形態＞
次に、本発明の第２の実施形態として、ローリングシャッタ方式の撮像装置について説明する。

デジタルカメラ等の撮像装置により画像を撮影する際の露光方式には、グローバルシャッタ方式とローリングシャッタ方式とがある。ＣＣＤ（Charge Coupled Device）センサに代表されるグローバルシャッタ方式の装置では、１つのフレーム画像において画素間の露光時間及び露光開始時刻がほぼ同一である。一方で、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）センサを備える撮像装置では、露光方式としてローリングシャッタ方式が採用されることがある。

ローリングシャッタ方式は、画素ラインごとに露光タイミングが異なる露光方式である。この露光方式では、ラインごとの露光タイミング及び読み出し時間のずれに起因する画像歪み（以下、「ローリングシャッタ歪み」という）が発生し得る。撮像装置の振れによりラインごとに異なる位置ずれが生じると、ローリングシャッタ歪みが発生し得る。仮に装置が三脚等に据え付けられていたとしても、風等の外乱により装置に振動が加わると、ローリングシャッタ歪みが発生し得る。そのため、ローリングシャッタ方式を採用する撮像装置は、ローリングシャッタ歪みが問題となり得る。

前述のように、ローリングシャッタ歪みは、露光タイミングが画素ラインごとに異なることにより、撮影された画像に生じる歪みである。よって、撮像装置で検出された振れ信号に基づいて得られた各画素ラインの移動量を補正量として用いることで、画像に生じる歪みを補正することができる。以下、本実施形態に係るローリングシャッタ歪みの補正方法を説明する。

図６は、ローリングシャッタ歪み補正の概念図である。図６において、画像６０１は、ローリングシャッタ歪みが発生していない場合の画像を示している。画像６０２は、露光期間中に撮像装置が水平方向に動いたことにより、ローリングシャッタ歪みが発生した場合の画像を示している。

複数のデータ点６０３は、露光期間中に発生した装置の水平方向の移動量（振れ量）を垂直方向の複数点（図の例では１１点）において演算されたものである。これら複数点の間を補間することで各ラインの移動量が取得可能である。これを補正量として、水平方向の振れに対してラインごとに読み出し位置を変更することで補正が行われる。

ローリングシャッタ歪みを発生させる振れは、第１の実施形態と同様に振れ検出部１１７により検出される。検出された振れに基づいて、カメラシステム制御部１１８及び像振れ補正制御部１０６は、ローリングシャッタ歪みを補正する補正量を演算する。映像信号処理部１１１は、この補正量に基づいて電子式像振れ補正によりローリングシャッタ歪み補正を行う。

補正量の演算方法について図７を参照して説明する。図７は、第２の実施形態に係る像振れ補正制御部１０６の構成を説明するブロック図である。図３に示した第１の実施形態と同様の機能を有するブロックには同一の符号が付されており、その説明を省略することもある。

像振れ補正制御部１０６は、第１の実施形態の構成に加えて、補正量演算部７０１、敏感度乗算部７０２及び補正量リミッタ７０３をさらに有する。補正量演算部７０１は、ローリングシャッタ歪みを補正するため、敏感度乗算部３０４から出力された像振れ補正量に対して係数（１−Ｋ）を乗算する。

第１の実施形態で説明したように、位置検出部３１０で検出される像振れ補正レンズ３０９の位置を示す値を減算することで、電子式像振れ補正量は演算される。本実施形態ではこれに加えて、ローリングシャッタ歪み補正のために、像振れ補正量に、係数（１−Ｋ）を乗算した値を補正に用いている。すなわち、ローリングシャッタ歪み補正には、像振れ補正レンズ３０９の位置情報を用いていない。光学式像振れ補正の係数Ｋとローリングシャッタ歪み補正の係数（１−Ｋ）を加算すると１となる。すなわち、本実施形態の係数の算出方法は、全体の像振れ補正量を光学式像振れ補正とローリングシャッタ歪み補正にＫ：（１−Ｋ）の比率で分割するものと考えることもできる。

ローリングシャッタ歪み補正には、像振れ補正レンズ３０９の位置情報を用いていない理由について説明する。これは、仮に位置検出部３１０で検出される像振れ補正レンズ３０９の位置を示す値を用いて、ローリングシャッタ歪みを補正したとすると、高周波の振動による外乱の影響を受けやすくなるためである。

電子式像振れ補正は露光期間中の１点の補正量で補正するものであるのに対し、ローリングシャッタ歪み補正は露光期間中の複数点を用いて、複数点の間を補間することにより補正を行うものである。撮像装置が高周波振動による外乱の影響を受けた場合、複数点で行うローリングシャッタ歪み補正においては、像振れ補正レンズ３０９の位置を示す値が各補正点において異なるノイズを受け得る。そのため、補正点の間の補間による補正誤差が生じやすい。この影響は、装置が三脚等に据え付けられている場合に顕著になる。

そのため、ローリングシャッタ歪み補正の補正量の演算は、像振れ補正レンズ３０９の位置を示す値を減算する方法ではなく、光学式像振れ補正とローリングシャッタ歪み補正の補正量をＫ：（１−Ｋ）に分割することで行われる。

敏感度乗算部７０２は、入力されたデータをローリングシャッタ歪み補正の補正ピクセル量に変換する。補正量リミッタ７０３は、ローリングシャッタ歪み補正の補正量を可動範囲を超えないようにクランプして映像信号処理部１１１に出力する。この出力に基づいて、映像信号処理部１１１はローリングシャッタ歪み補正を行う。

以上の処理により行われるローリングシャッタ歪み補正では、第１の実施形態と同様の効果を奏することに加え、ローリングシャッタ歪みの補正が可能である。これにより、例えばＣＭＯＳセンサのようなローリングシャッタ方式を採用する撮像装置において、ローリングシャッタ歪みの少ない画像を撮影可能な撮像装置が提供される。

＜その他の実施形態＞
上述の各実施形態では、像振れ補正ユニット１０５の一部である像振れ補正レンズ３０９の位置を駆動させることより光学式像振れ補正を行っているが、撮像部１０９の撮像素子を駆動させることにより光学式像振れ補正を行ってもよい。この場合、位置検出部３１０は像振れ補正レンズ３０９ではなく撮像素子の位置を検出するように構成する。

本発明は、上述の実施形態の１以上の機能を実現するプログラムによっても実現可能である。すなわち、本発明は、プログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ 像振れ補正ユニット
１０６ 像振れ補正制御部
１０９ 撮像部
１１１ 映像信号処理部
１１７ 振れ検出部
３０４ 敏感度乗算部
３０５、７０１ 補正量演算部
３０９ 像振れ補正レンズ
３１０ 位置検出部
３１５ 減算部

Claims (8)

1. 光学系で形成された被写体像を光電変換する撮像素子と、
   前記被写体像の振れを補正する方向に前記光学系の一部又は前記撮像素子を駆動させることにより、光学的に補正を行う第１の像振れ補正手段と、
   前記被写体像の振れを補正する方向に前記撮像素子の読み出し位置を制御することにより、電子的に補正を行う第２の像振れ補正手段と、
   撮像装置の振れを検出して振れ信号を出力する振れ検出手段と、
   前記振れ信号に基づいて第１の像振れ補正量を演算する第１の補正量演算手段と、
   前記第１の像振れ補正手段により駆動される前記光学系の一部又は前記撮像素子の位置を示す値を出力する位置検出手段と、
   前記第１の像振れ補正量に基づいて、前記第１の像振れ補正手段のための第２の像振れ補正量を演算する第２の補正量演算手段と、
   前記第１の像振れ補正量と、前記位置検出手段で検出された前記光学系の一部又は前記撮像素子の位置を示す値とに基づいて、前記第２の像振れ補正手段のための第３の像振れ補正量を演算する第３の補正量演算手段と、
   を備えることを特徴とする撮像装置。
2. 前記第３の補正量演算手段は、前記第１の像振れ補正量から前記位置検出手段で検出された前記光学系の一部又は前記撮像素子の位置を示す値を減算することにより、第３の像振れ補正量を演算することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は画素ラインごとに露光タイミングが異なる露光方式により撮像を行う素子であり、
   前記露光タイミングの違いによって生じる前記被写体像の歪みを補正する方向に前記撮像素子の読み出し位置を制御することにより、電子的に補正を行う第３の像振れ補正手段と、
   前記第１の像振れ補正量に基づいて、前記第３の像振れ補正手段のための第４の像振れ補正量を演算する第４の補正量演算手段と、
   を備えることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１の像振れ補正手段の可動範囲をＡ、前記第２の像振れ補正手段の可動範囲をＢ、係数ＫをＫ＝Ａ／（Ａ＋Ｂ）とした場合に、前記第４の補正量演算手段は、前記第１の像振れ補正量に係数（１−Ｋ）を乗算することにより前記第４の像振れ補正量を演算することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の像振れ補正手段の可動範囲をＡ、前記第２の像振れ補正手段の可動範囲をＢ、係数ＫをＫ＝Ａ／（Ａ＋Ｂ）とした場合に、前記第２の補正量演算手段は、前記第１の像振れ補正量に前記係数Ｋを乗算することにより前記第２の像振れ補正量を演算することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第１の像振れ補正手段のみで像振れ補正を行う第１のモードと、前記第１の像振れ補正手段と前記第２の像振れ補正手段を併用して像振れ補正を行う第２のモードとのうち、いずれかのモードを選択可能なモード選択手段をさらに備え、
   前記モード選択手段により前記第１のモードが選択された場合、前記第２の補正量演算手段は、前記第１の像振れ補正量と同じ値を前記第２の像振れ補正量とすることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮像装置が静止画像を撮影するための露光期間において、前記第２の補正量演算手段は、前記第１の像振れ補正量と同じ値を前記第２の像振れ補正量とすることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 光学系で形成された被写体像を光電変換する撮像素子を備える撮像装置を制御する方法であって、
   前記被写体像の振れを補正する方向に前記光学系の一部又は前記撮像素子を駆動させることにより、光学的に補正を行う第１の像振れ補正工程と、
   前記被写体像の振れを補正する方向に前記撮像素子の読み出し位置を制御することにより、電子的に補正を行う第２の像振れ補正工程と、
   撮像装置の振れを検出して振れ信号を出力する振れ検出工程と、
   前記振れ信号に基づいて第１の像振れ補正量を演算する第１の補正量演算工程と、
   前記第１の像振れ補正工程により駆動される前記光学系の一部又は前記撮像素子の位置を示す値を出力する位置検出工程と、
   前記第１の像振れ補正量に基づいて、前記第１の像振れ補正工程のための第２の像振れ補正量を演算する第２の補正量演算工程と、
   前記第１の像振れ補正量と、前記位置検出工程で検出された前記光学系の一部又は前記撮像素子の位置を示す値とに基づいて、前記第２の像振れ補正工程のための第３の像振れ補正量を演算する第３の補正量演算工程と、
   を備えることを特徴とする撮像装置の制御方法。

Images