JP2008271529A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2008271529A
JP2008271529A JP2008075095A JP2008075095A JP2008271529A JP 2008271529 A JP2008271529 A JP 2008271529A JP 2008075095 A JP2008075095 A JP 2008075095A JP 2008075095 A JP2008075095 A JP 2008075095A JP 2008271529 A JP2008271529 A JP 2008271529A
Authority
JP
Japan
Prior art keywords
image
camera shake
correction
blur
shake correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008075095A
Other languages
English (en)
Inventor
Yasuhiro Iijima
靖博 飯島
Hideto Fujita
日出人 藤田
Haruo Hatanaka
晴雄 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2008075095A priority Critical patent/JP2008271529A/ja
Publication of JP2008271529A publication Critical patent/JP2008271529A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】シャッタボタンの押し方によって手ぶれ補正処理を最適化する。
【解決手段】撮像装置は、多接点スイッチ及び多段スイッチを利用したシャッタボタンを備え、シャッタボタンの押し方を検出して想定される手ぶれ方向及び手ぶれ量を推定し、その推定結果に応じて手ぶれ補正処理を可変とする。例えば、撮像装置は、複数の分割露光画像を連続撮影して各分割露光画像を位置合わせして加算合成することにより手ぶれが低減された1枚の画像を得る加算式手ぶれ補正を採用する。この場合において、推定手ぶれ量が大きい場合は、露光分割数を多くして分割露光時間を比較的短くし、1枚当たりの手ぶれ量低減を優先する。一方、推定手ぶれ量が小さい場合は、露光分割数を少なくして分割露光時間を比較的長くし、各分割露光画像の高輝度化を優先する。
【選択図】図11

Description

本発明は、撮影した画像内のぶれを補正するぶれ補正機能を備えた撮像装置に関する。
デジタルスチルカメラ、デジタルビデオカメラなどの撮像装置においては、近年、小型化及び軽量化が進み、誰もが手軽に撮影を行えるようになっている。一方、その反面、様々なカメラ姿勢及び把持状態で撮影が行われるため、カメラの筐体を確実に把持及び固定しないまま撮影を行うと、手ぶれにより得られた画像にぼけが生じる場合がある。このような手ぶれに由来する撮影の失敗を防止するための手ぶれ補正技術が様々に提案されている。
手ぶれ補正技術は、カメラ撮影における手ぶれを軽減する技術であり、デジタルカメラの差別化技術として重要視されている。手ぶれ補正技術は、補正対象が静止画像であるか動画像であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。
手ぶれを検出する方法には、センサ(角速度センサ等)を用いる方法と、画像を解析して検出する電子式の方法とがある。画像の補正には、光学系又は撮像素子の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。
静止画像に対して手ぶれ補正を行う方法として、センサで手ぶれを検出しその検出結果に基づいて「光学式手ぶれ補正」を行う方法と、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。
電子式手ぶれ補正の1つとして、撮影後の画像に含まれるぼけを見積もって、そのぼけを画像処理によって除去する「復元式手ぶれ補正」がある。この画像処理は、画像復元処理とも呼ばれる。
また、他の電子式手ぶれ補正として、「加算式手ぶれ補正」が実用化されている。加算式手ぶれ補正では、1回の露光で1枚の画像を得るための一括露光の露光時間を複数個に分割し、分割露光時間にて複数の分割露光画像を連続撮影する。そして、各分割露光画像の画像特徴に基づいて各分割露光画像間の動き検出を行い、その動き検出結果に従って各分割露光画像間の動きが打ち消されるように各分割露光画像を位置合わせして加算合成することにより、画像のぶれが低減された1枚の静止画像を生成する。
ところで、静止画像の撮影指示は、通常、シャッタボタンを押し込む方向の操作力の付与によってなされる。この操作力の付与が、手ぶれの主たる原因であり、どのような操作力が付与されたかで手ぶれ方向や手ぶれ量は変化する。手ぶれ方向や手ぶれ量が異なれば、それらに対応する最適な手ぶれ補正も異なってくるのであるが、従来の撮像装置では、どのような操作力が付与されたかに関係なく一律に同じ手ぶれ補正処理を行うだけであった。これは、手ぶれ補正の効果、処理時間または消費電力の観点から望ましいものとは言えない。
尚、下記特許文献1には、衝撃振動発生はシャッタボタンの操作時点から予期できることに着目して、衝撃振動の誤差が露光時まで残らないように振動検出手段の時定数等を変更する技術が開示されている。下記特許文献2には、AE動作によって設定されたシャッタ速度に応じて手ぶれ補正機構への給電可否を決定する技術が開示されている。下記特許文献3には、角速度データと被写体距離データと焦点距離データから算出した手ぶれ補正データに基づいて光学部材を駆動することにより手ぶれ補正を行う技術が開示されている。
また、復元式手ぶれ補正を採用した技術として、例えば、下記特許文献4〜6に記載された技術がある。例えば、下記特許文献4では、ぶれによる点広がり関数(Point Spread Function)の逆特性を有する補正関数を用いて、画像を復元している。
特開平6−230447号公報 特開平5−66442号公報 特開平5−173219号公報 特開昭62−127976号公報 特開2004−88567号公報 特開2006−129236号公報
そこで本発明は、手ぶれ補正の効果向上(安定性の向上も含む)、処理時間短縮又は消費電力削減に寄与する撮像装置を提供することを目的とする。
本発明に係る第1の撮像装置は、操作力の付与による静止画像の撮影指示操作を受け付けるシャッタボタンを備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実施してぶれ補正画像を生成するぶれ補正装置を備え、前記ぶれ補正装置は、前記シャッタボタンに対する前記操作力の付与の特性を検出する操作力特性検出手段と、前記ぶれ補正を実現するための処理を制御するぶれ補正制御手段と、を備え、 前記ぶれ補正制御手段は、前記操作力特性検出手段の検出結果に応じて前記処理を変更することを特徴とする。
これにより、シャッタボタンに対する操作力の付与の特性(操作力の付与のされ方)に応じたぶれ補正を実行可能となる。結果、手ぶれ補正の効果向上、処理時間短縮又は消費電力削減への寄与が期待される。
例えば、前記シャッタボタンは前記静止画像の露光開始を指示するための複数の接点を含んで構成され、前記シャッタボタンに対する前記操作力の付与により前記複数の接点の内の何れか1つが最初に作動し、前記操作力特性検出手段は、前記複数の接点の内、最初に作動した接点を検出する最前作動検出手段を備えて、その検出結果から前記操作力の付与の特性を特定し、前記ぶれ補正制御手段は、最初に作動した接点が何れの接点であるかに応じて前記処理を変更する。
また例えば、前記シャッタボタンは前記操作力の付与によって所定方向に移動可能な移動体を含んで構成され、前記移動体が移動することによって前記静止画像の撮影指示がなされ、前記操作力特性検出手段は、前記操作力の付与による前記移動体の移動速度を検出する速度検出手段を備えて、検出した前記移動速度に基づいて前記操作力の付与の特性を特定し、前記ぶれ補正制御手段は、検出された前記移動速度に応じて前記処理を変更する。
或いは例えば、前記シャッタボタンは、前記操作力が加わる感圧ユニットを備え、前記感圧ユニットは、前記操作力によって自身に加わる圧力に応じた信号を出力し、前記操作力特性検出手段は、前記感圧ユニットの出力信号に基づいて前記操作力の付与の特性を検出する。
より具体的には例えば、前記感圧ユニットは、前記静止画像の露光開始を指示するための複数の感圧素子部を含んで構成され、前記複数の感圧素子部の夫々は自身に加わる圧力に応じた信号を出力し、前記シャッタボタンに対する前記操作力の付与により前記複数の感圧素子部の出力信号の内の何れか1つが最初に所定の作動レベルに達し、前記操作力特性検出手段は、前記複数の感圧素子部の内、最初に出力信号が作動レベルに達した感圧素子部を検出する最前作動検出手段を備えて、その検出結果から前記操作力の付与の特性を特定し、前記ぶれ補正制御手段は、最初に出力信号が作動レベルに達した感圧素子部が何れの感圧素子部であるかに応じて前記処理を変更する。
或いは例えば、前記操作力特性検出手段は、前記感圧ユニットの出力信号に基づいて前記圧力の変化速度を検出する速度検出手段を備えて、検出した前記変化速度に基づいて前記操作力の付与の特性を特定し、前記ぶれ補正制御手段は、検出された前記変化速度に応じて前記処理を変更する。
更に或いは例えば、前記操作力特性検出手段は、前記感圧ユニットの出力信号に基づいて前記圧力の大きさを検出する圧力値検出手段を備えて、検出した前記圧力の大きさに基づいて前記操作力の付与の特性を特定し、前記ぶれ補正制御手段は、検出された前記圧力の大きさに応じて前記処理を変更する。
そして具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正を施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記分割露光画像の枚数及び各分割露光画像の露光時間である。
これにより、操作力の付与の特性に応じて分割露光時間の枚数を最適化することが可能となる。
また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の並進方向の動き検出を行う並進方向動き検出手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の回転方向の動き検出を行う回転方向動き検出手段と、前記並進方向及び前記回転方向の動き検出結果に基づいて、又は、前記並進方向の動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段による変更の対象は、前記位置合わせに用いる動き検出結果であり、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、前記第1の処理を実行する場合、前記並進方向及び前記回転方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とし、前記第2の処理を実行する場合、前記回転方向動き検出手段に依存しない、前記並進方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とする。
操作力の付与の特性によっては回転方向のぶれが殆ど生じない場合もある。これを考慮して上述の如く構成する。これは、処理時間の短縮等に寄与する。
また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、前記動き検出手段による動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記動き検出手段による動きの検出可能範囲である。
操作力の付与の特性によって、想定される分割露光画像間の動き量は異なり、必要な動き検出可能範囲も異なる。これを考慮して上述の如く構成する。これは、動き検出の処理時間の短縮等に寄与する。
また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、前記複数の分割露光画像の内の何れか1つを基準画像とし且つ他を非基準画像とし、前記基準画像に定義された動き検出領域内の画像と前記非基準画像に定義された動き検出領域内の画像とを対比することにより、前記基準画像と前記非基準画像との間の位置ずれを評価し、評価された前記位置ずれに応じて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記基準画像内における前記動き検出領域と前記非基準画像内における前記動き検出領域との相対位置である。
操作力の付与の特性によって、想定される分割露光画像間の動きの方向等が異なる。これを考慮して上述の如く構成する。これにより、より大きなぶれに対応することも可能となる。
また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段を備えて、前記静止画像の露光期間中に前記駆動手段を用いることによって前記ぶれ補正を実現するように構成され、前記ぶれ補正制御手段による変更の対象は、前記駆動手段の駆動対象である前記補正用光学部材又は前記撮像素子の、前記露光期間中における初期状態である。
これによっても、より大きなぶれに対応することが可能となる。
また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の1つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段と、前記撮像素子の出力信号に基づく撮影画像に含まれるぶれに応じた復元フィルタを生成し、該復元フィルタを用いて前記撮影画像に対して前記ぶれ補正の1つとしての復元式ぶれ補正を施す復元式ぶれ補正手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、前記第1の処理を実行する場合、前記光学式ぶれ補正と前記復元式ぶれ補正の双方を実行可能とし、前記第2の処理を実行する場合、前記光学式ぶれ補正と前記復元式ぶれ補正の何れか一方を実行する。
或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、前記第1の処理を実行する場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、前記第2の処理を実行する場合、前記駆動手段を用いつつ前記撮像手段に1枚の画像を撮影させることにより前記ぶれ補正を実現して該1枚の画像を前記ぶれ補正画像とする。
或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、前記第1の処理を実行する場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、前記第2の処理を実行する場合、前記駆動手段による前記補正用光学部材又は前記撮像素子の駆動を停止した状態で前記複数の分割露光画像を順次撮影させて前記合成画像を生成し、この合成画像を前記ぶれ補正画像とする。
或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、前記第1の処理を実行する場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像を前記動き検出手段の動き検出結果に基づいて位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、前記第2の処理を実行する場合、前記駆動手段を用いつつ前記撮像手段に1枚の画像を撮影させることにより前記ぶれ補正を実現して該1枚の画像を前記ぶれ補正画像とする。
或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、前記第1の処理を実行する場合、前記動き検出手段の動き検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、前記第2の処理を実行する場合、前記駆動手段を用いつつ前記撮像手段に1枚の画像を撮影させることにより前記ぶれ補正を実現して該1枚の画像を前記ぶれ補正画像とする。
これらにより、処理時間の短縮及び/又は消費電力の低減が図られる。
また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの出力信号を増幅する増幅手段及び前記増幅手段の出力信号をA/D変換するA/D変換手段を有するぶれ検出手段を備え、前記ぶれ検出手段は、前記A/D変換によって得られた信号をぶれ検出信号として出力し、前記ぶれ補正装置は、前記ぶれ検出信号に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより前記ぶれ補正の1つとしての光学式ぶれ補正を実現し、前記ぶれ補正制御手段による変更の対象は、前記増幅手段の増幅率である。
これにより、ぶれの検出感度を最適化することも可能となる。
また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの出力信号を増幅する増幅手段及び設定されたゼロ点を基準として前記増幅手段の出力信号をA/D変換するA/D変換手段を有するぶれ検出手段を備え、前記ぶれ検出手段は、前記A/D変換によって得られた信号をぶれ検出信号として出力し、前記ぶれ補正装置は、前記ぶれ検出信号に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより前記ぶれ補正の1つとしての光学式ぶれ補正を実現し、前記ぶれ補正制御手段による変更の対象は、前記ゼロ点である。
これにより、手ぶれの検出可能範囲を実質的に拡大することも可能となる。
また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の1つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段を備え、前記操作力特性検出手段は、前記操作力の付与の特性を、第1の区分と第2の区分を含む複数の区分に分類して検出し、前記ぶれ補正装置は、前記第1及び第2の区分の内、前記第2の区分に分類される前記操作力にて前記撮影指示操作がなされた場合にのみ、前記光学式ぶれ補正手段に依存したぶれ補正を行い、前記撮像装置に対する駆動電力の投入後の所定期間内において、前記第2の区分に分類される前記操作力による撮影指示を禁止する。
これにより、信頼性が比較的低いぶれ補正の実施を防止することができる。
また具体的には例えば、前記ぶれ補正制御手段による変更の対象は、前記静止画像に含まれうるぶれの低減度合いである。
より具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段を備えて、前記静止画像の露光期間中に前記駆動手段を用いることによって前記ぶれ補正を実現するように構成され、前記ぶれ補正制御手段は、前記ぶれ検出センサの検出結果に基づく前記撮像装置のぶれの量と前記駆動手段による補正用光学部材又は撮像素子の駆動量との比を、前記操作力特性検出手段の検出結果に応じて変更し、この変更によって前記低減度合いを変更する。
これにより、より大きなぶれに対応することが可能となる。
また例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより、前記ぶれ補正画像としての合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段は、所定の基準速度よりも大きな移動速度が前記速度検出手段によって検出される場合と、検出されない場合との間で、前記分割露光画像の露光時間を異ならせることにより前記処理を変更する。
或いは例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより、前記ぶれ補正画像としての合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段は、所定の基準速度よりも大きな変化速度が前記速度検出手段によって検出される場合と、検出されない場合との間で、前記分割露光画像の露光時間を異ならせることにより前記処理を変更する。
更に或いは例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより、前記ぶれ補正画像としての合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段は、所定の基準圧力よりも大きな圧力が前記圧力値検出手段によって検出される場合と、検出されない場合との間で、前記分割露光画像の露光時間を異ならせることにより前記処理を変更する。
上記の移動速度、変化速度又は圧力が比較的大きい場合は、撮像装置のぶれ量が比較的大きくなることが予想される。これを考慮し、検出した移動速度、変化速度又は圧力に基づいて、動的に分割露光画像の露光時間を調節する。これにより、より大きなぶれにも適切に対応することが可能となる。
本発明に係る第2の撮像装置は、操作力の付与による静止画像の撮影指示操作を受け付けるシャッタボタンを備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実行可能なぶれ補正装置を備え、前記ぶれ補正装置は、前記シャッタボタンに対する前記操作力の付与の特性を検出する操作力特性検出手段と、前記操作力特性検出手段の検出結果に基づいて前記ぶれ補正の実行可否を決定するぶれ補正制御手段と、を備えたことを特徴とする。
これにより、ぶれが少ないと想定される操作力が付与された場合はぶれ補正を実行しない、といった制御が可能となる。これにより、処理時間短縮又は消費電力削減を図ることが可能となる。
本発明に係る第3の撮像装置は、操作力の付与による静止画像の撮影指示操作を受け付けるシャッタボタンを備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実行可能なぶれ補正装置を備え、前記ぶれ補正装置は、前記シャッタボタンに対する前記操作力の付与の特性を検出する操作力特性検出手段と、被写体の明るさに基づいて求められる前記静止画像の適正露光時間を基準として実際の前記静止画像の露光時間を短縮するか否かを、前記操作力特性検出手段の検出結果に基づいて決定するぶれ補正制御手段と、を備え、前記短縮を行うと決定した場合に前記短縮によって前記ぶれ補正を実現することを特徴とする。
これにより、ぶれが大きいと想定される操作力が付与された場合にのみ前記短縮によるぶれ補正を行う、といった制御が可能となる。これにより、得られる静止画像のぶれ量を一定以下に収めることが可能となり、擬似的に安定したぶれ補正効果を得ることが可能となる。
本発明によれば、手ぶれ補正の効果向上、処理時間短縮又は消費電力削減に寄与する撮像装置を提供することができる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第1〜第16実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
図1(a)に、本発明の実施形態に係る撮像装置としてのデジタルカメラ1の外観図を示す。図1(b)に、デジタルカメラ1を支持する手をも併せて示したデジタルカメラ1の使用状況例を示す。
デジタルカメラ1は、静止画像のみを撮影可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。デジタルカメラ1は、静止画像の撮影を指示するためのシャッタボタンSB1を備えている。シャッタボタンSB1を押下することにより、静止画像の撮影がなされる。シャッタボタンSB1に対する押下は、静止画像の撮影を指示するための操作である。
デジタルカメラ1は、丸みを帯びた直方体状の筐体2と板状の筐体3とを連結部を介して接合して形成される。筐体3には、表示装置としてのモニタ17が備え付けられている。筐体2に対して筐体3は自在に開閉可能なように取り付けらており、筐体2に対する筐体3の相対位置は可変となっている。図1(a)及び(b)は、筐体3が開いている状態を示している。筐体3を閉じている状態で筐体2を固定しつつ筐体3に所定方向の外力を作用させると筐体3が開き、ユーザがモニタ17を視認できる状態となる。筐体3を開いている状態で筐体2を固定しつつ筐体3に所定方向の外力を作用させると筐体3が閉じ、ユーザがモニタ17を視認できない状態となる。ユーザは、通常、筐体3を開いてモニタ17に表示されるスルー画像を確認しつつ、シャッタボタンSB1に対する操作を行って静止画像の撮影を行う。
シャッタボタンSB1は筐体2に設けられている。本実施形態では、筐体2を片手で把持することによって筐体2及び3の全体を支持している状態において、その片手でシャッタボタンSB1が操作されることを主に想定している。本実施形態において、筐体2を把持する片手は右手を想定している。尚、図1(b)は、筐体2を右手で把持しつつ右手親指にてシャッタボタンSB1を操作する直前の状態を示している。
シャッタボタンSB1の押下時において、所謂手ぶれが発生する。手ぶれの方向は、ヨー方向とピッチ方向とロール方向に分類される。
ヨー方向とは、筐体2の長手方向に平行であって且つ筐体2内を通る所定の軸301を回転軸として、デジタルカメラ1を回転させる方向である。軸301及びヨー方向は、夫々、デジタルカメラ1の光軸300に対して直交する。ピッチ方向とは、光軸300及び軸301に対して直交し且つ筐体2内を通る所定の軸302を回転軸として、デジタルカメラ1を回転させる方向である。ヨー方向とピッチ方向は、互いに直交する。ロール方向とは、光軸300を回転軸として、デジタルカメラ1を回転させる方向である。軸301及び302はデジタルカメラ1の撮像素子(後述の撮像素子12)の撮像面に平行であり、光軸300はその撮像面に直交し、光軸300並びに軸301及び302は、その撮像面の中心で交わる。以下の説明は、軸301を鉛直方向に一致させた状態を想定するものとする。
デジタルカメラ1にヨー方向のぶれを与えれば、デジタルカメラ1の光軸は水平面に平行な面上で回転し、デジタルカメラ1にピッチ方向のぶれを与えれば、デジタルカメラ1の光軸は鉛直面に平行な面上で回転する。デジタルカメラ1は手ぶれ補正機能を備え、後述するように様々な手ぶれ補正が実現されるが、手ぶれ補正を行わない場合、ヨー方向の手ぶれによってデジタルカメラ1の撮像素子上に結像する像は左右方向(撮像素子の水平方向)に移動し、ピッチ方向の手ぶれによってデジタルカメラ1の撮像素子上に結像する像は上下方向(撮像素子の垂直方向)に移動し、ロール方向の手ぶれによってデジタルカメラ1の撮像素子上に結像する像は撮像素子上で回転する。
[シャッタボタンSB1の内部構成等]
シャッタボタンSB1の内部構成などについて詳細に説明する。まず、シャッタボタンSB1に利用可能な多段スイッチと多接点スイッチについて説明する。シャッタボタンSB1並びに多段スイッチ及び多接点スイッチは、押しボタンスイッチであり、今、それらを押し込む方向に平行な軸をZS軸とし、押し込む方向をZS軸の正の方向とする。これらのスイッチの説明において、ZS軸の正の方向を下方向と取り扱い、ZS軸の負の方向を上方向と取り扱うものとする。
図2(a)及び(b)は、多段スイッチの機能を説明するためのイメージ図である。多段スイッチは、作動ストロークの異なる複数段の押下操作が可能なスイッチである。図2(a)の多段スイッチは、第1の接点201、第2の接点202及び第3の接点203を有し、各接点201〜203の上方(ZS軸の負の方向)に受力部200が配設される。受力部200は、多段スイッチ内の構成要素と捉えることもできるし、多段スイッチの外部の構成要素と捉えることもできる。受力部200はZS軸方向に移動可能な移動体となっている。各接点201〜203は、オン又はオフの状態を択一的にとる。各接点201〜203は、受力部200のZS軸方向の位置に応じて、受力部200の下方(ZS軸の正の方向)に配置されたばね材(不図示)などを介してオンとされる。
受力部200が押し込まれていない時は、図示されない受力部支持材などによって受力部200は基準位置に配置され、第1〜第3の接点201〜203は全てオフとなる。受力部200を基準位置から所定量だけ押し込むと第1の接点201がオンとなり、その後、更に受力部200を所定量だけ押し込むと第2の接点202がオンとなり、その後、更に受力部200を所定量だけ押し込むと第3の接点203がオンとなる。2段階の押下操作が可能な多段スイッチの構成は、周知であり、デジタルカメラのシャッタボタンなどに広く用いられている。その周知の構成を利用すれば、容易に、図2(a)のような3段階の押下操作が可能な多段スイッチを形成可能である。
例えば、図2(b)の如く、第1〜第3の接点201〜203を内包した多段スイッチ204を受力部200の下方に配置し、受力部200の下面を多段スイッチ204の上端204aに接触させておく。上端204aは上下方向に移動可能となっており、受力部200が押し込まれていない時は、多段スイッチ204に内在するばね材(不図示)によって受力部200は基準位置に配置され、第1〜第3の接点201〜203は全てオフとされる。そして、受力部200を基準位置から所定量だけ押し込むと上端204aが下方に移動して第1の接点201がオンとなり、その後、更に受力部200を所定量だけ押し込むと上端204aが更に下方に移動して第2の接点202がオンとなり、その後、更に受力部200を所定量だけ押し込むと上端204aが更に下方に移動して第3の接点203がオンとなる。
多接点スイッチについて説明する。図3(a)及び(b)は、多接点スイッチの機能を説明するためのイメージ図である。今、XS軸、YS軸及びZS軸を座標軸とする3次元の直交座標系を定義する。XS軸はYS軸に直交し、XS軸及びYS軸はZS軸に直交する。図3(a)は、上方向から見た多接点スイッチの平面イメージ図であり、図3(b)は、YS軸方向から見た多接点スイッチの平面イメージ図である。
図3(a)及び(b)の多接点スイッチは、接点211及び212を有し、接点211及び212の上方に受力部210が配設される。受力部210は、多接点スイッチ内の構成要素と捉えることもできるし、多接点スイッチの外部の構成要素と捉えることもできる。各接点211及び212は、オン又はオフの状態を択一的にとる。図3(a)及び(b)の例の場合、接点211及び212はXS軸方向において互いに異なる位置に配置され、接点211のXS軸の座標値は正であり、接点212のXS軸の座標値は負である。接点211と212の中心は、ZS軸上に位置している。また、受力部210の中心もZS軸上に位置している。
受力部210が押し込まれていない時は、図示されない受力部支持材などによって受力部210は基準位置に配置され、接点211及び212は共にオフとなる。受力部210を押し込むと最終的に接点211及び212の双方がオンとなるが、受力部210の押し込み方によって、接点211及び212の何れか一方が先にオンとなる。例えば、接点212よりも接点211に近い側を中心として押圧力が加えられたときは、最初に接点211がオンとなり、次に接点212がオンとなる。
シャッタボタンSB1は、上述の多段スイッチと多接点スイッチを組み合わせた構成を有し、3段階の押下操作が可能となっている。図4に、シャッタボタンSB1に対する操作のイメージ図を示す。シャッタボタンSB1には、オートフォーカスを実行するための操作(後述の第1段階の押下操作)と、静止画像の撮影指示を与えるための操作(後述の第2段階の押下操作)と、シャッタボタンSB1の押下速度を検出するための操作(後述の第3段階の押下操作)とが加えられるようになっている。
図5(a)は、シャッタボタンSB1として利用可能なシャッタボタンSB1aを上方向から見た概略平面図である。図5(b)〜(d)は、YS軸方向から見たシャッタボタンSB1aの概略平面図であり、図5(b)はシャッタボタンSB1aを押し込んでいない時におけるそれを、図5(c)はシャッタボタンSB1aを浅く押し込んだ時におけるそれを、図5(d)はシャッタボタンSB1aを深く押し込んだ時におけるそれを表している。
シャッタボタンSB1aは、ユーザの指に接触し、その指を介した下方向の操作力を受ける受力部(移動体)220と、受力部220の下方に配設される、多段スイッチ221及び222並びに1段スイッチ223とを有する。
1段スイッチ223の筐体の上端223aは、上端223aに加わる下方向の力によって下方向に移動する。多段スイッチ221の筐体の上端221aは、上端221aに加わる下方向の力によって下方向に移動する。多段スイッチ222の筐体の上端222aは、上端222aに加わる下方向の力によって下方向に移動する。
下方向の操作力によって受力部220はZS軸方向に移動可能となっている。多段スイッチ221及び222並びに1段スイッチ223は、XS軸方向において互いに異なる位置に配置され、上端221aのXS軸の座標値は正であり、上端222aのXS軸の座標値は負であり、上端223aのXS軸の座標値はゼロである。また、上端221aと222aの中心は、ZS軸上に位置している(即ち、それのXS軸の座標値はゼロ)。また、受力部220の中心もZS軸上に位置している。
多段スイッチ221及び222は、夫々、上方側接点と下方側接点を有し、作動ストロークの異なる2段階の押下操作が可能な2段スイッチとなっている。1段スイッチ223は、1つの接点を有する。今、説明の便宜上且つ各接点の機能の理解容易化のため、1段スイッチ223が有する接点を第1段階の接点とよび、多段スイッチ221及び222の各上方側接点を第2段階の接点と呼ぶと共に各下方側接点を第3段階の接点と呼ぶことにする。第1〜第3段階の各接点は、オン又はオフの状態を択一的にとる。
受力部220の下面は上端223aと常に接触している。受力部220が押し込まれていない時は(即ち、受力部220に操作力が一切与えられていない時は)、1段スイッチ223に内在するばね材(不図示)によって受力部220は基準位置に配置され、第1〜第3段階の各接点は、全てオフとされる。受力部220を下方に押し込む操作力が加わると、受力部220は下方に移動する。これに伴って上端223aも下方に移動し、第1段階の接点がオフからオンに切り換わる。第1段階の接点がオフからオンに切り換わる時点では、第2及び第3段階の接点は全てオフとなっている。
受力部220を更に下方に押し込むと、図5(c)に示す如く受力部220の下面は上端221a及び222aに接触し、受力部220の下面は上端223aだけでなく上端221a及び222aをも下方に移動させる。上端221a及び222aの下方への移動量が一定量に達すると、多段スイッチ221及び222における各第2段階の接点がオフからオンに切り換わる。各第2段階の接点がオフからオンに切り換わる時点では、各第3段階の接点はオフとなっている。
受力部220を更に下方に押し込むと、図5(d)に示す如く受力部220の下面は更に上端221a、222a及び223aを下方に移動させる。そして、上端221a及び222aの下方への移動量が一定量に達すると、多段スイッチ221及び222における各第3段階の接点がオフからオンに切り換わる。
受力部220は、受力部220の周囲に配置されたガイド(不図示)に沿って下方に移動する訳であるが、受力部220と該ガイドとの間には空間が存在し、操作力が加わる方向に応じて例えば図6に示す如く受力部220の下面は多少傾きながら下方に移動する。従って、受力部220を押し込んだ際、受力部220の押し込み方によって、多段スイッチ221の第2段階の接点及び多段スイッチ222の第2段階の接点の内の何れか一方が先にオンとなる。例えば、多段スイッチ222よりも多段スイッチ221に近い側を中心として押圧力が加えられたときは、最初に多段スイッチ221の第2段階の接点がオンとなり、次に、多段スイッチ222の第2段階の接点がオンとなる。第3段階の接点についても同様である。
従って、2つの第2段階の接点の内、どちらの接点が先にオンしたかを検出することによって、シャッタボタンSB1a(受力部220)に対する操作力の加え方を2つの区分に分類して検出することができる。
更に、第2段階の接点がオンとなってから第3段階の接点がオンとなるまでの時間を計測することにより、シャッタボタンSB1aの押下速度(換言すれば、受力部220の移動速度)を検出することが可能である。例えば、2つの第2段階の接点の内、多段スイッチ221の第2段階の接点が先にオンとなった場合は、多段スイッチ221の第2段階の接点がオフからオンに切り換わった時点から、多段スイッチ221の第3段階の接点がオフからオンに切り換わった時点までの時間を計測する。そして、計測した該時間を、第2段階の接点と第3段階の接点間の距離にて割った値を、シャッタボタンSB1aの押下速度(換言すれば、受力部220の移動速度)として検出する。勿論、接点間の距離は、デジタルカメラ1にとって既知である。
また、図5のシャッタボタンSB1aではXS軸方向にのみ2つの多段スイッチ(221及び222)を配列しているが、図7に示す如く、YS軸方向にも多段スイッチを配列するようにしてもよい。図7は、上方から見たシャッタボタンSB1bの概略平面図である。シャッタボタンSB1bを、シャッタボタンSB1として利用することができる。シャッタボタンSB1bは、シャッタボタンSB1aに、多段スイッチ221と同じ多段スイッチ224及び225を追加した構成となっており、その他の点において両シャッタボタンは同様である。多段スイッチ221及び222をXS軸方向の互いに異なる位置に配列したのと同様に、シャッタボタンSB1bでは、多段スイッチ224及び225がYS軸方向の互いに異なる位置に配列され、多段スイッチ221、222、224及び225の筐体の各上端は、各上端に加わる下方向の力によって下方向に移動する。シャッタボタンSB1bには、4つの第2段階の接点が存在することになり、4つの第2段階の接点の内、何れの接点が先にオンしたかを検出することによって、シャッタボタンSB1b(受力部220)に対する操作力の加え方を4つの区分に分類して検出することができる。
尚、シャッタボタンSB1a(図5(a)参照)において、XS軸方向に配列された多段スイッチ221及び222をYS軸方向に配列するようにしてもよい。また、シャッタボタンSB1a(図5(a)参照)において、多段スイッチ221及び222を図2(b)に示される多段スイッチ(3段スイッチ)204に置き換えつつ、1段スイッチ224を省略するようにしてもよい。これによっても、3段階の押下操作を受け付けることが可能である。また、1段、2段、3段スイッチを組み合わせて、3段階の押下操作が可能なシャッタボタンを形成し、これをシャッタボタンSB1として利用するようにしてもよい。
以下の説明では、特に記述なき限り、図5(a)〜(d)に示されるシャッタボタンSB1aを図1のシャッタボタンSB1として用いることを想定する。そして、シャッタボタンSB1に含まれる第1〜第3段階の接点の内、第1段階の接点のみをオンとさせる操作を「第1段階の押下操作」といい、シャッタボタンSB1に含まれる複数の第2段階の接点の内、少なくとも1つの第2段階の接点をオフからオンに切り換えさせる操作を「第2段階の押下操作」という。シャッタボタンSB1に含まれる複数の第2段階の接点の内、最初にオンとなった第2段階の接点を「最前オン接点」という。最前オン接点を含む多段スイッチの第3段階の接点を、オフからオンに切り換えさせる操作を「第3段階の押下操作」という。
シャッタボタンSB1に対する押下は静止画像の撮影を指示するための操作であるが、厳密には、第2段階の押下操作が静止画像の撮影を指示するための操作に相当する。以下の述べる「撮影指示操作」とは、第2段階の押下操作を意味する。
シャッタボタンSB1は、第1段階の押下操作を受けた時点(即ち、第1段階の接点がオフからオンに切り換わった時点)で「第1押下検出信号」を出力し、第2段階の押下操作を受けた時点(即ち、最前オン接点がオフからオンに切り換わった時点)で「第2押下検出信号」を出力し、第3段階の押下操作を受けた時点(即ち、最前オン接点を含む多段スイッチの第3段階の接点がオフからオンに切り換わった時点)で「第3押下検出信号」を出力する。
図8に、デジタルカメラ1の電気的構成を示す一部ブロック図を示す。デジタルカメラ1は、最前接点検出部23及び押下速度検出部24を備える。最前接点検出部23は、シャッタボタンSB1が有する各第2段階の接点のオン又はオフ状態を監視し、何れの接点が最前オン接点であるかを検出すると共にその検出結果を表す情報を「最前オン接点情報」として出力する。押下速度検出部24は、シャッタボタンSB1から出力される第2押下検出信号と第3押下検出信号の出力タイミング差に基づいて、シャッタボタンSB1の押下速度(換言すれば、受力部220の移動速度)を検出し、検出した押下速度を表す情報を「押下速度情報」として出力する。
上述したように、シャッタボタンSB1としてシャッタボタンSB1aを用いる場合を主として想定するが、多段スイッチ221に対応するXS軸の正の方向は、デジタルカメラ1の操作面側から見た右方向に相当し、多段スイッチ222に対応するXS軸の負の方向は、デジタルカメラ1の操作面側から見た左方向に相当する(図1(a)及び図5(a)参照)。また、YS軸の正の方向及び負の方向は、夫々デジタルカメラ1の操作面側から見た上方向及び下方向に相当し、シャッタボタンSB1の押し込み方向は、概ね光軸方向に一致する。
[押下操作特性と手ぶれ特性との関係]
次に、図9を参照しつつ、最前オン接点と押下速度との関係における手ぶれ特性、即ち最前オン接点と押下速度との関係において想定される手ぶれの方向及び大きさを説明する。手ぶれ特性は、実験等を介して導出される。最前オン接点が何れの接点であるかによって、また、押下速度によって、手ぶれの方向や手ぶれ量(手ぶれの大きさ)などが異なる。
シャッタボタンSB1(SB1a)を形成する多段スイッチ221の第2段目の接点が最前オン接点であることは、シャッタボタンSB1の右側よりの位置が押下されたことに対応する。多段スイッチ221の第2段目の接点が最前オン接点となるような静止画像の撮影指示操作を「右側押下操作」という。右側押下操作時のヨー方向における手ぶれは、デジタルカメラ1の構造上、デジタルカメラ1の操作面側から見て左方向が支配的になる。即ち、右側押下操作時において、通常、ヨー方向の手ぶれ方向はデジタルカメラ1の操作面側から見て左方向となる。以下の説明において、手ぶれに関する方向は、デジタルカメラ1の操作面側から見た方向を意味するものとする。
シャッタボタンSB1(SB1a)を形成する多段スイッチ222の第2段目の接点が最前オン接点であることは、シャッタボタンSB1の左側よりの位置が押下されたことに対応する。多段スイッチ222の第2段目の接点が最前オン接点となるような静止画像の撮影指示操作を「左側押下操作」という。左側押下操作時のヨー方向における手ぶれは、デジタルカメラ1の構造上、右方向が支配的になる。即ち、左側押下操作時において、通常、ヨー方向の手ぶれ方向は右方向となる。
また、左側押下操作時よりも右側押下操作時の方が、通常、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が大きくなる。
また、シャッタボタンSB1の押下速度が比較的大きくなるような静止画像の撮影指示操作を「高速押下操作」といい、シャッタボタンSB1の押下速度が比較的小さくなるような静止画像の撮影指示操作を「低速押下操作」という。低速押下操作時よりも高速押下操作時の方が、通常、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が大きくなる。押下速度情報から特定されるシャッタボタンSB1の押下速度が所定速度よりも大きい場合、撮影指示操作は高速押下操作であると分類され、その押下速度が所定速度よりも小さい場合、撮影指示操作は低速押下操作であると分類される。図9に、想定される手ぶれ方向及び手ぶれ量と押下操作の特性との関係をまとめる。
このような関係を考慮すれば、最前オン接点情報及び/又は押下速度情報から、生じる手ぶれ方向及び/又は手ぶれ量を推定可能である。そして、デジタルカメラ1は、このような関係を考慮しつつ最前オン接点情報及び/又は押下速度情報に基づいて、自動的に手ぶれ補正処理に関する「手ぶれ補正変更制御」を実施する(詳細は各実施例にて後述)。また、本明細書において、最前オン接点情報及び/又は押下速度情報という表現は、最前オン接点情報及び押下速度情報の少なくとも一方という表現と、同義である。
尚、シャッタボタンSB1として図7のシャッタボタンSB1bを採用するようにすれば、シャッタボタンSB1の上下方向の押下位置を分類検出することができる。本実施形態に係るデジタルカメラ1では、図7の多段スイッチ224の第2段目の接点が最前オン接点となった場合と多段スイッチ225の第2段目の接点が最前オン接点となった場合との間で、ヨー方向、ピッチ方向及びロール方向の手ぶれ量に有意な差異はなく、双方の場合において、ピッチ方向の手ぶれは下方向が支配的であった。
デジタルカメラ1の筐体形状やシャッタボタンSB1の配置位置などに依存して、シャッタボタンSB1の構造は様々に変形される。仮に、右側押下操作時と左側押下操作時との間だけでなく、上側押下操作時と下側押下操作時との間においても手ぶれ方向及び手ぶれ量に有意な差異が現れるなら、シャッタボタンSB1として図7のシャッタボタンSB1bを採用した上で手ぶれ補正変更制御を実施すればよい。また仮に、上側押下操作時と下側押下操作時との間においてのみ、手ぶれ方向及び手ぶれ量に有意な差異が現れるなら、図5(a)のシャッタボタンSB1aの構造をZS軸回りに90度回転させたものをシャッタボタンSB1に用いればよい。
図1のデジタルカメラ1では、右側押下操作時と左側押下操作時との間で手ぶれ方向及び手ぶれ量に有意な差異が現れるため、上述したようにシャッタボタンSB1としてシャッタボタンSB1aを用いる場合を想定する。
デジタルカメラ1は、最前オン接点情報及び押下速度情報の内、最前オン接点情報のみに基づいて、手ぶれ補正変更制御を行うこともできる。最前オン接点情報のみに基づいて手ぶれ補正変更制御を行う場合、図10(a)に示す如く、右側押下操作時にはヨー方向の手ぶれ方向が左方向であると推定し、左側押下操作時にはヨー方向の手ぶれ方向が右方向であると推定する。
更に、右側押下操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が比較的大きく、左側押下操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が比較的小さいと推定する。そして、それらの推定結果に基づいて手ぶれ補正変更制御を実施する。
尚、最前オン接点情報のみに基づいて手ぶれ補正変更制御を行う場合、デジタルカメラ1から図8の押下速度検出部24を削除することができる。更に、第3段階の押下操作を受け付ける機能を削除することもできる。即ち、シャッタボタンSB1として使用されるシャッタボタンSB1a(図5(a)等参照)の多段スイッチ221及び222を、単なる1段スイッチに置換することも可能である。
デジタルカメラ1は、最前オン接点情報及び押下速度情報の内、押下速度情報のみに基づいて、手ぶれ補正変更制御を行うこともできる。押下速度情報のみに基づいて手ぶれ補正変更制御を行う場合、図10(b)に示す如く、高速押下操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が比較的大きく、低速押下操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が比較的小さいと推定する。そして、それらの推定結果に基づいて手ぶれ補正変更制御を実施する。
押下速度情報のみに基づいて手ぶれ補正変更制御を行う場合において、手ぶれ方向を推定する必要がある場合は、デジタルカメラ1にとっての既知情報から手ぶれ方向を推定する。例えば、上述の説明とは異なるが、シャッタボタンSB1の押下時におけるヨー方向の手ぶれ方向が通常右方向となることが既知であるなら、その既知の情報に基づいて手ぶれ方向を推定する。
尚、押下速度情報のみに基づいて手ぶれ補正変更制御を行う場合、デジタルカメラ1から図8の最前接点検出部23を削除することができる。更に、シャッタボタンSB1に含まれる第2及び第3段階の接点を1つずつとすることもできる。即ち、図2(b)に示す多段スイッチ204と受力部200とから形成されるシャッタボタンをシャッタボタンSB1として利用することができる。この場合、多段スイッチ204における第1〜第3の接点201〜203(図2(a)参照)を、夫々、第1〜第3段階の接点として取り扱えばよい。
デジタルカメラ1は、最前オン接点情報及び押下速度情報の双方に基づいて、手ぶれ補正変更制御を行うこともできる。この場合、図10(c)に示す如く、撮影指示操作が右側押下操作であって且つ高速押下操作である時は、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が比較的大きく、撮影指示操作が左側押下操作であって且つ低速押下操作である時は、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が比較的小さいと推定する。また、撮影指示操作が左側押下操作であって且つ高速押下操作である時における手ぶれ量及び撮影指示操作が右側押下操作であって且つ低速押下操作である時における手ぶれ量は比較的大きい、と推定するものとする(但し、シャッタボタンSB1の配置位置などに依存して、前者及び/又は後者の手ぶれ量は比較的小さい、と推定することも可能である)。
また、撮影指示操作が高速押下操作と低速押下操作の何れであるかに関わらず、右側押下操作時にはヨー方向の手ぶれ方向が左方向であると推定し、左側押下操作時にはヨー方向の手ぶれ方向が右方向であると推定する。
上述の如く、最前オン接点情報及び/又は押下速度情報から、シャッタボタンSB1(受力部220)に対する操作力の付与のされ方(即ち、操作力の付与特性)を推定可能であると共に手ぶれ方向及び手ぶれ量を推定可能である。
以下に、手ぶれ補正変更制御の具体的手法又はそれに関連する事項を説明するための実施例として、第1〜第16実施例を説明する。図11に、各実施例の概要を列記する。また、手ぶれ補正を施すことによって得られた手ぶれ補正後の画像を「ぶれ補正画像」と呼ぶ。矛盾なく且つ特に断りなき限り、或る実施例に記載した事項を、他の実施例に適用することも可能である。
<<第1実施例>>
まず、第1実施例について説明する。第1実施例では、手ぶれ補正として、加算式手ぶれ補正を採用する。
加算式手ぶれ補正では、1回の露光で1枚の画像を得るための一括露光の露光時間をN個(Nは2以上の整数)に分割し、分割露光時間にてN枚の分割露光画像を連続撮影する。そして、各分割露光画像の画像特徴に基づいて各分割露光画像間の動き検出を行い、その動き検出結果に従って各分割露光画像間の動きが打ち消されるように各分割露光画像を位置合わせして加算合成することにより画像のぶれが低減された1枚の静止画像を得る。分割露光時間は、一括露光の露光時間のN分の1とされる。つまり、「(分割露光時間)=(一括露光の露光時間)/(露光分割数)」の関係が成り立つ。Nは、露光分割数を表すと共に分割露光画像の枚数(分割枚数)を表す。
加算式手ぶれ補正を用いる場合、露光分割数(即ち、Nの数値)を大きくすれば1枚当たりの手ぶれ量は小さくなる。しかしながら、1枚当たりの手ぶれ量を小さくするために露光分割数を大きくし過ぎると、1枚当たりの露光時間が短くなって低輝度画像しか得られなくなり、撮影後の位置合わせが困難となる。
従って、分割露光時間と露光分割数を特定するNの数値は、撮影時の手ぶれ量に応じて最適化されることが望ましい。即ち、1枚当たりの手ぶれ量が大きくなりすぎないように且つ各分割露光画像の輝度が低くなりすぎなように、それらを設定すべきである。
本実施例では、最前オン接点情報及び/又は押下速度情報に基づく推定手ぶれ量に基づいて、分割露光時間と露光分割数を最適化する。具体的には、図12に示す如く、推定手ぶれ量が比較的大きい場合は、1枚当たりの手ぶれ量低減を優先すべく、分割露光時間を比較的短くし且つ露光分割数を比較的多くする。具体的には、分割露光時間をt1とし且つ露光分割数Nを4とする。
これに対し、推定手ぶれ量が比較的小さい場合は、露光分割数を少なくして1枚当たりの露光時間を長く設定する。これにより、撮影後の位置合わせが容易となる共に、より輝度の高い分割露光画像から分割露光画像間の動き検出を行うことができるようになるため動き検出(動きベクトル)の信頼性を高めることができる。結果、手ぶれ補正効果の向上(より正確な手ぶれ補正)が見込める。また、画像合成に必要な分割露光画像の枚数も少なくなるため、処理時間の短縮効果も見込める。具体的には、推定手ぶれ量が比較的小さい場合は、分割露光時間をt2とし且つ露光分割数Nを3とする。ここで、(t1×4)と(t2×3)は共に一括露光の露光時間に等しいため、t1<t2である。
このように、本実施例では、最前オン接点情報及び/又は押下速度情報に基づく推定手ぶれ量に基づいて分割露光時間と露光分割数を変更し、最適な手ぶれ補正を実現する。分割露光時間と露光分割数が、本実施例に係る手ぶれ補正変更制御の変更対象である。
推定手ぶれ量は、図10(a)〜(c)を参照して説明したように、以下のように定められる。推定手ぶれ量は、後述する手ぶれ補正制御部によって定められる。シャッタボタンSB1として図5(a)等に示されるシャッタボタンSB1aを用いる場合、以下の、推定手ぶれ量の定め方は、他の各実施例でも同じである。また、本明細書において、推定ぶれ量が比較的小さいという表現と推定手ぶれ量が小さいという表現は同義であり、推定ぶれ量が比較的大きいという表現と推定手ぶれ量が大きいという表現は同義である。
最前オン接点情報のみに基づいて手ぶれ補正変更制御を行う場合において右側押下操作がなされた時、又は、押下速度情報のみに基づいて手ぶれ補正変更制御を行う場合において高速押下操作がなされた時は、推定手ぶれ量は比較的大きいと定められる。
最前オン接点情報のみに基づいて手ぶれ補正変更制御を行う場合において左側押下操作がなされた時、又は、押下速度情報のみに基づいて手ぶれ補正変更制御を行う場合において低速押下操作がなされた時は、推定手ぶれ量は比較的小さいと定められる。
最前オン接点情報と押下速度情報に基づいて手ぶれ補正変更制御を行う場合において、撮影指示操作が右側押下操作であって且つ高速押下操作である時、撮影指示操作が左側押下操作であって且つ高速押下操作である時、又は、撮影指示操作が右側押下操作であって且つ低速押下操作である時は、推定手ぶれ量は比較的大きいと定められる。
最前オン接点情報と押下速度情報に基づいて手ぶれ補正変更制御を行う場合において、撮影指示操作が左側押下操作であって且つ低速押下操作である時は、推定手ぶれ量は比較的小さいと定められる。
図13に、上述の加算式手ぶれ補正を実現する、本実施例のデジタルカメラの全体ブロック図を示す。図13は、図1のデジタルカメラ1の電気的な一構成例を示すものであるため、図13のデジタルカメラも符号1によって参照することとする。図13のデジタルカメラ1は、符号11〜24及び30にて参照される各部位と、シャッタボタンSB1を備える。符号30にて参照される加算式手ぶれ補正回路は、輝度調節回路31、動き検出回路32、座標変換回路33、画像加算回路34及び画像メモリ35を備えている。座標変換回路33と画像加算回路34と画像メモリ35は画像合成回路36を形成している。光学系11と撮像素子12は、撮影を行う撮像部(撮像手段)を形成する。
CCD(Charge Coupled Devices)或いはC−MOSイメージセンサ(Complementary Metal Oxide Semiconductor)等から成る撮像素子12は、複数のレンズを含む光学系11を通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子12の出力信号は、例えばRGB信号によって表され、該出力信号はCDS(Correlated Double Sampling)回路とAGC(Auto Gain Control)回路とを備えたカメラ回路13に送られる。カメラ回路13において、撮像素子12の出力信号は、CDS回路で相関二重サンプリング処理された後、AGC回路で最適な振幅にゲイン調整される。カメラ回路13の出力信号は、A/D変換器14によってデジタル映像信号としての画像データに変換される。A/D変換器14からの画像データは、画像メモリ15に書き込まれる。撮影制御回路21は、被写体の明るさを測定する測光回路(不図示)から得られた明るさの情報に基づいて、撮像素子12の最適な露光時間を設定する。
画像メモリ15は、メモリ制御回路22を介してマイクロコンピュータ(以下、「マイコン」という)20によって制御される。マイコン20は、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン20の外部に備えられていると考えても構わない。撮影制御回路21は、マイコン20(又は手ぶれ補正制御部)によって制御される。
最前接点検出部23及び押下速度検出部24は、図8を参照して説明したそれらと同じものであり、夫々、最前オン接点情報及び押下速度情報をマイコン20に与える。また、シャッタボタンSB1は、上述の第1〜第3押下検出信号を、マイコン20、最前接点検出部23及び押下速度検出部24に与える。
マイコン20(及び後述する他の実施例におけるマイコン20a、20b、20c)は、第1押下検出信号を受けると、所謂オートフォーカス制御を実行する。オートフォーカス制御では、撮像素子12の撮像面上に被写体を表す光学像が結像するように、光学系11に含まれるフォーカスレンズが駆動される。その後、第2押下検出信号を受けた時点で撮影指示操作がなされたと判断し、その撮影指示操作に対応する1枚の静止画像を得るべく、その静止画像を得るための露光を開始する。この第1及び第2押下検出信号に対応するオートフォーカス制御動作及び露光動作は、特に記述なき限り、全ての実施例において共通である。
デジタルカメラ1の撮影時の動作モードには、「通常撮影モード」と「手ぶれ補正撮影モード」とが含まれる。手ぶれ補正ON/OFFスイッチ(不図示)に対する操作に応じて、「通常撮影モード」と「手ぶれ補正撮影モード」の切替え設定が行われる。
まず、通常撮影モードにおけるデジタルカメラ1の動作について説明する。シャッタボタンSB1に対して撮影指示操作がなされていない時には、一定間隔(例えば1/60秒)の撮影によって得られた画像データが、画像メモリ15に書き込まれた後、NTSC(National Television Standards Committee)エンコーダ16によりNTSC信号に変換されて、液晶ディスプレイ等から成るモニタ17に送られる。これにより、各画像データによって表される画像がモニタ17に表示される。このような、画像メモリ15に書き込まれた画像データをそのままNTSCエンコーダ16に送ることによる表示を、「スルー表示」という。
シャッタボタンSB1に対して撮影指示操作がなされると、静止画像の撮影を開始し、そのタイミングの撮影によって得られた画像データが画像メモリ15に書き込まれる。その後、該画像データにて表される画像がモニタ17に表示されると共に、該画像データは画像圧縮回路18によってJPEG(Joint Photographic Experts Group)などの所定の圧縮データ形式にエンコードされ、画像ファイルとしてメモリカード19に保存される。
次に、手ぶれ補正撮影モードにおけるデジタルカメラ1の動作について説明する。以下の全ての説明は、特に記述しない限り、手ぶれ補正撮影モードにおける動作の説明である(第2実施例以降についても同様)。
手ぶれ補正撮影モードにおいては、画像メモリ15に書き込まれた画像データは、加算式手ぶれ補正回路30に転送される。
シャッタボタンSB1に対して撮影指示操作がなされていない時には、一定間隔(例えば1/60秒)の撮影によって得られた画像データが、画像メモリ15に書き込まれた後、加算式手ぶれ補正回路30に転送される。この場合において加算式手ぶれ補正回路30に転送された画像データは、NTSCエンコーダ16を介してモニタ17に送られてスルー表示がなされると共に、輝度調節回路31に送られる。輝度調節回路31は、分割露光画像を模擬するべく、入力された画像(画像データ)の輝度が分割露光画像の輝度と同程度となるように入力された画像データの輝度レベルを低下させ、輝度レベル低下後の画像データを動き検出回路32に出力する。
動き検出回路32は、入力された、異なる画像間の動きベクトルの算出及び算出した動きベクトルの有効/無効判定を行う。撮影指示操作がなされていない場合には、動き検出回路32は、前回に入力された画像データにて表される画像と今回に入力された画像データにて表される画像との間における動きベクトルの算出及び算出した動きベクトルの有効/無効判定を行う。尚、撮影指示操作がなされていない時において順次算出される動きベクトルは、後述の第16実施例における図44のステップS48の処理(パン・チルト状態判定処理)などに利用することができる。
シャッタボタンSB1に対して撮影指示操作がなされた場合、マイコン20は、最前オン接点情報及び/又は押下速度情報に基づいて、推定手ぶれ量を特定すると共に撮影制御回路21に対して上記の最適な露光時間を複数個に分割して露光するように指示する。最適な露光時間を分割して得られる各露光時間が、上述の分割露光時間であり、1つの分割露光時間の露光によって撮影される画像が、上述の分割露光画像である。具体的には、最適な露光時間をTOとした場合において、推定手ぶれ量が比較的大きいと判断された時は、TO/4の分割露光時間で次々と4枚の分割露光画像を連続撮影する。一方、推定手ぶれ量が比較的小さいと判断された時は、TO/3の分割露光時間で次々と3枚の分割露光画像を連続撮影する。以下、分割露光画像を表す画像データを、特に「分割露光画像データ」ともいう。
分割露光によって得られた複数の分割露光画像データは、それぞれ画像メモリ15に記憶され、順次、加算式手ぶれ補正回路30に転送される。具体的には、各分割露光画像データは、順次、加算式手ぶれ補正回路30内の動き検出回路32および座標変換回路33に送られる。
動き検出回路32では、分割露光によって得られた複数の分割露光画像の内の、最初に入力された1番目の分割露光画像と、それ以降に入力される各分割露光画像との間の動きベクトルが順次算出されるとともに、算出された動きベクトルが有効か無効かも順次判定される。画像間の動きを表すベクトルとしてある程度信頼できると判断された動きベクトルは有効とされ、信頼できないと判断された動きベクトルは無効とされる。有効/無効の判定手法として、後述の第16実施例に記載の手法を用いることができる。
尚、ここにおける動きベクトルは、画像全体の動きベクトル(後述する「全体動きベクトル」)を意味している。また、動き検出回路32は、マイコン20によって制御され、動き検出回路32にて算出された各値は必要に応じてマイコン20に送られる。
動きベクトル(全体動きベクトル)が有効と判定された場合、2番目以降に加算式手ぶれ補正回路30に入力された各分割露光画像は、1番目の分割露光画像との間の動きベクトルに基づいて、1番目の分割露光画像とのずれがなくなるように、座標変換回路33で1番目の分割露光画像の座標に座標変換される(即ち、1番目の分割露光画像を基準として位置合わせされる)。そして、画像加算回路34において、座標変換された各分割露光画像の各画素値は、1番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ35に記憶される。つまり、分割露光画像間の位置ずれを補正した上で加算合成することにより得られる合成画像が画像メモリ35に格納される。
尚、1番目の分割露光画像と位置合わせ後の2番目以降の分割露光画像を単純に加算することによって合成画像を生成するようにしてもよいし、動きベクトルの信頼度を評価し、その信頼度に応じた比率で1番目の分割露光画像と位置合わせ後の2番目以降の分割露光画像を加重加算することによって合成画像を生成するようにしてもよい。信頼度の評価手法としては、後述の第16実施例に記載の手法を用いることができる。
各分割露光画像は、露光時間が通常露光の1/Nと短いため、手ぶれ量も通常露光の1/Nとなる(Nは3又は4)。そして、分割露光画像間の位置ずれが補正された後に分割露光画像が加算合成されるので、合成画像の手ぶれ量は、通常露光の1/Nに低減される。生成された合成画像は、シャッタボタンSB1の押下に応じて撮影されたぶれ補正画像としての1枚の静止画像を表している。ぶれ補正画像としての合成画像は、NTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
一方、動きベクトル(全体動きベクトル)が無効と判定された場合、2番目以降に加算式手ぶれ補正回路30に入力された各分割露光画像に対して、座標変換回路33での位置ずれ補正は行われない。そして、位置ずれ補正が施されていない各分割露光画像は、画像加算回路34で1番目の分割露光画像またはそれまでに合成された画像に加算合成される。このように加算合成することで、信頼性のない動きベクトルで位置合わせしたことに由来する画像のぶれの増加を抑制することが可能となる。
尚、或る画像に関し、画素値とは、その画像を形成する画素に対する映像信号の値(例えば、輝度信号の値、色差信号の値)を表す。
[動き検出回路]
動き検出回路32による動きベクトルの検出手法について詳細に説明する。動き検出回路32は、代表点マッチング法に基づいて動きベクトルを検出する。代表点マッチング法そのものについては周知である。動き検出回路32には次々と画像(画像データ)が入力されるが、基準画像と非基準画像との間の動きベクトルを検出する場合を例にとって、代表点マッチング法について説明する。典型的には例えば、基準画像は、上述の1番目の分割露光画像であり、非基準画像は、上述の2番目以降の各分割露光画像である。
図14に、動き検出回路32に与えられる画像データによって表される画像310を示す。画像310は、上記の基準画像又は非基準画像を表す。画像310内に、複数の動きベクトル検出領域が設けられる。以下、動きベクトル検出領域を、単に、「検出領域」と略記する。説明の具体化のため、9つの検出領域E1〜E9が設けられている場合を考える。各検出領域E1〜E9の大きさは同じであり、各検出領域E1〜E9は画像310内の互いに異なる位置に設けられる。
検出領域E1〜E9の夫々は、更に、複数の小領域(検出ブロック)eに分割されている。図14に示す例では、各検出領域が、48個の小領域eに分割されている(垂直方向に6分割され且つ水平方向に8分割されている)。各小領域eは、例えば、32×32の画素(垂直方向に32画素且つ水平方向に32画素の二次元配列された画素)で構成される。そして、図15に示すように、各小領域eに、複数のサンプリング点Sと1つの代表点Rが設定される。或る1つの小領域eに関し、複数のサンプリング点Sは、例えば当該小領域eを構成する画素の全てに対応する(但し、代表点Rを除く)。
非基準画像における小領域e内の各サンプリング点Sの輝度値と、基準画像における対応する小領域e内の代表点Rの輝度値との差の絶対値(各サンプリング点Sにおける相関値)が、各検出領域E1〜E9ごとに、全ての小領域eに対して求められる。そして、各検出領域E1 〜E9 ごとに、検出領域内の全ての小領域e間において、代表点Rに対する偏移が同じサンプリング点S同士の相関値が累積加算される(本実施例では、48個の相関値が累積加算される)。換言すれば、各検出領域E1 〜E9 において、各小領域e内の同じ位置(小領域内座標における同じ位置)の画素について求めた輝度差の絶対値が48個の小領域e分、累積加算される。この累積加算によって得られる値を、「累積相関値」とよぶ。累積相関値は、一般に、マッチング誤差とも呼ばれる。各検出領域E1 〜E9 ごとに、1つの小領域e内のサンプリング点Sの個数と同じ個数の複数の累積相関値が求められることになる。各検出領域E1 〜E9 ごとに、複数の累積装置値の内の最小値が特定され、累積相関値が最小となるサンプリング点Sが特定される。
そして、各検出領域E1 〜E9ごとに、代表点Rと累積相関値が最小となるサンプリング点Sとの偏移、すなわち相関性が最も高い偏移が検出される。その偏移を表すベクトルを当該検出領域の動きベクトルとして取り扱うことができる。このように、或る検出領域に関し、代表点マッチング法に基づいて算出される累積相関値は、基準画像に対して非基準画像に所定の偏移(基準画像と非基準画像との間における位置ずれ)を加えた時の、基準画像内の検出領域の画像と非基準画像内の検出領域の画像との相関(類似性)を表し、その値は該相関が高くなるに従って小さくなる。
そして、単純には例えば、検出領域ごとに検出された合計9つの動きベクトルの平均ベクトルを、基準画像と非基準画像との間における画像全体の動きベクトルとする。画像全体の動きベクトルは、基準画像と非基準画像との間における、画像全体の動きの向き及び大きさを特定する。画像全体の動きベクトルと検出領域ごとに算出される動きベクトルとを区別するべく、前者を特に全体動きベクトルといい、後者を特に領域動きベクトルということもある。
<<第2実施例>>
次に、第2実施例について説明する。第2実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第2実施例に係るデジタルカメラ1の全体ブロック図は、図13に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ1について、特に記述しない部分は、第1実施例におけるそれと同様とすることができ、第1実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
第1実施例との比較において、第2実施例では、動き検出回路32及び画像合成回路36に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路32及び画像合成回路36は、第2実施例における動き検出回路32及び画像合成回路36と解釈される。
具体的には、動き検出回路32は、画像メモリ15から送られてくる各分割露光画像データに基づいて、互いに異なる分割露光画像間の並進方向の動き検出及び回転方向の動き検出を実行可能に形成されている。そして、画像合成回路36は、並進方向の動き検出結果及び回転方向の動き検出結果に基づいて、又は、並進方向の動き検出結果のみに基づいて、各分割露光画像を位置合わせして加算合成することにより手ぶれ補正がなされたぶれ補正画像としての合成画像を生成する。
位置合わせに用いる動き検出結果は、推定手ぶれ量の大きさに応じて変更される。より具体的に説明する。位置合わせに用いる動き検出結果が、本実施例に係る手ぶれ補正変更制御の変更対象である。
シャッタボタンSB1に対して撮影指示操作がなされた時、その撮影指示操作に対応する推定手ぶれ量に基づいて、マイコン20は、撮影制御装置11に対して上記の最適な露光時間を複数個に分割して露光するように指示する。これにより、複数の分割露光画像が画像メモリ15に順次格納される。画像メモリ15に格納された各分割露光画像は、順次、動き検出回路32及び画像合成回路36に送られる。尚、露光分割の際、第1実施例と同様に推定手ぶれ量に基づいて分割露光時間及び露光分割数を変更するようにしてもよいし、変更しなくてもよい。
推定手ぶれ量が比較的大きい時は、ロール方向の手ぶれ量も比較的大きくなると予想される。推定手ぶれ量が比較的小さい時は、ロール方向の手ぶれ量も比較的小さくなると予想される。本実施例では、推定手ぶれ量が比較的大きい時と比較的小さい時との間で、動き検出及び位置合わせの処理を異ならせる。これを実現すべく、マイコン20は、推定手ぶれ量に基づいて動き検出回路32及び画像合成回路36の処理内容を指定する。
まず、推定手ぶれ量が比較的大きい時の処理について説明する。この場合、動き検出回路32が、互いに異なる分割露光画像間の並進方向の動き検出及び回転方向の動き検出を行う。
複数の分割露光画像の露光期間中におけるデジタルカメラ1のヨー方向及びピッチ方向のぶれは、互いに異なる分割露光画像間の並進方向の動きとなって表れる。互いに異なる分割露光画像間の並進方向の動きは、その分割露光画像間の水平方向及び垂直方向の位置ずれを表しており、それを、その分割露光画像間の並進方向の全体動きベクトルにて表現することができる。
複数の分割露光画像の露光期間中におけるデジタルカメラ1のロール方向のぶれは、互いに異なる分割露光画像間の回転方向の動きとなって表れる。互いに異なる分割露光画像間の回転方向の動きは、その分割露光画像間の回転方向の位置ずれを表しており、それを、その分割露光画像間の回転方向の全体動きベクトルにて表現することができる。
並進方向の動き検出及び回転方向の動き検出とは、上記の並進方向の全体動きベクトル及び回転方向の全体動きベクトルを求めることに相当する。実際には、複数の分割露光画像の内の1つを基準画像とし且つ他を非基準画像とし、基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。
基準画像と非基準画像との間における並進方向の全体動きベクトルの検出手法は公知であり、それの検出に任意の公知の手法を用いることができる。単純には例えば、第1実施例で述べたように、図14の検出領域ごとに検出された合計9つの領域動きベクトルの平均ベクトルを基準画像と非基準画像との間における並進方向の全体動きベクトルとすればよい。或いは、図14の検出領域ごとに検出された合計9つの領域動きベクトルの中から信頼性の高い複数の領域動きベクトルを抽出し、その複数の領域動きベクトルの平均ベクトルを、基準画像と非基準画像との間における並進方向の全体動きベクトルとして取り扱うようにしてもよい。
基準画像と非基準画像との間における回転方向の全体動きベクトルの検出手法も公知であり、それの検出に任意の公知の手法(例えば、特開平11−195125号公報に記載の手法)を用いることができる。例えば、基準画像の露光期間と非基準画像の露光期間の間にデジタルカメラ1がロール方向にぶれた時、検出領域E1とE9について検出された2つの領域動きベクトルは、図16(a)に示す如く、回転成分を持つことになる。このような回転成分を抽出することによって、回転方向の全体動きベクトルを検出すればよい。より具体的には、特開平11−195125号公報に記載の如く、各検出領域(E1〜E9)について検出された領域動きベクトルから並進方向の全体動きベクトルを減算することによって、動きの水平及び垂直成分が除去された回転成分のみを持つ複数の領域動きベクトルを検出する。そして、図16(b)に示すような、回転成分のみを持つ複数の領域動きベクトルから、基準画像と非基準画像との間における画像全体の回転角(及び回転中心)を算出し、算出値から回転方向の全体動きベクトルを特定すればよい。
そして、2番目以降に加算式手ぶれ補正回路30に入力された各分割露光画像(即ち、各非基準画像)は、1番目の分割露光画像(即ち、基準画像)との間における並進方向及び回転方向の全体動きベクトルに基づいて、1番目の分割露光画像とのずれがなくなるように、座標変換回路33で1番目の分割露光画像の座標に座標変換される(即ち、1番目の分割露光画像を基準として位置合わせされる)。そして、画像加算回路34において、座標変換された各分割露光画像の各画素値は、1番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ35に記憶される。つまり、分割露光画像間の並進方向及び回転方向の位置ずれを補正した上で加算合成することにより得られる合成画像が画像メモリ35に格納される。
次に、推定手ぶれ量が比較的小さい時の処理について説明する。推定手ぶれ量が比較的小さい時、通常、ロール方向の手ぶれ量も比較的小さい。従って、ロール方向の手ぶれ補正を省略する。即ち、推定手ぶれ量が比較的小さい時は、動き検出回路32に互いに異なる分割露光画像間の並進方向の動き検出のみを行わせ、回転方向の動き検出及び手ぶれ補正を省略する。
この場合、2番目以降に加算式手ぶれ補正回路30に入力された各分割露光画像(即ち、各非基準画像)は、1番目の分割露光画像(即ち、基準画像)との間における並進方向の全体動きベクトルに基づいて、1番目の分割露光画像とのずれがなくなるように、座標変換回路33で1番目の分割露光画像の座標に座標変換される(即ち、1番目の分割露光画像を基準として位置合わせされる)。そして、画像加算回路34において、座標変換された各分割露光画像の各画素値は、1番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ35に記憶される。つまり、分割露光画像間の並進方向の位置ずれのみを補正した上で加算合成することにより得られる合成画像が画像メモリ35に格納される。
何れの合成画像も、NTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
上述のように処理することにより、ロール方向の手ぶれ量が比較的小さいと推測される場合には、ロール方向の手ぶれ補正が省略されるため、加算合成に要する処理時間の低減効果及び消費電力の削減効果が得られる。
<<第3実施例>>
次に、第3実施例について説明する。第3実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第3実施例に係るデジタルカメラ1の全体ブロック図は、図13に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ1について、特に記述しない部分は、第1実施例におけるそれと同様とすることができ、第1実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
第1実施例との比較において、第3実施例では、動き検出回路32に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路32は、第3実施例における動き検出回路32と解釈される。
動き検出回路32は、第1実施例にて図14及び図15を参照して説明したように、代表点マッチング法を用いて、領域動きベクトルを検出領域(E1〜E9)ごとに検出する。そして、各検出領域を形成する各小領域e(検出ブロック)は、原則、32×32の画素にて構成され、推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた時は、原則どおり、各小領域eを32×32の画素にて形成されるようにする。これにより、画像の上下左右の夫々の方向において、最大16画素分の手ぶれを検出することが可能となる。
一方、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた時は、小領域eを24×24の画素(垂直方向に24画素且つ水平方向に24画素の二次元配列された画素)にて形成されるようにする。これにより、画像の上下左右の夫々の方向において、最大12画素分の手ぶれまでしか検出できないことになるが、生じる手ぶれ量が小さいため、問題は生じがたく、画像合成回路36における良好な位置合わせ及び画像合成は維持される。
このように、推定手ぶれ量が比較的小さい時は、推定手ぶれ量が比較的大きい時よりも、小領域eの画像サイズを小さくする(これに伴って、各検出領域の画像サイズも小さくなる)。これにより、動き検出の処理時間の短縮効果及び消費電力の削減効果が得られる。また、より狭い領域で累積加算処理が行われるため、動きベクトルの誤検出率が低下して位置合わせの精度の向上も見込める(より狭い領域で累積加算処理が行えば、類似模様などの存在に由来する動きベクトルの誤検出が発生しにくくなる)
尚、動き検出回路32による動き検出の原理から理解されるように、小領域eの画像サイズを減少させることは、互いに異なる分割露光画像間の動きの検出可能範囲を減少させることに相当する(上述の例では、上下左右に最大16画素分の動きの検出可能範囲が最大12画素分にまで減少)。また、マイコン20が、最前オン接点情報及び/又は押下速度情報に基づいて推定手ぶれ量を特定し、その推定手ぶれ量に従って動き検出回路32を制御することにより、各小領域eの画像サイズを可変設定する。この各小領域eの画像サイズ(換言すれば、動きの検出可能範囲)が、本実施例に係る手ぶれ補正変更制御の変更対象である。
<<第4実施例>>
次に、第4実施例について説明する。第4実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第4実施例に係るデジタルカメラ1の全体ブロック図は、図13に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ1について、特に記述しない部分は、第1実施例におけるそれと同様とすることができ、第1実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
第1実施例との比較において、第4実施例では、動き検出回路32に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路32は、第4実施例における動き検出回路32と解釈される。
動き検出回路32は、第1実施例にて図14及び図15を参照して説明したように、代表点マッチング法を用いて領域動きベクトルを検出領域(E1〜E9)ごとに検出する。通常は、図14に示す如く、水平及び垂直方向に3つずつ均等な配置で各分割露光画像内に検出領域E1〜E9が定義される。このような検出領域E1〜E9の配置位置を基準配置位置と呼ぶ。本実施例では、最前オン接点情報及び/又は押下速度情報に基づいて、基準画像内に定義される検出領域E1〜E9の位置を、予想される手ぶれ方向の逆方向にシフトさせる。このシフトさせる方向及びシフト量が、本実施例に係る手ぶれ補正変更制御の変更対象である。
マイコン20は、最前オン接点情報及び/又は押下速度情報に基づいて、推定手ぶれ量及び/又は推定手ぶれ方向を定める。推定手ぶれ量の定め方は、第1実施例で述べたものと同様である。推定手ぶれ方向は、図10(a)〜(c)を参照して説明したように、以下のように定められる。シャッタボタンSB1として図5(a)等に示されるシャッタボタンSB1aを用いる場合、以下の、推定手ぶれ方向の定め方は、他の各実施例でも同じである。
最前オン接点情報のみに基づいて或いは最前オン接点情報及び押下速度情報に基づいて手ぶれ補正変更制御を行う場合において、撮影指示操作が右側押下操作である時は推定手ぶれ方向は左方向と定められ、撮影指示操作が左側押下操作である時は推定手ぶれ方向は右方向と定められる。また、押下速度情報のみに基づいて手ぶれ補正変更制御を行う場合は、実験等を介して、シャッタボタンSB1に対する推定手ぶれ方向を予め固定的に定めておけばよい。
撮影指示操作がなされるとN枚の分割露光画像が連続撮影される。このN枚の分割露光画像の内、1番目の分割露光画像(1番目に撮影された分割露光画像)が基準画像とされ、2番目以降の各分割露光画像が非基準画像として取り扱われる。
推定手ぶれ方向が右方向である場合、図17に示す如く、基準画像に現れる像との対比において非基準画像に現れる像は通常右方向にシフトする。従って、この場合は、図18(a)に示す如く、基準画像内に定義される検出領域E1〜E9の配置位置を基準配置位置から左方向にシフトさせる。シフトさせる量は、押下速度情報に応じて変化させることができる。つまり、押下速度情報に基づく推定手ぶれ量が小さい時のシフト量よりも、それが大きい時のシフト量の方を大きくするとよい。尚、最前オン接点情報のみに基づいて手ぶれ補正変更制御を行う場合は、シフト量を予め定めておくとよい。
一方において、非基準画像内に定義される検出領域E1〜E9の配置位置は、図18(b)に示す如く、基準配置位置と同じとする。基準画像と非基準画像との間において、検出領域そのものは同じである、例えば、各検出領域は、図14及び図15を参照して説明したように48個の小領域eに分割され、各小領域eは32×32の画素にて構成される。
図19は、検出領域E1の左隅に位置する1つの小領域eに着目し、基準画像における着目小領域と非基準画像における着目小領域を重ね合わせて示した図である。図19において、実線四角枠320は基準画像における着目小領域を表し、破線四角枠321は非基準画像における着目小領域を表し、点322は基準画像における着目小領域に定義された代表点を表している。また、図19におけるΔは、基準画像内に定義される検出領域E1〜E9の配置位置を基準配置位置から左方向にシフトさせた量を表している。
この状態で、第1実施例で説明したように、各検出領域E1 〜E9 ごとに複数の累積相関値を求めて各検出領域E1 〜E9 ごとに複数の累積相関値の内の最小値を特定する。そして、各検出領域E1 〜E9ごとに代表点Rと累積相関値に最小値を与えるサンプリング点Sとの偏移、すなわち相関性が最も高い偏移を検出して、その偏移を表すベクトルを当該検出領域の領域動きベクトルとして検出する。領域動きベクトルが検出された後の動作は、第1実施例と同様である。図19を参照した場合、代表点322を始点とし破線四角枠321内の任意の点を終点とするベクトルが、検出可能な領域動きベクトルである。従って、ベクトル323のような、右方向の大きさの大きい領域動きベクトルも検出可能となる。
代表点マッチング法を用いて、基準画像に定義された検出領域内の画像と各非基準画像に定義された検出領域内の画像とを対比し、これによって、手ぶれに由来する基準画像と各非基準画像との間の位置ずれ(動きベクトル)を評価するのであるが、上述のような検出領域のシフト処理を行うことにより、検出可能な右方向の位置ずれ量を増大させることができる。即ち、露光期間中に生じる手ぶれに対して追従できる範囲が実質的に広くなり、より大きな手ぶれに対しても適切な手ぶれ補正を実行することが可能となる。
また、上述のシフト処理において重要なのは、基準画像に定義された検出領域と各非基準画像に定義された検出領域との相対位置であるので、シフト対象を上述と逆にしてもよい。即ち、推定手ぶれ方向が右方向である場合、基準画像内に定義される検出領域E1〜E9の配置位置を基準配置位置と一致させ、且つ、各非基準画像内に定義される検出領域E1〜E9の配置位置を基準配置位置から右方向にシフトさせるようにしてもよい。
推定手ぶれ方向が右方向である場合の動作を上述したが、推定手ぶれ方向が左方向である場合の動作も同様である。即ち、推定手ぶれ方向が左方向である場合、基準画像内に定義される検出領域E1〜E9の配置位置を基準配置位置から右方向にシフトさせるとよい。また、押下速度情報に基づいてシフト量を変更するようにしてもよい。
また、推定手ぶれ量が比較的小さいと判断された時は、手ぶれの絶対量が小さいので検出領域のシフトを行わないようにしてもよい。つまり、推定手ぶれ量が比較的小さいと判断された時、基準画像内に定義される検出領域E1〜E9の配置位置及び各非基準画像内に定義される検出領域E1〜E9の配置位置を共に基準配置位置とするようにしてもよい。
尚、マイコン20が、最前オン接点情報及び/又は押下速度情報に基づいて動き検出回路32を制御することにより、検出領域E1〜E9の配置位置を可変設定する。
<<第5実施例>>
次に、第5実施例について説明する。第5実施例では、手ぶれ補正として光学式手ぶれ補正を採用する。
図20に、本実施例のデジタルカメラの全体ブロック図を示す。図20は、図1のデジタルカメラ1の電気的な一構成例を示すものであるため、図20のデジタルカメラも符号1によって参照することとする。図20のデジタルカメラ1は、符号11a、12〜19、20a、22〜26にて参照される各部位と、シャッタボタンSB1を備える。光学系11aと撮像素子12は、撮影を行う撮像部(撮像手段)を形成する。
撮像素子12は、複数のレンズを含む光学系11aを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子12、カメラ回路13、A/D変換器14、画像メモリ15の機能は、図13におけるそれらと同じである。撮像素子12の出力信号に基づく画像データは、画像メモリ15に書き込まれる。尚、被写体の明るさを測定する測光回路(不図示)から得られた明るさの情報に基づいて、撮像素子12の最適な露光時間は設定される。
画像メモリ15は、メモリ制御回路22を介してマイコン20aによって制御される。マイコン20aは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン20aの外部に備えられていると考えても構わない。最前接点検出部23及び押下速度検出部24は、夫々、最前オン接点情報及び押下速度情報をマイコン20aに与える。シャッタボタンSB1は、上述の第1〜第3押下検出信号を、マイコン20a、最前接点検出部23及び押下速度検出部24に与える。
撮影指示操作がなされていない場合には、一定間隔(例えば1/60秒)の撮影によって得られた画像データが、画像メモリ15に書き込まれる。画像メモリ15に書き込まれた画像データは、NTSCエンコーダ16を介してモニタ17に送られてスルー表示がなされる。
撮影指示操作がなされた場合には、その撮影指示操作に従って撮影されるべき1枚の静止画像の露光期間中において、センサ部26からの手ぶれ検出信号に基づき、マイコン20aが駆動部25を制御して光学式手ぶれ補正を実現する。
センサ部26は、図21に示す如く、2つのセンサユニット50及び60を備える。センサユニット50は、デジタルカメラ1のヨー方向の角速度を検出するための角速度センサ51を有し、センサユニット60は、デジタルカメラ1のピッチ方向の角速度を検出するための角速度センサ61を有している。センサユニット50と60は、角速度を検出する方向が異なるだけで、内部構成は同様である。従って、センサユニット50についてのみ詳細な説明を行い、センサユニット60に対する説明を割愛する。
図22に示す如く、センサユニット50は、角速度センサ51、フィルタ回路52、増幅率53及びA/D変換器54を備える。角速度センサ51は、所定のサンプリング周期dtにてデジタルカメラ1のヨー方向の角速度を計測して、そのサンプリング周期dtにおけるヨー方向の角速度を表すアナログ信号(以下、「センサ信号」という)を出力する。角速度センサ51からのセンサ信号は、フィルタ回路52を介して増幅器53に与えられ、増幅器53は、与えられたセンサ信号を増幅して出力する。増幅器53の出力信号を増幅センサ信号という。A/D変換器54は、増幅器53からのアナログの増幅センサ信号をデジタル信号に変換する。このデジタル信号から、サンプリング周期dtにおけるデジタルカメラ1のヨー方向の角速度が求められる。A/D変換器54から、サンプリング周期dtにて順次デジタル信号が出力される。
フィルタ回路52は、例えば、所定のカットオフ周波数以下の信号成分を減衰させるハイパスフィルタである。角速度センサ51の出力信号には、周辺温度等に依存してドリフトするオフセット成分が含まれるが、ドリフトは低周波であるため、フィルタ回路52によって、角速度センサ51の出力信号から該オフセット成分(ドリフト成分)が除去される。尚、フィルタ回路52を省略する構成も採用可能であり、その場合、角速度センサ51の出力信号は、そのまま増幅器53に与えられる。
センサユニット60もセンサユニット50と同様に構成され、センサユニット60は、サンプリング周期dtにおけるデジタルカメラ1のピッチ方向の角速度を表すデジタル信号を順次出力する。センサユニット50と60からの各デジタル信号は、「手ぶれ検出信号」としてマイコン20aに伝達される。
図23に、光学系11aの内部構成を撮像素子12と共に示す。光学系11aは、ズームレンズやフォーカスレンズの他、補正レンズLCを含む複数枚のレンズを備えて構成される。補正レンズLCは、光軸に直交する2次元平面上を移動可能なように光学系11a内に設置され、その移動は、図20の駆動部25によって実現される。補正レンズLCを光軸に直交する2次元平面上で移動させることにより、撮像素子12に結像する像が、撮像素子12上で2次元方向に移動する。
撮影指示操作がなされた時、マイコン20aは、手ぶれが除去された1枚の静止画像(ぶれ補正画像)が得られるようにデジタルカメラ1内の各部位を制御する。手ぶれが除去される対象の画像を補正対象画像とよぶ。
具体的には、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子12上の光学像のぶれが打ち消されるように駆動部25を用いて補正レンズLCを駆動する。つまり、補正対象画像の露光期間中、実空間内で固定された被写体が補正レンズLCの屈折によって常に撮像素子12の同じ位置に結像するよう、補正レンズLCを移動させる。これにより、手ぶれ補正が実現され、手ぶれ補正が施された静止画像が得られる。この手ぶれ補正は、一般的に光学式手ぶれ補正と呼ばれる。得られた静止画像を表す画像データは図20の画像メモリ15に格納された後、NTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
そして、本実施例では、マイコン20aが、最前オン接点情報及び/又は押下速度情報に基づいて推定手ぶれ量及び/又は推定手ぶれ方向を特定する。そして、推定手ぶれ量及び/又は推定手ぶれ方向に応じて、シャッタボタンSB1の押下に従って取得されるべき静止画像(補正対象画像)の露光期間の開始時における補正レンズLCの位置(以下、初期位置という)を設定する。設定されるべき該初期位置が、本実施例に係る手ぶれ補正変更制御の変更対象である。
推定手ぶれ方向が右方向である場合、補正対象画像の露光期間中において補正レンズLCは、その右方向の手ぶれを打ち消す方向に移動させられる可能性が高い。従って、この場合は、補正レンズLCの初期位置を、その右方向の手ぶれを打ち消す方向の逆方向にシフトさせておく。つまり、補正レンズLCの初期位置を、補正レンズLCの可動範囲の中心位置を基準として、その右方向の手ぶれを打ち消す方向の逆方向に所定のシフト量だけシフトさせた位置とする。シフト量は、押下速度情報に応じて変化させることができる。つまり、押下速度情報に基づく推定手ぶれ量が小さい時のシフト量よりも、それが大きい時のシフト量の方を大きくするとよい。尚、最前オン接点情報のみに基づいて手ぶれ補正変更制御を行う場合は、シフト量を予め定めておくとよい。
推定手ぶれ方向が左方向である場合の動作も同様である。即ち、推定手ぶれ方向が左方向である場合、補正レンズLCの初期位置を、その左方向の手ぶれを打ち消す方向の逆方向にシフトさせておく。つまり、補正レンズLCの初期位置を、補正レンズLCの可動範囲の中心位置を基準として、その左方向の手ぶれを打ち消す方向の逆方向に所定のシフト量だけシフトさせた位置とする。この場合においても、シフト量を押下速度情報に基づいて変更するようにしてもよい。
また、推定手ぶれ量が比較的小さいと判断された時は、手ぶれの絶対量が小さいので補正レンズLCの初期位置のシフト処理を行わないようにしてもよい(即ち、シフト量をゼロとしてもよい)。また、補正レンズLCの初期位置への移動は、補正対象画像の露光期間の開始前に実施される。
上述のような補正レンズLCのシフト処理を行うことにより、露光期間中に生じる手ぶれに対して追従できる範囲が実質的に広くなり、より大きな手ぶれに対しても適切な手ぶれ補正を実行することが可能となる。
また、駆動部25によって撮像素子12を光軸に直交する2次元平面上で移動させることができるように構成しておいてもよい。この撮像素子12の移動によって補正レンズLCを移動させた場合と同様の作用が得られる(即ち、光学式手ぶれ補正が実現される)ことが知られている。従って、補正レンズLCではなく駆動部25によって撮像素子12を駆動することにより、上述と同様の処理を行うようにしてもよい。つまり、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子12上の光学像のぶれが打ち消されるように撮像素子12を移動させるようにしてもよい。
この場合、撮像素子12の初期位置を、撮像素子12の可動範囲の中心位置を基準として、手ぶれを打ち消す方向の逆方向にシフトさせた位置とする。手ぶれを打ち消す方向は、補正レンズLCを移動させる場合と同様、推定手ぶれ方向によって特定される。撮像素子12の初期位置に対するシフト量は、補正レンズLCをシフトさせる場合と同様、押下速度情報に応じて定められる(或いは、固定値とされる)。尚、撮像素子12の初期位置とは、補正対象画像の露光期間の開始時における撮像素子12の位置である。
また、補正レンズLCの代わりに、バリアングルプリズム(不図示)を用いてもよい。バリアングルプリズムは、2枚の板ガラスの間に高い屈折率を持つ液体を封入した構造を有し、一方または双方の板ガラスを傾けることで自身に入射する光の屈折方向を変えることができる。この場合、被写体からの光は、バリアングルプリズムを含む光学系を介して撮像素子12に入射する。
このバリアングルプリズムを駆動(即ち、板ガラスを駆動)することによって補正レンズLCを移動させた場合と同様の作用が得られる(即ち、光学式手ぶれ補正が実現される)ことが知られている。従って、補正レンズLCではなく駆動部25によってバリアングルプリズムを駆動することにより、上述と同様の処理を行うようにしてもよい。つまり、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子12上の光学像のぶれが打ち消されるようにバリアングルプリズムを駆動(即ち、板ガラスを駆動)させるようにしてもよい。
この場合、バリアングルプリズムの初期状態を、バリアングルプリズムの状態可変範囲の中心を基準として、手ぶれを打ち消す方向の逆方向にシフトさせた状態とする。手ぶれを打ち消す方向は、補正レンズLCを移動させる場合と同様、推定手ぶれ方向によって特定される。バリアングルプリズムの初期状態に対するシフト量は、補正レンズLCをシフトさせる場合と同様、押下速度情報に応じて定められる(或いは、固定値とされる)。尚、バリアングルプリズムの状態とは、バリアングルプリズムを入射する光の屈折方向を特定する、2枚の板ガラスの傾き状態であり、バリアングルプリズムの初期状態とは、補正対象画像の露光期間の開始時におけるバリアングルプリズムの状態である。
<<第6実施例>>
次に、第6実施例について説明する。第6実施例では、手ぶれ補正として光学式手ぶれ補正と復元式手ぶれ補正を採用する。
図24に、本実施例のデジタルカメラの全体ブロック図を示す。図24は、図1のデジタルカメラ1の電気的な一構成例を示すものであるため、図24のデジタルカメラも符号1によって参照することとする。図24のデジタルカメラ1は、符号11a、12〜19、20b、22〜26及び70にて参照される各部位と、シャッタボタンSB1を備える。光学系11aと撮像素子12は、撮影を行う撮像部(撮像手段)を形成する。
撮像素子12は、複数のレンズを含む光学系11aを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子12、カメラ回路13、A/D変換器14、画像メモリ15の機能は、図13におけるそれらと同じである。撮像素子12の出力信号に基づく画像データは、画像メモリ15に書き込まれる。尚、被写体の明るさを測定する測光回路(不図示)から得られた明るさの情報に基づいて、撮像素子12の最適な露光時間は設定される。
画像メモリ15は、メモリ制御回路22を介してマイコン20bによって制御される。マイコン20bは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン20bの外部に備えられていると考えても構わない。最前接点検出部23及び押下速度検出部24は、夫々、最前オン接点情報及び押下速度情報をマイコン20bに与える。シャッタボタンSB1は、上述の第1〜第3押下検出信号を、マイコン20b、最前接点検出部23及び押下速度検出部24に与える。
撮影指示操作がなされていない場合には、一定間隔(例えば1/60秒)の撮影によって得られた画像データが、画像メモリ15に書き込まれる。画像メモリ15に書き込まれた画像データは、NTSCエンコーダ16を介してモニタ17に送られてスルー表示がなされる。
撮影指示操作がなされた場合、マイコン20bは、手ぶれが除去された1枚の静止画像(ぶれ補正画像)が得られるようにデジタルカメラ1内の各部位を制御する。手ぶれが除去される対象の画像を補正対象画像とよぶ。
マイコン20bは、補正対象画像に対して、光学式手ぶれ補正と復元式手ぶれ補正の双方を行うか、或いは、復元式手ぶれ補正のみを行うかを、最前オン接点情報及び/又は押下速度情報に基づき選択制御する。この選択の対象が、本実施例に係る手ぶれ補正変更制御の変更対象である。具体的には、最前オン接点情報及び/又は押下速度情報に基づいて推定手ぶれ量を特定し、推定手ぶれ量が比較的大きい時には光学式手ぶれ補正と復元式手ぶれ補正の双方を行い、推定手ぶれ量が比較的小さい時には復元式手ぶれ補正のみを行うようにする。光学式手ぶれ補正と復元式手ぶれ補正の双方を行う手ぶれ補正を、以下、「光学/復元ハイブリッド補正」という。
まず、手ぶれ補正として復元式手ぶれ補正のみを行う場合の動作を説明する。復元式手ぶれ補正は、撮像素子12にて取得された画像に含まれるぼけ(手ぶれに由来するぼけ)を除去する画像処理を実行することによって実現され、この画像処理は画像復元処理とも呼ばれる。画像復元の原理自体は公知である。復元式手ぶれ補正のみを行う場合は、例えば上記特許文献4〜6の何れかに記載の手法を用いればよい。画像復元処理は、マイコン20bの制御の下、画像復元部70によって実行される。
具体的には、画像メモリ15に格納された、補正対象画像を表す画像データを画像復元部70に入力する。画像復元部70は、補正対象画像の露光期間中における手ぶれ検出信号に基づき、補正対象画像の露光期間中における手ぶれの軌跡を求める。手ぶれ検出信号によって、サンプリング周期dtごとのデジタルカメラ1のヨー方向及びピッチ方向の角速度が特定される。従って、特定された各角速度を、手ぶれに由来する画像の動きを表す情報、即ち、動きベクトルに変換することが可能である。補正対象画像の露光期間中における各動きベクトルを繋ぎ合わせることにより、補正対象画像の露光期間中における手ぶれの軌跡を求めることができる。
画像復元部70は、画像上における手ぶれの軌跡から、点広がり関数(Point Spread Function)を作成する。点広がり関数を、以下、PSFと記述する。図25を参照する。手ぶれは、空間フィルタを使って表すことができる。図25の符号401は、手ぶれの軌跡、即ち、理想的な点像がデジタルカメラ1のぶれによって画像上で描く軌跡(画像のぶれの軌跡)を表す。この手ぶれの軌跡にあわせてオペレータの要素に重みを加えた空間フィルタを形成し、この空間フィルタを用いてフィルタ処理を行うと、フィルタリング過程において各画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになる。つまり、この空間フィルタを用いて、手ぶれの影響を受けた画像を作成することができる。
この手ぶれの軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、PSFと呼ばれ、手ぶれの数学モデルとして使用される。PSFの或る要素の重みは、その要素を手ぶれの軌跡が通過する時間に比例した値とされる(但し、各要素の重みの総和が1になるように正規化される)。即ち、重みは、動きベクトルの大きさの逆数に比例した値とされる。手ぶれが画像に与える影響を考えたとき、より遅い動きに対応する要素には、より大きな影響が与えられるからである。
図25の符号402は、手ぶれの動きが等速であると仮定した場合のPSFを表し、図25の符号403は、実際の手ぶれの動きの大きさを考慮した場合のPSFを表している。符合403で表されるPSFにおいて、重みの比較的小さい(動きベクトルの大きさが比較的大きい)要素を比較的黒く表示し、重みの比較的大きい(動きベクトルの大きさが比較的小さい)要素を比較的白く表示している。
手ぶれ検出信号から求められる動きベクトルによって、手ぶれの軌跡と手ぶれの速度(即ち、手ぶれの軌跡を描く速度)とが特定される。PSFを作成するには、まず、手ぶれの軌跡からPSFの重みをかける要素(即ち、0ではない有意な重みが付与される要素)を決定する。そして、手ぶれの速度から、PSFの要素にかける重みを決定する。手ぶれの軌跡からPSFの重みをかける要素を決定する手法、及び、PSFの要素にかける重みを決定する手法については、周知であるため、説明を割愛する。例えば、特許文献6に記載の手法を用いればよい。
比較的速い手ぶれの速度に対応する要素には比較的小さな重みが付与され、比較的遅い手ぶれの速度に対応する要素には比較的大きな重みが付与される。或る要素に付与される重みは、その要素に対応する動きベクトルの大きさの逆数に概ね比例する。上述の如く、各要素についての重みを決定することにより、画像劣化関数としてのPSFが生成される。
PSFは、ぼけのない画像からぼけのある画像を生成するための空間フィルタであるので、このPSFの逆特性を有する補正関数を求めれば、この補正関数を用いてぼけのある画像からぼけを除去することができる。この補正関数は、復元フィルタとして表現することができる。PSFから補正関数としての復元フィルタを生成する手法も公知であり、その手法として、例えば特許文献6に記載の手法を用いることができる。
推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた際には復元式手ぶれ補正のみが行われるので、シャッタボタンSB1に対する撮影指示操作に従って撮影され、画像メモリ15内に格納された画像が補正対象画像となる。この補正対象画像の露光期間中には、駆動部25による補正レンズLC等の駆動は行われない。画像復元部70は、補正対象画像の露光期間中における手ぶれ検出信号から、補正対象画像の露光期間中における手ぶれの軌跡を表すPSFを作成し、このPSFから復元フィルタを生成する。そして、画像メモリ15内に格納された補正対象画像の各画素に対して復元フィルタを適用することによって、補正対象画像に含まれるぼけが除去或いは低減されたぶれ補正画像を生成する。このぶれ補正画像は、NTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
また、変形例として、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた際は、光学式手ぶれ補正のみを行うようにしてもよい。この変形例を採用する場合において、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた時、補正対象画像の露光期間中において、センサ部26からの手ぶれ検出信号に基づきマイコン20bは、駆動部25を制御し、第5実施例で説明したのと同様、補正レンズLC(図23)、撮像素子12又はバリアングルプリズムを駆動することにより、光学式手ぶれ補正を実現する。この場合は、光学式手ぶれ補正を実行しつつ撮影された画像メモリ15内の画像が、手ぶれ補正済みの静止画像となり、この静止画像は、NTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
次に、光学/復元ハイブリッド補正を実施する場合の動作について説明する。推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた時、補正対象画像の露光期間中において、センサ部26からの手ぶれ検出信号に基づきマイコン20bは、駆動部25を制御し、第5実施例で説明したのと同様、補正レンズLC(図13)、撮像素子12又はバリアングルプリズムを駆動することにより光学式手ぶれ補正を実現し、光学式手ぶれ補正が施された画像は画像メモリ15に格納される。この光学式手ぶれ補正によって、概ね手ぶれによる画像のぶれが除去されるのであるが、複数の要因により、一部のぶれが残存する。この複数の要因には、第1の要因と第2の要因が含まれる。第1の要因に由来する残存ぶれと第2の要因に由来する残存ぶれの双方を除去することも可能であるが、以下、両者を画像復元によって個別に除去する手法を説明する。
まず、第1の要因に関する説明を行う。第1の要因は、センサ部26の角速度センサ51及び61(図21参照)の各出力側に設けられたフィルタ回路による信号減衰である。説明の具体化のため、角速度センサ51及び61の内、角速度センサ51に着目する。図22に示す如く、角速度センサ51の出力側にはフィルタ回路52が設けられ、角速度センサ51の出力信号中における特定の周波数成分は増幅器53の到達前にフィルタ回路52によって減衰する。このため、角速度センサ51の出力信号中における特定の周波数成分はマイコン20bに完全には伝達されず、結果、その特定の周波数成分に対応する手ぶれは光学式手ぶれ補正では完全に除去されない。
一方、フィルタ回路52の入出力特性(フィルタ回路52における入力信号と出力信号との関係)はデジタルカメラ1にとって既知であるため、実際にセンサ部26から出力された手ぶれ検出信号を参照すれば、事後的に、フィルタ回路52において、どのような信号減衰が起こったかを特定可能である。つまり、角速度センサ51の出力信号中、手ぶれ検出信号に反映されなかった信号成分(但し、オフセット成分を除く)を特定可能である。角速度センサ61についても同様である。角速度センサ51及び61の出力信号中、手ぶれ検出信号に反映されなかった信号成分(但し、オフセット成分を除く)を、残存ぶれ信号成分とよぶ。また、残存ぶれ信号成分がない場合を基準として考えた場合、残存ぶれ信号成分によって画像が動くことになる。従って、残存ぶれ信号成分を画像の動きベクトルに変換して考えることができる。残存ぶれ信号成分は、例えばマイコン20bによって算出される。光学式手ぶれ補正が施された後の画像メモリ15内の画像には、この残存ぶれ信号成分に応じた残存ぶれが含まれる。
画像復元部70は、補正対象画像の露光期間中における残存ぶれ信号成分に基づき、残存ぶれを含む画像に対して復元式手ぶれ補正を実施する。具体的には、手ぶれ検出信号からPSFを求めたのと同様、画像復元部70は、残存ぶれ信号成分(その残存ぶれ信号成分に応じた動きベクトル)に基づき残存ぶれを含む画像の露光期間中における残存ぶれの軌跡を求め、その残存ぶれの軌跡に応じたPSFを算出する。そして、そのPSFから、残存ぶれを除去するための復元フィルタを生成し、残存ぶれを含む画像に対して該復元フィルタを適用することにより残存ぶれを除去する。残存ぶれが除去された画像は、最終的なぶれ補正画像としてNTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
次に、第2の要因に関する説明を行う。第2の要因は、駆動部25による、補正レンズLC(図13)、撮像素子12又はバリアングルプリズムの駆動遅れである。説明の具体化のため、補正レンズLCを駆動することにより光学式手ぶれ補正を実現する場合を考える。手ぶれ検出信号に基づき各タイミングにおける理想的な補正レンズLCの位置は特定されるのであるが、補正レンズLCの駆動には駆動機構の特性に依存する駆動遅れが存在するため、各タイミングにおける理想的な補正レンズLCの位置と実際の補正レンズLCの位置との間には位置誤差が生じる。この位置誤差に応じたぶれ成分は、光学式手ぶれ補正では除去されないことになる。
一方、理想的な補正レンズLCの位置は手ぶれ検出信号から特定されるため、ホールセンサ(不図示)等の位置検出センサを用いて各タイミングにおける実際の補正レンズLCの位置を検出すれば、事後的に、位置誤差を特定可能である。また、位置誤差がない場合を基準として考えた場合、位置誤差によって画像が動くことになる。従って、位置誤差を画像の動きベクトルに変換して考えることができる。補正対象画像の露光期間中の各タイミングにおける位置誤差は、例えばマイコン20bによって算出される。光学式手ぶれ補正が施された後の画像メモリ15内の画像には、この位置誤差に応じた残存ぶれが含まれる。
画像復元部70は、補正対象画像の露光期間中における位置誤差に基づき、残存ぶれを含む画像に対して復元式手ぶれ補正を実施する。具体的には、手ぶれ検出信号からPSFを求めたのと同様、画像復元部70は、求めた位置誤差(その位置誤差に応じた動きベクトル)に基づき残存ぶれを含む画像の露光期間中における残存ぶれの軌跡を求め、その残存ぶれの軌跡に応じたPSFを算出する。そして、そのPSFから、残存ぶれを除去するための復元フィルタを生成し、残存ぶれを含む画像に対して該復元フィルタを適用することにより残存ぶれを除去する。残存ぶれが除去された画像は、最終的なぶれ補正画像としてNTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
補正レンズLCを駆動することによって光学式手ぶれ補正を実施する場合を例にとり、第2の要因に由来する残存ぶれを画像復元によって除去する手法を説明したが、撮像素子12又はバリアングルプリズムを駆動することによって光学式手ぶれ補正を実施する場合も同様に処理できる。
尚、画像復元による手ぶれ補正(画像復元部70による復元式手ぶれ補正)を、補正対象画像の撮影終了後に必ず行うようにしても良いし、所定の指示操作が与えられた時にのみ行うようにしても良い。この所定の指示操作は、デジタルカメラ1に備えられた図示されない画像復元ON/OFF選択ボタンに対して行われる。また、以下のように処理しても良い。推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた場合は、画像復元ON/OFF選択ボタンに対する操作内容に関わらず必ず画像復元による手ぶれ補正を行うようにし、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた場合は、画像復元ON/OFF選択ボタンに対する上記指示操作が与えられた時にのみ画像復元による手ぶれ補正を行うようにする。
上述の如く、光学/復元ハイブリッド補正を実現可能に構成されている場合において、最前オン接点情報及び/又は押下速度情報に基づき、手ぶれ補正方法を変更する。手ぶれ量が比較的大きくなるような撮影指示操作がなされた場合には光学/復元ハイブリッド補正を実施して大きな手ぶれに対応する。一方、手ぶれ量が比較的小さくなるような撮影指示操作がなされた場合は、復元式手ぶれ補正のみ或いは光学式手ぶれ補正のみを行う。復元式手ぶれ補正のみを行うようにすれば、補正レンズLC等の駆動に要する電力消費が削減される。光学式手ぶれ補正のみを行うようにすれば、画像復元に必要な処理時間が削減されると共に画像復元に要する電力消費が削減される。
<<第7実施例>>
次に、第7実施例について説明する。第7実施例では、手ぶれ補正として光学式手ぶれ補正と加算式手ぶれ補正を採用する。
図26に、本実施例のデジタルカメラの全体ブロック図を示す。図26は、図1のデジタルカメラ1の電気的な一構成例を示すものであるため、図26のデジタルカメラも符号1によって参照することとする。図26のデジタルカメラ1は、符号11a、12〜19、20c、21〜26及び30にて参照される各部位と、シャッタボタンSB1を備える。即ち、図26のデジタルカメラ1は、図13のそれと図20のそれを組み合わせたような構成を採用している。マイコン20cは、図13のマイコン20と図20のマイコン20aの双方の機能の実現可能である。
撮像素子12は、複数のレンズを含む光学系11aを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子12、カメラ回路13、A/D変換器14、画像メモリ15の機能は、図13におけるそれらと同じである。撮像素子12の出力信号に基づく画像データは、画像メモリ15に書き込まれる。尚、被写体の明るさを測定する測光回路(不図示)から得られた明るさの情報に基づいて、撮像素子12の最適な露光時間は設定される。
画像メモリ15は、メモリ制御回路22を介してマイコン20cによって制御される。マイコン20cは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン20cの外部に備えられていると考えても構わない。最前接点検出部23及び押下速度検出部24は、夫々、最前オン接点情報及び押下速度情報をマイコン20cに与える。シャッタボタンSB1は、上述の第1〜第3押下検出信号を、マイコン20c、最前接点検出部23及び押下速度検出部24に与える。
撮影指示操作がなされていない場合における図26のデジタルカメラ1の動作は、図13又は図20のそれと同様である。
撮影指示操作がなされた場合、図26のデジタルカメラ1は、光学式手ぶれ補正のみに基づく手ぶれ補正、加算式手ぶれ補正のみに基づく手ぶれ補正、或いは、光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正を、選択的に実施することができる。選択される手ぶれ補正の内容が、本実施例に係る手ぶれ補正変更制御の変更対象である。
光学式手ぶれ補正のみに基づく手ぶれ補正を実施する場合は、第5実施例におけるデジタルカメラ(図20)と同様にして、光学式手ぶれ補正のみが施される。即ち、この場合、マイコン20cは、1枚の補正対象画像の露光期間中にセンサ部26からの手ぶれ検出信号に基づいて駆動部25を介して補正レンズLC等の駆動を行い、これによって補正対象画像に対する光学式手ぶれ補正を実施する。この際、図26の加算式手ぶれ補正回路30は機能しない。この光学式手ぶれ補正が施された、画像メモリ15内の1枚の画像がぶれ補正画像となる。
加算式手ぶれ補正のみに基づく手ぶれ補正を実施する場合は、第1〜4実施例の何れかにおけるデジタルカメラ(図13)と同様にして、加算式手ぶれ補正のみが施される。即ち、この場合、マイコン20cは、撮影制御回路21を介して複数の分割露光画像の撮影を指示し、図26の加算式手ぶれ補正回路30が第1〜4実施例の何れかにおけるそれと同様に機能することで、複数の分割露光画像から位置合わせ及び加算合成を介して合成画像が生成される。この合成画像が、加算式手ぶれ補正がなされたぶれ補正画像となる。加算式手ぶれ補正のみを施す場合、複数の分割露光画像の撮影中において、図26の駆動部25による補正レンズLC等の駆動は行われない。
光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正(以下、「光学/加算ハイブリッド補正」という)を、図27を参照して説明する。今、加算式手ぶれ補正における露光分割数(上述のNの数値)が4であるとする。連続撮影される4枚の分割露光画像を、第1、第2、第3及び第4の分割露光画像と呼ぶ。第1、第2、第3及び第4の分割露光画像の順に連続撮影が行われる。今、第iの分割露光画像の露光の開始タイミング及び終了タイミングを夫々TiA及びTiBとする(ここで、iは1、2、3又は4)。TiA−TiB間は、第iの分割露光画像の露光期間を表す。
4枚の分割露光画像は連続撮影されるものの、分割露光のオーバーヘッドにより、時間的に隣接する2つの分割露光画像の露光期間の間には有限な時間が存在する。例えば、第1の分割露光画像の露光の終了タイミングT1Bから、ゼロではない所定の時間(T1B−T2A間の時間)が経過した後に、第2の分割露光画像の露光の開始タイミングT2Aが訪れる。
光学/加算ハイブリッド補正を行う場合、第1、第2、第3及び第4の分割露光画像の各露光期間(T1A−T1B等)において、光学式手ぶれ補正を実施する。即ち、各分割露光画像の露光期間における手ぶれ検出信号に基づいて、各分割露光画像の露光期間中、マイコン20cは、駆動部25を制御し、第5実施例で説明したのと同様、補正レンズLC(図13)を駆動することにより光学式手ぶれ補正を実現する。補正レンズLCの代わりに、撮像素子12又はバリアングルプリズムを駆動することによって光学式手ぶれ補正を実現しても良い。これにより、各分割露光画像の露光期間中の手ぶれに由来する各分割露光画像内のぶれが低減される。
また、より大きな手ぶれに対応するべく、T1B−T2A間、T2B−T3A間及びT3B−T4A間において、補正レンズLCの位置を補正レンズLCの可動範囲の中心位置に戻すようにする。光学式手ぶれ補正を実現するために撮像素子12を駆動する場合は、T1B−T2A間、T2B−T3A間及びT3B−T4A間において、撮像素子12の位置を撮像素子12の可動範囲の中心位置に戻すようにする。光学式手ぶれ補正を実現するためにバリアングルプリズムを駆動する場合は、T1B−T2A間、T2B−T3A間及びT3B−T4A間において、バリアングルプリズムの状態をバリアングルプリズムの状態可変範囲の中心に戻すようにする。
これらに代えて、各分割露光画像の夫々に対して第5実施例で述べた技術内容(即ち、シフト処理)を適用するようにしても良い。つまり例えば、補正レンズLCがシフト処理の対象であり且つ推定手ぶれ方向が右方向である場合、タイミングT1A、T2A、T3A及びT4Aの夫々における補正レンズLCの位置を、補正レンズLCの可動範囲の中心位置を基準として、その右方向の手ぶれを打ち消す方向の逆方向に所定のシフト量だけシフトさせた位置とする。このような補正レンズLCの配置位置を実現するための補正レンズLCの駆動は、タイミングT1A以前、T1B−T2A間、T2B−T3A間及びT3B−T4A間の夫々において実施される。撮像素子12又はバリアングルプリズムがシフト処理の対象である場合も同様である。このようなシフト処理を行うことにより、1つの分割露光時間当たりの補正可能手ぶれ量が増え、通常であれば露光分割数を増やさざるを得ないような大きな手ぶれが想定される場合でも、露光分割数を少なく抑えることが可能となる。結果、1つの分割露光時間を長くすることができるようになり、輝度の高い画像に基づく加算合成処理を実施することが可能となる。
補正レンズLC等の駆動を行いつつ得られた第1〜第4の分割露光画像は、順次、画像メモリ15に格納される。図26の加算式手ぶれ補正回路30は、第1〜4実施例の何れかに記載された手法と同様にして、画像メモリ15に格納された各分割露光画像を位置合わせして加算合成することにより、光学/加算ハイブリッド補正が施された合成画像を生成する。光学/加算ハイブリッド補正を用いれば、大きな手ぶれに対応可能である。
実際には、最前オン接点情報及び/又は押下速度情報に基づいて、マイコン20cが推定手ぶれ量を特定する。そして、推定手ぶれ量が比較的大きい場合には、光学/加算ハイブリッド補正を実施して、光学/加算ハイブリッド補正が施された合成画像を最終的なぶれ補正画像として生成する。光学/加算ハイブリッド補正を用いれば、大きな補正効果を得ることができるからである。
一方、推定手ぶれ量が比較的小さい場合には、例えば、光学式手ぶれ補正のみに基づく手ぶれ補正を実施して、光学式手ぶれ補正のみが施された画像メモリ15内の1枚の画像を、最終的なぶれ補正画像とする。これにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。加算式手ぶれ補正は、撮影時の拘束時間(撮影開始から撮影終了までに必要な時間)が、一括露光を行う場合よりも長くなってしまうというデメリットを有するが、推定手ぶれ量が比較的小さくなるような操作にて撮影をおこなった場合は、このような拘束時間の延長がなくなる。
これに代えて、推定手ぶれ量が比較的小さい場合には、加算式手ぶれ補正のみに基づく手ぶれ補正を実施して、加算式手ぶれ補正のみが施された合成画像を最終的なぶれ補正画像として生成するようにしてもよい。これにより、補正レンズLC等の駆動に要する電力消費が削減される。尚、推定手ぶれ量が比較的大きい場合と比較的小さい場合とで、分割露光時間及び露光分割数を第1実施例の如く異ならせても良いし、それらを一致させても良い。
何れのぶれ補正画像も、NTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
尚、加算式手ぶれ補正を行うために必要な、分割露光画像間の位置合わせのための動きベクトルは、第1実施例で述べたように動き検出回路32にて算出することができる。但し、図26のデジタルカメラ1の場合、センサ部26が設けられているため、手ぶれ検出信号から位置合わせのための動きベクトルを求めることも可能である。即ち、図27に示す例の場合、T1B−T2A間、T2B−T3A間及びT3B−T4A間における手ぶれ検出信号からT1B−T2A間、T2B−T3A間及びT3B−T4A間における動きベクトル、即ち、第1と第2の分割露光画像間の全体動きベクトル、第2と第3の分割露光画像間の全体動きベクトル及び第3と第4の分割露光画像間の全体動きベクトルを求め、それらの全体動きベクトルを用いて第1〜第4の分割露光画像を位置合わせして加算合成することにより、ぶれ補正画像としての合成画像を生成することも可能である。
<<第8実施例>>
ところで、ヨー方向及びピッチ方向の手ぶれに対しては、角速度センサを有するセンサ部26を用いた光学式手ぶれ補正にて対応することができる。角速度センサを用いることによってロール方向の手ぶれを検出することもできるのであるが、角速度センサの出力だけで回転の中心を判別することはできないので、角速度センサの出力のみに基づいてロール方向の手ぶれを補正することは困難である。一方、第2実施例で述べたように、画像処理を用いればロール方向のぶれ(即ち、回転方向の動き)を容易に検出することができる。
そこで、光学式手ぶれ補正と加算式手ぶれ補正とを組み合わせる場合、加算式手ぶれ補正にロール方向の手ぶれ補正を担わせるとよい。但し、シャッタボタンSB1に対する操作力の加え方によってロール方向の手ぶれ量は変化するので、ロール方向の手ぶれ補正を行うことによる負荷を考慮してロール方向の手ぶれ補正の実施/不実施を決定することが望ましい。
これらを考慮した実施例として、第8実施例について説明する。第8実施例も、第7実施例と同様、手ぶれ補正として光学式手ぶれ補正と加算式手ぶれ補正を採用する。第8実施例に係るデジタルカメラ1の全体ブロック図は、図26に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ1について、特に記述しない部分は、第7実施例におけるそれと同様とすることができ、第7実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
但し、第8実施例では、「センサ部26がヨー方向とピッチ方向のみの手ぶれを検出可能に構成されている」と特に限定して考える。尚、本実施例以外の他の実施例において光学式手ぶれ補正を実現する場合、デジタルカメラ1のロール方向のぶれを検出して該ロール方向のぶれを光学的に補正することも可能である。例えば、本実施例以外の他の実施例において、センサ部26にデジタルカメラ1のロール方向のぶれを検出する周知の回転センサを設けると共に撮像素子12を光軸を回転軸として回転可能に構成しておき、その回転センサの検出結果に基づいて撮像素子12を回転させることによって、ロール方向のぶれを光学的に補正するようにしてもよい。
第8実施例は、光学式手ぶれ補正と加算式手ぶれ補正の双方を実現可能なデジタルカメラ1に関して、特にロール方向の手ぶれ補正に着目した実施例であり、第8実施例の内容の一部は第7実施例の内容の一部と重複する。
撮影指示操作がなされた場合、第7実施例と同様、本実施例のデジタルカメラ1は、光学式手ぶれ補正のみに基づく手ぶれ補正、加算式手ぶれ補正のみに基づく手ぶれ補正或いは光学/加算ハイブリッド補正を選択的に実施し、これによってぶれ補正画像を生成する。選択される手ぶれ補正の内容が、本実施例に係る手ぶれ補正変更制御の変更対象である。ぶれ補正画像は、NTSCエンコーダ16を介してモニタ17に表示されると共に画像圧縮回路18を介してメモリカード19に保存される。
推定手ぶれ量が比較的大きい時は、ロール方向の手ぶれ量も比較的大きくなると予想される。推定手ぶれ量が比較的小さい時は、ロール方向の手ぶれ量も比較的小さくなると予想される。そこで、最前オン接点情報及び/又は押下速度情報に基づく推定手ぶれ量に基づいて、実施する手ぶれ補正の選択を行う。手ぶれ補正の選択手法の具体例として以下に第1選択例と第2選択例を挙げる。
[第1選択例]
まず第1選択例を説明する。第1選択例では、推定手ぶれ量が比較的大きい場合、光学/加算ハイブリッド補正を実施する。これにより、ロール方向の手ぶれに適正に対応できる。
即ち、推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた場合は、第7実施例で述べた光学/加算ハイブリッド補正を実施することによって、複数の分割露光画像からぶれ補正画像としての合成画像を得る。この際、各分割露光画像の露光期間における補正レンズLC等の駆動により、各分割露光画像のヨー方向及びピッチ方向のぶれは低減される。光学的にヨー方向及びピッチ方向のぶれが低減された各分割露光画像は、画像メモリ15に格納される。そして、動き検出回路32が、この画像メモリ15に格納された複数の分割露光画像の内の1枚を基準画像とし且つ他を非基準画像とし、第2実施例と同様、各分割露光画像の画像データに基づいて基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。その後、並進方向及び回転方向の全体動きベクトルに基づいて、各分割露光画像が位置合わせして加算合成され、ぶれ補正画像としての合成画像が得られる。
尚、並進方向の全体動きベクトルに関しては、第7実施例でも述べたように、手ぶれ検出信号から検出することも可能である。
一方、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた場合は、ロール方向の手ぶれが小さいと予想されることに鑑み、光学式手ぶれ補正のみを実施するようにする。つまり、光学式手ぶれ補正のみを実施して、光学式手ぶれ補正のみが施された画像メモリ15内の1枚の画像を、最終的なぶれ補正画像とする。このように処理することにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。また、撮影時の拘束時間も短くて済む。
[第2選択例]
次に第2選択例を説明する。第2選択例では、推定手ぶれ量が比較的大きい場合、ロール方向の手ぶれも大きくなると予想されることに鑑み、加算式手ぶれ補正のみを実施する。これにより、ロール方向の手ぶれに適正に対応できる。また、補正レンズLC等の駆動に要する電力消費が削減される。
即ち、推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた場合は、駆動部25による補正レンズLC等の駆動を停止した状態で加算式手ぶれ補正を行うための複数の分割露光画像を連続撮影する。そして、第2実施例と同様、複数の分割露光画像の内の1枚を基準画像とし且つ他を非基準画像とし、動き検出回路32が、各分割露光画像の画像データに基づいて基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。その後、並進方向及び回転方向の全体動きベクトルに基づいて、各分割露光画像が位置合わせして加算合成され、ぶれ補正画像としての合成画像が得られる。
一方、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた場合は、ロール方向の手ぶれも小さくなると予想されることに鑑み、光学式手ぶれ補正のみを実施するようにする。つまり、光学式手ぶれ補正のみを実施して、光学式手ぶれ補正のみが施された画像メモリ15内の1枚の画像を、最終的なぶれ補正画像とする。このように処理することにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。また、撮影時の拘束時間も短くて済む。
<<第9実施例>>
次に、手ぶれ補正として光学式手ぶれ補正を採用する場合に適用可能な手法を、第9実施例として説明する。第9実施例に記載の内容は、光学式手ぶれ補正を含む手ぶれ補正を実現する他の実施例(第5実施例等)に適用可能である。説明の具体化のため、第9実施例に係るデジタルカメラの全体ブロック図は、図20と同じであるものとする。第9実施例では、図21のセンサ部26に関する技術内容を述べる。第9実施例は、第1具体例と第2具体例に細分化される。以下、両者を個別に説明する。
[第1具体例]
まず、第1具体例について説明する。第1具体例では、角速度センサの出力信号を増幅する増幅器の増幅率を可変とし、最前オン接点情報及び/又は押下速度情報に基づく推定手ぶれ量に応じて増幅率を変更する。この増幅率が、第1具体例に係る手ぶれ補正変更制御の変更対象である。図21のセンサ部26には、2つのセンサユニット50及び60が備えられているが、説明の具体化のため、センサユニット50に着目して、この増幅率の可変設定手法を説明する。
図22を参照する。角速度センサ51の出力信号を増幅する増幅器53の増幅率を変更可能としておく。増幅器53の増幅率は、最前オン接点情報及び/又は押下速度情報に基づき、図20のマイコン20aによって設定される。
増幅器53の増幅率は、補正しようとする範囲内の手ぶれ量に対して増幅器53の出力及びA/D変換器54の出力が飽和しないように設定されるべきである。一方において、増幅器53の増幅率を低くしすぎると、手ぶれ検出感度が悪くなる。即ち、想定される手ぶれ量に対して適正な増幅率を設定することが望まれる。仮に、手ぶれ量が比較的大きくなるような押下操作を基準にして増幅率を設定し、それと同じ増幅率を手ぶれ量が比較的小さくなるような押下操作に対しても適用すると、出力飽和までに過剰な余裕が生じることになる。つまり、手ぶれ量が比較的小さくなるような押下操作にとっての手ぶれ検出感度が最適化されず、検出可能範囲が有効に活用されない。推定手ぶれ量に応じて適正な増幅率を可変設定してやれば、手ぶれ検出感度を最適化することが可能となる。
具体的には、推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた場合、マイコン20aは、増幅器53の増幅率をK1とする。一方、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた場合、マイコン20aは、増幅器53の増幅率をK1よりも大きなK2とする。
尚、センサユニット50に着目した説明を行ったが、センサユニット60に対しても同様の処理が可能である。センサユニット50と60の間で、増幅率の設定値を同じにしてもよいし異ならせてもよい。
[第2具体例]
次に、第2具体例について説明する。第2具体例では、A/D変換器のデジタル値のゼロ点を、推定手ぶれ方向の逆方向にシフトさせる。このゼロ点が、第2具体例に係る手ぶれ補正変更制御の変更対象である。これを、図22を参照し、センサユニット50に着目して詳細に説明する。
A/D変換器54の出力信号は、例えば、10ビットのデジタル値で表現され、1024段階に量子化された整数値をとる。この整数値の単位は[step]である。増幅器53の出力信号の電圧値をVa[mv]とし、A/D変換器54におけるA/D変換係数をLAD[mv/step]とすると、A/D変換器54の出力信号におけるデジタル値DLは、DL=(Va/LAD)+DO、にて表すことができる(但し、量子化誤差を無視)。そして、デジタル値DLは、−512<DL≦512、を満たす整数値をとる。DOはデジタル値DLにおけるゼロ点であり、ゼロ点DOの単位はデジタル値DLと同じく[step]である。
電圧値Vaはヨー方向の角速度に比例し、ヨー方向の角速度がゼロである時、Va=0である。図1の軸301を鉛直方向に平行とした状態でのヨー方向のぶれは、水平方向のぶれとなる。水平方向は右方向と左方向に分類される。デジタルカメラ1の操作面側から見て右方向のぶれが生じたとき、Vaが正の電圧値をとり、左方向のぶれが生じたとき、Vaが負の電圧値をとるものとする。
一般的には、DO=0[step]とされ、この場合、左方向と右方向の手ぶれ検出可能範囲は同じとなる。第2具体例では、マイコン20aが、最前オン接点情報及び/又は押下速度情報に基づいてゼロ点DOを可変設定する。この際、マイコン20aは、最前オン接点情報から推定手ぶれ方向を定める。最前オン接点情報を利用しない場合は、実験等を介して、シャッタボタンSB1に対する推定手ぶれ方向を予め固定的に定めておけばよい。
具体的には、推定手ぶれ方向が右方向である場合、マイコン20aは、DO=DO1<0とする。例えば、DO1=−50[step]とする。これにより、右方向の手ぶれの検出可能範囲が拡大される。一方、推定手ぶれ方向が左方向である場合、マイコン20aは、DO=DO2>0とする。例えば、DO2=+50[step]とする。これにより、左方向の手ぶれの検出可能範囲が拡大される。DO1又はDO2の絶対値は、押下速度情報に応じて変化させることもできる。つまり、押下速度情報に基づく推定手ぶれ量が小さい時の該絶対値よりも、それが大きい時の該絶対値の方を大きくするとよい。尚、押下速度情報を利用しない場合は、DO1及びDO2の絶対値を予め定めておくとよい。
ピッチ方向に対応するセンサユニット60に対しても同様の処理が可能である。この場合、例えば、シャッタボタンSB1として図7のシャッタボタンSB1bを採用するとよい。但し、多段スイッチ224の第2段階の接点が先にオンとなっても、多段スイッチ225の第2段階の接点が先にオンとなっても、ピッチ方向の支配的なぶれ方向は同一(下方向)であるため、ゼロ点は同一方向にシフトされる(例えば、双方の場合において、+50[step])。
このようにA/D変換器のゼロ点を変更することにより、出力飽和を回避しつつ、手ぶれの検出可能範囲を実質的に拡大することが可能となる。
第1又は第2具体例を採用して得られた手ぶれ検出信号は、マイコン20aに送られ、該手ぶれ検出信号に基づき、第5実施例等で説明した光学式手ぶれ補正が実施される。
<<第10実施例>>
次に、手ぶれ補正として光学式手ぶれ補正を採用する場合に適用可能な手法を、第10実施例として説明する。第10実施例に記載の内容は、光学式手ぶれ補正を含み且つ復元式手ぶれ補正又は加算式手ぶれ補正を含む手ぶれ補正を実現する他の実施例(第6〜8実施例など)に適用可能である。
手ぶれ補正として光学式手ぶれ補正を用いる場合、図21に示されるセンサ部26が用いられる。センサ部26に角速度センサなどの手ぶれ検出センサを用いる場合、その手ぶれ検出センサの出力信号には、周辺温度等に依存してドリフトするオフセット成分が含まれる。このドリフトの周波数は低い。従って、図22のようなハイパスフィルタ等から成るフィルタ回路52にて、オフセット成分(ドリフト成分)を除去することができる。
但し、ハイパスフィルタを設けた場合において、カットオフ周波数を小さくすると信号の時定数が大きくなり、カメラ起動時からフィルタ回路の出力信号が安定するまでに大きな時間が必要となる。フィルタ回路の出力信号を早く安定させようとしてカットオフ周波数を大きくすると信号の時定数が小さくなり、検出すべき手ぶれ成分まで除去されてしまって正確な手ぶれ検出ができなくなる。これらを総合的に勘案してフィルタ回路は設計されるのであるが、カメラ起動直後におけるセンサ部26の出力の信頼性はどうしても低くなりがちである。
そこで、カメラ起動直後は、光学式手ぶれ補正が必要となる撮影指示操作を受け付けないようにする。
これをより具体的に説明する。デジタルカメラ1には、図示されない電源スイッチが設けられている。デジタルカメラ1を構成する各部位に駆動電力が供給されてない状態において電源スイッチが押下されると、デジタルカメラ1を構成する各部位(センサ部26を含む)に対して、図示されない電力源(二次電池など)から駆動電力が供給されてデジタルカメラ1を構成する各部位が動作可能な状態となる。マイコン(20b又は20c)は、デジタルカメラ1を構成する各部位に駆動電力が供給されてない状態からデジタルカメラ1を構成する各部位が動作可能な状態に遷移したタイミングを起算点とし、該起算点からの経過時間を計測する。そして、その経過時間が所定の基準時間に達するまで、光学式手ぶれ補正が必要となるような撮影指示操作を受け付けないようにする(即ち、そのような撮影指示操作による撮影指示を禁止する)。上記経過時間が上記基準時間に達するまでの期間を、「禁止期間」という。この禁止期間外では、全ての撮影指示操作を受け付けるようにする。つまり、禁止期間外での動作は、上述の各実施例に記載の動作と同じである。尚、禁止期間内であっても、スルー表示は行われる。
光学式手ぶれ補正が必要となるか否かは、最前オン接点情報及び/又は押下速度情報に基づいて定められる。上記禁止期間内に特定の撮影指示操作を受け付けるか否かが本実施例に係る手ぶれ補正変更制御の変更対象である。
例えば第6実施例に示したように、推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた時に光学/復元ハイブリッド補正が行われ且つ推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた時に復元式手ぶれ補正のみが行われる場合、上記禁止期間内では後者の撮影指示操作のみを受け付けるようにする。即ち、上記禁止期間内に、推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がシャッタボタンSB1に対してなされたとしても、その撮影指示操作に従った静止画像の撮影及び該静止画像のメモリカード19への記録を行わない。他方、上記期間期間内であっても、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がシャッタボタンSB1に対してなされたならば、その撮影指示操作に従った静止画像の撮影、手ぶれ補正及び手ぶれ補正後の静止画像のメモリカード19への記録を実施する。
第7又は第8実施例に適用する場合も同様である。例えば、第7実施例に示したように、推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた時に光学/加算ハイブリッド補正が行われ且つ推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた時に加算式手ぶれ補正のみが行われる場合、上記禁止期間内では、前者の撮影指示操作を受け付けないようにし且つ後者の撮影指示操作を受け付けるようにする。また例えば、第8実施例に示したように、推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた時に加算式手ぶれ補正のみが行われ且つ推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた時に光学式手ぶれ補正のみが行われる場合、上記禁止期間内では、後者の撮影指示操作を受け付けないようにし且つ前者の撮影指示操作を受け付けるようにする。
また、上記禁止期間内において、受け付けられない撮影指示操作がシャッタボタンSB1に対してなされた場合は、モニタ17による映像表示や音声出力部(不図示)による音声出力で、その撮影指示操作による撮影ができない旨をユーザに報知する。
上述のように処理することにより、フィルタ回路の出力信号が安定しない期間でも有効な手ぶれ補正がなされた撮影を実施することができる。また、信頼性の低い手ぶれ補正の実施が避けられる。
尚、以下のように処理することも可能である。推定手ぶれ量が比較的大きいと判断されるような撮影指示操作がなされた時には、光学式手ぶれ補正、光学/復元ハイブリッド補正又は光学/加算ハイブリッド補正が行われ、且つ、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作がなされた時には、復元式手ぶれ補正又は加算式手ぶれ補正が行われるか或いは手ぶれ補正そのものが行われないようにしておく。そして、上記禁止期間内では、推定手ぶれ量が比較的小さいと判断されるような撮影指示操作のみを受け付けるようにする。
<<第11実施例>>
上述の各実施例では、推定手ぶれ量の大きい時と小さい時とで手ぶれ補正の処理(処理内容や処理条件)を変更しているが、推定手ぶれ量が小さい時には、そもそも手ぶれ補正を行わないといったことも可能であり、そのようにしても実質的な弊害は少ないといえる。
即ち、デジタルカメラ1を、図13、図20、図24又は図26の全体ブロック図で表されるように構成し、シャッタボタンSB1に対して撮影指示操作がなされた時、マイコン(20、20a、20b又は20c)が最前オン接点情報及び/又は押下速度情報に基づいて推定手ぶれ量を特定する。そして、推定手ぶれ量が比較的大きい場合には、上述の各実施例で説明したような、加算式手ぶれ補正のみ、光学式手ぶれ補正のみ、復元式手ぶれ補正のみ、光学/復元ハイブリッド補正及び光学/加算ハイブリッド補正の何れかを実施することによって、ぶれ補正画像を生成し、これをNTSCエンコーダ16を介してモニタ17に表示すると共に画像圧縮回路18を介してメモリカード19に保存する。これに対し、推定手ぶれ量が比較的小さい場合には、手ぶれ補正を一切行うことなく、撮像素子12の出力信号に基づく画像メモリ15内の画像を、NTSCエンコーダ16を介してモニタ17に表示すると共に画像圧縮回路18を介してメモリカード19に保存する。
このように、シャッタボタンSB1に対する操作力の付与のされ方(操作力の付与特性)に依存する推定手ぶれ量に基づいて、手ぶれ補正の実施又は不実施を選択制御する。この選択制御は、マイコン(20、20a、20b又は20c)によって行われる。手ぶれ補正を実施するか否かが本実施例に係る手ぶれ補正変更制御の変更対象である。本実施例によれば、一部の撮影指示操作に対して手ぶれ補正が不要となるため、電力消費の低減効果及び/又は処理時間の削減効果などが得られる。
<<第12実施例>>
上述してきたデジタルカメラ1の動作又は構成の説明は、図5(a)〜(d)に示すようなシャッタボタンをシャッタボタンSB1として利用することを前提としている。第12実施例では、シャッタボタンSB1に感圧スイッチを利用する。
図28(a)及び(b)を参照して、感圧スイッチ500の構成を説明する。感圧スイッチ500は、感圧式の押しボタンスイッチである。ボタンを押し込む方向に平行な軸をZS軸とし、ボタンを押し込む方向をZS軸の正の方向とする。スイッチの説明において、ZS軸の正の方向を下方向と取り扱い、ZS軸の負の方向を上方向と取り扱うものとする。
図28(a)は、ZS軸に直交する方向から見た、感圧スイッチ500の内部構造図である。感圧スイッチ500は、感圧シート501と、感圧シート501の上方側に配置される受力部502と、回路部503と、を有する。感圧シート501と回路部503とで形成される感圧ユニットは、自身に加わる圧力(厳密には、感圧シート501に含まれる感圧素子に加わる圧力)に応じた信号を出力する。受力部502は、ゴムなどを有して構成され、ユーザの指に接触して、その指を介した下方向の操作力を直接的に受ける。その操作力は、感圧シート501に加わる。
図28(b)は、ZS軸の負の方向側(上側)から見た、感圧シート501の平面図である。今、XS軸、YS軸及びZS軸を座標軸とする3次元の直交座標系を定義する。XS軸はYS軸に直交し、XS軸及びYS軸はZS軸に直交する。図28(b)は、XS軸及びYS軸を座標軸とするXSS座標面上の、感圧シート501の平面図である。感圧シート501には、5つの感圧素子PS1〜PS5が設けられる。XSS座標面上の原点に感圧素子PS1が位置している。感圧素子PS1〜PS3は、XS軸上の互いに異なる位置に配置され、感圧素子PS1〜PS3のXS軸方向の座標値は、夫々、ゼロ、正及び負である。感圧素子PS1、PS4及びPS5は、YS軸上の互いに異なる位置に配置され、感圧素子PS1、PS4及びPS5のYS軸方向の座標値は、夫々、ゼロ、正及び負である。感圧素子PS1が位置する、XSS座標面上の原点は、ZS軸上に位置している。また、受力部502の中心もZS軸上に位置している。
感圧素子PS1〜PS5として、半導体ダイヤフラム型の感圧素子、静電容量型の感圧素子などの、任意の方式を採用した感圧素子を利用可能である。以下の説明では、説明の具体化のため、加わる圧力が増加するに従って自身の抵抗値が減少する感圧素子が利用されるものとする。
受力部502が押し込まれていない時には、受力部502は基準位置に配置され、感圧素子PS1〜PS5には力が加えられていない。
図29に、真っ直ぐ下方向に受力部502を押し込んだ時における受力部502の移動距離と受力部502に加わる下方向の力との関係、及び、その移動距離と感圧素子PS1の抵抗値との関係を示す。前者の関係は曲線511によって表され、後者の関係は曲線512によって表される。図29のグラフにおいて、横軸が上記移動距離に対応し、曲線511にとっての縦軸は受力部502に加わる下方向の力に対応し、曲線512にとっての縦軸は感圧素子PS1の抵抗値に対応する。
受力部502に力が付与されていない状態を起点として、受力部502を下方向に押し込んでいくと、曲線511によって表される力が一旦極大値を取った後、減少し、その後、受力部502を更に下方向に押し込んでいって受力部502の移動距離が境界距離513まで至ると感圧素子PS1に力が加わり始める。その後、受力部502を更に下方向に押し込んでいくと、その押し込みの距離が増加するに従って感圧素子PS1の抵抗値が低下していく。境界距離513に至るまでに存在する極大値は、ボタンを押したときのクリック感を出すために設けけられ、曲線511で表される関係を周知の機構を用いて実現することができる。
回路部503は、感圧素子PS1〜PS5の夫々の抵抗値を個別に電気信号に変換して出力する部分であり、その出力信号に基づくことによって感圧素子PS1〜PS5の夫々の抵抗値及び感圧素子PS1〜PS5の夫々に加わる圧力を個別に検出することができる。図30に示す如く、感圧素子PS1に加わる圧力が増加して感圧素子PS1の抵抗値が減少するにつれて、回路部503から出力される、感圧素子PS1の抵抗値を表す信号値は減少するものとする。感圧素子PS2〜PS5についても同様である。図30に示される記号(THAなど)の意義は、後述の説明から明らかとなる。尚、以下の説明において、感圧素子に加わる圧力を加圧力とも表記する。
感圧素子PS1〜PS5は同じ感圧素子である。従って、受力部502の全体に対して均一な下方向の力を加えれば、或る同一時刻において、感圧素子PS1〜PS5に加わる圧力は同じとなると共に感圧素子PS1〜PS5の抵抗値は同じとなる(勿論、誤差は含まれうる)。
しかしながら、受力部502の押し込み方によっては、同一時刻において感圧素子に加わる圧力は異なる感圧素子間で相違する。例えば、感圧素子PS3よりも感圧素子PS2に近い側を中心として押圧力が加えられたときは、感圧素子PS3よりも先に感圧素子PS2に対して力が加わり、或る同一時刻において感圧素子PS2に加わる圧力は感圧素子PS3のそれよりも大きくなる。
この感圧スイッチ500を、デジタルカメラ1のシャッタボタンSB1に利用することができる。実際には、感圧スイッチ500に第1段階用スイッチ520を組み合わせて形成されるシャッタボタンSB2を、シャッタボタンSB1として用いる。図31は、シャッタボタンSB2の内部ブロック図である。第1段階用スイッチ520は、第1段階の押下操作の有無を検出するためのスイッチであり、受力部502を下方向に押し込むことによって第1段階用スイッチ520がオンとなる。第1段階用スイッチ520は、感圧スイッチ500と同様の構造を有する感圧スイッチであってもよいし、接点スイッチであってもよい。
受力部502に全く力が加えられていないとき、第1段階用スイッチ520はオフであり、受力部502に下方向の力を或る程度加えると第1段階用スイッチ520はオンとなる。但し、第1段階用スイッチ520がオフからオンに遷移した時点において、感圧スイッチ500内の感圧素子PS1〜PS5には未だ力が加わらないように、シャッタボタンSB2が形成されている。シャッタボタンSB2をシャッタボタンSB1として利用する場合、第1段階用スイッチ520をオフからオンに遷移させる操作が第1段階の押下操作として機能する。
第1段階の押下操作の後、受力部502に更に下方向の力を加えていくと、5つの感圧素子PS1〜PS5に力が加わり始める。感圧素子PS1〜PS5の内の、最初に力が加わり始めた感圧素子を、以下、最前オン素子という。シャッタボタンSB2をシャッタボタンSB1として利用する場合、最前オン素子に所定の力を加える操作が第2段階の押下操作として機能する。
シャッタボタンSB2に対する押下は静止画像の撮影を指示するための操作であるが、厳密には、第2段階の押下操作が静止画像の撮影を指示するための撮影指示操作に相当する。
図32は、シャッタボタンSB2をシャッタボタンSB1として利用する場合における、デジタルカメラ1の電気的構成を示す一部ブロック図であり、この場合、デジタルカメラ1は、圧力監視部120を備える。圧力監視部120は、最前オン素子検出部123、押下速度検出部124及び加圧力検出部125を備える。シャッタボタンSB2の回路部503の出力信号は、圧力監視部120、並びに、その内部の最前オン素子検出部123、押下速度検出部124及び加圧力検出部125に与えられる。
図33も参照する。シャッタボタンSB2は、第1段階の押下操作を受けた時点で「第1押下検出信号」を出力する。第1段階の押下操作を受けた時刻を時刻TAと呼ぶ。
時刻TAの後、最前オン素子検出部123は、回路部503から出力される、感圧素子PS1〜PS5の抵抗値を表す各信号値を監視し、各信号値と所定の閾値(作動レベル)THAとを比較する(図30参照)。感圧素子PS1〜PS5についての信号値を、夫々、SS1〜SS5で表す。そして、信号値SS1〜SS5の内、最初に閾値THAを下回った信号値を特定することにより、最前オン素子を検出する。例えば、最初に閾値THAを下回った信号値がSS2であれば感圧素子PS2が最前オン素子として検出され、最初に閾値THAを下回った信号値がSS3であれば感圧素子PS3が最前オン素子として検出される。最前オン素子検出部123は、何れの感圧素子が最前オン素子であるかを表す情報を「最前オン素子情報」として出力する。尚、受力部502に力が加えられていない時及び時刻TAにおいて、信号値SS1〜SS5は全て閾値THAよりも大きい。
信号値SS1〜SS5の内の何れか1つの信号値を閾値THAより下回らせる操作、即ち、感圧素子PS1〜PS5の内の何れか1つの感圧素子に所定の力を加える操作が第2段階の押下操作である。シャッタボタンSB2が第2段階の押下操作を受けた時点で、圧力監視部120は「第2押下検出信号」を出力する。第2段階の押下操作を受けた時刻を時刻TBと呼ぶ(図33参照)。
時刻TBの後、瞬時に受力部502に作用する力がなくなるとは考えにくく、ユーザによって受力部502は更に下方向に押し込まれて、各感圧素子に加わる圧力は増加していく。押下速度検出部124は、回路部503から出力される、着目感圧素子の抵抗値を表す信号値と、所定の閾値THBとを比較する(図30参照)。着目感圧素子は、通常、最前オン素子である。そして、前者が後者(THB)以上となっている状態から前者が後者未満となる状態へ遷移する時刻を時刻TCとして特定する。ここで、THA>THBである。ユーザが通常にシャッタ操作を行った際、時刻TBの後、着目感圧素子の抵抗値を表す信号値が閾値THBを容易に下回るように、実験等を介して閾値THBが予め設定される。
押下速度検出部124は、時刻TBと時刻TCとの間の時間差及び閾値THAと閾値THBとの差に基づいて、時刻TB−TC間における、着目感圧素子に加わる圧力の変化速度を検出することができる。この変化速度は、シャッタボタンSB2を押し込む速度が大きければ大きくなり、シャッタボタンSB2を押し込む速度が小さければ小さくなる。従って、押下速度検出部124は、シャッタボタンSB2の押下速度を検出していると考えることができる。押下速度検出部124は、上記の変化速度を表す情報(換言すれば、シャッタボタンSB2の押下速度を表す情報)を出力する。図8の押下速度検出部24が出力する押下速度情報と区別すべく、押下速度検出部124が出力する情報を「第2押下速度情報」と呼ぶ。
尚、押下速度検出部124における着目感圧素子を、最前オン素子以外の感圧素子にすることもできる。例えば、最前オン素子が何れの感圧素子であるかに拘らず、着目感圧素子を感圧素子PS1とする。この場合、感圧素子PS1の抵抗値を表す信号値が閾値THA及びTHBと一致している第1及び第2時刻の時間差、並びに、閾値THAと閾値THBとの差に基づいて、着目感圧素子に加わる圧力の変化速度を検出し、その変化速度を表す情報(換言すれば、シャッタボタンSB2の押下速度を表す情報)を第2押下速度情報として出力すればよい。また、着目感圧素子は複数の感圧素子であってもよい。この場合、その複数の感圧素子の抵抗値の平均値を、着目感圧素子の抵抗値として取り扱えばよい。
また、時刻TBから予め設定された時間が経過した時刻を時刻TDとする(図33参照)。加圧力検出部125は、時刻TDにおける着目感圧素子の抵抗値を表す信号値から、着目感圧素子に加わる圧力の大きさを検出し、その圧力の大きさを表す情報を「加圧力情報」として出力する。加圧力情報は、ユーザがどれぐらいの操作力にてシャッタボタンSB2を押下したかを表す情報である。ユーザが通常にシャッタ操作を行った際、時刻TCの後に時刻TDが訪れるように、実験等を介して閾値THB及び時刻TB−TD間の時間差が予め設定される。
加圧力検出部125における着目感圧素子は、最前オン素子、又は、最前オン素子以外の規定の感圧素子(例えば、感圧素子PS1)である。また、着目感圧素子は複数の感圧素子であってもよい。この場合、その複数の感圧素子の抵抗値の平均値を、着目感圧素子の抵抗値として取り扱えばよい。
感圧シート501には、5つの感圧素子PS1〜PS5が互いに異なる位置に配置されているため、5つの感圧素子PS1〜PS5の内、何れの感圧素子に最初に力が加わり始めたかを検出することによって、即ち、最前オン素子情報に基づいて、シャッタボタンSB2(受力部502)に対する操作力の特性を5つの区分に分類して検出することができる。また、第2押下速度情報に基づいて又は加圧力情報に基づいて、その操作力の特性を複数の区分に分類して検出することもできる。
[押下操作特性と手ぶれ特性との関係]
図34を参照して、最前オン素子、押下速度及び加圧力との関係における手ぶれ特性、即ち、最前オン素子、押下速度及び加圧力との関係において想定される手ぶれの方向及び大きさを説明する。手ぶれ特性は、実験等を介して導出される。最前オン素子が何れの感圧素子であるかによって、また、シャッタボタンSB2の押下速度によって、また、加圧力情報によって表されるシャッタボタンSB2への操作力の大きさによって、手ぶれの方向や手ぶれ量(手ぶれの大きさ)などが異なる。
S軸の正の方向は、デジタルカメラ1の操作面側から見た右方向に相当し、XS軸の負の方向は、デジタルカメラ1の操作面側から見た左方向に相当する(図1(a)及び図28(b)参照)。また、YS軸の正の方向及び負の方向は、夫々デジタルカメラ1の操作面側から見た上方向及び下方向に相当し、シャッタボタンSB2の押し込み方向は、概ね光軸方向に一致する。
説明の簡略化上、以下の説明では、特に記述なき限り、感圧素子PS4及びPS5の存在を無視する。即ち、以下の説明では、特に記述なき限り、シャッタボタンSB2には感圧素子として3つの感圧素子PS1〜PS3のみが設けられているものとする。
シャッタボタンSB2を形成する感圧素子PS2が最前オン素子であることは、シャッタボタンSB2の右側よりの位置が押下されたことに対応する。感圧素子PS2が最前オン素子となるような静止画像の撮影指示操作を「右側押下操作」という。右側押下操作時のヨー方向における手ぶれは、デジタルカメラ1の構造上、デジタルカメラ1の操作面側から見て左方向が支配的になる。即ち、右側押下操作時において、通常、ヨー方向の手ぶれ方向はデジタルカメラ1の操作面側から見て左方向となる。手ぶれに関する方向は、デジタルカメラ1の操作面側から見た方向を意味する。
シャッタボタンSB2を形成する感圧素子PS3が最前オン素子であることは、シャッタボタンSB2の左側よりの位置が押下されたことに対応する。感圧素子PS3が最前オン素子となるような静止画像の撮影指示操作を「左側押下操作」という。左側押下操作時のヨー方向における手ぶれは、デジタルカメラ1の構造上、右方向が支配的になる。即ち、左側押下操作時において、通常、ヨー方向の手ぶれ方向は右方向となる。
また、左側押下操作時よりも右側押下操作時の方が、通常、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が大きくなる。
また、シャッタボタンSB2の押下速度が比較的大きくなるような撮影指示操作を「高速押下操作」といい、シャッタボタンSB2の押下速度が比較的小さくなるような撮影指示操作を「低速押下操作」という。低速押下操作時よりも高速押下操作時の方が、通常、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が大きくなる。従って、第2押下速度情報から特定されるシャッタボタンSB2の押下速度が所定速度よりも大きい場合、撮影指示操作は高速押下操作であると分類され、その押下速度が所定速度よりも小さい場合、撮影指示操作は低速押下操作であると分類される。
また、シャッタボタンSB2に対する操作力の大きさが比較的大きい撮影指示操作、即ち、感圧素子の加圧力の大きさが比較的大きい撮影指示操作を「大加圧力操作」といい、シャッタボタンSB2に対する操作力の大きさが比較的小さい撮影指示操作、即ち、感圧素子の加圧力の大きさが比較的小さい撮影指示操作を「小加圧力操作」という。小加圧力操作時よりも大加圧力操作時の方が、通常、ヨー方向、ピッチ方向及びロール方向の全てにおいて手ぶれ量が大きくなる。従って、加圧力情報から特定される、着目感圧素子の加圧力の大きさが、所定大きさよりも大きい場合、撮影指示操作は大加圧力操作であると分類され、その着目感圧素子の加圧力の大きさが、所定大きさよりも小さい場合、撮影指示操作は小加圧力操作であると分類される。図34に、想定される手ぶれ方向及び手ぶれ量と押下操作の特性との関係をまとめる。
このような関係を考慮すれば、最前オン素子情報、第2押下速度情報及び加圧力情報の内の何れか1以上の情報から、生じる手ぶれ方向及び/又は手ぶれ量を推定可能であり、デジタルカメラ1は、その推定結果に基づいて、上述してきた「手ぶれ補正変更制御」を実施することが可能である。
尚、シャッタボタンSB2に感圧素子PS4及びPS5を設ければ、シャッタボタンSB2のYS軸方向の押下位置を分類検出することができる。本実施形態に係るデジタルカメラ1では、感圧素子PS4が最前オン素子となった場合と感圧素子PS4が最前オン素子となった場合との間で、ヨー方向、ピッチ方向及びロール方向の手ぶれ量に有意な差異はなく、双方の場合において、ピッチ方向の手ぶれは下方向が支配的であった。
デジタルカメラ1の筐体形状やシャッタボタンSB2の配置位置などに依存して、シャッタボタンSB2の構造は様々に変形される。仮に、右側押下操作時と左側押下操作時との間だけでなく、上側押下操作時と下側押下操作時との間においても手ぶれ方向及び手ぶれ量に有意な差異が現れるなら、シャッタボタンSB2に感圧素子PS4及びPS5を含めた上で手ぶれ補正変更制御を実施すればよい。また仮に、上側押下操作時と下側押下操作時との間においてのみ、手ぶれ方向及び手ぶれ量に有意な差異が現れるなら、シャッタボタンSB2に感圧素子PS4及びPS5を含める一方でシャッタボタンSB2から感圧素子PS2及びPS3を削除するようにしてもよい。
図1のデジタルカメラ1では、右側押下操作時と左側押下操作時との間で手ぶれ方向及び手ぶれ量に有意な差異が現れるため、上述したように、特記なき限り感圧素子PS4及びPS5の存在を無視する。
具体的には、以下の如く、推定手ぶれ方向及び/又は推定手ぶれ量を決定し、推定手ぶれ方向及び/又は推定手ぶれ量に基づいて手ぶれ補正変更制御を行うことができる。
デジタルカメラ1は、最前オン素子情報のみに基づいて、手ぶれ推定及び手ぶれ補正変更制御を行うこともできる。最前オン素子情報のみに基づいて手ぶれ推定及び手ぶれ補正変更制御を行う場合、図35(a)に示す如く、右側押下操作時にはヨー方向の手ぶれ方向が左方向であると推定し、左側押下操作時にはヨー方向の手ぶれ方向が右方向であると推定する。更に、右側押下操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的大きく、左側押下操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的小さい、と判断される。
デジタルカメラ1は、第2押下速度情報のみに基づいて、手ぶれ推定及び手ぶれ補正変更制御を行うこともできる。第2押下速度情報のみに基づいて手ぶれ推定及び手ぶれ補正変更制御を行う場合、図35(b)に示す如く、高速押下操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的大きく、低速押下操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的小さい、と判断される。
デジタルカメラ1は、加圧力情報のみに基づいて、手ぶれ推定及び手ぶれ補正変更制御を行うこともできる。加圧力情報のみに基づいて手ぶれ推定及び手ぶれ補正変更制御を行う場合、図35(c)に示す如く、大加圧力操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的大きく、小加圧力操作時には、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的小さい、と判断される。
デジタルカメラ1は、最前オン素子情報及び第2押下速度情報に基づいて、手ぶれ推定及び手ぶれ補正変更制御を行うこともできる。この場合、図36(a)に示す如く、撮影指示操作が右側押下操作であって且つ高速押下操作である時は、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的大きく、撮影指示操作が左側押下操作であって且つ低速押下操作である時は、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的小さい、と判断される。また、撮影指示操作が左側押下操作であって且つ高速押下操作である時における推定手ぶれ量及び撮影指示操作が右側押下操作であって且つ低速押下操作である時における推定手ぶれ量は比較的大きい、と判断される(但し、シャッタボタンSB2の配置位置などに依存して、前者及び/又は後者の推定手ぶれ量が比較的小さい、と判断することも可能である)。また、撮影指示操作が高速押下操作と低速押下操作の何れであるかに関わらず、右側押下操作時にはヨー方向の手ぶれ方向が左方向であると推定し、左側押下操作時にはヨー方向の手ぶれ方向が右方向であると推定する。
デジタルカメラ1は、最前オン素子情報及び加圧力情報に基づいて、手ぶれ推定及び手ぶれ補正変更制御を行うこともできる。この場合、図36(b)に示す如く、撮影指示操作が右側押下操作であって且つ大加圧力操作である時は、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的大きく、撮影指示操作が左側押下操作であって且つ小加圧力操作である時は、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的小さい、と判断される。また、撮影指示操作が左側押下操作であって且つ大加圧力操作である時における推定手ぶれ量及び撮影指示操作が右側押下操作であって且つ小加圧力操作である時における推定手ぶれ量は比較的大きい、と判断される(但し、シャッタボタンSB2の配置位置などに依存して、前者及び/又は後者の推定手ぶれ量が比較的小さい、と判断することも可能である)。また、撮影指示操作が大加圧力操作と小加圧力操作の何れであるかに関わらず、右側押下操作時にはヨー方向の手ぶれ方向が左方向であると推定し、左側押下操作時にはヨー方向の手ぶれ方向が右方向であると推定する。
デジタルカメラ1は、第2押下速度情報及び加圧力情報に基づいて、手ぶれ推定及び手ぶれ補正変更制御を行うこともできる。この場合、図36(c)に示す如く、撮影指示操作が高速押下操作であって且つ大加圧力操作である時は、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的大きく、撮影指示操作が低速押下操作であって且つ小加圧力操作である時は、ヨー方向、ピッチ方向及びロール方向の全てにおいて推定手ぶれ量が比較的小さい、と判断される。また、撮影指示操作が低速押下操作であって且つ大加圧力操作である時における推定手ぶれ量及び撮影指示操作が高速押下操作であって且つ小加圧力操作である時における推定手ぶれ量は比較的大きい、と判断される(但し、シャッタボタンSB2の配置位置などに依存して、前者及び/又は後者の推定手ぶれ量は比較的小さい、と判断することも可能である)。また、第2押下速度情報及び加圧力情報に基づいて、推定手ぶれ量をより細かく分類する(例えば、手ぶれ量を3段階以上に区分して推定する)ことも可能である。
デジタルカメラ1は、最前オン素子情報、第2押下速度情報及び加圧力情報の全てを総合的に考慮して、手ぶれ推定及び手ぶれ補正変更制御を行うこともできる。これにより、推定手ぶれ量をより細かく分類する(例えば、手ぶれ量を3段階以上に区分して推定する)ことも可能である。但し、手ぶれ方向の推定は、最前オン素子情報に基づいて行われる。右側押下操作時にはヨー方向の手ぶれ方向が左方向であると推定し、左側押下操作時にはヨー方向の手ぶれ方向が右方向であると推定する。
尚、手ぶれ推定及び手ぶれ補正変更制御を行うに際して、最前オン素子情報、第2押下速度情報又は加圧力情報が不要なら、デジタルカメラ1から、夫々、最前オン素子検出部123、押下速度検出部124又は加圧力検出部125を削除することができる。
感圧スイッチ500に設けられる感圧素子の個数が3つ又は5つである場合を上述したが、感圧スイッチ500に備えられるべき感圧素子の個数は2以上であれば幾つでもよい。感圧素子の個数が2以上であれば、最前オン素子情報、第2押下速度情報及び加圧力情報を導出することができる。
また、第2押下速度情報及び/又は加圧力情報のみに基づいて手ぶれ補正変更制御を行うのであれば(即ち、最前オン素子情報が不要なら)、感圧スイッチ500に設けられる感圧素子の個数は1でよく、例えば、感圧スイッチ500から感圧素子PS2〜PS5を削除することもできる。この場合、感圧素子PS1の抵抗値を表す信号値に基づいて第2押下速度情報及び/又は加圧力情報を導出すればよい。
[上述の手ぶれ補正変更制御への適用]
最前オン素子情報、第2押下速度情報及び加圧力情報の内の、1以上の情報から求めた推定手ぶれ方向及び/又は推定手ぶれ量に基づく手ぶれ補正変更制御は、上述してきた、最前オン接点情報及び/押下速度情報から求めた推定手ぶれ方向及び/又は推定手ぶれ量に基づく手ぶれ補正変更制御と、同様である。
シャッタボタンSB2をシャッタボタンSB1として備えたデジタルカメラ1の内部ブロック図は、図13、図20、図24又は図26に示すそれらと同様である。但し、図13、図20、図24及び図26の夫々において、シャッタボタンSB1、最前接点検出部23及び押下速度検出部24は、図32のシャッタボタンSB2及び圧力監視部120に置き換えられ、シャッタボタンSB2及び圧力監視部120からの第1及び第2押下検出信号がデジタルカメラ1内のマイコン(20、20a、20b、20c)に伝達される。
デジタルカメラ1内のマイコン(20、20a、20b、20c)は、第1押下検出信号を受けると、所謂オートフォーカス制御を実行する。その後、圧力監視部120から第2押下検出信号を受けた時点で撮影指示操作がなされたと判断し、その撮影指示操作に対応する1枚の静止画像を得るべく、その静止画像を得るための露光を開始する。手ぶれ方向及び手ぶれ量の推定は、最前オン素子情報、第2押下速度情報及び加圧力情報の内の、1以上の情報に基づき、マイコン(20、20a、20b、20c)内の手ぶれ補正制御部によって実行される。
また、シャッタボタンSB2をシャッタボタンSB1として利用する場合、第1〜第11実施例の記述における最前オン接点情報は最前オン素子情報に読み替えられ、第1〜第11実施例の記述における押下速度情報は第2押下速度情報又は加圧力情報に読み替えられる。
第1実施例を適用する場合、圧力監視部120からの情報に基づいて、加算式手ぶれ補正実行時の分割露光時間及び露光分割数が変更される。
第2実施例を適用する場合、圧力監視部120からの情報に基づいて推定手ぶれ量が決定され、推定手ぶれ量が大きいなら、分割露光画像間の並進方向の位置ずれ補正と回転方向の位置ずれ補正を行い、推定手ぶれ量が小さいなら、分割露光画像間の並進方向の位置ずれ補正のみを行う。
第3実施例を適用する場合、圧力監視部120からの情報に基づいて、分割露光画像間の動きの検出可能範囲が変更される。
第4実施例を適用する場合、圧力監視部120からの情報に基づいて、分割露光画像間の動きを検出するための検出領域をシフトさせる。
第5実施例を適用する場合、圧力監視部120からの情報に基づいて、光学式手ぶれ補正を実現するための補正レンズLCの初期位置をシフトさせる。
第6実施例を適用する場合、圧力監視部120からの情報に基づいて、実行する手ぶれ補正を、光学/復元ハイブリッド補正と、光学式手ぶれ補正又は復元式手ぶれ補正と、の間で切り替える。
第7実施例を適用する場合、圧力監視部120からの情報に基づいて、実行する手ぶれ補正を、光学/加算ハイブリッド補正と、光学式手ぶれ補正又は加算式手ぶれ補正と、の間で切り替える。
第8実施例を適用する場合、圧力監視部120からの情報に基づいて、実行する手ぶれ補正を、光学/加算ハイブリッド補正と光学式手ぶれ補正との間で切り替える、或いは、加算式手ぶれ補正と光学式手ぶれ補正との間で切り替える。
第9実施例を適用する場合、圧力監視部120からの情報に基づいて、手ぶれ検出用の角速度センサの後段に位置する増幅器の増幅率を変更する、或いは、手ぶれ検出用の角速度センサの後段に位置するA/D変換器のゼロ点を変更する。
圧力監視部120からの情報に基づいて、第10及び第11実施例に示す処理を実行することも可能である。
図5(a)等に示す、3段階の接点を有するシャッタボタンSB1aを用いた場合、シャッタボタンのサイズが大きくなるため、デジタルカメラの小型化にとって不利となる。一方、本実施例で述べたような感圧スイッチを用いれば、非常に薄い感圧シートを設けるだけでシャッタボタンSB1aを用いた場合と同様の作用を得ることが出来るため、デジタルカメラの小型化に有利となる。
<<第13実施例>>
シャッタボタンSB1として図5(a)等に示すシャッタボタンSB1aを用いる場合は、押下速度情報に基づいて、シャッタボタンSB1として図31に示すシャッタボタンSB2を用いる場合は、第2押下速度情報及び/又は加圧力情報に基づいて、ぶれ補正度合い(強度)を変更することができる。この変更に関する実施例を、第13実施例として説明する。ここにおけるぶれ補正度合いとは、勿論、撮影指示操作によって撮影されるべき画像に対するぶれ補正度合いである。このぶれ補正度合いが、本実施例に係る手ぶれ補正変更制御の変更対象である。ぶれ補正度合いが大きくなるに従って、ぶれ補正後に得られるぶれ補正画像のぶれの量は小さくなる。従って、ぶれ補正度合いは、ぶれ補正による画像のぶれの低減度合いに相当する。
例として、光学式手ぶれ補正を実行可能なデジタルカメラに対して、ぶれ補正度合いの変更制御を適用する場合を考える。光学式手ぶれ補正では、センサ部からの手ぶれ検出信号に基づいて光学系が追従できる範囲(駆動限界範囲)が予め決まっており、その範囲を超える手ぶれが生じた場合には、手ぶれ補正ができないという問題がある。押下速度や加圧力の増加は、手ぶれ量を増大させる方向に作用する。従って、光学式手ぶれ補正を実行する場合において、押下速度や加圧力が大きいと、光学系に対する駆動量が駆動限界量に達する確率が高い。静止画像の露光期間中に光学系に対する駆動量が駆動限界量に達すると、その後は手ぶれ補正がなされず、結果、得られる静止画像に大きなぶれが含まれることがある。これを考慮して、押下速度や加圧力が大きいと判断される場合には、手ぶれ検出信号に対する光学系の応答量を低減させる。
これの具体的な実現方法を説明する。今、デジタルカメラ1の内部ブロック図が図20に示す内部ブロック図と同じである場合を考える。加えて、まず、シャッタボタンSB1として図5(a)等に示すシャッタボタンSB1aを用いられている場合を想定する。
第5実施例でも述べたように、撮影指示操作がなされた場合には、その撮影指示操作に従って撮影されるべき1枚の静止画像の露光期間中において、センサ部26からの手ぶれ検出信号に基づき、マイコン20aが駆動部25を制御して光学式手ぶれ補正を実現する。手ぶれが除去される対象の画像を補正対象画像とよぶ。
押下速度検出部24からの押下速度情報によって表される押下速度が所定の基準速度よりも小さいとき、通常の光学式手ぶれ補正を行う。便宜上、通常の光学式手ぶれ補正を第1の光学式手ぶれ補正と呼ぶ。第1の光学式手ぶれ補正では、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子12上の光学像のぶれが完全に打ち消されるように駆動部25を用いて補正レンズLC(図23参照)を駆動する。つまり、補正対象画像の露光期間中、実空間内で固定された被写体が補正レンズLCの屈折によって常に撮像素子12の同じ位置に結像するよう、補正レンズLCを移動させる。第1の光学式手ぶれ補正を受けた補正対象画像を表す画像データは、画像圧縮回路18を介してメモリカード19に保存される。
一方、押下速度検出部24からの押下速度情報によって表される押下速度が所定の基準速度よりも大きいとき、第1の光学式手ぶれ補正よりも、ぶれ補正度合いの小さい第2の光学式手ぶれ補正が実行される。第2の光学式手ぶれ補正では、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子12上の光学像のぶれの一部が打ち消されるように駆動部25を用いて補正レンズLC(図23参照)を駆動する。
例えば、第2の光学式手ぶれ補正では、押下速度が所定の基準速度よりも大きいと判断された後、補正対象画像の露光期間中における手ぶれ検出信号に、1より小さな正の補正係数(例えば、0.7や0.8)を乗じることによって擬似手ぶれ検出信号を生成する。そして、撮像素子12上の光学像のぶれが擬似手ぶれ検出信号に相当する分だけ打ち消されるように駆動部25を用いて補正レンズLCを駆動する。これにより、補正係数によって表される割合だけ、手ぶれが補正される。
実際の手ぶれ検出信号は、デジタルカメラ1の実際の角速度を表しているが、擬似手ぶれ検出信号は、その実際の角速度に補正係数を乗じた角速度を表している。補正係数は、実際の手ぶれ検出信号によって表されるデジタルカメラ1のぶれの量と、実際の補正レンズLCの駆動量(移動量)と、の比を規定するものであり、補正係数が減少すれば前者に対する後者の応答量は小さくなる。補正係数を、予め設定された固定係数としてもよいし、押下速度情報に基づく押下速度に応じて決定しても良い。
シャッタボタンSB1としてシャッタボタンSB2を用いる場合も、同様に処理できる。この場合、図20のデジタルカメラ1におけるシャッタボタンSB1、最前接点検出部23及び押下速度検出部24は、図32のシャッタボタンSB2及び圧力監視部120に置き換えられ、シャッタボタンSB2及び圧力監視部120からの第1及び第2押下検出信号がデジタルカメラ1内のマイコン20aに伝達される。
そして、押下速度検出部124からの第2押下速度情報及び/又は加圧力検出部125からの加圧力情報に基づいて、実行する光学式手ぶれ補正を、第1と第2の光学式手ぶれ補正の間で切り替える。
例えば、第2押下速度情報によって表される押下速度(着目感圧素子に加わる圧力の変化速度)が所定の基準速度よりも小さいとき、第1の光学式手ぶれ補正を行い、その押下速度が基準速度よりも大きいとき、第2の光学式手ぶれ補正を行う。或いは例えば、加圧力情報によって表される圧力の大きさが所定の基準大きさよりも小さいとき、第1の光学式手ぶれ補正を行い、その圧力の大きさが基準大きさよりも大きいとき、第2の光学式手ぶれ補正を行う。第2の光学式手ぶれ補正の実行時における補正係数を、予め設定された固定係数としてもよいが、その補正係数を、第2押下速度情報によって表される押下速度及び加圧力情報によって表される圧力の大きさに基づいて、又は、それらの内の一方に基づいて決定しても良い。
第2の光学式手ぶれ補正を受けた補正対象画像には、補正係数に応じたぶれが含まれる。第2の光学式手ぶれ補正を受けた補正対象画像を表す画像データを、そのまま画像圧縮回路18を介してメモリカード19に保存することも可能であるが、第2の光学式手ぶれ補正を受けた補正対象画像に含まれるぶれを、電子式の手ぶれ補正によって除去し、その除去後の画像の画像データをメモリカード19に保存するようにしてもよい。例えば、第6実施例で述べたように、デジタルカメラ1を復元式手ぶれ補正を実行可能なように形成しておき、手ぶれ検出信号と擬似手ぶれ検出信号との差信号に基づき、第2の光学式手ぶれ補正を受けた、ぶれが残存している補正対象画像に対して復元式手ぶれ補正を実施する。具体的には、その差信号に基づき、ぶれが残存している補正対象画像の露光期間中における残存ぶれの軌跡を求め、その残存ぶれの軌跡に応じたPSFを算出する。そして、そのPSFから、残存ぶれを除去するための復元フィルタを生成し、残存ぶれを含む画像に対して該復元フィルタを適用することにより残存ぶれを除去する。残存ぶれが除去された画像は、最終的なぶれ補正画像として画像圧縮回路18を介してメモリカード19に保存される。
尚、第5実施例でも述べたように、補正レンズLCの代わりに、バリアングルプリズム又は撮像素子12を駆動することによって、第1及び第2の光学式手ぶれ補正を実現しても良い。
上述の如くぶれ補正度合いを調整することにより、より大きな手ぶれにも対応することができる。光学系が追従的できないような大きな手ぶれが発生したときにおいて、通常の光学式手ぶれ補正を実行すると不自然な画像が得られてしまうのに対し、上述の方法によれば、ぶれが若干残存するものの、得られる画像の不自然さが低減される。また、復元式手ぶれ補正を組み合わせることにより、残存したぶれを除去することも可能である。
<<第14実施例>>
次に、第14実施例を説明する。第14実施例に示される技術は、加算式手ぶれ補正を実現可能なデジタルカメラ1又は加算式手ぶれ補正と光学式手ぶれ補正を実現可能なデジタルカメラ1に適用される。
まず、デジタルカメラ1の内部ブロック図が図13又は図26に示す内部ブロック図と同じである場合を考え、シャッタボタンSB1として図5(a)等に示すシャッタボタンSB1aを用いられている場合を想定する。
第14実施例において、シャッタボタンSB1に対して撮影指示操作がなされた場合、マイコン(20又は20c)による制御の下、第1及び第2の手ぶれ補正の何れか一方が実行される。これにより、複数の分割露光画像が取得され、その複数の分割露光画像を加算合成することによってぶれ補正画像としての1枚の静止画像が生成される。マイコン(20又は20c)は、押下速度検出部24からの押下速度情報によって表される押下速度が所定の基準速度よりも小さい場合、第1の手ぶれ補正を実行する。一方、その押下速度が該基準速度よりも大きい場合、第2の手ぶれ補正を実行する。
まず、第1及び第2の手ぶれ補正に共通する動作を説明する。シャッタボタンSB1に対する第1段階の押下操作によって第1押下検出信号がシャッタボタンSB1から出力されると、撮影制御回路21は、被写体の明るさを測定する測光回路(不図示)から得られた明るさの情報に基づいて、撮像素子12の最適な露光時間(適正露光時間)を設定する。設定された最適な露光時間をTOとする。測光回路は、光量センサ(不図示)又は撮像素子12の出力信号に基づいて被写体の明るさ(換言すれば、撮像素子12への入射光量)を測定する。
第14実施例に係るデジタルカメラ1は、加算式手ぶれ補正を行うことを前提としているため、最適な露光時間TOをN1個に分割する。ここで、N1は2以上の整数であるが、今、N1=3である場合を考える。最適な露光時間TOが設定されるまでの上述の動作は、第1の手ぶれ補正を実行する場合も、第2の手ぶれ補正を実行する場合も同じである。
第1段階の押下操作に続いて第2段階の押下操作(即ち、撮影指示操作)がなされると、第1の手ぶれ補正を実行する場合も、第2の手ぶれ補正を実行する場合も、複数の分割露光画像が連続撮影される。押下速度情報によって表される押下速度が所定の基準速度よりも小さく、第1の手ぶれ補正を実行する場合は、図37(a)に示す如く、第1、第2及び第3の分割露光画像をこの順番で連続撮影する。第1の手ぶれ補正の実行時に取得される第1〜第3の分割露光画像の各露光時間はTO/3となる。尚、押下速度情報は、第1の分割露光画像の露光中に得られるものとする。
一方、押下速度情報によって表される押下速度が所定の基準速度よりも大きい場合、第2の手ぶれ補正を実行するべく、マイコン(20又は20c)は、図37(b)に示されるように、その押下速度情報が得られた時点で或いはその時点よりも若干遅れた時点で、第1の分割露光画像を得るための露光を停止する。この場合における、第1の分割露光画像の露光時間はTO/3よりも短い。その後、(N2−1)枚の分割露光画像を連続撮影する。N2は2以上の整数であるが、N2>N1、が成立する。今の例において、例えば、N2は4である。第2の手ぶれ補正の実行時には、合計N2枚の分割露光画像が得られることになり、そのN2枚の分割露光画像の露光時間の合計がTOと一致するように、各分割露光画像の露光時間が設定される。
尚、デジタルカメラ1が光学式手ぶれ補正をも実行可能に形成されている場合は、第7実施例で述べたように、分割露光画像の露光期間中に、分割露光画像に対する光学式手ぶれ補正が実行される(図27参照)。この際、より大きな手ぶれに対応するべく、第7実施例で述べたように、隣接する2枚の分割露光画像についての2つの露光期間の間(図27の例では、例えばT1B−T2A間)において、補正レンズLCの位置を補正レンズLCの可動範囲の中心位置に戻すようにするとよい。光学式手ぶれ補正を実現するために撮像素子12を駆動する場合は、上記2つの露光期間の間において、撮像素子12の位置を撮像素子12の可動範囲の中心位置に戻すようにするとよい。光学式手ぶれ補正を実現するためにバリアングルプリズムを駆動する場合は、上記2つの露光期間の間において、バリアングルプリズムの状態をバリアングルプリズムの状態可変範囲の中心に戻すようにするとよい。
第1の手ぶれ補正の実行時に得られるN1枚の分割露光画像は、第1実施例で述べた手法に従って位置ずれ補正及び加算合成され、合成画像が生成される。第2の手ぶれ補正の実行時に得られるN2枚の分割露光画像は、第1実施例で述べた手法に従って位置ずれ補正及び加算合成され、合成画像が生成される。生成された合成画像は、ぶれ補正画像としてメモリカード19に保存される。
シャッタボタンSB1としてシャッタボタンSB2を用いる場合も、同様に処理できる。この場合、図13又は図26のデジタルカメラ1におけるシャッタボタンSB1、最前接点検出部23及び押下速度検出部24は、図32のシャッタボタンSB2及び圧力監視部120に置き換えられ、シャッタボタンSB2及び圧力監視部120からの第1及び第2押下検出信号がデジタルカメラ1内のマイコン(20又は20c)に伝達される。
そして、押下速度検出部124からの第2押下速度情報及び/又は加圧力検出部125からの加圧力情報に基づいて、実行する手ぶれ補正を、第1と第2の手ぶれ補正の間で切り替える。
例えば、第2押下速度情報によって表される押下速度(着目感圧素子に加わる圧力の変化速度)が所定の基準速度よりも小さいとき、上述の第1の手ぶれ補正を行い、その押下速度が基準速度よりも大きいとき、上述の第2の手ぶれ補正を行う。但し、第2押下速度情報は、第1の分割露光画像の露光中に得られるものとする。或いは例えば、加圧力情報によって表される圧力の大きさが所定の基準大きさよりも小さいとき、上述の第1の手ぶれ補正を行い、その圧力の大きさが基準大きさよりも大きいとき、上述の第2の手ぶれ補正を行う。但し、加圧力情報は、第1の分割露光画像の露光中に得られるものとする。
尚、第12実施例で述べたように、加圧力情報は、第2段階の押下操作があった時点から所定の時間が経過した時点(時刻TD)における、着目感圧素子の加圧力の大きさを表している(図33参照)。従って、「加圧力情報によって表される圧力の大きさが所定の基準大きさよりも小さいとき、上述の第1の手ぶれ補正を行う」という動作は、「時刻TDにおける着目感圧素子の加圧力の大きさが所定の基準大きさよりも小さいとき、上述の第1の手ぶれ補正を行う」という動作と等価である(第2の手ぶれ補正についても同様)。
圧力の大きさを参照する場合は、このような動作に代えて、以下のような動作を実行するようにしてもよい。即ち、最適な露光時間TOを設定した後、第2段階の押下操作がなされると、原則としてTO/3の露光時間を有する第1の分割露光画像の露光を開始する一方で、その露光期間中、図32の加圧力検出部125が、シャッタボタンSB2の回路部503の出力信号に基づき、着目感圧素子の加圧力の大きさを常時監視しておく(加圧力を議論する場合における着目感圧素子の意義は、第12実施例で述べた、“加圧力検出部125における着目感圧素子”の意義と同じである)。そして、第1の分割露光画像の露光期間中に、着目感圧素子の加圧力の大きさが所定の基準大きさを上回らなければ上述の第1の手ぶれ補正を実行する。即ち、原則どおり、TO/3の露光時間にて第1〜第3の分割露光画像を取得する。一方、第1の分割露光画像の露光期間中に、前者が後者よりも上回ったことが確認されると、第2の手ぶれ補正が実行される。即ち、その確認がなされた時点或いはその時点よりも若干遅れた時点で、第1の分割露光画像を得るための露光を停止する。この場合における、第1の分割露光画像の露光時間はTO/3よりも短い。その後、(N2−1)枚の分割露光画像を連続撮影する。複数の分割露光画像を得た後の動作は、上述したものと同様である。
シャッタボタンの押下速度が大きい場合やシャッタボタンに対する操作力が大きい場合は、手ぶれ量が比較的大きくなることが予想されるため、1枚当たりの手ぶれ量低減を優先することが好ましい。これを考慮し、検出した押下速度又は加圧力に基づいて、上述の如く動的に分割露光画像の露光時間を調節する。これにより、より大きな手ぶれにも適切に対応することができる。
第14実施例において上述した方法は、加算/復元ハイブリッド補正を実行する場合にも適用可能である。加算/復元ハイブリッド補正は、加算式手ぶれ補正と復元式手ぶれ補正を組み合わせたものである。加算/復元ハイブリッド補正では、複数の分割露光画像を取得した後、分割露光画像ごとに、PSFを求めてPSFから復元フィルタを生成する。そして、分割露光画像ごとに、復元フィルタを適用することによって分割露光画像に含まれるぼけが除去或いは低減されたぶれ補正分割露光画像を生成する。その後、生成された複数のぶれ補正分割露光画像間における位置ずれを補正した後、位置ずれ補正後のぶれ補正分割露光画像を加算合成することにより、最終的に1枚のぶれ補正画像を得る。位置ずれ補正及び加算合成の方法は、第1実施例で述べたものと同じである。
尚、分割露光画像に対するPSFは、図26等に示されるセンサ部26からの手ぶれ検出信号に基づいて求められる。或いは、分割露光画像に対するPSFを、分割露光画像の画像データに基づいて求めるようにしてもよい。例えば、隣接する分割露光画像間の位置ずれを表す動きベクトルを両分割露光画像を対比することによって求め、その動きベクトルから分割露光画像の露光期間中における手ぶれの軌跡を推定することにより分割露光画像に対するPSFを求める。或いは例えば、文献"Iterative blind deconvolution method and its applications(G. R. Ayers and J. C. Dainty, OPTICS LETTERS, 1988年,Vol.13, No.7, p.547-549)に記載されたフーリエ反復法を用い、分割露光画像に対するPSFを分割露光画像の画像データに基づいて求めるようにしてもよい。
更に、第14実施例において上述した方法は、光学/加算/復元ハイブリッド補正を実行する場合にも適用可能である。光学/加算/復元ハイブリッド補正は、光学/加算ハイブリッド補正と復元式手ぶれ補正を組み合わせたものである。光学/加算ハイブリッド補正の実現方法自体は、第7実施例で述べたものと同じである。光学/加算/復元ハイブリッド補正では、光学式手ぶれ補正を実行しながら複数の分割露光画像を取得した後、分割露光画像ごとに、PSFを求めてPSFから復元フィルタを生成する。ここで求められるPSFは、光学式手ぶれ補正では除去しきれずに分割露光画像内に残存したぶれについてのPSFであり、そのPSFを、第6実施例にて示した方法によって求めることができる。そして、分割露光画像ごとに、復元フィルタを適用することによって分割露光画像に含まれるぼけが除去或いは低減されたぶれ補正分割露光画像を生成する。その後、生成された複数のぶれ補正分割露光画像間における位置ずれを補正した後、位置ずれ補正後のぶれ補正分割露光画像を加算合成することにより、最終的に1枚のぶれ補正画像を得る。位置ずれ補正及び加算合成の方法は、第1実施例で述べたものと同じである。
尚、矛盾なき限り、上述してきた各実施例における加算式手ぶれ補正を、光学/加算ハイブリッド補正、加算/復元ハイブリッド補正、又は、光学/加算/復元ハイブリッド補正に置き換えることも可能である。
<<第15実施例>>
次に、第15実施例を説明する。第15実施例に係るデジタルカメラ1は、加算式手ぶれ補正の実行を前提としていないが、第14実施例の如く、検出した押下速度又は加圧力に基づいて動的に露光時間を調節する。
デジタルカメラ1の内部ブロック図が図20に示す内部ブロック図と同じであると考えた上で、第15実施例に係るデジタルカメラ1の動作を説明する。まず、シャッタボタンSB1として図5(a)等に示すシャッタボタンSB1aを用いられている場合を想定する。
シャッタボタンSB1に対する第1段階の押下操作によって第1押下検出信号がシャッタボタンSB1から出力されると、マイコン20a(又は図示されない撮影制御回路)は、被写体の明るさを測定する測光回路(不図示)から得られた明るさの情報に基づいて、撮像素子12の最適な露光時間(適正露光時間)を設定する。測光回路は、光量センサ(不図示)又は撮像素子12の出力信号に基づいて被写体の明るさ(換言すれば、撮像素子12への入射光量)を測定する。設定された最適な露光時間をTOとする。第15実施例では、撮影指示操作によって、1回の露光を行われて1枚の静止画像が撮影されるものとする(第14実施例の如く、複数の分割露光画像の連続撮影は行われない)。
第1段階の押下操作に続いて第2段階の押下操作(即ち、撮影指示操作)がなされると、1枚の静止画像を撮影するための露光が開始される。今、この露光の開始時刻が時刻TBであるとする。原則として、この露光時間はTOとされるが、実際の露光時間は押下速度検出部24からの押下速度情報に依存してTOと異なりうる。具体的には、その押下速度情報によって表される押下速度が所定の基準速度よりも小さい場合は、原則どおり、TOの時間長さ分だけ露光を行って1枚の静止画像を得る。一方、その押下速度情報によって表される押下速度が所定の基準速度よりも大きい場合は、時刻TBからTO分の時間が経過する以前に、露光を停止する。結果、この場合に得られる静止画像の露光時間TOAは最適な露光時間TOよりも短くなる。即ち、押下速度が所定の基準速度よりも大きい場合、最適な露光時間TOを基準として、静止画像の露光時間が短縮される。露光時間の短縮度合いは、TOとTOAとの比によって表される。露光時間の短縮度合いを、押下速度情報に応じて決定してもよい。尚、押下速度情報は、着目した静止画像の露光中に得られるものとする。
シャッタボタンSB1としてシャッタボタンSB2を用いる場合も、同様に処理できる。この場合、図20のデジタルカメラ1におけるシャッタボタンSB1、最前接点検出部23及び押下速度検出部24は、図32のシャッタボタンSB2及び圧力監視部120に置き換えられ、シャッタボタンSB2及び圧力監視部120からの第1及び第2押下検出信号がデジタルカメラ1内のマイコン20aに伝達される。
この場合も、最適な露光時間TOが設定され、撮影指示操作に従い、時刻TBを起点として静止画像の露光が開始され、静止画像の露光時間は原則としてTOとされる。そして、押下速度検出部124からの第2押下速度情報及び/又は加圧力検出部125からの加圧力情報に基づいて、静止画像の露光時間の短縮可否及び短縮度合いを決定する。
例えば、第2押下速度情報によって表される押下速度(着目感圧素子に加わる圧力の変化速度)が所定の基準速度よりも小さい場合は、原則どおり、TOの時間長さ分だけ露光を行って1枚の静止画像を得る。一方、第2押下速度情報によって表される押下速度が所定の基準速度よりも大きい場合は、時刻TBからTO分の時間が経過する以前に露光を停止することにより、静止画像の実際の露光時間をTOAとする。TOとTOAとの比によって表される露光時間の短縮度合いを、第2押下速度情報に応じて決定してもよい。尚、第2押下速度情報は、着目した静止画像の露光中に得られるものとする。
或いは例えば、加圧力情報によって表される圧力の大きさが所定の基準大きさよりも小さい場合は、原則どおり、TOの時間長さ分だけ露光を行って1枚の静止画像を得る。一方、その圧力の大きさが所定の基準大きさよりも大きい場合は、時刻TBからTO分の時間が経過する以前に露光を停止することにより、静止画像の実際の露光時間をTOAとする。TOとTOAとの比によって表される露光時間の短縮度合いを、加圧力情報に応じて決定してもよい。尚、加圧力情報は、着目した静止画像の露光中に得られるものとする。
圧力の大きさを参照する場合は、以下のような動作を実行するようにしてもよい。最適な露光時間TOを設定した後、時刻TBにおいて第2段階の押下操作がなされると、原則としてTOの露光時間を有する静止画像の露光を開始する一方で、その露光期間中、図32の加圧力検出部125が、シャッタボタンSB2の回路部503の出力信号に基づき、着目感圧素子の加圧力の大きさを常時監視しておく(加圧力を議論する場合における着目感圧素子の意義は、第12実施例で述べた、“加圧力検出部125における着目感圧素子”の意義と同じである)。そして、その静止画像の露光期間中に、着目感圧素子の加圧力の大きさが所定の基準大きさを上回らなければ、原則どおり、TOの時間長さ分だけ露光を行って1枚の静止画像を得る。一方、その静止画像の露光期間中に、着目感圧素子の加圧力の大きさが所定の基準大きさを上回ったことが確認されると、その確認がなされた時点或いはその時点よりも若干遅れた時点で、静止画像の露光を停止する。この場合に得られる静止画像の露光時間(TOA)はTOよりも短くなる。
最適な露光時間TOによって得られた静止画像は、そのままメモリカード19に保存することができるが、露光時間TOAによって得られた静止画像は、輝度を増加させる処理を施してからメモリカード19に保存する(但し、それを、そのままメモリカード19に保存することも可能である)。即ち例えば、露光時間TOAによって得られた静止画像の各画素の輝度をTO/TOA倍する処理を実行し、その処理の実行後の静止画像をメモリカード19に保存する。
静止画像の露光期間中に、光学式手ぶれ補正を行うか否かは任意である。光学式手ぶれ補正を実行する場合において、第13実施例で述べた方法を採用することにより、露光時間TOAをなるだけ最適な露光時間TOに近づけることも可能である(即ち、なるだけ明るい画像を得ることが可能である)。手ぶれが比較的大きい場合において、第13実施例で述べた補正係数を導入しないならば、光学系の駆動量が比較的短時間で駆動限界量に達してしまう。これを避けるためには、露光時間TOAを比較的短時間に設定する必要がある。一方、第13実施例で述べた補正係数を導入すれば、光学系の駆動量が駆動限界量に達するまでの時間を拡大できる。即ち、所定の基準速度より大きな押下速度等が検出されたとしても、補正係数の導入により、より長い時間、光学系を手ぶれに追従させることが可能となるため、補正係数を導入しない場合と比べて露光時間TOAを長く設定することが可能となる。
シャッタボタンの押下速度が大きい場合やシャッタボタンに対する操作力が大きい場合は、手ぶれ量が比較的大きくなることが予想される。この場合において、露光時間を長くとると、画像のぶれが非常に大きくなる或いは光学系が手ぶれに追従できなくなる可能性が高まる。これを考慮し、検出した押下速度又は加圧力に基づいて、上述の如く、露光時間の短縮制御を行う。これにより、得られた静止画像のぶれ量を一定以下に収めることができる(擬似的に安定した手ぶれ補正効果を得ることができる)。
<<第16実施例>>
次に、第16実施例について説明する。本実施例では、図13等に示された動き検出回路32及び画像合成回路36の詳細な動作手法例を説明する。但し、本実施例では、回転方向の動きを無視し、並進方向の動き検出のみを行って並進方向のみの位置合わせを行う手法を取り扱うものとする。従って、本実施例に記載の手法は、並進方向の動き検出のみを行って並進方向のみの位置合わせを行うという想定の下で、加算式手ぶれ補正を採用する上述の何れかの実施例に適用することができる。
説明の具体化のため、本実施例に係るデジタルカメラ1の全体ブロック図が図13のそれと同じであるとして以下の説明を行うものとする。また、本実施例にて記載されるシャッタボタンとは、シャッタボタンSB1を意味するものとする。また、本実施例において、シャッタボタンに対する押下とは、シャッタボタンに対する第1〜第3段階の押下操作の全てを含むものとする。
図38は、本実施例に係る動き検出回路32の内部ブロック図である。図38の動き検出回路32は、代表点マッチング回路141と、領域動きベクトル算出回路142と、検出領域有効性判定回路143と、全体動きベクトル算出回路144と、を有して構成される。符号142〜144で表される部位の機能については後に示す図43及び図44のフローチャートの説明の中で行うとして、まず、代表点マッチング回路141について説明する。
代表点マッチング回路141は、図14及び図15を参照しつつ第1実施例で説明したように、代表点マッチング法に基づいて基準画像と非基準画像との間の全体動きベクトルを検出する。加算式手ぶれ補正を行うために連続撮影された複数の分割露光画像の内、例えば、1番目の分割露光画像(1番目に得られた分割露光画像)が基準画像とされ、2番目以降の各分割露光画像が非基準画像とされる。
図39は、代表点マッチング回路141の内部ブロック図である。代表点マッチング回路141は、フィルタ151と、代表点メモリ152と、減算回路153と、累積加算回路154と、演算回路155と、を有して構成される。
フィルタ151には、図13の画像メモリ15から転送されてきた画像データが順次入力され、各画像データはフィルタ151を介して代表点メモリ152と減算回路153に与えられる。フィルタ151は、ローパスフィルタであり、S/N比を改善して少ない代表点で十分な動きベクトル検出精度を確保するために用いられる。代表点メモリ152は、図14に示す各検出領域E1 〜E9 の小領域eごとに、代表点Rの画像上の位置を特定する位置データと代表点Rの輝度値を特定する輝度データとを記憶する(図15も参照)。
尚、代表点メモリ152の記憶内容の更新タイミングは任意である。代表点メモリ152に画像が入力される度に該記憶内容を更新することもできるし、基準画像を定めて該基準画像が入力されたときにのみ該記憶内容を更新するようにしてもよい。また、或る画素(代表点R又はサンプリング点S)に関し、輝度値は、その画素の輝度を表し、輝度値が増加するに従って該輝度は増加するものとする。また、輝度値は、8ビット(0〜255)のデジタル値として表現されるとする。勿論、輝度値を8ビットと異なるビット数で表現しても良い。
減算回路153は、代表点メモリ152から与えられる基準画像の代表点Rの輝度値と非基準画像の各サンプリング点Sの輝度値との減算を行い、その減算結果の絶対値を出力する。減算回路153の出力値は、各サンプリング点Sにおける相関値を表し、該出力値は、順次、累積加算回路154に与えられる。累積加算回路154は、減算回路153から出力される相関値を累積加算することにより上述の累積相関値(第1実施例参照)を算出及び出力する。
演算回路155は、累積加算回路154から与えられる累積相関値を受け、図42に示すようなデータを算出及び出力する。1枚の基準画像と1枚の非基準画像との対比に関し、各検出領域E1 〜E9 ごとに、1つの小領域e内のサンプリング点Sの個数に応じた複数の累積相関値(以下、この複数の累積相関値を「演算対象累積相関値群」という)が演算回路155に与えられるが、演算回路155は、各検出領域E1 〜E9 ごとに、
「演算対象累積相関値群を形成する全ての累積相関値の平均値Vaveと、
演算対象累積相関値群を形成する全ての累積相関値の内の最小値(最小の累積相関値)と、
その最小値を示す画素の位置PAと、
位置PAの画素の近傍画素に対応する累積相関値(以下、近傍累積相関値と呼ぶことがある)」を算出する。
各小領域eに着目し、以下のように画素位置等を定義する。各小領域eにおいて、代表点Rの画素位置を(0,0)にて表す。位置PAは、代表点Rの画素位置(0,0)を基準とした、上記最小値を与えるサンプリング点Sの画素位置であり、これを、(iA,jA)にて表す(図40参照)。位置PAの画素の近傍画素とは、位置PAの画素に隣接する画素を含む位置PAの画素の周辺画素であり、本実施例では、位置PAの画素を中心とする24個の近傍画素を想定する。図41に示す如く、位置PAの画素と該24個の近傍画素は5×5の行列配列された画素群を形成する。その画素群の各画素の画素位置を、(iA+p,jA+q)にて表す。該画素群の中心に、位置PAの画素が存在する。p及びqは整数であり、−2≦p≦2且つ−2≦q≦2、が成立する。pが−2から2に増加するにつれて画素位置は位置PAを中心として上から下へと向かい、qが−2から2に増加するにつれて画素位置は位置PAを中心として左から右へと向かう。そして、画素位置(iA+p,jA+q)に対応する累積相関値を、V(iA+p,jA+q)にて表すものとする。
一般的には、最小の累積相関値の位置PAが真のマッチング位置に対応するものとして動きベクトルが算出されるが、本実施例では、最小の累積相関値は、真のマッチング位置に対応する累積相関値の候補として捉えられる。位置PAにて得られる最小の累積相関値をVAにて表し、それを「候補最小相関値VA」とよぶ。従って、V(iA,jA)=VAである。
他の候補を特定すべく、演算回路155は、各検出領域E1 〜E9 ごとに、最小の累積相関値VAに近い累積相関値が演算対象累積相関値群に含まれているかを検索し、検索されたVAに近い累積相関値も候補最小相関値として特定する。「最小の累積相関値VAに近い累積相関値」とは、VAを所定の規則に従って増加させた値以下の累積相関値であり、例えば、VAに所定の候補閾値(例えば2)を加えた値以下の累積相関値、或いは、VAに1より大きい係数を乗じて得られる値以下の累積相関値である。候補最小相関値は、上記の候補最小相関値VAを含めて、例えば最大4つ特定される。
以下、説明の便宜上、検出領域E1 〜E9 の夫々について、候補最小相関値VAの他に候補最小相関値VB、VC及びVDが特定された場合を考えるものとする。尚、最小の累積相関値VAに近い累積相関値を検索することによって他の候補最小相関値を特定すると述べたが、VB、VC及びVDの内の何れか又は全部は、VAと等しい場合もある。この場合、或る検出領域に関し、演算対象累積相関値群に最小の累積相関値が2以上含まれることになる。
演算回路155は、候補最小相関値VAと同様、各検出領域E1 〜E9 ごとに、
「候補最小相関値VBを示す画素の位置PBと位置PBの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)、
候補最小相関値VCを示す画素の位置PCと位置PCの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)、及び
候補最小相関値VDを示す画素の位置PDと位置PDの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)」を検出する(図42参照)。
各小領域eに着目し、以下のように画素位置等を定義する。位置PB、PC及びPDは、それぞれ、位置PAと同様、代表点Rの画素位置(0,0)を基準とした、候補最小相関値VB、VC及びVDを与えるサンプリング点Sの画素位置であり、これを、(iB,jB)、(iC,jC)及び(iD,jD)にて表す。
位置PAと同様、位置PBの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iB+p,jB+q)にて表す。
位置PAと同様、位置PCの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iC+p,jC+q)にて表す。
位置PAと同様、位置PDの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iD+p,jD+q)にて表す。
ここで、位置PAと同様、p及びqは整数であり、−2≦p≦2且つ−2≦q≦2、が成立する。pが−2から2に増加するにつれて画素位置は位置PB(又はPC又はPD)を中心として上から下へと向かい、qが−2から2に増加するにつれて画素位置は位置PB(又はPC又はPD)を中心として左から右へと向かう。そして、画素位置(iB+p,jB+q)、(iC+p,jC+q)及び(iD+p,jD+q)に対応する累積相関値を、夫々、V(iB+p,jB+q)、V(iC+p,jC+q)及びV(iD+p,jD+q)にて表す。
演算回路155は、更に、各検出領域E1 〜E9 ごとに、候補最小相関値の個数Nfを算出及び出力する。今の例の場合、検出領域E1 〜E9 の夫々について、Nfは4である。以下、各検出領域E1 〜E9 ごとに、演算回路155にて算出され且つ出力される、
「候補最小相関値VA、位置PA及び近傍累積相関値V(iA+p,jA+q)」を特定するデータを総称して「第1の候補データ」と呼び、
「候補最小相関値VB、位置PB及び近傍累積相関値V(iB+p,jB+q)」を特定するデータを総称して「第2の候補データ」と呼び、
「候補最小相関値VC、位置PC及び近傍累積相関値V(iC+p,jC+q)」を特定するデータを総称して「第3の候補データ」と呼び、
「候補最小相関値VD、位置PD及び近傍累積相関値V(iD+p,jD+q)」を特定するデータを総称して「第4の候補データ」と呼ぶ。
[動き検出回路の動作フロー]
次に、図43及び図44のフローチャートを参照して、動き検出回路32の処理手順を説明する。また、図47に、動き検出回路32内部の各データの流れをも表した、動き検出回路32の詳細内部ブロック図を示す。図47に示す如く、検出領域有効性判定回路143は、コントラスト判定部161と、複数動き有無判定部162と、類似模様有無判定部163を含み、全体動きベクトル算出回路144は、全体動きベクトル有効性判定部170と信頼度算出部174を含む。全体動きベクトル有効性判定部170は、更に、パン・チルト判定部171、領域動きベクトル類似性判定部172及び検出領域有効数算出部173を含む。
概略的に動作を説明すると、動き検出回路32は、検出領域ごとに、候補最小相関値の中から真のマッチング位置に対応する相関値を採用最小相関値Pminとして特定し、代表点Rの位置から採用最小相関値Vminを示す位置(PA、PB、PC又はPD)に向かう偏移を当該検出領域の領域動きベクトルとする。そして、各領域動きベクトルの平均を画像全体の動きベクトル(以下、「全体動きベクトル」という)として出力する。
但し、平均化によって全体動きベクトルを算出する際、各検出領域の有効又は無効を評価し、無効な検出領域に対応する領域動きベクトルを無効として除外する。そして、有効な領域動きベクトルの平均ベクトルを(原則として)全体動きベクトルとして算出すると共に、算出した全体動きベクトルが有効であるか或いは無効であるかを評価する。図47に示す信頼度算出部174において全体動きベクトルの信頼度も算出されるが、信頼度の算出手法については図43及び図44に関する説明の後に詳説する。
尚、図43に示されるステップS12〜S18の処理は、図38の代表点マッチング回路141にて実施される。ステップS24の処理は、図38の領域動きベクトル算出回路142によって実施される。ステップS21〜S23並びにS25及びS26の処理は、図38の検出領域有効性判定回路143によって実施される。図44に示されるステップS41〜S49の処理は、図38の全体動きベクトル算出回路144によって実施される。
図43及び図44は、或る1つの基準画像と或る1つの非基準画像との間における処理手順を示している。動き検出回路32は、手ぶれ補正撮影モードにおいてシャッタボタンが押下げられた際、1番目の分割露光画像を基準画像、2番目以降の各分割露光画像を非基準画像として、図43及び図44に示す各ステップの処理を実施する(但し、2番目以降の何れかの分割露光画像を基準画像とすることも可能である)。また、手ぶれ補正撮影モードでは、シャッタボタンが押下されたか否かに関わらず、動き検出回路32に対して前回に入力された画像(画像データ)を基準画像とし且つ今回に入力された画像を非基準画像として、図43及び図44に示す各ステップの処理が実施される。
まず、ステップS11において、9つある検出領域E1〜E9の何れか1つを特定するための変数kを1とする。k=1、2、・・・9の場合、それぞれ、検出領域E1、E2、・・・E9についての処理が行われる。
ステップS11に続くステップS12において、検出領域Ekについての累積相関値が算出され、更に、ステップS13において、検出領域Ekについての累積相関値の平均値Vaveが算出される。そして、真のマッチング位置に対応する累積相関値の候補として候補最小相関値が特定される(ステップS14)。今、上述したように、候補最小相関値として4つの候補最小相関値VA、VB、VC又はVDが特定されたとする。続くステップS15では、ステップS14にて特定された各候補最小相関値に対応する「位置と近傍累積相関値」が検出される。更にステップS16で、ステップS14にて特定された候補最小相関値の個数Nfが算出される。ステップS11〜S16の処理により、図42に示す、検出領域Ekについての「平均値Vave、第1〜第4候補データ及び個数Nf」が算出される。
ステップS16に続くステップS17では、検出領域Ekについての候補最小相関値の中から、真のマッチング位置に対応する相関値が採用最小相関値Vminとして選択される。
このステップS17の処理を、図45及び図46を参照して詳細に説明する。図45(a)〜(e)では、ステップS17の処理にて参照される累積相関値の対応画素を斜線を用いて表している。図46は、ステップS17の処理を細分化したフローチャートである。ステップS17は、ステップS101〜S112から形成される。
ステップS17に移行すると、まず、図46のステップS101において、第1〜第4の候補データの夫々について(即ち、候補最小相関値ごとに)、図45(a)のパターンに対応するような「候補最小相関値と4個の近傍累積相関値」の平均値(選択用評価値)を計算する。即ち、(p,q)=(0,−1)、(−1,0)、(0,1)、(1,0)、(0,0)である場合における、
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
そして、ステップS102において、ステップS101で算出された平均値に基づいて採用最小相関値Vminを選択可能であるかを判定する。具体的には、ステップS101で算出された4つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値(例えば2)以下の場合は、選択不可(選択の信頼性がない)と判定してステップS103に移行し、そうでない場合はステップS112に移行して、ステップS101で算出された4つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Vminとして選択する。例えば、VA_ave<VB_ave<VC_ave<VD_ave、が成立する場合、候補最小相関値VAが採用最小相関値Vminとして選択される。
以後、採用最小相関値Vminを選択するに当たって参照される累積相関値の位置及び個数を変化させつつ、ステップS101及びS102と同様の処理が実施される。
即ち、ステップS103では、第1〜第4の候補データの夫々について(即ち、候補最小相関値ごとに)、図45(b)のパターンに対応するような「候補最小相関値と8個の近傍累積相関値」の平均値を計算する。即ち、(p,q)=(−1,−1)、(−1,0)、(−1,1)、(0,−1)、(0,0)、(0,1)、(1,−1)、(1,0)、(1,1)である場合における、
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
そして、ステップS104において、ステップS103で算出された平均値に基づいて採用最小相関値Vminを選択可能であるかを判定する。具体的には、ステップS103で算出された4つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値(例えば2)以下の場合は、選択不可(選択の信頼性がない)と判定してステップS105に移行し、そうでない場合はステップS112に移行して、ステップS103で算出された4つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Vminとして選択する。
ステップS105では、第1〜第4の候補データの夫々について(即ち、候補最小相関値ごとに)、図45(c)のパターンに対応するような「候補最小相関値と12個の近傍累積相関値」の平均値を計算する。即ち、(p,q)=(−1,−1)、(−1,0)、(−1,1)、(0,−1)、(0,0)、(0,1)、(1,−1)、(1,0)、(1,1)、(−2,0)、(2,0)、(0,2)、(0,−2)である場合における、
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
そして、ステップS106において、ステップS105で算出された平均値に基づいて採用最小相関値Vminを選択可能であるかを判定する。具体的には、ステップS105で算出された4つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値(例えば2)以下の場合は、選択不可(選択の信頼性がない)と判定してステップS107に移行し、そうでない場合はステップS112に移行して、ステップS105で算出された4つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Vminとして選択する。
ステップS107では、第1〜第4の候補データの夫々について(即ち、候補最小相関値ごとに)、図45(d)のパターンに対応するような「候補最小相関値と20個の近傍累積相関値」の平均値を計算する。即ち、(p,q)=(−2,−1)、(−2,0)、(−2,1)、(−1,−2)、(−1,−1)、(−1,0)、(−1,1)、(−1,2)、(0,−2)、(0,−1)、(0,0)、(0,1)、(0,2)、(1,−2)、(1,−1)、(1,0)、(1,1)、(1,2)、(2,−1)、(2,0)、(2,1)である場合における、
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
そして、ステップS108において、ステップS107で算出された平均値に基づいて採用最小相関値Vminを選択可能であるかを判定する。具体的には、ステップS107で算出された4つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値(例えば2)以下の場合は、選択不可(選択の信頼性がない)と判定してステップS109に移行し、そうでない場合はステップS112に移行して、ステップS107で算出された4つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Vminとして選択する。
ステップS109では、第1〜第4の候補データの夫々について(即ち、候補最小相関値ごとに)、図45(e)のパターンに対応するような「候補最小相関値と24個の近傍累積相関値」の平均値を計算する。即ち、(p,q)=(−2,−2)、(−2,−1)、(−2,0)、(−2,1)、(−2,2)、(−1,−2)、(−1,−1)、(−1,0)、(−1,1)、(−1,2)、(0,−2)、(0,−1)、(0,0)、(0,1)、(0,2)、(1,−2)、(1,−1)、(1,0)、(1,1)、(1,2)、(2,−2)、(2,−1)、(2,0)、(2,1)、(2,2)である場合における、
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
そして、ステップS110において、ステップS109で算出された平均値に基づいて採用最小相関値Vminを選択可能であるかを判定する。具体的には、ステップS109で算出された4つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値(例えば2)以下の場合は、選択不可(選択の信頼性がない)と判定してステップS111に移行し、そうでない場合はステップS112に移行して、ステップS109で算出された4つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Vminとして選択する。
ステップS111に移行した場合は、最終的に、採用最小相関値Vminを選択不可と判断する。即ち、マッチング位置を検出不可と判断する。尚、候補最小相関値が複数ある場合の処理について説明したが、候補最小相関値が1つしかない場合は、その1つの候補最小相関値がそのまま採用最小相関値Vminとされる。
ステップS17にて採用最小相関値Vminが選択されると、ステップS18にて採用最小相関値Vminを示す画素の位置Pminが特定される。例えば、採用最小相関値Vminとして候補最小相関値VAが選択された場合は、位置PAが位置Pminとなる。
ステップS17及びS18で採用最小相関値Vmin及び位置Pminが特定されると、ステップS21に移行する。ステップS21〜S26では、検出領域Ekの有効又は無効が判定されると共に検出領域Ekの領域動きベクトルMkが算出される。各ステップの処理内容を詳細に説明する。
ステップS21では、類似模様有無判定部163(図47参照)が、検出領域Ek内に類似した模様が存在していないかを判定する。類似模様が存在している場合は、当該検出領域Ekについて算出される領域動きベクトルの信頼性は低い(即ち、領域動きベクトルMkは検出領域Ek内の画像の動きを精度良く表していない)。従って、この場合は、検出領域Ekを無効とする(ステップS26)。ステップS21の判定は、ステップS17の処理結果に基づいて実施される。即ち、図46のステップS112に至って採用最小相関値Vminが選択された場合は、類似模様は存在していないと判断してステップS21からステップS22に移行する。一方、図46のステップS111に至って採用最小相関値Vminが選択されなかった場合は、類似模様が存在していると判断してステップS21からステップS26に移行し、検出領域Ekを無効とする。
ステップS22では、コントラスト判定部161(図47参照)が、検出領域Ek内の画像のコントラストが低いか否かを判定する。コントラストが低い場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ekを無効とする。具体的には、累積相関値の平均値Vaveが所定の閾値TH1以下であるかを判断する。そして、不等式「Vave≦TH1」が成立する場合はコントラストが低いと判断してステップS26に移行し検出領域Ekを無効とする。この判断は、画像のコントラストが低い場合(例えば、画像全体が白い場合)には、輝度差が小さいので累積相関値が全体的に小さくなるという原理に基づいている。一方、不等式「Vave≦TH1」が成立しない場合は、コントラストは低くないと判断してステップS23に移行する。尚、閾値TH1は、実験を介して適切な値に設定される。
ステップS23では、複数動き有無判定部162(図47参照)が、検出領域Ek内に複数の動きがあるか否かを判定する。検出領域Ek内に手ぶれとは関係のない動く物体等が存在する場合は、検出領域Ek内に複数の動きがあると判断されることになる。複数の動きがある場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ekを無効とする。具体的には、不等式「Vave/Vmin≦TH2」が成立するか否かを判断し、該不等式が成立する場合は複数の動きがあると判断してステップS26に移行し検出領域Ekを無効とする。この判断は、複数の動きがある場合には完全なマッチング位置がないため、累積相関値の最小値が大きくなるという原理に基づいている。また、平均値Vaveを除算することによって、この判断が被写体のコントラストに依存しないようにしている。一方、不等式「Vave/Vmin≦TH2」が成立しない場合は、複数の動きがないと判断してステップS24に移行する。尚、閾値TH2は、実験を介して適切な値に設定される。
ステップS24では、図38(図47)に示す領域動きベクトル算出回路142が、真のマッチング位置を表す位置Pminに基づいて、領域動きベクトルMkを算出する。例えば、位置PAが位置Pminである場合は、画像上の位置PAを特定する位置情報(画素位置(iA,jA)を特定する情報)に基づいて領域動きベクトルMkを算出する。より具体的には、検出領域Ekの任意の小領域eにおいて、代表点Rの位置から採用最小相関値Vminを示す位置Pmin(PA、PB、PC又はPD)に向かう偏移の向き及び大きさを、領域動きベクトルMkの向き及び大きさとする。
そして、ステップS24に続くステップS25では、検出領域Ekを有効とし、ステップS31に移行する。他方、ステップS21等から移行しうるステップS26では、上述の如く検出領域Ekを無効とし、ステップS31に移行する。ステップS31では、変数kに1が加算され、続いてステップS32で変数kが9より大きくなっているかが判断される。「k>9」が成立しない場合はステップS12に移行し、他の検出領域に関してステップS12等の処理が繰り返される。「k>9」が成立する場合は、検出領域E1〜E9の全てに関してステップS12等の処理が実施されたことになるため、図44のステップS41に移行する。
図44のステップS41〜S49では、領域動きベクトルMk(1≦k≦9)に基づく全体動きベクトルMを算出処理及び全体動きベクトルMの有効性判定処理が行われる。
ステップS41では、図43のステップS25及びS26の処理結果に基づき、有効とされた検出領域(以下、「有効領域」という)の数が0であるか否かを判定する。有領領域が1以上存在する場合にはステップS42に移行して、有効領域の領域動きベクトルMkを抽出し、更にステップS43にて、有効領域の領域動きベクトルMkを平均化することにより、それらの平均ベクトルMaveを算出する。
ステップS43に続くステップS44では、領域動きベクトル類似性判定部172(図47参照)が、有効領域の領域動きベクトルMkの類似性を判定する。換言すれば、有効領域間での領域動きベクトルMkのばらつきAを評価することにより、有効領域間で動きの異なる物体が存在していないかを判定する。具体的には、下式(1−1)に基づいて、ばらつきAを算出する。
そして、ばらつきAが閾値TH3以上であるか否かを判定する。ばらつきAが閾値TH3未満であればステップS45に移行し、画像全体の動きベクトル(全体動きベクトル)MをステップS43で算出された平均ベクトルMaveとしてステップS47に移行する。
尚、式(1−1)において、[{|Mk−Mave|/(Maveのノルム)}の総和]は、有効領域ごとに算出された{|Mk−Mave|/(Maveのノルム)}を、全ての有効領域について合算した値に相当する。また、図47に示す検出領域有効数算出部173は、有効領域の数を算出する。
ばらつきAが閾値TH3以上の場合は、有効領域の領域動きベクトルMkの類似性が低く、それに基づいて算出される全体動きベクトルの信頼性は低いと考えられる。このため、ばらつきAが閾値TH3以上の場合は(ステップS44のN)、ステップS46に移行し、全体動きベクトルMを0としてステップS47に移行する。また、ステップS41において有効領域の数が0であると判定された場合もステップS46にて全体動きベクトルMが0とされ、ステップS47に移行する。
ステップS47では、全体動きベクトルの履歴データMnに今回得られた全体動きベクトルMを追加する。上述したように、図43及び図44に示す各処理は、シャッタボタンが押下されたか否かに関わらず、手ぶれ補正撮影モードにおいて逐次行われており、ステップS45又はS46にて得られた全体動きベクトルMは、順次、全体動きベクトルの履歴データMnに格納されていく。尚、シャッタボタンの1回の押下に対して、複数の分割露光画像と複数の全体動きベクトルMが得られるが、後述のパン・チルト判定処理の便宜上、履歴データMnに追加されるのは、その複数の全体動きベクトルMの内の1つだけとする(但し、その複数の動きベクトルMの全てを履歴データMnに追加することも可能である)。
ステップS47に続くステップS48では、パン・チルト判定部171(図47参照)が、履歴データMnに基づいてデジタルカメラ1がパン・チルト状態にあるかを判定する。「パン・チルト状態」とは、デジタルカメラ1がパン又はチルトしている状態、を意味する。パン(パンニング)とは、デジタルカメラ1の筐体を左右方向(即ち、ヨー方向)に振ることを意味し、チルト(チルティング)とは、デジタルカメラ1の筐体を上下方向(即ち、ピッチ方向)に振ることを意味する。デジタルカメラ1がパン又はチルトしている状態にあるかを判定する手法としては、例えば、特開2006−74693号公報に記載の手法又は本出願人が提案する特願2006−91285号に記載の手法を用いればよい。
例えば、次の第1条件又は第2条件を満たした場合に、「手ぶれ状態」から「パン・チルト状態」へ遷移したと判断する(「手ぶれ状態」は、「パン・チルト状態」に含まれない)。
第1条件は、「全体動きベクトルMが垂直方向(上下方向)又は水平方向(左右方向)の同一方向に連続している回数が所定回数以上である」という条件である。
第2条件は、「上記同一方向に連続している全体動きベクトルMの大きさの積分値がデジタルカメラ1の画角の一定割合以上である」という条件である。
そして例えば、次の第3条件又は第4条件を満たした場合に、「パン・チルト状態」から「手ぶれ状態」へ遷移したと判断する。
第3条件は、「全体動きベクトルの大きさが0.5画素以下である状態が連続して所定回数(例えば10回)以上継続した」という条件である
第4条件は、「「手ぶれ状態」から「パン・チルト状態」へ遷移したときの全体動きベクトルMに対して方向が反対の全体動きベクトルMが所定回数(例えば10回)以上連続して得られた」という条件である。
第1〜第4条件の成立/不成立は、履歴データMnに含まれる今回得られた全体動きベクトルMと過去の全体動きベクトルMと、に基づいて判断される。「パン・チルト状態」にあるか否かの判定結果は、図13のマイコン20に伝達される。
ステップS48の判定処理を終えると、ステップS49に移行する。ステップS49では、全体動きベクトル有効性判定部170(図47参照)が、ステップS41〜S48の処理結果に基づいて、今回得られた全体動きベクトルMが有効であるか否かを判定する。
具体的には、「ステップS41で有効領域の数が0であると判定されてステップS46に至った場合」、或いは、「ステップS44で有効領域の領域動きベクトルMkの類似性が低いと判定されてステップS46に至った場合」、或いは、「ステップS48でパン・チルト状態にあると判定された場合」は、今回得られた全体動きベクトルMは無効とされ、そうでない場合は、今回得られた全体動きベクトルMは有効とされる。
パン又はチルト操作時には、手ぶれ量が大きく対比する画像間の偏移が小領域eのサイズに応じた動き検出範囲を超えてしまうため、正確な動きベクトルを検出することができない。このため、パン・チルト状態にあると判定された場合には全体動きベクトルMを無効とする。
上述のようにして求められた全体動きベクトルM及び該全体動きベクトルMが有効であるか或いは無効であるかを特定する情報は、図13の座標変換回路33に与えられる。
手ぶれ補正撮影モードにおいてシャッタボタンが押下げられた際においては、図43及び図44の処理を繰り返すことにより、各分割露光画像について全体動きベクトルMが検出されると共に各全体動きベクトルMの有効/無効が評価され、その有効/無効の評価に従って各分割露光画像が加算合成される。
この際、全体動きベクトルMの信頼度に基づく比率(画素混合比)にて各分割露光画像の加算合成が行われる。全体動きベクトルMの信頼度は、図47の信頼度算出部174によって算出される。
[信頼度(画素混合比)の算出手法]
以下、この信頼度の算出手法にて詳細に説明する。今、説明の具体化のため、露光分割数Nが4であるものとする。従って、シャッタボタンの押下に応じて、1番目、2番目、3番目、4番目の分割露光画像(以下、夫々を、「第1、第2、第3及び第4画像」と略記することがある)が得られるものとする。図48に、信頼度の算出に関与する各値を表として表す。
上述したように、本実施例では、第1画像が基準画像として取り扱われることになる。iを2、3又は4とした場合、基準画像(第1画像)と第i画像との間における、
有効領域(最大9つ)についての各採用最小相関値Vminの平均値をVmin[i]とし、
有効領域(最大9つ)についての各平均値Vaveの平均値をVave[i]とし、
有効領域(最大9つ)についての各「候補最小相関値の個数Nf」の平均値をNf[i]とし、
有効領域数(有効領域の個数)をNval[i]とする。
例えば、第1画像と第2画像との間に関し、図43のステップS25及びS26にて検出領域E2とE7のみが有効と判断された場合、
第2画像に関するVmin[2]は、検出領域E2についての採用最小相関値Vminと検出領域E7についての採用最小相関値Vminとの平均値であり、
第2画像に関するVave[2]は、検出領域E2についての累積相関値の平均値Vaveと検出領域E7についての累積相関値の平均値Vaveとの平均値であり、
第2画像に関するNf[2]は、検出領域E2についての候補最小相関値の個数Nfと検出領域E7についての候補最小相関値の個数Nfとの平均値であり、
第2画像に関するNval[2]は、有効と判断された検出領域E2とE7の個数、即ち、2である。
第1画像は基準画像であるため、第2画像等のように、Vmin[i]等を定義することができない。そのため、第1画像に関する各値Vmin[1]、Vave[1]、Nf[1]及びNval[1]を、図48に示すように定義する。即ち、Vmin[2]とVmin[3]とVmin[4]の最小値をVmin[1]とし、Vave[2]とVave[3]とVave[4]の最大値をVave[1]とし、Nf[2]とNf[3]とNf[4]の最小値をNf[1]とし、Nval[2]とNval[3]とNval[4]の最大値をNval[1]とする。
信頼度算出部174は、上述のように定義される各値を算出することによって、各画像の全体動きベクトルMの信頼度を算出する。第i画像の全体動きベクトルMの信頼度をB[i]にて表す。0≦B[i]≦1、が成立するように各信頼度は算出される。第1画像は基準画像であるため、第1画像に対する第1画像の全体動きベクトルMは存在しないが(無意味であるが)、上述の如く定義されたVmin[1]等を参照して、第1画像に関する信頼度B[1]も算出される(算出式は後述)。
後述の説明から明らかとなるが、信頼度B[i]は、第1〜第4画像を合成して合成画像(1枚の静止画像)を生成する際における第i画像の画素混合比として利用され、信頼度B[i]が大きくなるほど、合成画像に対する第i画像の画素値の寄与率は大きくなる。従って、信頼度B[i]は、「第1〜第4画像を合成して合成画像を生成する際における第i画像の画素混合比(画像加算比率)」、或いは、「合成画像に対する第i画像の画素値の寄与率」と言い換えることもできる。
信頼度B[i]は、
累積相関値の最小値又は該最小値に近い累積相関値に依存するVmin[i]、に基づく評価値BVmin[i]と、
累積相関値の平均値に依存するVave[i]、に基づく評価値BVave[i]と、
累積相関値の最小値の個数又は該最小値に近い累積相関値の個数に依存するNf[i]、に基づく評価値BNf[i]と、
有効領域数に依存するNval[i]、に基づく評価値BNval[i]と、に基づいて算出される。
具体的には、各評価値に重み付け係数をかけて加算することにより、信頼度B[i]を算出する。つまり、下記式(1−2)に従って信頼度B[i]を算出する。式(1−2)及び後述する各式において、iは1〜4の間の各整数をとる。信頼度B[i]は、第1〜第4画像を合成して合成画像を生成する際における第i画像の画素混合比として利用されるため、各評価値が大きくなるにつれて、合成画像に対する第i画像の画素値の寄与率は増大する。
ここで、WVmin、WVave、WNf、WNvalは、重み付け係数である。各重み付け係数は、実験を介して適切な値(0以上1以下の値)に設定される。各重み付け係数の合計は、下記式(1−3)に示す如く、1とされる。本実施例では、例えば、WVmin、WVave、WNf、WNvalを、夫々、0.4、0.2、0.1、0.3、とした。
各評価値の算出法について説明する。第1に、評価値BVmin[i]の算出法について説明する。第i画像と基準画像の類似度が高いほど、第i画像について算出された全体動きベクトルMの信頼性は高い(動きベクトルを正確に検出できている可能性が高い)。一方において、基準画像に対して、第i画像の類似度が高いとVmin[i]は小さくなる。そこで、基準画像との類似度の指標となるVmin[i]から評価値BVmin[i]を算出する。具体的には、下記式(1−4)に従って評価値BVmin[i]を算出する。これにより、基準画像との類似度が高いことに起因してVmin[i]が小さい画像ほど大きな評価値BVmin[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
第2に、評価値BVave[i]の算出法について説明する。画像のエッジ(又はコントラスト)が鮮明なほど、手ぶれ、被写体ぶれ、ピントのずれ等に由来する画像中のぼけが少なく、全体動きベクトルMを正確に検出できる可能性が高い。一方において、第i画像のエッジ強度が大きいとVave[i]は大きくなる。そこで、画像のエッジ強度の指標となるVave[i]から評価値BVave[i]を算出する。具体的には、下記式(1−5)に従って評価値BVave[i]を算出する。これにより、画像のエッジ強度が強いことに起因してVave[i]が大きい画像ほど大きな評価値BVave[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
第3に、評価値BNf[i]の算出法について説明する。対比する画像間に存在する類似模様が少ないほど、全体動きベクトルMの信頼性は高い(動きベクトルを正確に検出できている可能性が高い)。一方において、類似模様が増加するとNf[i]は増加する傾向にある。そこで、類似模様の存在の指標となるNf[i]から評価値BNf[i]を算出する。具体的には、下記式(1−6)に従って評価値BNf[i]を算出する。これにより、類似模様が少ないことに起因してNf[i]が小さい画像ほど大きな評価値BNf[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
第4に、評価値BNval[i]の算出法について説明する。有効領域(有効な検出領域)の数が多いほど、全体動きベクトルMを正確に検出できる可能性が高い。そこで、有効領域数を表すNval[i]から評価値BNval[i]を算出する。具体的には、下記式(1−7)に従って評価値BNval[i]を算出する。これにより、有効領域数が多いことに起因してNval[i]が大きい画像ほど大きな評価値BNval[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
上記式(1−2)に従い、各評価値に基づいて算出された信頼度B[i]は、図13の画像加算回路34に与えられ、合成画像を合成する際における第i画像の画素混合比(画像加算比率)として利用される。
[画像合成処理について]
次に、手ぶれ補正撮影モードにてシャッタボタンを押下した場合における、図13の画像合成回路36の動作について説明する。
座標変換回路33は、動き検回路32にて算出された各全体動きベクトルMに基づいて、各分割露光画像の位置合わせを行う。この際、図44のステップS49にて無効と判断された全体動きベクトルMはゼロとされる(大きさがゼロのベクトルとされる)。
具体的には、座標変換回路33は、各全体動きベクトルMに基づいて、基準画像である第1画像における画像座標(x1,y1)から第i画像における画像座標(xi,yi)への座標変換式(1−8a)の変換行列Hiを求める。変換行列Hiは、下記式(1−8b)にて表される。
図49に、変換行列Hiを用いた座標変換の様子を示す。第1画像における画像座標(x1,y1)と第i画像における画像座標(xi,yi)との偏移は、第1画像に対する第i画像の全体動きベクトルMによって表される(i=2、3、4)。第1画像についての変換行列H1に関しては、当然、a1=e1=1且つb1=c1=d1=f1=0、である。
図13の画像加算回路34は、第1〜第4画像を合成した合成画像を画像メモリ35上に作成するべく、画像メモリ35に、基準画像である第1画像と同じ画像座標系を設定する。画像メモリ35に設定された画像座標系における画像座標を(x、y)にて表す。図50を参照する。図50は、合成画像と第i画像の画素値の対応関係を示している。合成画像における画像座標(x、y)の画素値をP(x,y)にて表す。第i画像における画像座標(xi,yi)の画素値をPi(xi,yi)にて表す。
画像加算回路34は、上記式(1−8a)及び(1−8b)を用いて、合成画像の画素ごとに、各分割露光画像(第1〜第4画像の夫々)における対応画素の画像座標を算出する。合成画像の或る画素に関し、その画素の画像座標を(x,y)(=(x1,y1))で表した場合、第i画像の対応画素の画像座標(xi,yi)は、上記式(1−8a)及び(1−8b)にて表される。続いて、画像加算回路34は、合成画像の画素(該画素の画像座標は(x,y))ごとに、第i画像の対応画素の画素値Pi(xi,yi)を取得する。この際、必要に応じて第i画像の画素値の補間処理を行う(勿論、第1画像に関して補間処理は不要である)。
そして、画像加算回路34は、画素混合比として利用される信頼度B[i]に従って、第1〜第4画像の各画素の画素値Pi(xi,yi)を重み付け加算することにより、合成画像の各画素の画素値P(x,y)を算出する。画素値P(x,y)の算出式は、下記式(1−9)にて表される。
上述のように、本実施例では、全体動きベクトルMの信頼度B[i]に従った画素混合比にて第1〜第4画像を合成する。本実施例のように加算式手ぶれ補正を実施する場合、通常、各分割露光画像の露光時間は手ぶれが無視できる程度に短く設定されるため、各分割露光画像の類似度は非常に高くなる。従って、ぶれの大きい分割露光画像は例外的に取得されるものと言え、その分割露光画像と他の分割露光画像との類似度は比較的低くなる傾向がある。
この特性を鑑みて、他の分割露光画像との類似度或いは画像のぶれ量などを反映した上記各評価値に基づいて、各分割露光画像の画素混合比(信頼度B[i])を算出し、類似度が低い或いは画像のぶれ量が多い分割露光画像を合成画像に反映させる度合いを低下させる。これにより、N個の分割露光画像の中に、例外的に、手ぶれを主要因とするぶれの大きい画像や被写体の動きが大きい画像があっても、それに起因する合成画像の画質劣化(主として、画像のぶれ)が抑制され、ぶれの少ない(即ち、手ぶれ補正効果の高い)静止画像を取得することが可能となる。
また、上述の如く、4つの評価値(BVmin[i]、BVave[i]、BNf[i]、BNval[i])は、全て、動き検出の正確性の指標となる。そして、画像合成回路36は、動き検出の正確性が高いと考えられるものほど画素混合比を増加させ、動き検出の正確性が低いと考えられるものほど画素混合比を低下させる。このため、動き検出の正確性が低いことに由来する合成画像の画質劣化が抑制され、ぶれの少ない(即ち、手ぶれ補正効果の高い)静止画像を取得することが可能となる。
また、本実施例では、領域動きベクトルMKを算出するに当たり、最小の累積相関値と最小の累積相関値に近い累積相関値を、候補最小相関値として特定する。そして、2以上の候補最小相関値が特定された場合、近傍累積相関値を参照して、その2以上の候補最小相関値の中から採用最小相関値Vminを選択するようにしている。このような処理を用いることの意義について説明する。説明の簡略化上、最小の累積相関値に近い累積相関値を無視し、最小の累積相関値が複数ある場合を例にとる。
代表点マッチング法を用いて画像間の動き検出を行う場合、累積相関値の最小値が複数のサンプリング点Sにて検出される場合があり、それの要因の1つとして、ノイズの影響が考えられる。ノイズの影響は、特に、輝度が比較的低い分割露光画像に対して大きくなる。累積相関値の最小値が複数検出された場合、従来は、通常、真のマッチング位置を検出不能と判断して動き検出を無効にしていた。
第1画像と第2画像との間の或る検出領域に関して累積相関値の最小値が複数検出された場合の、累積相関値の分布を図51に示す。図51において、横軸は第1画像と第2画像との間の偏移(相対的な位置のずれ)を表し、縦軸は累積相関値を表す。説明及び図示の簡略化上、図51は、1次元に並んだ(例えば、水平方向に1次元配列された)画素にのみ着目している。今、候補最小相関値VAが真のマッチング位置に対応し、候補最小相関値VBはノイズに由来して候補最小相関値となったものとする。
ノイズは、通常、極めて狭い画像領域にスパイク状に発生し、その輝度勾配は急峻である。従って、ノイズの影響による偽のマッチング位置に対応する累積相関値(VB)の近傍累積相関値は、その累積相関値(VB)を中心として急激に大きくなる。このため、候補最小相関値ごとに、候補最小相関値と近傍累積相関値の平均値を算出した場合、ノイズに対応する平均値は真のマッチング位置に対応する平均値よりも大きくなるという傾向がある。
図43のステップS17等は、この特性を考慮して実施されるものであり、これにより、従来のように動き検出を無効とすることなく、真のマッチング位置を検出することが可能となる。従って、S/N比が低い画像でも高精度に画像間の動き検出が可能となり、暗い場面でも手ぶれ補正を有効に機能させることが可能となる。また、本実施例の如く加算式手ぶれ補正(加算式静止画手ぶれ補正)を行う場合にあっては、動き検出の精度が確保される露光分割数を増加させることができるようになるため、加算合成された静止画像における手ぶれ量を低減することが可能である。
また、画像の平均輝度が十分に大きく且つノイズの影響も軽微である場合、通常、最小の累積相関値は1つのサンプリング点S(1つの画素)にて得られ、その場合は、近傍累積相関値を参照する必要はない。逆に、そのような場合に近傍累積相関値を過度に考慮すると、真のマッチング位置の検出の正確性が損なわれる(動き検出の精度が劣化する)惧れがある。このような事情を考慮し、本実施例では、図45及び図46を参照して説明したように、真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにしている。これにより、近傍累積相関値を参照したことに由来する動き検出の精度の劣化が抑制される。
<<変形等>>
或る実施例に記載した事項は、矛盾なき限り、他の実施例に適用することもできる。この適用の際、同一名称の部位間の符号の相違(マイコンに関する20と20aの相違など)は適宜無視される。また、上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈4を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
デジタルカメラ1のぶれを検出するための手ぶれ検出センサとして角速度センサを利用する場合を例示したが、手ぶれ検出センサとして他のセンサを用いるようにしてもよい。例えば、デジタルカメラ1の加速度を検出する加速度センサを手ぶれ部26に設けて、該加速度センサの検出結果から上述の手ぶれ検出信号を生成するようにしてもよい。
[注釈2]
画像マッチング法の1つである代表点マッチング法を用いて分割露光画像間の動き検出を実行する(動きベクトルを検出する)例を上述したが、その動き検出を、画像マッチング法に分類される他の手法を用いて実現することも可能である。例えば、代表点マッチング法の代わりに全画素マッチング法(ブロックマッチング法)を用いることも可能である。
[注釈3]
デジタルカメラ1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に手ぶれ補正を実現するための処理内容は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いてデジタルカメラ1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアにて実現可能な機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
[注釈4]
図13において、ぶれ補正装置は、マイコン20、撮影制御回路(露光制御手段)21及び加算式手ぶれ補正回路30を含み、且つ、最前接点検出部23及び/又は押下速度検出部24を含む。但し、第12実施例で述べたシャッタボタンSB2を利用する場合、最前接点検出部23及び/又は押下速度検出部24は、圧力監視部120に置き換えられる(図32参照)。
図20において、ぶれ補正装置は、マイコン20a及び駆動部25を含み、且つ、最前接点検出部23及び/又は押下速度検出部24を含む。但し、第12実施例で述べたシャッタボタンSB2を利用する場合、最前接点検出部23及び/又は押下速度検出部24は、圧力監視部120に置き換えられる(図32参照)。このぶれ補正装置は、更にセンサ部26を含みうる。
図24において、ぶれ補正装置は、マイコン20b、駆動部25及び画像復元部(復元式ぶれ補正手段)70を含み、且つ、最前接点検出部23及び/又は押下速度検出部24を含む。但し、第12実施例で述べたシャッタボタンSB2を利用する場合、最前接点検出部23及び/又は押下速度検出部24は、圧力監視部120に置き換えられる(図32参照)。このぶれ補正装置は、更にセンサ部26を含みうる。また、図24(又は図20)において、マイコン20b(又は20a)と駆動部25とによって光学式ぶれ補正手段が形成される。
図26において、ぶれ補正装置は、マイコン20c、撮影制御回路(露光制御手段)21、駆動部25及び加算式手ぶれ補正回路30を含み、且つ、最前接点検出部23及び/又は押下速度検出部24を含む。但し、第12実施例で述べたシャッタボタンSB2を利用する場合、最前接点検出部23及び/又は押下速度検出部24は、圧力監視部120に置き換えられる(図32参照)。このぶれ補正装置は、更にセンサ部26を含みうる。
各実施例において、シャッタボタンSB1に対する操作力の付与の特性を検出する操作力特性検出手段は、最前作動検出手段としての最前接点検出部23及び/又は速度検出手段としての押下速度検出部24を含む。但し、第12実施例で述べたシャッタボタンSB2を利用する場合、操作力特性検出手段は、最前作動検出手段としての最前オン素子検出部123、速度検出手段としての押下速度検出部124及び/又は圧力値検出手段としての加圧力検出部125を含む。
また、図20等の駆動部25によって駆動される補正レンズLC(図13参照)又はバリアングルプリズム(不図示)は、光学式手ぶれ補正を実現するための補正用光学部材として機能する。
本発明の実施形態に係るデジタルカメラの外観図(a)と、該デジタルカメラの使用状況例を示す図(b)である。 図1のシャッタボタンに適用される多段スイッチの機能を説明するためのイメージ図である。 図1のシャッタボタンに適用される多接点スイッチの機能を説明するためのイメージ図である。 図1のシャッタボタンに対する操作のイメージ図である。 図1のシャッタボタンとして利用可能なシャッタボタンの概略平面図である。 図5(b)の受力部が傾きながら下方向に押し下げられた時の、シャッタボタンの概略平面図である。 図1のシャッタボタンとして利用可能な他のシャッタボタンの概略平面図である。 図1のデジタルカメラの電気的構成を示す一部ブロック図である。 図1のシャッタボタンに対する操作力の加え方と、想定される手ぶれ方向及び手ぶれ量と、の関係を表す図である。 図1のシャッタボタンに対する操作力の加え方と、推定手ぶれ方向及び推定手ぶれ量と、の関係を表す図である。 本発明に係る各実施例の概要を列記した表である。 本発明の第1実施例に係り、各推定手ぶれ量に対応する加算式手ぶれ補正の処理内容を示す図である。 本発明の第1実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。 加算式手ぶれ補正に係り、分割露光画像内で定義される複数の動きベクトル検出領域と複数の小領域を示す図である。 図14に示される1つの小領域内の画素配置を示す図である。 図1のデジタルカメラがロール方向にぶれた時に検出される領域動きベクトルを示す図である。 図1のデジタルカメラがヨー方向にぶれた時における、基準画像と非基準画像を表す図である。 本発明の第4実施例に係り、推定手ぶれ方向に応じて基準画像の動きベクトル検出領域が水平方向のシフトされる様子を示す図である。 図18のシフトに対応する、基準画像と非基準画像間の小領域(検出ブロック)の配置位置ずれを表す図である。 本発明の第5実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。 図20のセンサ部の内部ブロック図である。 図21に示される2つのセンサユニットの内の1つのセンサユニットの内部ブロック図である。 図20の光学系の内部構成図である。 本発明の第6実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。 本発明の第6実施例に係り、画像上の手ぶれ軌跡とPSF(Point Spread Function)との関係を示す図である。 本発明の第7実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。 本発明の第7実施例に係り、光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正を説明するための図である。 図1のシャッタボタンに適用される感圧スイッチの内部構造図(a)と、その感圧スイッチに設けられる感圧シートの平面図(b)である。 図28の感圧スイッチにおける受力部を押し込んだ時における受力部の移動距離と受力部に加わる力との関係、及び、その移動距離と感圧素子の抵抗値との関係を示すグラフである。 図28の感圧素子に対する加圧力と該感圧素子の抵抗値を表す信号値との関係を示す図である。 図1のシャッタボタンとして利用可能なシャッタボタンの内部ブロック図である。 本発明の第12実施例に係るデジタルカメラの電気的構成を示す一部ブロック図である。 図32の各部位の機能を説明するための図である。 図31のシャッタボタンに対する操作力の加え方と、想定される手ぶれ方向及び手ぶれ量と、の関係を表す図である。 図31のシャッタボタンに対する操作力の加え方と、推定手ぶれ方向及び推定手ぶれ量と、の関係を表す図である。 図31のシャッタボタンに対する操作力の加え方と、推定手ぶれ方向及び推定手ぶれ量と、の関係を表す図である。 本発明の第14実施例に係り、分割露光画像の露光タイミングを示す図である。 本発明の第16実施例に係る動き検出回路の内部ブロック図である。 図38の代表点マッチング回路の内部ブロック図である。 図14に示す各小領域における、代表点と最小の累積相関値に対応するサンプリング点の画素位置を表す図である。 最小の累積相関値に対応する画素とその近傍画素の各画素位置を表す図である。 図39の演算回路の出力データを表としてまとめた図である。 図38の動き検出回路の動作手順を表すフローチャートである。 図38の動き検出回路の動作手順を表すフローチャートである。 図43のステップS17における採用最小相関値の選択処理に参照される累積相関値のパターンを表す図である。 図43のステップS17における採用最小相関値の選択処理を詳細に表したフローチャートである。 図38の動き検出回路の詳細内部ブロック図である。 図47の信頼度算出部における信頼度の算出に関与する各値を、表として表した図である。 図13の座標変換回路における座標変換処理の様子を表す図である。 図13の画像加算回路における加算合成処理の様子を表す図である。 図43のステップS17等の処理の意義を説明するための図である。
符号の説明
1 デジタルカメラ
11、11a 光学系
12 撮像素子
20、20a、20b、20c マイコン
21 撮影制御回路
23 最前接点検出部
24 押下速度検出部
25 駆動部
26 センサ部
30 加算式手ぶれ補正回路
32 動き検出回路
36 画像合成回路
70 画像復元部
120 圧力監視部
123 最前オン素子検出部
124 押下速度検出部
125 加圧力検出部
500 感圧スイッチ
501 感圧シート
502 受力部
503 回路部
PS1〜PS5 感圧素子
LC 補正レンズ
SB1 シャッタボタン

Claims (21)

  1. 操作力の付与による静止画像の撮影指示操作を受け付けるシャッタボタンを備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実施してぶれ補正画像を生成するぶれ補正装置を備え、
    前記ぶれ補正装置は、
    前記シャッタボタンに対する前記操作力の付与の特性を検出する操作力特性検出手段と、
    前記ぶれ補正を実現するための処理を制御するぶれ補正制御手段と、を備え、
    前記ぶれ補正制御手段は、前記操作力特性検出手段の検出結果に応じて前記処理を変更する
    ことを特徴とする撮像装置。
  2. 前記シャッタボタンは前記静止画像の露光開始を指示するための複数の接点を含んで構成され、前記シャッタボタンに対する前記操作力の付与により前記複数の接点の内の何れか1つが最初に作動し、
    前記操作力特性検出手段は、前記複数の接点の内、最初に作動した接点を検出する最前作動検出手段を備えて、その検出結果から前記操作力の付与の特性を特定し、
    前記ぶれ補正制御手段は、最初に作動した接点が何れの接点であるかに応じて前記処理を変更する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記シャッタボタンは前記操作力の付与によって所定方向に移動可能な移動体を含んで構成され、
    前記移動体が移動することによって前記静止画像の撮影指示がなされ、
    前記操作力特性検出手段は、前記操作力の付与による前記移動体の移動速度を検出する速度検出手段を備えて、検出した前記移動速度に基づいて前記操作力の付与の特性を特定し、
    前記ぶれ補正制御手段は、検出された前記移動速度に応じて前記処理を変更する
    ことを特徴とする請求項1または請求項2に記載の撮像装置。
  4. 前記シャッタボタンは、前記操作力が加わる感圧ユニットを備え、
    前記感圧ユニットは、前記操作力によって自身に加わる圧力に応じた信号を出力し、
    前記操作力特性検出手段は、前記感圧ユニットの出力信号に基づいて前記操作力の付与の特性を検出する
    ことを特徴とする請求項1に記載の撮像装置。
  5. 前記感圧ユニットは、前記静止画像の露光開始を指示するための複数の感圧素子部を含んで構成され、
    前記複数の感圧素子部の夫々は自身に加わる圧力に応じた信号を出力し、
    前記シャッタボタンに対する前記操作力の付与により前記複数の感圧素子部の出力信号の内の何れか1つが最初に所定の作動レベルに達し、
    前記操作力特性検出手段は、前記複数の感圧素子部の内、最初に出力信号が作動レベルに達した感圧素子部を検出する最前作動検出手段を備えて、その検出結果から前記操作力の付与の特性を特定し、
    前記ぶれ補正制御手段は、最初に出力信号が作動レベルに達した感圧素子部が何れの感圧素子部であるかに応じて前記処理を変更する
    ことを特徴とする請求項4に記載の撮像装置。
  6. 前記操作力特性検出手段は、前記感圧ユニットの出力信号に基づいて前記圧力の変化速度を検出する速度検出手段を備えて、検出した前記変化速度に基づいて前記操作力の付与の特性を特定し、
    前記ぶれ補正制御手段は、検出された前記変化速度に応じて前記処理を変更する
    ことを特徴とする請求項4に記載の撮像装置。
  7. 前記操作力特性検出手段は、前記感圧ユニットの出力信号に基づいて前記圧力の大きさを検出する圧力値検出手段を備えて、検出した前記圧力の大きさに基づいて前記操作力の付与の特性を特定し、
    前記ぶれ補正制御手段は、検出された前記圧力の大きさに応じて前記処理を変更する
    ことを特徴とする請求項4に記載の撮像装置。
  8. 前記ぶれ補正装置は、
    前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
    各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の並進方向の動き検出を行う並進方向動き検出手段と、
    各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の回転方向の動き検出を行う回転方向動き検出手段と、
    前記並進方向及び前記回転方向の動き検出結果に基づいて、又は、前記並進方向の動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
    前記ぶれ補正制御手段による変更の対象は、前記位置合わせに用いる動き検出結果であり、
    前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、
    前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、
    前記第1の処理を実行する場合、前記並進方向及び前記回転方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とし、
    前記第2の処理を実行する場合、前記回転方向動き検出手段に依存しない、前記並進方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とする
    ことを特徴とする請求項1〜請求項7の何れかに記載の撮像装置。
  9. 前記ぶれ補正装置は、
    前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の1つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段と、
    前記撮像素子の出力信号に基づく撮影画像に含まれるぶれに応じた復元フィルタを生成し、該復元フィルタを用いて前記撮影画像に対して前記ぶれ補正の1つとしての復元式ぶれ補正を施す復元式ぶれ補正手段と、を備え、
    前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、
    前記第1の処理を実行する場合、前記光学式ぶれ補正と前記復元式ぶれ補正の双方を実行可能とし、
    前記第2の処理を実行する場合、前記光学式ぶれ補正と前記復元式ぶれ補正の何れか一方を実行する
    ことを特徴とする請求項1〜請求項7の何れかに記載の撮像装置。
  10. 前記ぶれ補正装置は、
    前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
    前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
    各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
    前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、
    前記第1の処理を実行する場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、
    前記第2の処理を実行する場合、前記駆動手段を用いつつ前記撮像手段に1枚の画像を撮影させることにより前記ぶれ補正を実現して該1枚の画像を前記ぶれ補正画像とする
    ことを特徴とする請求項1〜請求項7の何れかに記載の撮像装置。
  11. 前記ぶれ補正装置は、
    前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
    前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
    各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
    前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、
    前記第1の処理を実行する場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、
    前記第2の処理を実行する場合、前記駆動手段による前記補正用光学部材又は前記撮像素子の駆動を停止した状態で前記複数の分割露光画像を順次撮影させて前記合成画像を生成し、この合成画像を前記ぶれ補正画像とする
    ことを特徴とする請求項1〜請求項7の何れかに記載の撮像装置。
  12. 前記ぶれ補正装置は、
    前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
    前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
    各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、
    前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、
    前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、
    前記第1の処理を実行する場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像を前記動き検出手段の動き検出結果に基づいて位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、
    前記第2の処理を実行する場合、前記駆動手段を用いつつ前記撮像手段に1枚の画像を撮影させることにより前記ぶれ補正を実現して該1枚の画像を前記ぶれ補正画像とする
    ことを特徴とする請求項1〜請求項7の何れかに記載の撮像装置。
  13. 前記ぶれ補正装置は、
    前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
    前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
    各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、
    前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、
    前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記ぶれ補正を実現するための前記処理として第1の処理又は第2の処理を前記操作力特性検出手段の検出結果に応じて選択的に実行し、
    前記第1の処理を実行する場合、前記動き検出手段の動き検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、
    前記第2の処理を実行する場合、前記駆動手段を用いつつ前記撮像手段に1枚の画像を撮影させることにより前記ぶれ補正を実現して該1枚の画像を前記ぶれ補正画像とする
    ことを特徴とする請求項1〜請求項7の何れかに記載の撮像装置。
  14. 前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の1つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段を備え、
    前記操作力特性検出手段は、前記操作力の付与の特性を、第1の区分と第2の区分を含む複数の区分に分類して検出し、
    前記ぶれ補正装置は、前記第1及び第2の区分の内、前記第2の区分に分類される前記操作力にて前記撮影指示操作がなされた場合にのみ、前記光学式ぶれ補正手段に依存したぶれ補正を行い、前記撮像装置に対する駆動電力の投入後の所定期間内において、前記第2の区分に分類される前記操作力による撮影指示を禁止する
    ことを特徴とする請求項1〜請求項7の何れかに記載の撮像装置。
  15. 前記ぶれ補正制御手段による変更の対象は、前記静止画像に含まれうるぶれの低減度合いである
    ことを特徴とする請求項1〜請求項7の何れかに記載の撮像装置。
  16. 前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段を備えて、前記静止画像の露光期間中に前記駆動手段を用いることによって前記ぶれ補正を実現するように構成され、
    前記ぶれ補正制御手段は、前記ぶれ検出センサの検出結果に基づく前記撮像装置のぶれの量と前記駆動手段による補正用光学部材又は撮像素子の駆動量との比を、前記操作力特性検出手段の検出結果に応じて変更し、この変更によって前記低減度合いを変更する
    ことを特徴とする請求項15に記載の撮像装置。
  17. 前記ぶれ補正装置は、
    前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
    各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより、前記ぶれ補正画像としての合成画像を生成する合成画像生成手段と、を備え、
    前記ぶれ補正制御手段は、所定の基準速度よりも大きな移動速度が前記速度検出手段によって検出される場合と、検出されない場合との間で、前記分割露光画像の露光時間を異ならせることにより前記処理を変更する
    ことを特徴とする請求項3に記載の撮像装置。
  18. 前記ぶれ補正装置は、
    前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
    各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより、前記ぶれ補正画像としての合成画像を生成する合成画像生成手段と、を備え、
    前記ぶれ補正制御手段は、所定の基準速度よりも大きな変化速度が前記速度検出手段によって検出される場合と、検出されない場合との間で、前記分割露光画像の露光時間を異ならせることにより前記処理を変更する
    ことを特徴とする請求項6に記載の撮像装置。
  19. 前記ぶれ補正装置は、
    前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
    各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより、前記ぶれ補正画像としての合成画像を生成する合成画像生成手段と、を備え、
    前記ぶれ補正制御手段は、所定の基準圧力よりも大きな圧力が前記圧力値検出手段によって検出される場合と、検出されない場合との間で、前記分割露光画像の露光時間を異ならせることにより前記処理を変更する
    ことを特徴とする請求項7に記載の撮像装置。
  20. 操作力の付与による静止画像の撮影指示操作を受け付けるシャッタボタンを備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実行可能なぶれ補正装置を備え、
    前記ぶれ補正装置は、
    前記シャッタボタンに対する前記操作力の付与の特性を検出する操作力特性検出手段と、
    前記操作力特性検出手段の検出結果に基づいて前記ぶれ補正の実行可否を決定するぶれ補正制御手段と、を備えた
    ことを特徴とする撮像装置。
  21. 操作力の付与による静止画像の撮影指示操作を受け付けるシャッタボタンを備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実行可能なぶれ補正装置を備え、
    前記ぶれ補正装置は、
    前記シャッタボタンに対する前記操作力の付与の特性を検出する操作力特性検出手段と、
    被写体の明るさに基づいて求められる前記静止画像の適正露光時間を基準として実際の前記静止画像の露光時間を短縮するか否かを、前記操作力特性検出手段の検出結果に基づいて決定するぶれ補正制御手段と、を備え、前記短縮を行うと決定した場合に前記短縮によって前記ぶれ補正を実現する
    ことを特徴とする撮像装置。
JP2008075095A 2007-03-26 2008-03-24 撮像装置 Pending JP2008271529A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008075095A JP2008271529A (ja) 2007-03-26 2008-03-24 撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007079451 2007-03-26
JP2008075095A JP2008271529A (ja) 2007-03-26 2008-03-24 撮像装置

Publications (1)

Publication Number Publication Date
JP2008271529A true JP2008271529A (ja) 2008-11-06

Family

ID=40050385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008075095A Pending JP2008271529A (ja) 2007-03-26 2008-03-24 撮像装置

Country Status (1)

Country Link
JP (1) JP2008271529A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010098228A3 (ja) * 2009-02-27 2010-10-21 ソニー株式会社 撮像装置と撮像方法
JP2011221148A (ja) * 2010-04-06 2011-11-04 Hoya Corp カメラ
US8599283B2 (en) 2009-11-11 2013-12-03 Casio Computer Co., Ltd. Image capture apparatus and image capturing method
US8723918B2 (en) 2009-12-15 2014-05-13 Sony Corporation Image capturing apparatus and image capturing method
JP2017069706A (ja) * 2015-09-29 2017-04-06 オリンパス株式会社 撮像装置、及び撮像装置の制御方法
JP2017092749A (ja) * 2015-11-12 2017-05-25 キヤノン株式会社 撮像装置、ブレ補正方法、プログラム、および、記憶媒体
KR20180105215A (ko) * 2016-01-25 2018-09-27 지티이 코포레이션 카메라 촬영 제어 방법 및 장치
WO2019176177A1 (ja) * 2018-03-16 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2020171015A1 (ja) * 2019-02-20 2021-12-09 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183952A (ja) * 1997-12-24 1999-07-09 Canon Inc 防振機能付きカメラ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11183952A (ja) * 1997-12-24 1999-07-09 Canon Inc 防振機能付きカメラ

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9942476B2 (en) 2009-02-27 2018-04-10 Sony Corporation Image capturing apparatus and image capturing method
EP2403232A2 (en) * 2009-02-27 2012-01-04 Sony Corporation Imaging device and imaging method
CN102326381A (zh) * 2009-02-27 2012-01-18 索尼公司 成像装置和成像方法
EP2403232A4 (en) * 2009-02-27 2012-12-19 Sony Corp IMAGING DEVICE AND METHOD
WO2010098228A3 (ja) * 2009-02-27 2010-10-21 ソニー株式会社 撮像装置と撮像方法
US8599283B2 (en) 2009-11-11 2013-12-03 Casio Computer Co., Ltd. Image capture apparatus and image capturing method
US8872937B2 (en) 2009-11-11 2014-10-28 Casio Computer Co., Ltd. Image capture apparatus and image capturing method
US8723918B2 (en) 2009-12-15 2014-05-13 Sony Corporation Image capturing apparatus and image capturing method
US8917313B2 (en) 2009-12-15 2014-12-23 Sony Corporation Image capturing apparatus and image capturing method
JP2011221148A (ja) * 2010-04-06 2011-11-04 Hoya Corp カメラ
JP2017069706A (ja) * 2015-09-29 2017-04-06 オリンパス株式会社 撮像装置、及び撮像装置の制御方法
CN107018308A (zh) * 2015-09-29 2017-08-04 奥林巴斯株式会社 摄像装置和摄像装置的控制方法
JP2017092749A (ja) * 2015-11-12 2017-05-25 キヤノン株式会社 撮像装置、ブレ補正方法、プログラム、および、記憶媒体
KR20180105215A (ko) * 2016-01-25 2018-09-27 지티이 코포레이션 카메라 촬영 제어 방법 및 장치
KR102120196B1 (ko) * 2016-01-25 2020-06-09 지티이 코포레이션 카메라 촬영 제어 방법 및 장치
US10750089B2 (en) 2016-01-25 2020-08-18 Zte Corporation Method and apparatus for controlling photographing of camera
WO2019176177A1 (ja) * 2018-03-16 2019-09-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2019176177A1 (ja) * 2018-03-16 2021-01-07 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3739866A4 (en) * 2018-03-16 2021-03-03 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP6996616B2 (ja) 2018-03-16 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11379961B2 (en) 2018-03-16 2022-07-05 Sony Corporation Information processing apparatus, information processing method, and program
JPWO2020171015A1 (ja) * 2019-02-20 2021-12-09 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム
JP7152588B2 (ja) 2019-02-20 2022-10-12 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム

Similar Documents

Publication Publication Date Title
JP2008271529A (ja) 撮像装置
US7853134B2 (en) Imaging device with image blurring reduction function
JP4806329B2 (ja) 撮像装置及び撮像方法
JP4980982B2 (ja) 撮像装置、撮像方法、合焦制御方法及びプログラム
JP4896852B2 (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
JP4872797B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2008236289A (ja) 撮像装置
JP5623256B2 (ja) 撮像装置、その制御方法及びプログラム
JP4640068B2 (ja) 撮像方法および撮像装置
JP2008276017A (ja) 撮像装置および方法、並びにプログラム
JP4420906B2 (ja) 撮像装置
US7893964B2 (en) Image correction apparatus, method thereof and electronics device
JP6037224B2 (ja) 画像処理装置、撮像装置、およびプログラム
US8218028B2 (en) Imaging apparatus, image processing apparatus, and program
JP3820076B2 (ja) 自動合焦装置、デジタルカメラ、携帯情報入力装置、合焦位置検出方法、およびコンピュータが読取可能な記録媒体
JP2011205719A (ja) 撮像装置
JP2010134309A (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
JP4969349B2 (ja) 撮像装置及び撮像方法
JP5195663B2 (ja) 撮像装置、合焦方法及びプログラム
JP4612512B2 (ja) 自動合焦装置、カメラ、携帯情報入力装置、合焦位置検出方法、およびコンピュータが読取可能な記録媒体
JP2006293383A (ja) 自動合焦装置、デジタルカメラ、携帯情報入力装置、合焦位置検出方法、およびコンピュータが読取可能な記録媒体
JP4771896B2 (ja) 動き検出装置及び方法並びに撮像装置
JP2004151183A (ja) 自動合焦装置並びにこれを有するデジタルカメラ及び携帯型情報端末機器
US11956538B2 (en) Image capturing apparatus that performs blur correction and method of controlling same
JP3914367B2 (ja) 自動合焦装置、デジタルカメラ、および携帯情報入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120925