JP3754964B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置に関し、特に、画像の露光レベルを調節するために用いて好適なものである。
【０００２】
【従来の技術】
銀塩フィルムを用いたカメラに対し、ＣＣＤ等の固体撮像素子を用いた、いわゆる電子スチルカメラが既に商品化されている。この電子スチルカメラは即時性の点で銀塩カメラに優るものの、撮像素子の解像度及びダイナミックレンジの能力の点で銀塩カメラより劣っている。
【０００３】
そこで上記第１の欠点である解像度の能力不足を改善するため、従来より、結像光学系により形成された被写体像と、この被写体像を光電変換する撮像素子との相対位置を微少変化させながら複数回の撮影を行って複数組の画像信号を得、この複数組の画像信号を所定の方法で合成することにより高精細な画像を得る、いわゆる画素ずらし技術を用いた撮像装置が既に提案されている。この画素ずらしの先行技術文献としては、例えば以下に示すような特許公開公報がある。
【０００４】
特開昭６０−２７２７８号公報（特許文献１）では、撮影光学系前方の楔形プリズムを光軸回りに回動させて、撮像素子上の光学像を平行偏心させ、出力画像を合成して高精細画像を得ている。
特開昭６０−９１７７４号公報（特許文献２）では、変倍系とマスター系で構成された撮影光学系において、マスター系の一部のレンズを光軸に対して垂直方向にシフトさせ、撮像素子上の光学像を平行偏心させて、出力画像を合成し高精細画像を得ている。
特開昭６１−２３６２８２号公報（特許文献３）では、撮像素子前方の平行平面透明体を光軸と直交する軸回りに回動させて、撮像素子上の光学像を平行偏心させ、出力画像を合成して高精細画像を得ている。
特開平７−２８７２６８号公報（特許文献４）では、撮影光学系前方の可変頂角プリズムを手振れ信号と画素ずらし信号に基づいて駆動し、撮像素子上の光学像を平行偏心させて、手振れによる像振れの解消と画素ずらしによる画像の高精細化を同時に達成している。
【０００５】
しかしながらこのような画素ずらし技術は、スチルカメラの多重露光と同様に、最初の画像信号と最後の画像信号の取得時刻の間隔が長くなり、その間に手振れが生ずると画質低下を来たし、画素ずらしによる高精細化が望めない。そこでこの欠点を解消するための先行技術文献としては、例えば以下に示すような特許公開公報がある。
【０００６】
特開平７−２４０９３２号公報（特許文献５）では、撮影光学系前方の可変頂角プリズム或いは撮影光学系後方の移動レンズ群により、手振れによる像振れの解消と画素ずらしによる画像の高精細化を同時に達成している。
また、前記特開平７−２８７２６８号公報でも、撮影光学系の焦点距離が所定値以上の時は画素ずらし駆動精度が低下するため、画素ずらし制御を禁止する旨の開示がなされている。
【０００７】
また、前記第２の欠点であるダイナミックレンジの能力不足を改善するための先行技術文献として以下に示すような特許公開公報がある。
特開平１−３１９３７０号公報（特許文献６）では、１組の撮像素子に対して露光量が異なるように複数回の露光を行い、この操作によって得た画像を合成し、広ダイナミックレンジ画像を得ている。
特開平７−２６４４８８号公報（特許文献７）では、感度特性の異なる複数組の撮像素子で得た画像信号を合成し、広ダイナミックレンジ画像を得ている。
【０００８】
さらに、前記第１及び第２の欠点を同時に解消する先行技術として、特開平８−３７６２８号公報（特許文献８）では、画素ずらしのための複数の画像のうち少なくとも１組の画像は、他の画像に対して露光量を変えて得ることにより、高精細かつ広ダイナミックレンジ画像を得ている。
【０００９】
一方、撮像素子を有する撮像装置では、撮像素子の時系列的出力から画像の動きベクトルを求め、撮影に先立って画像振れを判断することが可能である。そこでこの分野の先行技術として、特開平２−５７０７８号公報（特許文献９）においては、画像の動きベクトルを連続的に検出し、該動きベクトルが最小になった時点での画像を最終的な記録画像とすることにより、露光中の手振れの影響を抑える旨の開示がある。
また特開平８−１７２５６８号公報（特許文献１０）では、画素ずらし用の複数の画像間の動きベクトルを求め、手振れや被写体振れによる像振れ成分を補間によって取り除いてから画像合成を行い、画像の高精細化を図る開示がなされている。
【００１０】
【特許文献１】
特開昭６０−２７２７８号公報
【特許文献２】
特開昭６０−９１７７４号公報
【特許文献３】
特開昭６１−２３６２８２号公報
【特許文献４】
特開平７−２８７２６８号公報
【特許文献５】
特開平７−２４０９３２号公報
【特許文献６】
特開平１−３１９３７０号公報
【特許文献７】
特開平７−２６４４８８号公報
【特許文献８】
特開平８−３７６２８号公報
【特許文献９】
特開平２−５７０７８号公報
【特許文献１０】
特開平８−１７２５６８号公報
【００１１】
【発明が解決しようとする課題】
しかしながら前記各公報に開示された従来例では以下のような欠点があった。特開昭６０−２７２７８号、特開昭６０−９１７７４号、特開昭６１−２３６２８２号の各公報では、手振れ補正機構を有していないため、手振れによる像振れが大きな撮影条件下では高精細な画像を得ることができない。これは、画素ずらし用に複数組の画像を得る操作が多重露光と同様の操作であるため、第１組目の画像取り込みから最終組の画像取り込みまでの時間が通常撮影の露光時間に比べてはるかに長くなり、その結果、手振れの影響をより強く受けるためである。
【００１２】
特開平７−２８７２６８号公報では、手振れ補正及び画素ずらし用の光束偏向手段である可変頂角プリズムが撮影光学系の前方にあるため、手振れ信号を可変頂角プリズムの駆動量に変換する係数（手振れ補正係数）はズーミングによって変動しない。従ってズーミングに際しては、画素ずらし信号を可変頂角プリズムの駆動量に変換する係数（画素ずらし補正係数）のみを変えればよかった。しかし撮影光学系の小型化を図るために光束偏向手段を撮影光学系内に設けると、ズーミングに際して手振れ信号と画素ずらし信号の両方をそれぞれ固有の係数で変換し、光束偏向手段を駆動しなければならないが、この公報にはこのような開示がない。
【００１３】
また、この公報では、画素ずらし機構を、動画を記録するビデオカメラ（カムコーダ）に適用しているため、画像の取り込みサイクルは動画のフィールド周波数で決まり、一定である。しかし画素ずらし機構を、静止画を記録するいわゆる電子スチルカメラに適用すると、画像取り込みサイクルを撮像素子の電荷蓄積時間（すなわち被写体輝度）に応じて変化可能な撮像素子を使用した方が、広範な輝度範囲の被写体に対応できる。しかしこの場合、画像取り込みサイクルが伸びると手振れの影響がより強く表れるため、画素ずらし動作を撮影条件に応じてきめこまかく制御する必要がある。しかしこの公報には、撮影光学系の焦点距離に応じて画素ずらし動作を変える記載しかない。さらにダイナミックレンジの拡大に関する記載がない。
【００１４】
特開平７−２４０９３２号公報では、手振れ補正の精度が足りなかったり手振れ補正が失敗した場合にも画素ずらしを実行するため、高精細画像が得られないばかりか、画素ずらし制御を行わないオリジナル画像よりも低画質の画像が得られてしまう場合がある。
特開平７−２８７２６８号公報では、所定の画素ずらし精度が得られないと予想される条件下では画素ずらしを禁止しているが、実際の手振れの影響を基に判断しているのではない。従って上記公報と同様に、大きな手振れが発生した場合には、オリジナル画像よりも低画質の画像が得られてしまう可能性がある。
【００１５】
特開昭６０−９１７７４号公報では、画像の高精細化のみが可能で、ダイナミックレンジ拡大の記載はない。
特開平１−３１９３７０号、特開平７−２６４４８８号の各公報では、ダイナミックレンジの拡大のみが可能で、高精細化の記載がない。
【００１６】
一方、特開平８−３７６２８号公報では、画像の高精細化とダイナミックレンジ拡大の記載はあるものの、ダイナミックレンジ拡大のために得る複数組の画像に対する露光量決定法の詳しい記載がない。従って世の中に存在するさまざまな輝度分布を有した被写体シーンに、きめ細かく対応する事ができない。また、画素ずらし操作は多重露光と同じく、撮像素子に対する見かけ上の露光（蓄積）時間が伸びるため、手振れ対策も必要になるが、この公報にはその記載がない。
【００１７】
特開平２−５７０７８号公報では、画素ずらしの記載が無いため、通常の撮影画像に対する手振れの影響を低減するという効果のみで、画素ずらしによる画像の高精細化は望めない。
また画素ずらしによる画像の高精細化を行う際は、画素ずらし量を撮像素子の画素間隔に基づいた所定量に制御する必要がある。しかしながら特開平８−１７２５６８号公報では、可変頂角プリズム等を用いた光学的手振れ補正手段がないため、画素ずらし中の手振れによる像振れが大きくかつランダムに生じる。従って、上記所定量の画素ずらしが実行される保証はなく、補間による像振れ補正を行っても高精細画像が得られる可能性は低い。また所望の高精細画像が得られない場合の警告や、次善の策の選択等の開示もない。
【００１８】
本発明は、上述の問題点に鑑みてなされたものであり、被写体の輝度分布に応じた広ダイナミックレンジの画像を得るようにすることを目的とする。
【００１９】
【課題を解決するための手段】
本発明の撮像装置は、被写体像を形成する撮像光学手段と、上記被写体像を光電変換する撮像手段と、上記撮像手段から読み出された複数フレームの画像信号を記憶する複数画像取得手段と、上記被写体像を複数の領域に分割して測光する測光手段と、上記測光手段の測光結果に基づいて、上記複数の領域のうちの第１の領域が適正露光量となる第１の露光条件と、上記複数の領域のうちの第２の領域が適正露光量となる上記第１の露光条件と異なる第２の露光条件とを求めるとともに、上記第１の露光条件を設定し、上記第１の露光条件で第１の所定数のフレーム画像信号を上記撮像手段から読み出し、上記第２の露光条件を設定し、上記第２の露光条件で上記第１の所定数よりも多い第２の所定数のフレーム画像信号を上記撮像手段から読み出すように調節する露光レベル調節手段とを有し、上記複数画像取得手段は、上記撮像手段から読み出された、上記第１の露光条件の上記第１の所定数のフレーム画像信号と上記第２の露光条件の上記第２の所定数のフレーム画像信号とを合成することを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明の第１〜１０の実施の形態について説明する。
図１ないし図５は本発明の第１〜１０の実施の形態に共通に係わる図である。
図２は結像光学系の一例を示したもので、焦点距離は１０ｍｍ〜３０ｍｍの３倍ズームであり、同図（ａ）はワイド端（ｆ＝１０ｍｍ）、同図（ｂ）はテレ端（ｆ＝３０ｍｍ）におけるレンズの配置を示す。
【００２１】
この結像光学系は４つの群より成り、変倍に当たっては第４群が固定で第１、第２、第３群が移動し、焦点調節の際には第１群が移動する。そして第２群を光軸に対して垂直方向に変位させることにより、結像面上の像を変位させて画素ずらし及び手振れ補正を行う。
【００２２】
次に図３を用いて第２レンズ群の光束偏向効果について説明する。図３は図２の各レンズ群を簡略化して示したもので、同図（ａ）は第２群が所定量ｄ_L だけ下方向にシフトした時の像側での光束偏向効果を、同図（ｂ）は同じく第２群が所定量ｄ_L だけ下方向にシフトした時の物体側での光束偏向効果を示している。まず図３（ａ）について説明する。物体側より第１群の光軸上に入射した光線は、下方向にシフトした負の第２群により、上方向に偏向され、第３群、第４群を通過して像面上の像高ｄ_IMの位置に到達する。この時の第２群シフト量ｄ_L と像変位量高ｄ_IMの比を偏心敏感度Ｓ_d と称することにすると、これら３つの値は、
ｄ_IM＝Ｓ_d ×ｄ_L ………（１）
で関係づけられる。
【００２３】
そして偏心敏感度Ｓ_d は第２群以降のレンズ群の配置によって変わるため、本実施の形態ではズーミングに応じて変化する。一方、本実施の形態は第１群によるフロントフォーカスを採用しているため、偏心敏感度Ｓ_d はフォーカシングによっては変動しない。ただし第４群等でフォーカシングするリアフォーカス方式を採用すれば、フォーカシングによっても偏心敏感度Ｓ_d は変動する。そこで一般的に偏心敏感度Ｓ_d は焦点距離ｆと被写体距離Ｒの関数 Ｓ_d （ｆ，Ｒ）と表されるため、式（１）も、
ｄ_IM＝Ｓ_d （ｆ，Ｒ）×ｄ_L ………（２）
と置き換えられる。
【００２４】
次に画素ずらし実行時の第２群のシフト駆動量について説明する。図４は画素ずらしの原理を説明するための図で、撮像素子の受光部拡大図を示している。図４において、受光面上には画素としての正方形の受光部が横方向Ｗ_Y 、縦方向Ｗ_P の間隔にて規則的に配置される。この受光面上に結像された像の分解能は上記画素間隔Ｗ_Y 、Ｗ_P で規定されてしまうが、画素と像との相対位置を変えながら複数の像信号を取り込み、これを所定の法則に従って合成・復元することで像の分解能を向上できる。例えば像のある点が、受光面中央の受光部の中心ＩＭ１に位置する時、第１組目の像信号（２次元センサのすべての画素信号）を取り込み、記憶する。次に該像の点がＩＭ２に位置するように像を右方向Ｘ_Y ＝Ｗ_Y ／２だけ変位させ、第２組目の像信号を取り込み、記憶する。同様に像点をＩＭ３、ＩＭ４に移動して第３、第４組目の像信号を取り込み、合計４組の像信号を合成することで像に関する情報量が４倍になり、画像の空間分解能を水平、垂直方向とも２倍に高められる。
【００２５】
ここで画素ずらしのために像をＸ_Y （＝Ｗ_Y ／２）或いはＸ_P （＝Ｗ_P ／２）だけ移動させるためには前記図３（ａ）で示した第２群の像移動作用を利用する。すなわち、像を上方向にＸ_P だけ変位させるためには、式（２）に従って、
ｄ_L ＝Ｘ_P ／Ｓ_d （ｆ，Ｒ） ………（３）
で求まるｄ_L だけ第２群を下方向にシフトさせればよい。そして画素ずらしのための像変位量Ｘ_P はいつも一定値だが、偏心敏感度Ｓ_d （ｆ，Ｒ）はズーミング、フォーカシングによって変わるため、第２群シフト量ｄ_L も光学系の状態に応じて変える必要がある。そこで本発明では後述するように、ズーミング、フォーカシングの状態に応じた偏心敏感度Ｓ_d （ｆ，Ｒ）に関するデータを第１の係数として、マイクロプロセッサ（ＣＰＵ）内のＲＯＭ（Read Only Memory）に記憶させている。
【００２６】
次に図３（ｂ）について説明する。像面の中央より光学系の光軸ｃに沿って左に射出した光線は第４群、第３群を通過し、下方向にシフトした負の第２群により、上方向に偏向される。そして第１群を通過した光線は結像系の光軸ｃと平行な軸ｃ′に対しθ_OB の角度だけ偏向して物体側に投射される。この時の第２群シフト量ｄ_L と光軸偏向角θ_OBとの比を角度敏感度Ｓθと称することにすると、これら３つの値は、
θ_OB＝Ｓθ×ｄ_L ………（４）
で関係づけられる。そして角度敏感度Ｓθは第２群以前のレンズ群の配置によって変わるため、本実施の形態ではズーミング及びフォーカシングに応じて変化する。そこで一般的に角度敏感度Ｓθも前述の偏心敏感度Ｓ_d と同様に、焦点距離ｆと被写体距離Ｒの関数Ｓθ（ｆ，Ｒ）と表されるため、式（４）も、
θ_OB＝Ｓθ（ｆ，Ｒ）×ｄ_L ………（５）
と置き換えられる。
【００２７】
次に手振れ補正時の第２群のシフト駆動量について説明する。結像光学系と撮像素子を有するカメラ本体が手振れによって下方向に、すなわち、結像光学系の先端が下を向く方向に角度θ_CAMERAだけ回転振れを生じたとする。この時の手振れによる像振れはカメラに対して被写体が上方向に角度θ_OB（＝θ_CAMERA）だけ移動した時の像変位と等価である。そこで図３（ｂ）を参照すると、被写体が上方向に角度θ_OBだけ移動した時には第２群を下方向にｄ_L だけシフト駆動させれば、被写体像の移動を解消させることができる。すなわち、手振れ検知センサが検知した手振れ角度θ_CAMERAと、式（５）に基づき、次式、
ｄ_L ＝θ_CAMERA／Ｓθ（ｆ，Ｒ） ………（６）
で求まるｄ_L だけ第２群を下方向にシフトさせれば手振れによる像振れを解消できる。
【００２８】
そして手振れ角度θ_CAMERAは時々刻々変わるとともに、角度敏感度Ｓθ（ｆ，Ｒ）もズーミング、フォーカシングによって変わるため、第２群シフト量ｄ_L も光学系の状態に応じて変える必要がある。そこで本発明では前述の偏心敏感度Ｓ_d （ｆ，Ｒ）と同様に、ズーミング、フォーカシングの状態に応じた角度敏感度Ｓθ（ｆ，Ｒ）に関するデータを第２の係数として、マイクロプロセッサ内のＲＯＭに記憶させている。
【００２９】
図１は撮像装置の構成図である。図１において、ＣＭＲはカメラ本体、ＬＮＳはレンズで、カメラ本体ＣＭＲに対して着脱可能な交換レンズとして構成されている。
まずカメラ本体ＣＭＲについて説明する。
ＣＣＰＵはカメラ内マイクロコンピュータ（以下マイコンと略す）で、ＲＯＭ、ＲＡＭ、Ａ／Ｄ、Ｄ／Ａ変換機能を有する１チップマイコンである。カメラ内マイコンＣＣＰＵはＲＯＭに格納されたカメラのシーケンスプログラムに従って、自動露出制御（ＡＥ）、自動焦点調節（ＡＦ）、画素ずらし制御等のカメラの一連の動作を行う。そのためにカメラ内マイコンＣＣＰＵは、カメラ本体ＣＭＲ内の周辺回路及びレンズＬＮＳと通信して各々の回路やレンズの動作を制御する。
【００３０】
カメラ本体ＣＭＲとレンズＬＮＳとを結合するマウント部には４組の接続端子が設けられる。カメラ内電源ＢＡＴはカメラ内各回路やアクチュエータへ電源を供給するとともに、ラインＶＣＣを介してレンズＬＮＳにも電源供給する。
ＤＣＬはカメラ内マイコンＣＣＰＵから後述するレンズ内マイコンＬＣＰＵへ信号を送信するライン、ＤＬＣはレンズ内マイコンＬＣＰＵからカメラ内マイコンＣＣＰＵへ信号を送信するラインで、この２つのラインを通じてカメラ本体ＣＭＲはレンズＬＮＳを制御する。またカメラ、レンズのグラウンドもラインＧＮＤを介して接続される。
【００３１】
ＩＭＳはＣＣＤ等の撮像素子、ＩＭＤＲは撮像素子ＩＭＳの電荷蓄積、電荷転送等を制御するドライバである。
ＭＥＭは撮影した画像の画像信号データを記録・保存するためのメモリで、半導体メモリ、磁気ディスク、光ディスク等が用いられる。
ＤＩＳＰは液晶ディスプレイ等で構成された表示部で、撮像素子ＩＭＳで得た画像を表示するとともにカメラの動作状態等も表示する。
ＢＳはハーフミラーで構成されたビームスプリッタで、撮影光束の一部をセンサＳＮＳへ導く。センサＳＮＳは結像光学系の焦点状態を検出する焦点検出センサと、被写体輝度を検出する測光センサとからなる。
ＣＮＣはデスクトップコンピュータ等の外部装置と接続するためのコネクタで、前記メモリＭＥＭの内容を外部に送信したり、外部装置からの信号でカメラ本体ＣＭＲを制御するのに用いられる。
【００３２】
ＳＷＭＮはメインスイッチで、このスイッチがオンされるとカメラ内マイコンＣＣＰＵは撮影に関する所定のプログラムの実効を許可する。
ＳＷ１、ＳＷ２はカメラのレリーズボタンに連動したスイッチで、それぞれレリーズボタンの第１ストローク、第２ストロークの押下でオンとなる。
ＳＷＳＦは画素ずらしモード選択スイッチで、画素ずらしの許可／不許可や、複数の画素ずらしのモードから所定のモードを選択するのに用いられる。
ＳＷＩＳは手振れ補正（Image Stabilization 、以下図面ではＩＳと略す）選択スイッチで、手振れ補正の許可／不許可を選択するスイッチである。
ＳＷＭＯＤは撮影モード選択スイッチで、撮影者が所定のモードを選択すると、撮影者の意図するＡＥモード、ＡＦモードが設定されるほか、前記画素ずらしモードと手振れ補正モードも自動設定される。
【００３３】
次にレンズＬＮＳ側について説明する。
ＬＣＰＵはレンズ内マイコンで、カメラ内マイコンＣＣＰＵと同じくＲＯＭ、ＲＡＭ、Ａ／Ｄ、Ｄ／Ａ変換機能を有する１チップマイコンである。レンズ内マイコンＬＣＰＵはカメラ内マイコンＣＣＰＵから信号ラインＤＣＬを介して送られてくる命令に従い、後述するフォーカシングアクチュエータ、ズーミングアクチュエータ、絞りアクチュエータ及び像振れ補正アクチュエータの駆動制御を行う。またレンズの各種動作状況やレンズ固有のパラメータを信号ラインＤＬＣを介してカメラ内マイコンＣＣＰＵへ送信する。
Ｌ１ないしＬ４は、図２で説明した第１ないし第４のレンズ群に相当するレンズ群であり、ズーム光学系を構成し、この光学系により被写体像が撮像素子ＩＭＳ上に形成される。
【００３４】
ＦＡＣＴはフォーカシングアクチュエータで、第１レンズ群Ｌ１を光軸方向に進退させて焦点調節を行い、Ｌ１の位置すなわち被写体距離に相当する情報をフォーカスエンコーダＦＥＮＣが検知し、レンズ内マイコンＬＣＰＵに送出する。
ＺＡＣＴはズーミングアクチュエータで、不図示のズーム機構により第１レンズ群Ｌ１ないし第３レンズ群Ｌ３を光軸方向に進退させてズーミングを行い、該ズーム情報をズームエンコーダＺＥＮＣが検知し、レンズ内マイコンＬＣＰＵに送出する。
ＤＦＭは光量調節用の絞り、ＤＡＣＴは絞りＤＦＭを駆動する絞りアクチュエータである。
【００３５】
ＧＲＰ、ＧＲＹは振動ジャイロ等の手振れセンサで、カメラの上下（ピッチ）方向及び左右（ヨー）方向の角度振れを検知するため、同一のセンサＧＲＰ、ＧＲＹが設置される。そして手振れ検知結果はレンズ内マイコンＬＣＰＵに送信される。
第２レンズ群Ｌ２は光軸に対して垂直な平面内で２次元方向に独立にシフト可能に構成される。そして、光軸に対して上下方向すなわちピッチ振れ補正方向にはピッチアクチュエータＩＡＣＴＰで駆動され、左右方向（当図では紙面に垂直方向）すなわちヨー振れ補正方向にはヨーアクチュエータＩＡＣＴＹで駆動される。なおこのシフト機構については本出願人による特開平６−３７２７号公報等に記載され公知となっている。
【００３６】
図５は本発明の画素ずらしと手振れ補正の主要動作を説明するためのブロック図であり、２点鎖線で囲まれたＣＣＰＵブロックがカメラ内マイコンＣＣＰＵで実行された部分、同じくＬＣＰＵブロックがレンズ内マイコンＬＣＰＵで実行される部分である。
１１は撮影条件設定回路で、ＡＥ、ＡＦ、画素ずらし、手振れ補正の各機能の動作モードが設定される。
１２はタイミングパルス発生回路で、画素ずらしのための像移動光学系駆動及び撮像素子の画像信号取り込みタイミングを制御するトリガ信号を発生する。
１３は撮像素子駆動回路で、撮影条件設定回路１１及びタイミングパルス発生回路１２の制御信号に従い、所定のタイミング、所定の電荷蓄積条件で画像信号を取り込む。
１４は一時記憶回路で、取り込んだ画像信号を画素ずらし処理するために一時的に記憶する。
１５は画像合成回路で、画素ずらし操作で得た複数組の画像信号を合成し、高精細な画像を得る。
１６は記録部で、図１のメモリＭＥＭに相当し、合成された高精細画像信号を記録する。
【００３７】
２１は画素ずらし信号発生回路で、画素ずらし用に像を変位させるための指令信号を発生する。
２２は第１係数発生回路で、結像光学系のフォーカス及びズーム情報に応じて前述の偏心敏感度Ｓ_d （ｆ，Ｒ）に相当するデータをレンズ内マイコンＬＣＰＵのＲＯＭから読み出し、前記画素ずらし信号の大きさに補正して像移動量がＸ_Y 、或いはＸ_P となるような第２群のシフト量指令値を算出する。
【００３８】
３１は手振れセンサで、前述の振動ジャイロＧＲＰ、ＧＲＹに相当する。
３２は手振れ信号演算回路で、手振れ検知センサ３１が検出した手振れの角速度信号のフィルタリング及び積分演算を行い。手振れ角度を算出する。
３３は第２係数発生回路で、結像光学系のフォーカス及びズーム情報に応じて前述の角度敏感度Ｓθ（ｆ，Ｒ）に相当するデータをレンズ内マイコンＬＣＰＵのＲＯＭから読み出し、前記手振れ角度信号の大きさを補正して、像振れ防止制御のための第２群シフト量指令値を算出する。
【００３９】
４１は合成回路で、２２で求めた画素ずらしのための第２群シフト量指令値と、３３で求めた手振れ補正のための第２群シフト量指令値を加算する。
４２は手振れ補正アクチュエータで、図１のＩＡＣＴＰ、ＩＡＣＴＹに相当し、第２レンズ群が合成回路４１で求めた駆動指令値に従って駆動するよう、アクチュエータを制御する。
４３は第２レンズ群が実際にシフト駆動されていることを示すブロックで、該駆動により撮像素子１３上に像が移動制御される。
以上の各ブロックにより画素ずらし及び手振れ補正が同時に実行される。
【００４０】
（第１の実施の形態）
図６及び図７は本発明の第１の実施の形態におけるカメラ本体及び交換レンズ内の各マイコンＣＣＰＵ、ＬＣＰＵの制御フローを示すフローチャートである。
まず、図１を参照しながら図６を用いて、カメラ内マイコンＣＣＰＵの制御フローを説明する。
カメラ本体ＣＭＲ側の電源スイッチ（メインスイッチ）ＳＷＭＮがオンされると、カメラ内マイコンＣＣＰＵへの給電が開始され、ステップ（１０１）を経てステップ（１０２）からの動作を開始する。
ステップ（１０２）においては、レリーズボタンの第１段階押下によりオンとなるＳＷ１の状態検知を行い、このスイッチＳＷ１がオフの時にはステップ（１０３）へ移行する。そして、このステップ（１０３）において、レンズＬＮＳ側へ像振れ補正動作（以下ＩＳ（Image Stabilization の略）と称す）を停止する命令を送信する。
上記ステップ（１０２）及び（１０３）はスイッチＳＷ１がオンとなるか、或いは電源スイッチＳＷＭＮがオフとなるまで繰り返し実効される。
【００４１】
上記フローを実行中にスイッチＳＷ１がオンされると、ステップ（１０２）からステップ（１１１）へ移行する。
ステップ（１１１）においては、カメラ内マイコンＣＣＰＵはラインＤＣＬを介してレンズ内マイコンＬＣＰＵに対し、像振れ補正開始命令を送信する。
次のステップ（１１２）においては、レンズの開放Ｆナンバー、焦点距離等のレンズ固有のパラメータをレンズ内マイコンＬＣＰＵから取得するパラメータ通信を行う。
ステップ（１１３）ではセンサＳＮＳによって被写体輝度を測定し、所定の露出制御プログラム線図に従って撮像素子の像信号蓄積時間や絞り制御値を演算するとともに、その結果をレンズ内マイコンＬＣＰＵにも送信する。
ステップ（１１４）ではセンサＳＮＳによって焦点状態を検出するとともに、フォーカシングレンズの駆動命令をレンズ内マイコンＬＣＰＵに送信する。
【００４２】
ステップ（１１５）では前述の画素ずらしモード選択スイッチＳＷＳＦの状態検知を行うとともに、前記測光結果等を基に、画素ずらし実行の可否や画素ずらし回数等の画素ずらし条件を設定する。
ステップ（１１６）では、レリーズボタンの第２段階押下によりオンとなるＳＷ２の状態検知を行い、このスイッチＳＷ２がオフの時にはステップ（１１１）へ戻り、ステップ（１１１）ないしステップ（１１５）を繰り返し実行する。ステップ（１１６）でＳＷ２がオンと判定されたらステップ（１１７）へ移行する。
【００４３】
ステップ（１１７）では画素ずらし回数をカウントするカウンタＣＮＴをゼロに初期化する。
ステップ（１１８）では画素ずらし制御のトリガ信号となるタイミングパルスを発生し、レンズ内マイコンＬＣＰＵにも送信する。
ステップ（１１９）ではドライバＩＭＤＲを介して、撮像素子ＩＭＳの電荷蓄積、及び蓄積した電荷の転送・読み出し制御を行う。
ステップ（１２０）では、前記ステップ（１１９）で読み出した画像信号をカメラ内マイコンＣＣＰＵ内のＲＡＭに一時記憶する。
ステップ（１２１）では、画素ずらし回数カウンタＣＮＴに１を加え、更新する。
ステップ（１２２）ではカウンタＣＮＴが所定値Ｎ_SFに達したか否かを判定する。そしてカウンタＣＮＴが所定値Ｎ_SFに達していない場合にはステップ（１１８）に戻って次のタイミングパルス発生を待ち、画素ずらし制御を続行する。ステップ（１２２）でカウンタＣＮＴが所定値Ｎ_SFに達したら、ステップ（１２３）へ移行する。
【００４４】
ステップ（１２３）ではレンズ内マイコンＬＣＰＵに対し、画素ずらしが完了したことを送信する。
ステップ（１２４）では画素ずらしによって得た複数の画像信号を合成し、１つの高精細画像を作成する。
ステップ（１２５）では上記ステップ（１２４）で得た画像をメモリＭＥＭに記録する。
【００４５】
以上で撮影動作が終了し、ステップ（１０２）へ戻る。そして当ステップ（１０２）でスイッチＳＷ１がオンの状態であればステップ（１１１）以降の動作を繰り返し、スイッチＳＷ１がオフであれば、ステップ（１０３）でレンズ内マイコンＬＣＰＵに対し、像振れ補正動作の停止を命令する。
【００４６】
図７はレンズ内マイコンＬＣＰＵの制御を示すフローチャートである。
図７において、カメラ側の電源スイッチＳＷＭＮのオンにより、交換レンズ側にも電源が供給されると、ステップ（１３１）よりステップ（１３２）へ進む。
ステップ（１３２）においてはＩＳ開始命令の判別を行い、カメラ本体ＣＭＲからＩＳ開始命令が来ていない時はステップ（１３３）へ進む。
ステップ（１３３）においてはＩＳ停止命令の判別を行い、カメラ本体ＣＭＲからＩＳ停止命令が来ていない時はステップ（１３２）へ戻る。ＩＳ停止命令が来ている時はステップ（１３４）へ進み、ピッチ及びヨー方向の像振れ補正アクチュエータＩＡＣＴを停止する。
ステップ（１３２）ないしステップ（１３４）を実行中にカメラ内マイコンＣＣＰＵよりＩＳ開始命令が送信されると、ステップ（１３２）よりステップ（１４１）へ移る。
【００４７】
ステップ（１４１）では振れ検知センサＧＲＰ、ＧＲＹを起動し、ピッチ、ヨー方向の手振れ信号を入力する。
ステップ（１４２）は図６のステップ（１１２）に相当し、カメラ内マイコンＣＣＰＵの要求に従ってレンズ固有のパラメータをカメラ側に送信する。
ステップ（１４３）では光学系のズーム状態、フォーカス状態を検出するために、ズームエンコーダＺＥＮＣ、フォーカスエンコーダＦＥＮＣを検知する。
ステップ（１４４）では上記ステップ（１４３）の検知結果に基づいて、画素ずらしのための第１係数及び手振れ補正のための第２係数をＲＯＭテーブル内から読み出す。
ステップ（１４５）ではステップ（１４１）で得た手振れ信号とステップ（１４４）で得た第２係数に基づいて像振れ補正アクチュエータＩＡＣＴを駆動制御し、手振れによる像振れを解消させる。
【００４８】
ステップ（１４６）ではカメラ内マイコンＣＣＰＵから入手した測光情報を基に、アクチュエータＤＡＣＴを介して絞りＤＦＭを駆動し、光量調節する。
ステップ（１４７）ではカメラ内マイコンＣＣＰＵから入手した焦点検出情報を基に、フォーカシングアクチュエータＦＡＣＴを駆動し、焦点調節する。
ステップ（１４８）では画素ずらしのためのタイミングパルスの受信有無を判断する。そしてタイミングパルスを受信していなければ、ステップ（１４１）に戻り、手振れ補正、絞り制御、焦点調節動作を繰り返し実行する。ステップ（１４８）でタイミングパルスの受信を確認すると、ステップ（１４９）へ進む。
【００４９】
ステップ（１４９）では画素ずらしのために第２レンズ群をピッチ或いはヨー方向に駆動するための基準波形を生成する。
ステップ（１５０）では上記ステップ（１４９）で生成した画素ずらし基準波形に、ステップ（１４４）で読み出した第１係数を乗じた画素ずらし駆動波形を生成し、これと手振れ補正用の信号とを合成する。そしてこの合成信号に従って像振れ補正アクチュエータＩＡＣＴを駆動制御することで、手振れ補正と画素ずらしのため像駆動が同時にかつ正確に実行される。
【００５０】
ステップ（１５１）ではカメラ内マイコンＣＣＰＵから画素ずらし完了信号が送信されているか否かの判定を行い、未送信であれば画素ずらしは完了していないのでステップ（１４８）へ戻り、次のタイミングパルスの受信を待つ、そしてステップ（１４８）ないしステップ（１５０）を所定回数実施し、画素ずらし動作終了後に送信される画素ずらし完了信号を受信したら、ステップ（１５１）よりステップ（１３２）へ戻る。
そしてステップ（１３２）でＩＳ開始命令を受信せず、ステップ（１３３）でＩＳ停止命令を確認したら、ステップ（１３４）で像振れ補正アクチュエータＩＡＣＴを停止し、撮影に伴う一連のレンズ制御動作が終了する。
【００５１】
図８は上記図６及び図７のフローによるカメラ及びレンズの動作を説明するタイミングチャートである。
（ａ）、（ｂ）はそれぞれカメラのレリーズボタンに連動したスイッチＳＷ１、ＳＷ２の状態を示す。（ｃ）は画素ずらしのタイミング制御用トリガ信号である。（ｄ）は撮像素子ＩＭＳの電荷蓄積タイミングを示す。（ｅ）、（ｆ）はピッチ及びヨー方向の画素ずらし基準波形を示す。（ｇ）、（ｈ）は手振れセンサＧＲＰ、ＧＲＹが検知した手振れ波形で、ここでは検知信号を適宜積分等の処理を行った後の振れ変位波形が示されている。（ｉ）、（ｊ）は像振れ補正用第２レンズ群のピッチ、ヨー方向の駆動変位を示す。
【００５２】
以下、図８を用いて図６及び図７のフローをまとめて概説する。
時刻ｔ₁ においてスイッチＳＷ１がオンされると、手振れ信号（ｇ）、（ｈ）が出力される。すると、この信号に第２係数を乗じた値に従って第２レンズ群Ｌ２が波形（ｉ）、（ｊ）のごとく駆動制御され、手振れ補正がなされる。
【００５３】
時刻ｔ₂ においてスイッチＳＷ２がオンされると、所定時間後の時刻ｔ₁₁に第１のタイミングパルスＴＰ１が発生される。するとこれを受けて、撮像素子ＩＭＳは測光結果から演算された蓄積時間に従い、時刻ｔ₁₂から時刻ｔ₁₃の期間中に受光部の電荷蓄積を行う。
時刻ｔ₁₃で電荷蓄積が終了すると、蓄積電荷の転送・読み出しと共に、ヨー方向の画素ずらし基準波形（ｆ）が発生される。するとヨー方向のレンズ変位（ｊ）は、上記基準波形（ｆ）に第１係数を乗じた値と前記手振れ補正波形とを加算した指令値にて駆動される。
【００５４】
時刻ｔ₁₁から所定時間経過後の時刻ｔ₂₁には第２のタイミングパルスＴＰ２が発生される。すると同様に撮像素子ＩＭＳは、時刻ｔ₂₂から時刻ｔ₂₃の期間中に受光部の電荷蓄積を行う。そして時刻ｔ₂₃で電荷蓄積が終了すると、蓄積電荷の転送・読み出しと共に、ピッチ方向の画素ずらし基準波形（ｅ）が発生される。するとピッチ方向のレンズ変位（ｉ）も、上記基準波形（ｅ）に第１係数を乗じた値と前記手振れ補正波形とを加算した指令値にて駆動される。
【００５５】
時刻ｔ₂₁から所定時間経過後の時刻ｔ₃₁には第３のタイミングパルスＴＰ３が発生される。すると同様に撮像素子ＩＭＳは、時刻ｔ₃₂から時刻ｔ₃₃の期間中に受光部の電荷蓄積を行う。そして時刻ｔ₃₃で電荷蓄積が終了すると、蓄積電荷の転送・読み出しと共に、ヨー方向の画素ずらし基準波形（ｆ）は元の値に戻される。するとヨー方向のレンズ変位（ｊ）は、手振れ補正波形のみに応答した指令値にて駆動される。
【００５６】
時刻ｔ₃₁から所定時間経過後の時刻ｔ₄₁には最期のタイミングパルスＴＰ４が発生される。すると同様に撮像素子ＩＭＳは、時刻ｔ₄₂から時刻ｔ₄₃の期間中に受光部の電荷蓄積を行う。そして時刻ｔ₄₃で電荷蓄積が終了すると、蓄積電荷の転送・読み出しと共に、ピッチ方向の画素ずらし基準波形（ｅ）も元の値に戻される。するとピッチ方向のレンズ変位（ｉ）も、手振れ補正波形のみに応答した指令値にて駆動される。
そして時刻ｔ₅ でスイッチＳＷ１がオフされると、手振れ検知及び第２レンズ群の駆動が停止される。
【００５７】
上記手振れ補正及び画素ずらし制御中の時刻ｔ₁₁、ｔ₂₁、ｔ₃₁、ｔ₄₁、ｔ₅ における像の位置は前述の図４において、それぞれＩＭ１、ＩＭ２、ＩＭ３、ＩＭ４、ＩＭ１となり、各像の上下、左右の位置が画素間隔の半分だけずれた画像ずらしが実現される。
なお、画像ずらし基準波形が矩形波でなく台形波となっているのは、第２レンズ群の急激な位置変化による衝撃を緩和するためである。
【００５８】
次に図９及び図１０を用いて画素ずらしにより得た複数組の画像信号を合成し、１組の高精細画像信号を生成する原理について説明する。
図９は画素ずらしにおける像と撮像素子の相対位置関係を説明する図である。図９の（ａ）は図４でも説明したもので、カメラ内に固定された撮像素子の画素に対して像がＩＭ１→ＩＭ２→ＩＭ３→ＩＭ４→ＩＭ１の順に移動することを示している。これはその下の（ｂ）のごとく、不動の像に対して撮像素子の位置がＩＧ１→ＩＧ２→ＩＧ３→ＩＧ４→ＩＧ１の順に移動するのと全く等価である。そこで撮像素子がＩＧ１に位置する時の各画素の出力信号をＩＧ１（ｉ，ｊ）とする。ここで撮像素子は（ｍ×ｎ）画素のエリアセンサである。同様にＩＧ２、ＩＧ３、ＩＧ４に位置する時の出力信号をＩＧ２（ｉ，ｊ）、ＩＧ３（ｉ，ｊ）、ＩＧ４（ｉ，ｊ）とする。
【００５９】
これら４組の画像信号の合成方法を説明したものが図１０である。
４組の（ｍ×ｎ）画素の信号を合成した（２ｍ×２ｎ）画素の新たな画素信号組をＩＭＧ（ｕ，ｖ）とする。そして画素信号ＩＭＧ（ｕ，ｖ）の左上の４画素は、４組の元の画素を図のごとく組み立てたものである。そこでこの図を基に画像復元方法を考えると、
ＩＭＧ（ｕ＝２ｉ−１，ｖ＝２ｊ） ←ＩＧ１（ｉ，ｊ）………（７）
ＩＭＧ（ｕ＝２ｉ−１，ｖ＝２ｊ−１）←ＩＧ２（ｉ，ｊ）………（８）
ＩＭＧ（ｕ＝２ｉ，ｖ＝２ｊ−１） ←ＩＧ３（ｉ，ｊ）………（９）
ＩＭＧ（ｕ＝２ｉ，ｖ＝２ｊ） ←ＩＧ４（ｉ，ｊ）………（１０）
の式に従えば、４組の画像信号から１組の高精細画像信号を生成できる。
【００６０】
なおこの方法は白黒撮像素子或いは色分解プリズムを用いた多板式カラー撮像素子に適用されるもので、モザイク型色フィルターを用いた単板式カラー撮像素子では画素ずらし量や画像合成方法の点で多少の違いはあるが、基本的な考えは同一である。
【００６１】
上記第１の実施の形態によれば、
（１）画素ずらし信号を第１係数で変換し、手振れ信号を第２係数で変換し、両者の合成信号にて像振れ補正光学系を駆動することにより、１つの像移動手段で手振れ補正と画素ずらし制御とを同時に行い、手振れによる像劣化がなく、かつ画素ずらしによる高精細な画像信号を得ることができる。
（２）ズーム、フォーカス状態に応じた第１係数及び第２係数を用いることにより、ズーム、フォーカス状態が変化しても常に正確な手振れ補正と画素ずらし制御が可能である。
（３）カメラ内の制御回路で画素ずらし後の画像合成も行うため、専用の外部装置等を用いずに高精細な画像信号を得ることができる。
という効果がある。
【００６２】
（第２の実施の形態）
前記第１の実施の形態は手振れ補正と画素ずらしを同時に正確に行うための実施の形態であった。以下に示す第２の実施の形態は、カメラの撮影状態に応じて最適な画素ずらしモードを選択する実施形態を示す。
図１１は第２の実施の形態の制御フローの一部、図１２は第２の画素ずらしモード原理図、図１３は第２の画素ずらしモードにおける画像合成の原理説明図である。以下、図面を用いて第２の実施の形態の動作を説明する。
【００６３】
本実施の形態のカメラの制御フローは、図６に示した第１の実施の形態のカメラの制御フローと基本的な部分は同一であるが、ステップ（１１５）の「画素ずらし条件設定」部分を図１１に示すサブルーチンとすることで、本実施の形態特有の作用を実現させている。以下、図６及び図１１を用いて本実施の形態のフローを説明するが、図６のフローについては前述により詳細な説明を行っているため、ここでは簡単に説明する。
図６において、ステップ（１０２）でＳＷ１がオンと判断されるとステップ（１１１）へ移り、ステップ（１１１）、ステップ（１１２）でＩＳ開始命令の送信と、パラメータ通信を行う。続いてステップ（１１３）、ステップ（１１４）で測光及び焦点検出を行い、その結果をレンズ内マイコンＬＣＰＵにも送信する。
【００６４】
次のステップ（１１５）では図１１に示すフローを実行する。図１１のステップ（２１５）では、レンズ内マイコンＬＣＰＵに対し、所定時間以内の手振れ角速度ピーク値ω_peakの送信要求を行う。するとレンズ内マイコンＬＣＰＵは、例えば２秒間中のピッチ或いはヨ一方向の手振れ角速度最大値ω_peakをカメラ内マイコンＣＣＰＵに送信する。
ステップ（２１６）では次式
δ＝ｆ×ω_peak×ｔ_exp ………（１１）
に従って、手振れ補正不作動時の露光中の像振れ量最大値δを演算する。ただしｆは結像光学系の焦点距離、ｔ_exp は測光結果から導かれた撮像素子の露光秒時、すなわち電荷蓄積時間である。ここで導かれた像振れ量δは、画素ずらしを実行すべきか否かの判定をするための手振れ指標として、以下のステップで利用される。
【００６５】
ステップ（２１７）では像振れ量δの大きさ判定を行う。そして像振れ量δが所定値ＤＥＬ１以下なら、手振れによる像劣化の影響が少なく、画素ずらしによって十分な高精細化が可能であるとして、ステップ（２１８）で画素ずらし回数Ｎ_SFを４回に設定する。ここで画素ずらし回数が４回というのは第１の実施の形態で説明した画素ずらし及び画像合成方法のことであり、これを第１の画素ずらしモードと称する。
ステップ（２１７）で像振れ量δが所定値ＤＥＬ２以下（ただしＤＥＬ２＞ＤＥＬ１）と判断されたらステップ（２１９）で画素ずらし回数、Ｎ_SFを２回に設定する。これは手振れ補正を実行しても手振れによる若干の画質劣化が予想されるため、画素ずらし回数が少ないモード（これを第２の画素ずらしモードと称する）を選択して、手振れによる画質低下と画素ずらしによる画質向上の最適化を図るためである。なお第２の画素ずらしモードについては後述する。
【００６６】
ステップ（２１７）で像振れ量δが所定値ＤＥＬ２より大きいと判定されたらステップ（２２０）で画素ずらし回数Ｎ_SFを１回、すなわち画素ずらし非実行に設定する。これは手振れ補正を実行しても、手振れによる画質劣化の影響が画素ずらしによる画質向上を上回ることが予想されるため、画素ずらしを禁止する。
ステップ（２１８）ないしステップ（２２０）を実行後は、ステップ（２２１）へ移行する。
ステップ（２２１）ではレンズ内マイコンＬＣＰＵに上記フローで決定した画素ずらしモードを送信する。
ステップ（２２２）ではカメラ内の表示手段ＤＩＳＰに上記画素ずらしモードの種別を表示して、撮影者にどのモードで撮影が行われるのかを報知する。
【００６７】
ステップ（２２２）実行後は図６のステップ（１１６）に戻る。
ステップ（１１６）ではスイッチＳＷ２の判別を行い、ＳＷ２がオンならステップ（１１７）へ進む。
ステップ（１１７）ないしステップ（１２２）では第１の実施の形態と同様に画素ずらしを実行するが、この第２の実施の形態では前述のごとくステップ（２１５）ないしステップ（２２２）で複数の画素ずらしモードを選択的に用いるため、ステップ（１１７）ないしステップ（１２２）でも各画素ずらしモードに応じた動作で制御される。
続いてステップ（１２３）ではレンズ内マイコンＬＣＰＵに画素ずらし完了通信を行い、ステップ（１２４）へ進む。
ステップ（１２４）でも前記複数の画素ずらしモードに応じた画像合成を選択して行う。
ステップ（１２５）では前ステップで合成された画素を記録し、ステップ（１０２）へ戻る。
【００６８】
図１２は第２の画素ずらしモード、すなわち画素ずらし回数が２回の時の作用を説明したものであり、第１の実施の形態における図９に相当する。図１２の上図（ａ）は受光素子に対する画像の移動を示したものである。画像のある点はまずＩＭ２１に位置した状態で受光素子の電荷蓄積・読み出しがなされる。ついで画素ずらし動作で像がＩＭ２２に移動した後、再び受光素子の電荷蓄積・読み出しがなされる。そして像は元の位置ＩＭ２１に戻される。
図１２の下図（ｂ）は上記像の動きを撮像素子の動きに置き換えたもので、最初ＩＧ２１に位置していた撮像素子は、画素ずらし動作によってＩＧ２２に移動し、その後ＩＧ２１に戻る。
【００６９】
図１３は第２の画素ずらしモードにおける画像合成方法を説明する図である。この第２の画素ずらしモードではＩＧ２１（ｉ，ｊ）とＩＧ２２（ｉ，ｊ）の２組の画像、すなわち合計（２×ｍ×ｎ）個の画像信号から、（４×ｍ×ｎ）個で構成されるＩＭＧ２（ｕ，ｖ）の画像信号を合成する。そのために図１３に示すごとく、ＩＭＧ２（ｕ，ｖ）の黒丸で示す画素はＩＧ２１（ｉ，ｊ）或いはＩＧ２２（ｉ，ｊ）の画素をそのまま用い、白丸で示す画素はその周辺の４画素（４画素が無い時は２或いは３画素）の平均値から合成する。
【００７０】
これを式で表すと、

と表わせる。
【００７１】
上記第２の実施の形態によれば、前記第１の実施の形態の効果のほかに、
（４）画素ずらし実行時の手振れによる画質劣化と画素ずらし効果を勘案し、手振れ量に応じて最適な画素ずらしモードを選択するため、撮影状況に応じた最適な画素ずらし動作が実行できる。
という効果がある。
【００７２】
（第３の実施の形態）
前記第２の実施の形態では、手振れに応じた最適画素ずらしモードを選択する実施の形態を示した。以下に示す第３の実施の形態は、撮影者により設定されたカメラの撮影モードから画素ずらし実行の適否を判断し、画素ずらしモードを切り替える実施形態を示す。
第３の実施の形態のカメラの制御フローも前記第２の実施の形態と同様に、基本的な部分は図６に示した第１の実施の形態のカメラの制御フローと同一であり、ステップ（１１５）の「画素ずらし条件設定」部分を図１４に示すサブルーチンとすることで、第３の実施の形態特有の作用を実現させている。以下、図６及び図１４を用いて第３の実施の形態のフローを説明するが、図６のフローについては第１の実施の形態で詳細な説明を行っているため、ここでは簡単に説明する。
【００７３】
図６において、ステップ（１０２）でＳＷ１がオンと判断されるとステップ（１１１）へ移り、ステップ（１１１）、ステップ（１１２）でＩＳ開始命令の送信と、パラメータ通信を行う。続いてステップ（１１３）、ステップ（１１４）で測光及び焦点検出を行い、その結果をレンズ内マイコンＬＣＰＵにも送信する。
次のステップ（１１５）では図１４に示すフローを実行する。図１４のステップ（３１５）ではカメラＣＭＲの撮影モード選択スイッチＳＷＭＯＤの状態判別を行い、撮影者によって設定された露出制御モード等の撮影条件を認識する。
【００７４】
ステップ（３１６）では撮影モードが風景モードか否かの判別を行う。風景モードとは絞り制御値を小絞り（大Ｆナンバー）として被写界深度を深くする露出制御モードである。そして風景モード設定時は被写体が静止しており、カメラもしっかりとホールディングされて手振れも生じにくいと予想されるため、ステップ（３１９）に進んで画素ずらしを４回行う高精細モードに設定する。ステップ（３１６）で風景モードでないと判定されたらステップ（３１７）へ進む。
ステップ（３１７）では撮影モードがポートレイトモードか否かの判別を行う。ポートレイトモードは絞り制御値を開放近傍絞り（小Ｆナンバー）として被写界深度を浅くする露出制御モードである。ポートレイトモード時も風景モードと同様の撮影状態であると予想されるため、ステップ（３１９）へ進む。ステップ（３１７）でポートレイトモードでないと判定されたらステップ（３１８）へ進む。
【００７５】
ステップ（３１８）では撮影モードがスポーツモードか否かの判別を行う。スポーツモードは露出秒時を高速秒時にして被写体の動きを止める露出制御モードである。スポーツモード選択時は被写体が動いており、カメラにはパンニング操作、すなわち大きな手振れと同様のカメラの運動が生じると予想される。また画素ずらし動作中の被写体の動きにより被写体振れも発生し、画素ずらしによる高精細化が期待できないばかりか、かえって不自然な写真になってしまうことも予想される。従ってスポーツモード設定時はステップ（３２１）へ進み、Ｎ_SF＝１すなわち画素ずらしを禁止する。ステップ（３１８）でスポーツモードでないと判定されたら、すなわち風景、ポートレイト、スポーツのいすれのモードでも無いと判定されたらステップ（３２０）へ進み、画素ずらし回数を２回に設定する。
ステップ（３１９）ないしステップ（３２１）を実行後は、ステップ（３２２）へ移行する。
【００７６】
ステップ（３２２）ではレンズ内マイコンＬＣＰＵに上記フローで決定した画素ずらしモードを送信する。
ステップ（３２３）ではカメラ内の表示手段ＤＩＳＰに上記画素ずらしモードの種別を表示して、撮影者にどのモードで撮影が行われるのかを報知する。
ステップ（３２３）実行後は図６のステップ（１１６）に戻る。
ステップ（１１６）ではスイッチＳＷ２の判別を行い、ＳＷ２がオンならステップ（１１７）へ進む。
ステップ（１１７）ないしステップ（１２２）では第２の実施の形態と同様に選択された画素ずらしモードに従って画素ずらしが実行される。
続いてステップ（１２３）ではレンズ内マイコンＬＣＰＵに画素ずらし完了通信を行い、ステップ（１２４）へ進む。
ステップ（１２４）でも前記複数の画素ずらしモードに応じた画像合成を選択して行う。
ステップ（１２５）で前ステップで合成された画像を記録し、ステップ（１０２）へ戻る。
【００７７】
上記第３の実施の形態によれば、前記第１の実施の形態の効果のほかに、
（５）撮影者により設定されたカメラの撮影モードから画素ずらし実行の適否を判断し、画素ずらしモードを切り替えることにより、カメラ及び被写体の動きに適した画素ずらし動作が実行できる。
という効果がある。
また、本実施の形態では撮影モードの一例として露出制御モードを対象としたが、焦点検出モード等に応じて画素ずらしモードを切り替えても良い。
【００７８】
（第４の実施の形態）
前記第１の実施の形態では画素ずらし制御用の第１係数と手振れ補正用の第２係数を用いて１つの像移動手段により画素ずらしと手振れ補正を実行していた。一方、第１係数を前記手振れ補正とは異なる方式の手振れ補正制御に用いることにより、手振れ補正能力をさらに高めることができる。
図１５はそのための第４の実施の形態のブロック図で、図５に示した第１の実施の形態のブロック図を変形したものである。図１５において、カメラ内マイコンＣＣＰＵに動きベクトル検知回路１７が追加されたのと、レンズ内マイコンＬＣＰＵにもう１つの第１係数発生回路２２ａが追加された点が異なっている。
【００７９】
動きベクトル検知回路１７は、時間的に異なるタイミングで取り込まれた２組の画像信号の空間的な相関から、２組の画像の手振れによる位置ずれを検知する公知の回路で、いわゆる電子式手振れ補正に用いられる。そして動きベクトル検知に用いられる２組の画像は、画素ずらしで得られた画像或いは画素ずらしとは無関係に周期的に取り込まれた画像が利用される。或いは焦点検出センサからの信号を用いてもよい。ただし画素ずらし用の２組の画像信号はその相対位置が画素ずらしによって予め所定寸法だけずれているため、動きベルトル検知時にこのずれの補正は必要である。
【００８０】
ところで本実施の形態では、振動ジャイロ等の慣性力を利用した振れ検知センサによる手振れ補正システムが組み込まれているため、この手振れ補正システムが動作している間は像振れが補正され、動きベクトル検知回路１７は振れを検知しないはずである。しかしながら、前記慣性力を利用した振動ジャイロ等の振れ検知センサは、出力信号のＤＣオフセットやドリフト等の発生で、超低周波帯域の振れを検知できないという欠点がある。よって手振れ補正システム動作中も動きベクトル検知回路１７は低周波の像振れを検知する。そこでこの像振れ信号を第１係数発生回路２２ａで変換し、この信号と第２係数発生回路３３を通過した手振れ信号とを合成回路４１にて合成する。そしてその合成出力にて手振れ補正アクチュエータ４２を駆動すれば、低周波域から高周波域までの広帯域の手振れ補正システムが実現され、手振れ補正能力が高められる。ひいては画素ずらし時の像振れもさらに減少し、画像の高精細化に貢献する。
【００８１】
図１６、図１７は第４の実施の形態におけるカメラ本体及び交換レンズ内の各マイコンの制御フローを示すフローチャートである。
まず、前述の図１を参照しながら図１６を用いて、カメラ内マイコンＣＣＰＵの制御フローを説明する。
カメラ本体ＣＭＲ側の電源スイッチ（メインスイッチ）ＳＷＭＮがオンされると、カメラ内マイコンＣＣＰＵへの給電が開始され、ステップ（４０１）を経てステップ（４０２）からの動作を開始する。
ステップ（４０２）におていは、レリーズボタンの第１段階押下によりオンとなるＳＷ１の状態検知を行い、このスイッチＳＷ１がオフの時にはステップ（４０３）へ移行する。そして、このステップ（４０３）において、交換レンズＬＮＳ側へ像振れ補正動作を停止する命令を送信する。
上記ステップ（４０２）、（４０３）はスイッチＳＷ１がオンとなるか、或いは電源スイッチＳＷＭＮがオフとなるまで繰り返し実効される。
【００８２】
上記フローを実行中にスイッチＳＷ１がオンされると、ステップ（４０２）からステップ（４１１）へ移行する。
ステップ（４１１）においては、カメラ内マイコンＣＣＰＵはラインＤＣＬを介してレンズ内マイコンＬＣＰＵに対し、像振れ補正開始命令を送信する。
次のステップ（４１２）においては、レンズの開放Ｆナンバー、焦点距離等のレンズ固有のパラメータをカメラ内マイコンＣＣＰＵが取得するパラメータ通信を行う。
ステップ（４１３）ではセンサＳＮＳによって被写体輝度を測定し、撮像素子の像信号蓄積時間や絞り制御値を演算して、その結果をレンズ内マイコンＬＣＰＵにも送信する。
ステップ（４１４）ではセンサＳＮＳにより焦点状態を検出し、その結果をレンズ内マイコンＬＣＰＵにも送信する。
【００８３】
ステップ（４１５）では前述の画素ずらしモード選択スイッチＳＷＳＦの状態検知を行うとともに、前記測光結果等を基に画素ずらし実行の可否や画素ずらし回数等の画素ずらし条件を設定する。
ステップ（４１６）ではドライバＩＭＤＲを介して、撮像素子ＩＭＳの電荷蓄積、及び蓄積した電荷の転送・読み出し制御を行う。
ステップ（４１７）では、制御ステップ（４１６）で読み出した画像信号をカメラ内マイコンＣＣＰＵ内のＲＡＭに一時記憶する。
ステップ（４１８）では上記ＲＡＭに記憶された２組の画像から動きベクトルを検知する。なお当ステップを最初に実行する時は画像信号は１組しかないため、この時は動きベクトルはゼロが出力される。
【００８４】
ステップ（４１９）では前ステップで検知した動きベクトルをレンズ内マイコンＬＣＰＵに送信する。
ステップ（４２０）では、レリーズボタンの第２段階押下によりオンとなるＳＷ２の状態検出を行い、このスイッチＳＷ２がオフの時にはステップ（４１１）へ戻り、ステップ（４１１）ないしステップ（４１９）を繰り返し実行する。ステップ（４２０）でＳＷ２がオンと判定されたらステップ（４２１）へ移行する。
ステップ（４２１）では図６に示した第１の実施の形態のステップ（１１７）ないしステップ（１２２）と同様の画素ずらし制御を実行する。
ステップ（４２２）ではレンズ内マイコンＬＣＰＵに対し、画素ずらしが完了したことを送信する。
ステップ（４２３）では画素ずらしによって得た複数の画像信号を合成し、１つの高精細画像を作成する。
ステップ（４２４）では上記ステップ（４２３）で得た画像をメモリＭＥＭに記録する。
【００８５】
以上で撮影動作が終了し、ステップ（４０２）へ戻る。そして当ステップ（４０２）でスイッチＳＷ１がオンの状態であればステップ（４１１）以降の動作を繰り返し、スイッチＳＷ１がオフであれば、ステップ（４０３）でレンズ内マイコンＬＣＰＵに対し、像振れ補正動作の停止を命令する。
【００８６】
図１７はレンズ内マイコンＬＣＰＵの制御を示すフローチャートである。
図１７において、カメラ側の電源スイッチＳＷＭＮのオンにより、交換レンズ側にも電源が供給されると、ステップ（４３１）よりステップ（４３２）へ進む。
ステップ（４３２）においてはＩＳ開始命令の判別を行い、カメラ本体ＣＭＲからＩＳ開始命令が来ていない時はステップ（４３３）へ進む。
ステップ（４３３）においてはＩＳ停止命令の判別を行い、カメラ本体ＣＭＲからＩＳ停止命令が来ていない時はステップ（４３２）へ戻る。ＩＳ停止命令が来ている時はステップ（４３４）へ進み、ピッチ及びヨー方向の像振れ補正アクチュエータＩＡＣＴを停止する。
ステップ（４３２）ないしステップ（４３４）を実行中にカメラ内マイコンＣＣＰＵよりＩＳ開始命令が送信されると、ステップ（４３２）よりステップ（４４１）へ移る。
【００８７】
ステップ（４４１）では振れ検知センサＧＲＰ、ＧＲＹを起動し、ピッチ、ヨー方向の手振れ信号を入力する。
ステップ（４４２）は図１６のステップ（４１２）に相当し、カメラ内マイコンＣＣＰＵの要求に従ってレンズ固有のパラメータをカメラ側に送信する。
ステップ（４４３）では光学系のズーム状態、フォーカス状態を検出するために、ズームエンコーダＺＥＮＣ、フォーカスエンコーダＦＥＮＣを検知する。
ステップ（４４４）では前記ステップ（４４３）の検知結果に基づいて、画素ずらしのための第１係数及び手振れ補正のための第２係数をＲＯＭテーブル内から読み出す。
ステップ（４４５）ではステップ（４４１）で得た手振れ信号とステップ（４４４）で得た第２係数に基づいて像振れ補正アクチュエータＩＡＣＴを駆動制御し、手振れによる像振れを解消させる。
【００８８】
ステップ（４４６）ではカメラ内マイコンＣＣＰＵから入手した測光情報を基に、アクチュエータＤＡＣＴを介して絞りＤＦＭを駆動し、光量を調節する。
ステップ（４４７）ではカメラ内マイコンＣＣＰＵから入手した焦点検出情報を基に、フォーカシングアクチュエータＦＡＣＴを駆動し、焦点調節する。
ステップ（４４８）では図１６のステップ（４１９）に対応する動きベクトルの受信を行う。
ステップ（４４９）ではステップ（４４８）で得た動きベクトル信号とステップ（４４４）で得た第１係数に基づいて像振れ補正信号を生成し、この信号と振動ジャイロから得た手振れ補正信号とを合成する。そしてこの合成信号により像振れ補正アクチュエータＩＡＣＴを駆動制御することで、より広帯域の手振れ補正を実現する。
【００８９】
ステップ（４５０）では画素ずらしのためのタイミングパルスの受信有無を判断する。そしてタイミングパルスを受信していなければ、ステップ（４４１）に戻り、手振れ補正、絞り制御、焦点調節、動きベクトル受信を繰り返して実行する。ステップ（４５０）でタイミングパルスの受信を確認すると、ステップ（４５１）へ進む。
ステップ（４５１）では画素ずらしのために第２群をピッチ或いはヨー方向に駆動するための基準波形を生成する。
ステップ（４５２）では前記ステップ（４５１）で生成した画素ずらし基準波形に、ステップ（４４４）で読み出した第２係数を乗じた画素ずらし駆動波形を生成し、これと手振れ補正用の信号を合成する。そしてこの合成信号に従って像振れ補正アクチュエータＩＡＣＴを駆動制御することで、手振れ補正と画素ずらしのための像駆動が同時にかつ正確に実行される。
【００９０】
ステップ（４５３）ではカメラ内マイコンＣＣＰＵから画素ずらし完了信号が送信されているか否かの判定を行い、未送信であれば画素ずらしは完了していないのでステップ（４５０）へ戻り、次のタイミングパルスの受信を待つ。そしてステップ（４５０）ないしステップ（４５３）を所定回数実施し、画素ずらし動作終了後に送信される画素ずらし完了信号を受信したら、ステップ（４５３）よりステップ（４３２）へ戻る。
そしてステップ（４３２）でＩＳ開始命令を受信せず、ステップ（４３３）でＩＳ停止命令を確認したら、ステップ（４３４）で像振れ補正アクチュエータＩＡＣＴを停止し、撮影に伴う一連のレンズ制御動作が終了する。
【００９１】
上記第４の実施の形態によれば、前記第１の実施の形態の効果のほかに、
（６）動きベクトル信号を第１係数で変換し、手振れ信号を第２係数で変換し、両者の合成信号にて像振れ補正光学系を駆動することにより、手振れ補正帯域を広帯域化できる。
（７）ズーム、フォーカス状態に応じた第１係数及び第２係数を用いることにより、ズーム、フォーカス状態が変化しても常に正確な手振れ補正が可能である。
という効果がある。
なお当第４の実施の形態は画素ずらし機能の有無に拘わらず効果を発揮するものである。
【００９２】
（他の変形例）
前記第１ないし第４の実施の形態では、手振れ補正及び画素ずらしのための像移動手段として、結像光学系内のレンズ群を光軸に対して垂直方向にシフトさせ、これによる光軸偏向作用を利用していた。その代わりに結像光学系の一部に、２枚の透明平行平板とこれに封止された透明液体からなる、いわゆる可変頂角プリズムを用いることも可能である。
また第２及び第３の実施の形態はいかなる結像光学系の方式に対しても有効であり、また手振れ補正機構の有無に拘わらずその効果を発揮する。
【００９３】
（第５の実施の形態）
図１８は第５の実施の形態によるカメラ内マイコンＣＣＰＵの制御フローであり、図６の第１の実施の形態の制御フローとステップ（１１５）以外は実質的に同じ処理が行われる。
ステップ（１１５）では前述の画素ずらしモード選択スイッチＳＷＳＦの状態検知を行うとともに、前記ステップ（１１３）、（１１４）による測光結果、焦点検出結果等を基に、画素ずらし制御形態及び撮像素子の露光制御形態等の条件を設定する。詳しくは後述する。
【００９４】
なお、レンズ内マイコンＬＣＰＵの制御フローは第１の実施の形態による図７の制御フローと実質的に同じである。
【００９５】
次に図１９ないし図２１を用いて第５の実施の形態の露光量制御方法の詳細について説明する。まず、図２０を用いて一般的な撮像素子の受光特性を説明する。
図２０はフィルム或いは撮像素子の特性曲線で、横軸は露光量、縦軸は銀塩フィルムであれば像濃度、撮像素子であれば出力電圧である。そして被写体を一定の絞り値とシャッター秒時で撮影する場合、図の横軸は被写体輝度とみなすこともできる。
図２０において、破線は銀塩フィルムを、実線はＣＣＤ等の撮像素子の特性曲線を表す。そして銀塩フィルムが広ダイナミックレンジを有するのに対し、撮像素子のダナミックレンジは狭く、Ｈ₁ からＨ₂ の輝度範囲の被写体しか再生できない。
【００９６】
図１９は露光量設定フローで、図６のステップ（１１５）を詳述したものである。
ステップ（１８１）は、図６のステップ（１１３）で測光された被写体をブロック分割するステップである。その方法を図２１を用いて説明する。
図２１は図１に示した焦点検出及び測光用センサＳＮＳの検出領域を示す図である。このセンサＳＮＳの検出領域は撮像素子ＩＭＳの受光領域とほぼ同一の検出範囲を有し、かつその検出領域は同図のごとく、８×１２＝９６の領域に分割され、各領域毎に焦点検出及び被写体輝度検出が可能となっている。なおセンサＳＮＳの構成は例えば１対の２次結像光学系と、各々の２次結像光学系に設けられた２次元イメージセンサで構成された２次結像位相差検出方式の焦点検出手段によって実現できる。
【００９７】
センサＳＮＳ上には図２１に示すごとく被写体像が形成されており、この被写体像の焦点検出結果及び輝度測定結果から、被写体領域はＢＫ１ないしＢＫ５の５つのブロックに分類される。ここで各ブロック内には、ほぼ同一の距離及び輝度レベルを有する被写体が含まれる様にブロック分割がなされる。
【００９８】
続いて図１９に戻り、ステップ（１８２）では上記分割されたブロックの中から、所定のアルゴリズムに従って主被写体を類推する。具体的には、
・撮影者によって焦点検出領域が設定されていれば、その領域に含まれる被写体が主被写体
・焦点検出領域が自動選択モードに設定されていれば、画面中央近傍でかつ比較的近距離の被写体
・撮影者によって測光領域が選択されていれば、その測光領域に含まれる被写体が主被写体
・ファンインダー内における撮影者の視線方向を検出する機能を備えたカメラであれば、撮影者の注視方向の被写体
等の判定によって主被写体を類推できる。
本実施の形態では上記アルゴリズムに従い、人物を含んだブロックＢＫ３が主被写体であると判断する。
【００９９】
続いてステップ（１８３）では、前記分割されたブロックと主被写体類推結果から、ブロックのグループ化を行う。これは、本発明の主たる作用が画素ずらしの際の露光量調節にあり、露光量調節回数は画素ずらし回数以下にならざるを得ない。そこで前記多数のブロックを少数のグループに整理して露光量調節数を画素ずらし回数以下にする。具体的には次に示すように、ＢＫ１、ＢＫ２を高輝度グループＧＰ１に、主被写体が含まれるブロックＢＫ３を中輝度グループＧＰ２に、ブロックＫＢ４、ＫＢ５を低輝度グループＧＰ３に設定する。
ＢＫ１、ＢＫ２ → ＧＰ１（高輝度グループ）
ＢＫ３ → ＧＰ２（中輝度グループ）
ＢＫ４、ＢＫ５ → ＧＰ３（低輝度グループ）
【０１００】
続いてステップ（１８４）では、前ステップ（１８３）で決定した各グループ内における被写体の平均輝度を計算する。
ステップ（１８５）では、上記平均輝度に対する適正露光量Ｅ₁ ないしＥ_n （ここではｎ＝３）を演算する。
ステップ（１８６）では、上記適正露光量を得るための絞り値と露光時間ｔ_e1ないしｔ_enを、所定のプログラム線図に従って演算する。
ステップ（１８６）実行後は、図６のステップ（１１６）に戻り、画素ずらし及び撮像素子ＩＭＳの露光（電荷蓄積）を実行する。
【０１０１】
図２２は前記図６及び図１９のフローによるカメラ及びレンズの動作を説明するタイミングチャートである。
（ａ）、（ｂ）はそれぞれカメラのレリーズボタンに連動したスイッチＳＷ１、ＳＷ２の状態を示す。（ｃ）は画素ずらしのタイミング制御用トリガ信号である。（ｄ）は撮像素子ＩＭＳの電荷蓄積タイミングを示す。（ｅ）、（ｆ）はピッチ及びヨー方向の画素ずらし基準波形を示す。（ｇ）、（ｈ）は振れ検知センサＧＲＰ、ＧＲＹが検知した手振れ波形で、ここでは検知信号を適宜積分等の処理を行った後の振れ変位波形が示されている。（ｉ）、（ｊ）は像振れ補正用第２レンズ群のピッチ、ヨー方向の駆動変位を示す。
【０１０２】
以下図２２を用いて図６及び図１９のフローをまとめて概説する。
時刻ｔ₁ においてスイッチＳＷ１がオンされると、手振れ信号（ｇ）、（ｈ）が出力される。すると、この信号に第２係数を乗じた値に従って第２レンズ群が波形（ｉ）、（ｊ）のごとく駆動制御され、手振れ補正がなされる。
時刻ｔ₂ においてスイッチＳＷ２がオンされると、所定時間後の時刻ｔ₁₁に第１のタイミングパルスＴＰ１が発生される。するとこれを受けて、撮像素子ＩＭＳは図１９のステップ（１８６）で演算した中輝度グループＧＰ２に適した露光時間ｔ_e2の露光を行うべく、時刻ｔ₁₂から時刻ｔ₁₃の期間中に受光部の電荷蓄積を行う。
【０１０３】
時刻ｔ₁₃で電荷蓄積が終了すると、蓄積電荷の転送・読み出しと共に、ヨー方向の画素ずらし基準波形（ｆ）が発生される。するとヨー方向のレンズ変位（ｊ）は、基準波形（ｆ）に第１係数を乗じた値と上記手振れ補正波形を加算した指令値にて駆動される。
時刻ｔ₁₁から所定時間経過後の時刻ｔ₂₁には第２のタイミングパルスＴＰ２が発生される。すると同様に撮像素子ＩＭＳは、時刻ｔ₂₂から時刻ｔ₂₃の期間中に受光部の電荷蓄積を行う。ここでの露光時間は図１９のステップ（１８６）で演算した高輝度グループＧＰ１に適した露光時間ｔ_e1が設定される。
そして時刻ｔ₂₃で電荷蓄積が終了すると、蓄積電荷の転送・読み出しと共に、ピッチ方向の画素ずらし基準波形（ｅ）が発生される。するとピッチ方向のレンズ変位（ｉ）も、この基準波形（ｅ）に第１係数を乗じた値と上記手振れ補正波形を加算した指令値にて駆動される。
【０１０４】
時刻ｔ₂₁から所定時間経過後の時刻ｔ₃₁には第３のタイミングパルスＴＰ３が発生される。すると同様に撮像素子ＩＭＳは、時刻ｔ₃₂から時刻ｔ₃₃の期間中に受光部の電荷蓄積を行う。ここでの露光時間は再び前記中輝度グループＧＰ２に適した露光時間ｔ_e2が設定される。
そして時刻ｔ₃₃で電荷蓄積が終了すると、蓄積電荷の転送・読み出しと共に、ヨー方向の画素ずらし基準波形（ｆ）は元の値に戻される。するとヨー方向のレンズ変位（ｊ）は、手振れ補正波形のみに応答した指令値にて駆動される。
【０１０５】
時刻ｔ₃₁から所定時間経過後の時刻ｔ₄₁には最後のタイミングパルスＴＰ４が発生する。すると同様に撮像素子ＩＭＳは、時刻ｔ₄₂から時刻ｔ₄₃の期間中に受光部の電荷蓄積を行う。ここでの露光時間は図１９のステップ（１８６）で演算した低輝度グループＧＰ３に適した露光時間ｔ_e3が設定される。
そして時刻ｔ₄₃で電荷蓄積が終了すると、蓄積電荷の転送・読み出しと共に、ピッチ方向の画素ずらし基準波形（ｅ）も元の値に戻される。するとピッチ方向のレンズ変位（ｉ）も、手振れ補正波形のみに応答した指令値にて駆動される。そして時刻ｔ₅ でスイッチＳＷ１がオフされると、手振れ検知及び第２レンズ群の駆動が停止される。
【０１０６】
上記手振れ補正及び画素ずらし制御中の時刻ｔ₁₁、ｔ₂₁、ｔ₃₁、ｔ₄₁、ｔ₅ における像の位置は前述の図４において、それぞれＩＭ１、ＩＭ２、ＩＭ３、ＩＭ４、ＩＭ１となり、各像の上下、左右の位置が画素間隔の半分だけずれた画素ずらしが実現される。そして画素ずらし中の４回の露光時に、各被写体輝度グループに適した露光量が与えられる。
なお画素ずらし基準波形が矩形波ではなく台形波となっているのは、第２レンズＬ２の急激な位置変化による衝撃を緩和するためである。
【０１０７】
次に前記図９及び図１０を用いて本実施の形態による画素ずらしにより得た複数組の画像信号を合成し、１組の高精細画像信号を生成する原理について説明する。
図９は前述したように、画素ずらしにおける像と撮像素子の相対位置関係を説明する図である。図９の（ａ）は図４でも説明したもので、カメラ内に固定された撮像素子の画素に対して像がＩＭ１→ＩＭ２→ＩＭ３→ＩＭ４→ＩＭ１の順に移動することを示している。これは（ｂ）のごとく、不動の像に対して撮像素子の位置がＩＧ１→ＩＧ２→ＩＧ３→ＩＧ４→ＩＧ１の順に移動するのと全く等価である。そして本実施の形態では、画素ずらしの各ステップ、すなわち撮像素子の位置に応じて露光時間を変えているため、露光時間の多寡を図９（ｂ）において、丸の大小で示してある。
【０１０８】
次に、上記動作によって得た複数の画像を合成する方法を説明する。まず、撮像素子がＩＧ１に位置する時の各画素の出力信号をＩＧ１（ｉ，ｊ）とする。ここで撮像素子は（ｍ×ｎ）画素のエリアセンサである。同様にＩＧ２、ＩＧ３、ＩＧ４に位置する時の出力信号をＩＧ２（ｉ，ｊ）、ＩＧ３（ｉ，ｊ）、ＩＧ４（ｉ，ｊ）とする。
これらの４組の画像信号の合成方法を説明したものが図１０である。
【０１０９】
４組の（ｍ×ｎ）画素の信号を合成した（２ｍ×２ｎ）画素の新たな画像信号組をＩＭＧ（ｕ，ｖ）とする。そして画像信号ＩＭＧ（ｕ，ｖ）の左上の４画素は、４組の元の画素を図のごとく組み立てたものである。そこでこの図を基に画像復元方法を考えると、

の式に従えば、４組の画像信号から１組の高精細画像信号を生成できる。ここでＫ₁ ないしＫ₃ は、露光時間の違いによる各画像信号組の出力レベルのずれを補正する係数で、
Ｋ₁ ＝Ｃ／ｔ_e1 ………（２０）
Ｋ₂ ＝Ｃ／ｔ_e2 ………（２１）
Ｋ₃ ＝Ｃ／ｔ_e3 ………（２２）
で表される。ここでＣは定数のため、Ｋ₁ ＞Ｋ₂ ＞Ｋ₃ の大小関係となる。
【０１１０】
図２３はこの作用を説明するためのもので、図２０と同じく横軸は被写体輝度、縦軸は出力電圧である。ここでは露光時間の一番長い画像信号組ＩＧ４の補正係数Ｋ₃ を１とし、ＩＧ１、ＩＧ３はＫ₂倍、ＩＧ２はＫ₁倍して合成する。また元の画像信号出力の有効範囲をＶ_minとＶ_maxの間の範囲とし、画像信号組ＩＧ４の上限領域、画像信号組ＩＧ１、ＩＧ３の上下限領域、及び画像信号組ＩＧ２の下限領域では該有効範囲外の出力信号は用いずに、画素ずらしによる画像合成後に周囲の画素を用いた補間演算により、画像信号を得る。
【０１１１】
すなわち、露光時間の短い画素組は画像信号に再生する時点で出力電圧の増幅率を上げ、反対に露光時間の長い画素組は出力電圧の増幅率を下げることで、合成された高精細画像の各画素の再生レベル正規化を図っている。そして１つの画素組では飽和しているが、他の画素組では飽和が生じていない領域では、飽和していない画像信号から飽和した画像信号を補間により生成する。以上の操作により、Ｈ３からＨ４までの輝度範囲の被写体像を忠実に再現できる。
【０１１２】
本実施の形態では、画素ずらし操作における４回の露光のうち、２回は主被写体の輝度レベルに合わせた同一の露光時間としている。これは主被写体に適した露光の回数を多くし、主被写体の画像情報がなるべく多く得られる様にしたためである。
また本実施の形態では、画像合成時の信号正規化を露光時間の伸縮により制御しているが、複数組の画像信号の同一撮影領域での出力値が等しくなるように補正を行ってもよい。
なお本実施の形態での画素ずらし及び画像合成方法は、白黒撮像素子或いは色分解プリズムを用いた多板式カラー撮像素子に適用されるもので、モザイク型色フィルターを用いた単板式カラー撮像素子では画素ずらし量や画像合成方法の点で多少の違いはあるが、基本的な考えは同一である。
【０１１３】
上記第５の実施の形態によれば、
（１）多分割センサで測光した被写体の輝度分布情報から、画素ずらし実行時の各画像の露光レベルを調整し、これらを合成することにより、高精細かつ広ダイナミックレンジの画像を得ることができる。
（２）主被写体類推手段を有し、その検出結果に基づいて露光レベルを調整するため、主被写体の画像再現性が高まる。
（３）画素ずらしに伴う複数回の露光のうち、主被写体の輝度レベルに適した露光の回数を多くするため、主被写体の画像再現性がさらに高められる。
という効果がある。
【０１１４】
（第６の実施の形態）
前記第５の実施の形態は画素ずらし回数は固定で、被写体輝度状況に応じて露光レベルを調整する実施の形態であった。以下に示す第６の実施の形態は、カメラの撮影状態に応じて最適な画素ずらしモードを選択、かつ選択された画素ずらしモードに適した露光レベル調整を行う実施形態を示す。
図２４は第６の実施の形態の制御フローの一部、前記図１２は第２の画素ずらしモード原理図、図１３は第２の画素ずらしモードにおける画像合成の原理説明図である。以下、図面を用いて第６の実施の形態の動作を説明する。
【０１１５】
第６の実施の形態のカメラの制御フローは、図１８に示した第５の実施の形態のカメラの制御フローと基本的な部分は同一であるが、ステップ（１１５）の「露光・画素ずらし条件設定」部分を図２４に示すサブルーチンとすることで、第６の実施の形態特有の作用を実現させている。以下、図１８及び図２４を用いて第６の実施の形態のフローを説明するが、図１８のフローについては第５の実施の形態で詳細な説明を行っているため、ここでは簡単に説明する。
【０１１６】
図１８において、ステップ（１０２）でＳＷ１がオンと判断されるとステップ（１１１）へ移り、ステップ（１１１）、ステップ（１１２）でＩＳ開始命令の送信と、パラメータ通信を行う。続いてステップ（１１３）、ステップ（１１４）で測光及び焦点検出を行い、その結果をレンズ内マイコンＬＣＰＵにも送信する。
次のステップ（１１５）では図２４に示すフローを実行する。図２４のステップ（２６１）では、第５の実施の形態の図１９のステップ（１８１）と同様に、測光センサＳＮＳ上に投影された被写体を複数のブロックにブロック化する。
続いてステップ（２６２）では、図１９のステップ（１８２）と同様に、上記複数ブロックの中から主被写体を類推する。
ステップ（２６３）では、レンズ内マイコンＬＣＰＵに対し、所定時間内の手振れ角速度ピーク値ω_peakの送信要求を行う。するとレンズ内マイコンＬＣＰＵは、例えば２秒間中のピッチ或いはヨー方向の手振れ角速度最大値ω_peakをカメラ内マイコンＣＣＰＵに送信する。
【０１１７】
ステップ（２６４）では次式
δ＝ｆ×ω_peak×ｔ_exp ………（２３）
に従って、手振れ補正不作動時の露光中の像振れ量最大値δを演算する。ただしｆは結像光学系の焦点距離、ｔ_exp は測光結果から導かれた主被写体の露光秒時、すなわち電荷蓄積時間である。ここで導かれた像振れ量δは、画素ずらしを実行すべきか否かの判定をするための手振れ指標として、以下のステップで利用される。
ステップ（２６５）では像振れ量δの大きさ判定を行う。そして像振れ量δが所定値ＤＥＬ１以下なら、手振れによる像劣化の影響が少なく、画素ずらしによって十分な高精細化が可能であるとして、ステップ（２７１）で画素ずらし回数Ｎ_SFを４回に設定する。ここで画素ずらし回数が４回というのは第５の実施の形態で説明した画素ずらし及び画像合成方法のことであり、これを第１の画素ずらしモードと称する。第１の画素ずらしモード時は、ステップ（２７２）以降を実行する。
【０１１８】
ステップ（２７２）ないしステップ（２７５）では、図１９のステップ（１８３）ないしステップ（１８６）と同一の動作を実行し、４回の画素ずらし操作時の各露光時間ｔ_e1ないしｔ_en=3を決定する。ステップ（２７５）実行後はステップ（２６６）に進む。
ステップ（２６５）で像振れ量δが所定値ＤＥＬ２以下（ただしＤＥＬ２＞ＤＥＬ１）と判定されたらステップ（２８１）で画素ずらし回数Ｎ_SFを２回に設定する。これは手振れ補正を実行しても手振れによる若干の画質劣化が予想されるため、画素ずらし回数が少ないモード（これを第２の画素ずらしモードと称する）を選択して、手振れによる画質低下と画素ずらしによる画質向上の最適化を図るためである。第２の画素ずらしモードではステップ（２８２）以降を実行する。
【０１１９】
ステップ（２８２）では、主被写体の次に重要な従被写体を推定する。例えばステップ（２６１）で分割された各ブロックのうち、面積の一番大きなブロックが従被写体と類推される。
ステップ（２８３）では、ステップ（２６２）で決定された主被写体及びステップ（２８２）で決定された従被写体の輝度計算を行う。
ステップ（２８４）では、上記ステップ（２８３）で計算された輝度から、主・従被写体の輝度に適する露光量Ｅ_main、Ｅ_sub が演算される。
ステップ（２８５）では、上記ステップ（２８４）で計算された露光量から、主・従被写体の輝度に適する露出時間ｔ_emain 、ｔ_esubが演算される。ステップ（２８５）実行後はステップ（２６６）に進む。なお第２の画素ずらしモードについては後述する。
ステップ（２６５）で像振れ量δが所定値ＤＥＬ２より大きいと判定されたらステップ（２９１）で画素ずらし回数Ｎ_SFを１回、すなわち画素ずらし非実行に設定する。これは手振れ補正を実行しても、手振れによる画質劣化の影響が画素ずらしによる画質向上を上回ることが予想されるため、画素ずらしを禁止する。
【０１２０】
ステップ（２９３）では、ステップ（２６２）で決定された主被写体の輝度計算を行う。
ステップ（２９４）では、上記ステップ（２９３）で計算された輝度から、主被写体の輝度に適する露光量Ｅ_mainが演算される。
ステップ（２９５）では、上記ステップ（２９４）で計算された露光量から、主被写体の輝度に適する露出時間ｔ_emain が演算される。ステップ（２９５）実行後はステップ（２６６）に進む。
ステップ（２７５）、ステップ（２８５）或いはステップ（２９５）を実行後は、ステップ（２６６）へ移行する。
ステップ（２６６）ではレンズ内マイコンＬＣＰＵに上記フローで決定した画素ずらしモードを送信する。
ステップ（２６７）ではカメラ内の表示手段ＤＩＳＰに上記画素ずらしモードの種別を表示して、撮影者にどのモードで撮影が行われるのかを報知する。
ステップ（２６７）実行後は図１８のステップ（１１６）に戻る。
【０１２１】
ステップ（１１６）ではスイッチＳＷ２の判別を行い、ＳＷ２がオンならステップ（１１７）へ進む。
ステップ（１１７）ないしステップ（１２２）では第５の実施の形態と同様に画素ずらしを実行するが、第６の実施の形態では前述のごとくステップ（２７１）ないしステップ（２９５）で複数の画素ずらしモードを選択的に用いるため、ステップ（１１７）ないしステップ（１２２）でも各画素ずらしモードに応じた動作で制御される。
続いてステップ（１２３）ではレンズ内マイコンＬＣＰＵに画素ずらし完了通信を行い、ステップ（１２４）へ進む。
ステップ（１２４）でも前記複数の画素ずらしモードに応じた画像合成を選択して行う。
ステップ（１２５）では前ステップで合成された画像を記録し、ステップ（１０２）へ戻る。
【０１２２】
第２の画素ずらしモード、すなわち画素ずらし回数が２回の時の作用について前記図１２を用いて説明する。
なお、この図１２は、第１、第５の実施の形態における図９に相当する。図１２の（ａ）は受光素子に対する画像の移動を示したものである。画像のある点はまずＩＭ２１に位置した状態で、主被写体の輝度に適した露光条件で受光素子の電荷蓄積・読み出しがなされる。ついで画素ずらし動作で像がＩＭ２２に移動した後、被写体の輝度に適した露光条件で再び受光素子の電荷蓄積・読み出しがなされる。そして像は元の位置ＩＭ２１に戻される。
図１２の（ｂ）は上記像の動きを撮像素子の動きに置き換えたもので、最初ＩＧ２１に位置する撮像素子は露光時間ｔ_emain で露光される。続いて画素ずらし動作によってＩＧ２２に移動し、露光時間ｔ_esubで露光された後にＩＧ２１に戻る。
【０１２３】
図１３は第２の画素ずらしモードにおける画像合成方法を説明する図である。第２の画素ずらしモードではＩＧ２１（ｉ，ｊ）とＩＧ２２（ｉ，ｊ）の２組の画像、すなわち合計（２×ｍ×ｎ）個の画像信号から、（４×ｍ×ｎ）個で構成されるＩＭＧ２（ｕ，ｖ）の画像信号を合成する。そのために図１３に示すごとく、ＩＭＧ２（ｕ，ｖ）の黒丸で示す画素はＩＧ２１（ｉ，ｊ）或いはＩＧ２（ｉ，ｊ）の画素をそのまま用い、白丸で示す画素はその周辺の４画素（４画素が無い時は２或いは３画素）の平均値から合成する。
【０１２４】
これを式で表すと

と表わせる。ここでＫ_main及びＫ_sub は、第１の実施の形態と同じく露光時間の違いによる各画像信号組の出力レベルのずれを補正する係数で、
Ｋ_main＝Ｃ／ｔ_emain ………（２８）
Ｋ_sub ＝Ｃ／ｔ_esub ………（２９）
で表わせる。
【０１２５】
上記第６の実施の形態によれば、前記第５の実施の形態の効果のほかに、
（４）手振れ量に応じて最適な画素ずらしモードを選択し、かつ選択された画素ずらしモードに適した露光レベル調節を行うため、撮影状況に応じて精細度及ダイナミックレンジのバランスの取れた画像を得ることができる。
という効果がある。
【０１２６】
（第７の実施の形態）
前記第６の実施の形態は手振れに応じた最適画素ずらし及び露光調整モードを選択する実施形態を示した。以下に示す第７の実施の形態は、撮影者により設定されたカメラの撮影モードから画素ずらし実行の適否を判断し、画素ずらしモード及び露光調整モードを切り替える実施形態を示す。
第７の実施の形態のカメラの制御フローも前記第６の実施の形態と同様に、基本的な部分は図１８に示したカメラの制御フローと同一であり、ステップ（１１５）の「露光・画素ずらし条件設定」部分を図２５に示すサブルーチンとすることで、第７の実施の形態特有の作用を実現させている。以下、図１８及び図２５を用いて第７の実施の形態のフローを説明するが、図１８のフローについては第５の実施の形態で詳細な説明を行っているため、ここでは簡単に説明する。
【０１２７】
図１８において、ステップ（１０２）でＳＷ１がオンと判断されるとステップ（１１１）へ移り、ステップ（１１１）、ステップ（１１２）でＩＳ開始命令の送信と、パラメータ通信を行う。続いてステップ（１１３）、ステップ（１１４）で測光及び焦点検出を行い、その結果をレンズ内マイコンＬＣＰＵにも送信する。
次のステップ（１１５）では図２５に示すフローを実行する。図のステップ（３６１）では、図１９のステップ（１８１）と同様に、測光センサＳＮＳ上に投影された被写体を複数のブロックにブロック化する。
続いてステップ（３６２）では、図１９のステップ（１８２）と同様に、上記複数ブロックの中から主被写体を類推する。
ステップ（３６３）ではカメラＣＭＲの撮影モード選択スイッチＳＷＭＯＤの状態判別を行い、撮影者によって設定された露出制御モード等の撮影条件を認識する。
【０１２８】
ステップ（３６４）では撮影モードが風景モードか否かの判別を行う。風景モードとは絞り制御値を小絞り（大Ｆナンバー）として被写界深度を深くする露出制御モードである。そして風景モード設定時は被写体が静止しており、カメラもしっかりとホールディングされて手振れも生じにくいと予想されるため、ステップ（３７１）に進んで画素ずらしを４回行う高精細モードに設定する。ステップ（３６４）で風景モードでないと判定されたらステップ（３６５）へ進む。
ステップ（３６５）では撮影モードがポートレイトモードか否かの判別を行う。ポートレイトモードは絞り制御値を開放近傍絞り（小Ｆナンバー）として被写界深度を浅くする露出制御モードである。ポートレイトモード時も風景モードと同様の撮影状態であると予想されるため、ステップ（３７１）へ進む。ステップ（３６５）でポートレイトモードでないと判定されたらステップ（３６６）へ進む。
【０１２９】
ステップ（３６６）では撮影モードがスポーツモードか否かの判別を行う。スポーツモードは露出秒時を高速秒時にして被写体の動きを止める露出制御モードである。スポーツモード選択時は被写体が動いており、カメラにはパンニング操作、すなわち大きな手振れと同様のカメラの運動が生じると予想される。また画素ずらし動作中の被写体の動きにより被写体振れも発生し、画素ずらしによる高詳細化が期待できないばかりか、かえって不自然な写真になってしまうことも予想される。従ってスポーツモード設定時はステップ（３９１）へ進み、Ｎ_SF＝１すなわち画素ずらしを禁止する。ステップ（３６６）でスポーツモードでないと判定されたら、すなわち風景、ポートレイト、スポーツのいずれのモードでも無いと判定されたらステップ（３８１）へ進み、画素ずらし回数を２回に設定する。
【０１３０】
ステップ（３７１）ないしステップ（３７５）、ステップ（３８１）ないしステップ（３８５）、ステップ（３９１）ないしステップ（３９５）は、図２４に示した第６の実施の形態のステップ（２７１）ないしステップ（２７５）、ステップ（２８１）ないしステップ（２８５）、ステップ（２９１）ないしステップ（２９５）と同一内容の動作を実行する。すなわち、各画素ずらしモードに応じた露光調節量を決定するが、詳しい動作は第６の実施の形態で説明済みのため、省略する。
ステップ（３７５）、ステップ（３８５）或いはステップ（３９５）を実行後は、ステップ（３６７）へ移行する。
ステップ（３６７）ではレンズ内マイコンＬＣＰＵに上記フローで決定した画素ずらしモードを送信する。
ステップ（３６８）ではカメラ内の表示手段ＤＩＳＰに上記画素ずらしモードの種別を表示して、撮影者にどのモードで撮影が行われるのかを報知する。
ステップ（３６８）実行後は図１８のステップ（１１６）に戻る。
【０１３１】
ステップ（１１６）ではスイッチＳＷ２の判別を行い、ＳＷ２がオンならステップ（１１７）へ進む。
ステップ（１１７）ないしステップ（１２２）では第６の実施の形態と同様に選択された画素ずらしモードに従って画素ずらしが実行される。
続いてステップ（１２３）ではレンズ内マイコンＬＣＰＵに画素ずらし完了通信を行い、ステップ（１２４）へ進む。
ステップ（１２４）でも前記複数の画素ずらしモードに応じた画像合成を選択して行う。
ステップ（１２５）では前ステップで合成された画像を記録し、ステップ（１０２）へ戻る。
【０１３２】
上記第７の実施の形態によれば、前記第５の実施の形態の効果のほかに、
（５）撮影者により設定されたカメラの撮影モードから画素ずらし実行の適否を判断し、画素ずらしモードを切り替えることにより、カメラ及び被写体の動きに適した画素ずらし動作が実行できる。その結果、撮影状況に応じて精細度及びダイナミックレンジのバランスの取れた画像を得ることができる。
という効果がある。
また、本実施の形態では、撮影モードの一例として露出制御モードを対象としたが、焦点検出モード等に応じて画素ずらしモードを切り替えても良い。
【０１３３】
（他の変形例）
前記第５ないし第７の実施の形態においては、手振れ補正及び画素ずらしのための像移動手段として、結像光学系内のレンズ群を光軸に対して垂直方向にシフトさせ、これによる光軸偏光作用を利用しているが、その代わりに結像光学系の一部に、２枚の透明平行平板とこれに封止された透明液体からなる、いわゆる可変頂角プリズムを用いることも可能である。
また、手振れ補正手段を有しない形態においても、本発明の効果は等しく発揮できる。
また、画素ずらしの際の複数の画像間での露光量調節方法として、露光時間を可変としたが、絞り値を可変としても構わない。或いは撮影光学系中にＥＣ（エレクトロ・クロミック）素子または液晶素子等の透過光量調節手段を配置し、その濃度を可変とすることで、露光量を調節しても構わない。
また本実施の形態において、露光レベルの異なる複数の画像組を得る際、画素ずらしを行わない形態においても、本発明の効果は発揮できる。この場合は画像の高詳細化の効果はなくなるが、被写体の状態に応じた広ダイナミックレンジ画像を得るという効果が発揮できる。
【０１３４】
（第８の実施の形態）
第８の実施の形態におけるカメラ内マイコンＣＣＰＵ制御フローは前記図１８と実質的に同様に行われるが、ステップ（１２４）の処理内容が異なる。すなわち、ステップ（１２４）では画素ずらしによって得た複数の画像信号から像振れを判定し、その判定結果に基づいて所定の方法で画像合成し、１つの高精細画像を作成するサブルーチンである。詳しい動作内容は図３３で説明する。
【０１３５】
なお、レンズ内マイコンＬＣＰＵの制御フローは前記図７と実質的に同じ処理が行われる。
【０１３６】
また、図１８、図７の制御フローによるカメラ及びレンズの動作は前記図８に示すタイミングチャートに沿って第１の実施の形態で説明したのと実質的に同様に行われる。
【０１３７】
次に図２６ないし図３２を用いて画素ずらしにより得られた複数画像から、手振れによる像振れ判定を行う方法について説明する。
図２６及び図２７は２組の１次元画像信号の相関度から両画像の相対位置ずれ量を算出する原理を示す。両図において、横軸は撮像素子の画素座標、縦軸は各画素の出力信号値である。
【０１３８】
図２６（ａ）のＩＭ１はある時刻に取得された第１の画像信号組の出力、ＩＭ２はそれから所定時間後に取得された第２の画像信号組の出力で、両画像は画素ずらし動作或いは手振れによる像振れのために、画素間隔の整数倍だけ位置ずれしているものとする。
図２６（ｂ）は第２の画像信号ＩＭ２を左方向に２画素分シフトしたもので、両画像信号は完全に一致する。
【０１３９】
ここで２画像の相関度（Correlation ）ＣＲを、
ＣＲ＝１−Σ｛ＡＢＳ（ＩＭ２（ｉ）−ＩＭ１（ｉ））／（ＩＭ１（ｉ）＋ＩＭ２（ｉ））｝ ………（３０）
ただしＡＢＳは絶対値、ｉは画素番号、Σはｉ＝１から所定画素番号までの和演算子
と定義すると、図２６の例では画素シフト量ＳＴが−２の時、相関度ＣＲが最大値１となる。この状態をＳＴ_max ＝−２、ＣＲ_max ＝１と表す。
【０１４０】
図２７（ａ）は２組の画像間隔が画素間隔の整数倍とは異なる場合（同図では１．５画素）の説明図である。
図２７（ｂ）は第２の画像信号ＩＭ２を左方向に１画素分シフトしたもので、相関度ＣＲは０．８となる。そしてさらにもう１画素分シフトしても相関度ＣＲは１にはならない。
【０１４１】
この時の画素シフト量ＳＴと相関度ＣＲの関係を表したものが図２８である。
図２８によると、画素シフト量ＳＴを＋２から−３まで変化させながら相関度ＣＲを計算すると、画素シフト量ＳＴが−１と−２で相関度ＣＲが最大値０．８となる。そこで相関度ＣＲを直線回帰で補間すると、画素シフト量ＳＴが−１．５の時、相関度ＣＲが真の最大値０．９になることが判る。すなわち、ＳＴ_max ＝−１．５、ＣＲ_max ＝０．９となる。
【０１４２】
上記の説明は２組の１次元画像における像ずれ量の算出方法だが、これを拡張することにより、２組の２次元画像における上下、左右方向の像ずれ量も算出できる。具体的には特開昭６４−１０７８７号公報に開示されているように、２次元の画像信号を上下、左右方向の１次元信号に射影圧縮し、それぞれの相関演算により像の動きベクトルすなわち上下、左右方向の像ずれ量を検出できる。或いは、２次元画像を２方向に順次ずらしながら相関演算し、２次元の動きベクトルを直接求めることも可能である。
【０１４３】
図２９は、手振れの影響を受けずに正確な画素ずらし制御が実行された場合の、像移動状況を示す図であり、図４でも説明した像と撮像素子の相対位置関係を示している。
図２９において、像のある点が左下の画素上の点ＩＭ１に位置する状態で第１の画像信号の取得（撮像素子の電荷蓄積及び読み出し）を行う。続いて水平方向（手振れ補正のヨー方向に対応）に０．５画素間隔分の画素ずらしを行って像位置をＩＭ２に移動させ、第２の画像信号を取得する。
【０１４４】
図３０は上記図２９で取得した第１及び第２の画像信号の相関度ＣＲを示す図である。横軸は２組の画像信号の相関演算を行う際の画素の相対シフト量で、水平方向のシフト量をＳＴＨ、垂直方向のシフト量をＳＴＶとしてある。縦軸は相関度ＣＲである。図中のＣＲＨは、２組の２次元画像を水平方向に相対的にＳＴＨ画素（±３画素）だけシフトして演算した相関度を、ＣＲＶは同じく垂直方向にＳＴＶ画素（±３画素）だけシフトして演算した相関度を示す。
【０１４５】
ここで図２９の画素ずらしは水平方向のみに０．５画素ずらし、垂直方向（手振れ補正のピッチ方向）にはずらしていないため、相関度ＣＲが最大となる画素シフト量（これを最大相関シフト量と称す）は、ＳＴＨ_max ＝−０．５、ＳＴＶ_max ＝０となる。またこの時の相関度最大値ＣＲＨ_max 、ＣＲＶ_max は１を若干下回る値となる。これは、第１及び第２の画像が画素間隔の整数倍とは異なるずれ量で取得されたため、各画素の信号が完全には一致していないからである。そしてこの現象は画素ずらしを行っていない上下方向についても当てはまるため、ＣＲＶ_max も１とはならない。
【０１４６】
図３１は、画素ずらし制御中に大きな手振れが発生し、手振れ補正を行っても像振れが発生した場合の像移動状況を示す。
図３１において、像のある点が左下の画素上の点ＩＭ１に位置する状態で第１の画像信号の取得を行う。続いて破線矢印のごとく水平方向に０．５画素間隔分の画素ずらしを行ったが、手振れによる像振れが上乗せされ、像位置がＩＭ２に移動した時に、第２の画像信号を取得している。
【０１４７】
図３２は上記図３１で取得した第１及び第２の画像信号の相関度ＣＲを示す図で、図中の各記号は前記図３０と同一の意味を表す。
図３２によると、最大相関シフト量はＳＴＨ_max ＝−０．７、ＳＴＶ_max ＝−０．３となる。そこで図３０における手振れが無い場合の最大相関シフト量との差（計算式上は和）をδ_H 、δ_V とすると、
δ_H ＝−０．７＋（−０．５）＝０．２ ………（３１）
δ_V ＝−０．３＋０＝０．３ ………（３２）
となり、上記δ_H 、δ_V がそれぞれ画素ずらし中の水平、垂直方向の手振れによる像振れ量（単位は画素間隔）となる。この像振れ量δ_H 、δ_V が所定値、例えばδ_MAX ＝±０．１画素間隔を超えると、画素ずらしによる高精細化の効果が打ち消されてしまうため、その時には画素ずらしモードの変更等の対処を行う。
【０１４８】
ここで、本実施の形態では手振れ補正機構が動作しているため、理想的には手振れによる像振れは発生しないはずだか、現実には振れ検知センサの出力エラー、手振れ補正能力以上の大きな振れの発生等で像振れが発生する可能性がある。そして上記原因による像振れは撮影画面の全面に渡って一様に生じる。
【０１４９】
次に画素ずらしにより得た複数組の画像信号を合成して１枚の高精細画像信号を生成する原理については、第１の実施の形態において図９、図１０及び式（７）〜（１０）と共に説明したのと同様の方法に基づくものである。
なおこの方法は白黒撮像素子或いは色分解プリズムを用いた多板式カラー撮像素子に適用されるもので、モザイク型色フィルターを用いた単板式カラー撮像素子では画素ずらし量や画像合成方法の点で多少の違いはあるが、基本的な考えは同一である。
【０１５０】
図３３は上記図２６ないし図３２及び図９、図１０で説明した画素ずらし中の手振れ判定と画像合成の作用を示すフロー図で、図６のステップ（１２４）の画像合成サブルーチンに相当する。
まずステップ（１６１）では、画素ずらし回数カウンタＣＮＴを０に初期化する。
ステップ（１６２）では、前述の式（３０）に従って第１及び第２の画像信号組の相関度を演算する。
ステップ（１６３）では、上記相関演算結果から、最大相関シフト量ＳＴＨ_max 、ＳＴＶ_max を計算する。
ステップ（１６４）では、相関度最大値ＣＲＨ_max 、ＣＲＶ_max を計算する。
ステップ（１６５）では、像振れ量δ_H 、δ_V を計算する。
ステップ（１６６）では、カウンタＣＮＴに１を加えて更新する。
【０１５１】
ステップ（１６７）では、カウンタＣＮＴと画素ずらし回数を表す所定値Ｎ_SFとの比較を行う。例えばＮ_SF＝４の場合、ステップ（１６２）ないしステップ（１６５）の演算は、第１と第２の画像信号組、第２と第３の画像信号組、第３と第４の画像信号組の間で合計３回行うことになる。従ってＣＮＴがＮ_SF−１に達していなければステップ（１６２）に戻って次の画像信号組に対するステップ（１６２）ないしステップ（１６６）の演算を繰り返し実行する。ＣＮＴがＮ_SF−１に達したら、ステップ（１６８）に進む。
【０１５２】
ステップ（１６８）では、上記ステップ（１６５）で計算したすべての像振れ量について、所定値δ_max との比較を行う。そしてすべての像振れ量が所定値δ_max より小さければ、画素ずらしによる高精細化が期待できるため、ステップ（１６９）に進んで図１０で示した方法により画像合成を行う。
ステップ（１７０）では正規の画素ずらし動作が実行されたことを、表示手段ＤＩＳＰに表示する。そしてステップ（１７１）において図６のメインフローにリターンする。
一方ステップ（１６８）において、所定値δ_max 以上の像振れの存在が確認されたら、ステップ（１７２）へジャンプし、画素ずらしによる画像合成は行わない旨を報知する警告表示を、同じく表示手段ＤＩＳＰに表示する。そしてステップ（１７１）において図６のメインフローにリターンする。この時は合成画像ではない原画像、例えば第１の画像信号組が最終的な画像信号となる。
【０１５３】
上記第８の実施の形態によれば、
（１）画素ずらし操作で得た複数の画像信号同士の相関演算結果から手振れによる像振れを抽出し、像振れの大小に応じて画素ずらしによる画像合成の実行可否を選択するため、手振れによる像劣化の影響を抑え、かつ画素ずらしによる高精細な画像信号を得ることができる。
（２）画素ずらしの実行可否結果を表示手段を用いて撮影者に報知するため、撮影者は得られた画像の精細度を確認できるとともに、手振れによって画素ずらしが実行されなかった時には撮影をやり直す等の対策を講じることができる。
（３）画素ずらしによる画像の移動毎に像振れ演算を行うため、高精度の像振れ検知ができ、手振れによる画素ずらし動作の失敗を確実に排除できる。
という効果がある。
【０１５４】
（第９の実施の形態）
前記第８の実施の形態は画素ずらしによる像の移動毎に像振れ検出を行い、１回でも大きな像振れが発生したら画素ずらしを禁止する実施形態であった。以下に示す第９の実施の形態は、画素ずらし実行後に像を初期位置に戻して像振れ判定用の予備画像信号を取得し、これを用いて像振れ検知を行う実施の形態を示す。
【０１５５】
図３４は第９の実施の形態の画素ずらし動作時の像移動軌跡、図３５及び図３６はカメラの制御フローである。以下、図面を用いて第９の実施の形態の動作を説明する。
図３４において、撮像素子に対して像を破線の軌跡に従って移動させ、５組の画像信号を取得する。しかし、手振れのために実際の像はＩＭ１→ＩＭ２→ＩＭ３→ＩＭ４→ＩＭ５のごとく移動するものとする。そして画素ずらしによる高精細化のためにＩＭ１ないしＩＭ４の４組の像を用いる一方、像振れ検知のための相関演算にはＩＭ１及びＩＭ５の２組の像を用いる。すなわち、手振れが無ければＩＭ１及びＩＭ５の２像は完全に一致し、ＳＴＨ_max ＝ＳＴＶ_max ＝０、δ_H ＝δ_V ＝０、ＣＲＨ_max ＝ＣＲＶ_max ＝１となるのに対し、手振れが生ずると画素ずらし動作の全行程中の像振れ量積算値がδ_H 、δ_V として表れる。
【０１５６】
図３５はカメラのメインフローである。当フローは、図１８に示した第８の実施の形態のカメラの制御フローと基本的な部分は同一であるが、図１８のステップ（１２２）において、画素ずらし実行回数を判定し、条件分岐する部分が異なる。すなわち、図１８の第８の実施の形態では画素ずらしによる４組の画像信号取得完了後にステップ（１２３）に分岐した。
一方、図３５の本実施の形態では、４組の画像信号取得後に像位置を初期位置に戻し、像振れ検知用に第５組目の画像信号を取得する。そこでステップ（１２２）において、画素ずらし回数計測用カウンタＣＮＴがＮ_SF＋１＝５になってからステップ（１２３）に分岐する。
ステップ（１２３）実行後はステップ（１２４）において、図３６に示すサブルーチンにて画像合成を行う。上記以外のステップは第８の実施の形態の作用と同一のため、説明を省略する。
【０１５７】
図３６は、前記図３５のメインフロー中の、ステップ（１２４）の画像合成サブルーチンを示すフロー図で、第８の実施の形態の図３３と同様に、画素ずらし中の手振れ判定と画像合成を実行する。
まずステップ（４６１）では、前述の式（３０）に従って第１及び第５の画像信号組の相関度を演算する。
ステップ（４６２）では、上記関数演算結果から、最大相関シフト量ＳＴＨ_max 、ＳＴＶ_max を計算する。
ステップ（４６３）では、相関度最大値ＣＲＨ_max 、ＣＲＶ_max 、を計算する。
ステップ（４６４）では、像振れ量δ_H 、δ_V を計算するが、本実施の形態ではステップ（４６２）で計算された最大相関シフト量ＳＴＨ_max 、ＳＴＶ_max が、そのまま像振れ量δ_H 、δ_V となる。
【０１５８】
ステップ（４６５）では、上記ステップ（４６４）で計算した像振れ量について、第１の所定値δ₁ との比較を行う。そして像振れ量が第１の所定値δ₁ より小さければ、手振れによる像振れが極めて小さく、画素ずらしによる高精細化が期待できるため、ステップ（４６６）に進んで図１０で示した方法により４組の画像の合成を行う。
ステップ（４６７）では、４画像合成による画素ずらしを実行したことを、表示部ＤＩＳＰに表示する。そしてステップ（４７２）に進んで図３５のメインフローにリターンする。
【０１５９】
一方ステップ（４６５）において、像振れ量が第１の所定値δ₁ 以上であると判定されたらステップ（４６８）へ進む。ステップ（４６８）では、像振れ量と、第１の所定値δ₁ より大きな第２の所定値δ₂ との比較を行う。そして像振れ量が第２の所定値δ₂ より小さければ、手振れによる像振れがやや大きいが、画素ずらしによる高精細化も若干は期待できるため、ステップ（４６９）に進んで２組の画像の合成を行う。これは、画素ずらし回数の増加は画像の高精細化に寄与するが、画像の取得時間が延びて手振れによる画質低下の影響を受けやすくなり、場合によっては画素ずらしを行わない原画像よりも低画質となってしまう場合もある。そこで本実施の形態では、若干の像振れが生じた時には４組全部の画像を用いず、画像の高精細化を若干犠牲にして手振れの影響を排除している。具体的には、第１及び第２の画像信号組を合成して水平方向のみの解像度を向上させる、或いは第１及び第３の画像信号組を合成し、画素の埋まらない空白部は周囲の画像信号を補間して生成する等の方法がある。
【０１６０】
ステップ（４６９）で所定の画像合成を行ったら、ステップ（４７０）に進み、２画像合成による画素ずらしを実行したことを、表示手段ＤＩＳＰに表示する。そしてステップ（４７２）に進んで図３５のメインフローにリターンする。
一方ステップ（４６８）において、第２の所定値δ₂ 以上の像振れの存在が確認されたら、像振れがかなり大きく、画素ずらしによってかえって画質が低下する可能性があるため、ステップ（４７１）へジャンプし、画素ずらしによる画像合成は行わない旨を報知する警告表示を同じく表示手段ＤＩＳＰに表示する。そしてステップ（４７２）において図３５のメインフローにリターンする。この時は合成画像ではない原画像、例えば第１の画像信号組が最終的な画像信号となる。
【０１６１】
上記第９の実施の形態によれば、前記第８の実施の形態の効果（１）（２）を有すると共に、
（４）２組の画像から画素ずらし動作の全時間中の像振れを検出するため、像振れ判定時間が短くて済む。
（５）記録用の最初の画像と、画素ずらし終了後に元の位置に戻した画像とで相関演算を行うため、相関演算結果から得られた画像の相対ずれ量が手振れによる像振れ量に一致し、像振れ検出演算が簡易になる。
（６）像振れ量に応じて、複数の画素ずらしモードから最適な画素ずらしモードを選択するため、手振れによる画素ずらし動作の失敗を確実に排除できる。
（７）選択された画素ずらしモードを表示するため、撮影者はどの程度の高精細画像が得られたかを把握することができる。
という効果がある。
【０１６２】
（第１０の実施の形態）
前記第８及び第９の実施の形態は画素ずらし用複数画像の相関演算から像振れを計算し、該像振れが所定値以上の時は画素ずらしを禁止する実施形態であった。以下に示す第１０の実施の形態は、この像振れが所定値以上でも像振れ補正対策を施して画素ずらしを可能とする実施の形態を示す。
【０１６３】
図３７は第１０の実施の形態の画素ずらし動作時の像移動軌跡、図３８は相関演算結果説明図、図３９はカメラの制御フローである。以下、図面を用いて第１０の実施の形態の動作を説明する。
図３７において、撮像素子に対して像を破線の軌跡に従って水平方向に０．５画素間隔分だけ移動させる。しかし、手振れのために実際の像は実線の矢印のごとく、ＩＭ１→ＩＭ２のように移動するものとする。
【０１６４】
図３８は図３７で取得した２組の像ＩＭ１とＩＭ２の相関演算結果である。この図３８より、ＳＴＨ_max ＝−１．５、ＳＴＶ_max ＝０、δ_H ＝１、δ_V ＝０、ＣＲＨ_max ＝ＣＲＶ_max ＝０．９４であることが分かる。ここで、垂直方向の像振れδ_V は０で問題無いが、水平方向の像振れδ_H は１画素間隔分あるため、このまま画像合成を行うと、画素ずらしを実施しない原画像よりさらに精細度の低い画像が得られてしまう。しかしながら、２組の像同士の像振れ量が画素間隔の整数倍にほぼ等しい量であれば、片方の像を該整数分だけ像振れと反対の方向にずらして合成すれば、この像振れを打ち消すことができる。例えば、図３７では第２の画像ＩＭ２は第１のＩＭ１に対し、画素ずらしと手振れのために水平方向に１．５画素間隔だけずれているが、画素ずらし後の画像合成時に第２の画像を予め１画素間隔分だけずらしてから合成すれば、手振れの影響が排除され、画素ずらし相当の０．５画素間隔分のずれのみが残る。
【０１６５】
具体的には、まず
ｎ_H ＝ＩＮＴ（δ_H ） ………（３３）
ｎ_V ＝ＩＮＴ（δ_V ） ………（３４）
ただしＩＮＴ（ ）は（ ）内の数値を四捨五入して整数化することを表すにしたがって像振れ量δ_H 、δ_V を整数ｎ_H 、ｎ_V に変換する。ついで、前述の式（８）における画像信号組ＩＧ２（ｉ，ｊ）の画像信号ｉ及びｊを、
ｉ←ｉ＋ｎ_H ………（３５）
ｊ←ｊ＋ｎ_V ………（３６）
にしたがって更新すると、像振れ相当分だけ像の相対位置が移動し、像振れを打ち消すことができる。
【０１６６】
上記操作を画像信号組ＩＭ３及びＩＭ４（計算上はＩＧ３及びＩＧ４）に対しても行う。この場合、像振れ計算のための相関演算は、すべて最初の画像信号組ＩＭ１を基準に行う方が良い。
以上の操作を行った後、式（７）ないし（１０）に従って画像合成を行えば、画像信号組間に画像間隔以上の像振れが生じていても、画素ずらしによる画像の高精細化が実現できる。
【０１６７】
この第１０の実施の形態によるカメラのメインフローは図１８に示した第８の実施の形態のメインフローと同一であり、ステップ（１２４）の画像合成サブルーチンのみが異なるので、図３９に第１０の実施の形態のサブルーチンを示す。まずステップ（５６１）では、画素ずらし回数カウンタＣＮＴを０に初期化する。
ステップ（５６２）では、前述の式（３０）に従って第１及び第２の画像信号組の相関度を演算する。
ステップ（５６３）では、上記相関演算結果から、最大相関シフト量ＳＴＨ_max 、ＳＴＶ_max を計算する。
ステップ（５６４）では、相関度最大値ＣＲＨ_max 、ＣＲＶ_max を計算する。
ステップ（５６５）では、像振れ量δ_H 、δ_V を計算する。
ステップ（５６６）では、像振れ量δ_H 、δ_V を整数化する。
【０１６８】
ステップ（５６７）では、像振れ量の大きさ判定を行い、像振れ量が所定値、例えば５画素間隔分より小さければ、ステップ（５６８）に進む。一方像振れ量が５画素間隔分以上あると、１組の画像蓄積中にも像振れが生じている可能性が大きいため、ステップ（５７５）へジャンプして像振れが大きいことを示す警告表示を表示部ＤＩＳＰに表示する。
その後、ステップ（５７６）にてメインルーチンへリターンするため、画素ずらしによる画像の合成は行われず、メインルーチンの次のステップ（１２５）にて原画像が記録装置に記録される。
【０１６９】
ステップ（５６７）よりステップ（５６８）に進むと、相関度最大値ＣＲＨ_max 、ＣＲＶ_max の大きさ判定を行い、相関度最大値が所定値、例えば０．５より大きければ、ステップ（５６９）に進む。一方、相関度最大値が低い場合は、相関演算から求めた像振れ量の信頼性が低いことを意味する。よって誤った像振れ結果に基づいて振れ補正を施して画像合成を行うと、かえって画質を低下させてしまう恐れがある。そこで相関度最大値が０．５以下の場合はステップ（５７５）にジャンプし、前述の場合と同様、ステップ（５７５）で警告表示を行い、ステップ（５７６）でリターンする。
像振れ量が所定値以下で、かつ相関度最大値が所定値以上ならステップ（５６７）、ステップ（５６８）を経由してステップ（５６９）に進む。
【０１７０】
ステップ（５６９）では、前述の式（３５）（３６）に従って像振れ補正を行う。
ステップ（５７０）では、カウンタＣＮＴに１を加えて更新する。
ステップ（５７１）では、カウンタＣＮＴと画素ずらし回数を表す所定値Ｎ_SFとの比較を行う。例えばＮ_SF＝４の場合、ステップ（５６２）ないしステップ（５６９）の演算は、第１と第２の画像信号組、第１と第３の画像信号組、第１と第４の画像信号組の間で合計３回行うことになる。従ってＣＮＴがＮ_SF−１に達していなければステップ（５６２）に戻ってステップ（５６２）ないしステップ（５６９）の演算を繰り返し実行する。ＣＮＴがＮ_SF−１に達したら、ステップ（５７２）に進む。
ステップ（５７２）では、図１０で示した方法により画像合成を行う。
ステップ（５７３）では、像振れ補正をした後に画素ずらしの画像合成を行ったことを示す表示を行う。そしてステップ（５７４）で図１８のメインフローにリターンする。
【０１７１】
上記第１０の実施の形態によれば、前記第８の実施の形態の効果（１）（２）を有すると共に、
（８）複数画像間の像振れを検出及び補正して画素ずらしの画像合成を行うため、１画素間隔分以上の大きな像振れが生じた時も、画素ずらしによる画像の高精細化が可能である。
（９）複数画像間の相関度（一致度）の大小から、画素ずらしによる画像合成の実行可否を判断するため、画素ずらしの失敗による画質低下を防止できる。
という効果がある。
【０１７２】
（他の変形例）
本発明は画素ずらし以外の目的で所定時間以内に複数の画像信号を取得し、これを合成する撮像装置についても利用できる。例えば撮像素子に異なる露光量を与えて複数の画像信号組を得、これを合成して広ダイナミックレンジ画像を得る撮像装置に適用すれば、手振れの影響を受けずに広ダイナミックレンジ画像を得ることができる。
或いは異なる時刻において取得された同一のシーンの画像信号を合成し、多重露光効果を得る撮像装置に適用すれば、動きのある被写体が多重に写し込まれ、静止被写体は振れることなく再生される。
【０１７３】
以下に、上述した各実施の形態から得られる効果を列挙する。
第１に、撮像光学系の形態如何に拘わらず、画素ずらし制御と手振れ補正制御が１つの可動光学部材にて正確に行われる撮像装置を提供できる。
第２に、ズーミング光学系或いはフォーカシング光学系の状態に応じて最適な第１係数及び第２係数を用いて制御するため、光学状態が変化しても常に画素ずらし制御と手振れ補正制御を正確に行う撮像装置を提供できる。
【０１７４】
第３に、装置単体で画素ずらしによる高精細画像が得られる撮像装置を提供できる。このためＣＲＴモニタやプリンタ装置等の外部装置で画像を出力表示する際に、画像合成機能を有する特殊な外部装置を必要とせず、取得した高精細画像を凡用の出力装置を用いて出力し鑑賞することができる。
第４に、撮像条件に応じて最適な画素ずらしモードを選択する撮像装置を提供でき、撮影者が煩雑な操作を行うことなく、高精細画像が得られる。
【０１７５】
第５に、撮像時の手振れによる画質劣化と画素ずらしによる高画質化を勘案し、最適な画素ずらしモードを選択する撮像装置を提供でき、撮影者が煩雑な操作を行うことなく、高精細画像が得られる。
第６に、撮影者の撮影意図に適した画素ずらしモードを選択する撮像装置が提供でき、撮影者が煩雑な操作を行うことなく、高精細画像が得られる。
【０１７６】
第７に、撮影者が設定した露出制御条件に適した画素ずらしモードを選択する撮像装置を提供でき、撮影者が煩雑な操作を行うことなく、高精細画像が得られる。
第８に、手振れによる画質低下と画素ずらしによる高精細化のバランスが取れた画素ずらし回数を選択する撮像装置を提供でき、撮影者が煩雑な操作を行うことなく、高精細画像が得られる。
【０１７７】
第９に、手振れによる画質低下が画素ずらしによる高精細化を打ち消す場合、画素ずらしを禁止する撮像装置を提供でき、手振れによる悪影響を最小限に抑えられる。
第１０に、手振れ検知手段が高周波域の振れを、動きベクトル検知手段が低周波域の振れを検知し、両信号の合成信号にて可動光学部材が駆動制御され、低域から高域までの手振れを正確に補正する撮像装置を提供できる。
第１１に、ズーミング光学系或いはフォーカシング光学系の状態に応じて最適な第１係数及び第２係数を用いて制御するため、光学系の状態に拘わらず正確な手振れ補正ができる撮像装置を提供できる。
【０１７８】
第１２に、画素ずらしにより画像の高精細化を図り、かつ被写体輝度分布に応じた複数画像間の露光レベル調節によってダイナミックレンジ拡大を図ることにより、低価格の素子を用いながら高品位の画像を得ることができる。
第１３に、主従いずれの被写体に対しても適正な露光レベルを与え、幅広い輝度差を有する被写体においても高精細かつ広ダイナミックレンジの画像を得ることができる。
【０１７９】
第１４に、画素ずらし操作によって得た複数組の画像信号において、主被写体と類推された被写体に対する画像情報が従被写体と類推された被写体に対する画像情報よりも多く得られ、画素ずらしによる主被写体の高精細化を図りながら従被写体の輝度情報も失うことのない広ダイナミックレンジ画像が得られる。
第１５に、撮像条件に応じて画像の高精細化とダイナミックレンジ拡大の最適化がなされ、高品位の画像を得ることができる。
【０１８０】
第１６に、手振れが生じてもその手振れの範囲内で画素ずらしによる高画質化と露光レベル調節によるダイナミックレンジ拡大の最適化をはかり、高品位の画像を得ることができる。
第１７に、設定された撮影モードに応じて手振れの発生を予測し、撮影者の撮影意図に適した画像の高精細化及びダイナミックレンジ拡大の最適化をはかり、高品位の画像を得ることができる。
【０１８１】
第１８に、撮像画面内の被写体輝度分布に応じて複数画像間の露光レベルを調節し、これを合成してダイナミックレンジ拡大を図ることにより、低価格で狭ダイナミックレンジの素子を用いながら広ダイナミックレンジの画像を得ることができる。
第１９に、撮像画面内において主被写体と従被写体を認識し、いずれの被写体に対しても最適な露光量を与えることにより、撮像画面全体に渡って画像のダイナミックレンジ拡大がなされる。
【０１８２】
第２０に、主被写体と類推された被写体に対する画像情報が従被写体と類推された被写体に対する画像情報よりも多く得られ、主被写体がより高品位になる画像が得られる。
第２１に、撮像条件に応じて最適な画像取得回数の選択と露光調節制御がなされ、ダイナミックレンジ拡大の最適化がなされる。
【０１８３】
第２２に、手振れに応じてダイナミックレンジ拡大のための画像取得回数を調節することにより、手振れによる画質劣化を最小限に抑えながらダイナミックレンジ拡大を図ることができる。
第２３に、設定された撮像条件から手振れの発生を予め予測し、画像のダイナミックレンジ拡大の際の手振れの影響を未然に防止することができる。
【０１８４】
第２４に、画素ずらし用複数画像間の像振れに応じて画素ずらしの画像合成動作を制御するため、像振れが大きく画像合成を行うとかえって画質を低下させてしまう場合には画素ずらしを禁止する等して、手振れがないときは高精細画像を得、手振れがある時は手振れによる画素ずらしの弊害を防止する撮像装置を提供できる。
第２５に、画素ずらしのために取得した各画像間で振れを検知して画素ずらし動作を制御するため、画像取得中の微細な振れも検知でき、手振れによる画素ずらしの失敗を正確に排除できる撮像装置を提供できる。
【０１８５】
第２６に、画素ずらし開始時と終了時に取得した２組の画像間で振れを検知して画素ずらし動作を制御するため、振れ検知計算が簡略化され、手振れによる画素ずらしの失敗を正確に排除できる撮像装置を提供できる。
第２７に、大きな振れが発生した場合には画素ずらしを禁止して、手振れによる画素ずらしの弊害を防止する撮像装置を提供できる。
第２８に、振れ量に応じて最適な画素ずらし及び画像合成動作を行うため、振れの影響を最小限に抑え、かつ画素ずらしで高詳細な画像を得る撮像装置を提供できる。
【０１８６】
第２９に、像振れの影響で正規の画素ずらしが実行できたか否かを撮影者に報知するため、撮影者は望みどおりの画像が得られたか否かを把握でき、もし意図した画像が得られないと判った時には再撮像等の対策を施すことができる。
第３０に、手振れを光学的或いは機械的に抑制したうえで、複数画像間になお残った残存振れを画像処理的に補正してから画素ずらしによる画像の合成を行うため、従来なら振れによって画素ずらしができない撮像条件下でも、画素ずらしを実行して高精細な画像を得る撮像装置を提供できる。
【０１８７】
第３１に、複数画像間の像振れを補正してから画素ずらしによる画像の合成を行うため、手振れ補正手段を用いても大きな残存振れが生じる撮像条件下でも、画素ずらしを実行して高精細な画像を得る撮像装置を提供できる。
第３２に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る場合、手振れを光学的或いは機械的に抑制し、かつ合成前の画像の相対関係を確認してから画像合成を行うため、誤った画像合成が行われることなく、高品質な画像を得る撮像装置を提供できる。
【０１８８】
第３３に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る場合、手振れを光学的或いは機械的に抑制し、かつ合成前の画像の像振れを検出してから画像合成を行うため、誤った画像合成が行われることなく、高品質な画像を得る撮像装置を提供できる。
第３４に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る場合、手振れを光学的或いは機械的に抑制し、かつ合成前の画像の一致度を確認してから画像合成を行うため、誤った画像合成が行われることなく高品質な画像を得る撮像装置を提供できる。
【０１８９】
第３５に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る場合、複数画像間の相対関係の検出結果から高品質画像が得られるか否かを撮影者に報知し、得られない時は再撮像等の対策を促すことができる。
第３６に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る場合、複数画像間の像振れ検出結果から高品質画像が得られるか否かを撮影者に報知し、得られない時は再撮像等の対策を促すことができる。
【０１９０】
第３７に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る場合、複数画像間の一致度検出結果からなる高品質画像が得られるか否かを撮影者に報知し、得られない時は再撮像等の対策を促すことができる。
第３８に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る画像合成制御方式を複数種類有し、複数画像間の相対関係に基づいて該複数方式の中から所定方式を選択的に用いるため、誤った画像合成による画質低下を防止し、高品質な画像を得る画像合成装置を提供できる。
【０１９１】
第３９に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る画像合成制御方式を複数種類有し、複数画像間の像振れ検出結果に基づいて該複数方式の中から所定方式を選択的に用いるため、誤った画像合成による画質低下を防止し、高品質な画像を得る画像合成装置を提供できる。
第４０に、互いに異なる画像情報を有した複数画像を合成して多量の情報を有した高品質画像を得る画像合成制御方式を複数種類有し、複数画像間の一致度検出結果に基づいて該複数方式の中から所定方式を選択的に用いるため、誤った画像合成による画質低下を防止し、高品質な画像を得る画像合成装置を提供できる。
【０１９２】
【発明の効果】
以上説明したように本発明によれば、被写体像を複数の領域に分割して測光し、上記被写体像の第１の領域が適正となる第１の露光条件で得られた、第１の所定数のフレーム画像信号を読み出すとともに、上記被写体像の第２の領域が適正となる第２の露光条件で得られた、上記第１の所定数よりも多い第２の所定数のフレーム画像信号を読み出すようにしたので、可及的に高ダイナミックレンジの画像が得られるとともに、上記被写体像の第２の領域における画像再現性を可及的に高めることができる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置の構成図である。
【図２】本発明に用いられる結像光学系の構成図である。
【図３】本発明に用いられる結像光学系の光束偏向作用を説明する構成図である。
【図４】本発明の画素ずらし原理を説明する構成図である。
【図５】本発明の主要部の制御ブロック図である。
【図６】本発明の第１の実施の形態のカメラの制御フローチャートである。
【図７】本発明の第１、５、８の実施の形態のレンズの制御フローチャートである。
【図８】本発明の第１、８の実施の形態の制御のタイミングチャートである。
【図９】本発明の第１、５の実施の形態の画素ずらし方法を説明する構成図である。
【図１０】本発明の第１、５の実施の形態の画像合成方法を説明する構成図である。
【図１１】本発明の第２の実施の形態のカメラの制御フローチャートである。
【図１２】本発明の第２の実施の形態の画素ずらし方法を説明する構成図である。
【図１３】本発明の第２の実施の形態の画像合成方法を説明する構成図である。
【図１４】本発明の第３の実施の形態のカメラの制御フローチャートである。
【図１５】本発明の第４の実施の形態の制御ブロック図である。
【図１６】本発明の第４の実施の形態のカメラの制御フローチャートである。
【図１７】本発明の第４の実施の形態のレンズの制御フローチャートである。
【図１８】本発明の第５、８の実施の形態のカメラの制御フローチャートである。
【図１９】本発明の第５の実施の形態の露光量調節制御フローチャートである。
【図２０】撮像素子の特性曲線を説明する特性図である。
【図２１】本発明の第５の実施の形態の被写体分割を説明する構成図である。
【図２２】本発明の第５の実施の形態の制御のタイミングチャートである。
【図２３】本発明の第５の実施の形態のダイナミックレンジ拡大方法を説明する構成図である。
【図２４】本発明の第６の実施の形態におけるカメラの制御フローの一部を示すフローチャートである。
【図２５】本発明の第７の実施の形態におけるカメラの制御フローの一部を示すフローチャートである。
【図２６】本発明の第８の実施の形態の相関演算を説明する特性図である。
【図２７】本発明の第８の実施の形態の相関演算を説明する特性図である。
【図２８】本発明の第８の実施の形態の相関度を説明する特性図である。
【図２９】本発明の第８の実施の形態における振れがない時の画像軌跡を説明する構成図である。
【図３０】本発明の第８の実施の形態における振れがない時の相関度を説明する特性図である。
【図３１】本発明の第８の実施の形態における振れがある時の画像軌跡を説明する構成図である。
【図３２】本発明の第８の実施の形態における振れがある時の相関度を説明する特性図である。
【図３３】本発明の第８の実施の形態のカメラのサブルーチン制御フローチャートである。
【図３４】本発明の第９の実施の形態における振れがある時の画像軌跡を説明する構成図である。
【図３５】本発明の第９の実施の形態のカメラのメイン制御フローチャートである。
【図３６】本発明の第９の実施の形態のカメラのサブルーチン制御フローチャートである。
【図３７】本発明の第１０の実施の形態における振れがある時の画像軌跡を説明する構成図である。
【図３８】本発明の第１０の実施の形態における振れがある時の相関度を説明する特性図である。
【図３９】本発明の第１０の実施の形態のカメラのサブルーチン制御フローチャートである。
【符号の説明】
ＣＭＲ カメラ本体
ＣＣＰＵ カメラ内マイコン
ＩＭＳ 撮像素子
ＭＥＭ メモリ
ＤＩＳＰ 表示部
ＣＮＣ コネクタ
ＳＷＭＯＤ 撮影モード選択スイッチ
ＬＮＳ レンズ
ＬＣＰＵ レンズ内マイコン
Ｌ２ 第２レンズ群（振れ補正レンズ群）
ＺＥＮＣ ズームエンコーダ
ＦＥＮＣ フォーカスエンコーダ
ＧＲＰ、ＧＲＹ 手振れセンサ
ＩＡＣＴＰ、ＩＡＣＴＹ 振れ補正アクチュエータ
ＳＮＳ 測光・焦点検知センサ

Claims (2)

1. 被写体像を形成する撮像光学手段と、
   上記被写体像を光電変換する撮像手段と、
   上記撮像手段から読み出された複数フレームの画像信号を記憶する複数画像取得手段と、
   上記被写体像を複数の領域に分割して測光する測光手段と、
   上記測光手段の測光結果に基づいて、上記複数の領域のうちの第１の領域が適正露光量となる第１の露光条件と、上記複数の領域のうちの第２の領域が適正露光量となる上記第１の露光条件と異なる第２の露光条件とを求めるとともに、上記第１の露光条件を設定し、上記第１の露光条件で第１の所定数のフレーム画像信号を上記撮像手段から読み出し、上記第２の露光条件を設定し、上記第２の露光条件で上記第１の所定数よりも多い第２の所定数のフレーム画像信号を上記撮像手段から読み出すように調節する露光レベル調節手段とを有し、
   上記複数画像取得手段は、上記撮像手段から読み出された、上記第１の露光条件の上記第１の所定数のフレーム画像信号と上記第２の露光条件の上記第２の所定数のフレーム画像信号とを合成することを特徴とする撮像装置。
2. 上記撮像光学手段に生じた振れによる像振れを検知する像振れ検知手段を有し、上記像振れ検知手段の検知結果に基づいて、上記撮像手段で光電変換される被写体像が手振れ補正された像となるように上記撮像装置を制御するとともに、制御された条件に基づき、上記第１の露光条件の上記第１の所定数のフレーム画像信号と上記第２の露光条件の上記第２の所定数のフレーム画像信号を上記撮像手段から読み出すように上記露光レベル調節手段の動作を制御することを特徴とする請求項１に記載の撮像装置。

Images