JP2006050139A - 光学機器 - Google Patents

Abstract

【課題】 画像合成による像ブレ補正手段をデジタルカメラ等の光学機器に搭載した場合において、効果的に像ブレを防ぎながら、撮影時間の増加を抑えたAEB撮影機能を持つ撮影装置を提供する。
【解決手段】 前記AEBモードでは、最大露出時の撮影光学系の焦点距離、撮像素子の感度、絞り又は被写体輝度と、前記AEBモードにて取得する合成画像の枚数及び補正する露出値とから、分割露光する枚数と該分割露光によって得られる分割露光画像一枚当たりの露光時間を計算し、前記分割露光画像群のうち少なくとも一枚の分割露光画像が複数の合成画像の生成に用いられ、更に、分割露光画像の合成枚数を変更することで露出の異なる複数の合成画像を得ることを特徴とする。
【選択図】 図１

Description

本発明は、手振れを補正することで撮影画像の精度を向上させる光学機器に関するものであり、特に自動段階露出撮影、すなわち、露出値を自動的にシフトさせて段階的に露出の異なる画像を得る撮影（以下「AEB撮影」といい、該撮影を行うモードを「AEBモード」という）が可能に構成されている光学機器に関するものである。

現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業は全て自動化され、例えば従来はプロカメラマンが行っていた撮影テクニックをボタン操作一つで自動的に実行してくれるように構成されたカメラも多くなっている。

最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。

ここで、手振れを防ぐ防振システムについて簡単に説明する。

撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。

すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。

像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。

一方、手振れが生じない程度の露光時間で複数回撮影を繰り返し（分割露光）、これらの撮影により得られた複数の画像に対して画像間の経時的な位置ズレに対応して夫々の座標変換を行った後、合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１）。

このような方法は、銀塩カメラやビデオカメラに用いられる光学防振、電子防振とは異なるデジタルカメラ向けの防振方法であり、専用の振動検出部や補正レンズ等の駆動部が不要となるため、製品全体を小型にできるメリットがある。

また、既に公知となっているAEB撮影機能は、例えば、適正露出値による撮影、露出オーバーでの撮影、露出アンダーでの撮影、をこの順序で連続的且つ自動的に行う機能であり、適正露出を判断するのが難しいような撮影状況において非常に便利な機能である。
特許第３１１０７９７号公報

光学防振はジャイロや補正光学系を持たなければならず、機器が大型化するデメリットと、光学系を駆動するため、レンズ交換式カメラのようなシステムにおいてはレンズ各々に補正光学系を持たなければならずコストアップに繋がるという問題があった。特許文献１に示すような防振方法（以後、座標変換防振と呼ぶ）はこれらの問題を解決する上で非常に有効である。また、光学防振と座標変換防振を組み合わせれば更なる防振効果が期待できる。

しかしながら、座標変換防振は分割露光した画像を合成して像ブレ補正された１枚の画像を得ることから、防振を行わない場合と比べて撮影時間が延びてしまうというデメリットがある。更に、AEB撮影機能を使うと撮影枚数（撮影後取得したい画像の数）が３枚乃至それ以上となるため、前記座標変換防振と組み合わせて使用すると撮影時間が著しく長くなり、ユーザーに多大な不快感を与えてしまう可能性がある。

また、AEB撮影において特にプラス側の補正を行う場合には露光時間が長くなり易く、像ブレ補正機能を用いなければ像ブレの可能性が高くなる。

本発明は上記の問題に鑑みてなされたもので、画像合成による像ブレ補正手段を用いて効果的に像ブレを防ぎながら、撮影時間の増加を抑えたAEB撮影機能を持つ撮影装置を提供することを目的としている。

上記目的を達成するために、請求項１に記載の発明では、露光時間を複数の短い露光時間に分割した分割露光画像を複数枚撮影し、得られた分割露光画像群を合成することにより像ブレを補正した１つの画像を生成する像ブレ補正手段と、露出値を自動的にシフトさせて段階的に露出の異なる画像を得るオート・エクスポージャ・ブラケット（AEB）モードを有する光学機器において、前記AEBモードでは、前記分割露光画像群のうち少なくとも一枚の分割露光画像が複数の合成画像の生成に用いられ、更に該合成画像ごとに前記分割露光画像の合成枚数を変更することで露出の異なる複数の合成画像を得ることを特徴とする。

すなわち、分割露光画像の合成枚数によって露出を調整でき、同一の分割露光画像を複数のAEB画像の合成に使用することで重複した撮影を省くことができるので撮影時間の増加を抑えることが可能となる。

更に請求項２に記載の発明では、露光時間を複数の短い露光時間に分割した分割露光画像を複数枚撮影し、得られた分割露光画像群を合成することにより像ブレを補正した１つの画像を生成する像ブレ補正手段と、露出値を自動的にシフトさせて段階的に露出の異なる画像を得るオート・エクスポージャ・ブラケット（AEB）モードを有する光学機器において、前記AEBモードでは、最大露出時（プラス側補正時）の撮影光学系の焦点距離、撮像素子の感度、絞り又は被写体輝度と、前記AEBモードにて取得する合成画像の枚数（AEB撮影枚数）及び補正する露出値とから、分割露光する枚数と該分割露光によって得られる分割露光画像一枚当たりの露光時間を計算することを特徴とする。

こうすることで状況に応じた最適な分割露光を行うことが可能となり、分割露光枚数を必要最小限にとどめることができる。

本発明をによれば、画像合成による像ブレ補正手段を用いて効果的に像ブレを防ぎながら撮影時間の増加を抑えたAEB撮影機能を持つ撮影装置を提供する事ができる。

以下に、添付図面を参照して、この発明の実施形態について詳細に説明する。

図１は、本発明の第１実施形態であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、絞り１３ａで光量制限された後に、シャッタ１２ａを通り撮像部１９に結像する。撮像部１９は、ＭＯＳやＣＣＤなどの半導体撮像素子からなる。

撮影レンズ１１は複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。

また、撮影レンズ１１のうち一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。

絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ａからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１９に入射する光束を制御する。

また、撮影時の条件（被写体輝度等）などに応じてストロボ１６ａは閃光駆動部１６ｂからの駆動信号を受けて駆動（発光）する。

さらに、撮影動作を撮影者に知らせるためにスピーカー１７ａが発音駆動部１７ｂからの駆動信号を受けて駆動（発音）する。

焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂ、発音駆動部１７ｂの駆動は、撮影制御部１８により制御されている。

撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、閃光操作部１６ｃ、防振操作部１２０からの操作信号が入力されるようになっており、カメラの撮影状態に合わせて上記操作信号を各々焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂに与えて撮影条件を設定し、撮影を行うようにしている。

なお、絞り１３ａの開口径やストロボ１６ａの発光は、通常は撮影時にカメラ側で自動的に設定するために、絞り操作部１３ｃおよび閃光駆動部１６ｂは不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。

撮影制御部１８は、後述する信号処理部１１１に取り込まれた画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。

撮像部１９から出力される映像信号は、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１１に入力される。信号処理回路１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。

そして、信号処理回路１１１で信号処理された映像信号は、信号切替部１１２を介して画像補正部１１７に入力される。

画像補正部１１７では、入力された信号のガンマ補正や圧縮処理を行う。

画像補正部１１７の信号は、表示部１１８と記録部１１９に入力され、撮影された画像が表示部１１８に表示されるとともに記録部１１９に記録される。

以上説明した動作において、撮影被写体が暗く、露光秒時が長くなる場合には手振れの恐れが有るので、撮影者は防振操作部１２０を操作して防振システムをオンにし、以下の動作に切り替える。なお、防振システムのオン／オフは防振操作部１２０を通して撮影者が操作しても良いし、カメラが自動で設定できるようにしても良い。

撮影者がレリーズ操作部１２ｃのレリーズボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露光時間は長秒時露光になっている。

そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す（分割露光）。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。

そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。

しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になってしまう。

本実施形態において、分割露光に応じて撮像部１９から露光ごとに複数出力される画像信号は、Ａ／Ｄ変換部１１０でデジタル信号に変換されてから信号処理部１１１にて信号処理が施される。

一方、防振操作部１２０を操作して防振システムをオンにすることを撮影制御部１８に伝えた場合には、信号処理部１１１からの画像データは信号切替部１１２を介して画像記憶部１１３に入力される。すなわち、画像補正部１１７への入力は絶たれる。

画像記憶部１１３は、撮影された複数の画像すべてを記憶しておく。

ズレ検出部１１４は、画像記憶部１１３に記憶された画像内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。

例えば、図２に示すようにフレーム１２１ａにおいて人物１２２ａが建物１２３ａを背景にして立っている写真を撮影する場合を考える。このとき、複数枚撮影するとフレーム１２１ｂのように手振れによりフレーム１２１ａに対して構図がずれた画像が撮影されることがある。

ズレ検出部１１４は、画面の周辺に位置する建物１２３ａのうち輝度の高い点である窓１２４ａのエッジ１２５ａをエッジ検出により特徴点として取り出し、この特徴点１２５ａと、フレーム１２１ｂにおける特徴点１２５ｂと比較し、この差分を座標変換部１１５により補正（座標変換）する。

座標変換された画像は画像合成部１１６により合成され、画像補正部１１７で入力された信号のガンマ補正や圧縮処理を行う。

画像補正部１１７の信号は、表示部１１８と記録部１１９に入力され、撮影された画像が表示部１１８に表示されるとともに記録部１１９に記録される。

次に、撮影モード選択部２０で撮影者がAEBモードを選択した場合について説明する。撮影者は撮影モード選択部２０を操作することで、AEBモードのON、OFF、補正露出値（±１／２段、±１／３段等）、AEB撮影枚数（最終的に得る合成画像の数）を設定することができる。AEBモードが選択された場合には前述の防振システムオンの時と同様に適正露出となる露光時間を複数の短い露光時間に分割し、最大露出（プラス補正）画像に必要なだけの分割露光を繰り返し、全ての画像を画像記憶部１１３に記憶しておく。ズレ検出部１１４は、画像記憶部１１３に記憶された画像内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。座標変換部１１５で座標変換された画像は画像合成部１１６で合成されるわけだが、ここで撮影制御部１８からAEBモードであることを伝える信号が画像合成部１１６に送られると、撮影モード選択部２０で撮影者が設定した補正露出値、AEB撮影枚数に応じた合成処理が行われ、合成された複数の画像が順次画像補正部１１７に送られる。AEBモードの時の合成処理の詳細は図５を用いて後述する。

また、図１中には示していないが、このカメラには画像を合成して像ブレを補正する機能に加えて光学的に象ブレを補正する機能がついていても良い。

２及び図３を用いて本実施形態における画像の合成処理について説明する。

図２では、フレーム１２１ｂの特徴点１２５ｂを矢印１２６のようにフレーム１２１ａの特徴点１２５ａに重ねるようにして、フレーム１２１ｂを座標変換する。

ここで、特徴点として撮影画面の周辺を選択する理由を以下に説明する。

多くの撮影の場合では、画面中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。

すなわち、複数枚の撮影を行っているときに撮影者の手振ればかりでなく、被写体振れも重畳してくるので被写体振れに基づいて画像の座標変換をしてしまう。

この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によってズレ検出精度が大きく左右される。

例えば、主被写体（人物）の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。

このように人物の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、各画像ごとに座標の位置がばらつき、好ましい画像は得られない。

そこで、本実施形態のように背景のような静止被写体を特徴点として選択して、画像の座標変換を行ったほうが好ましい画像が得られる。

図３においては、上記のように第１の画像１２７と第２の画像１２８で画面周辺の建物１２３ａの中において、輝度の高い点である窓のエッジ１２５ａをエッジ検出により特徴点として取り出す。

そして、図２で説明したのと同様に第１の画像１２７における特徴点１２５ａと、第２の画像１２８における特徴点１２５ｂと比較し、その差分を補正（座標変換）する。すなわち、座標変換部１１５は、第２の画像１２８の特徴点１２５ｂを第１の画像１２７の特徴点１２５ａに重ねるように第２の画像１２８を座標変換する。

そして、第２の画像群の中で２枚目以降の画像についても各々特徴点１２５ｂの座標を求め、その座標が第１の画像１２７で定めた特徴点１２５ａの座標と重なるように座標変換部１１５は各画像（第２の画像群）を座標変換してゆく。

ここでは、説明のために各画像ごとの特徴点座標を求めているが、実際には第１の画像１２７と第２の画像群のうち１枚目の画像１２８を相関演算し、各々対応する画素の変化をズレ検出部１１４が動きベクトルとして求め、特徴点の変化としている。

そして、第２の画像群の２枚目に対しても画像１２７との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。

なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。

ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。

座標変換部１１５で座標変換された各画像は、画像合成部１１６に出力されて各画像が１枚の画像に合成される。

デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。

しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。

別の考え方をすれば、例えばノイズを許容して撮像部１９を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させているとも云える。

合成された画像データは、画像補正部１１７に入力されてガンマ補正や圧縮処理が行われ、その後表示部１１８に撮影画像として表示されるとともに記録部１１９に記録される。

図４、図５は本実施形態のカメラの撮影動作をまとめたフローチャートである。図４のフローはカメラの電源がオンになったときにスタートする。

ステップ♯１００１では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップ♯１００２に進む。

ステップ♯１００２では、撮像部１９において撮像が行われる。撮影制御部１８は、信号処理部１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。

そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。

また、撮影制御部１８は、同時に撮像部１９の出力に基づいて被写体の明るさを求める。

ステップ♯１００３では、AEBモードかどうかを判別し、AEBモードでない時はステップ♯１００４に進み、AEBモードの時はステップ♯１０２０からAEBモード時の処理に移行する。

まず始めにAEBモードでない場合（通常撮影）の場合に流れるフローについて説明する。ステップ♯１００４では、撮影者が防振操作部１２０をオンにしているか否かを判別し、オンにしているときはステップ♯１００５に進み、オフの時はステップ♯１０２１に進む。

防振操作部１２０がオンになっている場合はステップ♯１００５において、ステップ♯１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。

ここで云う撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。

例えば、撮像部１９の感度がＩＳＯ２００に設定されていたとする。

被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３ａを全開（例えばｆ２．８）にするとともにシャッタ１２ａの閉じタイミング、すなわち露光時間を１／１５秒にする必要があるとする。

ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で６０ｍｍであるとき、露光時間を１／１５秒とする撮影では手振れにより像振れが発生する恐れがあるので、手振れが生じないように露光時間を１／６０秒に設定して４回撮影（分割露光）を行うように設定する。

一方、撮影焦点距離が９０ｍｍであるときには、手振れが生じないように露光時間を１／９０秒に設定して６回撮影を行うように設定する。

このように複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、さらに何枚撮影するかも撮影条件に合わせて設定する。

同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像部１９において正確な情報が撮像できる。

このため、暗い被写体の場合や、撮影レンズが絞り込んでおり暗い場合、撮像部１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。

但し、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に表れるため、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で６０ｍｍであるときは手振れが生じないように約焦点距離分の一に等しい露光時間である１／６０秒に設定している。

そして、その露光時間では足りない分を撮影枚数で補完している。

焦点距離が長い場合には、さらに露光時間を短くしないと手ぶれによる像劣化が生ずるのでさらに露光時間を短くして、その分撮影枚数を増やして露出補完を行う。

このように複数枚撮影における露光時間は、撮影被写体が暗いほど、また撮影レンズが暗いほど長くなり、撮像部１８の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。

そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。

以上の計算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モード（分割露光モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示して撮影者に知らせる。

ステップ♯１００６では、レリーズボタンの全押し操作によりｓｗ２がオンになるまでステップ♯１００１からステップ♯１００６を循環して待機する。

ステップ♯１００７では、１枚目の撮影を開始する。

また、この時同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

この音は例えば、”ピッ”と云う電子音でもよいし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でもよい。

なお、ステップ♯１００７から後述するステップ♯１０１５までは短い露光時間の撮影を複数回繰り返し、複数の撮影により得られた画像を合成してみかけの露出を適正にする合成撮影モードの動作である。

１枚目の撮影が終わるとステップ♯１００８では、撮影した画像を一旦画像記憶部１１３に記憶しておく。

ステップ♯１００９では、すべての撮影が完了するまでステップ♯１００７、♯１００８を循環して待機する。

そして、撮影が完了するとステップ♯１０１０に進む。

ステップ♯１０１０では、撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

この音は、例えば”ピッピッ”と云う電子音でもよいし、フィルムカメラなどにおけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でもよい。

このように複数枚撮影する場合において、その動作を表す発音は１セット（最初の撮影の露光開始および最後の撮影の露光完了のそれぞれ１回）なので撮影者に複数枚撮影の違和感を与えることはない。

すなわち、通常の撮影（１回の露光）を行う場合と複数枚撮影を行う場合とで、発音の回数が等しくなっており、撮影者に撮影時の違和感を与えるのを防止することができる。

ステップ♯１０１１では、ズレ検出部１１４が画像の周辺領域（例えば図３aの建物１２３ａ）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。

ステップ♯１０１２では、座標変換部１１５が各画像の座標変換を行う。ここで、最初の１枚の画像のみ座標の変換は行わない。すなわち、この第１の画像を座標変換の際の基準とする。

ステップ♯１０１３では、２枚目以降の全ての画像について座標変換が終了するまでステップ♯１０１１、１０１２を循環して待機し、すべての画像の座標変換が完了するとステップ♯１０１４に進む。

ステップ♯１０１４では、第１の画像と座標変換された第２の画像群の各画像との合成を行う。

ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。

ステップ♯１０１５では、合成された画像のうち各画像が構図ブレにより重ならなかった領域（図８の領域１２９）をカットし、元のフレームの大きさになるように画像を拡散補完する。

ステップ♯１０１６では、合成画像信号に対してガンマ補正や圧縮処理を行う。

ステップ♯１０１７では、ステップ♯１０１６で得られた画像を、カメラの背面などに配置された液晶表示部（表示部１１８）に表示する。

ステップ♯１０１８では、ステップ♯１０１６で求まった画像データを、例えば半導体メモリなどで構成されカメラに対して着脱可能な記録媒体（記録部１１９）に記録する。

ステップ♯１０１９では、スタートに戻る。

なお、ステップ♯１０１９の段階でまだ継続してレリーズボタンが半押し操作されｓｗ１がオンになっているときは、そのままステップ♯１００１、♯１００２、♯１００３、♯１００５と再度フローを進めてゆく。

また、ステップ♯１０１９の段階でレリーズボタンが全押し操作されｓｗ２がオンになっているときには、スタートに戻らずステップ♯１０１９で待機する。

次に、ステップ♯１００４で防振操作部１２０がオフの場合のときに流れるフローについて説明する。

ステップ♯１００４において、防振操作部１２０がオフと判断されたときには、ステップ♯１０２１に進む。

ステップ♯１０２１では、防振システムを使用しないと手振れによる画像劣化が生ずる撮影条件であるか否かを判断する。

撮影条件は前述したように被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては手振れによる画像劣化の可能性があるか否かをステップ♯１０２１で判断している。

そして、画像劣化の可能性がある時にはステップ♯１０２２に進み、そうでない時はステップ♯１０２３に進む。

ステップ♯１０２２では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードに設定することを推奨する表示を行う。

ステップ♯１０２３では、レリーズボタンが全押し操作され、ｓｗ２がオンになるまでステップ♯１００１からステップ♯１０２３を循環して待機する。

ステップ♯１０２４では、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）が完了する迄待機し、露光完了と共にステップ♯１０１６に進む。

ここでは省いているが、通常撮影の場合においても撮影開始から完了の動作に合わせて撮影動作音をスピーカー１７ａより発音している。

すなわち、合成撮影モード（複数枚の撮影の合成）においても通常撮影モードにおいても同じ様式の撮影動作音を発音している。この場合には、スピーカー１７ａの動作音の長さ（撮影開始音から撮影完了音迄の長さ）の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数枚の撮影を行っているか否かは撮影者には分からないようになっている。

ステップ♯１０１６では、合成画像信号に対してガンマ補正や圧縮処理を行う。

ステップ♯１０１７では、ステップ♯１０１６で得られた画像を、カメラ背面などに配置された液晶表示部（表示部１１８）に表示する。

ステップ♯１０１８では、ステップ♯１０１６で得られた画像データを、例えば半導体メモリなどで構成されるカメラに対して着脱可能な記録媒体（記録部１１９）に記録する。

ステップ♯１０１９では、スタートに戻る。

このフローで分かるように防振操作部１２０をオフしている場合においても手振れによる画像劣化が生ずる撮影条件の時には、撮影者に防振システムの活用（合成撮影モード）を促す表示を行って画像劣化を未然に防いでいる。

そして、に合成撮影モードにおいても各々の露光時間は焦点距離に応じて変更することでいかなる焦点距離においても望ましい撮影ができる。

次にステップ♯１００３で撮影モード選択部２０によりAEBモードが選択されていた場合のフローについて説明する。

この場合ステップ♯１０２０のAEBモード処理ルーチンへ移行する。

図５のフローはAEBモード時の処理を示している。

AEBモード処理ではまずステップ♯２００１でAEBモード表示を行う。次に♯２００２で防振操作部１２０のオン／オフを判別する。防振操作部１２０がオンの場合にはステップ♯２０１３へ進み、防振操作部１２０がオフの場合にはステップ♯２００３に進む。ステップ♯２００３では♯１００２で求めた被写体の明るさを基に適正露出時の絞り値と露光時間、更にプラス側補正、マイナス側補正時の絞り値と露光時間を演算する。ステップステップ♯２００４では、防振システムを使用しないと手振れによる画像劣化が生ずる撮影条件であるか否かを判断する。撮影条件は前述したように被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては手振れによる画像劣化の可能性があるか否かをステップ♯２００４で判断している。

そして、画像劣化の可能性がある時にはステップ♯２００５に進み、そうでない時はステップ♯２００６に進む。

ステップ♯２００５では、防振モードに設定することを推奨する表示を行う。

ステップ♯２００６では、レリーズボタンが全押し操作され、ｓｗ２がオンになるまでステップ♯１００１からステップ♯２００６を循環して待機する。

ｓｗ２がオンになるとステップ♯２００７で撮影を開始し、開始と同時にスピーカー１７aより撮影動作音を発音する。１枚目の撮影が終了するとステップ♯２００８へ進んで画像を保存し、ステップ♯２００９で撮影完了音を発音し、ステップ＃２０１０へ進む。

ステップ♯２０１０では撮影者が撮影モード選択部で設定したAEB撮影枚数分の撮影を終了したかどうかの判定を行う。終了していなければステップ♯２０１１で露光時間、又は／かつ絞り値を変更して露出を変更してステップ♯２００７へ戻り、２枚目以降の撮影を開始する。AEB撮影枚数分の撮影が終了するまでステップ♯２００７からステップ♯２０１０を繰り返す。AEB撮影枚数分の撮影が終了したらステップ♯２０２４から元の処理に戻り、ステップ♯１０１６へ進む。

ステップ♯２００２で防振操作部１２０がオンになっている場合はステップ♯２０１３において、ステップ♯１００２で求めた被写体の明るさ等の撮影条件から撮影（分割露光）する枚数と各々の露光時間を求める。

ここで云う撮影条件とは、ステップ♯１００５で用いた４点にAEBにて補正する露出値とAEB撮影枚数を加えた下記の計６点である。

・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
・補正する露出値
・AEB撮影枚数
分割露光枚数と各々の露光時間の演算について図６を用いて説明する。図６にあるように、最大露出時（プラス補正時）に必要な露光時間をtとする。ここからステップ♯１００５と同様に補正する露出値とAEB撮影枚数以外の４つの撮影条件から手ブレを生じない露光時間がt／２と計算されたとする。つまりここではt／２以下の撮影時間であれば手ブレは生じないとする。

ここから更に補正する露出値とAEB撮影枚数から、手ブレを生じない露光時間で最も効率良く短時間に撮影を終了するための分割露光枚数と各々の露光時間を演算する。

例えばAEB撮影枚数が３枚で、±１段の露出補正を行う場合には、最大露出（プラス補正）に必要な露光時間がtであることから適正露出（０補正）に必要な露光時間はt／２、最小露出（マイナス補正）に必要な露光時間はt／４である。一方手ブレを生じない露光時間がt／２であることから、この場合は図６にあるようにt／２を１枚とt／４を２枚撮影すれば良い。これを合成する時にはマイナス補正＝t／４×１、０補正＝t／４×２、プラス補正＝t／４×２＋t／２×１とする。なお、ここでは０補正時にt／４の画像を２枚合成しているが、t／２を１枚としても良い。ただしt／４を２枚合成した方がより鮮明な画像を得られる可能性が高い。

また、AEB撮影枚数が３枚で、±１／２段の露出補正をする場合にはプラス補正に必要な露光時間がtであることから０補正に必要な露光時間は２t／３、マイナス補正に必要な露光時間は４t／９である。一方手ブレを生じない露光時間がt／２であることから最小露光時間は４t／９で問題ないことがわかる。つまりこの場合は図６にあるように４t／９と３t／９と２t／９を一枚ずつ撮影すれば良い。これを合成する時にはマイナス補正＝４t／９×１、０補正＝４t／９×１＋２t／９×１、プラス補正＝４t／９×１＋２t／９×１＋３t／９×１とする。

以上のように演算を行い、演算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モード（分割露光モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示して撮影者に知らせる。

ステップ♯２０１４ではレリーズボタンが全押し操作され、ｓｗ２がオンになるまでステップ♯１００１からステップ♯２０１４を循環して待機する。ｓｗ２がオンになるとステップ♯２０１５に進む。

ステップ♯２０１５で分割露光１枚目の撮影が開始されスピーカー１７aより撮影動作開始の発音がなされる。

１枚目の撮影（分割露光）が終了するとステップ♯２０１６で画像を保存しステップ♯２０１７に進む。

ステップ♯２０１７では必要な撮影が終了したかどうかの判定を行う。ステップ♯２０１３で算出された分割露光枚数の撮影が終了していなければステップ♯２０１５に戻り２枚目以降の撮影に入る。２枚目以降は発音を行わず、撮影が終了するまでステップ♯２０１５からステップ♯２０１７を繰り返す。撮影が終了したらステップ♯２０１８に進み撮影終了音をスピーカー１７aから発音する。

ステップ♯２０１９では、ズレ検出部１１４が画像の周辺領域の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。

ステップ♯２０２０では、座標変換部１１５が各画像の座標変換を行う。ここで、最初の１枚の画像のみ座標の変換は行わない。すなわち、この第１の画像を座標変換の際の基準とする。なお、図９を用いて後述する画像合成方法によっては第１の画像以外の画像を基準としても良い。

ステップ♯２０２１では、２枚目以降の全ての画像について座標変換が終了するまでステップ♯２０１９、２０２０を循環して待機し、すべての画像の座標変換が完了するとステップ♯２０２２に進む。

ステップ♯２０２２では、図９に示すようにAEB撮影に対応した合成処理が行われる。

ステップ♯２０２３では、合成された画像のうち各画像が構図ブレにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。

ステップ♯２０２４で元のルーチンに戻り、図４のステップ♯１０１６以降の処理を行う。

図７は防振オフ時のタイミングチャート、図８は図７と同等の撮影条件において防振システムをオンにし、露光時間の分割数を４回とした時のタイミングチャートを示している。

まず図７について説明する。時刻t₁₁においてレリーズ操作部１２ｃが半押し(SW１)されると、カメラは測光、焦点調節等の各種撮影準備動作を実行する。続いて時刻t₁₂においてレリーズ操作部１２ｃが全押し(SW２)されると撮影駆動に移行し、時刻t₁₃において電荷蓄積開始タイミングパルスが入力される。すると撮像部１９には電荷が蓄積され、時刻t₁₄において電荷蓄積が終了し、すぐに蓄積電荷の転送が開始される。ｔ₁₅において電荷の転送が終了すると画像補正部１１７、記録部１１８で画像処理、記録動作が行なわれる。

次に図８の防振オン時のタイミングチャートについて説明する。時刻t₂₁においてレリーズ操作部１２ｃが半押し(SW１)されると、カメラは測光、焦点調節等の各種撮影準備動作を実行する。続いて時刻t₂₂においてレリーズ操作部１２ｃが全押し(SW２)されると撮影駆動に移行し、時刻t₂₃において電荷蓄積開始タイミングパルスが入力される。すると撮像部１９には電荷が蓄積され、時刻t₂₄において電荷蓄積が終了し、すぐに蓄積電荷の転送が開始される。電荷蓄積、蓄積電荷の転送を４回繰り返した後時刻t₂₁₁において画像処理、記録が始まりt₂₁₂で終了する。

電荷蓄積開始から転送終了までの時間を撮影時間として防振オンの時と防振オフの時を比べる。例えば防振オフ時の露光時間（t₁₄−t₁₃）を１／１５秒、転送時間を１／３０秒とすると撮影時間（t₁₅−t₁₃）は１／１０秒である。一方防振オン時の１画像当たりの露光時間（t₂₄−t₂₃、t₂₆−t₂₅、t₂₈−t₂₇、t₂₁₀−t₂₉）は１／６０秒なので４枚撮影しても１／１５秒であるが電荷転送時間を考えなければならないので撮影時間（t₂₁₁−t₂₃）は２倍の１／５秒になる。この撮影時間は画像の分割数（分割露光枚数）に比例して増えて行くためあまり分割数が多すぎると撮影者に違和感を与えることになる。

図９は防振オフ時と防振オン時のAEBモードのタイミングチャートを示している。

防振オフ時のAEBモードにおいて、（３１）は電荷蓄積時間、（３２）は電荷転送時間、（３３）はAEB画像１枚当たりの撮影時間とAEB撮影全体にかかる撮影時間を表している。

これは既に公知のAEB撮影で、露光時間により露出を１段ずつシフトさせ、１段ずつ露出の異なる３枚の画像を得ている。

次に防振オン時のAEBであるが、（３４）、（３５）はそれぞれ分割露光時の電荷蓄積時間、電荷転送時間を表しており、（３６）は単純に時系列に合成処理を行った場合の撮影時間、（３７）は分割露光画像の１枚目を基準とし、本発明の請求項１を用いた場合の撮影時間、（３８）は分割露光の３枚目を基準とし、本発明の請求項１を用いた場合の撮影時間を表している。

図９ではプラス補正時の露光時間tに対してt／４の露光時間を手ブレ限界の露光時間としている。そのためマイナス補正ではt／４×１、０補正ではt／４×２、プラス補正ではt／４×４の分割露光画像を必要とする。単に座標変換防振を用いて撮影を行おうとすると、撮影時間は（３６）のようになり、座標変換防振を用いない場合と比べて長くなる。電荷転送時間はカメラの性能によって異なってくると思われるが、この電荷転送時間が長いカメラでは更に撮影時間が増加してしまう。そこで、請求項１に記載の発明を用いれば（３７）や（３８）のようにt／４×４の撮影時間（t₃₅）で撮影を終了することができ、（３６）と比べると大幅な時間短縮が可能である。図９中では防振オフ時の撮影時間（t₃₆−t₃₁）よりも（３７）や（３８）の撮影時間（t₃₆−t₃₅）の方が短くなっている。防振オフの場合より撮影時間が短くなるかどうかは手ブレ限界の露光時間と電荷転送時間に依存するので、防振オフの場合より長くなることもありうるが、前述したように、少なくとも（３６）の合成方法と比べると大幅な撮影時間の短縮が可能であり、防振を行わない場合と比べても撮影者に与える違和感を抑えることが可能である。

なお、（３７）のように１枚目の画像を基準に合成処理を行うか、（３８）のように３枚目の画像を基準に合成処理を行うか、又はその他の分割露光画像を基準に合成処理を行うかについてはカメラによって予め決められていても良いし、撮影条件等からその都度カメラが自動的に設定しても良いし、撮影者が設定できるようにしても良い。

本発明の実施形態であるカメラのブロック図 本発明の実施形態における座標変換説明図 本発明の実施形態における特徴点抽出領域の説明図（a、b） 本発明の実施形態における撮影処理動作を示すフローチャート 本発明の実施形態におけるAEBモード時の処理動作を示すフローチャート 本発明の実施形態における防振オフ時のタイミングチャート 本発明の実施形態における防振オン時のタイミングチャート 本発明の実施形態におけるAEBモード時のタイミングチャート 本発明の実施形態における防振オフ時と防振オン時のAEBモード時のタイミングチャート

符号の説明

１０ 光軸
１１ 撮影レンズ
１２ａ シャッタ
１２ｂ シャッタ駆動部
１３ａ 絞り
１３ｂ 絞り駆動部
１４ａ ＡＦ駆動モータ
１４ｂ 焦点駆動部
１５ａ ズーム駆動モータ
１５ｂ ズーム駆動部
１６ａ ストロボ
１６ｂ 閃光駆動部
１７ａ スピーカー
１７ｂ 発音駆動部
１８ 撮影制御部
１９ 撮像部
２０ 撮影モード選択部
１１０ Ａ／Ｄ変換部
１１１ 信号処理部
１１２ 信号切替部
１１３ 画像記憶部
１１４ ズレ検出部
１１５ 座標変換部
１１６ 画像合成部
１１７ 画像補正部
１１８ 表示部
１１９ 記録部
１２０ 防振操作部
１２１ａ フレーム
１２２ａ 人物
１２３ａ 建物
１２４ａ 窓
１２５ａ 特徴点（エッジ）
１２６ 座標変換方向（量）
１２７ 第１の画像
１２８ 第２の画像群

Claims (2)

1. 露光時間を複数の短い露光時間に分割した分割露光画像を複数枚撮影し、得られた分割露光画像群を合成することにより像ブレを補正した１つの画像を生成する像ブレ補正手段と、露出値を自動的にシフトさせて段階的に露出の異なる画像を得るオート・エクスポージャ・ブラケットモードを有する光学機器において、
   前記オート・エクスポージャ・ブラケットモードでは、前記分割露光画像群のうち少なくとも一枚の分割露光画像が複数の合成画像の生成に用いられ、更に該合成画像ごとに前記分割露光画像の合成枚数を変更することで露出の異なる複数の合成画像を得ることを特徴とする光学機器。
2. 露光時間を複数の短い露光時間に分割した分割露光画像を複数枚撮影し、得られた分割露光画像群を合成することにより像ブレを補正した１つの画像を生成する像ブレ補正手段と、露出値を自動的にシフトさせて段階的に露出の異なる画像を得るオート・エクスポージャ・ブラケットモードを有する光学機器において、
   前記オート・エクスポージャ・ブラケットモードでは、最大露出時の撮影光学系の焦点距離、撮像素子の感度、絞り又は被写体輝度と、前記AEBモードにて取得する合成画像の枚数及び補正する露出値とから、分割露光する枚数と該分割露光によって得られる分割露光画像一枚当たりの露光時間を計算することを特徴とする光学機器。

Images