JP4860568B2 - 撮影装置 - Google Patents

Description

本発明は、撮像素子を備え、その撮像素子上に被写体像を形成して画像信号を生成する撮影装置に関する。

従来より、複数枚の画像に基づいてこれら複数枚の画像の動きを表わす動きベクトルを求めて手ぶれを補正する技術が提案されている（例えば特許文献１〜特許文献５参照）。しかしこれらの特許文献の技術では被写体ぶれを補正することができない。すなわち被写体を主要被写体と背景とに分けたときの被写体のみが動いている場合にその主要被写体のぶれを補正することができない。

ところで最近、１．２メガ（１２０万画素）で１分間に３００枚という数のフレームを生成することが可能な撮像素子の開発に成功したということが報告された。このような撮像素子を用いると、フレームレートを上げて１秒間に何枚もの画像を得ることができるので、特許文献にもあるようにフレームごとの画像を重ね合せることでＳ／Ｎ比を上げて高精細な静止画撮影を得ることができ、さらにフレームごとの画像を位置を修正しながら重ね合わせることで手ぶれを補正することができる。またフレーム間隔が短くなるのでフレームごとの画像を位置を修正しながら各画像を重ね合わせることで被写体ぶれもある程度は補正される方向にいく。

しかし上記技術では手ぶれと被写体ぶれとが区別されずに補正されるため被写体ぶれが完全に補正される訳ではない。もしも特許文献６にあるように、繰り返し生成されている複数枚の画像間の、画像を複数に分割したときの各領域ごとの動きベクトルを求めて各々の領域ごとの画像を時系列に比較することで被写体ぶれと手ぶれとを区別することができれば、被写体ぶれが発生しそうな場合にはシャッタ速度を速めることで被写体ぶれを抑制することができる。しかしながら特許文献６の技術は動画に関するものであって静止画に適用することはできない。
特開平６−２８４３２７号公報 特開平１１−２５２４４５号公報 特開２０００−３４１５７７号公報 特開２００５−１３０１５９号公報 特開２００６−２６２２２０号公報 特開平４−３０９０７８号公報

本発明は、上記の被写体ぶれの問題を解決し、静止画撮影において手ぶれと被写体ぶれとを区別して各々を好適に補正することができる撮影装置を提供することを目的とするものである。

上記目的を達成する本発明の第１の撮影装置は、撮像素子上に被写体を結像させてその被写体を表わす画像を生成する撮影装置において、
撮影前に画像を繰り返し生成するスルー画生成手段と、
上記スルー画生成手段により繰り返し生成された複数枚の画像間の、その画像を複数に分割したときの各領域ごとの動きベクトルを求める動きベクトル算出手段と、
上記動きベクトル算出手段により算出された動きベクトルに基づいて静止した被写体であるか動きのある被写体であるかを判定する被写体判定手段と、
上記被写体判定手段で判定された被写体が動きのある被写体であったときに撮影感度を上げて単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行し、上記被写体判定手段で判定された被写体が静止した被写体であったときに連続する複数枚の撮影画像を生成する第２の撮影モードによる撮影を実行する撮影手段と、
上記被写体判定手段で判定された被写体が静止した被写体であったときに上記第２の撮影モードの実行により得られた複数枚の撮影画像を、上記動きベクトル算出手段で算出された動きベクトルに基づいて撮影画像間の相対的なぶれが補正されるように撮影画像どうしの位置を修正して重ね合せることにより重ね合せ画像を生成する画像重ね合せ手段とを備えたことを特徴とする。

上記本発明の第１の撮影装置によれば、撮影前に上記スルー画生成手段で生成されたスルー画に基づいて上記動きベクトル検出手段で各領域ごとの動きベクトルが求められ、撮影前のスルー画に基づいて被写体が静止した被写体であるか、動きのある被写体であるかが区別されてから撮影処理が実行される。

上記被写体判定手段によってスルー画に基づいて被写体が静止した被写体であると判定された場合には、上記撮影手段によって第２の撮影モードが実行されその第２の撮影モードの実行により得られた複数枚の撮影画像どうしの位置が上記動きベクトル算出手段によって算出された動きベクトルに基づいて、撮影画像間の相対的なぶれが補正されるように撮影画像どうしの位置が修正されながら上記画像重ね合せ手段によって重ね合せ画像が生成される。つまり上記被写体判定手段によってスルー画に基づいて被写体が静止した被写体であると判定された場合には上記画像重ね合せ手段による重ね合せにより手ぶれが補正される。

これに対し上記被写体判定手段によって動きのある被写体であると判定された場合には、上記撮影手段によって上記第１の撮影モードが実行されその第１の撮影モードの実行により撮影感度が上げられて撮影が行なわれる。つまり上記被写体判定手段によってスルー画に基づいて被写体が動きのある被写体であると判定された場合には撮影感度を上げることによりその高い撮影感度に応じたシャッタ速度に調整されて撮影が行なわれることになり被写体ぶれが抑制される。

上記目的を達成する本発明の第２の撮影装置は、撮像素子上に被写体を結像させてその被写体を表わす画像を生成する撮影装置において、
撮影前に画像を繰り返し生成するスルー画生成手段と、
上記スルー画生成手段により繰り返し生成された複数枚の画像間の、その画像を複数に分割したときの各領域ごとの動きベクトルを求める動きベクトル算出手段と、
複数の撮影モードの中からいずれかの撮影モードを指定する指定手段と、
上記指定手段で指定された撮影モードに応じて、今回撮影対象の被写体が静止した被写体であるか動きのある被写体で在るかを判定する被写体判定手段と、
上記被写体判定手段で判定された被写体が動きのある被写体であったときに、撮影感度を上げて単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行し、上記被写体判定手段で判定された被写体が静止した被写体であったときに連続する複数枚の撮影画像を生成する第２の撮影モードによる撮影を実行する撮影手段と、
上記被写体判定手段で判定された被写体が静止した被写体であったときに上記第２の撮影モードの実行により得られた複数枚の撮影画像を、上記動きベクトル算出手段で算出された動きベクトルに基づいて撮影画像間のぶれが補正されるように撮影画像どうしの位置を修正して重ね合せることにより重ね合せ画像を生成する画像重ね合せ手段とを備えたことを特徴とする。

上記本発明の第２の撮影装置によれば、撮影モードが指定されたときに上記被写体判定手段によって被写体が静止した被写体であるか、動きのある被写体であるかが判定される。そして上記被写体判定手段によって静止した被写体であると判定された場合には、撮影時に画像重ね合せ手段によって上記第２の撮影モードの実行により得られた複数枚の撮影画像どうしの位置が上記動きベクトル算出手段によって算出された動きベクトルに基づいて、撮像画像間の相対的なぶれが補正されるように撮影画像どうしの位置が修正されながら重ね合わせが行なわれて手ぶれが補正される。

これに対し、上記被写体判定手段によって動きのある被写体であると判定された場合には、上記第１の撮影モードの実行により撮影感度が上げられて撮影が行なわれる。つまり上記被写体判定手段によってスルー画に基づいて被写体が動きのある被写体であると判定された場合には撮影感度を上げることによりその高い撮影感度に応じたシャッタ速度に調整されて撮影が行なわれることになり被写体ぶれが抑制される。

また上記目的を達成する本発明の第３の撮影装置は、撮像素子上に被写体を結像させてその被写体を表わす画像を生成する撮影装置において、
当該撮影装置のぶれを検出するぶれ検出手段と、
撮影前に画像を繰り返し生成するスルー画生成手段と、
上記スルー画生成手段により繰り返し生成された複数枚の画像間の、その画像を複数に分割したときの各領域ごとの動きベクトルを求める動きベクトル算出手段と、
上記動きベクトル算出手段で算出された動きベクトル算出手段により繰り返し生成された複数枚の画像間の動きベクトルに基づいて静止した被写体であるか動きのある被写体であるかを判定する被写体判定手段と、
上記被写体判定手段で判定された被写体が動きのある被写体であったときに、撮影感度を上げて単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行し、上記被写体判定手段で判定された被写体が静止した被写体であったときに連続する複数枚の撮影画像を生成する第２の撮影モードによる撮影を実行する撮影手段と、
上記被写体判定手段で判定された被写体が静止した被写体であったときに上記第２の撮影モードの実行により得られた複数枚の撮影画像を、上記ぶれ検出手段によるぶれ検出結果に基づいて撮影画像間の相対的なぶれが補正されるように撮影画像どうしの位置を修正して重ね合せることにより重ね合せ画像を生成する画像重ね合せ手段とを備えたことを特徴とする。

上記本発明の第１の撮影装置では、上記動きベクトル算出手段で算出された動きベクトルに基づいて撮影画像間のぶれが補正されるように撮影画像どうしの位置が修正されたが、上記ぶれ検出手段であるジャイロセンサ等を用いてぶれを検出して撮影画像どうしの位置を修正する構成にすると補正の精度がより向上する。

このことを考慮して上記本発明の第３の撮影装置では、上記被写体判定手段によって静止した被写体であると判定された場合には、上記画像重ね合せ手段によって上記第２の撮影モードの実行により得られた複数枚の撮影画像どうしの位置が上記動きベクトル算出手段の代わりに上記ぶれ検出手段によって検出されたぶれに基づいて修正されながら上記重ね合わせ画像部で重ね合せ画像が生成されて手ぶれが補正される。

また上記被写体判定手段によって動きのある被写体であると判定された場合には、上記第１の撮影モードの実行により撮影感度が上げられて上記本発明の第１の撮影装置と同様に撮影が行なわれる。つまり上記被写体判定手段によってスルー画に基づいて被写体が動きのある被写体であると判定された場合には撮影感度を上げることによりその高い撮影感度に応じたシャッタ速度に調整されて撮影が行なわれることになり被写体ぶれが抑制される。

上記目的を達成する本発明の第４の撮影装置は、撮像素子上に被写体を結像させてその被写体を表わす画像を生成する撮影装置において、
当該撮影装置のぶれを検出するぶれ検出手段と、
複数の撮影モードの中からいずれかの撮影モードを指定する指定手段と、
上記指定手段で指定された撮影モードに応じて、今回撮影対象の被写体が静止した被写体であるか動きのある被写体で在るかを判定する被写体判定手段と、
上記被写体判定手段で判定された被写体が動きのある被写体であったときに撮影感度を上げて単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行し、上記被写体判定手段で判定された被写体が静止した被写体であったときに連続する複数枚の撮影画像を生成する第２の撮影モードによる撮影を実行する撮影手段と、
上記被写体判定手段で判定された被写体が静止した被写体であったときに上記第２の撮影モードの実行により得られた複数枚の撮影画像を、上記手ぶれ検出手段によるぶれ検出結果に基づいて撮影画像間の相対的なぶれが補正されるように撮影画像どうしの位置を修正して重ね合せることにより重ね合せ画像を生成する画像重ね合せ手段とを備えたことを特徴とする。

上記本発明の第２の撮影装置では、上記動きベクトル算出手段で算出された動きベクトルに基づいて撮影画像間のぶれが補正されるように撮影画像どうしの位置が修正されたが、ぶれ検出手段であるジャイロセンサ等を用いてぶれを検出して撮影画像どうしの位置を修正する構成にすると補正の精度がより向上する。

このことを考慮して上記本発明の第４の撮影装置では、撮影前に撮影モードが指定されたときにその撮影モードの種類から上記被写体判定手段によって被写体が静止した被写体であるか、動きのある被写体であるかが判定される。そして上記被写体判定手段によって静止した被写体であると判定された場合には、上記画像重ね合せ手段によって上記第２の撮影モードの実行により得られた複数枚の撮影画像どうしの位置が上記動きベクトル算出部で算出された動きベクトルの代わりに上記ぶれ検出手段によって検出されたぶれに基づいて修正されながら上記重ね合せ画像部で重ね合わせ画像が生成されて手ぶれが補正される。

また上記被写体判定手段によって動きのある被写体であると判定された場合には、上記第１の撮影モードの実行により撮影感度が上げられて上記本発明の第２の撮影装置と同様に撮影が行なわれる。つまり上記被写体判定手段によってスルー画に基づいて被写体が動きのある被写体であると判定された場合には撮影感度を上げることによりその高い撮影感度に応じたシャッタ速度に調整されて撮影が行なわれることになり被写体ぶれが抑制される。

ここで、被写体の輝度を検出する被写体輝度検出手段と、
上記被写体輝度検出手段で検出された被写体輝度に基いて適正露出の撮影を行なうための適正シャッタ秒時を算出する適正シャッタ秒時算出手段とを備え、
上記撮影手段が、上記シャッタ秒時算出手段で算出された適正シャッタ秒時が所定のシャッタ秒時よりも短いシャッタ秒時であったときは上記被写体判定手段による判定結果を待つことなく、その適正シャッタ秒時による単独の１枚の撮影画像を生成する第３の撮影モードによる撮影を実行し、上記シャッタ秒時算出手段で算出された適正シャッタ秒時が所定のシャッタ秒時よりも長いシャッタ秒時であったときにシャッタ秒時をその適正シャッタ秒時よりも速めた上で上記第１の撮影モード又は上記第２の撮影モードによる撮影を実行するものであることが好ましい。

手ぶれや被写体ぶれは、シャッタ秒時が所定のシャッタ秒時よりも長いときに発生するので、上記シャッタ秒時算出手段で算出された適正シャッタ秒時が所定のシャッタ秒時よりも短い場合には上記第３の撮影モードによる撮影を実行し、所定のシャッタ秒時よりも長いシャッタ秒時であったときのみ手ぶれや被写体ぶれの補正を行なう構成にすると良い。

また、上記被写体判定手段による判定結果を、ユーザに通知する通知手段を備えた態様であることが好ましい。

そうすると、ユーザは、撮影装置が被写体を静止した被写体であると判定したか、動きのある被写体であると判定したかを表示画面上で確認することができる。

また、上記第１の撮影モードの実行により得られた撮影画像および上記第２の撮影モードにより得られた重合せ画像に対応させて、上記第１の撮影モードにより得られた画像であるか上記第２の撮影モードにより得られた画像であるかを表わす情報を記録する記録手段を備えた態様であることが好ましい。

そうすると、ユーザは再生画像を見ながら上記情報を参考にして画像の不具合解析等を行なうことができる。

ここで上記本発明の第１の撮影装置から第４の撮影装置においては、被写体が動体であるか静止物であるかを撮影前に判定する構成を示したが、撮影時に得た複数枚の画像を使って被写体が動体であるか静止物であるかの判定を行なっても良い。

そこで、上記目的を達成する本発明の第５の撮影装置は、撮像素子上に被写体を結像させてその被写体を表わす画像を生成する撮影装置において、
撮影操作を受けて連続する複数枚の撮影画像を生成する撮影手段と、
上記撮影手段での撮影により得られた、相対的に低感度の複数枚の画像を、画像上のぶれが補正されるように重ね合わせることにより１枚の重ね合わせ画像を生成する画像重ね合わせ手段と、
上記撮影手段での撮影により得られた複数枚の画像のうちの１枚の画像であって相対的に高感度の画像を生成する高感度画像生成手段と、
上記撮影手段により生成された複数枚の画像間の、画像を複数の領域に分割したときの各領域ごとの動きベクトルを求める動きベクトル算出手段と、
上記動きベクトル算出手段により算出された動きベクトルに基づいて、今回の撮影で得られた複数枚の画像の被写体が静止した被写体であるか動きのある被写体であるかを判定する被写体判定手段と、
上記被写体判定手段で動きのある被写体であると判定された場合に上記高感度画像生成手段で生成された高感度画像を記録し、上記被写体判定手段で静止した被写体であると判定された場合に上記画像重ね合わせ手段で生成された重ね合わせ画像を記録する画像記録手段を備えたことを特徴とする。

上記本発明の第５の撮影装置によれば、上記被写体判定手段によって、今回の撮影で得られた複数枚の画像の被写体が静止した被写体であるか動きのある被写体であるかが判定され、動きのある被写体であると判定された場合には、上記高感度画像が記録され、静止した被写体であると判定された場合には、上記重ね合わせ画像が記録される。

つまり、静止画撮影において、被写体に応じて手ぶれと被写体ぶれとが区別されて好適な撮影が行なわれる。その結果、静止画撮影において手ぶれと被写体ぶれとを区別して各々を好適に補正することができる撮影装置が実現する。

ここで、上記被写体判定手段は、上記動きベクトル算出手段により算出された動きベクトルに基づいて上記複数枚の画像の撮影の間に被写体が所定の移動量以下だけ動いていた場合、および該移動量を超えて動いていた場合に、それぞれ、静止した被写体、および動きのある被写体と判定するものであることが好ましく、
さらに、被写体に顔が含まれているか否かを検出する顔検出手段を備え、
上記動きベクトル算出手段は、被写体に顔が含まれていた場合に上記動きベクトルを求めるものであって、
上記被写体判定手段は、被写体に顔が含まれていない場合に静止した被写体であると判定し、被写体に顔が含まれていた場合に、上記動きベクトル算出手段により算出された動きベクトルに基づいて、静止した被写体であるか動きのある被写体であるかを判定するものであっても良い。

また、上記画像重ね合わせ手段は、上記撮影手段での撮影により得られた複数枚の画像を、上記動きベクトル算出手段で算出された動きベクトルに基づいて、画像上のぶれが補正されるように重ね合わせるものであることが好ましく、
また、当該撮影装置の角速度を検出する角速度センサを備え、
上記画像重ね合わせ手段は、上記撮影手段での撮影により得られた複数枚の撮影画像を、上記角速度センサで検出された角速度に基づいて、画像上のぶれが補正されるように重ね合わせるものであっても良い。

さらに上記画像記録手段は、上記高感度画像又は上記重ね合わせ画像の記録にあたり、今回記録する画像が高感度画像であるか重ね合わせ画像であるかを表わす情報を付して記録するものであることが好ましい。

以上、説明したように、静止画撮影において手ぶれも被写体ぶれも好適に補正することができる撮影装置が実現する。

以下図面を参照して本発明の実施の形態を説明する。

図１は、本発明の撮影装置の一実施形態であるデジタルカメラを示す図である。

図１には本発明の一実施形態であるデジタルカメラ１００の斜視図が示されている。図１（ａ）には正面上方から見た斜視図が示されており、図１（ｂ）には背面上方から見た斜視図が示されている。

図１（ａ）に示すように、本実施形態のデジタルカメラ１００のボディ中央には撮影レンズ１７０１が内蔵されたレンズ鏡胴１７０が備えられており、そのレンズ鏡胴１７０の上方にはファインダ１０５が備えられている。またそのファインダ１０５の脇には撮影補助光発光窓１６１が備えられている。

また、図１（ｂ）に示すように本実施形態のデジタルカメラ１００の背面および上面にはユーザがこのデジタルカメラ１００を使用するときにいろいろな操作を行うための操作子群１０１が備えられている。

この操作子群１０１の中にはデジタルカメラ１００を作動させるための電源スイッチ１０１ａのほか、十字キー１０１ｂ、メニュー／ＯＫキー１０１ｃ、キャンセルキー１０１ｄ、モードレバー１０１ｅなどがある。これらの操作子群１０１の中のモードレバー１０１ｅによっては、再生モードと撮影モードの切替や撮影モードの中でさらに動画モード、静止画モードの切替が行なわれる。上記モードレバー１０１ｅが撮影モードに切り替えられた状態にあるときに電源スイッチ１０１ａが投入されると表示画面１５０上にスルー画が表示されて、そのスルー画を見ながらシャッタチャンスにレリーズ釦１０１ｆが押されると被写体の撮影が行なわれる。なお上記モードレバー１０１ｅが再生側に切り替えられた状態にあるときには既撮影画像が表示画面１５０上に再生表示される。また本実施形態のレリーズ釦１０１ｆは半押しと全押しの二つの操作態様を有するものである。

図２は、図１のデジタルカメラ１００内部の電気系統の構成ブロック図である。

図２を参照してこのデジタルカメラ１００の内部の構成および動作を簡単に説明する。

本実施形態のデジタルカメラ１００ではすべての処理がシステム制御部１１０によって統括的に制御されている。

システム制御部１１０の入力部には図１（ｂ）に示した操作子群１０１からの操作信号がそれぞれ供給されていてそれらの操作信号のうちの少なくとも一つが供給されてくると操作信号に応じた処理が適宜システム制御部１１０によって実行される。システム制御部１１０の内部にはプログラムメモリであるＲＯＭ（不図示）が備えられており、そのＲＯＭ内にはこのデジタルカメラ１００が撮影装置として動作するために必要なプログラムが書き込まれている。このＲＯＭ内のプログラムは電源スイッチ１０１ａがオフになっているときにも走っており、電源スイッチ１０１ａの投入を待ち受けている。この待ち受け状態にあるときに操作子群１０１の中の電源スイッチ１０１ａ（図１参照）が投入されると電源スイッチ１０１ａが投入されたことがシステム制御部１１０によって検知され、ＲＯＭ内のプログラムの手順にしたがってこのデジタルカメラ全体の動作を制御する処理が開始される。なお、システム制御部１１０には不図示の電池からから常に電力が供給されている。

ここで操作子群１０１の中の電源スイッチ１０１ａ（図１参照）が投入された後のデジタルカメラ１００の動作を、図２を参照して説明する。

デジタルカメラ１００では、電源スイッチ１０１ａが投入されモードレバー１０１ｅが撮影側に切り替えられていた場合には、表示部１５が備える表示画面１５０上にスルー画の表示が行なわれるので、まずスルー画を表示するときの処理を説明し、その後レリーズ釦１０１ｆの押下を受けて行なわれる撮影処理を説明する。

まずスルー画を表示画面１５０上に表示するときの処理を説明する。

操作子群１０１の中の電源スイッチ１０１ａが投入されシステム制御部１１０によりそのことが検知されると、電池と各部との接断を担うスイッチ（不図示）が接続され電池からの電力が各部に供給される。電源スイッチ１０１ａが投入されたときにモードレバー１０１ｅが撮影側に切り替えられていた場合には、システム制御部１１０の制御の下にタイミング発生部１１１から撮像素子を内蔵する撮像部１２０に向けて所定の間隔ごとに電子シャッタを設定するタイミング信号さらには画像読出信号が供給され撮像部１２０から所定の間隔ごとに画像信号が間引かれて前処理部１３０に出力される。なお撮像部１２０には撮像素子の他に色フィルタ等が備えられている。また、図２には開口径を調節することができる絞り１７０２が設けられていて露出調整時には撮像部の電子シャッタとともにこの絞りの絞り径が調節される。

前処理部１３０には、ＣＤＳ１３０１とＡ／Ｄ１３０２とガンマ補正部１３０３とが備えられており、ＣＤＳ１３０１では画像信号に乗っているノイズの低減処理が行なわれ、Ａ／Ｄ１３０２ではそのＣＤＳ１３０１から出力されたアナログ信号の画像を受けてアナログ信号の画像からデジタル信号の画像への変換処理が行なわれ、ガンマ補正部１３０３では表示画面１５０のガンマ特性にあった画像に変換される。

この前処理部１３０で処理されたデジタル信号の画像がスイッチＳＷ１を経由して信号処理部１４０に供給される。なお、スイッチＳＷ１は通常符号ａ側に切り替えられている。

前処理部１３０から画像が供給されてくる信号処理部１４０には、色分離部１４０１とＹＣ変換部１４０２と画像圧縮部１４０３とが備えられており、色分離部１４０１では画像が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号に分離され、ＹＣ変換部１４０２ではそれらの各色信号が色変換行列によってＹＣＣ信号に変換される。そして信号処理が行なわれた後の画像が表示部１５に供給される。

タイミング発生部１１１からは撮像部１２０に向けて所定の間隔ごとに画像読出信号が供給されている訳であるから、所定のタイミングごとに表示画面１５０上の画像が切り替えられてレンズ鏡胴１７０内の撮影レンズ１７０１が捉えている画像が表示画面１５０上にスルー画となって表示される。なお、このスルー画を表示画面１５０上に表示するにあたっては、システム制御部１１０によってＡ／Ｄ１３０２から出力されたデジタル信号の画像の供給を受けて露出調整や焦点調整が絶えず行なわれている。

ここで、レリーズ釦１０１ｆが半押しされると、撮影処理が開始される。

レリーズ釦１０１ｆが半押されたことを受けてシステム制御部１１０は、ＡＥ（Ａｕｔｏ Ｅｐｏｓｕｒｅ）処理とＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理を実行しＡＥ処理により適正シャッタ秒時が算出される。システム制御部１１０は、この適正シャッタ秒時が手ぶれや被写体ぶれが発生する目安となる所定のシャッタ秒時よりも短いと判定した場合には、タイミング発生部１１１に指示して撮像部１２０内の撮像素子にその適正シャッタ秒時の電子シャッタで露光を行なわせ、さらにタイミング発生部１１１から撮像部１２０に読出信号を供給させて適正シャッタ秒時後に撮像部１２０から画像信号を出力させ出力させた画像信号を前処理部１３０へ出力させる。後段の前処理部１３０によってノイズ低減などの処理が行なわれた画像信号が信号処理部１４０に供給され信号処理部１４０で信号処理された画像信号が記録再生部１６内の記録媒体１６０に記録される。この被写体輝度がある程度明るくてＡＥ処理で得られた適正シャッタ秒時が所定のシャッタ秒時よりも短いときに行なわれる撮影処理が本発明にいう第３の撮影モードの処理に該当する。

ここで本実施形態においては、上記課題を達成するために、繰り返し生成されているスルー画の画像間の、その画像を複数に分割したときの各領域ごとの動きベクトルを求める動きベクトル算出手段１３１を設けて、スルー画をその動きベクトル算出部１３１に常に供給することでレリーズ釦１０１ｆがいつ押されても被写体が静止した被写体であるか、動きのある被写体であるかを即座に判定することができる構成としている。

つまり本実施形態においてはスルー画が表示部１５に供給されるとともに動きベクトル算出部１３１に供給され、その動きベクトル算出部１３１でタイミング発生部１１１からのタイミング信号に同期して繰り返し生成されているスルー画の画像間の、画像を複数に分割したときの各領域ごとの動きベクトルが常に算出されている。レリーズ釦１０１ｆが半押しされたときにはその算出結果を受けてシステム制御部１１０によって被写体が静止した被写体であるか動きのある被写体であるかが判定され、シャッタ秒時が所定の値を超えるような場合には、手ぶれ又は被写体ぶれが発生する恐れがあるとしてそれらが補正されるように全押しに備えて撮影処理が実行される。

ここでシステム制御部１１０が実行する、上記第３の撮影モード以外の撮影処理を説明する。

まずスルー画が表示されているときにレリーズ釦１０１ｆが半押しされると、システム制御部１１０によって撮影処理が開始される。このときには上述した様にレリーズ釦１０１ｆが半押しされているときの、動きベクトル算出部１３１の動きベクトルの算出結果を受けてシステム制御部１１０によって被写体が静止体であるか、動きのある被写体であるかの判定が行なわれる。システム制御部１１０は、輝度不足を補うために所定のシャッタ秒時を超えるシャッタ秒時で撮影を行なうことが必要な場合に、レリーズ釦１０１ｆが半押しされたときのスルー画の各画像間の動きベクトルに基づき被写体が動きのある被写体であると判定した場合には、全押しに備えて単独の一枚の撮影画像を生成する第１の撮影モードを内部設定し、被写体が静止した被写体であると判定した場合には全押しに備えて連続する複数枚の撮影画像を生成する第２の撮影モードを内部設定する。

ここで、まずシステム制御部１１０が被写体が静止した被写体であると判定して第２の撮影モードを内部設定して第２の撮影モードによる撮影を実行して手ぶれを補正するときの処理を説明する。

レリーズ釦１０１ｆが半押しされたことを受けて第２の撮影モードを内部設定した後、システム制御部１１０は、レリーズ釦１０１ｆの全押し操作を受けてタイミング発生部１１１に指示してシャッタ秒時の短い電子シャッタを撮像部１２０に繰り返し供給させて撮像部１２０内の撮像素子に連続的に撮影画像を生成させ、撮影画像を表わす画像信号を前処理部１３０へと次々に出力させる。このときにはスイッチＳＷ１を符号ｂ側に切り替えておく。一回の撮影操作で行なわれる連写撮影ごとに後段の前処理部１３０内のＣＤＳ１３０１ではノイズ低減処理等が行なわれノイズ低減処理が行なわれたアナログ信号の画像がＡ／Ｄ１３０２でデジタル信号の画像に変換される。さらにＡ／Ｄ１３０２でデジタル信号に変換された画像にガンマ補正部１３０３でガンマ補正が施されガンマ補正が施されたデジタル信号の画像が動きベクトル算出部１３１に供給される。この動きベクトル算出部１３１によって各画像間の動きベクトルが算出され算出された結果に基づいて後段の画像重ね合せ部１３２で画像の重ね合せが行なわれ、画像の重ね合せが行なわれた後の撮影画像、つまり手ぶれが補正された後の撮影画像が信号処理部１４０へと出力される。

信号処理部１４０では色分離部１４０１で画像の色分離（ＲＧＢ信号）が行なわれさらにＹＣ変換部１４０２でＲＧＢ信号からＹＣＣ信号への変換処理が行なわれさらに画像圧縮部１４０３で画像の圧縮が行なわれ、圧縮情報とともにＹＣＣ信号が画像ファイルとなって記録再生部１６内の記録媒体１６０に記録される。

こうして、システム制御部１１０が、被写体が静止した被写体であると判定した場合には動きベクトル算出部１３１の算出結果に基づいて画像重ね合せ部１３２で手ぶれが補正され手ぶれが補正された撮影画像が記録媒体１６０に記録される。

本実施形態においては、本発明にいうスルー画生成手段の一例が、システム制御部１１０とタイミング発生部１１１と撮像部１２０とで構成され、本発明にいう被写体判定手段の一例がシステム制御部１１０で構成され、本発明にいう撮影手段の一例が、システム制御部１１０とタイミング発生部１１１と撮像部１２０とで構成される。

次に、被写体が動きのある被写体である場合にシステム制御部１１０が実行する第１の撮影モードの処理を説明する。

システム制御部１１０は、半押しされたときのＡＥ処理で被写体輝度が暗いためにシャッタ秒時が所定のシャッタ秒時よりも長くなるようなときに被写体が動きのある被写体であると判定したときには、被写体ぶれが発生する恐れがあるとして第１の撮影モードを内部設定する。次にレリーズ釦１０１ｆが全押しされたことを受けてシステム制御部１１０は撮像部１２０に指示して撮影感度を上げさせてタイミング発生部１１１に指示してその撮影感度に応じたシャッタ速度で単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行する。

このときには、システム制御部１１０によってスイッチＳＷ１が符合ａ側に切り替えられて前処理部１３０から出力された画像信号が信号処理部１４０へと直接供給され信号処理された画像信号が記録媒体１６０に記録される。

このようにシステム制御部１１０によって動きのある被写体であると判定されたときには撮影感度が上げられ撮影感度に応じたシャッタ速度で被写体ぶれが抑制された撮影が行なわれる。

ここで、システム制御部１１０が実行する撮影処理をフローチャートの形に整理して説明する。

図３は、システム制御部１１０が実行する撮影処理の手順を示すフローチャートである。図３（ａ）には、撮影処理の手順が示されており、図３（ｂ）には、図３（ａ）のステップＳ３０１の処理の詳細が示されている。

このフローの処理は半押しされたときに開始される。

半押しされたことを受けてステップＳ３０１でＡＥつまり露出処理を行なって次のステップＳ３０２でＡＦ処理を行なう。

ここで全押しされたらステップＳ３０３でステップＳ３０１の処理で内部設定されたシャッタ秒時を撮像部１２０に設定してステップＳ３０３で撮像部１２０内の撮像素子に露光を行なわせる。そしてステップＳ３０１で内部設定されたシャッタ秒時後に露光を終了させてステップＳ３０４でタイミング発生部１１１に指示して読出信号を供給させて撮像部１２０から前処理部１３０へと画像を出力させる。次のステップＳ３０５で前処理部内のＡ／Ｄ１３０２にＡ／Ｄ変換等を行なわせてデジタル信号に変換された画像を動きベクトル部および画像重ね合せ部を介して、又は直接信号処理部１４０へと供給させる。次のステップＳ３０６で信号処理部１４０に画像処理を行なわせステップＳ３０７で信号処理部１４０内の画像圧縮部１４０３に圧縮処理を行なわせて記録媒体１６０に画像を記録させてこのフローの処理を終了する。

ここで前述の第３の撮影モードの処理を実行する場合には、被写体輝度がある程度明るくシャッタ秒時を所定の値よりも短くすることができるので良いが、ステップＳ３０１の処理で被写体輝度が暗いことが検知された場合には適正シャッタ秒時が所定のシャッタ秒時以上の長さになってしまう。そうすると、手ぶれ、被写体ぶれともに発生し易くなってしまう。

そこで、本実施形態では、システム制御部１１０が、ステップＳ３０１の処理で被写体輝度に応じて算出される適正シャッタ秒時が所定のシャッタ秒時よりも短いかどうかに応じて、上記第１の撮影モード、上記第２の撮影モード、上記第３の撮影モードのうちのいずれの撮影処理を実行するかを決定しておいて、全押しされたらステップＳ３０３でステップＳ３０１で決定しておいた撮影モードで撮影処理を実行する構成としている。

システム制御部１１０が被写体輝度に応じて絞り値（Ｆ値）と電子シャッタの適正シャッタ秒時を算出する処理を行なっているのがステップＳ３０１のＡＥ処理なのでステップＳ３０１の処理の詳細を図３（ｂ）を参照しながら説明する。

まずステップＳ３０１１で、被写体輝度からＦ値と適正シャッタ秒時を算出する。ステップＳ３０１１で適正シャッタ秒時が所定のシャッタ秒時未満であると判定したときにはステップＳ３０１２へ進んでステップＳ３０１２で適正シャッタ秒時を設定し単独撮影を行なう第３の撮影モードを内部設定して図３（ａ）のステップＳ３０２に戻る。

ステップＳ３０１１で適正シャッタ秒時が所定のシャッタ秒時以上であると判定したときには、ステップＳ３０１３へ進んでステップＳ３０１３で動きベクトル算出部１３１の算出結果から静止した被写体であるか動きの被写体であるかを判定する。このステップＳ３０１３で静止した被写体であると判定したときは、‘静止物’側へ進んでステップＳ３０１４でシャッタ秒時を所定のシャッタ秒時にして次のステップＳ３０１５で動きベクトル算出部１３１で算出された動きベクトルに基づいて画像の重ね合せを重ね合せ画像部１３２に行なわせるためにスイッチＳＷ１を符号ｂ側に切り替えて連続する複数枚の撮影画像を生成する第２の撮影モードを内部設定して、図３（ａ）のステップＳ３０２に戻る。なお、図３中には画像の重ね合せを行なうことを画像加算と記載してある。

このステップＳ３０１３で動きのある被写体であると判定したときは、‘動体を検出’側へ進んでステップＳ３０１６で適正シャッタ秒時を所定のシャッタ秒時にして次のステップＳ３０１７でスイッチＳＷ１を符号ａ側に切り替えて単独の撮影画像を生成する第１の撮影モードを内部設定して、図３（ａ）のステップＳ３０２に戻る。

そして、全押しされたら、ステップＳ３０３でステップＳ３０１のときに設定しておいた撮影モードで撮影処理を実行する。

こうして、適正シャッタ秒時が所定のシャッタ秒時以上の場合には、動きベクトル算出部１３１によるスルー画の各領域ごとの動きベクトルの算出結果に基づいてシステム制御部１１０で静止した被写体であるか、動きのある被写体であるかが的確に判定されて、被写体ぶれが発生する撮影場面においては第１の撮影モードによる撮影の実行により撮影感度が上げられその撮影感度に応じたシャッタ速度で撮影が行なわれることにより被写体ぶれが抑制され、手ぶれが発生する撮影場面においては第２の撮影モードによる撮影の実行により連続する複数枚の撮影が行われて画像重ね合せ部で重ね合せが行なわれて撮影が行なわれることにより手ぶれが補正される。

以上、説明したように、静止画撮影において手ぶれも被写体ぶれも好適に補正することができる撮影装置が実現する。

ところで上記実施形態のようにスルー画を用いて動きベクトル算出部１３１で動きベクトルを算出し算出した結果に基づいて被写体が静止した被写体であるか動きのある被写体であるかを判定しても良いが、例えば通常のデジタルカメラに搭載されている撮影モードの中の風景モードのときには風景撮影であるので被写体が静止した被写体であるとし、ポートレートモード、スポーツモードのときには人物撮影であるので被写体が動きのある被写体であるとしても良い。そうすると、デジタルカメラ内部で撮影モードに応じて上記第１、第２の撮影モードが自動的に内部設定される。

図４は、第２実施形態を説明する図である。

この第２実施形態においては、図１の外観を持ち、図２の内部構成を持つデジタルカメラが用いられるとする。

図４には、被写体が静止した被写体であるか動きのある被写体であるかの判定を撮影モードに応じて行なう構成にした場合の処理手順を説明するフローチャートが示されている。

図３（ｂ）においてはシステム制御部１１０（図２参照）が動きベクトル算出部の算出結果を受けて実行するステップＳ３０１３処理内容が、図４においてはステップＳ３０１３Ａの処理内容に変更されている。

図４に示す様に、動きベクトル算出部の動きベクトルの算出結果の代わりに風景モードのときには第２の撮影モードが内部設定され、ポートレートモード、スポーツモードのときには第１の撮影モードが設定される。この例では本発明にいう被写体判定部の一例を構成するシステム制御部１１０が、動きベクトル算出部１３１で算出された結果に基づいて被写体が動きのある被写体であるか静止した被写体であるかを判定する代わりに、モードレバー１０１ｅで設定された撮影モードによって動きのある被写体であるか静止した被写体であるかを判定する構成に変更している。つまり、動きベクトル算出部１３１の機能が一つになって後段の画像重ね合せ部１３２に動きベクトルを供給して重ね合せ画像を行なわせるのみになる。この様な構成にしても第１実施形態と同等の効果が得られる。

図５、図６は、第３実施形態を示す図である。

図５には、図２の構成に加えてジャイロセンサ１０２が追加された例が示されている。また図６には、図３（ｂ）のフロー中のステップＳ３０１５の処理がステップＳ３０１５Ａの処理に変更された例が示されている。

第１実施形態では動きベクトル算出部１３１で算出された動きベクトルに基づいて画像重ね合せ部１３２に画像の重ね合せを行なわせていたが、図５、図６の例ではジャイロセンサ１０２の検出結果に基づいて画像重ね合せに画像の重ね合せを行なわせている。このジャイロセンサ１０２を用いると、ぶれの補正精度が向上する。

図７は、第４実施形態を示す図である。

この第４実施形態のデジタルカメラは、図１の外観を持ち、図５の内部構成とほぼ同じ構成を持つものとする。ただし、この例においては、撮影モードに応じてシステム制御部１１０が本発明にいう被写体判定手段となって被写体が静止した被写体であるか動きのある被写体であるかを判定するため、図５中の動きベクトル算出部１３１は必要なくなる。

図４中のフロー中のステップＳ３０１５の処理がステップＳ３０１５Ａに変更された以外は図４の処理と同じである。

図７のステップＳ３０１５Ａの処理においてジャイロセンサ１０２を用いて画像重ね合せ部１３２に画像の重ね合せを行なわせている。このような構成にすると、図５の動きベクトル算出部１３１で算出された動きベクトルに基づいてぶれが補正されるよりもより高精度にぶれが補正される。

ところで、被写体が静止した被写体であって画像の重ね合わせが行なわれて手ぶれが補正されるか、被写体が動きのある被写体であって撮影感度が上げられその撮影感度に応じたシャッタ速度で撮影が行なわれて被写体ぶれが補正されるかを表示画面上に表示して撮影者に通知する構成にしておくと良い。そうすると、撮影者は撮影前にどちらでぶれの補正が行なわれるかを把握することができる。

図８、図９は、第５実施形態を説明する図である。

図８のフローの処理は、ステップＳ３０１５１の処理が追加された以外は図３の処理と同じである。

ステップＳ３０１５１の処理で第２の撮影モードによる撮影が実行されて画像重ね合せ部１３２で画像が重ね合されて手ぶれの補正が行なわれることを表わす情報（図９には‘画像加算’と表示されている）を表示すると、このデジタルカメラ１００（図１参照）が被写体を静止した被写体であると判定したか、動きのある被写体であると判定したかの判定結果を撮影前に撮影者に通知することができる。

また再生時に第１の撮影モード、第２の撮影モードのうちのどちらで撮影が行なわれたかを表示することができるようにしておくとなお良い。

図１０、図１１は、第６実施形態を説明する図である。

図１０のフローの処理は、ステップＳ３０９の処理が追加された以外は図３の処理と同じである。図１１には、Ｅｘｉｆファイル内のメモリアロケーションが示されている。

画像ファイルの一形態であるＥｘｉｆファイルは、内部に図１１に示すメモリ領域をそれぞれ有する。上からスタートコード領域、タグ領域、サムネイル画像領域、主画像領域があり、そのタグ領域には、主画像に関する情報例えば撮影日時等が記録される。そこでこのタグ領域に第１の撮影モード、第２の撮影モードのうちのどちらで撮影が行なわれたかを記録するようにしておくと、再生時にそのタグ領域からその情報を読み出して表示画面上に表示することができる。撮影者は、表示画面１５０上の情報（図１１には第２の撮影モードによる撮影を‘画像加算’という言葉で表わしている）を見て画像の重ね合せが行なわれたことを前提に画像の解析を行なうことができる。

なお、本実施形態では、第３の撮影モードを設けたが、第３の撮影モードを設けずに第１撮影モードと第２の撮影モードのうちのいずれかで撮影を実行する構成にしても良い。

ここで、上記実施形態においては、動体であるか静止体であるかを撮影前に判定して、動体であるときには第１の撮影モードで撮影を行なって高感度画像を得て、静止体であるときには第２のモードで撮影を行なって適正露出の重ね合わせ画像を得る例を示したが、例えば高フレームレートの撮像素子を用い、撮影時に動体であるか静止体であるかを判定することもできる。

図１２は、第７実施形態を説明する図であり、上記高フレームレートの撮像素子が採用された撮像部１２０Ａを備えるデジタルカメラ１００Ａの内部構成を示す構成ブロック図である。

図１２を参照してこのデジタルカメラ１００Ａの内部の構成および動作を簡単に説明する。なお、このデジタルカメラの外観は、図１と同じものである。

図１２のデジタルカメラ１００には、光学レンズ系１７０１、タイミング発生部１１１、システム制御部１１０、絞り調節機構１７０２、撮像部１２０Ａ、前処理部１３０、手ぶれ補正部１４０、信号処理部１６０、記録再生部１８０、フラッシュ１９０が備えられている。なお上記メカニカルシャッタも備えられているが省略されている。

これら各部の構成を順次に説明する。

まず、光学レンズ系１７０１は、例えば複数枚の光学レンズ（フォーカスレンズやズームレンズといった光学レンズ等）が組み合わされ構成されている。光学レンズ系１７０１には、図示しないが光学レンズ系の中にあるズームレンズの位置を調節して焦点距離を調節するズーム機構や光学レンズ系の中にあるフォーカスレンズの位置を調節してピントを調節するＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）調節機構等が含まれている。これらの機構を作動させるにあたっては、タイミング発生部１１１で生成された駆動信号が供給される。

タイミング発生部１１１には、デジタルカメラ１００のシステムクロックを発生する発信器が内蔵されており、さらにこのタイミング発生部１１１には、そのシステムクロックに同期したタイミング信号を生成するタイミング信号生成部とシステムクロックに同期した駆動信号を生成する駆動信号生成部とが備えられている。システム制御部１１０から制御信号が供給されてくると、その制御信号に応じてタイミング発生部１１１が撮像部１２０や前処理部１３０、さらにタイミング発生部１１１内の駆動信号生成部にタイミング信号を出力する。タイミング発生部１１１内の駆動信号生成部ではそのタイミング信号を受けて上記機構等に駆動信号を出力する。

このタイミング発生部１１１に制御信号を供給するシステム制御部１１０には、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央演算処理装置）とこのデジタルカメラ１００の動作手順が書き込まれたＲＯＭとが備えられている。システム制御部１１０では、例えばユーザの操作に伴って操作部１０１（レリーズボタンを含む）から供給されてくる情報と上記ＲＯＭの情報とを用いて各部の動作を制御する制御信号が生成され、生成された制御信号が、タイミング発生部１１１、前処理部１３０、手ぶれ補正部１４０、信号処理部１６０、記録再生部１８０等に供給される。

光学レンズ系１７０１の後方に配備されている絞り調節機構１７０２は、被写体の撮影において最適な入射光の光束を撮像素子に供給することができるように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。この絞り調節機構１７０２には、前述のタイミング発生部１１１から駆動信号が供給される。図示はしないが、このときの駆動信号はシステム制御部１１０が、撮像部１２０で光電変換された信号電荷を基にＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ：自動露出）処理を行なって算出した絞り・露光時間に基づくものであり、システム制御部１１０がタイミング発生部１１１にその絞り・露光時間に応じた制御信号を供給してタイミング発生部１１１内の駆動信号生成部に駆動信号を生成させている。

また撮像部１２０には、光電変換する撮像素子が備えられており、その撮像素子が撮影光学系の光軸に直交するように配置される。その撮像素子の入射側には、一体的に個々の光電変換素子に対応して色分解する色フィルタが２次元的に配列されている。タイミング発生部１１１からのタイミング信号に応じて撮像素子で光電変換が行なわれそれらの光電変換によって得られた信号電荷が所定のタイミング信号、例えば電子シャッタのオフタイミングで前処理部１３０に出力される。本実施形態の撮像素子は、撮影モードにセットされると画素数を落としてスルー画用の撮影を開始し、撮影モード中にレリーズボタンが全押しされるとスルー画用の撮影を中断して記録用の本画像の撮影を行なう。なお詳細は後述するが図２の撮像素子には前述の高速フレームレートを持つ撮像素子が用いられていて後述する手ぶれ補正が行なわれるときにはレリーズボタンが全押し操作されたときの一回の撮影操作で高速連写が行なわれて後述する手ぶれ補正部１４０で電子的に手ぶれが補正されながら本画像の撮影が行なわれる構成になっている。このため以降の説明においては、一回の撮影操作で高速連写が行なわれることを説明する際に、高速連写が行なわれて得られた画像のことを連写画像と記載し、さらにその連写画像を、連写回数に応じて一回目の連写画像、２回目の連写画像という風に記載する。この電子的にぶれの補正が行なわれるように高速連写が行なわれた場合には、シャッタ速度に応じた連写回数の連写が行なわれて電子的にぶれが補正され、ぶれが補正された後の画像が上記本画像ということになる。

また前処理部１３０には、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関二重サンプリング）１３１、Ａ／Ｄ１３２、ガンマ補正部１３３が備えられている。ＣＤＳ１３１には、クランプ回路とサンプルホールド回路とが備えられており、例えば撮像素子に例えばＣＣＤ固体撮像素子が用いられた場合には、そのＣＣＤ固体撮像素子の動作により発生する各種のノイズがタイミング発生部１１１からのタイミング信号により上記クランプ回路と上記サンプルホールド回路とで取り除かれる。さらにＣＤＳ回路１３１には、システム制御回路１１０からの制御信号に応じたゲインで入力信号を増幅する増幅回路が備えられており、上記サンプルホールド回路から出力された、上記各種のノイズが取り除かれた信号電荷が受光光量を表わす正確な色信号（Ｒ，Ｇ，Ｂ）となってその増幅回路に供給される。その増幅回路によって、入力された色信号が所定のゲインで増幅された後、Ａ／Ｄ１３２で所定の量子化レベルで量子化されデジタル信号に変換される。またシステム制御回路１１０から撮影感度を上げるために高ゲインを表す制御信号が供給されているときには、上記所定のゲインよりも大きなゲインで増幅された信号がＡ／Ｄ１３２へと供給されＡ／Ｄ１３２で所定の量子化レベルで量子化されデジタル信号に変換される。このときにはタイミング発生部１１１からのタイミング信号に応じてデジタル信号への変換が行なわれる。

さらにガンマ補正部１３３には、ガンマ補正用のルックアップテーブルが備えられており、そのルックアップテーブルによって、ルックアップテーブルに入力されたデジタル信号に対応してガンマ補正が施されたデジタル信号が出力され、デジタル信号に変換された各色信号が手ぶれ補正部１４０に供給されることになるが、スルー画のときにはガンマ処理部１３３から出力されたスルー画を表わす信号が手ぶれ補正部１４０を迂回して信号処理部１６０に供給される。

まず、スルー画のときには手ぶれ補正部１４０を迂回して信号処理部１６０にスルー画を表わす画像信号が供給され、信号処理部１６０によってそのスルー画を表わす画像信号に色分離、ＹＣ変換処理が行なわれ、色分離、ＹＣＣ変換処理が行なわれた後の画像信号が不図示の画像表示部に供給され、スルー画がＬＣＤ１５０（図１参照）上に表示される。このスルー画が表示されている最中にレリーズボタン１０２が操作されると、システム制御部１１０は、ＡＥ処理により得たシャッタ速度に基づいて撮影枚数をタイミング発生部１１１に指示して撮影枚数分のタイミング信号を連続的に供給させることにより高フレームレートの撮像素子を備える撮像部１２０Ａに高速連写を開始させる。そして撮像部１２０から前処理部１３０に次々と連写画像を出力させ、前処理部１３０で各回の連写画像ごとにデジタル信号への変換処理等が行なわれたら、手ぶれ補正部１４０に次々と連写画像を供給させる。なお、このときには１回目の連写画像を撮像部１２０内の不図示のフレームメモリに記憶させておき、全ての連写画像を前処理部に出力させた後、その撮像部内のフレームメモリから前処理部１３０に画像を出力させて前処理部１３０内の増幅回路に高ゲインで信号を増幅させて高感度画像を生成させ前処理部１３０内の最後段にある不図示のフレームメモリ内に記憶させておく。

ここで図１２に加えて図１３を参照しながら構成を説明していく。

図１３は、図１２中の手ぶれ補正部１４０の構成を示す図である。

図１３に示す手ぶれ補正部１４０には、フレームメモリ１４１，フレームメモリ部１４２と、相関演算部１４３と、アドレスシフト部１４４と、合成部１４５とスイッチＳＷ１〜ＳＷ３が３つ備えられている。この例ではフレームメモリ１４１、フレームメモリ部１４２に、１フレーム分のＲ、Ｇ、Ｂの各色信号を格納することができるサイズを持ち、繰り返し読み出すことが自在な非破壊タイプのメモリが用いられている。

上述した様にスルー画が表示されている最中にレリーズボタンの操作に応じて高速連写された連写画像が手ぶれ補正部１４０に供給されてくると、手ぶれ補正部１４０では、次々に供給されてくる連写画像を使って被写体が動きのある被写体であるか、静止した被写体であるかが判定される。

まず、１回のレリーズボタン１０２の操作で行なわれる複数回の連写のうちの１回目と２回目の連写が実施されると、相関演算部１４３に１回目の連写画像と２回目の連写画像が入力される。このときには、スイッチＳＷ１とスイッチＳＷ２が双方共にａ側に切り替えられていて、それらのスイッチＳＷ１，ＳＷ２を経由してフレームメモリ１４１内に記憶されていた１回目の連写画像が相関演算部１４３とともに、フレームメモリ部１４２にも供給され記憶される。

１回目の連写画像と２回目の連写画像との双方が供給された相関演算部１４３では、それら２つの画像を用いて手ぶれを表わす動きベクトルが被写体の各領域ごとに検出される。この相関演算部１４３で動きベクトルが検出されたら、今度はスイッチＳＷ１とスイッチＳＷ２がシステム制御部１１０の制御の下に双方共にｂ側に切り替えられるとともに、その動き検出ベクトルを示す位置データ（例えば座標データｘ、ｙ）がアドレスシフト部１４４に供給される。このときにはフレームメモリ１４１の内容が１回目の連写画像から２回目の連写画像に書き換えられてそのフレームメモリ１４１内の２回目の連写画像がスイッチＳＷ１の接点ｂを経由してアドレスシフト部１４４に供給される。

フレームメモリ部１４２には、１回目の連写画像が記憶されている訳であるから、アドレスシフト部１４４でそのフレームメモリ部１４２内の１回目の連写画像の位置にあうように、２回目の連写画像の位置がオフセットされて１回目の連写画像をベースにして２回目の連写画像が加算されることによりぶれが補正され、フレームメモリ部１４２にぶれが補正された重ね合わせ画像が記憶される。

以降においては、このフレームメモリ部１４２にある１回目の連写画像の位置をベースにして３回目の連写画像、４回目の連写画像…が相関演算部１４３に供給されて、双方の画像から動きベクトルが検出され検出された動きベクトルに基づいてぶれ補正が行なわれて加算により得られた重ね合せ画像がフレームメモリ部１４２に次々に上書きされていく。

こうして１回の撮影操作を受けて複数枚の連写により得られた撮影画像どうしの加算が順次に行なわれていって所定枚数に達したら、システム制御部１１０からの切替信号によってスイッチＳＷ３が断から接に切り替えられる。

ここで、本実施形態においては相関演算部１４３での演算結果がアドレスシフト部１４４だけでなくシステム制御部１１０にもリアルタイムに伝えられていてシステム制御部１１０は今回の撮影で得られた複数枚の画像の被写体が静止した被写体であるか、動きのある被写体であるかを複数枚の画像にわたって判定する。ここで、システム制御部１１０が、相関演算部１４３からの演算結果を受け取って被写体が動きのある被写体であると判定したときには信号処理部１６０に前処理部１３０内の高感度画像を読み出す旨の通知を行ない、被写体が被写体が静止した被写体であると判定したときには、信号処理部１６０に手ぶれ補正部１４０内のフレームメモリ部１４２内の重ね合わせ画像を読み出す旨の通知を行なう。

信号処理部１６０は、システム制御部１１０からの被写体が動きのある被写体であるとの通知に対しては前処理部内１３０の不図示のフレームメモリに記憶されている高感度画像を読み出し、静止した被写体であるとの通知に対しては手ぶれ補正部１４０内のフレームメモリの重ね合わせ画像を読み出す。

図１２に示す信号処理部１６０によって高感度画像又は重ね合わせ画像が読み出されたら信号処理部１６０内の色分離部１６２によって画像を構成する各色信号が選択的に振り分けられるとともに、ある画素の色信号がその画素の周囲の画素の色信号によって補間生成され、各色信号が画面ごとのプレーン信号にされて後段のＹＣ変換部１６３に供給される。

ＹＣ変換部１６３では、変換行列によりＹＣＣ信号が生成され、ＹＣＣ信号がさらに画像圧縮部１６４に供給され圧縮部１６４でＹＣＣ信号が圧縮され圧縮されたＹＣＣ信号と圧縮情報とからなる画像ファイルが記録再生部１８０によって記録媒体１８１に記録される。

以上の構成にすると、１回の撮影操作を受けて高感度画像と低感度の重ね合わせ画像が生成され、システム制御部１１０と相関演算部１４３とによって被写体が動きのある被写体であると判定されたときには高感度画像が記録媒体１８１に記録され、被写体が静止した被写体であると判定されたときには重ね合わせ画像が記録媒体１８１に記録される。

ここでシステム制御部１１０と信号処理部が実行する上記撮影処理の手順を図４（ａ）のフローを参照して分かり易く説明する。

図１４は、図１２のシステム制御部１１０と信号処理部１６０が実行する撮影処理の処理手順を示すフローチャートである。操作子群１０１の中のモードレバー１０１ｅが撮影モード側に切り替えられレリーズボタン１０２が半押しされたときにシステム制御部１１０は図１４のフローの処理を実行する。

なお図１４のフローの処理は、図３（ａ）と図３（ｂ）のフローを併合した処理といっても良いので、関連する処理については同じ番号が付されている。

システム制御部１１０は、ステップＳ３０１でＡＥ処理を実行して絞り値とシャッタ速度を算出する。次のステップＳ３０２でＡＦ処理を実行してフォーカスレンズを合焦位置に配置する。ここで全押しされたらシステム制御部１１０は、ステップＳ３０２１でステップＳ４０１で算出したシャッタ速度を参照して、シャッタ速度が１／６０未満であるか、１／６０以上であるかを判定する。

ここで、１／６０未満であるときには、ステップＳ３０３１へ進んでステップＳ３０３１で規定のシャッタ速度で一枚の画像の露光を行なって次のステップＳ３０４で撮像部１２０にタイミング発生部１１１からタイミング信号を供給させることにより画像を読み出して前処理部１３０へと出力させる。ステップＳ３０５で前処理部１３０内のＡ／Ｄ１３２にデジタル信号への変換を行なわせて、次のステップＳ３０６で信号処理部１６０が前処理部１３０内のフレームメモリ（不図示）内の高感度画像を読み出して色分離・ＹＣ変換処理等を行なう。ここで信号処理部１６０内のフラグの書き換わりをシステム制御部１１０が検知したら、システム制御部１１０は、記録再生部１８０と連携して画像ファイルを記録媒体に記録してこのフローの処理を終了する。

ステップＳ３０２１でシャッタ速度が１／６０以上であると判定したら、ステップＳ３０２２へ進んでステップＳ３０２２で１／６０秒のシャッタ速度で何枚の画像を加算して重ね合わせれば適性露出になるかを定めてタイミング発生部１１１に撮影枚数を設定して撮像部１２０に高速連写を開始させる。次のステップＳ３０２３で手ぶれ補正部１４０の相関演算部１４３の演算結果に基づいて連写画像から静止した被写体であるか、動きのある被写体であるかを判定する。このステップＳ３０２３で静止した被写体であると判定したら、信号処理部１６０にその旨を通知する。ステップＳ３０２４で信号処理部１６０は、手ぶれ補正部１４０内のフレームメモリ部１４２に記憶されている重ね合わせ画像を読み出す。ステップＳ３０２３で動きのある被写体であると判定したら、その旨を信号処理部１６０に通知する。信号処理部１６０は、ステップＳ３０２５で前処理１３０内の不図示のフレームメモリ内にある高感度画像を読み出す。以降ステップＳ３０６からステップＳ３０８までの処理を行なって、被写体が動体であるときには高感度画像を記録し、静止体であるときには重ね合わせ画像を記録してこのフローの処理を終了する。

このように高フレームレートの撮像素子を用いることによって撮影時に高速連写を行なって被写体が動きのある被写体であるか静止した被写体であるかを半別する構成にしても良い。

ところで、撮影感度を上げるために増幅回路のゲインを上げるとノイズが多い画像になるので、被写体の移動量が少ない場合には重ね合わせを行なった方が良い場合がある。

図１５は、第８実施形態を説明する図であって被写体の移動量を検出して被写体の移動量が所定値以下の場合には静止体であるとして手ぶれが補正された重ね合わせ画像を得、所定値を超える場合には動体であるとして被写体ぶれが抑制された高感度画像を得る構成にした場合の例を示す図である。

ステップＳ３０２３５が追加されている以外は、図１４と同じである。

本発明にいう被写体判定手段の一例を構成するシステム制御部１１０が、動きベクトル算出手段の一例を構成する相関演算部１４３により算出された動きベクトルに基づいてステップＳ３０２３５で、複数枚の画像の撮影の間に被写体が所定の移動量以下だけ動いていた場合、および移動量を超えて動いていた場合に、それぞれ、静止した被写体、および動きのある被写体と判定する構成に変更している。

このような構成にしても良い。

また、顔検出手段を設けてその顔検出手段で顔が検出検出された場合には動体であるとし、顔が検出されない場合には静止体であるとして、顔が検出された場合には動体であるとして複数枚の画像の撮影の間に被写体が所定の移動量以下だけ動くか、所定の移動量を超えて動くかを判定する構成にしても良い。

図１６、図１７は、第９実施形態を説明する図である。

図１６の構成は、顔検出部ＦＣが追加されている以外は、図１２の構成と同じである。また図１７のフローの処理はステップＳ３００の処理が追加され、ステップＳ３０２３の処理が変更されている以外は、図１５のフローの処理と同じである。

システム制御部１１０は、ステップＳ３００で撮影直前のスルー画中に顔があるかどうかを顔検出部ＦＣに検出させ、顔を検出したという報告を受けたときにステップＳ３０２３５で動きベクトルに基づいて移動量を検出する構成に変更している。この様な構成にしても良い。

図１８、図１９は、第１０実施形態を説明する図である。

図１８の構成は、ジャイロセンサＳＮが追加されている以外は、図１２の構成と同じである。図１９のフローは、図１５のステップＳ３０２４の処理がステップＳ３０２４Ａの処理に変更され、動きベクトルの代わりにジャイロセンサＳＮで検出された角速度に基づいて重ね合わせが行なわれている以外は、図１５の処理と同じである。このような構成にしても良い。

図２０、図２１は、第１１実施形態を説明する図である。

図２０のフローは、ステップＳ３０９が追加されている以外は、図１２のフローと同じである。図２１には、画像ファイルの一形態であるＥｘｉｆファイル内のメモリアロケーションが示されている。

Ｅｘｉｆファイルは、内部に図１９に示すメモリ領域をそれぞれ有する。上からスタートコード領域、タグ領域、サムネイル画像領域、主画像領域があり、そのタグ領域には、主画像に関する情報例えば撮影日時等が記録される。そこでこのタグ領域に高感度画像、重ね合わせ画像のうちのどちらの画像が記録されているかを記録するようにしておくと、再生時にそのタグ領域からその情報を読み出して表示画面上に表示することができる。撮影者は、表示画面１５０上の情報を見て重ね合わせ画像であるか、高感度画像であるかを区別することができる。

本発明の撮影装置の一実施形態であるデジタルカメラを示す図である。 図１のデジタルカメラ１００内部の電気系統の構成ブロック図である。 システム制御部１１０が実行する撮影処理の手順を示すフローチャートである。 第２実施形態を説明する図である。 第３実施形態を示す図である。 第３実施形態を示す図である。 第４実施形態を示す図である。 第５実施形態を説明する図である。 第５実施形態を説明する図である。 第６実施形態を説明する図である。 第６実施形態を説明する図である。 第７実施形態を説明する図である。 第７実施形態を説明する図である。 第７実施形態を説明する図である。 第８実施形態を説明する図である。 第９実施形態を説明する図である。 第９実施形態を説明する図である。 第１０実施形態を説明する図である。 第１０実施形態を説明する図である。 第１１実施形態を説明する図である。 第１１実施形態を説明する図である。

符号の説明

１００ デジタルカメラ
１０１ 操作子群
１０１ｆ レリーズ釦
１０２ ジャイロセンサ
１０５ ファインダ
１１０ システム制御部
１１１ タイミング発生部
１２０ 撮像部
１３０ 前処理部
１４０ 手ぶれ補正部
１６０ 信号処理部
１８０ 記録再生部
１８１ 記録媒体

Claims (7)

1. 撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
   撮影前に画像を繰り返し生成するスルー画生成手段と、
   前記スルー画生成手段により繰り返し生成された複数枚の画像間の、該画像を複数に分割したときの各領域ごとの動きベクトルを求める動きベクトル算出手段と、
   前記動きベクトル算出手段により算出された動きベクトルに基づいて静止した被写体であるか動きのある被写体であるかを判定する被写体判定手段と、
   前記被写体判定手段で判定された被写体が動きのある被写体であったときに撮影感度を上げて単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行し、前記被写体判定手段で判定された被写体が静止した被写体であったときに連続する複数枚の撮影画像を生成する第２の撮影モードによる撮影を実行する撮影手段と、
   前記被写体判定手段で判定された被写体が静止した被写体であったときに前記第２の撮影モードの実行により得られた複数枚の撮影画像を、前記動きベクトル算出手段で算出された動きベクトルに基づいて撮影画像間の相対的なぶれが補正されるように撮影画像どうしの位置を修正して重ね合わせることにより重ね合わせ画像を生成する画像重ね合わせ手段とを備えたことを特徴とする撮影装置。
2. 撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
   撮影前に画像を繰り返し生成するスルー画生成手段と、
   前記スルー画生成手段により繰り返し生成された複数枚の画像間の、該画像を複数に分割したときの各領域ごとの動きベクトルを求める動きベクトル算出手段と、
   複数の撮影モードの中からいずれかの撮影モードを指定する指定手段と、
   前記指定手段で指定された撮影モードに応じて、今回撮影対象の被写体が静止した被写体であるか動きのある被写体で在るかを判定する被写体判定手段と、
   前記被写体判定手段で判定された被写体が動きのある被写体であったときに撮影感度を上げて単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行し、前記被写体判定手段で判定された被写体が静止した被写体であったときに連続する複数枚の撮影画像を生成する第２の撮影モードによる撮影を実行する撮影手段と、
   前記被写体判定手段で判定された被写体が静止した被写体であったときに前記第２の撮影モードの実行により得られた複数枚の撮影画像を、前記動きベクトル算出手段で算出された動きベクトルに基づいて撮影画像間のぶれが補正されるように撮影画像どうしの位置を修正して重ね合わせることにより重ね合わせ画像を生成する画像重ね合せ手段とを備えたことを特徴とする撮影装置。
3. 撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
   当該撮影装置のぶれを検出するぶれ検出手段と、
   撮影前に画像を繰り返し生成するスルー画生成手段と、
   前記スルー画生成手段により繰り返し生成された複数枚の画像間の、該画像を複数に分割したときの各領域ごとの動きベクトルを求める動きベクトル算出手段と、
   前記動きベクトル算出手段で算出された動きベクトル算出手段により繰り返し生成された複数枚の画像間の動きベクトルに基づいて静止した被写体であるか動きのある被写体であるかを判定する被写体判定手段と、
   前記被写体判定手段で判定された被写体が動きのある被写体であったときに、撮影感度を上げて単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行し、前記被写体判定手段で判定された被写体が静止した被写体であったときに連続する複数枚の撮影画像を生成する第２の撮影モードによる撮影を実行する撮影手段と、
   前記被写体判定手段で判定された被写体が静止した被写体であったときに前記第２の撮影モードの実行により得られた複数枚の撮影画像を、前記ぶれ検出手段によるぶれ検出結果に基づいて、撮影画像間の相対的なぶれが補正されるように撮影画像どうしの位置を修正して重ね合せることにより重ね合せ画像を生成する画像重ね合せ手段とを備えたことを特徴とする撮影装置。
4. 撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
   当該撮影装置のぶれを検出するぶれ検出手段と、
   複数の撮影モードの中からいずれかの撮影モードを指定する指定手段と、
   前記指定手段で指定された撮影モードに応じて、今回撮影対象の被写体が静止した被写体であるか動きのある被写体で在るかを判定する被写体判定手段と、
   前記被写体判定手段で判定された被写体が動きのある被写体であったときに撮影感度を上げて単独の一枚の撮影画像を生成する第１の撮影モードによる撮影を実行し、前記被写体判定手段で判定された被写体が静止した被写体であったときに連続する複数枚の撮影画像を生成する第２の撮影モードによる撮影を実行する撮影手段と、
   前記被写体判定手段で判定された被写体が静止した被写体であったときに前記第２の撮影モードの実行により得られた複数枚の撮影画像を、前記手ぶれ検出手段によるぶれ検出結果に基づいて撮影画像間の相対的なぶれが補正されるように撮影画像どうしの位置を修正して重ね合せることにより重ね合せ画像を生成する画像重ね合せ手段とを備えたことを特徴とする撮影装置。
5. 被写体の輝度を検出する被写体輝度検出手段と、
   前記被写体輝度検出手段で検出された被写体輝度に基いて適正露出の撮影を行なうための適正シャッタ秒時を算出する適正シャッタ秒時算出手段とを備え、
   前記撮影手段が、前記シャッタ秒時算出手段で算出された適正シャッタ秒時が所定のシャッタ秒時よりも短いシャッタ秒時であったときは前記被写体判定手段による判定結果を待つことなく、該適正シャッタ秒時による単独の１枚の撮影画像を生成する第３の撮影モードによる撮影を実行し、前記シャッタ秒時算出手段で算出された適正シャッタ秒時が所定のシャッタ秒時よりも長いシャッタ秒時であったときにシャッタ秒時を該所定のシャッタ秒時にまで速めた上で前記第１の撮影モード又は前記第２の撮影モードによる撮影を実行するものであることを特徴とする請求項１から４記載のうちのいずれか１項記載の撮影装置。
6. 前記被写体判定手段による判定結果を、ユーザに通知する通知手段を備えたことを特徴とする請求項１から５記載のうちのいずれか１項記載の撮影装置。
7. 前記第１の撮影モードの実行により得られた撮影画像および前記第２の撮影モードにより得られた重ね合わせ画像に対応させて、前記第１の撮影モードにより得られた画像であるか前記第２の撮影モードにより得られた画像であるかを表わす情報を記録する記録手段を備えたことを特徴とする請求項１から５記載のうちのいずれか１項記載の撮影装置。

Images