JP6570918B2 - 撮像装置、撮像方法 - Google Patents

Description

本発明は、複数コマの画像データを取得して合成する撮像装置、撮像方法に関する。

近年、デジタルカメラなどの撮像装置において、イメージセンサから連続的に読み出した複数コマの画像を合成することにより、１コマの撮影画像では表現することができない新たな画像処理効果の画像を実現する、あるいは１コマの撮影では簡単に得られない画像を取得する撮像装置が提案され、市販されている。

例えば、特開２０１０−１３６０５８号公報には、複数コマの画像を合成することで、流し撮り撮影の画像を容易に得る撮像装置が提案されている。

従来のカメラで流し撮り撮影を行う際に、撮影者が意図した通りの流し撮り画像を撮影するのは簡単ではない。具体的には、背景が適度な流れ量となるような、流し撮りに適したシャッタ速度を撮影者が知らないことがある。さらに、流し撮りに適したシャッタ速度は、背景が流れるようなやや長めのシャッタ速度であるために、絞り値やＩＳＯ感度を適切に設定することなく流し撮りに適したシャッタ速度だけを設定して撮影を行うと、露出量が多くなりすぎて露出過剰になる場合がある。

これに対して、該公報に記載の撮像装置は、適正な露出で連写した複数コマの画像を合成して流し撮り画像を得るものであるために、適切な露出の合成画像を得られるだけでなく、撮影者の好みの流し撮り効果が出せるシャッタ速度の合成画像を得ることもできる。さらに、この公報に記載の技術では、画像データ内の複数の被写体の中から、流したい被写体（背景）と流したくない被写体（主要被写体）とを検出して、主要被写体は流れないように、かつ背景は流れるように画像を合成することで、流し撮り撮影をより簡単に行えるようにしている。

特開２０１０−１３６０５８号公報

上記特開２０１０−１３６０５８号公報に記載されたような、連写した画像を合成して１コマの画像を生成する際には、連写方法として、メカニカルシャッタの開閉動作を繰り返して行うメカニカルシャッタ連写の方法と、一般的なＣＭＯＳイメージセンサの動画撮影のような、メカニカルシャッタを開いたままの状態でイメージセンサからの読み出しを繰り返して行ういわゆる電子シャッタによる連写（以下では適宜、電子読出連写と記載する）の方法と、が考えられる。

このようなメカニカルシャッタ連写または電子読出連写で撮影した複数コマの画像を合成した流し撮り画像は、流し撮りに慣れているプロカメラマンがメカニカルシャッタで１コマ撮影した流し撮り画像とは異なった画像となる。

具体的に、メカニカルシャッタで連写を行う場合には、１コマの画像を撮影したらシャッタを一旦閉じて、その後に次のコマの画像を撮影するためにシャッタを開く動作を行うために、閉じてから開くまでの時間（例えば１／１０（ｓｅｃ）程度）により、連続するコマ同士の間に撮影をしていない露光抜けが発生する。例えば、モータースポーツや野鳥の飛行などを流し撮りする際には１／３０〜１／２（ｓｅｃ）程度のシャッタ速度で撮影するのが一般的であるために、メカニカルシャッタ連写では各画像間にシャッタ速度に近いオーダーの１／１０（ｓｅｃ）程度の露光抜けが発生することになる。連写して得た複数コマの画像を合成して流し撮り撮影画像を生成すると、主要被写体は静止しているために違和感がないが、背景部分の流れ具合が露光抜けにより断続的になってしまう。従って、メカニカルシャッタ連写を用いた流し撮り撮影画像の合成では、プロカメラマンが１コマの画像で撮影した流し撮り画像のような自然な流し具合の画像を得ることはできない。

一方、電子読出連写は、次のように行われる。近年のデジタルカメラで使用されているＣＭＯＳイメージセンサでは、行および列方向に配置された複数画素の各信号を各行毎に順次読み出すのが一般的である。蓄積された画素信号の読み出しが各行毎に完了した時点で、該当行の画素の信号蓄積が再開され、次の行の読出しが行われる。このように電子読出連写では各行の露光を中断することなく連写できるために、メカニカルシャッタ連写の場合のような露光抜けは発生しない。しかし、画像の１番上の行の読み出しを開始してから１番下の行の読み出しが完了するまでの時間（いわゆる、電子シャッタの走行時間）は、メカニカルシャッタの走行時間と比べると長い。具体例を挙げれば、メカニカルシャッタはイメージセンサの上端から下端までを走行するのに２〜４（ｍｓｅｃ）程度を要するが、一般的なＣＭＯＳイメージセンサにおける１画面の電子読出しに要する時間は１０〜１００（ｍｓｅｃ）程度である。従って、電子シャッタを用いると画像の上側部分と下側部分とでは露光タイミングがずれるために、動きのある被写体を撮影する場合、あるいは流し撮りのようにカメラ自体を動かして撮影をする場合には、被写体が不自然に歪む現象が撮影画像に発生する。

図面を参照して、さらに具体的に説明する。例えば、図４に示すような、静止している背景Ｂ０に対して、右側から左側に走行する車などの主要被写体Ｍ０を、カメラを主要被写体Ｍ０に向けて右から左に振って流し撮り撮影する場合を考える。

このとき、メカニカルシャッタで連写した複数コマの画像を合成した場合には、上述したように各コマの画像間に露光抜けが発生するために、図１１に示すように、背景Ｂ０の流れが断続的に途切れた不自然な流れ具合の画像となる。ここに、図１１は、メカニカルシャッタで連写した複数コマの画像から合成した流し撮り撮影画像ＳＰ１の例を示す図である。

また、複数コマの画像全てに対してメカニカルシャッタを用いることなく、電子シャッタ（図１２の例では、下から上に走行する電子シャッタを想定している）のみを用いた場合には、最初の１コマおよび最後の１コマを含む全コマについて、画像の上側と下側における露光タイミングのずれが大きい。従って、合成画像は、図１２に示すように、画像の上側に行くほど右側に背景Ｂ０が歪み、不自然な画像となってしまう。ここに、図１２は、電子シャッタで連写した複数コマの画像から合成した流し撮り撮影画像ＳＰ２の例を示す図である。

このように連写した画像を合成して１コマの画像を生成する撮像装置においては、連写の方法が、メカニカルシャッタ連写であればコマ間の露光抜けが原因で、電子読出連写であれば各行の露光タイミングのずれに起因する被写体歪みが原因で、１コマの画像で流し撮り撮影した画像と比較して、不自然な画像となってしまう。

このように合成画像が不自然な画像となるのは、上述の流し撮りを簡単化する合成処理の場合だけではなく、現在までに提案され市販されているデジタルカメラに搭載された各種の画像合成処理、例えば、露出の異なる複数コマの画像を連写して、１コマの画像よりもダイナミックレンジが大きい画像を合成する画像合成処理、複数コマの画像を平均合成してランダムノイズを低減する画像合成処理などの、複数コマの画像を合成する種々の画像合成処理に対しても同様に成立する。

本発明は上記事情に鑑みてなされたものであり、複数コマの画像データから得られる合成画像データが、露光の不連続性および電子読出しに起因する被写体歪みが軽減された、より自然な画像となる撮像装置、撮像方法を提供することを目的としている。

本発明のある態様による撮像装置は、２次元状に配列された複数の画素で被写体光像を受光して画像データを生成し、読出時間Ｔｅで読み出す撮像素子と、上記撮像素子の前面に配置され、Ｔｅ＞Ｔｍを満たす走行時間Ｔｍの開閉動作により上記撮像素子の露光時間を制御するメカニカルシャッタと、上記メカニカルシャッタが開いてから閉じるまでの総露光時間がＴ１となるように該メカニカルシャッタを制御すると共に、Ｔ１＞Ｔ２を満たす１コマ露光時間Ｔ２で複数コマの画像データを連続的に読み出させるように上記撮像素子を電子シャッタ制御する制御部と、上記複数コマの画像データを合成して少なくとも１コマの合成画像データを生成する画像合成部と、を備え、上記メカニカルシャッタの先幕が走行を開始する時刻をｔｍｓ、上記複数コマの内の、１コマ目を撮影する際の電子シャッタの先幕が走行を開始する時刻をｔ１ｅｓ、最終コマ目を撮影する際の電子シャッタの先幕が走行を開始する時刻をｔｆｅｓとすると、上記制御部は、上記総露光時間Ｔ１で任意の画素において露光された電荷がもれなく読み出されるように、
（ｔｍｓ−Ｔｅ＋Ｔｍ−Ｔ２）＜ｔ１ｅｓ≦（ｔｍｓ−Ｔｅ＋Ｔｍ）
および
（ｔｍｓ＋Ｔ１−Ｔ２）≦ｔｆｅｓ＜（ｔｍｓ＋Ｔ１）
を満たすように、上記メカニカルシャッタおよび上記撮像素子を制御する。

本発明のある態様による撮像方法は、撮像素子の２次元状に配列された複数の画素で被写体光像を受光して画像データを生成し、読出時間Ｔｅで読み出す撮像ステップと、上記撮像素子の前面に配置されたメカニカルシャッタにより、Ｔｅ＞Ｔｍを満たす走行時間Ｔｍの開閉動作で上記撮像素子の露光時間を制御する露光ステップと、上記メカニカルシャッタが開いてから閉じるまでの総露光時間がＴ１となるように該メカニカルシャッタを制御すると共に、Ｔ１＞Ｔ２を満たす１コマ露光時間Ｔ２で複数コマの画像データを連続的に読み出させるように上記撮像素子を電子シャッタ制御する制御ステップと、上記複数コマの画像データを合成して少なくとも１コマの合成画像データを生成する画像合成ステップと、を備え、上記メカニカルシャッタの先幕が走行を開始する時刻をｔｍｓ、上記複数コマの内の、１コマ目を撮影する際の電子シャッタの先幕が走行を開始する時刻をｔ１ｅｓ、最終コマ目を撮影する際の電子シャッタの先幕が走行を開始する時刻をｔｆｅｓとすると、上記制御ステップは、上記総露光時間Ｔ１で任意の画素において露光された電荷がもれなく読み出されるように、
（ｔｍｓ−Ｔｅ＋Ｔｍ−Ｔ２）＜ｔ１ｅｓ≦（ｔｍｓ−Ｔｅ＋Ｔｍ）
および
（ｔｍｓ＋Ｔ１−Ｔ２）≦ｔｆｅｓ＜（ｔｍｓ＋Ｔ１）
を満たすように、上記メカニカルシャッタおよび上記撮像素子を制御するステップである。

本発明の撮像装置、撮像方法によれば、複数コマの画像データから得られる合成画像データが、露光の不連続性および電子読出しに起因する被写体歪みが軽減された、より自然な画像となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１の撮像装置における流し撮り撮影処理の動作を示すフローチャート。 上記実施形態１の流し撮り撮影モードにおける露光の様子を示すタイミングチャート。 上記実施形態１において、移動する被写体と静止している背景を含む撮影シーンの一例を示す図。 上記実施形態１において、流し撮り撮影の１コマ目として得られる画像の例を示す図。 上記実施形態１において、流し撮り撮影の２コマ目として得られる画像の例を示す図。 上記実施形態１において、流し撮り撮影の３コマ目として得られる画像の例を示す図。 上記実施形態１において、流し撮り撮影の最終コマである４コマ目として得られる画像の例を示す図。 上記実施形態１において、流し撮り撮影で得られた全コマの画像を合成して得られる画像の例を示す図。 上記実施形態１において、合成画像データを生成するための複数コマの画像データを、イメージセンサから連続的に読み出させる制御方法を説明するためのタイミングチャート。 従来において、メカニカルシャッタで連写した複数コマの画像から合成した流し撮り撮影画像の例を示す図。 従来において、電子シャッタで連写した複数コマの画像から合成した流し撮り撮影画像の例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１０は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。

本発明の好ましい実施形態に係る撮像装置１は、例えばデジタルカメラとして構成されている。

この撮像装置１は、撮像部２と、画像処理部３と、バス４と、自動露出制御部５と、ブレ検出部６と、表示部７と、入力ＩＦ（インターフェース：Interface）８と、内部メモリ９と、システム制御部１０と、を備えている。なお、図１には外部メモリ１１も記載されているが、この外部メモリ１１は例えば撮像装置１に着脱自在のメモリカード等により構成することができるために、撮像装置１に固有の構成でなくても構わない。

撮像部２は、レンズ２１と、メカニカルシャッタ２２と、イメージセンサ２３と、を有している。

レンズ２１は、イメージセンサ２３に被写体光像（被写体の光学像）を結像する光学系である。このレンズ２１は、内部に、露出量を調節するための制御パラメータである絞り値に応じて開口の大きさを変化させる光学絞りを備えている。

なお、本実施形態においては、レンズ２１がカメラ本体と一体に構成されていることを想定して説明するが、レンズ２１が交換レンズとしてカメラ本体に対して着脱自在に構成されていても勿論かまわない。

また、メカニカルシャッタ２２は、例えばフォーカルプレーンシャッタとして構成され、イメージセンサ２３の前面に配置されていて、遮光を行うための先幕および後幕を開閉することにより、レンズ２１からの撮影光束をイメージセンサ２３へ到達させ、あるいは撮影光束がイメージセンサ２３に到達しないように遮光する。このとき、先幕が走行開始してから後幕が走行開始するまでの時間がシャッタ速度であり、メカニカルシャッタ２２は、自動露出制御部５の検出結果に基づいて決定されたシャッタ速度に基づきシステム制御部１０により制御される。

このメカニカルシャッタ２２（先幕および後幕）がイメージセンサ２３の撮像面を通過するのに要する走行時間をＴｍとし、イメージセンサ２３が全ライン分の読み出しを行うのに要する読出時間（いわゆる、電子シャッタの走行時間）をＴｅとすると、メカニカルシャッタ２２は、Ｔｅ＞Ｔｍを満たす走行時間Ｔｍの開閉動作によりイメージセンサ２３の露光時間を制御するものとなっている。

イメージセンサ２３は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の撮像素子を含み、レンズ２１により結像された被写体光像を、２次元状に配列された複数の画素で受光して、画素毎に電気信号に変換して画像データを生成し、生成した画像データを読み出して画像処理部３およびバス４へ出力する。

バス４は、撮像装置１内の各部の間で信号の送受信を行うための信号線である。図１に示す例においては、バス４には、撮像部２、画像処理部３、自動露出制御部５、ブレ検出部６、表示部７、入力ＩＦ８、内部メモリ９、システム制御部１０、および外部メモリ１１が接続されている。

画像処理部３は、イメージセンサ２３から出力された画像データに画像処理を施すものであり、画像合成部３１と、現像処理部３２とを有している。

画像合成部３１は、複数コマの画像データを合成して少なくとも１コマの合成画像データを生成するものであり、比較明合成部３３と、比較暗合成部３４と、加算合成部３５と、平均合成部３６と、重付加算合成部３７とを有している。すなわち、画像合成部３１は、イメージセンサ２３から連続的に読み出され、必要に応じて内部メモリ９に保存された複数コマの画像データを、対応する画素毎に、比較明合成処理、比較暗合成処理、加算合成処理、平均合成処理、または重み付け加算合成処理して、合成画像を生成する。ここに合成処理は、何れか１つを選択して行うに限るものではなく、複数を行って、複数種類の合成画像を生成しても構わない。

比較明合成部３３は、以下のような比較明合成処理を行う。比較明合成部３３は、内部メモリ９に記憶されている複数コマの画像データについて、それぞれ対応する画素位置の画素データ同士を比較する。

ここに「対応する画素位置」は、複数コマの画像データに位置ずれがない場合には同じ画素位置（アドレス）となるが、位置ずれがある場合には位置ずれ補正を行った後に対応関係がある画素位置とすると良い。特に流し撮り撮影の場合には、位置ずれ補正は、主要被写体に関する位置ずれを補正する（背景に関しては、位置がずれても構わない）ような処理となる。

そして、比較明合成部３３は、画素データを比較した結果の何れか大きい方、すなわち明るい方の画素データを用いて比較明合成画像データを構成する。このような処理を、全ての画素位置について行うことを、複数コマの画像データの全てについて行うことで、最も明るい画素データで構成される比較明画像が生成される。

このような処理により、明るい被写体ほど目立つように合成することができる。こうして、例えば主要被写体が背景よりも明るい場合にこの比較明合成処理を行えば、主要被写体をより際立たせた合成画像を生成することができる。

比較暗合成部３４は、比較明合成部３３とほぼ同様に対応する画素位置の画素データ同士を比較するが、比較した結果の何れか小さい方、すなわち暗い方の画素データを用いて比較暗合成画像データを構成する。

このような処理により、暗い被写体ほど目立つように合成することができる。こうして、例えば主要被写体が背景よりも暗い場合にこの比較暗合成処理を行えば、主要被写体をより際立たせた合成画像を生成することができる。

従って、例えば流し撮り撮影において、主要被写体（モータースポーツの流し撮りでは車、飛行している鳥を撮影する場合には鳥、等）が背景よりも明るい場合には比較明合成部３３を用いて、一方、主要被写体が背景よりも暗い場合には比較暗合成部３４を用いて、合成を行うことにより、背景に対して主要被写体を明確に写し出すことができ、より印象的な流し撮り合成画像を得ることができる。

加算合成部３５は、以下のような合成処理を行う。加算合成部３５は、内部メモリ９に記憶されている複数コマの画像データについて、それぞれ対応する画素位置の画素データ同士を加算する。そして、加算結果の画素データを用いて加算合成画像データを構成する。

なお、例えば流し撮りにおいては、連写した複数コマの画像を加算合成することで、複数コマの各露光時間を合計した分だけ露光を行ったのと同じ露出の画像が生成される。連写した複数コマの画像データに写った主要被写体の位置が画像毎にずれている場合には、上述したように主要被写体の位置を合わせながら加算合成することで、主要被写体がより明瞭に写った合成画像を得ることができる。

平均合成部３６は、以下のような合成処理を行う。平均合成部３６は、内部メモリ９に記憶されている複数コマの画像データについて、それぞれ対応する画素位置の画素データ同士を平均する。そして、平均結果の画素データを用いて平均合成画像データを構成する。

なお、例えば流し撮りにおいては、上述した加算合成部３５のように主要被写体の位置を合わせながら平均合成することで、主要被写体がより明瞭に写った合成画像を得ることができる。

さらに、昼間の屋外などの明るい場所では、流し撮りに適したスローシャッタで撮影しようとすると、例えＩＳＯ感度を下げて絞りを絞ったとしても、適正な明るさよりも明るく写ってしまう場合がある。加えて、絞りを絞ると被写界深度が広くなるために、撮影者がピントの合っている主要被写体に対して背景をよりボケさせて（被写界深度を狭くして）撮影しようと意図して、絞り優先撮影モード（または絞り機構がマニュアルで変更できるレンズ）により絞りを開いて撮影が行われる場合も想定される。この場合には、適正な明るさよりもさらに一層明るく写り易くなってしまう（従って、こうした場合に適正な明るさの画像を得るには、例えばＮＤフィルタ等を用いて入射光量を抑制する必要がある）。これに対して、各１コマのシャッタ速度を露出が適正となるシャッタ速度に設定して連写を行い、連写で得られた画像データを平均合成処理すれば、露出が適正で、適度な流し具合の流し撮り合成画像を得ることができる。

重付加算合成部３７は、上述した加算合成部３５とほぼ同様に対応する画素位置の画素データ同士を加算するが、この加算の際にコマ毎に軽重の重み付けを行う。この重み付けを調整することにより、複数コマの画像の内の、所望の画像を重視した加算合成を行うことが可能となる。

これにより、例えば流し撮りを行ったときに、電子読出連写して取得した複数コマの中の一部のコマに、主要被写体がブレて写っているものが含まれている場合には、ブレの小さいコマほど重み係数を大きくして合成することにより、合成画像における主要被写体のブレを小さくして、主要被写体が明瞭に写っている合成画像を得ることができる。

また、例えば、複数コマの画像の内の１コマ目の画像の重みを重くして加算合成を行えば、移動被写体の最初の位置が明瞭に画像に表れ、その後の移動がどの方向へどのように行われたかを最初の位置からの流れ具合で把握することができる画像が得られる。逆に、複数コマの画像の内の最後のコマ目の画像の重みを重くして加算合成を行えば、移動被写体の最後の位置が明瞭に画像に表れ、最後の位置に至るまでの移動がどの方向からどのように行われたかを最後の位置への流れ具合（最後の位置から尾を引くような流れ具合）で把握することができる画像が得られる。

現像処理部３２は、画像合成部３１で生成されたＲＡＷ画像データである合成画像データに対して、デモザイキング処理、ホワイトバランス調整処理、ノイズリダクション処理、ＹＣ信号生成処理、ガンマ補正処理、リサイズ処理、画像圧縮処理などの各処理を、現像処理として行う。ここにリサイズ処理は、イメージセンサ２３から読み出された画像データの画素数を他の画素数に変換する処理であり、例えば表示部７の表示画素数に合わせるための処理である。

自動露出制御部５は、撮像装置１のＡＥ（自動露出：Auto Exposure）制御を行うものであり、イメージセンサ２３から読み出された画像データに基づき、適正露光時間を含む露出条件、つまり、目標とする露出で撮影を行うことができるようなＩＳＯ感度、絞り値、シャッタ速度（露光時間）などを自動で検出する。ここに、ＩＳＯ感度は画像データの信号増幅量を制御するための制御パラメータ、絞り値はレンズ２１の絞りの開口の大きさを制御するための制御パラメータである。また、シャッタ速度は、適正露出となる露光時間（適正露光時間）として検出され、通常の１コマの画像撮影においてはメカニカルシャッタ２２の先幕および後幕の各走行開始の時間間隔を制御するための制御パラメータとして用いられるが、電子シャッタを用いる場合にはイメージセンサ２３の読み出しの時間間隔を制御するための制御パラメータとしても用いられる。

ブレ検出部６は、例えばジャイロセンサなどの角速度を検出するデバイスを有し、撮像装置１のブレ量を検出する。このブレ検出部６は、加速度を検出する加速度検出部を兼ねたものとなっている。流し撮り撮影においては、ブレ検出部６は、撮影者が被写体の動きに合わせて撮像装置１を移動させる際の動き量を検出する。

表示部７は、ＴＦＴ（Thin Film Transistor）液晶や有機ＥＬ（Electro Luminescence）などの背面表示部、あるいはＥＶＦ（電子ビューファインダ：Electronic viewfinder）などを有して構成され、現像処理部３２によって現像された画像を表示する。

入力ＩＦ８は、撮影者の操作を受けて撮像装置１に対する各種の設定や指示を行うための操作部であり、例えば、撮像装置１の電源をオン／オフするための電源釦、あるいは撮影開始および終了を操作するためのレリーズ釦等の操作部材を備え、さらに、表示部７の背面表示部等におけるタッチ操作入力を行うためのタッチパネル等を備えている。この入力ＩＦ８は、後述する露光時間Ｔ１を含む撮影条件を設定入力するためのユーザインタフェイス部となっている。

内部メモリ９は、イメージセンサ２３から読み出された画像データ、あるいは画像処理部３が画像処理を行っている途中の画像データを記憶すると共に、撮像装置１の動作に必要な各種の処理プログラムや設定値なども記憶する記憶部である。この内部メモリ９は、例えば、フラッシュメモリ、ＳＤＲＡＭ等の不揮発性メモリあるいは揮発性メモリによって（あるいはこれらを組み合わせることによって）構成されている。

外部メモリ１１は、カメラ本体に装填自在のメモリカード等、あるいはカメラ本体の内部に固定された不揮発性の記憶媒体である。この外部メモリ１１は、現像処理部３２で現像処理された画像データを記録し、再生時には、記録された画像データが読み出される。この外部メモリ１１から読み出された画像データは、撮像装置１の外部に出力可能である。

システム制御部１０は、ＣＰＵ（Central Processing Unit）等を有し、内部メモリ９に記憶されている処理プログラムに従って、撮像装置１内の各部を制御する制御部である。

例えば、システム制御部１０は、自動露出制御部５の検出結果に基づいて、メカニカルシャッタ２２が開いてから閉じるまでの総露光時間がＴ１となるようにメカニカルシャッタ２２を制御すると共に、Ｔ１＞Ｔ２を満たす１コマ露光時間Ｔ２で複数コマの画像データを連続的に読み出させるようにイメージセンサ２３を電子シャッタ制御する制御部である。

次に、図２は、撮像装置１における流し撮り撮影処理の動作を示すフローチャートである。この図２に示す処理は、上述したように、内部メモリ９に記憶された処理プログラムに従ってシステム制御部１０が撮像装置１内の各部を制御することにより、実行される。

図示しないメイン処理を実行中に、撮影者が入力ＩＦ８を介して流し撮り撮影モードを選択すると、この図２に示す処理が開始される。

するとまず、メカニカルシャッタ２２を開放状態として、イメージセンサ２３から所定のフレームレートで画像データを読み出し、表示部７にライブビュー表示を行う（ステップＳ１）。このライブビュー表示（または、光学ファインダによる被写体像等）を見て、撮影者は、撮影したい被写体を撮影することができるように、レンズ２１のピント調整を行い、また、撮像装置１の向きおよびレンズ２１の焦点距離（ズーム）を調節することで構図を決定する。また、撮影者は、必要に応じて入力ＩＦ８の操作釦やタッチパネル等を操作することにより撮影に係るその他の設定を行う。

次に、ライブビューで取得した画像データに基づいて、システム制御部１０が、流し撮りに最適な露光時間（流し撮り露光時間）を総露光時間Ｔ１として設定する（ステップＳ２）。流し撮りでは、移動する主要被写体に追従するように、撮影者が撮像装置１の向きを移動させる。このとき、レンズ２１の焦点距離に応じてイメージセンサ２３上に結像される主要被写体の像面速度が変化するために、システム制御部１０は、レンズ２１の焦点距離に基づいて、背景の流れを効果的に撮影することができる流し撮り露光時間を自動的に算出し、算出した流し撮り露光時間を総露光時間Ｔ１として設定する。

また、主要被写体の移動に合わせて撮影者が撮像装置１の向きを移動させる速度を、加速度検出部を兼ねたブレ検出部６の検出結果に基づきシステム制御部１０が算出して、算出した移動速度に基づき流し撮り露光時間としての総露光時間Ｔ１を自動設定するようにしても良い。

加えて、レンズ２１の焦点距離と、ブレ検出部６の検出結果と、の両方に基づいて、流し撮り露光時間を算出して総露光時間Ｔ１として自動設定するようにしても構わない。つまり、システム制御部１０は、レンズ２１の焦点距離と、ブレ検出部６の検出結果と、の少なくとも一方に基づいて流し撮り撮影に適した露光時間を算出し、総露光時間Ｔ１として設定すると良い。

あるいは、撮像装置１により自動設定された総露光時間Ｔ１を撮影者が修正することができるようにしても良いし、撮像装置１による自動設定を用いることなく、総露光時間Ｔ１を撮影者がマニュアルで所望に設定するようにしても構わない。

その後、システム制御部１０は、レリーズ釦が半押しされて１ｓｔレリーズスイッチがオンになったことを検出したら、１ｓｔレリーズオン時の処理として、例えば、ＡＦ（自動焦点：Autofocus）制御処理およびＡＥ制御処理を行う（ステップＳ３）。

ここに、ＡＦ制御処理は、ライブビューにおいてイメージセンサ２３から繰り返し読み出される画像データからコントラスト信号を抽出して、抽出したコントラスト信号が最大値をとるように、レンズ２１中のフォーカスレンズを駆動制御してピントを合わせる処理である。

また、ＡＥ制御処理は、ライブビューにおいてイメージセンサ２３から繰り返し読み出される画像データから輝度相当信号を抽出して、抽出した輝度相当信号から求められる画像の明るさが適正となるような（画像が適正露出となるような）絞り値、ＩＳＯ感度、シャッタ速度（露光時間）を自動的に検出して制御する処理である。

ただし、撮像装置１の設定によっては、ＡＦとＡＥの機能の少なくとも一方（片方または両方）をオフとして、撮影者が入力ＩＦ８等を介して手動でフォーカスレンズの位置（ピント調節）、絞り値、ＩＳＯ感度、シャッタ速度等を設定するようにしても良い。

このＡＥ制御処理においては、なるべくＴ２＝Ｔ１となるように、ＩＳＯ感度および絞り値を調節する。Ｔ１＝Ｔ２であれば、メカニカルシャッタ２２のみを用いた１コマ撮影により、適正露出で効果的な流し撮り撮影を行うことができるからである。しかし、上述したように、屋外などの明るい環境では、ＩＳＯ感度を低く設定し、かつ絞りを絞ったとしても、Ｔ２＝Ｔ１とすると露出オーバーになってしまう場合がある。一般的なデジタルカメラでは、設定可能な最低のＩＳＯ感度がＩＳＯ１００、設定可能な最小絞り値がＦ２２程度であるために、流し撮りのシャッタ速度（一般的には１／３０〜１／２（ｓｅｃ）程度）で撮影すると、被写体の明るさによっては露出オーバーとなってしまう場合がある。この場合には、Ｔ２≠Ｔ１とせざるを得ない。

そこで、システム制御部１０は、流し撮り露光時間としての総露光時間Ｔ１、および適正露出になる１コマ露光時間Ｔ２を決定すると、さらに、１コマ露光時間Ｔ２が総露光時間Ｔ１よりも小さいか否かを判定する（ステップＳ４）。

ここで、Ｔ２＜Ｔ１であると判定された場合には、適正露出になる１コマ露光時間Ｔ２で、メカニカルシャッタ２２が開いている期間に電子読出連写を行うことになる。そこで、システム制御部１０は、入力ＩＦ８からの入力に基づき、２ｎｄレリーズスイッチがオンになったか否かを判定する（ステップＳ５）。撮影者は、構図やピントが合うと、撮影を開始するためにレリーズ釦を全押しし、このレリーズ釦の全押しに連動して、２ｎｄレリーズスイッチがオンとなる。

ここで、２ｎｄレリーズスイッチがオフであると判定された場合には、ステップＳ１へ戻って、上述したような処理を繰り返して行う。

こうして、ステップＳ５において、２ｎｄレリーズスイッチがオンであると判定された場合には、ライブビュー時に開となっていたメカニカルシャッタ２２を一旦閉じてから、再び開くことにより、露出を開始する（ステップＳ６）。

図３は、流し撮り撮影モードにおける露光の様子を示すタイミングチャートである。この図３においては、上側がイメージセンサ２３の上側ＳＵ（レンズ２１により光学像は反転して結像されるために、画像の下側ＰＤ）であり、下側がイメージセンサ２３の下側ＳＤ（同様の理由で、画像の上側ＰＵ）である。また、図３の右側が時刻ｔの進行方向である。

この図３に示す例では、システム制御部１０は、１コマ目の画像を露光可能とするためにイメージセンサ２３の各ラインを順次リセットＲＳＴ１してから、メカニカルシャッタ２２の先幕ＦＳを走行開始し、例えば先幕ＦＳの走行開始と同時に、１コマ目の画像Ｐ１のライン毎の順次の読み出しＲＤ１を開始する（ステップＳ７）。

このときに、システム制御部１０は、１コマ露光時間Ｔ２を計測するためのタイマ、および総露光時間Ｔ１を計測するためのタイマをリセットして、計時動作を開始する。

ここで読み出された１コマ目の画像Ｐ１は、内部メモリ９に保存される（ステップＳ８）。

１コマ目の画像Ｐ１の読み出しＲＤ１は、すなわち２コマ目の画像Ｐ２の露光開始でもある。

この２コマ目（またはそれ以降）の露光開始にあたっては、メカニカルシャッタ２２は開いたままとするために、ある画像の読み出しが次の画像の露光開始である電子シャッタを用いると、露光が途切れることなく連写が行われる。こうして、コマ間の露光抜けを生じることなく連写することができ、最終的な合成画像における移動被写体の軌跡が途切れるのを防止することができる。

２コマ目の画像Ｐ２を露光開始したら、システム制御部１０は、タイマの計測結果に基づいて１コマ露光時間Ｔ２が経過したか否かを判定する（ステップＳ９）。ここで１コマ露光時間Ｔ２が経過していない場合には、露光を続行しながら、１コマ露光時間Ｔ２が経過するのを待機する。

ステップＳ９において、１コマ露光時間Ｔ２が経過したと判定された場合には、１コマ露光時間Ｔ２を計測するためのタイマをリセットして新たに１コマ露光時間Ｔ２の計測を開始すると共に、イメージセンサ２３から画像データを読み出し（ステップＳ１０）、読み出した画像データを内部メモリ９に保存する（ステップＳ１１）。

そして、システム制御部１０は、タイマの計測結果に基づいて、総露光時間Ｔ１が経過したか否かを判定する（ステップＳ１２）。

このステップＳ１２において、総露光時間Ｔ１が経過していないと判定された場合には、ステップＳ９へ戻って電子シャッタによる次の画像の露光を上述したように行う。

このように１コマ露光時間Ｔ２が経過する毎に、イメージセンサ２３からの電子読み出しＲＤ２，ＲＤ３等を行って画像Ｐ２，Ｐ３等を取得すると共に、タイマをリセットして新たな１コマ露光時間Ｔ２を計時しながら、新たな露光を行う。

こうして、ステップＳ１２において、総露光時間Ｔ１が経過したと判定された場合には、撮影を終了するために、メカニカルシャッタ２２の後幕ＲＳを走行させて閉じる（ステップＳ１３）。

このように、総露光時間Ｔ１は、メカニカルシャッタ２２が開いてから閉じるまでの時間であり、任意の画素において光が到達している期間である。この総露光時間Ｔ１は、流し撮り撮影モードにおいて連続的にイメージセンサ２３から電子読み出される複数コマの画像のトータルの実効露光時間（光が到達したトータル時間）となる。これに対して、１コマ露光時間Ｔ２は、１コマの画像がイメージセンサ２３から読み出される時間間隔（画像読み出し周期）である。

例えば図３に示すように、３コマ目の読み出しＲＤ３を行った後の、４コマ目の読み出しＲＤ４を行う前に後幕ＲＳを走行させて閉じた場合には、電子読出連写の最後の１コマである４コマ目の読み出しＲＤ４により取得した画像Ｐ４を内部メモリ９に保存する（ステップＳ１４）。

続いて、内部メモリ９に保存した複数コマの画像データに基づいて、画像合成部３１の例えば平均合成部３６により平均合成処理を行って、合成画像を生成する（ステップＳ１５）。

この平均合成処理は、具体的には、ｎ（ｎは正の整数）コマ目の画像の、画素位置（ｘ，ｙ）における画素データをＰｎ（ｘ，ｙ）とし、連写して得られた全画像のコマ数をＮ（Ｎは正の整数）とし、合成画像の画素位置（ｘ，ｙ）における画素データをＰｃｏｍｐ（ｘ，ｙ）とすると、次の数式１によりＰｃｏｍｐ（ｘ，ｙ）を算出する処理である。
［数１］

このように、全Ｎコマの画素データＰｎ（ｘ，ｙ）を対応する画素位置毎に加算した上で、係数Ｔ２／Ｔ１を乗算することにより、合成画像における画素データＰｃｏｍｐ（ｘ，ｙ）は、１コマ露光時間Ｔ２だけ露光した画素から得られた画素値に相当する画素値となる。

ここで仮に、適正露出になる１コマ露光時間Ｔ２で分割露光をすることなく、総露光時間Ｔ１で露光した１コマの画素データに係数Ｔ２／Ｔ１を乗算する場合を考えると、Ｔ１＞Ｔ２の場合には得られた１コマの画像は露出オーバーとなる。従って、フォドダイオードの飽和出力レベル、イメージセンサ２３内部の飽和レベル値、後段のデジタル回路（画像処理部３等）の飽和レベル値などから、画素データが飽和してクリップしてしまう画素が、被写体や撮影条件によって生じてくる。こうした飽和クリップした画素データは、適切な色情報や輝度情報を失っており、係数Ｔ２／Ｔ１（＜１）を乗算すると飽和レベル値以下の出力となるが、実際の被写体とは異なる不自然な出力となってしまう。しかし、こうした画素の中には、１コマ露光時間Ｔ２で撮影を行っていれば飽和しなかった画素も存在するはずである。従って、適正露出になる１コマ露光時間Ｔ２で分割露光をすることで、画素値の飽和を防ぎ、より自然な色の画像を得ることができる。

また、ステップＳ４において、Ｔ２＜Ｔ１でないと判定された場合には、ＩＳＯ感度や絞り値を調整することで、Ｔ２＝Ｔ１となるように設定することができたということである。この場合には、上述したステップＳ５と同様に、システム制御部１０は、２ｎｄレリーズスイッチがオンになったか否かを判定して（ステップＳ１６）、２ｎｄレリーズスイッチがオンになるまではステップＳ１へ戻って、上述したような処理を繰り返して行う。

こうして、ステップＳ１６において、２ｎｄレリーズスイッチがオンであると判定された場合には、ライブビュー時に開となっていたメカニカルシャッタ２２を一旦閉じてから、再び開くことにより、露出を開始する（ステップＳ１７）。

そして、システム制御部１０は、タイマの計測結果に基づいて、総露光時間Ｔ１（＝Ｔ２）が経過するのを待機する（ステップＳ１８）。

こうして、ステップＳ１８において総露光時間Ｔ１が経過したと判定された場合には、撮影を終了するために、メカニカルシャッタ２２の後幕ＲＳを走行させて閉じる（ステップＳ１９）。

その後、ステップＳ１５において生成されたＮコマの平均合成画像データ、またはステップＳ１９の露光終了後にイメージセンサ２３から読み出された１コマの画像データが、内部メモリ９に保存される（ステップＳ２０）。

こうして、システム制御部１０は、ステップＳ４においてＴ１＞Ｔ２が満たされると判定したときにのみ、メカニカルシャッタ２２による総露光時間Ｔ１を時分割する電子シャッタ制御を行うようになっている。

次に、現像処理部３２が、内部メモリ９に保存されている画像データに対して、上述したような現像処理を行う（ステップＳ２１）。

こうして現像処理が行われたら、処理後の画像データを外部メモリ１１に保存すると共に（ステップＳ２２）、リサイズ処理された画像データを、最終的な記録画像として表示部７に表示して（ステップＳ２３）、この流し撮り撮影処理から図示しないメイン処理にリターンする。

続いて、本実施形態の流し撮り撮影処理で連写して得られた複数コマの画像を合成して得られる合成画像について、図４〜図９を参照して説明する。

図４は移動する被写体と静止している背景を含む撮影シーンの一例を示す図、図５は流し撮り撮影の１コマ目として得られる画像Ｐ１の例を示す図、図６は流し撮り撮影の２コマ目として得られる画像Ｐ２の例を示す図、図７は流し撮り撮影の３コマ目として得られる画像Ｐ３の例を示す図、図８は流し撮り撮影の最終コマである４コマ目として得られる画像Ｐ４の例を示す図、図９は流し撮り撮影で得られた全コマの画像を合成して得られる画像ＳＰの例を示す図である。

例えば、図４に示すような、静止している背景Ｂ０に対して、右側から左側に走行する車などの主要被写体Ｍ０を、撮像装置１を主要被写体Ｍ０に向けて右から左に振って流し撮り撮影する場合を考える。

撮影の流れは、図３に示した例のように、総露光時間Ｔ１中に、適正露出になる１コマ露光時間Ｔ２で画像１〜４までの４コマの画像データを電子読出連写するものとする（ただし、１コマ目および最終コマ目については、点線によるハッチング部分を含むように露光が行われていれば（つまり、被写体光像が照射された画素データをもれなく読み出すことができれば）、１コマ露光時間Ｔ２でなくても構わない）。

１コマ目の画像Ｐ１は、メカニカルシャッタ２２が開くとすぐに読み出しＲＤ１を行うために、イメージセンサ２３の上側ＳＵ（画像の下側ＰＤ）は露光時間が短く、イメージセンサ２３の下側ＳＤ（画像の上側ＰＵ）は露光時間が長くなる。従って、画像Ｐ１は、図５に示すように、主要被写体Ｍ０以外の背景Ｂ０は、流し撮りのために、画像の上側ほど撮像装置１を振った方向とは逆に左から右に流れた画像となる。

図６に示す２コマ目の画像Ｐ２と、図７に示す３コマ目の画像Ｐ３では、各行の露光タイミングが画像における下側から上側へ向けて順次ずれて行くために、背景Ｂ０は画像の下側ほど左側に、上に行くほど右側にずれた、ひずんだ画像となる。

図８に示す最後の１コマである画像Ｐ４は、露光中にメカニカルシャッタ２２が閉じて遮光されるために、画像Ｐ１とは逆に、イメージセンサ２３の上側ＳＵ（画像の下側ＰＤ）は露光時間が長く、イメージセンサ２３の下側ＳＤ（画像の上側ＰＵ）は露光時間が短くなる。従って、画像Ｐ４は、背景Ｂ０の流れが、上側ほど小さく、下側ほど大きくなる。

これら４コマの画像を上述したように合成すると、図９に示すような、総露光時間Ｔ１で撮影した適正露出の合成画像ＳＰが得られる。この図９に示す合成画像ＳＰは、図１１に示したメカニカルシャッタ２２で連写した複数コマの画像から合成した流し撮り撮影画像ＳＰ１のような、画像間の露光抜けによる背景Ｂ０の流れの途切れは生じない。さらに、図９に示す合成画像は、図１２に示した電子シャッタで連写した複数コマの画像から合成した流し撮り撮影画像ＳＰ２のような、背景Ｂ０の不自然な歪みも生じていない。

ところで、画像の読み出しが１行目から最終行目へ向けた順序で行われるときに、図３に示した例は、あるコマの画像の最終行目を読み出した後に、次のコマの画像の１行目を読み出すものとなっていた。しかし、被写体が明るく、適正露出になる１コマ露光時間Ｔ２をより短くする必要がある場合には、あるコマの画像の最終行目を読み出す前に、次のコマの画像の１行目を読み出す場合もある（複数の読出チャンネルがあるイメージセンサ２３では、こうした複数ラインの同時読出が可能である）。このようなより一般的な例について、図１０を参照して説明する。

図１０は合成画像データを生成するための複数コマの画像データを、イメージセンサ２３から連続的に読み出させる制御方法を説明するためのタイミングチャートである。この図１０においても、図３と同様に、上側がイメージセンサ２３の上側ＳＵ（画像の下側ＰＤ）であり、下側がイメージセンサ２３の下側ＳＤ（画像の上側ＰＵ）であり、右側が時刻ｔの進行方向である。

また、図１０に示す各記号は、既に説明したものも含めて、次のようになっている。
Ｔ１：総露光時間
Ｔ２：１コマ露光時間 （Ｔ２＜Ｔ１）
Ｔｍ：メカニカルシャッタ（先幕および後幕）の走行時間
Ｔｅ：全ライン分の読出時間（いわゆる電子シャッタの走行時間）
ｔｍｓ：メカニカルシャッタ先幕走行開始時刻
ｔ１ｅｓ：１コマ目電子先幕走行開始時刻
ｔｆｅｓ：最終コマ目電子先幕走行開始時刻

このとき、システム制御部１０は、総露光時間Ｔ１で任意の画素において露光された電荷がもれなく読み出されるように（図３の点線ハッチング部分で露光された電荷についても、他の露光電荷と同様にもれなく読み出されるように）、次のような制御を行う。

すなわち、システム制御部１０は、次の数式２
［数２］
（ｔｍｓ−Ｔｅ＋Ｔｍ−Ｔ２）＜ｔ１ｅｓ≦（ｔｍｓ−Ｔｅ＋Ｔｍ）
および数式３
［数３］
（ｔｍｓ＋Ｔ１−Ｔ２）≦ｔｆｅｓ＜（ｔｍｓ＋Ｔ１）
を満たすように、メカニカルシャッタ２２およびイメージセンサ２３を制御する。

ここに、数式２は、メカニカルシャッタ先幕走行開始時刻ｔｍｓから（Ｔｅ−Ｔｍ＋Ｔ２）遡った時刻（ｔｍｓ−Ｔｅ＋Ｔｍ−Ｔ２）よりも後で、メカニカルシャッタ先幕走行開始時刻ｔｍｓから（Ｔｅ−Ｔｍ）遡った時刻（ｔｍｓ−Ｔｅ＋Ｔｍ）までの間に、１コマ目電子先幕の走行開始時刻ｔ１ｅｓをおくための条件式である。

また、数式３は、最終コマ目電子先幕走行開始時刻ｔｆｅｓがメカニカルシャッタ後幕走行開始時刻（ｔｍｓ＋Ｔ１）よりも前で、（ｔｆｅｓ＋Ｔ２）がメカニカルシャッタ後幕走行開始時刻（ｔｍｓ＋Ｔ１）と同時または以降になるコマを最終コマとするための次の条件式、
ｔｆｅｓ＜（ｔｍｓ＋Ｔ１） かつ （ｔｍｓ＋Ｔ１）≦（ｔｆｅｓ＋Ｔ２）
を整理したものである。

なお、上述では、各画素における総露光時間Ｔ１の開始をメカニカルシャッタ２２の先幕の走行により行ったが、これに限るものではない。例えば、イメージセンサ２３の画素リセット動作（画素に蓄積された電荷をリセットする動作）（先幕電子シャッタ）の走行特性をメカニカルシャッタ２２の走行特性に合わせて行うことで、先幕電子シャッタにより露光を開始し、メカニカルシャッタ２２の後幕により露光を終了する先幕電子シャッタ撮影機能を用いるようにしても良い。

ここに、電子シャッタの走行速度がメカニカルシャッタ２２の走行速度よりも遅いのは、読み出した画素値をＡ／Ｄ変換するのに時間を要することが原因の１つである。しかし、画素リセットではＡ／Ｄ変換が不要であるために、走行特性をメカニカルシャッタ２２の走行特性に合わせることが可能である。

この場合には、システム制御部１０は、メカニカルシャッタ２２の先幕に代えて、イメージセンサ２３に、メカニカルシャッタ２２の先幕の走行速度と同等の速度で信号電荷のリセットを終了して露光を開始する先幕電子シャッタの動作を行わせる（リセット終了タイミングが露光開始タイミングとなるため）。

このような先幕電子シャッタを総露光時間Ｔ１の開始に用いることにより、メカニカルシャッタ２２の先幕を用いるのとほぼ同様の効果を奏すると共に、メカニカルシャッタ２２の先幕を駆動する場合のような機械的な動作を露光開始時に行う必要がないために、撮像装置１に発生する振動やブレを抑制することができ、より低振動でブレの少ない高画質の画像を撮影することが可能となる。さらに、先幕電子シャッタを総露光時間Ｔ１の開始に用いれば、撮影開始時にメカニカルシャッタ２２を一度閉じてから開く動作（図２のステップＳ６の動作）が不要となるために、レリーズタイムラグ（２ｎｄレリーズスイッチがオンになってから１コマ目の露光が開始されるまでに要する時間）が短縮され、より撮影者の思い通りのタイミングで撮影を開始することができるようになる。

また、本実施形態では１コマ露光時間Ｔ２を適正露出が得られる露光時間としたが、一般的な手ブレ補正機能を備えるデジタルカメラは、シャッタ速度を、手ブレ（被写体ブレ等も含むものとする）の影響を無視し得る時間（手ブレの影響が画像にほぼ現れない時間）以下に自動で設定して撮影を行う機能を備えている。

具体的には、ある決まったシャッタ速度（例えば、１／２５０（ｓｅｃ）以下）に設定するようにＩＳＯ感度および絞り値を調整する、あるいは、手ブレ検出して得たブレの大きさやレンズの焦点距離を考慮して手ブレの影響を無視し得るシャッタ速度に設定する、等である。

従って、システム制御部１０は、手ブレの影響を無視し得る時間Ｔ３を、例えば、所定の時間に設定するか、あるいは、レンズ２１の焦点距離と加速度検出部であるブレ検出部６の検出結果との少なくとも一方に基づいて算出することができる。

そこで、システム制御部１０は、こうして算出した時間Ｔ３と適正露出になる１コマ露光時間Ｔ２とを比較して、Ｔ３＜Ｔ２である場合には、１コマ露光時間Ｔ２に、手ブレの影響を無視し得る時間Ｔ３以下の時間を新たに設定し直すことで、上述した処理をそのまま利用して電子読出連写を行うようにしても良い。

このような処理を行うことにより、連写して得た各コマ中の主要被写体がブレないために、主要被写体の位置が一致するように位置ずれ補正を行ってから画像合成を行うことで、撮影者の意図に合った主要被写体にブレのない流し撮り画像を得ることができる。

このような実施形態１によれば、１コマ露光時間Ｔ２で複数コマの画像データを連続的に読み出すと共に、総露光時間Ｔ１で任意の画素において露光された電荷がもれなく読み出されるように制御しているために、撮像装置１に相対して移動する被写体の露光時間がメカニカルシャッタ２２の先幕および後幕の走行により規定され、露光の不連続性や被写体歪みが軽減されたより自然な合成画像を得ることができる。

こうして、撮像装置１の操作に精通した撮影者がメカニカルシャッタ２２で１コマの撮影で撮影した場合と比較しても不自然な点のない流し撮り画像を画像合成により得ることができる。

このとき、システム制御部１０が数式２および数式３を満たすように、メカニカルシャッタ２２およびイメージセンサ２３を制御しているために、メカニカルシャッタ先幕走行により露光開始され、メカニカルシャッタ後幕走行により露光終了された任意の画素の電荷を、確実にもれなく読み出すことが可能となる。

また、ユーザインタフェイス部である入力ＩＦ８を介して、撮影者が、総露光時間Ｔ１を含む撮影条件を所望に設定入力することが可能となる。

一方、システム制御部１０が、レンズ２１の焦点距離と、加速度検出部を兼ねたブレ検出部６の検出結果と、の少なくとも一方に基づいて流し撮り撮影に適した時間として総露光時間Ｔ１を設定する場合には、流し撮り撮影に適した時間に対する知識を持たない撮影者であっても、背景の流れ量が適切な流し撮りを行うことが可能となる。

そして、システム制御部１０は、Ｔ１＞Ｔ２が満たされるときにのみ、電子シャッタ制御を行うために、分割露光が不要な場合の処理を軽減することができる。

また、画像合成部３１は、加算合成と、平均合成と、比較明合成と、比較暗合成と、重み付け加算合成と、の内の少なくとも１つの合成方法を用いて合成画像データを生成するために、様々な効果の画像合成を行い、撮影者の好みで風合いの異なる画像を撮影することが可能となる。

さらに、メカニカルシャッタ２２の先幕に代えて先幕電子シャッタを用いることにより、近年のデジタルカメラで採用されている先幕電子シャッタの撮影においても不自然さのない合成画像を生成することができる。

加えて、システム制御部１０が、１コマ露光時間Ｔ２を、手ブレの影響を無視し得る時間Ｔ３以下に設定することで、合成画像の手ブレを抑制することができる。

また、流し撮り撮影モードに設定されているときには、メカニカルシャッタ２２が開いている総露光時間Ｔ１を流し撮りに適した露光時間に、電子読出連写の１コマ露光時間Ｔ２を適正露出になる露光時間にそれぞれ設定することで、流し撮り撮影の露出制御を自動化して撮影を簡単にすることができる。これにより、総露光時間Ｔ１が適正露光時間より長くなった場合でも、ＮＤフィルタ等を用いることなく、適正露出の合成画像を得ることができる。
［実施形態２］

次に、本発明の実施形態２について、上述した各図を適宜参照しながら説明する。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

連写して得た複数コマの画像から合成画像を生成する際に、撮像装置１に相対して移動する被写体（移動被写体であっても良いし、静止被写体であっても撮像装置１が動いている場合には相対して移動する被写体に該当することになる）がある場合には、メカニカルシャッタ連写を用いると露光の不連続性が生じ、電子読出連写のみを用いると被写体歪みが生じることは、上述した実施形態１の流し撮り撮影モードの場合だけでなく、その他の撮影モードにおいても同様である。

そこで、本実施形態は、手持ち夜景モードに関する実施形態となっている。

従来より、手持ち夜景モードにおいて、画像に手ブレが発生しないように高速シャッタを設定すると共に、低輝度な夜景に対しても高速シャッタが可能となるように、ＩＳＯ感度を高感度に設定することが行われている。しかし、ＩＳＯ感度を高感度に設定するということは、電気的なゲインを高くして増幅するということであるために、ノイズも増幅され、生成される画像はノイズ量が多くなる。そこでさらに、複数コマの画像を取得し、取得した複数コマの画像を平均合成することで、ランダムノイズを平滑化してノイズ量を低減することが行われている。

しかし、このような場合でも、メカニカルシャッタのみを用いた連写、あるいは電子シャッタのみを用いた連写では、撮像装置１に相対して移動する被写体があると、合成画像に不自然さが発生するのは上述した通りである。

そこで、本実施形態は、手持ち夜景モードにおいて、上述した実施形態１と同様に、メカニカルシャッタ２２が開いている間に複数コマの電子読出連写を行うと共に、１コマ目の露光開始はメカニカルシャッタ２２の先幕走行により行い、最終コマ目の露光終了はメカニカルシャッタ２２の後幕走行により行うようにしたものとなっている。

具体的な撮影シーケンスにおいては、撮影者が事前に手持ち夜景モード（あるいは、平均合成低ノイズモード等と名付けても良い）に設定することで、本実施形態の処理が行われる。

そして、手持ち夜景モードの処理に入ると、システム制御部１０が、低ノイズ化に必要なコマ数Ｌ（コマ数Ｌが増加するとランダムノイズがより低減されるため）を決定する。ただし、このコマ数Ｌは、撮影者が手動で所望に設定可能であっても構わない。

その後は、上述した実施形態１と同様に、適正露出になる露光時間、または手ブレの影響を無視し得る時間Ｔ３を１コマ露光時間Ｔ２に設定して、２ｎｄレリーズスイッチがオンになったときに、Ｔ２周期でＬコマ分の電子読出連写を行い、連写が完了したところでメカニカルシャッタ２２を閉じて撮影を終了する。

従って、メカニカルシャッタ２２が開いている時間である総露光時間Ｔ１は、ノイズ低減に必要なコマ数Ｌの連写を行うために必要な時間（Ｌ×Ｔ２）以上であれば良い。

その後は、画像合成部３１が、取得した全Ｌコマの画像を、複数コマの画像データの位置ずれ補正を行ってから（主要被写体が重なるように位置合わせしてから）、平均合成部３６により平均合成処理して、少なくとも１コマの合成画像データを生成する。

このような実施形態２によれば、上述した実施形態１とほぼ同様に露光の不連続性や被写体歪みが軽減されたより自然な合成画像を得ることができるとともに、さらに、手持ちで夜景を撮影しても、手ブレの影響が小さく、かつ低ノイズの画像となる。
［実施形態３］

本発明の実施形態３について、上述した各図を適宜参照しながら説明する。この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態は、露出ブラケット撮影モード、およびＨＤＲ（ハイダイナミックレンジ）合成モードに関する実施形態である。

まず、露出ブラケット撮影モードとは、例えば、適正露出画像、露出アンダー画像、および露出オーバー画像を連続して撮影するモードである。これにより露出の異なる複数の画像を連続で撮影しておくことで、撮影者は、撮影後に好みの露出の画像を所望に選択することができる。

また、ＨＤＲ合成モードとは、露出ブラケット撮影によって露出の異なる複数コマの画像データを取得して、取得した露出の異なる２コマ以上の画像データを合成することにより、１コマの画像データよりもダイナミックレンジの広いハイダイナミックレンジ画像を得るモードである。具体的なＨＤＲ合成処理では、例えば、露出アンダー画像、適正露出画像、露出オーバーの各画像データに対して、対応する画素位置の画素データに重みを付けて合成する。このとき、被写体の暗い部分については露出オーバー画像の画素データの重みを大きくし、明るい部分については露出アンダー画像の画素データの重みを大きくして合成することにより、被写体暗部が黒潰れせず、かつ被写体明部も白飛びすることのないダイナミックレンジの広い画像を得ることができる。

そして、本実施形態においては、入力ＩＦ８が、露出ブラケット撮影モード、およびＨＤＲ合成モードを設定するためのユーザインタフェイス部として機能する。

露出ブラケット撮影、およびＨＤＲ合成に適した撮影について、具体的に説明する。

ここでは例えば、適正露出画像の露出補正量を０ＥＶとしたときに、例えば、露出補正量が１段アンダー（−１ＥＶ）の露出アンダー画像、および露出補正量が１段オーバー（＋１ＥＶ）の露出オーバー画像を連続して撮影する場合を例に挙げて説明する。

まず、上述した実施形態１と同様に、１ｓｔレリーズスイッチがオンになった後の自動露出制御において、ライブビューで取得した画像に基づいて適正露出となる露光時間Ｔを検出する。

続いて、ブラケット撮影の設定に基づき、電子読み出しの１コマ露光時間Ｔ２と、メカニカルシャッタ２２が開いている時間である総露光時間Ｔ１と、を次のようにして求める。

具体的に、−１ＥＶの露出アンダー画像を撮影するための露光時間を、１コマ露光時間Ｔ２に設定する（ただし、１コマ露光時間Ｔ２が露出アンダー画像の露光時間よりも短くなるのを妨げるものではない、例えば、１コマ露光時間Ｔ２は、露出アンダー画像の露光時間をさらに幾つかに分割した時間であっても構わない）。適正露光時間をＴとすれば、１コマ露光時間Ｔ２は、具体的には、Ｔ２＝Ｔ／２に設定される。

また、＋１ＥＶの露出オーバー画像を撮影するための露光時間を、総露光時間Ｔ１に設定する（ただし、総露光時間Ｔ１が露出オーバー画像の露光時間よりも長くなるのを妨げるものではない）。これにより具体的には、Ｔ１＝２×Ｔ（＝４×Ｔ２）に設定される。

従って、システム制御部１０は、露出ブラケット撮影が設定されているときには、総露光時間Ｔ１を露出ブラケット撮影における最長露光時間以上に設定すると共に、１コマ露光時間Ｔ２を露出ブラケット撮影における最短露光時間以下になるように設定すれば良い。

その後の撮影は、上述した実施形態１と同様に、メカニカルシャッタ２２を総露光時間Ｔ１だけ開いている期間に、Ｔ２周期で電子読出連写を行い、複数コマの画像を読み出して内部メモリ９に保存する。

次に、内部メモリ９に保存した複数コマの画像データを画像合成部３１により合成して、露出ブラケット画像を生成する。

ここで、ｎ（ｎは正の整数）コマ目の画像の、画素位置（ｘ，ｙ）における画素データをＰｎ（ｘ，ｙ）とし、連写して得られた全画像のコマ数をＮ（Ｎは正の整数）とし、１段露出アンダーの合成画像データの画素位置（ｘ，ｙ）における画素データをＰｃｏｍｐ（ｘ，ｙ：−１ＥＶ）とし、適正露出の合成画像データの画素位置（ｘ，ｙ）における画素データをＰｃｏｍｐ（ｘ，ｙ：０ＥＶ）とし、１段露出オーバーの合成画像データの画素位置（ｘ，ｙ）における画素データをＰｃｏｍｐ（ｘ，ｙ：＋１ＥＶ）とする。

このとき、画像合成部３１は、次の数式４に示すように、加算合成部３５により全Ｎコマの画素データＰｎ（ｘ，ｙ）を加算してから、露光時間の比（Ｔ２／Ｔ１）を乗算することにより、画素データＰｃｏｍｐ（ｘ，ｙ：−１ＥＶ）を算出する。
［数４］

同様に、画像合成部３１は、次の数式５に示すように、加算合成部３５により全Ｎコマの画素データＰｎ（ｘ，ｙ）を加算してから、露光時間の比（Ｔ／Ｔ１）を乗算することにより、画素データＰｃｏｍｐ（ｘ，ｙ：０ＥＶ）を算出する。
［数５］

さらに、画像合成部３１は、次の数式６に示すように、加算合成部３５により全Ｎコマの画素データＰｎ（ｘ，ｙ）を加算することにより、画素データＰｃｏｍｐ（ｘ，ｙ：＋１ＥＶ）を算出する。
［数６］

従って、画像合成部３１は、複数コマの全てを合成して露出の異なる２コマ以上の合成画像データを生成している。

従来のデジタルカメラは、メカニカルシャッタ２２を用いてそれぞれ露光時間Ｔ１，Ｔ，Ｔ２の３回の撮影を行うことでブラケット撮影を行っているために、トータルの露光時間だけでもＴ１＋Ｔ＋Ｔ２の時間を要する。しかも実際には、各撮影毎にメカニカルシャッタ２２をチャージする時間等も加算されることになる。

これに対して、本実施形態によれば、メカニカルシャッタ２２を露光時間Ｔ１で１回開閉するだけで露出ブラケット撮影に必要な複数コマの画像データを生成することができるために、トータルの撮影時間を短縮することが可能となる。

撮影時間が長いと、撮影中に被写体が動いて、露出が変化する、あるいはさらに被写体の映り方（例えば構図）も変化する、等が生じるが、本実施形態の構成によれば、短時間の撮影が可能であるために、こうした変化が生じるのを低減して、より好ましい露出ブラケット撮影画像を取得することができる。

また、このように合成画像として取得した２コマ以上の露出ブラケット画像を、画像処理部３においてＨＤＲ合成処理することで、通常の１枚の画像よりも（さらに、合成前の１コマの合成画像データよりも）ダイナミックレンジが広いハイダイナミックレンジ合成画像データを生成することができる。このとき、撮影時間が長い従来の撮影方法では、撮影中に被写体が動くと合成画像が二重像（あるいは三重像等）の不自然な画像になるが、本実施形態の撮影方法は撮影時間が短いために、このような不自然な画像になるのを低減することができる。

このような実施形態３によれば、上述した実施形態１とほぼ同様に露光の不連続性や被写体歪みが軽減されたより自然な合成画像を得ることができるとともに、露出ブラケット撮影を短時間で行うことができ、構図の変化が少ない好ましい露出ブラケット撮影画像を取得することができる。

さらに、不自然な多重画像となることのない、自然なハイダイナミックレンジ合成画像を得ることも可能となる。
［実施形態４］

本発明の実施形態４について、上述した各図を適宜参照しながら説明する。この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態は、画像合成処理を利用してデジタルＮＤフィルタ機能を実現する実施形態である。

撮像装置１の露出モードがシャッタ速度優先モード（Ｓモード）、あるいはマニュアル設定モード（Ｍモード）に設定されている場合には、撮影者は、シャッタ速度を事前に指定している（このシャッタ速度をＴ０とする）。

このとき被写体が明るいと、例えＩＳＯ感度を下げて、かつ絞りを絞り込んだとしても、露出がオーバーになってしまう場合がある。この場合に従来のデジタルカメラでは、適正露出での撮影が不可能となるために、撮影者は光学的なＮＤフィルタを撮像装置１に装着して入射光量を減光し、適性露出が得られるようにする処置を行っている。

これに対して、本実施形態は、ＮＤフィルタと同等の機能をデジタル信号処理により実現するものであるために、デジタルＮＤフィルタモードと称することにする。

具体的に、次のような処理を行う。

デジタルＮＤフィルタモードが設定されて、シャッタ速度Ｔ０が設定された後に、１ｓｔレリーズスイッチがオンになると、自動露出制御部５が適正露出となる露光時間Ｔを含む露出条件を自動で検出する。

次に、Ｔ＜Ｔ０であるか否かを判定して、Ｔ＜Ｔ０でないと判定された場合には、電子読出連写は不要となって、メカニカルシャッタ２２のみを用いた１コマの撮影を行う。

ここに、Ｔ＝Ｔ０である場合には、そのまま適正露出となるが、Ｔ＞Ｔ０である場合には、露出不足の画像をそのままメカニカルシャッタ２２により撮影しても良いし、例えばフラッシュが装着されている撮像装置１であればフラッシュを発光させて露出不足を補うようにしても良い。

一方、Ｔ＜Ｔ０であると判定された場合には、シャッタ速度Ｔ０で撮影を行うと露出オーバーになるために、適正露出が得られる露光時間Ｔを電子読出しの１コマ露光時間Ｔ２に設定し、撮影者が設定したシャッタ速度Ｔ０をメカニカルシャッタ２２が開いている総露光時間Ｔ１に設定する。

ただし、１コマ露光時間Ｔ２を適正露出が得られる露光時間Ｔよりも短く設定するのを妨げるものではない（例えば、Ｔ２＝Ｔ／２に設定しても構わない）。従って、システム制御部１０は、総露光時間Ｔ１が適正露光時間Ｔよりも大きい場合に、適正露光時間Ｔ以下の時間に１コマ露光時間Ｔ２を設定して、メカニカルシャッタ２２およびイメージセンサ２３を制御することになる。

その後の撮影シーケンスは、上述した実施形態１と同様に、メカニカルシャッタ２２が開いている期間に電子読出連写を行い、撮影した複数コマの画像データを、上述した数式１に基づいて合成すれば良い。

このような実施形態４によれば、上述した実施形態１とほぼ同様に露光の不連続性や被写体歪みが軽減されたより自然な合成画像を得ることができるとともに、被写体が明るい場合でも、撮影者が設定したシャッタ速度Ｔ０での適正露出の撮影を、ＮＤフィルタを使用することなく行うことができる。

従って、撮影者は、画像の露出を気にすることなく、所望のスローシャッタ撮影を簡単に行うことが可能となる。

なお、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを例に挙げて説明したが、撮像装置１としては、デジタル一眼レフカメラでもコンパクトデジタルカメラでも良く、ビデオカメラ、ムービーカメラのような動画用の撮像装置１でも良く、さらに、携帯電話、スマートフォンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵される撮像装置１でも構わない。何れにしても、メカニカルシャッタ２２での撮影、および電子シャッタ読み出し撮影が可能な撮影のための機器であれば、本発明を広く適用することができる。

また、上述した実施形態においては、撮影のための機器に本発明を適用した例を説明した。しかし、これに限らず、撮像装置において撮影開始から終了までの間に複数コマの画像データを取得しておき、取得した複数コマの画像データに対して実施形態に示したような画像処理を、別途の画像処理装置等において施すようにしても勿論かまわない。

さらに、特許請求の範囲、明細書、および図面中のフローチャートに関して、便宜上、「まず」、「次に」、「その後」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

そして、上述では主として撮像装置について説明したが、撮像装置と同様の処理を行う撮像方法であっても良いし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

例えば、本明細書において説明した技術の内、主にフローチャートで説明した制御に関しては処理プログラムにより実行可能であることが多く、該処理プログラムを記録媒体や記録部に収められる場合もある。この記録媒体、記録部への処理プログラムの記録は、製品出荷時に行っても良く、配布された記録媒体を利用しても良く、インターネット等の通信回線を介してダウンロードしたものであっても良い。

また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
２…撮像部
３…画像処理部
４…バス
５…自動露出制御部
６…ブレ検出部
７…表示部
８…入力インターフェース（入力ＩＦ）
９…内部メモリ
１０…システム制御部
１１…外部メモリ
２１…レンズ（絞りを含む）
２２…メカニカルシャッタ
２３…イメージセンサ
３１…画像合成部
３２…現像処理部
３３…比較明合成部
３４…比較暗合成部
３５…加算合成部
３６…平均合成部
３７…重付加算合成部

Claims (11)

1. ２次元状に配列された複数の画素で被写体光像を受光して画像データを生成し、読出時間Ｔｅで読み出す撮像素子と、
   上記撮像素子の前面に配置され、Ｔｅ＞Ｔｍを満たす走行時間Ｔｍの開閉動作により上記撮像素子の露光時間を制御するメカニカルシャッタと、
   上記メカニカルシャッタが開いてから閉じるまでの総露光時間がＴ１となるように該メカニカルシャッタを制御すると共に、Ｔ１＞Ｔ２を満たす１コマ露光時間Ｔ２で複数コマの画像データを連続的に読み出させるように上記撮像素子を電子シャッタ制御する制御部と、
   上記複数コマの画像データを合成して少なくとも１コマの合成画像データを生成する画像合成部と、
   を備え、
   上記メカニカルシャッタの先幕が走行を開始する時刻をｔｍｓ、上記複数コマの内の、１コマ目を撮影する際の電子シャッタの先幕が走行を開始する時刻をｔ１ｅｓ、最終コマ目を撮影する際の電子シャッタの先幕が走行を開始する時刻をｔｆｅｓとすると、上記制御部は、上記総露光時間Ｔ１で任意の画素において露光された電荷がもれなく読み出されるように、
   （ｔｍｓ−Ｔｅ＋Ｔｍ−Ｔ２）＜ｔ１ｅｓ≦（ｔｍｓ−Ｔｅ＋Ｔｍ）
   および
   （ｔｍｓ＋Ｔ１−Ｔ２）≦ｔｆｅｓ＜（ｔｍｓ＋Ｔ１）
   を満たすように、上記メカニカルシャッタおよび上記撮像素子を制御することを特徴とする撮像装置。
2. 適正露光時間を含む露出条件を自動で検出する自動露出制御部と、
   上記総露光時間Ｔ１を含む撮影条件を設定入力するためのユーザインタフェイス部と、
   をさらに備え、
   上記制御部は、上記適正露光時間を上記１コマ露光時間Ｔ２に設定して、上記Ｔ１＞Ｔ２が満たされるときにのみ、上記電子シャッタ制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 適正露光時間を含む露出条件を自動で検出する自動露出制御部と、
   上記撮像素子に被写体光像を結像するレンズと、
   加速度を検出する加速度検出部と、
   をさらに備え、
   上記制御部は、上記適正露光時間を上記１コマ露光時間Ｔ２に設定すると共に、上記レンズの焦点距離と、上記加速度検出部の検出結果と、の少なくとも一方に基づいて流し撮り撮影に適した時間として上記総露光時間Ｔ１を設定し、上記Ｔ１＞Ｔ２が満たされるときにのみ、上記電子シャッタ制御を行うことを特徴とする請求項１に記載の撮像装置。
4. 適正露光時間を含む露出条件を自動で検出する自動露出制御部をさらに備え、
   上記制御部は、上記適正露光時間と手ブレの影響を無視し得る時間との何れかを上記１コマ露光時間Ｔ２に設定すると共に、低ノイズ化に必要なコマ数Ｌを決定し、上記総露光時間Ｔ１をＬ×Ｔ２以上に設定して、上記メカニカルシャッタを制御すると共に、上記撮像素子を電子シャッタ制御することを特徴とする請求項１に記載の撮像装置。
5. 露出ブラケット撮影を設定するためのユーザインタフェイス部をさらに備え、
   上記制御部は、上記露出ブラケット撮影が設定されているときには、上記総露光時間Ｔ１を該露出ブラケット撮影における最長露光時間以上に設定すると共に、上記１コマ露光時間Ｔ２を該露出ブラケット撮影における最短露光時間以下になるように設定し、
   上記画像合成部は、上記複数コマの全てを合成して露出の異なる２コマ以上の合成画像データを生成することを特徴とする請求項１に記載の撮像装置。
6. 上記画像合成部は、さらに、上記２コマ以上の合成画像データを合成して、合成前の１コマの合成画像データよりもダイナミックレンジが広いハイダイナミックレンジ合成画像データを生成することを特徴とする請求項５に記載の撮像装置。
7. 適正露光時間を含む露出条件を自動で検出する自動露出制御部と、
   上記総露光時間Ｔ１を含む撮影条件を設定入力するためのユーザインタフェイス部と、
   をさらに備え、
   上記制御部は、上記総露光時間Ｔ１が上記適正露光時間よりも大きい場合に、該適正露光時間以下の時間に上記１コマ露光時間Ｔ２を設定し、上記メカニカルシャッタおよび上記撮像素子を制御することを特徴とする請求項１に記載の撮像装置。
8. 上記画像合成部は、加算合成と、平均合成と、比較明合成と、比較暗合成と、重み付け加算合成と、の内の少なくとも１つの合成方法を用いて合成画像データを生成することを特徴とする請求項１に記載の撮像装置。
9. 上記制御部は、上記メカニカルシャッタの先幕に代えて、上記撮像素子に、該メカニカルシャッタの先幕の走行速度と同等の速度で信号電荷のリセットを終了して露光を開始する先幕電子シャッタの動作を行わせることを特徴とする請求項１に記載の撮像装置。
10. 上記制御部は、上記１コマ露光時間Ｔ２を、手ブレの影響を無視し得る時間以下に設定することを特徴とする請求項１に記載の撮像装置。
11. 撮像素子の２次元状に配列された複数の画素で被写体光像を受光して画像データを生成し、読出時間Ｔｅで読み出す撮像ステップと、
    上記撮像素子の前面に配置されたメカニカルシャッタにより、Ｔｅ＞Ｔｍを満たす走行時間Ｔｍの開閉動作で上記撮像素子の露光時間を制御する露光ステップと、
    上記メカニカルシャッタが開いてから閉じるまでの総露光時間がＴ１となるように該メカニカルシャッタを制御すると共に、Ｔ１＞Ｔ２を満たす１コマ露光時間Ｔ２で複数コマの画像データを連続的に読み出させるように上記撮像素子を電子シャッタ制御する制御ステップと、
    上記複数コマの画像データを合成して少なくとも１コマの合成画像データを生成する画像合成ステップと、
    を備え、
    上記メカニカルシャッタの先幕が走行を開始する時刻をｔｍｓ、上記複数コマの内の、１コマ目を撮影する際の電子シャッタの先幕が走行を開始する時刻をｔ１ｅｓ、最終コマ目を撮影する際の電子シャッタの先幕が走行を開始する時刻をｔｆｅｓとすると、上記制御ステップは、上記総露光時間Ｔ１で任意の画素において露光された電荷がもれなく読み出されるように、
    （ｔｍｓ−Ｔｅ＋Ｔｍ−Ｔ２）＜ｔ１ｅｓ≦（ｔｍｓ−Ｔｅ＋Ｔｍ）
    および
    （ｔｍｓ＋Ｔ１−Ｔ２）≦ｔｆｅｓ＜（ｔｍｓ＋Ｔ１）
    を満たすように、上記メカニカルシャッタおよび上記撮像素子を制御するステップであることを特徴とする撮像方法。

Images