JP2014154982A

JP2014154982A - 撮像装置およびその制御方法

Info

Publication number: JP2014154982A
Application number: JP2013021802A
Authority: JP
Inventors: Tatsuya Arai; 達也荒井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-02-06
Filing date: 2013-02-06
Publication date: 2014-08-25

Abstract

【課題】動体が存在する場合であっても違和感の少ない広ダイナミックレンジ画像を、効率的に生成可能な撮像装置およびその制御方法を提供する。
【解決手段】撮像素子のうち、長い露光時間で撮影を行った領域から読み出された信号から得られるＨ画像と、短い露光時間で撮影を行った領域から読み出された信号から得られるＬ画像とを合成して合成画像を生成する。この際、長い露光時間での撮影が１回行われる予め定められた期間内に、短い露光時間での撮影を複数回行い、１枚のＨ画像と、複数枚のＬ画像とから合成画像を生成する。
【選択図】図４

Description

本発明は、撮像装置及びその制御方法に関し、特には動画像撮影機能を備えた撮像装置およびその制御方法に関する。

ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像素子は、入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換素子が２次元配列された構成を有する。しかし、光電変換素子の電荷蓄積量には上限（飽和レベル）があるため、飽和レベルに対応する輝度以上の明るさを有する被写体領域はすべて飽和レベルに変換され、階調性を失う。このような現象を白とびと呼ぶ。

白とびの発生を防止するため、例えば、明るい被写体に対しては、シャッタスピードを速くして光電変換素子の電荷蓄積期間（露光時間）を短くし、蓄積電荷量が飽和レベルに達しないようにする一方、出力に対するゲイン（感度）を上昇させる。このような処理により被写体の高輝度部の階調性を維持した画像を得ることができる。

しかし、明暗の差の大きな被写体の場合、シャッタスピードを速くすると、暗い部分の階調性が低下する黒つぶれが発生し、画質が低下する。このように、明暗の差が大きな被写体について階調性の良好な画像を得るためには、明るい部分については露光時間を短くする一方で、暗い部分については露光時間を長くする必要がある。

このような露光制御を実現する手法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法（ハイダイナミックレンジ：ＨＤＲ）が知られている。ＨＤＲではまず、露出過剰（オーバー）画像（以下、Ｈ画像）と露出不足（アンダー）画像（以下、Ｌ画像）とを連続的に撮影する。そして、暗い領域についてはＨ画像を、Ｈ画像では白とびしまうような明るい領域ではＬ画像を利用して１つの合成画像（ＨＤＲ画像）を生成する。このように、露光量の異なる複数の画像の、白とびや黒つぶれをしていない領域を合成することで、白とびや黒つぶれの発生を抑制もしくは回避した、ダイナミックレンジの広いＨＤＲ画像を得ることができる。

しかし、ＨＤＲ手法は、露光量の異なる複数の画像を合成する手法であるため、少なくとも２回の撮影と、画像合成処理のための時間を必要とする。また、撮影シーンに動体が含まれる場合など、合成に用いる複数の画像間で位置が異なる被写体がある場合には良好な画像合成ができず、合成画像の品質が低下するという問題もあった。

そのため、広ダイナミックレンジの画像を１回の撮影で得ることが提案されている（特許文献１）。特許文献１では、例えば隣接する行で異なる露光時間を設定することにより露出量の異なる画像を１回の撮影で取得し、それらを合成して広ダイナミックレンジの画像を生成する。

特開２０１２−１０５２２５号公報

特許文献１記載の方法は、１枚の画像しか撮影しないが、領域によって露光時間が異なるため、移動する被写体が存在する場合には良好な合成画像が得られない。このことについて図１４を用いて説明する。図１４は、特許文献１記載の方法を採用して、奇数行と偶数行とで異なる露光時間を設定した場合に得られる画像を模式的に示している。

移動する被写体が存在する場合、露光時間の長い行から得られるＨ画像では、露光時間中の被写体の移動量が大きいため、被写体の移動が連続的に記録される。一方、露光時間の短い行から得られるＬ画像では被写体が静止もしくは移動量が少なく、Ｈ画像と比較して被写体が鮮明に写った画像となる。

このように、被写体の移動を連続的に捉えたＨ画像と、被写体の移動を瞬間的に捉えたＬ画像とを合成すると、合成画像中の被写体部分が不自然になってしまう。

本発明はこのような従来技術の課題に鑑みてなされたものであり、動体が存在する場合であっても違和感の少ない広ダイナミックレンジ画像を、効率的に生成可能な撮像装置およびその制御方法を提供する。

上述の目的は、撮像素子と、撮像素子の予め定められた領域ごとに、露光および信号の読み出しを制御する制御手段と、撮像素子のうち、第１の露光時間で撮影を行った領域から読み出された信号から得られる第１の画像と、第１の露光時間よりも短い第２の露光時間で撮影を行った領域から読み出された信号から得られる第２の画像とを合成した合成画像を生成する合成手段と、を有し、制御手段が、第１の露光時間での撮影が１回行われる予め定められた期間内に、第２の露光時間での撮影が複数回行われるように制御を行い、合成手段が、予め定められた期間内の撮影で得られる第１の画像と、複数の第２の画像とから合成画像を生成する、ことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、動体が存在する場合であっても違和感の少ない広ダイナミックレンジ画像を、効率的に生成可能な撮像装置およびその制御方法を提供することができる。

本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの機能構成例を示すブロック図である図１の撮像部１０３に含まれる撮像素子の一部の構成例を示す回路図本発明の第１の実施形態で得られるＨ画像、Ｌ画像と、それらの合成により生成されるＨＤＲ画像の一例を模式的に示した図本発明の第１の実施形態に係るＨＤＲ動画撮影を行う場合の動作を図１５と同様に模式的に示した図本発明の第１の実施形態に係るＨＤＲ画像生成方法を実現するために垂直駆動回路が生成するタイミング信号のタイミングチャートＨ画像用の行の露光期間と、Ｌ画像用の行の最初の露光開始から最後の露光終了までの期間との長さが等しくなるようにした場合と、等しくない場合のタイミングチャートと画像を模式的に示した図（ａ）は撮影した複数枚のＬ画像を、（ｂ）はＬ画像合成部１０９によって生成される合成Ｌ画像をそれぞれ示す図本発明の第２の実施形態におけるＬ画像撮影時のフローチャート本発明の第２の実施形態におけるＨＤＲ動画取得動作のタイミングチャート本発明の第２の実施形態において動き検出部で行われる被写体の動き検出動作を説明するための図本発明の第３の実施形態において、合成後のＬ画像の１つの画素値と、Ｈ画像の１つの画素値とから、ＨＤＲ画像の１つの画素値を決定する処理の例を模式的に示す図本発明の第３の実施形態におけるＬ画像、Ｈ画像、ＨＤＲ画像（動体領域）、ＨＤＲ画像（動体領域以外）の入出力特性の例を表す図本発明の第３の実施形態におけるＨＤＲ画像生成時のゲイン値及び重み係数の一例を示す図従来のＨ画像とＬ画像を表した模式図従来のＨＤＲ動画撮影を行う場合の動作を模式的に示した図従来のＨＤＲ画像生成方法を実現するために垂直駆動回路が生成するタイミング信号のタイミングチャート

（第１の実施形態）
以下、図面を参照して、本発明の例示的な実施形態について説明する。
図１は本発明の例示的な実施形態にかかる撮像装置の一例としてのデジタルスチルカメラ（ＤＳＣ）１００の機能構成例を示すブロック図である。なお、本発明は動画撮影機能を有する任意の撮像装置および、そのような撮像装置を内蔵する任意の装置に適用可能である。

レンズ部１０１は、被写体からの光を撮像部１０３へ集光する。レンズ部１０１には、合焦距離を調節するためのフォーカスレンズや、メカニカルシャッターなどが含まれる。
光量調節部１０２はレンズ部１０１と撮像部１０３との間に配置され、撮像部１０３に入射する光量を調整する。光量調節部１０２は具体的には例えば減光フィルタを光路中に挿入したり光路から退避させたりする機構や、絞り機構である。

撮像部１０３は、レンズ部１０１と光量調節部１０２を通して入射した光をアナログ電気信号に変換する画素が２次元配列された画素部（撮像素子）と、各画素が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路等を含んでいる。

信号処理部１０４は、撮像部１０３から出力される画素信号に対する補正用のパラメータを生成したり、画素信号に対して補正処理を適用する。

撮像制御部１０５は、後述する主制御部１０６からの入力信号を元に、撮像部１０３及び信号処理部１０４等に必要なタイミング信号、映像信号を増幅するためのゲインの設定信号、露出時間を設定信号、及びその他の制御に必要な信号の生成を行う。

制御手段としての主制御部１０６は、内外の機能ブロックを制御して、ＤＳＣ１００の各種動作を実現する。主制御部１０６は、以下の機能ブロックを有している。信号処理部１０４等からの信号を一時的に記憶する記憶部１０７。Ｌ画像とＨ画像からＨＤＲ画像を生成するＨＤＲ画像生成部１０８。複数のＬ画像から１枚のＬ画像を生成するＬ画像合成部１０９。撮像部１０３からの信号をもとに画面内の動く被写体を検出する動き検出部１１０。露出条件を決定する露出演算部１１１。

なお、これら機能ブロックのうち、記憶部１０７を除く機能ブロックは、ハードウェアで構成されてもよいし、ソフトウェア的に実現されてもよい。例えば主制御部１０６がプログラマブルプロセッサである場合、主制御部１０６がプログラムを実行することにより機能ブロックを実現してもよい。

主制御部１０６は露出演算部１１１の演算結果に基づき、光量調節部１０２を用いて光量を調整するか、撮像制御部１０５を用いて露光時間や映像信号を増幅するためのゲインを調整する。なお、本実施形態においては、信号処理部１０４が主制御部１０６から独立した構成であるが、信号処理部１０４は主制御部１０６に含まれていてもよいし、撮像部１０３の中に含まれていてもよい。また、撮像制御部１０５は、撮像部１０３の中に含まれていてもよい。

操作部１１２はボタン、ダイヤル、スイッチ、タッチパネル等の入力デバイス群で構成され、ユーザがＤＳＣ１００に指示やデータなどの入力を行うために設けられている。
記録部１１３は主制御部１０６にて生成される画像データを半導体メモリやディスク状の記録媒体などに記録する。
表示部１１４は信号処理部１０４からの信号をもとにして主制御部１０６にて生成される画像データを表示したり、操作部１１２の操作に対応したアイコン等を表示したりする。

図２は、図１の撮像部１０３に含まれる撮像素子の一部の構成例を示す回路図である。画素２０１はレンズ部１０１から表面に入射した光を光電変換して電気信号として出力する。画素２０１はフォトダイオード２０２、転送トランジスタ２０３、信号増幅アンプ２０４、信号リセット用トランジスタ２０５から構成されている。転送トランジスタ２０３及び信号リセット用トランジスタ２０５は、撮像素子に配置された水平駆動用回路２０６からの信号によって動作する。ここで、水平駆動用回路２０６にはシフトレジスタや、転送トランジスタ２０３等の各画素を駆動させる信号生成回路等が含まれる。そして、生成されたタイミング信号（ＴＸ１〜４、ＲＳ１〜４等）によって、転送トランジスタ２０３及び信号リセット用トランジスタ２０５を制御することで、フォトダイオード２０２の電荷をリセットしたり、読み出したりして露光時間を制御することができる。撮像素子には、画素２０１と同様の画素が複数、２次元的に配置されている。

垂直駆動回路２０９にはシフトレジスタ、列アンプ回路及びＡＤ変換回路２１０、信号出力選択スイッチ２１１及び外部への出力回路（図示せず）等が含まれる。列アンプ回路及びＡＤ変換回路２１０の設定を、撮像制御部１０５からの信号によって変化させることによって、画素から読みだされた信号を増幅することができる。

図３は本実施形態で得られるＨ画像、Ｌ画像と、それらの合成により生成されるＨＤＲ画像の一例を模式的に示した図である。
図３で示すように、本実施形態においては、Ｈ画像を１枚撮影する間に複数枚撮影したＬ画像から１枚のＬ画像を生成し、このＬ画像をＨ画像と合成することで、ＨＤＲ画像を生成する。それにより、露光期間内に移動する被写体がある場合でも、Ｈ画像と同様に被写体の動きを連続的に捉えたＬ画像を得ることができ、違和感のないＨＤＲ画像を生成することができる。

図１５は、本実施形態のＤＳＣ１００において、従来のＨＤＲ動画撮影を行う場合の動作を模式的に示した図である。本実施形態における撮像素子は、Ｌ画像用とＨ画像用のそれぞれ露出条件を所定数の行（ここでは２行とする）を単位として設定することができる。一方で、主制御部１０６が生成する１／３０秒毎の垂直同期信号によって、３０ｆｐｓのフレームレートで撮影を行う。予め定められた期間である１フレームの撮影期間内において、Ｌ画像用の行とＨ画像用の行とで異なる時間、露光（電荷蓄積）が行われ、得られた画素信号が記憶部１０７に一時的に記憶される。以後、行ごとに露光（電荷蓄積）が順次行われ、Ｌ画像とＨ画像の画素信号が全て得られると、ＨＤＲ画像生成部１０８で両画像を合成しＨＤＲ画像を作成する。

図１６はこの従来のＨＤＲ画像生成方法を実現するために垂直駆動回路２０９が生成するタイミング信号のタイミングチャートである。ＴＸ信号およびＲＳ信号が立ち上がることによって、フォトダイオード２０２の電荷がリセットされ露光（電荷蓄積）が開始する。この動作は撮像制御部１０５によって設定された条件で、所定の順番で各画素に対して順次行われる。その後、Ｌ画像用の行において、所定の露光時間の経過後に、ＴＸ１およびＴＸ２信号が順次立ち上がり、フォトダイオード２０２の電荷を信号増幅アンプ２０４に読みだし、水平駆動用回路２０６を通して出力され、Ｌ画像を取得する。そして、Ｈ画像用の所定の露光時間の経過後に、ＴＸ３およびＴＸ４信号が順次立ち上がり、フォトダイオード２０２の電荷を信号増幅アンプ２０４に読みだし、水平駆動用回路２０６を通して出力され、Ｈ画像を取得する。

次に、本実施形態におけるＨＤＲ動画の取得方法に関して説明する。
図４は、本実施形態のＨＤＲ動画撮影を行う場合の動作を図１５と同様に模式的に示した図である。上述したように、本実施形態はＨ画像（第１の画像）の撮影を１回行う間にＬ画像（第２の画像）の撮影を複数回行うように露光および読み出しを制御することを特徴とする。そのため、Ｌ画像用の行は、Ｈ画像用の行の露光期間中に２回以上露光および読み出し動作を行う。

本実施形態において、Ｈ画像用の露光期間（第１の露光時間）は、適正露出のための露光時間よりも長く、Ｌ画像用の露光期間（第２の露光時間）は、適正露出のための露光時間よりも短い。このようにして取得した複数枚のＬ画像をＬ画像合成部１０９で合成し、１枚のＬ画像を生成する。その後、Ｌ画像合成部１０９により合成されたＬ画像と、Ｈ画像とを用いてＨＤＲ画像生成部１０８で合成処理を行ないＨＤＲ画像を作成する。Ｌ画像合成部１０９での合成処理については後述する。

図５はこの本実施形態のＨＤＲ画像生成方法を実現するために垂直駆動回路２０９が生成するタイミング信号のタイミングチャートである。ＴＸ信号およびＲＳ信号の立ち上がりタイミングが異なることを除き、画素における電荷蓄積および読み出し動作は図１６に関して説明した通りである。

上から２行目までのＨ画像用の行における露光期間（電荷蓄積期間）に、３行目および４行目のＬ画像用の行について、ＴＸ３およびＴＸ４が６回ずつ立ち上がっており、１枚のＨ画像に対し、３枚のＬ画像を取得していることが分かる。また、図５では、対となるＨ画像用の行とＬ画像用の行について、Ｈ画像用の行の露光開始時刻Ｔ１とＨ画像の読み出し開始時刻Ｔ４の時間中心Ｍと、Ｌ画像用の行の最初の露光開始時刻Ｔ２と最後の読み出し開始時刻Ｔ３の時間中心ｍとが一致するようにしている。特には、Ｈ画像用の行の露光期間と、Ｌ画像用の行の最初の露光開始から最後の露光終了までの期間との長さが等しくなるようにしている。

図６（ａ）および（ｂ）は、Ｈ画像用の行の露光期間と、Ｌ画像用の行の最初の露光開始から最後の露光終了までの期間との長さが等しくなるようにした場合と、等しくない場合のタイミングチャートと画像を模式的に示した図である。
図６（ａ）では、Ｈ画像用の行の露光期間と、Ｌ画像用の行の最初の露光開始から最後の露光終了までの期間との長さが等しいため、時間中心が一致している。この場合、最初のＬ画像で捉えられる被写体と、最後のＬ画像で捉えられる被写体の位置の差はＨ画像において捉えられる被写体の移動範囲とほぼ等しくなる。そのため、動きのある被写体の見えを、Ｈ画像と合成後のＬ画像とで同等とすることができる。一方、図６（ｂ）では、最初のＬ画像で捉えられる被写体と、最後のＬ画像で捉えられる被写体の位置の差はＨ画像において捉えられる被写体の移動範囲よりも短くなるため、Ｈ画像と合成後のＬ画像とで動きのある被写体の見えが異なる。そのため、ＨＤＲ画像において移動被写体領域が不自然な印象を与える可能性が高くなる。

複数のＬ画像から１枚のＬ画像を生成する処理について、図７を用いて説明する。この処理はＬ画像合成部１０９で行なわれる。
図７（ａ）は撮影した複数枚のＬ画像を、図７（ｂ）はＬ画像合成部１０９によって生成される合成Ｌ画像をそれぞれ示している。なお、便宜上、図７では撮影画像あるいは出力されるＬ画像の一部領域のみを示している。
図７（ａ）に示す複数枚のＬ画像は、図３の撮像素子の画素の構成に対応する図である。本例において、画素にはベイヤー配列のカラーフィルタが設けられており、Ｒ，Ｇｂ，Ｇｒ，Ｂ画素が規定の順序で配列されている。

図７では、図４におけるＬ１画像からＬ３画像の画素を、Ｌ１画像はＲ１、Ｂ１、Ｇｒ１、Ｇｂ１、Ｌ２画像はＲ２、Ｂ２、Ｇｒ２、Ｇｂ２、Ｌ３画像はＲ３、Ｂ３、Ｇｒ３、Ｇｂ３として表記している。
図７（ｂ）に示すＬ画像の左上角の画素Ｇｒ＿Ｌ（０，０）の画素値は、Ｌ１画像〜Ｌ３画像の対応する位置の画素、すなわち、Ｇｒ１（０，０）、Ｇｒ２（０，０）、Ｇｒ３（０，０）の画素値に基づいて算出される。

Ｌ画像合成部１０９は、同様の画素値算出処理を、カラーフィルタの種別ごとに、図７（ｂ）のＬ画像のすべての画素、すなわち、Ｇｂ＿Ｌ、Ｇｒ＿Ｌ、Ｂ＿Ｌ、Ｒ＿Ｌについて実行する。すなわち、これらのすべての出力画像の画素値を、図７（ａ）の３枚のＬ画像の画素値を利用して算出する。
Ｌ画像合成部１０９は例えば、Ｌ１画像〜Ｌ３画像の画素値を加算して、合成後のＬ画像の画素値を算出する。すなわち、Ｌ画像合成部１０９は例えばＧｂ＿Ｌ（０，０）を、
Ｇｂ＿Ｌ（０，０）＝Ｇｂ１（０，０）＋Ｇｂ２（０，０）＋Ｇｂ３（０，０）（式１）
として算出する。

なお、ここでは単純に加算する例を示したが、合成後のＬ画像がＨＤＲ画像生成に適した輝度レベルを有するように、合成時の各画素値に重みを付与したり、加算後の画素値を調整したりしてもよい。本実施形態においては、ＨＤＲ画像に用いるＬ画像を合成により生成するため、Ｌ画像用画素の露光時間を合成枚数を踏まえて短く設定することができる。例えば、合成しない場合のＬ画像用画素の露光時間が１／６０秒であれば、２枚のＬ画像を合成する場合には１段分速い露光時間（１／１２５秒）とすることができる。この場合、式１のように単純な加算により合成を行うことができる。しかし、露光時間を短くすることでノイズが増加するため、露光時間の短縮は少なめとして、合成時に画素値に１未満の係数を乗じるといった方法を用いてもよい。

このように、本実施形態によれば、撮像素子をＨ画像の取得画素とＬ画像の取得画素とに分けて異なる露光期間を設定することで、１枚の撮影で得られた画素データからＨ画像とＬ画像を取得するので、ＨＤＲ画像の生成に必要な画像の撮影時間を短縮できる。また、１枚の撮影期間内に複数のＬ画像を取得し、複数のＬ画像を合成して得たＬ画像をＨＤＲの生成に用いるので、動きのある被写体が存在する場合であっても、ＨＤＲ画像の不自然さを抑制することができる。特に、複数のＬ画像を取得する期間の長さを、Ｈ画像を取得する期間の長さと等しくすれば、ＨＤＲ画像の不自然さを大幅に抑制することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、複数枚のＬ画像を合成してＨＤＲ画像生成用の１枚のＬ画像を生成したが、合成によるノイズ増加により画質が悪化してしまう。加えて、複数回の露光と読み出しを行なうため、電力が増加してしまうという問題も発生する。
従って、被写体の動きが少ない場合には、Ｈ画像１枚あたりのＬ画像の取得枚数を減らすことが望ましい。

本実施形態では、ＨＤＲ動画撮影時に被写体の動きを検出し、動き検出の結果に応じて次のフレームのＬ画像の撮影枚数を決定する。
図８は本実施形態におけるＬ画像撮影時のフローチャート、図９（ａ），（ｂ）は本実施形態におけるＨＤＲ動画取得動作のタイミングチャートである。
以下、図８および図９を用いて、本実施形態におけるＨＤＲ動画撮影の動作について説明する。なお、ＤＳＣ１００の構成は第１の実施形態と同様でよいため、説明を省略する。また、本実施形態においても、撮像素子はＬ画像用とＨ画像用のそれぞれ露出条件を２行周期で設定することができるものとする。

ここでは便宜上、１フレームの撮影におけるＬ画像用の行とＨ画像用の行とに対する個別の処理についての説明は省き、Ｈ画像およびＬ画像単位で撮影が行われるように説明する。また、Ｌ画像の撮影に特徴があるため、Ｈ画像の撮影に関する説明も省く。なお、図９においては、Ｌ画像の撮影枚数に着目しているため、最初のＬ画像の露光開始から最後のＬ画像の露光終了までの期間の長さをＨ画像の露光期間の長さと合わせて記載していないが、実際には第１の実施形態で説明したように露光タイミングを設定する。

１フレーム目の撮影が開始されると、主制御部１０６はＳ８０２で変数Ｎを初期値（０）にする。そしてＳ８０３で主制御部１０６は、（Ｎ＋１）枚目のＬ画像を撮影する。これにより、図９における１フレーム目の１枚目（Ｎ＝０）の撮影が行われる。

次にＳ８０４において主制御部１０６はＮ＝１かどうか、つまり、直前のＳ８０３で２枚目のＬ画像が撮影されたかを判定する。Ｎ＝０で、まだ１枚しかＬ画像が撮影されていない場合、主制御部１０６は処理をＳ８０８に進め、カウントを一つ進める（Ｎ＝Ｎ＋１）。Ｓ８０９で主制御部１０６は、現フレーム期間におけるＬ画像の撮影枚数が前フレームで定められた上限枚数に等しいかどうか（Ｎ＝Ｎｍａｘかどうか）判定する。現フレームに設定された上限枚数まで撮影を行なっていない場合、主制御部１０６は処理をＳ８０３に戻し、２枚目の撮影を行う。

２枚目の撮影が行われると、Ｓ８０４からＳ８０５に処理が移行し、Ｓ８０５で主制御部１０６は動き検出部１１０を用いて１枚目（Ｎ＝０）と２枚目（Ｎ＝１）のＬ画像から動き検出を行なう。動き検出の結果、動きがあると判断されると主制御部１０６は処理をＳ８０６に進め、次フレーム期間におけるＬ画像の撮影上限枚数を４枚に設定する（Ｎｍａｘ＝３）。そして、主制御部１０６は処理をＳ８０８に進め、カウントを一つ進める（Ｎ＝Ｎ＋１）。

一方、Ｓ８０５における動き検出の結果、動きがないと判定されると、主制御部１０６は処理をＳ８０７に進め、次フレーム期間におけるＬ画像の撮影上限枚数を２枚に設定する（Ｎｍａｘ＝１）。

Ｓ８０７またはＳ８０８で次フレーム期間におけるＬ画像の撮影上限枚数を設定した以降は、現フレーム期間に設定されている撮影上限枚数のＬ画像が撮影されるまで、Ｓ８０３からＳ８０９までの動作を繰り返す。

Ｓ８０９で上限枚数まで撮影を終えたと判断（Ｎ＝Ｎｍａｘ）されると、主制御部１０６は処理をＳ８１０に進め、撮影終了の指示があったか否かを判断する。
Ｓ８１０で撮影終了指示が検出されなければ、主制御部１０６は処理をＳ８１１に進め、次フレーム期間の撮影に進み、Ｓ８０２からＳ８１０までの動作を繰り返す。
一方、Ｓ８１０で撮影終了の指示が検出されれば、主制御部１０６は処理をＳ８１２に進め、撮影を終了する。

本実施形態においては、説明を簡便にするために被写体に動きがあるか否かで、１フレーム期間内に行うＬ画像の撮影枚数（回数）を２段階で変更する方法について説明したが、被写体の動き量に応じて撮影枚数（回数）をさらに細かく多段階で変更してもよい。

Ｓ８０５において動き検出部１１０（検出手段および領域検出手段）で行われる被写体の動き検出動作について図１０を用いて説明する。
動き検出はフレーム期間内に撮影される１枚目と２枚目のＬ画像を用いて行われる。動き検出部１１０は、２枚のＬ画像を例えば水平方向と垂直方向にそれぞれ３等分して９ブロックに分割し、対応するブロック間の差分から動き領域を検出する。以下の式（２）は、ブロック（１）における差分を算出する式を示す。

Ｆｒ_Ｎ（ｘ，ｙ）は２枚目（Ｎ＝１）のＬ画像の座標（ｘ，ｙ）の画素値で、Ｆｒ_Ｎ−１（ｘ，ｙ）は１枚目（Ｎ＝０）の画像の座標（ｘ，ｙ）の画素値である。動き検出部１１０はこのような差分の総和をブロック（１）の差分Ｄｉｆｆ１として求める。動き検出部１１０はブロック（２）〜（９）についても同様にして、Ｄｉｆｆ２からＤｉｆｆ９まで算出し、Ｄｉｆｆ１からＤｉｆｆ９までの総和Ｄｉｆｆが予め定めた閾値Ｔｈ未満の場合には動きがないと判断し、閾値Ｔｈ以上の場合には動きがあると判断する。

また、動き検出部１１０は、動きの有無だけでなく、動きの方向を検出してもよい。動きの方向に関してもブロックごとに判定を行う。具体的には、図１０に示すように基準画像（１枚目のＬ画像）を、水平、垂直方向に一定画素（本実施形態では水平にα画素、垂直にβ画素）ずらした画像Ａ〜Ｈ（Ｖ＝Ａ〜Ｈ）と、２枚目のＬ画像との差分をとり判定する。ブロックごとに、画像Ａ〜ＨとＮ−１フレームと差分を取り、もっとも差分が小さい画像の方向に動いたと判定する。例えば、ブロック（１）について、画像Ａと２枚目のＬ画像との差分が一番小さい場合、ブロック（１）は左上方向に動いたと判断される。
動きがあると判断された場合には、全ブロックについて動き方向の検出を行ない、領域ごとに動体の有無及び方向を判断する。動きの方向および量は、Ｌ画像を合成する場合に利用するなどしてもよい。

以上説明したように、本実施形態では、被写体の動きが少ないほどＬ画像の撮影枚数を少なくすることで、第１の実施形態の効果に加え、消費電力の抑制および、ノイズを抑えたより良質なＨＤＲ画像の生成を実現することができる。

（第３の実施形態）
本発明は、Ｈ画像と同じフレーム期間内で撮影した複数枚のＬ画像を合成して用いることで、動きがある被写体があるシーンについても違和感の少ないＨＤＲ画像の生成を実現するものである。動画撮影時におけるフレーム期間は数十分の１秒という短い時間ではあるが、被写体の動きが極端に早い場合などは合成後のＬ画像が被写体の動きを連続的に捉えきれない場合も発生し得る。

合成後のＬ画像で被写体の動きを連続的に捉えられている場合と捉えられていない場合では、Ｈ画像との合成により生成されるＨＤＲ画像の被写体輝度が変化してしまう可能性がある。連続してＨＤＲ画像を生成するＨＤＲ動画撮影においては、被写体輝度が変化することで、違和感のある動画となってしまう。

そのため、本実施形態では、動きのある領域に関しては、被写体の動き量によらず被写体の動きを連続的に捉えることができるＨ画像の信号値を用いてＨＤＲ画像を生成する。こうすることで、被写体の動きを捉えられたか否かに関わらず、ＨＤＲ画像の輝度の変化を抑制もしくは発生させないようにすることができる。

図１１は、ＨＤＲ画像生成部１０８において、合成後のＬ画像の１つの画素値と、Ｈ画像の１つの画素値とから、ＨＤＲ画像の１つの画素値を決定する処理の例を模式的に示している。
図１１（ｂ）に示すＨＤＲ画像の左上角の画素Ｇｒ（ｏｕｔ）の画素値は、図１１（ａ）に示す合成後のＬ画像およびＨ画像の対応する位置（左上角）の画素、すなわち、Ｇｒ＿Ｌ（０，０）、Ｇｒ＿Ｈ（０，０）の画素値に基づいて算出される。

ＨＤＲ画像生成部１０８は、図１１（ｂ）に示すＧｒ（ｏｕｔ）の画素値を例えば以下の式（式３）に従って算出する。
出力［Ｇｒ（ｏｕｔ）］＝［Ｇｒ＿Ｈ（０，０）×（Ｇａｉｎ＿Ｈ）×Ｗ_H］＋［Ｇｒ＿Ｌ（０，０）×（Ｇａｉｎ＿Ｌ）×Ｗ_Ｌ］式（３）
ここで、
Ｇａｉｎ＿Ｈ：Ｈ画像の感度比を補償するゲイン値
Ｇａｉｎ＿Ｌ：Ｌ画像の感度比を補償するゲイン値
Ｗ_H：Ｈ画像の画素に対する重み係数
Ｗ_Ｌ：Ｌ画像の画素に対する重み係数
（ただし、Ｗ_H＋Ｗ_Ｌ＝１）
である。

図１２（ａ）〜（ｄ）はＬ画像、Ｈ画像、ＨＤＲ画像（動体領域）、ＨＤＲ画像（動体領域以外）の入出力特性の例を表す図である。なお、動きのある領域（動体領域）の検出に関しては、第２の実施形態で説明した通りであるため、ここでの説明は省略する。
Ｌ画像合成部１０９では適正露出のための露光時間より短い、１段アンダーの低露出条件で撮影されたものと同等の（フルレンジ−１段のレンジを有する）合成Ｌ画像を生成する（図１２（ａ）に点線で示す入出力特性）。そして、合成Ｌ画像に対して信号処理部１０４の露出補正処理により＋１段のゲインアップを適用することで、フルレンジ（図１２（ａ）に実線で示す入出力特性を有する）画像に補正される。このゲインアップにより、出力レンジの下位側では黒潰れが生じやすい。

一方、Ｈ画像は、適正露出のための露光時間より長い、１段オーバーの高露出条件にてフルレンジ＋１段のレンジを用いて撮影がなされる（図１２（ｂ）に点線で示す入出力特性）。そして、信号処理部１０４の露出補正処理により−１段のゲインダウンで適正レンジとなるように補正される（図１２（ｂ）に実線で示す入出力特性）。この際に出力レンジの上位側では、レンジオーバーにあるため正しく再現できず、白飛びとなる。

このような合成Ｌ画像と、Ｈ画像とから、ＨＤＲ画像生成部１０８は、黒潰れしている領域（０〜ａ）についてはＨ画像の画素値を、白飛びしている領域（ｂ〜最大入力）については合成Ｌ画像の画素値を使用して合成画像を生成する。この際、黒潰れも白飛びもしていない領域（ａ〜ｂ）が発生する。
本実施形態では、黒潰れも白飛びもしていない画素値の領域について、動体領域と、動体領域外で処理を異ならせる。

図１３は、式（３）のゲイン値Ｇａｉｎ＿ＨとＧａｉｎ＿Ｌ、重み係数Ｗ_HとＷ_Ｌの設定例を示し、（ａ）は動体領域以外の領域、（ｂ）は動体領域に対する設定例である。

まず図１３（ａ）の動体領域以外の領域のゲイン値及び重み係数の設定値について説明する。
ここでは、Ｈ画像の画素値に応じて、異なる係数を利用する設定としている。なお、各画素の画素値は１０ｂｉｔ（０〜１０２３）の入力であるとする。
Ｈ画像の画素値（ｄａｔａ）に応じて以下の設定とする。
ｉ）０≦ｄａｔａ＜２００の場合：Ｇａｉｎ＿Ｈ＝０．５，Ｇａｉｎ＿Ｌ＝２．０，Ｗ_H＝１．０，Ｗ_Ｌ＝０
ii）２００≦ｄａｔａ＜１０２３の場合：Ｇａｉｎ＿Ｈ＝０．５，Ｇａｉｎ＿Ｌ＝２．０，Ｗ_H＝０．５，Ｗ_Ｌ＝０．５
iii）ｄａｔａ＝１０２３の場合：Ｇａｉｎ＿Ｈ＝０．５，Ｇａｉｎ＿Ｌ＝２．０，Ｗ_H＝０，Ｗ_Ｌ＝１．０

まず、ゲイン値（補正ゲイン）については、Ｈ画像は１段オーバーの高露出条件で撮影しているため、適正露出に戻すため、Ｈ画像の画素値によらずＧａｉｎ＿Ｈ＝０．５として設定される。同様に、Ｌ画像は１段アンダーの低露出条件で撮影しているため、Ｈ画像の画素値によらずＧａｉｎ＿Ｌ＝２．０として設定される。

重み係数Ｗ_Hと重み係数Ｗ_Ｌに関しては、Ｈ画像の画素値に応じて異なる。その理由について以下に説明する。
ｉ）０≦ｄａｔａ＜２００の場合
この範囲は、合成Ｌ画像において黒潰れが生じるか、ＳＮ比が低いと判断される部分である。従って、上限値の２００は一例であり、他の値であってもよいし、合成Ｌ画像の解析によって動的に設定されてもよい。

この場合、Ｌ画像の画素値の信頼度が低いと判断されるため、Ｌ画像に対する重み係数Ｗ_Ｌを０、Ｈ画素に対する重み係数Ｗ_Hを１として、Ｈ画像の画素値のみに依存したＨＤＲ画像の画素値を算出する。

ii）ｄａｔａ＝１０２３の場合
Ｈ画像の画素値（ｄａｔａ）が上限値の場合、白とびしていると考えられるため、Ｈ画像の画素値を使用することができない。したがって、Ｈ画像に対する重み係数Ｗ_Ｈを０、Ｌ画素に対する重み係数Ｗ_Ｌを１として、Ｌ画像の画素値のみに依存したＨＤＲ画像の画素値を算出する。

iii）２００≦ｄａｔａ＜１０２３の場合
Ｈ画像の画素値（ｄａｔａ）が中程度である場合、被写体の明るさが中程度であり、Ｌ画像の画素値のＳＮ比も良好であると推定される。このような場合は、低感度画素の画素値と高感度画素の画素値をブレンドする。ここでは一例として、Ｗ_ＬおよびＷ_Hをいずれも０．５として、Ｌ画像とＨ画像の画素値の平均値をＨＤＲ画像の画素値として算出する。

一方、動体領域のゲイン値及び重み係数の設定値は、図１３（ｂ）に示すように、Ｈ画像の画素値（ｄａｔａ）に応じて以下の設定とする。
ｉ）０≦ｄａｔａ＜２００の場合：Ｇａｉｎ＿Ｈ＝０．５，Ｇａｉｎ＿Ｌ＝２．０，Ｗ_H＝１．０，Ｗ_Ｌ＝０
ii）２００≦ｄａｔａ＜１０２３の場合：Ｇａｉｎ＿Ｈ＝０．５，Ｇａｉｎ＿Ｌ＝２．０，Ｗ_H＝１．０，Ｗ_Ｌ＝０
iii）ｄａｔａ＝１０２３の場合：Ｇａｉｎ＿Ｈ＝０．５，Ｇａｉｎ＿Ｌ＝２．０，Ｗ_H＝０，Ｗ_Ｌ＝１．０

まず、ゲイン値：Ｇａｉｎ＿Ｈおよびゲイン値：Ｇａｉｎ＿Ｌについては、動体領域以外の領域同様に、Ｈ画像の画素値によらずＧａｉｎ＿Ｈ＝０．５，Ｇａｉｎ＿Ｌ＝２．０に設定される。

重み係数Ｗ_Hと重み係数Ｗ_Ｌの設定される値に関しても、ｉ）０≦ｄａｔａ＜２００の場合と、ii）ｄａｔａ＝１０２３の場合は動体領域以外の領域と同様である。
一方、iii）２００≦ｄａｔａ＜１０２３の場合、合成Ｌ画像のＳＮ比は良好であると推定されるが、Ｌ画像では被写体の動きを連続的に捉えていない可能性があるため、動体領域についてそれ以外の領域ほど合成Ｌ画像の信頼度は高くないと判断される。従って、動体領域については、０≦ｄａｔａ＜２００の場合と同様、Ｌ画像に対する重み係数Ｗ_Ｌを０、Ｈ画素に対する重み係数Ｗ_Hを１として、Ｈ画像の画素値のみに依存したＨＤＲ画像の画素値を算出する。

このように、動き検出された領域以外の領域については、Ｌ画像での黒潰れもＨ画像での白とびもない中間域ではＬ画像とＨ画像の両方の画素値を用いてＨＤＲ画像の画素値を算出する。一方、動き検出された領域に関しては、中間域においてもＬ画像で黒潰れしている範囲と同様に、Ｈ画像の画素値のみからＨＤＲ画像の画素値を算出する。

本実施形態によれば、被写体の動きが非常に速い場合であっても、違和感が抑制されたＨＤＲ画像を生成することができる。

（他の実施形態）
なお、１枚目と２枚目のＬ画像から被写体の動き量を検出し、複数のＬ画像を合成しても被写体の動きをＨ画像と同様に捉えられないと判断される場合に、第３の実施形態を実施し、そうでない場合には第１の実施形態を実施するようにしてもよい。

また、１フレーム期間内に撮影するＬ画像の数が少ない場合ほど、また被写体の移動速度が速いほど、Ｈ画像と合成後のＬ画像とにおける被写体領域の差が大きくなるため、これらを考慮して第１の実施形態と第３の実施形態とを切り替えるように構成してもよい。具体的には、同じ被写体移動速度（または動き量）であっても、Ｌ画像の最大撮影数が多いほど、第３の実施形態が実施されにくく、Ｌ画像の最大撮影数が少ないほど、第３の実施形態が実施されやすくなるようにすることができる。

もちろん、第２の実施形態における最大撮影数の制御は、第１および第３の実施形態の少なくとも１つ以上と組み合わせることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

撮像素子と、
前記撮像素子の予め定められた領域ごとに、露光および信号の読み出しを制御する制御手段と、
前記撮像素子のうち、第１の露光時間で撮影を行った領域から読み出された信号から得られる第１の画像と、前記第１の露光時間よりも短い第２の露光時間で撮影を行った領域から読み出された信号から得られる第２の画像とを合成した合成画像を生成する合成手段と、を有し、
前記制御手段が、前記第１の露光時間での撮影が１回行われる予め定められた期間内に、前記第２の露光時間での撮影が複数回行われるように前記制御を行い、
前記合成手段が、前記予め定められた期間内の撮影で得られる前記第１の画像と、複数の前記第２の画像とから前記合成画像を生成する、ことを特徴とする撮像装置。
前記撮像素子には複数の画素が２次元配列され、
前記制御手段は、前記画素の所定数の行を単位として前記制御を行う、ことを特徴とする請求項１記載の撮像装置。
前記合成手段が、前記合成画像を、前記複数の前記第２の画像の合成画像と、前記第１の画像とを合成することにより生成する、ことを特徴とする請求項１または請求項２に記載の撮像装置。
前記制御手段は、前記予め定められた期間内に行う複数回の前記第２の露光時間での撮影の最初の撮影の露光開始から、最後の撮影の露光終了までの期間の時間中心が、前記第１の露光時間での撮影における露光開始から終了までの期間の時間中心と等しくなるように前記制御を行う、ことを特徴とする請求項１から請求項３の何れか１項に記載の撮像装置。
前記制御手段は、前記予め定められた期間内に行う複数回の前記第２の露光時間での撮影の最初の撮影の露光開始から、最後の撮影の露光終了までの期間の長さが、前記第１の露光時間での撮影における露光開始から終了までの期間の長さと等しくなるように前記制御を行う、ことを特徴とする請求項１から請求項４の何れか１項に記載の撮像装置。
前記予め定められた期間に得られる２つの前記第２の画像から動きの有無を検出する動き検出手段をさらに有し、
前記制御手段は、前記検出手段により動きが検出されない場合は、動きが検出された場合よりも、次の前記予め定められた期間における前記第２の露光時間での撮影の回数を少なくする、ことを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
前記予め定められた期間に得られる２つの前記第２の画像から動きのある領域を検出する動き領域検出手段をさらに有し、
前記合成手段は、前記動きのある領域については、前記第２の画像に基づかずに前記第１の画像に基づいて前記合成画像を生成する、ことを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
前記制御手段は、前記第１の露光時間を、適正露出のための露光時間よりも長く設定し、前記第２の露光時間を、前記適正露出のための露光時間よりも短く設定する、ことを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
撮像素子を有する撮像装置の制御方法であって、
制御手段が、前記撮像素子の予め定められた領域ごとに、露光および信号の読み出しを制御する制御工程と、
合成手段が、前記撮像素子のうち、第１の露光時間で撮影を行った領域から読み出された信号から得られる第１の画像と、前記第１の露光時間よりも短い第２の露光時間で撮影を行った領域から読み出された信号から得られる第２の画像とを合成した合成画像を生成する合成工程と、を有し、
前記制御工程において前記制御手段は、前記第１の露光時間での撮影が１回行われる予め定められた期間内に、前記第２の露光時間での撮影が複数回行われるように前記制御を行い、
前記合成工程において前記合成手段は、前記予め定められた期間内の撮影で得られる前記第１の画像と、複数の前記第２の画像とから前記合成画像を生成する、ことを特徴とする撮像装置の制御方法。
コンピュータに請求項９記載の撮像装置の制御方法の各工程を実施させるためのプログラム。
コンピュータに請求項９記載の撮像装置の制御方法の各工程を実施させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。