JP7117532B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

異なる露光時間で被写体を撮像した複数の画像を合成することにより、ダイナミックレンジの広いＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する技術として、例えば特許文献１及び２に開示された画像処理装置が知られている。

特許文献１の画像処理装置では、基準画像と他の画像とを比較することにより、これらの画像に含まれる動体領域を検出する。さらに、この画像処理装置では、基準画像に含まれる動体領域を他の画像の対応する領域に置き換えて置換画像を生成し、置換画像と基準画像とを合成することによりＨＤＲ画像を生成する。これにより、動体を考慮したＨＤＲ画像が生成される。

特許文献２の画像処理装置では、異なる露光時間で被写体を撮像した複数の画像を合成する際に、被写体の動きが検出された領域の飽和度に基づいて、合成する画像の合成比率を決定する。これにより、ノイズの影響等が軽減されたＨＤＲ画像が生成される。

特開２０１１－１８８２７７号公報 特開２０１６－１３９８７６号公報

しかしながら、上述した従来の画像処理装置では、例えば夕方又は夜間等の低照度時に、動いている被写体を撮像した場合には、ＨＤＲ画像のブレが発生するおそれがあるという課題が生じる。

そこで、本開示は、低照度時に動いている被写体を撮像した場合であっても、ＨＤＲ画像のブレを抑制することができる画像処理装置、画像処理方法及びプログラムを提供する。

本開示の一態様に係る画像処理装置は、被写体を撮像したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するための画像処理装置であって、１フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力する画像センサと、前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の画像明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の画像明るさとなるように制御するセンサ制御部と、前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するレベル調整部と、前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出する動き量検出部と、前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出する動きブレンド比率算出部と、前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成する動き適応画像合成部と、前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するＨＤＲ画像合成部と、を備え、前記センサ制御部は、前記被写体の明るさが第１の被写体明るさから暗く変化した際に、前記第１の露光時間が増加から一定に転じ、且つ、前記第１のセンサゲインが一定から増加に転じるように前記第１の露光感度を制御し、前記被写体の明るさが前記第１の被写体明るさよりも暗い第２の被写体明るさから暗く変化した際に、前記第１の露光時間が一定から増加に転じ、且つ、前記第１のセンサゲインが増加から一定に転じるように前記第１の露光感度を制御する。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様に係る画像処理装置等によれば、低照度時に動いている被写体を撮像した場合であっても、ＨＤＲ画像のブレを抑制することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る画像処理装置のセンサ制御部の処理を説明するための図である。 実施の形態１に係る画像処理装置の動作の流れを示すフローチャートである。 実施の形態１に係る長露光画像の一例を示す模式図である。 実施の形態１に係る短露光画像の一例を示す模式図である。 実施の形態１に係る補正短露光画像の一例を示す模式図である。 実施の形態１に係る動き量検出部により検出された被写体の動き量の分布の一例を示す模式図である。 実施の形態１に係る画像処理装置により生成されるＨＤＲ画像の一例を示す模式図である。 比較例に係る画像処理装置のセンサ制御部の処理を説明するための図である。 被写体の明るさが照度Ｌ４である場合での、比較例に係る画像処理装置により生成される長露光画像、補正短露光画像及びＨＤＲ画像を示す図である。 被写体の明るさが照度Ｌ５である場合での、比較例に係る画像処理装置により生成される長露光画像、補正短露光画像及びＨＤＲ画像を示す図である。 被写体の明るさが照度Ｌ４である場合での、実施例に係る画像処理装置により生成される長露光画像、補正短露光画像及びＨＤＲ画像を示す図である。 被写体の明るさが照度Ｌ５である場合での、実施例に係る画像処理装置により生成される長露光画像、補正短露光画像及びＨＤＲ画像を示す図である。 実施の形態２に係る画像処理装置の構成を示すブロック図である。 実施の形態２に係る画像処理装置のセンサ制御部の処理を説明するための図である。

本開示の一態様に係る画像処理装置は、被写体を撮像したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するための画像処理装置であって、１フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力する画像センサと、前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の画像明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の画像明るさとなるように制御するセンサ制御部と、前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するレベル調整部と、前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出する動き量検出部と、前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出する動きブレンド比率算出部と、前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成する動き適応画像合成部と、前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するＨＤＲ画像合成部と、を備え、前記センサ制御部は、前記被写体の明るさが第１の被写体明るさから暗く変化した際に、前記第１の露光時間が増加から一定に転じ、且つ、前記第１のセンサゲインが一定から増加に転じるように前記第１の露光感度を制御し、前記被写体の明るさが前記第１の被写体明るさよりも暗い第２の被写体明るさから暗く変化した際に、前記第１の露光時間が一定から増加に転じ、且つ、前記第１のセンサゲインが増加から一定に転じるように前記第１の露光感度を制御する。

本態様によれば、センサ制御部は、被写体の明るさが第１の被写体明るさから暗く変化した際に、第１の露光時間が増加から一定に転じ、且つ、第１のセンサゲインが一定から増加に転じるように第１の露光感度を制御する。これにより、例えば低照度時に動いている被写体を撮像した場合であっても、第１の露光時間が短く抑えられるので、第１の画像のブレを抑制することができる。その結果、補正画像と第２の画像とを合成した動き適応画像のブレも抑制されるため、ＨＤＲ画像のブレを抑制することができる。また、センサ制御部は、被写体の明るさが第２の被写体明るさから暗く変化した際に、第１の露光時間が一定から増加に転じ、且つ、第１のセンサゲインが増加から一定に転じるように第１の露光感度を制御する。これにより、例えば極低照度時に動いている被写体を撮像した場合であっても、第１のセンサゲインが小さく抑えられるので、第１の画像のノイズを低減することができる。その結果、補正画像と第２の画像とを合成した動き適応画像のノイズも低減されるため、ＨＤＲ画像のノイズを低減することができる。

例えば、前記センサ制御部は、前記被写体の明るさが前記第１の被写体明るさよりも暗い第３の被写体明るさから暗く変化した際に、前記第２の露光時間が増加から一定に転じ、且つ、前記第２のセンサゲインが一定から増加に転じるように前記第２の露光感度を制御するように構成してもよい。

本態様によれば、センサ制御部は、被写体の明るさが暗く変化した際に、第２の露光時間が増加から一定に転じるタイミングよりも早いタイミングで、第１の露光時間が増加から一定に転じるように制御する。これにより、第１の露光時間が比較的早いタイミングで短く抑えられるので、第１の画像のブレを効果的に抑制することができる。

例えば、前記センサ制御部は、前記被写体の明るさが前記第２の被写体明るさよりも暗い第４の被写体明るさから暗く変化した際に、前記第１の露光時間が増加から一定に転じ、且つ、前記第１のセンサゲインが一定から増加に転じるように前記第１の露光感度を制御するように構成してもよい。

上述したように、被写体の明るさが第２の被写体明るさから暗く変化した際に、第１の露光時間が一定から増加に転じ、且つ、第１のセンサゲインが増加から一定に転じる。そのため、例えば極低照度時に動いている被写体を撮像した場合には、ＨＤＲ画像のノイズは低減されるものの、ＨＤＲ画像のブレが発生するおそれがある。本態様によれば、センサ制御部は、被写体の明るさが第４の被写体明るさから暗く変化した際に、第１の露光時間が増加から一定に転じるように制御する。これにより、第１の露光時間の増加が抑えられるので、ＨＤＲ画像のブレを抑制することができる。

本開示の一態様に係る画像処理方法は、被写体を撮像したＨＤＲ画像を生成するための画像処理方法であって、（ａ）１フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力するステップと、（ｂ）前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の画像明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の画像明るさとなるように制御するステップと、（ｃ）前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するステップと、（ｄ）前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出するステップと、（ｅ）前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出するステップと、（ｆ）前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成するステップと、（ｇ）前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するステップと、を含み、前記（ｂ）において、前記被写体の明るさが第１の被写体明るさから暗く変化した際に、前記第１の露光時間が増加から一定に転じ、且つ、前記第１のセンサゲインが一定から増加に転じるように前記第１の露光感度を制御し、前記被写体の明るさが前記第１の被写体明るさよりも暗い第２の被写体明るさから暗く変化した際に、前記第１の露光時間が一定から増加に転じ、且つ、前記第１のセンサゲインが増加から一定に転じるように前記第１の露光感度を制御する。

本態様によれば、被写体の明るさが第１の被写体明るさから暗く変化した際に、第１の露光時間が増加から一定に転じ、且つ、第１のセンサゲインが一定から増加に転じるように第１の露光感度を制御する。これにより、例えば低照度時に動いている被写体を撮像した場合であっても、第１の露光時間が短く抑えられるので、第１の画像のブレを抑制することができる。その結果、補正画像と第２の画像とを合成した動き適応画像のブレも抑制されるため、ＨＤＲ画像のブレを抑制することができる。また、被写体の明るさが第２の被写体明るさから暗く変化した際に、第１の露光時間が一定から増加に転じ、且つ、第１のセンサゲインが増加から一定に転じるように第１の露光感度を制御する。これにより、例えば極低照度時に動いている被写体を撮像した場合であっても、第１のセンサゲインが小さく抑えられるので、第１の画像のノイズを低減することができる。その結果、補正画像と第２の画像とを合成した動き適応画像のノイズも低減されるため、ＨＤＲ画像のノイズを低減することができる。

本開示の一態様に係るプログラムは、上述した画像処理方法をコンピュータに実行させる。

本態様によれば、例えば低照度時に動いている被写体を撮像した場合であっても、第１の露光時間が短く抑えられるので、ＨＤＲ画像のブレを抑制することができる。また、例えば極低照度時に動いている被写体を撮像した場合であっても、第１のセンサゲインが小さく抑えられるので、ＨＤＲ画像のノイズを低減することができる。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
［１－１．画像処理装置の構成］
まず、図１及び図２を参照しながら、実施の形態１に係る画像処理装置２の構成について説明する。図１は、実施の形態１に係る画像処理装置２の構成を示すブロック図である。図２は、実施の形態１に係る画像処理装置２のセンサ制御部６の処理を説明するための図である。

図１に示すように、画像処理装置２は、画像センサ４と、センサ制御部６と、レベル調整部８と、動き量検出部１０と、動きブレンド比率算出部１２と、動き適応画像合成部１４と、輝度ブレンド比率算出部１６と、ＨＤＲ画像合成部１８とを備えている。

なお、画像処理装置２は、例えば車両のナンバープレートを撮像するための監視カメラとして適用される。あるいは、画像処理装置２は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、車載用の物体検知システム、車載用の電子ミラー、及び、車載用のドライビングレコーダ等に適用してもよい。

画像センサ４は、１フレーム時間内で露光時間及びセンサゲインを変えながら被写体を撮像した短露光画像（第１の画像の一例）及び長露光画像（第２の画像の一例）を出力する、いわゆるＬｉｎｅ ｂｙ Ｌｉｎｅ方式で駆動されるイメージセンサである。具体的には、画像センサ４は、第１の露光時間及び第１のセンサゲインで被写体を撮像した短露光画像を出力し、且つ、第２の露光時間及び第２のセンサゲインで被写体を撮像した長露光画像を出力する。ここで、第２の露光時間は、第１の露光時間よりも長い。

露光時間とは、画像センサ４の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間を意味する。また、センサゲインとは、画像信号を増幅するための画像センサ４のアンプの利得率（増幅率）を意味する。これらの露光時間又はセンサゲインを変更することにより、露光時間とセンサゲインとの積である露光感度を変更することができる。

なお、Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式の画像センサ４では、フレームの先頭行から最終行までの各行で、長露光画像の出力が終了した直後に、短露光画像の出力が開始される。すなわち、１フレーム時間内で、長露光画像の出力と短露光画像の出力とが交互に並行して行われる。

図１に示すように、画像センサ４から出力された長露光画像は、センサ制御部６、動き量検出部１０、動き適応画像合成部１４及び輝度ブレンド比率算出部１６に入力される。また、画像センサ４から出力された短露光画像は、センサ制御部６、レベル調整部８、輝度ブレンド比率算出部１６及びＨＤＲ画像合成部１８に入力される。

センサ制御部６は、被写体の明るさ（照度）に応じて、画像センサ４の第１の露光時間、第１のセンサゲイン、第２の露光時間及び第２のセンサゲインを制御する。具体的には、図２の（ａ）及び（ｂ）に示すように、センサ制御部６は、被写体の明るさが暗くなるに従って、第１の露光時間と第１のセンサゲインとの積である第１の露光感度が大きくなるように制御し、且つ、第２の露光時間と第２のセンサゲインとの積である第２の露光感度が大きくなるように制御する。すなわち、センサ制御部６は、被写体の明るさが変化した際に、第１の露光感度を、短露光画像が第１の画像明るさとなるように制御し、且つ、第２の露光感度を、長露光画像が第２の画像明るさとなるように制御する。

図２の（ａ）及び（ｂ）に示すように、センサ制御部６は、被写体の明るさが照度Ｌ１（第１の被写体明るさの一例）から暗く変化した際に、第１の露光時間が増加から一定（Ｔ１）に転じ、且つ、第１のセンサゲインが一定（Ｇ１）から増加に転じるように、第１の露光感度を制御する。また、センサ制御部６は、被写体の明るさが照度Ｌ１よりも暗い照度Ｌ２（第２の被写体明るさの一例）から暗く変化した際に、第１の露光時間が一定（Ｔ１）から増加に転じ、且つ、第１のセンサゲインが増加から一定（Ｇ２（＞Ｇ１））に転じるように、第１の露光感度を制御する。この場合、第１の露光時間の設定限界値は、Ｔ２（＞Ｔ１）である。

また、図２の（ａ）及び（ｂ）に示すように、センサ制御部６は、被写体の明るさが照度Ｌ１よりも暗く且つ照度Ｌ２よりも明るい照度Ｌ３（第３の被写体明るさの一例）から暗く変化した際に、第２の露光時間が増加から一定（Ｔ３（＞Ｔ１））に転じ、且つ、第２のセンサゲインが一定（Ｇ１）から増加に転じるように、第２の露光感度を制御する。この場合、第２のセンサゲインの設定限界値は、Ｇ３（＞Ｇ１）である。

なお、図２の（ａ）及び（ｂ）に示す例では、照度Ｌ１は約２００Ｌｕｘ、照度Ｌ２は約２５Ｌｕｘ、照度Ｌ３は約１００Ｌｕｘである。

レベル調整部８は、画像センサ４から出力された短露光画像の輝度レベルを長露光画像の輝度レベルに略一致するように調整することにより、短露光画像から補正短露光画像（補正画像の一例）を生成する。具体的には、レベル調整部８は、第２の露光感度と第１の露光感度との比だけ、短露光画像を示す信号のゲインを上げることにより、短露光画像の輝度レベルを長露光画像の輝度レベル又はその近傍まで上昇させる。レベル調整部８は、生成した補正短露光画像を、動き量検出部１０及び動き適応画像合成部１４に出力する。

動き量検出部１０は、補正短露光画像及び長露光画像に基づいて、被写体の動きの大きさを示す動き量を検出する。動き量検出部１０は、減算部２０と、絶対値算出部２２と、ブロック差分累算部２４とを有している。

減算部２０は、画像センサ４から出力された長露光画像と、レベル調整部８から出力された補正短露光画像との差分を算出する。具体的には、減算部２０は、長露光画像の画素の画素値から、当該画素と同じ位置にある補正短露光画像の画素の画素値を減算した結果である差分を出力する。減算部２０は、上述した減算処理を、長露光画像及び補正短露光画像の各々の全画素に対して行う。減算部２０は、算出した差分を絶対値算出部２２に出力する。

絶対値算出部２２は、減算部２０からの差分の絶対値を算出する。この差分の絶対値は、長露光画像及び補正短露光画像の同じ位置にある各画素間における画素値の差分の大きさを示す。絶対値算出部２２は、算出した差分の絶対値を、ブロック差分累算部２４に出力する。

ブロック差分累算部２４は、絶対値算出部２２からの差分の絶対値を、画像ブロック毎に累算する。画像ブロックとは、長露光画像（又は補正短露光画像）の全領域を、例えばｎ×ｎ画素（ｎ≧２）に分割した場合の１単位を言う。第２の露光時間内に生じた被写体の動きが大きいほど、長露光画像における被写体の像がブレることにより、絶対値算出部２２からの差分の絶対値が大きくなる。すなわち、被写体の動きが大きいほど、当該動きを含む画像ブロックの累算値は大きくなる。ブロック差分累算部２４は、画像ブロック毎に算出した累算値を、被写体の動き量として検出する。ブロック差分累算部２４は、画像ブロック毎に検出した動き量を、動きブレンド比率算出部１２に出力する。

動きブレンド比率算出部１２は、画像ブロック毎に検出された動き量に基づいて、長露光画像及び補正短露光画像の同じ位置にある各画素をブレンドする比率である動きブレンド比率を算出する。動きブレンド比率算出部１２は、算出した動きブレンド比率を動き適応画像合成部１４に出力する。

ここで、動きブレンド比率の算出手順について説明する。まず、動きブレンド比率算出部１２は、画像ブロック間の動き量を平滑化する。具体的には、動きブレンド比率算出部１２は、隣接する画像ブロック間の動き量の差分を細分化し、画像ブロックの重心と各画素との距離に応じて動き量の差分を振り分けるように、各画素の動き量を内挿する。次に、動きブレンド比率算出部１２は、補正短露光画像をブレンドする比率が被写体の動き量と正の相関関係を有するように、長露光画像及び補正短露光画像の同じ位置にある各画素について動きブレンド比率を算出する。これは、被写体の大きな動き量が検出された画像ブロックでは、長露光画像における被写体の像がブレている可能性が高いためである。

なお、画素間の動き量の変化は、上記の平滑化処理の結果、画像ブロックの境界を挟んで滑らかになっているため、算出される画素間の動きブレンド比率も画像ブロックの境界を挟んで滑らかに変化する。すなわち、長露光画像及び補正短露光画像の動きブレンド比率は、画像ブロック毎ではなく画素毎に決定されるため、合成後の動き適応画像（後述する）のブロック歪みを生じにくくすることができる。

動き適応画像合成部１４は、動きブレンド比率算出部１２からの動きブレンド比率に基づいて、画像センサ４から出力された長露光画像とレベル調整部８から出力された補正短露光画像とを合成することにより、動き適応画像を生成する。具体的には、動き適応画像合成部１４は、各画素の動きブレンド比率を係数として、長露光画像の画素と補正短露光画像の画素とをアルファブレンドする。この時、長露光画像における被写体の像のブレが大きい領域には、補正短露光画像が高い動きブレンド比率でブレンドされる。これにより、長露光画像における被写体の像のブレを補正することができる。一方、長露光画像における被写体の像のブレが小さい領域には、補正短露光画像が低い動きブレンド比率でブレンドされる。これは、補正短露光画像のＳ／Ｎは長露光画像のＳ／Ｎよりも劣るので、長露光画像における被写体の像のブレが小さい領域においてその画質の無用な劣化を回避するためである。動き適応画像合成部１４は、生成した動き適応画像をＨＤＲ画像合成部１８に出力する。

輝度ブレンド比率算出部１６は、画像センサ４から出力された長露光画像及び短露光画像に基づいて、長露光画像及び短露光画像の同じ位置にある各画素間の輝度ブレンド比率を算出する。輝度ブレンド比率算出部１６は、算出した輝度ブレンド比率をＨＤＲ画像合成部１８に出力する。

ＨＤＲ画像合成部１８は、輝度ブレンド比率算出部１６からの輝度ブレンド比率に基づいて、動き適応画像合成部１４から出力された動き適応画像と画像センサ４から出力された短露光画像とを合成することにより、ＨＤＲ画像を生成する。ＨＤＲ画像合成部１８は、各画素の輝度ブレンド比率を係数として、動き適応画像の画素と短露光画像の画素とをアルファブレンドする。これにより、被写体の動きと、長露光画像及び短露光画像の各画素の輝度との両方に適応的なＨＤＲ画像を生成することができる。

［１－２．画像処理装置の動作］
次に、図３～図４Ｅを参照しながら、実施の形態１に係る画像処理装置２の動作について説明する。図３は、実施の形態１に係る画像処理装置２の動作の流れを示すフローチャートである。図４Ａは、実施の形態１に係る長露光画像２８の一例を示す模式図である。図４Ｂは、実施の形態１に係る短露光画像３０の一例を示す模式図である。図４Ｃは、実施の形態１に係る補正短露光画像３２の一例を示す模式図である。図４Ｄは、実施の形態１に係る動き量検出部１０により検出された被写体２６の動き量の分布の一例を示す模式図である。図４Ｅは、実施の形態１に係る画像処理装置２により生成されるＨＤＲ画像３４の一例を示す模式図である。

図３に示すように、まず、センサ制御部６は、被写体２６（図４Ａ及び図４Ｂ参照）の明るさに応じて、画像センサ４の第１の露光時間及び第１のセンサゲイン（第１の露光感度）、並びに、第２の露光時間及び第２のセンサゲイン（第２の露光感度）を決定する（Ｓ１０１）。画像センサ４は、センサ制御部６により決定された第１の露光時間及び第１のセンサゲインで被写体２６を撮像した短露光画像３０を出力し、且つ、第２の露光時間及び第２のセンサゲインで被写体２６を撮像した長露光画像２８を出力する（Ｓ１０２）。

なお、画像センサ４は、例えば図４Ａ及び図４Ｂに示すような被写体２６を撮像する。図４Ａ及び図４Ｂに示す例では、被写体２６の近景側には、道路を横断する人の手で把持された横断旗が存在し、且つ、被写体２６の遠景側には、上記道路に面して建てられた建物が存在している。この時、人の手で把持された横断旗は、軽く振り上げられている。

画像センサ４は、例えば図４Ａに示すような長露光画像２８を出力する。図４Ａに示すように、長露光画像２８は第１の露光時間よりも長い第２の露光時間で撮像されるため、長露光画像２８では、短露光画像３０（図４Ｂ参照）に比べて全体的に明るい。さらに、長露光画像２８では、動きのある被写体２６の像（人の手及び横断旗）がブレて写っているが、動きのない被写体２６の像（建物等）はブレなく写っている。なお、図４Ａでは、ブレがある被写体２６の像の輪郭を破線で表し、ブレがない被写体２６の像の輪郭を実線で表している。

また、画像センサ４は、例えば図４Ｂに示すような短露光画像３０を出力する。図４Ｂに示すように、短露光画像３０は第２の露光時間よりも短い第１の露光時間で撮像されるため、短露光画像３０では、長露光画像２８（図４Ａ参照）に比べて全体的に暗く、被写体２６の像は全体的にほぼブレなく写っている。

図３に戻り、レベル調整部８は、画像センサ４から出力された短露光画像３０の輝度レベルを長露光画像２８の輝度レベルに略一致するように調整することにより、短露光画像３０から補正短露光画像３２を生成する（Ｓ１０３）。

レベル調整部８は、例えば図４Ｃに示すような補正短露光画像３２を生成する。図４Ｃに示すように、補正短露光画像３２の明るさは、長露光画像２８の明るさとほぼ同じであり、輝度レベルを調整する前の短露光画像３０に比べて全体的に明るい。但し、補正短露光画像３２では、輝度レベルを上昇させることにより、全体的にノイズが発生するようになる。なお、図４Ｃでは、補正短露光画像３２のノイズを網点で表している。

図３に戻り、動き量検出部１０は、画像センサ４から出力された長露光画像２８と、レベル調整部８から出力された補正短露光画像３２との差分を算出することにより、長露光画像２８（又は補正短露光画像３２）の画像ブロック毎に被写体２６の動き量を検出する（Ｓ１０４）。

動き量検出部１０は、例えば図４Ｄに示すように、画像ブロック毎に被写体２６の動き量を検出する。図４Ｄの（ａ）において、各桝目は画像ブロックを表している。図４Ｄの（ａ）に示す例では、動き量が大きい画像ブロック、すなわち、長露光画像２８の画素値と補正短露光画像３２の画素値との差が大きい画像ブロックほど明るい。なお、図４Ｄでは、動き量を網掛けの濃度で表しており、動き量が大きいほど網掛けの濃度が薄い。

図３に戻り、動きブレンド比率算出部１２は、画像ブロックの動き量を平滑化することにより、動きブレンド比率を算出する（Ｓ１０５）。これにより、図４Ｄの（ｂ）に示すように、平滑化処理前の図４Ｄの（ａ）に比べて、動き量が画像ブロック間の境界を跨いでより滑らかに変化するようになる。

次に、動き適応画像合成部１４は、動きブレンド比率算出部１２からの動きブレンド比率に基づいて、画像センサ４から出力された長露光画像２８とレベル調整部８から出力された補正短露光画像３２とを合成することにより、動き適応画像を生成する（Ｓ１０６）。これにより、長露光画像２８においてブレの小さい被写体２６の像を構成する画素には補正短露光画像３２の画素が低い比率でブレンドされ、且つ、長露光画像２８においてブレの大きい被写体２６の像を構成する画素には補正短露光画像３２の画素が高い比率でブレンドされる。なお、長露光画像２８において被写体２６の像のブレが全く無い領域では、補正短露光画像３２の画素をブレンドすることなく、Ｓ／Ｎの高い長露光画像２８の画素がそのまま用いられてもよい。

輝度ブレンド比率算出部１６は、画像センサ４から出力された長露光画像２８及び短露光画像３０に基づいて、輝度ブレンド比率を算出する（Ｓ１０７）。ＨＤＲ画像合成部１８は、輝度ブレンド比率算出部１６からの輝度ブレンド比率に基づいて、画像センサ４から出力された短露光画像３０と動き適応画像合成部１４から出力された動き適応画像とを合成することにより、ＨＤＲ画像３４を生成する。

ＨＤＲ画像合成部１８は、例えば図４Ｅに示すようなＨＤＲ画像３４を生成する。図４Ｅに示すように、ＨＤＲ画像３４では、長露光画像２８におけるブレの大きい被写体２６の像（人の手及び横断旗）が、補正短露光画像３２における被写体２６の像（人の手及び横断旗）で置き換えられている。この時、ＨＤＲ画像３４における人の手及び横断旗の像には、補正短露光画像３２に起因するノイズが僅かに発生している。なお、図４Ｅでは、ＨＤＲ画像３４のノイズを網点で表している。

［１－３．実施例及び比較例］
図５～図７を参照しながら、比較例に係る画像処理装置について説明する。図５は、比較例に係る画像処理装置のセンサ制御部の処理を説明するための図である。図６は、被写体の明るさが照度Ｌ４である場合での、比較例に係る画像処理装置により生成される長露光画像、補正短露光画像及びＨＤＲ画像を示す図である。図７は、被写体の明るさが照度Ｌ５である場合での、比較例に係る画像処理装置により生成される長露光画像、補正短露光画像及びＨＤＲ画像を示す図である。

比較例に係る画像処理装置では、図５の（ａ）及び（ｂ）に示すように、センサ制御部は、被写体の明るさが照度Ｌ３から暗く変化した際に、第１の露光時間が増加から一定（Ｔ４（＞Ｔ１））に転じ、且つ、第１のセンサゲインが一定（Ｇ１）から増加に転じるように、第１の露光感度を制御する。また、図５の（ａ）及び（ｂ）に示すように、センサ制御部は、被写体の明るさが照度Ｌ３から暗く変化した際に、第２の露光時間が増加から一定（Ｔ３）に転じ、且つ、第２のセンサゲインが一定（Ｇ１）から増加に転じるように、第２の露光感度を制御する。第１のセンサゲイン及び第２のセンサゲインの各設定限界値は、Ｇ３である。なお、図５の（ａ）及び（ｂ）に示すように、第１のセンサゲインのグラフと第２のセンサゲインのグラフとは一致している。

被写体の明るさが照度Ｌ４（約５０Ｌｕｘ：低照度時）である状態で、画像センサを被写体に対して１６°／秒で左右に揺動させた場合での、比較例に係る画像処理装置による被写体の撮像結果は、図６に示す通りであった。図６の（ａ）に示すように、比較例に係る画像処理装置により生成される長露光画像（第２の露光時間：Ｔ３、第２のセンサゲイン：Ｇ４）には、大きなブレが発生していた。また、図６の（ｂ）に示すように、比較例に係る画像処理装置により生成される補正短露光画像（第１の露光時間：Ｔ４、第１のセンサゲイン：Ｇ４）には、中程度のブレが発生していた。これにより、図６の（ｃ）に示すように、比較例に係る画像処理装置により生成されるＨＤＲ画像には、補正短露光画像に起因する中程度のブレが発生していた。

被写体の明るさが照度Ｌ５（約６Ｌｕｘ：極低照度時）である状態で、画像センサを被写体に対して１６°／秒で左右に揺動させた場合での、比較例に係る画像処理装置による被写体の撮像結果は、図７に示す通りであった。図７の（ａ）に示すように、比較例に係る画像処理装置により生成される長露光画像（第２の露光時間：Ｔ３、第２のセンサゲイン：Ｇ５（＞Ｇ４））には、大きなブレが発生するとともに、中程度のノイズが発生していた。また、図７の（ｂ）に示すように、比較例に係る画像処理装置により生成される補正短露光画像（第１の露光時間：Ｔ４、第１のセンサゲイン：Ｇ５）には、中程度のブレが発生するとともに、大きなノイズが発生していた。これにより、図７の（ｃ）に示すように、比較例に係る画像処理装置により生成されるＨＤＲ画像には、補正短露光画像に起因する中程度のブレが発生するとともに、大きなノイズが発生していた。

次に、図２、図８及び図９を参照しながら、実施例に係る画像処理装置について説明する。図８は、被写体の明るさが照度Ｌ４である場合での、実施例に係る画像処理装置により生成される長露光画像、補正短露光画像及びＨＤＲ画像を示す図である。図９は、被写体の明るさが照度Ｌ５である場合での、実施例に係る画像処理装置により生成される長露光画像、補正短露光画像及びＨＤＲ画像を示す図である。

実施例に係る画像処理装置では、センサ制御部は、上述した図２の（ａ）及び（ｂ）に示すように第１の露光感度及び第２の露光感度を制御する。

被写体の明るさが照度Ｌ４（低照度時）である状態で、画像センサを被写体に対して１６°／秒で左右に揺動させた場合での、実施例に係る画像処理装置による被写体の撮像結果は、図８に示す通りであった。図８の（ａ）に示すように、実施例に係る画像処理装置により生成される長露光画像（第２の露光時間：Ｔ３、第２のセンサゲイン：Ｇ４）には、大きなブレが発生していた。また、図８の（ｂ）に示すように、実施例に係る画像処理装置により生成される補正短露光画像（第１の露光時間：Ｔ１（＜Ｔ４）、第１のセンサゲイン：Ｇ６（＞Ｇ４））には、ブレがほとんど発生しなかった。これにより、図８の（ｃ）に示すように、実施例に係る画像処理装置により生成されるＨＤＲ画像には、補正短露光画像に起因するブレがほとんど発生しなかった。

被写体の明るさが照度Ｌ５（極低照度時）である状態で、画像センサを被写体に対して１６°／秒で左右に揺動させた場合での、実施例に係る画像処理装置による被写体の撮像結果は、図９に示す通りであった。図９の（ａ）に示すように、実施例に係る画像処理装置により生成される長露光画像（第２の露光時間：Ｔ３、第２のセンサゲイン：Ｇ５）には、大きなブレが発生するとともに、中程度のノイズが発生していた。また、図９の（ｂ）に示すように、実施例に係る画像処理装置により生成される補正短露光画像（第１の露光時間：Ｔ５（＞Ｔ４）、第１のセンサゲイン：Ｇ２（＜Ｇ５））には、やや大きなブレが発生するものの、中程度のノイズが発生するのにとどまった。これにより、図９の（ｃ）に示すように、実施例に係る画像処理装置により生成されるＨＤＲ画像には、補正短露光画像に起因するやや大きなブレが発生するものの、中程度のノイズが発生するのにとどまった。

以上の結果より、低照度時（照度Ｌ４）に動いている被写体を撮像した場合には、実施例に係るＨＤＲ画像（図８の（ｃ））は、比較例に係るＨＤＲ画像（図６の（ｃ））に比べて、ブレが抑えられて画像の視認性が高まることが確認できた。また、極低照度時（照度Ｌ５）に動いている被写体を撮像した場合には、実施例に係るＨＤＲ画像（図９の（ｃ））は、比較例に係るＨＤＲ画像（図７の（ｃ））に比べて、ノイズが低減されて画像の視認性が高まることが確認できた。

［１－４．効果］
本実施の形態の画像処理装置２では、例えば低照度時に動いている被写体を撮像した場合であっても、第１の露光時間が短く抑えられるので、ＨＤＲ画像のブレを抑制することができる。また、例えば極低照度時に動いている被写体を撮像した場合であっても、第１のセンサゲインが小さく抑えられるので、ＨＤＲ画像のノイズを低減することができる。

（実施の形態２）
［２－１．画像処理装置の構成］
図１０及び図１１を参照しながら、実施の形態２に係る画像処理装置２Ａの構成について説明する。図１０は、実施の形態２に係る画像処理装置２Ａの構成を示すブロック図である。図１１は、実施の形態２に係る画像処理装置２Ａのセンサ制御部６Ａの処理を説明するための図である。なお、本実施の形態において、上記実施の形態１と同一の構成要素には同一の符号を付して、その説明を省略する。

図１０に示すように、実施の形態２に係る画像処理装置２Ａでは、センサ制御部６Ａによる第１の露光感度の制御が上記実施の形態１と異なっている。なお、センサ制御部６Ａによる第２の露光感度の制御は、上記実施の形態１と同様である。

図１１の（ａ）及び（ｂ）に示すように、センサ制御部６Ａは、被写体の明るさが照度Ｌ１から暗く変化した際に、第１の露光時間が増加から一定（Ｔ１）に転じ、且つ、第１のセンサゲインが一定（Ｇ１）から増加に転じるように、第１の露光感度を制御する。また、センサ制御部６Ａは、被写体の明るさが照度Ｌ２から暗く変化した際に、第１の露光時間が一定（Ｔ１）から増加に転じ、且つ、第１のセンサゲインが増加から一定（Ｇ２）に転じるように、第１の露光感度を制御する。

さらに、センサ制御部６Ａは、被写体の明るさが照度Ｌ２よりも暗い照度Ｌ５（第４の被写体明るさの一例）から暗く変化した際に、第１の露光時間が増加から一定（Ｔ５）に転じ、且つ、第１のセンサゲインが一定（Ｇ２）から増加に転じるように、第１の露光感度を制御する。この場合、第１の露光時間の設定限界値は、Ｔ５であり、第１のセンサゲインの設定限界値は、Ｇ５である。なお、図１１の（ａ）及び（ｂ）に示す例では、照度Ｌ５は約６Ｌｕｘである。

［２－２．効果］
上記実施の形態１で説明したように、被写体の明るさが照度Ｌ２から暗く変化した際に、第１の露光時間が一定から増加に転じ、且つ、第１のセンサゲインが増加から一定に転じる。そのため、例えば極低照度時に動いている被写体を撮像した場合には、ＨＤＲ画像のノイズは低減されるものの、第１の露光時間が大きくなるためＨＤＲ画像のブレが発生するおそれがある。

これに対して、本実施の形態の画像処理装置２Ａでは、センサ制御部６Ａは、被写体の明るさが照度Ｌ５から暗く変化した際に、第１の露光時間が増加から一定に転じるように制御する。これにより、第１の露光時間の増加が抑えられるので、ＨＤＲ画像のブレを抑制することができる。

（他の変形例）
以上、一つ又は複数の態様に係る画像処理装置について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

上記実施の形態２では、センサ制御部６Ａは、被写体の明るさが照度Ｌ３から暗く変化した際に、第２の露光時間が増加から一定（Ｔ３）に転じ、且つ、第２のセンサゲインが一定（Ｇ１）から増加に転じるように、第２の露光感度を制御したが、これに限定されない。例えば、センサ制御部６Ａは、被写体の明るさが照度Ｌ１よりも明るい照度Ｌ６（図示せず）から暗く変化した際に、第２の露光時間が増加から一定（Ｔ２）に転じ、且つ、第２のセンサゲインが一定（Ｇ１）から増加に転じるように、第２の露光感度を制御してもよい。さらに、センサ制御部６Ａは、被写体の明るさが照度Ｌ５から暗く変化した際に、第２の露光時間が一定（Ｔ２）から増加に転じ、且つ、第２のセンサゲインが増加から一定（Ｇ７：図示せず）に転じるように、第２の露光感度を制御してもよい。この場合、第２の露光時間の設定限界値は、Ｔ６（図示せず）である。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記実施の形態に係る画像処理装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしても良い。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしても良い。

本開示は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えばフレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものとしても良い。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしても良い。また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

本開示は、例えば露光時間の異なる複数の画像を合成することにより、ＨＤＲ画像を生成するための画像処理装置等に適用可能である。

２，２Ａ 画像処理装置
４ 画像センサ
６，６Ａ センサ制御部
８ レベル調整部
１０ 動き量検出部
１２ 動きブレンド比率算出部
１４ 動き適応画像合成部
１６ 輝度ブレンド比率算出部
１８ ＨＤＲ画像合成部
２０ 減算部
２２ 絶対値算出部
２４ ブロック差分累算部
２６ 被写体
２８ 長露光画像
３０ 短露光画像
３２ 補正短露光画像
３４ ＨＤＲ画像

Claims (4)

1. 被写体を撮像したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するための画像処理装置であって、
   １フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力する画像センサと、
   前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の画像明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の画像明るさとなるように制御するセンサ制御部と、
   前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するレベル調整部と、
   前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出する動き量検出部と、
   前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出する動きブレンド比率算出部と、
   前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成する動き適応画像合成部と、
   前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するＨＤＲ画像合成部と、を備え、
   前記センサ制御部は、
   前記被写体の明るさが第１の被写体明るさから暗く変化した際に、前記第１の露光時間が増加から一定に転じ、且つ、前記第１のセンサゲインが一定から増加に転じるように前記第１の露光感度を制御し、
   前記被写体の明るさが前記第１の被写体明るさよりも暗い第２の被写体明るさから暗く変化した際に、前記第１の露光時間が一定から増加に転じ、且つ、前記第１のセンサゲインが増加から一定に転じるように前記第１の露光感度を制御し、
   前記被写体の明るさが前記第１の被写体明るさよりも暗い第３の被写体明るさから暗く変化した際に、前記第２の露光時間が増加から一定に転じ、且つ、前記第２のセンサゲインが一定から増加に転じるように前記第２の露光感度を制御する
   画像処理装置。
2. 前記センサ制御部は、前記被写体の明るさが前記第２の被写体明るさよりも暗い第４の被写体明るさから暗く変化した際に、前記第１の露光時間が増加から一定に転じ、且つ、前記第１のセンサゲインが一定から増加に転じるように前記第１の露光感度を制御する
   請求項１に記載の画像処理装置。
3. 被写体を撮像したＨＤＲ画像を生成するための画像処理方法であって、
   （ａ）１フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力するステップと、
   （ｂ）前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の画像明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の画像明るさとなるように制御するステップと、
   （ｃ）前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するステップと、
   （ｄ）前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出するステップと、
   （ｅ）前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出するステップと、
   （ｆ）前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成するステップと、
   （ｇ）前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するステップと、を含み、
   前記（ｂ）において、前記被写体の明るさが第１の被写体明るさから暗く変化した際に、前記第１の露光時間が増加から一定に転じ、且つ、前記第１のセンサゲインが一定から増加に転じるように前記第１の露光感度を制御し、前記被写体の明るさが前記第１の被写体明るさよりも暗い第２の被写体明るさから暗く変化した際に、前記第１の露光時間が一定から増加に転じ、且つ、前記第１のセンサゲインが増加から一定に転じるように前記第１の露光感度を制御し、前記被写体の明るさが前記第１の被写体明るさよりも暗い第３の被写体明るさから暗く変化した際に、前記第２の露光時間が増加から一定に転じ、且つ、前記第２のセンサゲインが一定から増加に転じるように前記第２の露光感度を制御する
   画像処理方法。
4. 請求項３に記載の画像処理方法をコンピュータに実行させる
   プログラム。

Images