JP6785456B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

露光時間の異なる複数の画像を合成することにより、ダイナミックレンジの広いＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成する技術として、例えば特許文献１〜３に開示された画像処理装置が知られている。

特許文献１の画像処理装置では、基準画像と他の画像とを比較することにより、これらの画像に含まれる動体領域を検出する。さらに、この画像処理装置では、基準画像に含まれる動体領域を他の画像の対応する領域に置き換えて置換画像を生成し、置換画像と基準画像とを合成することによりＨＤＲ画像を生成する。これにより、動体を考慮したＨＤＲ画像が生成される。

特許文献２の画像処理装置では、移動する被写体を撮像した複数の画像からＨＤＲ画像を生成する。具体的には、この画像処理装置では、明るさに係る評価値、動きに係る評価値、及び、コントラストに係る評価値に基づいて算出した合成比率に基づいて、複数の画像を合成する。これにより、移動する被写体を撮像した複数の画像からであっても、自然なＨＤＲ画像が生成される。

特許文献３の画像処理装置では、動きのある被写体の像を含み、明るさの異なる複数の画像を合成することによりＨＤＲ画像を生成する。具体的には、この画像処理装置では、基準画像と、当該基準画像及び非基準画像から生成した比較画像とのズレ量である動きデータを算出する。また、この画像処理装置では、基準画像及び比較画像の各々について、所定の大きさの画像ブロック毎に画素平均値を算出し、算出した画素平均値の差分と所定の閾値との比較の結果に基づいて、動きデータによって対応付けられる基準画像の画像ブロックと非基準画像の画像ブロックとの合成の比率を決定する。これにより、画像のブレが補正されたＨＤＲ画像が生成される。

特開２０１１−１８８２７７号公報 特開２０１４−２２９９８８号公報 特開２０１２−８４９６０号公報

しかしながら、上述した従来の画像処理装置では、ＨＤＲ画像のＳ／Ｎが低下する場合があるという課題が生じる。

そこで、本開示は、ＨＤＲ画像のＳ／Ｎを改善することができる画像処理装置、画像処理方法及びプログラムを提供する。

本開示の一態様に係る画像処理装置は、被写体を撮像したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するための画像処理装置であって、１フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力する画像センサと、前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の明るさとなるように制御するセンサ制御部と、前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するレベル調整部と、前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出する動き量検出部と、前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出する動きブレンド比率算出部と、前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成する動き適応画像合成部と、前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するＨＤＲ画像合成部と、を備え、前記センサ制御部は、前記被写体の明るさが暗く変化した際に、前記第１のセンサゲインが前記第２のセンサゲイン以下となるように、前記第１の露光感度及び前記第２の露光感度を制御する。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様に係る画像処理装置等によれば、ＨＤＲ画像のＳ／Ｎを改善することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る画像処理装置のセンサ制御部の処理を説明するための図である。 実施の形態１に係る画像処理装置の動作の流れを示すフローチャートである。 実施の形態１に係る長露光画像の一例を示す模式図である。 実施の形態１に係る短露光画像の一例を示す模式図である。 実施の形態１に係る補正短露光画像の一例を示す模式図である。 実施の形態１に係る動き量検出部により検出された被写体の動き量の分布の一例を示す模式図である。 実施の形態１に係る画像処理装置により生成されるＨＤＲ画像の一例を示す模式図である。 比較例に係る画像処理装置のセンサ制御部の処理を説明するための図である。 比較例に係る画像処理装置により生成されるＨＤＲ画像の一例を示す模式図である。 実施の形態２に係る画像処理装置の構成を示すブロック図である。 実施の形態２に係る画像処理装置の動きブレンド比率算出部の処理を説明するための図である。 実施の形態２に係る画像処理装置の動作の流れを示すフローチャートである。 実施の形態２に係る長露光画像の一例を示す模式図である。 実施の形態２に係る短露光画像の一例を示す模式図である。 実施の形態２に係る画像処理装置により生成されるＨＤＲ画像の一例を示す模式図である。 実施の形態３に係る画像処理装置の構成を示すブロック図である。 実施の形態３に係る画像処理装置の動きブレンド比率算出部の処理を説明するための図である。 実施の形態３に係る長露光画像の一例を示す模式図である。 実施の形態３に係る短露光画像の一例を示す模式図である。 実施の形態３に係る画像処理装置により生成されるＨＤＲ画像の一例を示す模式図である。 比較例に係る画像処理装置により生成されるＨＤＲ画像の一例を示す模式図である。 実施の形態４に係る画像処理装置の構成を示すブロック図である。 実施の形態４に係る画像処理装置の動きブレンド比率算出部の処理を説明するための図である。 実施の形態４に係る長露光画像の一例を示す模式図である。 実施の形態４に係る短露光画像の一例を示す模式図である。 実施の形態４に係る画像処理装置により生成されるＨＤＲ画像の一例を示す模式図である。

本開示の一態様に係る画像処理装置は、被写体を撮像したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するための画像処理装置であって、１フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力する画像センサと、前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の明るさとなるように制御するセンサ制御部と、前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するレベル調整部と、前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出する動き量検出部と、前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出する動きブレンド比率算出部と、前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成する動き適応画像合成部と、前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するＨＤＲ画像合成部と、を備え、前記センサ制御部は、前記被写体の明るさが暗く変化した際に、前記第１のセンサゲインが前記第２のセンサゲイン以下となるように、前記第１の露光感度及び前記第２の露光感度を制御する。

本態様によれば、センサ制御部は、第１のセンサゲインが第２のセンサゲイン以下となるように、第１の露光感度及び第２の露光感度を制御する。そのため、従来に比べて、第１の露光時間が比較的長く、且つ、第１のセンサゲインが比較的小さくなる分、補正画像において全体的にノイズが少なくなり、補正画像のＳ／Ｎが改善される。これにより、ＨＤＲ画像において補正画像に起因するノイズを少なく抑えることができ、ＨＤＲ画像のＳ／Ｎを改善することができる。

例えば、前記動きブレンド比率算出部は、前記第１のセンサゲインが大きくなるに従って前記動き適応画像における前記補正画像の割合が小さくなるように、前記動きブレンド比率を補正するように構成してもよい。

本態様によれば、動きブレンド比率算出部は、第１のセンサゲインが大きくなるに従って動き適応画像における補正画像の割合が小さくなるように、動きブレンド比率を補正するので、第１のセンサゲインを大きくした場合であっても、ＨＤＲ画像におけるノイズを少なくすることができる。その結果、ＨＤＲ画像のＳ／Ｎを高めることができる。

例えば、前記画像処理装置は、さらに、前記第１の画像のフリッカ値を検出するフリッカ検出部を備え、前記動きブレンド比率算出部は、前記フリッカ値が大きくなるに従って前記動き適応画像における前記補正画像の割合が小さくなるように、前記動きブレンド比率を補正するように構成してもよい。

本態様によれば、動きブレンド比率算出部は、フリッカ値が大きくなるに従って動き適応画像における補正画像の割合が小さくなるように、動きブレンド比率を補正するので、第１の画像にフリッカが発生した場合であっても、ＨＤＲ画像にフリッカが発生するのを抑制することができる。その結果、ＨＤＲ画像のＳ／Ｎを高めることができる。

例えば、前記動きブレンド比率算出部は、前記第２の露光時間が短くなるに従って前記動き適応画像における前記補正画像の割合が小さくなるように、前記動きブレンド比率を補正するように構成してもよい。

本態様によれば、動きブレンド比率算出部は、第２の露光時間が短くなるに従って動き適応画像における補正画像の割合が小さくなるように、動きブレンド比率を補正するので、第２の露光時間を短くした場合であっても、ＨＤＲ画像のＳ／Ｎを高めることができる。

本開示の一態様に係る画像処理方法は、被写体を撮像したＨＤＲ画像を生成するための画像処理方法であって、（ａ）１フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力するステップと、（ｂ）前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の明るさとなるように制御するステップと、（ｃ）前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するステップと、（ｄ）前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出するステップと、（ｅ）前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出するステップと、（ｆ）前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成するステップと、（ｇ）前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するステップと、を含み、前記（ｂ）において、前記被写体の明るさが暗く変化した際に、前記第１のセンサゲインが前記第２のセンサゲイン以下となるように、前記第１の露光感度及び前記第２の露光感度を制御する。

本態様によれば、第１のセンサゲインが第２のセンサゲイン以下となるように、第１の露光感度及び第２の露光感度を制御する。そのため、従来に比べて、第１の露光時間が比較的長く、且つ、第１のセンサゲインが比較的小さくなる分、補正画像において全体的にノイズが少なくなり、補正画像のＳ／Ｎが改善される。これにより、ＨＤＲ画像において補正画像に起因するノイズを少なく抑えることができ、ＨＤＲ画像のＳ／Ｎを改善することができる。

本開示の一態様に係るプログラムは、上述した画像処理方法をコンピュータに実行させる。

本態様によれば、上述したように、ＨＤＲ画像のＳ／Ｎを改善することができる。

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なＣＤ−ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
［１−１．画像処理装置の構成］
まず、図１及び図２を参照しながら、実施の形態１に係る画像処理装置２の構成について説明する。図１は、実施の形態１に係る画像処理装置２の構成を示すブロック図である。図２は、実施の形態１に係る画像処理装置２のセンサ制御部６の処理を説明するための図である。

図１に示すように、画像処理装置２は、画像センサ４と、センサ制御部６と、レベル調整部８と、動き量検出部１０と、動きブレンド比率算出部１２と、動き適応画像合成部１４と、輝度ブレンド比率算出部１６と、ＨＤＲ画像合成部１８とを備えている。

なお、画像処理装置２は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、車載用の物体検知システム、車載用の電子ミラー、及び、車載用のドライビングレコーダ等に適用される。

画像センサ４は、１フレーム時間内で露光時間及びセンサゲインを変えながら被写体を撮像した短露光画像（第１の画像の一例）及び長露光画像（第２の画像の一例）を出力する、いわゆるＬｉｎｅ ｂｙ Ｌｉｎｅ方式で駆動されるイメージセンサである。具体的には、画像センサ４は、第１の露光時間及び第１のセンサゲインで被写体を撮像した短露光画像を出力し、且つ、第２の露光時間及び第２のセンサゲインで被写体を撮像した長露光画像を出力する。ここで、第２の露光時間は第１の露光時間よりも長く、且つ、第１のセンサゲインは第２のセンサゲイン以下である。

ここで、露光時間とは、画像センサ４の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間を意味する。また、センサゲインとは、画像信号を増幅するための画像センサ４のアンプの利得率（増幅率）を意味する。これらの露光時間又はセンサゲインを変更することにより、露光時間とセンサゲインとの積である露光感度を変更することができる。

なお、Ｌｉｎｅ ｂｙ Ｌｉｎｅ方式の画像センサ４では、フレームの先頭行から最終行までの各行で、長露光画像の出力が終了した直後に、短露光画像の出力が開始される。すなわち、１フレーム時間内で、長露光画像の出力と短露光画像の出力とが交互に並行して行われる。

図１に示すように、画像センサ４から出力された長露光画像は、センサ制御部６、動き量検出部１０、動き適応画像合成部１４及び輝度ブレンド比率算出部１６に入力される。また、画像センサ４から出力された短露光画像は、センサ制御部６、レベル調整部８、輝度ブレンド比率算出部１６及びＨＤＲ画像合成部１８に入力される。

センサ制御部６は、被写体の明るさに応じて、画像センサ４の第１の露光時間、第１のセンサゲイン、第２の露光時間及び第２のセンサゲインを制御する。具体的には、図２の（ａ）に示すように、センサ制御部６は、被写体が暗くなるに従って、第２の露光時間と第２のセンサゲインとの積である第２の露光感度が大きくなるように制御する。また、図２の（ｂ）に示すように、センサ制御部６は、被写体が暗くなるに従って、第１の露光時間と第１のセンサゲインとの積である第１の露光感度が大きくなるように制御する。ここで、図２の（ａ）及び（ｂ）に示すように、センサ制御部６は、被写体の明るさが暗く変化した際に、第１のセンサゲインが第２のセンサゲイン以下となるように、第１の露光感度及び第２の露光感度を制御する。すなわち、センサ制御部６は、被写体の明るさが変化した際に、第１の露光感度を、短露光画像が第１の明るさとなるように制御し、且つ、第２の露光感度を、長露光画像が第２の明るさとなるように制御する。

なお、図２の（ａ）に示す例では、露光感度がＸ２未満である場合には、第２の露光時間は漸増し、且つ、第２のセンサゲインはＧ２で一定であり、露光感度がＸ２以上である場合には、第２の露光時間はＴ２で一定であり、且つ、第２のセンサゲインは漸増する。また、図２の（ｂ）に示す例では、露光感度がＸ１（＞Ｘ２）未満である場合には、第１の露光時間は漸増し、且つ、第１のセンサゲインはＧ１（＝Ｇ２）で一定であり、露光感度がＸ１以上である場合には、第１の露光時間はＴ１（＜Ｔ２）で一定であり、且つ、第１のセンサゲインは漸増する。

この時、上述したように、センサ制御部６は、第１のセンサゲインが第２のセンサゲイン以下となるように、第１の露光感度及び第２の露光感度を制御する。例えば、図２の（ａ）及び（ｂ）に示すように、露光感度がＸ３（＞Ｘ１）である場合に、第１のセンサゲインＧ１’は、第２のセンサゲインＧ２’よりも小さい。

レベル調整部８は、画像センサ４から出力された短露光画像の輝度レベルを長露光画像の輝度レベルに略一致するように調整することにより、短露光画像から補正短露光画像（補正画像の一例）を生成する。具体的には、レベル調整部８は、第２の露光感度と第１の露光感度との比だけ、短露光画像を示す信号のゲインを上げることにより、短露光画像の輝度レベルを長露光画像の輝度レベル又はその近傍まで上昇させる。レベル調整部８は、生成した補正短露光画像を、動き量検出部１０及び動き適応画像合成部１４に出力する。

動き量検出部１０は、補正短露光画像及び長露光画像に基づいて、被写体の動きの大きさを示す動き量を検出する。動き量検出部１０は、減算部２０と、絶対値算出部２２と、ブロック差分累算部２４とを有している。

減算部２０は、画像センサ４から出力された長露光画像と、レベル調整部８から出力された補正短露光画像との差分を算出する。具体的には、減算部２０は、長露光画像の画素の画素値から、当該画素と同じ位置にある補正短露光画像の画素の画素値を減算した結果である差分を出力する。減算部２０は、上述した減算処理を、長露光画像及び補正短露光画像の各全画素に対して行う。減算部２０は、算出した差分を絶対値算出部２２に出力する。

絶対値算出部２２は、減算部２０からの差分の絶対値を算出する。この差分の絶対値は、長露光画像及び補正短露光画像の同じ位置にある各画素間における画素値の差分の大きさを示す。絶対値算出部２２は、算出した差分の絶対値を、ブロック差分累算部２４に出力する。

ブロック差分累算部２４は、絶対値算出部２２からの差分の絶対値を、画像ブロック毎に累算する。画像ブロックとは、長露光画像（又は補正短露光画像）の全領域を、例えばｎ×ｎ画素（ｎ≧２）に分割した場合の１単位を言う。第２の露光時間内に生じた被写体の動きが大きいほど、長露光画像における被写体の像がブレることにより、絶対値算出部２２からの差分の絶対値が大きくなる。すなわち、被写体の動きが大きいほど、当該動きを含む画像ブロックの累算値は大きくなる。ブロック差分累算部２４は、画像ブロック毎に算出した累算値を、被写体の動き量として検出する。ブロック差分累算部２４は、画像ブロック毎に検出した動き量を、動きブレンド比率算出部１２に出力する。

動きブレンド比率算出部１２は、画像ブロック毎に検出された動き量に基づいて、長露光画像及び補正短露光画像の同じ位置にある各画素をブレンドする比率である動きブレンド比率を算出する。動きブレンド比率算出部１２は、算出した動きブレンド比率を動き適応画像合成部１４に出力する。

ここで、動きブレンド比率の算出手順について説明する。まず、動きブレンド比率算出部１２は、画像ブロック間の動き量を平滑化する。具体的には、動きブレンド比率算出部１２は、隣接する画像ブロック間の動き量の差分を細分化し、画像ブロックの重心と各画素との距離に応じて動き量の差分を振り分けるように、各画素の動き量を内挿する。次に、動きブレンド比率算出部１２は、補正短露光画像をブレンドする比率が被写体の動き量と正の相関関係を有するように、長露光画像及び補正短露光画像の同じ位置にある各画素について動きブレンド比率を算出する。これは、被写体の大きな動き量が検出された画像ブロックでは、長露光画像における被写体の像がブレている可能性が高いためである。

なお、画素間の動き量の変化は、上記の平滑化処理の結果、画像ブロックの境界を挟んで滑らかになっているため、算出される画素間の動きブレンド比率も画像ブロックの境界を挟んで滑らかに変化する。すなわち、長露光画像及び補正短露光画像の動きブレンド比率は、画像ブロック毎ではなく画素毎に決定されるため、合成後の動き適応画像（後述する）のブロック歪みを生じにくくすることができる。

動き適応画像合成部１４は、動きブレンド比率算出部１２からの動きブレンド比率に基づいて、画像センサ４から出力された長露光画像とレベル調整部８から出力された補正短露光画像とを合成することにより、動き適応画像を生成する。具体的には、動き適応画像合成部１４は、各画素の動きブレンド比率を係数として、長露光画像の画素と補正短露光画像の画素とをアルファブレンドする。この時、長露光画像における被写体の像のブレが大きい領域には、補正短露光画像が高い動きブレンド比率でブレンドされる。これにより、長露光画像における被写体の像のブレを補正することができる。一方、長露光画像における被写体の像のブレが小さい領域には、補正短露光画像が低い動きブレンド比率でブレンドされる。これは、補正短露光画像のＳ／Ｎは長露光画像のＳ／Ｎよりも劣るので、長露光画像における被写体の像のブレが小さい領域においてその画質の無用な劣化を回避するためである。動き適応画像合成部１４は、生成した動き適応画像をＨＤＲ画像合成部１８に出力する。

輝度ブレンド比率算出部１６は、画像センサ４から出力された長露光画像及び短露光画像に基づいて、長露光画像及び短露光画像の同じ位置にある各画素間の輝度ブレンド比率を算出する。輝度ブレンド比率算出部１６は、算出した輝度ブレンド比率をＨＤＲ画像合成部１８に出力する。

ＨＤＲ画像合成部１８は、輝度ブレンド比率算出部１６からの輝度ブレンド比率に基づいて、動き適応画像合成部１４から出力された動き適応画像と画像センサ４から出力された短露光画像とを合成することにより、ＨＤＲ画像を生成する。ＨＤＲ画像合成部１８は、各画素の輝度ブレンド比率を係数として、動き適応画像の画素と短露光画像の画素とをアルファブレンドする。これにより、被写体の動きと、長露光画像及び短露光画像の各画素の輝度との両方に適応的なＨＤＲ画像を生成することができる。

［１−２．画像処理装置の動作］
次に、図３〜図４Ｅを参照しながら、実施の形態１に係る画像処理装置２の動作について説明する。図３は、実施の形態１に係る画像処理装置２の動作の流れを示すフローチャートである。図４Ａは、実施の形態１に係る長露光画像２８の一例を示す模式図である。図４Ｂは、実施の形態１に係る短露光画像３０の一例を示す模式図である。図４Ｃは、実施の形態１に係る補正短露光画像３２の一例を示す模式図である。図４Ｄは、実施の形態１に係る動き量検出部１０により検出された被写体の動き量の分布の一例を示す模式図である。図４Ｅは、実施の形態１に係る画像処理装置２により生成されるＨＤＲ画像３４の一例を示す模式図である。

図３に示すように、まず、センサ制御部６は、被写体の明るさに応じて、画像センサ４の第１の露光時間と第１のセンサゲイン（第１の露光感度）、及び、第２の露光時間と第２のセンサゲイン（第２の露光感度）を決定する（Ｓ１０１）。画像センサ４は、センサ制御部６により決定された第１の露光時間及び第１のセンサゲインで被写体２６を撮像した短露光画像３０を出力し、且つ、第２の露光時間及び第２のセンサゲインで被写体２６を撮像した長露光画像２８を出力する（Ｓ１０２）。

なお、画像センサ４は、例えば図４Ａ及び図４Ｂに示すような被写体２６を撮像する。図４Ａ及び図４Ｂに示す例では、被写体２６の近景側には、道路を横断する人の手で把持された横断旗が存在し、且つ、被写体２６の遠景側には、上記道路に面して建てられた建物が存在している。この時、人の手で把持された横断旗は、軽く振り上げられている。

画像センサ４は、例えば図４Ａに示すような長露光画像２８を出力する。図４Ａに示すように、長露光画像２８は第１の露光時間よりも長い第２の露光時間で撮像されるため、長露光画像２８では、短露光画像３０（図４Ｂ参照）に比べて全体的に明るい。さらに、長露光画像２８では、動きのある被写体２６の像（人の手及び横断旗）がブレて写っているが、動きのない被写体２６の像（建物等）はブレなく写っている。なお、図４Ａでは、ブレがある被写体２６の像の輪郭を破線で表し、ブレがない被写体２６の像の輪郭を実線で表している。

また、画像センサ４は、例えば図４Ｂに示すような短露光画像３０を出力する。図４Ｂに示すように、短露光画像３０は第２の露光時間よりも短い第１の露光時間で撮像されるため、短露光画像３０では、長露光画像２８（図４Ａ参照）に比べて全体的に暗く、被写体２６の像は全体的にほぼブレなく写っている。

図３に戻り、レベル調整部８は、画像センサ４から出力された短露光画像３０の輝度レベルを長露光画像２８の輝度レベルに略一致するように調整することにより、短露光画像３０から補正短露光画像３２を生成する（Ｓ１０３）。

レベル調整部８は、例えば図４Ｃに示すような補正短露光画像３２を生成する。図４Ｃに示すように、補正短露光画像３２の明るさは、長露光画像２８の明るさとほぼ同じであり、輝度レベルを調整する前の短露光画像３０に比べて全体的に明るい。但し、補正短露光画像３２では、輝度レベルを上昇させることにより、全体的にノイズが発生するようになる。なお、図４Ｃでは、補正短露光画像３２のノイズを網点で表している。

図３に戻り、動き量検出部１０は、画像センサ４から出力された長露光画像２８と、レベル調整部８から出力された補正短露光画像３２との差分を算出することにより、長露光画像２８（又は補正短露光画像３２）の画像ブロック毎に被写体２６の動き量を検出する（Ｓ１０４）。

動き量検出部１０は、例えば図４Ｄに示すように、画像ブロック毎に被写体２６の動き量を検出する。図４Ｄの（ａ）において、各桝目は画像ブロックを表している。図４Ｄの（ａ）に示す例では、動き量が大きい画像ブロック、すなわち、長露光画像２８の画素値と補正短露光画像３２の画素値との差が大きい画像ブロックほど明るい。なお、図４Ｄでは、動き量を網掛けの濃度で表しており、動き量が大きいほど網掛けの濃度が薄い。

図３に戻り、動きブレンド比率算出部１２は、画像ブロックの動き量を平滑化することにより、動きブレンド比率を算出する（Ｓ１０５）。これにより、図４Ｄの（ｂ）に示すように、平滑化処理前の図４Ｄの（ａ）に比べて、動き量が画像ブロック間の境界を跨いでより滑らかに変化するようになる。

次に、動き適応画像合成部１４は、動きブレンド比率算出部１２からの動きブレンド比率に基づいて、画像センサ４から出力された長露光画像２８とレベル調整部８から出力された補正短露光画像３２とを合成することにより、動き適応画像を生成する（Ｓ１０６）。これにより、長露光画像２８においてブレの小さい被写体２６の像を構成する画素には補正短露光画像３２の画素が低い比率でブレンドされ、且つ、長露光画像２８においてブレの大きい被写体２６の像を構成する画素には補正短露光画像３２の画素が高い比率でブレンドされる。なお、長露光画像２８において被写体２６の像のブレが全く無い領域では、補正短露光画像３２の画素をブレンドすることなく、Ｓ／Ｎの高い長露光画像２８の画素がそのまま用いられてもよい。

輝度ブレンド比率算出部１６は、画像センサ４から出力された長露光画像２８及び短露光画像３０に基づいて、輝度ブレンド比率を算出する（Ｓ１０７）。ＨＤＲ画像合成部１８は、輝度ブレンド比率算出部１６からの輝度ブレンド比率に基づいて、画像センサ４から出力された短露光画像３０と動き適応画像合成部１４から出力された動き適応画像とを合成することにより、ＨＤＲ画像３４を生成する。ＨＤＲ画像合成部１８は、例えば図４Ｅに示すようなＨＤＲ画像３４を生成する。図４Ｅに示すように、ＨＤＲ画像３４では、長露光画像２８におけるブレの大きい被写体２６の像（人の手及び横断旗）が、補正短露光画像３２における被写体２６の像（人の手及び横断旗）で置き換えられている。この時、ＨＤＲ画像３４における人の手及び横断幕の像には、補正短露光画像３２に起因するノイズが僅かに発生している。なお、図４Ｅでは、ＨＤＲ画像３４のノイズを網点で表している。

［１−３．効果］
ここで、図５及び図６を参照しながら、比較例に係る画像処理装置について説明する。図５は、比較例に係る画像処理装置のセンサ制御部の処理を説明するための図である。図６は、比較例に係る画像処理装置により生成されるＨＤＲ画像３６の一例を示す模式図である。

図５に示すように、比較例に係る画像処理装置では、センサ制御部による第１の露光感度の制御が本実施の形態と異なっている。具体的には、図５の（ａ）及び（ｂ）に示すように、センサ制御部は、第１のセンサゲインが第２のセンサゲインと等しくなるように、第１の露光感度及び第２の露光感度を制御する。なお、図５の（ａ）に示す第２の露光時間及び第２のセンサゲインの各グラフは、図２の（ａ）に示す第２の露光時間及び第２のセンサゲインの各グラフとそれぞれ同一である。

図５の（ｂ）に示す例では、露光感度がＸ１’（＝Ｘ２）未満である場合には、第１の露光時間は漸増し、且つ、第１のセンサゲインはＧ１で一定であり、露光感度がＸ１’以上である場合には、第１の露光時間はＴ１’（＜Ｔ２）で一定であり、且つ、第１のセンサゲインは漸増する。また、露光感度がＸ３（＞Ｘ１’）である場合に、第１のセンサゲインＧ１’’は、第２のセンサゲインＧ２’と等しい。この時、第１の露光時間Ｔ１’は、図２の（ｂ）の第１の露光時間Ｔ１よりも短く、且つ、第１のセンサゲインＧ１’’は、図２の（ｂ）の第１のセンサゲインＧ１’よりも大きい。

比較例に係る画像処理装置では、第１の露光時間Ｔ１’が比較的短く、且つ、第１のセンサゲインＧ１’’が比較的大きくなる分、補正短露光画像において全体的にノイズが多く発生するようになり、補正短露光画像のＳ／Ｎが悪化する。そのため、図６に示すように、比較例に係る画像処理装置により生成されるＨＤＲ画像３６では、人の手及び横断幕の像には、補正短露光画像に起因するノイズが多く発生するようになる。なお、図６では、ＨＤＲ画像３６のノイズを網点で表している。

これに対して、実施の形態１に係る画像処理装置２では、センサ制御部６は、第１のセンサゲインが第２のセンサゲイン以下となるように、第１の露光感度及び第２の露光感度を制御する。そのため、実施の形態１に係る画像処理装置２では、比較例に係る画像処理装置に比べて、第１の露光時間Ｔ１が長く、且つ、第１のセンサゲインＧ１’が小さくなる分、補正短露光画像３２において全体的にノイズが少なくなり、補正短露光画像３２のＳ／Ｎが改善される。これにより、図４Ｅに示すように、実施の形態１に係る画像処理装置２により生成されるＨＤＲ画像３４では、人の手及び横断幕の像には、補正短露光画像３２に起因するノイズが僅かに発生する程度にとどまるようになる。

したがって、実施の形態１に係る画像処理装置２では、ＨＤＲ画像３４のＳ／Ｎを改善することができ、高画質なＨＤＲ画像３４を生成することができる。

（実施の形態２）
［２−１．画像処理装置の構成］
図７及び図８を参照しながら、実施の形態２に係る画像処理装置２Ａの構成について説明する。図７は、実施の形態２に係る画像処理装置２Ａの構成を示すブロック図である。図８は、実施の形態２に係る画像処理装置２Ａの動きブレンド比率算出部１２Ａの処理を説明するための図である。なお、以下に示す各実施の形態において、上記実施の形態１と同一の構成要素には同一の符号を付して、その説明を省略する。

図７に示すように、実施の形態２に係る画像処理装置２Ａでは、センサ制御部６Ａ及び動きブレンド比率算出部１２Ａの各処理が上記実施の形態１と異なっている。

センサ制御部６Ａは、被写体の明るさに応じて、画像センサ４の第１の露光時間、第１のセンサゲイン、第２の露光時間及び第２のセンサゲインを決定した際に、決定した第１のセンサゲインを示す情報を動きブレンド比率算出部１２Ａに出力する。

動きブレンド比率算出部１２Ａは、センサ制御部６Ａからの第１のセンサゲインを示す情報に基づいて、動きブレンド比率を補正する。具体的には、動きブレンド比率算出部１２Ａは、図８に示すように、第１のセンサゲインが大きくなるに従って動き適応画像における補正短露光画像の割合（すなわち、補正短露光画像の動きブレンド比率）が小さくなるように、動きブレンド比率を補正する。

［２−２．画像処理装置の動作］
次に、図９〜図１０Ｃを参照しながら、実施の形態２に係る画像処理装置２Ａの動作について説明する。図９は、実施の形態２に係る画像処理装置２Ａの動作の流れを示すフローチャートである。図１０Ａは、実施の形態２に係る長露光画像２８Ａの一例を示す模式図である。図１０Ｂは、実施の形態２に係る短露光画像３０Ａの一例を示す模式図である。図１０Ｃは、実施の形態２に係る画像処理装置２Ａにより生成されるＨＤＲ画像３４Ａの一例を示す模式図である。なお、図９のフローチャートにおいて、図３のフローチャートの処理と同一の処理には同一のステップ番号を付して、その説明を省略する。

以下、被写体２６が暗い状況下で、画像センサ４により被写体２６を撮像する場合について説明する。

図９に示すように、上記実施の形態１と同様に、まず、ステップＳ１０１〜Ｓ１０５が実行される。なお、ステップＳ１０１において、センサ制御部６Ａは、第１の露光時間、第１のセンサゲイン、第２の露光時間及び第２のセンサゲインを決定した際に、決定した第１のセンサゲインを示す情報を動きブレンド比率算出部１２Ａに出力する。

ステップＳ１０２において、画像センサ４は、例えば、図１０Ａに示すような長露光画像２８Ａを出力するとともに、図１０Ｂに示すような短露光画像３０Ａを出力する。本実施の形態では、被写体２６が暗いため、センサ制御部６Ａにより第１のセンサゲインが上記実施の形態１よりも大きく決定されている。そのため、図１０Ｂに示すように、短露光画像３０Ａにはノイズが発生するようになる。なお、図１０Ｂでは、短露光画像３０Ａのノイズを網点で表している。

ステップＳ１０５の後、動きブレンド比率算出部１２Ａは、センサ制御部６Ａからの第１のセンサゲインを示す情報に基づいて、第１のセンサゲインが大きくなるに従って動き適応画像における補正短露光画像の割合が小さくなるように、算出した動きブレンド比率を補正する（Ｓ２０１）。本実施の形態では、センサ制御部６Ａにより第１のセンサゲインが大きく決定されているので、動きブレンド比率算出部１２Ａは、動き適応画像における補正短露光画像の割合が比較的小さくなるように、動きブレンド比率を補正する。

その後、上記実施の形態１と同様に、ステップＳ１０６〜Ｓ１０８が実行される。ステップＳ１０６において、動き適応画像合成部１４は、動きブレンド比率算出部１２Ａからの補正された動きブレンド比率に基づいて、画像センサ４から出力された長露光画像２８Ａとレベル調整部８から出力された補正短露光画像とを合成することにより、動き適応画像を生成する。この時、補正短露光画像には、輝度レベルを上昇させることによりノイズが多く発生するようになるが、長露光画像２８Ａの画素に補正短露光画像の画素が低い比率でブレンドされて動き適応画像が生成されるので、動き適応画像のノイズが少なくなる。

ステップＳ１０８において、ＨＤＲ画像合成部１８は、例えば図１０Ｃに示すようなＨＤＲ画像３４Ａを生成する。図１０Ｃに示すように、ＨＤＲ画像３４Ａでは、長露光画像２８Ａのブレの大きい像（人の手及び横断旗）が、補正短露光画像の像（人の手及び横断旗）で置き換えられているが、補正短露光画像の動きブレンド比率が低いため、ＨＤＲ画像３４Ａの人の手及び横断幕の像におけるノイズが少なくなっている。なお、図１０Ｃでは、ＨＤＲ画像３４Ａのノイズを網点で表している。

［２−３．効果］
例えば被写体２６が暗い場合に、第１のセンサゲインを大きくすることにより、補正短露光画像にはノイズが多く発生するようになる。この時、動きブレンド比率を補正しない場合には、動き量検出部１０は、補正短露光画像のノイズを被写体２６の動きと誤検出してしまい、補正短露光画像の動きブレンド比率が大きくなってＨＤＲ画像３４Ａにおけるノイズが多くなるおそれが生じる。

本実施の形態では、動きブレンド比率算出部１２Ａは、第１のセンサゲインが大きくなるに従って補正短露光画像の動きブレンド比率が小さくなるように動きブレンド比率を補正するので、第１のセンサゲインを大きくした場合であっても、ＨＤＲ画像３４Ａにおけるノイズを少なくすることができる。その結果、ＨＤＲ画像３４のＳ／Ｎを高めることができる。

なお、本実施の形態では、動きブレンド比率算出部１２Ａは、第１のセンサゲインが大きくなるに従って補正短露光画像の動きブレンド比率が小さくなるように動きブレンド比率を補正したが、このような構成に代えて、第２のセンサゲインが大きくなるに従って補正短露光画像の動きブレンド比率が小さくなるように動きブレンド比率を補正してもよい。

（実施の形態３）
［３−１．画像処理装置の構成］
図１１及び図１２を参照しながら、実施の形態３に係る画像処理装置２Ｂの構成について説明する。図１１は、実施の形態３に係る画像処理装置２Ｂの構成を示すブロック図である。図１２は、実施の形態３に係る画像処理装置２Ｂの動きブレンド比率算出部１２Ｂの処理を説明するための図である。

図１１に示すように、実施の形態３に係る画像処理装置２Ｂでは、フリッカ検出部３８を備える点で上記実施の形態１と異なっている。フリッカ検出部３８は、短露光画像のフリッカ値を検出するためのものである。フリッカ値とは、被写体を照らす蛍光灯等の光源の輝度が周期的に（例えば商用周波数の２倍である１００Ｈｚ又は１２０Ｈｚで）変化することによる、被写体の輝度変化（以下、「フリッカ」という）の大きさを示す値である。フリッカ検出部３８は、例えば短露光画像の輝度変化をＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）処理により検出することにより、短露光画像のフリッカ値を検出する。フリッカ検出部３８は、検出したフリッカ値を動きブレンド比率算出部１２Ｂに出力する。

さらに、実施の形態３に係る画像処理装置２Ｂでは、動きブレンド比率算出部１２Ｂの処理が上記実施の形態１と異なっている。動きブレンド比率算出部１２Ｂは、フリッカ検出部３８からのフリッカ値に基づいて、動きブレンド比率を補正する。具体的には、動きブレンド比率算出部１２Ｂは、図１２に示すように、フリッカ値が大きくなるに従って動き適応画像における補正短露光画像の割合が小さくなるように、動きブレンド比率を補正する。

［３−２．画像処理装置の動作］
次に、図１３Ａ〜図１４を参照しながら、実施の形態３に係る画像処理装置２Ｂの動作について説明する。図１３Ａは、実施の形態３に係る長露光画像２８Ｂの一例を示す模式図である。図１３Ｂは、実施の形態３に係る短露光画像３０Ｂの一例を示す模式図である。図１３Ｃは、実施の形態３に係る画像処理装置２Ｂにより生成されるＨＤＲ画像３４Ｂの一例を示す模式図である。図１４は、比較例に係る画像処理装置により生成されるＨＤＲ画像４０の一例を示す模式図である。なお、説明の都合上、図１３Ａ〜図１４では、被写体の図示を省略してある。

本実施の形態では、画像センサ４は、例えば、図１３Ａに示すような長露光画像２８Ｂを出力するとともに、図１３Ｂに示すような短露光画像３０Ｂを出力する。第１の露光時間は第２の露光時間よりも短いため、図１３Ｂに示すように、短露光画像３０Ｂにはフリッカが発生している。なお、図１３Ｂでは、短露光画像３０Ｂのフリッカを濃淡で表している。

動きブレンド比率算出部１２Ｂは、フリッカ検出部３８からのフリッカ値に基づいて、フリッカ値が大きくなるに従って動き適応画像における補正短露光画像の割合が小さくなるように、動きブレンド比率を補正する。本実施の形態では、図１３Ｂに示すように、短露光画像３０Ｂにはフリッカが発生しているので、動きブレンド比率算出部１２Ｂは、動き適応画像における補正短露光画像の割合が比較的小さくなるように、動きブレンド比率を補正する。

そのため、補正短露光画像には短露光画像３０Ｂに起因するフリッカが発生するようになるが、長露光画像２８Ｂの画素に補正短露光画像の画素が低い比率でブレンドされて動き適応画像が生成されるので、動き適応画像のフリッカが少なくなる。その結果、ＨＤＲ画像合成部１８は、例えば図１３Ｃに示すようなＨＤＲ画像３４Ｂを生成する。図１３Ｃに示すように、ＨＤＲ画像３４Ｂでは、補正短露光画像の動きブレンド比率が低いため、ＨＤＲ画像３４Ｂにはフリッカがほとんど発生しない。

なお、上述したように動きブレンド比率を補正しない場合には、ＨＤＲ画像にフリッカが発生するおそれが生じる。フリッカ値が大きいにもかかわらず、動き適応画像における補正短露光画像の割合が大きくなるように動きブレンド比率を算出した場合には、例えば図１４に示すようなＨＤＲ画像４０が生成される。図１４に示すように、ＨＤＲ画像４０では、補正短露光画像の動きブレンド比率が高いため、ＨＤＲ画像４０には補正短露光画像に起因するフリッカが発生するようになる。

［３−３．効果］
短露光画像３０Ｂにフリッカが発生した際に、動きブレンド比率を補正しない場合には、動き量検出部１０は、補正短露光画像のフリッカを被写体の動きと誤検出してしまい、補正短露光画像の動きブレンド比率が大きくなってＨＤＲ画像３４Ｂにフリッカが発生するおそれが生じる。

本実施の形態では、動きブレンド比率算出部１２Ｂは、フリッカ値が大きくなるに従って動き適応画像における補正短露光画像の割合が小さくなるように、動きブレンド比率を補正する。これにより、短露光画像３０Ｂにフリッカが発生した場合であっても、ＨＤＲ画像３４Ｂにフリッカが発生するのを抑制することができ、ＨＤＲ画像３４ＢのＳ／Ｎを高めることができる。

（実施の形態４）
［４−１．画像処理装置の構成］
図１５及び図１６を参照しながら、実施の形態４に係る画像処理装置２Ｃの構成について説明する。図１５は、実施の形態４に係る画像処理装置２Ｃの構成を示すブロック図である。図１６は、実施の形態４に係る画像処理装置２Ｃの動きブレンド比率算出部１２Ｃの処理を説明するための図である。

図１５に示すように、実施の形態４に係る画像処理装置２Ｃでは、センサ制御部６Ｃ及び動きブレンド比率算出部１２Ｃの各処理が上記実施の形態１と異なっている。

センサ制御部６Ｃは、被写体の明るさに応じて、画像センサ４の第１の露光時間、第１のセンサゲイン、第２の露光時間及び第２のセンサゲインを決定した際に、決定した第２の露光時間を示す情報を動きブレンド比率算出部１２Ｃに出力する。

動きブレンド比率算出部１２Ｃは、センサ制御部６Ｃからの第２の露光時間を示す情報に基づいて、動きブレンド比率を補正する。具体的には、動きブレンド比率算出部１２Ｃは、図１６に示すように、第２の露光時間が短くなるに従って動き適応画像における補正短露光画像の割合が小さくなるように、動きブレンド比率を補正する。

［４−２．画像処理装置の動作］
次に、図１７Ａ〜図１７Ｃを参照しながら、実施の形態４に係る画像処理装置２Ｃの動作について説明する。図１７Ａは、実施の形態４に係る長露光画像２８Ｃの一例を示す模式図である。図１７Ｂは、実施の形態４に係る短露光画像３０Ｃの一例を示す模式図である。図１７Ｃは、実施の形態４に係る画像処理装置２Ｃにより生成されるＨＤＲ画像３４Ｃの一例を示す模式図である。

以下、被写体２６が明るい状態で、画像センサ４により被写体２６を撮像する場合について説明する。

本実施の形態では、画像センサ４は、例えば、図１７Ａに示すような長露光画像２８Ｃを出力するとともに、図１７Ｂに示すような短露光画像３０Ｂを出力する。被写体２６が明るいため、センサ制御部６Ｃにより第１の露光時間及び第２の露光時間はともに、上記実施の形態１よりも短く決定されている。そのため、図１７Ａに示すように、長露光画像２８Ｃには被写体２６の像のブレがほとんど発生していない。

動きブレンド比率算出部１２Ｃは、センサ制御部６Ｃからの第２の露光時間を示す情報に基づいて、第２の露光時間が短くなるに従って動き適応画像における補正短露光画像の割合が小さくなるように、動きブレンド比率を補正する。本実施の形態では、センサ制御部６Ｃにより第２の露光時間が短く決定されているので、動きブレンド比率算出部１２Ｃは、動き適応画像における補正短露光画像の割合が比較的小さくなるように、動きブレンド比率を補正する。

動き適応画像合成部１４は、動きブレンド比率算出部１２Ｃからの補正された動きブレンド比率に基づいて、画像センサ４から出力された長露光画像２８Ｃとレベル調整部８から出力された補正短露光画像とを合成することにより、動き適応画像を生成する。この時、長露光画像２８Ｃの画素に補正短露光画像の画素が低い比率でブレンドされて動き適応画像が生成されるので、長露光画像２８Ｃに被写体２６の像のブレがほとんど発生していないにもかかわらず、長露光画像２８Ｃが補正短露光画像で無駄に置き換えられるのを抑制することができる。その結果、動き適応画像において、補正短露光画像に起因するノイズを少なくすることができる。

ＨＤＲ画像合成部１８は、例えば図１７Ｃに示すようなＨＤＲ画像３４Ｃを生成する。図１７Ｃに示すように、ＨＤＲ画像３４Ｃでは、長露光画像２８Ｃのブレのある像（人の手及び横断旗）が、補正短露光画像の像（人の手及び横断旗）で置き換えられているが、補正短露光画像の動きブレンド比率が低いため、ＨＤＲ画像３４Ｃの人の手及び横断幕の像におけるノイズが少なくなっている。なお、図１７Ｃでは、ＨＤＲ画像３４Ｃのノイズを網点で表している。

［４−３．効果］
例えば被写体２６が明るい場合には、第１の露光時間及び第２の露光時間をともに短くする。この時、動きブレンド比率を補正しない場合には、長露光画像２８Ｃに被写体２６の像のブレがほとんど発生していないにもかかわらず、長露光画像２８Ｃが補正短露光画像で無駄に置き換えられてしまい、動き適応画像には補正短露光画像に起因するノイズが多く発生するようになる。

本実施の形態では、動きブレンド比率算出部１２Ｃは、第２の露光時間が短くなるに従って動き適応画像における補正短露光画像の割合が小さくなるように、動きブレンド比率を補正する。これにより、第２の露光時間を短くした場合であっても、ＨＤＲ画像３４ＣのＳ／Ｎを高めることができる。

（他の変形例）
以上、一つ又は複数の態様に係る画像処理装置について、上記各実施の形態に基づいて説明したが、本開示は、上記各実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思い付く各種変形を上記各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。

なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記実施の形態に係る画像処理装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしても良い。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしても良い。

本開示は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えばフレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリ等に記録したものとしても良い。また、これらの記録媒体に記録されている前記デジタル信号であるとしても良い。また、本開示は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしても良い。また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。

本開示は、例えば露光時間の異なる複数の画像を合成することにより、ＨＤＲ画像を生成するための画像処理装置等に適用可能である。

２，２Ａ，２Ｂ，２Ｃ 画像処理装置
４ 画像センサ
６，６Ａ，６Ｃ センサ制御部
８ レベル調整部
１０ 動き量検出部
１２，１２Ａ，１２Ｂ，１２Ｃ 動きブレンド比率算出部
１４ 動き適応画像合成部
１６ 輝度ブレンド比率算出部
１８ ＨＤＲ画像合成部
２０ 減算部
２２ 絶対値算出部
２４ ブロック差分累算部
２６ 被写体
２８，２８Ａ，２８Ｂ，２８Ｃ 長露光画像
３０，３０Ａ，３０Ｂ，３０Ｃ 短露光画像
３２ 補正短露光画像
３４，３４Ａ，３４Ｂ，３４Ｃ，３６，４０ ＨＤＲ画像
３６ ＨＤＲ画像
３８ フリッカ検出部

Claims (6)

1. 被写体を撮像したＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を生成するための画像処理装置であって、
   １フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力する画像センサと、
   前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の明るさとなるように制御するセンサ制御部と、
   前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するレベル調整部と、
   前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出する動き量検出部と、
   前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出する動きブレンド比率算出部と、
   前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成する動き適応画像合成部と、
   前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するＨＤＲ画像合成部と、を備え、
   前記センサ制御部は、前記被写体の明るさが暗く変化した際に、前記第１のセンサゲインが前記第２のセンサゲイン以下となるように、前記第１の露光感度及び前記第２の露光感度を制御する
   画像処理装置。
2. 前記動きブレンド比率算出部は、前記第１のセンサゲインが大きくなるに従って前記動き適応画像における前記補正画像の割合が小さくなるように、前記動きブレンド比率を補正する
   請求項１に記載の画像処理装置。
3. 前記画像処理装置は、さらに、前記第１の画像のフリッカ値を検出するフリッカ検出部を備え、
   前記動きブレンド比率算出部は、前記フリッカ値が大きくなるに従って前記動き適応画像における前記補正画像の割合が小さくなるように、前記動きブレンド比率を補正する
   請求項１に記載の画像処理装置。
4. 前記動きブレンド比率算出部は、前記第２の露光時間が短くなるに従って前記動き適応画像における前記補正画像の割合が小さくなるように、前記動きブレンド比率を補正する
   請求項１に記載の画像処理装置。
5. 被写体を撮像したＨＤＲ画像を生成するための画像処理方法であって、
   （ａ）１フレーム時間内で、第１の露光時間及び第１のセンサゲインで前記被写体を撮像した第１の画像を出力し、且つ、前記第１の露光時間よりも長い第２の露光時間及び第２のセンサゲインで前記被写体を撮像した第２の画像を出力するステップと、
   （ｂ）前記被写体の明るさが変化した際に、前記第１の露光時間と前記第１のセンサゲインとの積である第１の露光感度を、前記第１の画像が第１の明るさとなるように制御し、且つ、前記第２の露光時間と前記第２のセンサゲインとの積である第２の露光感度を、前記第２の画像が第２の明るさとなるように制御するステップと、
   （ｃ）前記第１の画像の輝度レベルを前記第２の画像の輝度レベルに略一致するように調整することにより、前記第１の画像から補正画像を生成するステップと、
   （ｄ）前記補正画像及び前記第２の画像の同じ位置にある各画素間における画素値の差分に基づいて、前記被写体の動き量を検出するステップと、
   （ｅ）前記動き量に基づいて、前記補正画像及び前記第２の画像をブレンドする比率である動きブレンド比率を算出するステップと、
   （ｆ）前記動きブレンド比率に基づいて前記補正画像と前記第２の画像とを合成することにより、動き適応画像を生成するステップと、
   （ｇ）前記動き適応画像と前記第１の画像とを合成することにより、前記ＨＤＲ画像を生成するステップと、を含み、
   前記（ｂ）において、前記被写体の明るさが暗く変化した際に、前記第１のセンサゲインが前記第２のセンサゲイン以下となるように、前記第１の露光感度及び前記第２の露光感度を制御する
   画像処理方法。
6. 請求項５に記載の画像処理方法をコンピュータに実行させる
   プログラム。