JP2015204489A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】短露光画像および長露光画像から合成に使用される画像が選択されるに際して、微小な振動によって選択される画像が頻繁に変動してしまう現象を抑制することが可能な技術を提供する。【解決手段】長露光画像および短露光画像の何れを使用するかを領域毎に選択して使用画像選択情報を生成する使用画像選択部３０と、過去の使用画像選択情報と現時刻の使用画像選択情報とを平均化して平均化された使用画像選択情報を得る平均化処理部５０と、平均化された使用画像選択情報に基づいて長露光画像と短露光画像とを合成することによって合成画像を生成するＷＤＲ合成部７０と、を備える、画像処理装置１Ａが提供される。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

短露光画像と長露光画像のどちらを合成に使用するかは、画素値情報や動き検出情報などを参照して画素毎に決定されるのが一般的である。さらに、短露光画像と長露光画像との合成は、連続した画像群に対しては、短露光画像と長露光画像とをペアとして独立に実行されるのが一般的である。

ここで、カメラが微小に振動しているシーンを想定する。具体的には屋外に設置された固定カメラが自動車の通過に伴って（あるいは風によって）微小に振動する場合や、ハンディカメラが僅かな手ぶれによって振動するような場合を想定する。このようなシーンにおいて、ＷＤＲ合成画像中のある特定領域に注目した時に、短露光画像と長露光画像との選択が時間方向に変動して、短露光画像と長露光画像の画質差がフリッカのように見えることがある。

短露光画像と長露光画像の画質差について説明する。一般的にＷＤＲ画像合成を行う際には、短露光画像を露光比で正規化して長露光画像と同じ明るさにしてから合成を行う。長露光画像が飽和している領域では、短露光画像と長露光画像とを同じ明るさにすることはできないが、長露光画像が飽和していなければ、長露光画像と正規化された短露光画像との間で明るさを揃えることが可能である。しかし、両者の画質を厳密に同じにすることは容易ではない。

例えば、露光比による正規化は、意図した露光比と実際に撮影された画素値の比が等しくない場合がある。シャッタータイムの設定精度不足やセンサの露光特性の影響があるからである。小数点精度の正規化を行う場合には演算精度が不足することもある。また、仮に明るさが揃ったとしても、短露光画像は一般にノイジーであり、同じ被写体を映した短露光画像と長露光画像とが頻繁に変動するとノイズ量の差がフリッカとして検知されることがある。このような外部振動によるＷＤＲ合成画像への影響を低減することを目的とした手法として、以下の特許文献１〜４に開示されているような技術がある。

特許文献１に記載された技術は、画面全体の位置ずれを座標変換によって吸収してから合成する技術であり、短露光画像の位置と長露光画像の位置とが手ぶれのような振動によってずれていても、その影響を排除して合成することが可能である。

特許文献２に記載された技術は、短露光画像と長露光画像のどちらを使用するかを決定する際に、長露光画像を参照してその画素値が閾値以上であれば短露光画像を使用するアルゴリズムをベースとしている。また、長露光画像が飽和していて短露光画像を使用する領域と、長露光画像が適正露出で長露光画像を使用する領域とが隣接するハイコントラスト領域において、画像選択は滑らかに遷移されて自然な合成画像が生成される。しかし、飽和した長露光画像の画素値が混合してしまうために、前記ハイコントラスト領域の飽和側の色が薄くなる現象が生じる。そこで、該技術は、長露光画像の明るい画素値領域を振動振幅分だけ拡大した画像を作成して、この画像を参照して選択信号を決定することで短露光画像を使用する領域を拡大している。

特許文献３に記載された技術は、振動による位置ずれを最小限に抑えるために、短いシャッタータイムでブラケット撮影を行うように制御する技術である。

特許文献４に記載された技術は、動き領域では短露光画像を使って合成アーティファクトやぶれ画像の抑圧を行う技術である。該技術においては、被写体の動きによって長露光画像がぶれて撮影されている場合には、ブレ成分が少ない短露光画像を使用する。

特開２００３−１４３４８４号公報 特開２０１２−１６５２１３号公報 特開２０１１−１３５１５２号公報 特開２０１３−０６６１４２号公報

しかしながら、特許文献１に記載された技術を用いた場合には、１枚のＷＤＲ合成画像を観察する分には効果があっても、ＷＤＲ合成画像を連続的に観察した時には振動の影響を排除することができない。仮に長露光画像を基準にして短露光画像の位置を移動して合わせるとした場合に、基準となる長露光画像が振動の影響を受けていれば合成画像群にも振動の影響が残るからである。振動によって短露光画像と長露光画像の選択が時間方向に変動して、画像の一部がフリッカのように見える現象には効果がない。

また、特許文献２に記載された技術では、飽和長露光画像を合成に使用しないことになるので、飽和した長露光画像の画素値を合成に使用することに起因する不自然な色の発生は解消できると予想される。しかし、該技術は、短露光画像と長露光画像との遷移領域の位置を空間的に移動しているだけであって、時間的に連続したＷＤＲ合成画像中の特定領域に注目した時に、振動によって短露光画像と長露光画像とが頻繁に変動する現象には対策できない。

また、特許文献３に記載された技術では、速い振動に対しては振動の影響を完全に排除することはできない。また、仮に振動の影響を排除できたとしても、短いシャッタータイムによってノイズが増加してしまう。

また、特許文献４に記載された技術は、振動が存在する時に連続するＷＤＲ合成結果に含まれるフリッカに関して言及していないが、画面全体の振動が動きとして検出されれば画面全体で短露光画像が選択されて画面全体がノイジーになる。また、振動が動きとして検出されなければ、画素値に応じて短露光画像および長露光画像から合成に使用される画像の選択が実行されるが、合成に使用される画像が時間的に変動することによってフリッカが見える可能性がある。

そこで、本発明は、短露光画像および長露光画像から合成に使用される画像が選択されるに際して、微小な振動によって選択される画像が頻繁に変動してしまう現象を抑制することが可能な技術を提供する。

本発明のある実施形態によれば、長露光画像および短露光画像の何れを使用するかを領域毎に選択して使用画像選択情報を生成する使用画像選択部と、過去の使用画像選択情報と現時刻の使用画像選択情報とを平均化して平均化された使用画像選択情報を得る平均化処理部と、前記平均化された使用画像選択情報に基づいて前記長露光画像と前記短露光画像とを合成することによって合成画像を生成する合成部と、を備える、画像処理装置が提供される。

かかる構成によれば、短露光画像および長露光画像から合成に使用される画像が選択されるに際して、使用画像選択部によって生成された使用画像選択情報自体ではなく、平均化処理部によって平均化された使用画像選択情報が参照される。したがって、微小な振動によって選択される画像が頻繁に変動してしまう現象を抑制することが可能となる。

前記画像処理装置は、動きを検出して動き検出情報を得る動き検出部と、前記動き検出情報に基づいて前記平均化された使用画像選択情報を更新する更新部と、を備え、前記合成部は、前記更新された使用画像選択情報に基づいて前記長露光画像と前記短露光画像とを合成することによって合成画像を生成してよい。かかる構成によれば、動き検出部によって検出された動き（例えば、大きな振動や動き物体など）が合成処理に反映されるため、合成によって生じるアーティファクトが低減される。

前記画像処理装置は、前記長露光画像および前記短露光画像を縮小して縮小された長露光画像および縮小された短露光画像を得る縮小処理部を備え、前記使用画像選択部は、前記縮小された長露光画像および前記縮小された短露光画像に基づいて前記使用画像選択情報を生成してもよい。

かかる構成によれば、縮小された短露光画像および縮小された長露光画像に基づいて使用画像選択情報が生成され、生成された使用画像選択情報が平均化処理部に転送される。また、平均化処理部においては平均化された使用画像選択情報が過去の使用画像選択情報としてメモリに書き込まれる。したがって、メモリ領域の増加やデータ転送量の増加を抑制することが可能となる。

前記動き検出部は、前記縮小された長露光画像および前記縮小された短露光画像に基づいて前記動きを検出してもよい。かかる構成によれば、縮小の過程でノイズが減少して品質の良い画像を使って動き検出ができる。また、縮小画像を参照して動き検出を行うことは、一定領域を参照して動き検出を行うことと等価なので空間的にロバストな検出結果が得られる。

前記更新部は、動き領域では短露光画像を使用するように前記平均化された使用画像選択情報を更新してよい。かかる構成によれば、合成画像の輪郭が二重になるなどといったアーティファクトが低減され得る。

また、本発明の別の実施形態によれば、長露光画像および短露光画像の何れを使用するかを領域毎に選択して使用画像選択情報を生成するステップと、過去の使用画像選択情報と現時刻の使用画像選択情報とを平均化して平均化された使用画像選択情報を得るステップと、前記平均化された使用画像選択情報に基づいて前記長露光画像と前記短露光画像とを合成することによって合成画像を生成するステップと、を含む、画像処理方法が提供される。

かかる方法によれば、短露光画像および長露光画像から合成に使用される画像が選択されるに際して、使用画像選択部によって生成された使用画像選択情報自体ではなく、平均化処理部によって平均化された使用画像選択情報が参照される。したがって、微小な振動によって選択される画像が頻繁に変動してしまう現象を抑制することが可能となる。

以上説明したように、本発明によれば、短露光画像および長露光画像から合成に使用される画像が選択されるに際して、微小な振動によって選択される画像が頻繁に変動してしまう現象を抑制することが可能である。

本発明の第１の実施形態に係る画像処理装置の機能構成例を示す図である。 長露光画像および短露光画像のペアが連続的に撮影される様子を表した図である。 平均化処理部の詳細な機能構成例を示すブロック図である。 本発明の第１の実施形態が奏する効果の例を説明するための図である。 同実施形態が奏する効果の例を説明するための図である。 同実施形態が奏する効果の例を説明するための図である。 同実施形態が奏する効果の例を説明するための図である。 同実施形態が奏する効果の例を説明するための図である。 本発明の第２の実施形態に係る画像処理装置の機能構成例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。まず、本発明の第１の実施形態に係る画像処理装置１Ａの機能構成について説明する。図１は、本発明の第１の実施形態に係る画像処理装置１Ａの機能構成を示す図である。図１に示すように、画像処理装置１Ａは、センサ１０、フレームメモリ２０Ａ、使用画像選択部３０、動き検出部４０、平均化処理部５０、更新部６０、ＷＤＲ合成部７０および階調圧縮部８０を備える。以下、画像処理装置１Ａが備える各機能ブロックの機能について順次詳細に説明する。

画像処理装置１Ａは、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０Ａに書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０Ａへの書き込みは、連続的に行われる。

図２は、長露光画像および短露光画像のペアが連続的に撮影される様子を表した図である。図２を参照すると、短露光画像（ｔ−１）、長露光画像（ｔ−１）、短露光画像（ｔ）、長露光画像（ｔ）、短露光画像（ｔ＋１）および長露光画像（ｔ＋１）が時系列に沿って撮影される様子が示されている。なお、図２を参照すると、各画像の撮影時刻は、括弧書きによって示されているが、本明細書および本図面においては、同様に各画像の撮影時刻を括弧書きによって示すことがある。

ここで、本明細書においては、少なくとも、現時刻の長露光画像および現時刻の短露光画像がフレームメモリ２０Ａに残っていればよい。したがって、長露光画像および短露光画像が撮影される間隔は特に限定されない。また、長露光画像および短露光画像は、毎フレームがフレームメモリ２０Ａに書き込まれてもよいし、複数フレームに一度フレームメモリ２０Ａに書き込まれてもよい。

例えば、図１に示した例のように、長露光画像および短露光画像のペアを書き込む領域が存在する場合には、画像処理装置１Ａは、長露光画像および短露光画像のペアをその領域に対して連続して書き込めばよい。例えば、フレームメモリ２０Ａに書き込まれた短露光画像（ｔ−１）および長露光画像（ｔ−１）は、短露光画像（ｔ）および長露光画像（ｔ）によって上書きされてよい。

なお、図１に示した例では、画像処理装置１Ａは、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置１Ａは、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

使用画像選択部３０は、フレームメモリ２０Ａから読み出した短露光画像と長露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択情報を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出し、動きに基づいて輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

なお、上記したように使用画像選択情報は短露光画像および長露光画像のいずれを選択するかを示す２値データの集合であってもよいが、長露光画像および短露光画像それぞれをどの程度の比率で混合するかを示す混合比率の集合であってもよい。例えば、使用画像選択部３０は、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、使用画像選択部３０は、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。短露光画像と長露光画像との混合比率を算出するアルゴリズムも特に限定されない。

動き検出部４０は、動きを検出して動き検出情報を生成する。動きの検出手法は限定されないが、短露光画像および長露光画像から動きを検出する場合には、いずれかの画像に対して露光比に応じたゲインを乗じて正規化した上で差分を算出するのがよい。また、動き検出情報の生成手法は特に限定されない。例えば、動き検出部４０は、短露光画像と長露光画像とに基づいて検出した動きと閾値との関係に基づいて動き検出情報を生成すればよい。

具体的には、動き検出部４０は、短露光画像と長露光画像とにおいて、対応する領域の画素値または勾配の差分を検出し、差分が閾値より大きい領域を動き領域として検出してよい。一方、動き検出部４０は、差分が閾値より小さい領域を非動き領域として検出してよい。差分が閾値と同一の領域はいずれの領域として検出されてもよい。動き検出部４０は、このような検出結果を動き検出情報として生成してよい。

平均化処理部５０は、過去の使用画像選択情報と現時刻の使用画像選択情報とを平均化して平均化された使用画像選択情報を得る。平均化処理部５０によってなされる平均化は特に限定されないが、加算平均であってよい。平均化処理部５０の構成例について詳細に説明する。図３は、平均化処理部５０の詳細な構成例を示す図である。図３に示すように、平均化処理部５０は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ５１と、過去の使用画像選択情報メモリ５２とを備えてよい。

例えば、ＩＩＲフィルタ５１は、使用画像選択部３０から入力される現時刻の使用画像選択情報と、過去の使用画像選択情報メモリ５２から読み出した過去の使用画像選択情報とを以下の式（１）によって加算平均する。

Ｏｕｔ＝ＣＯＥＦ×Ｓｐｒｖ＋（１．０−ＣＯＥＦ）×Ｓｃｕｒ …（１）

ただし、Ｏｕｔは、ＩＩＲフィルタ５１から後段に出力される使用画像選択情報を示し、Ｓｐｒｖは、過去の使用画像選択情報を示し、Ｓｃｕｒは、現時刻の使用画像選択情報を示し、ＣＯＥＦは、混合係数を示す。混合係数はあらかじめ設定されていてもよいし、ユーザによって設定することが可能であってもよい。ＩＩＲフィルタ５１から後段に出力される使用画像選択情報は、過去の使用画像選択情報メモリ５２にも書き込まれ、ＩＩＲフィルタ５１による次の平均化に用いられる。

なお、図３には、過去の使用画像選択情報と現時刻の使用画像選択情報とを平均化する構成としてＩＩＲフィルタ５１が用いられる例を示した。しかし、平均化を行う構成はＩＩＲフィルタ５１に限定されない。例えば、ＩＩＲフィルタ５１の代わりに、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタが用いられてもよいし、他のフィルタが用いられてもよい。

更新部６０は、動き検出部４０によって生成された動き検出情報に基づいて、平均化処理部５０によって平均化された使用画像選択情報を更新する。具体的には、更新部６０は、動き検出情報を参照し、動き領域においては使用画像として短露光画像が選択されるように、平均化された使用画像選択情報を更新すればよい。そうすれば、合成画像の輪郭が二重になるなどといったアーティファクトが低減され得る。一方、更新部６０は、動き検出情報を参照し、非動き領域においては平均化処理部５０によって平均化された使用画像選択情報を更新しないようにすればよい。

ＷＤＲ合成部７０は、平均化処理部５０によって平均化された使用画像選択情報に基づいて長露光画像と短露光画像とを合成することによりＷＤＲ合成画像を生成する。具体的には、ＷＤＲ合成部７０は、平均化された使用画像選択情報を参照して、短露光画像使用領域には短露光画像を使用し、長露光画像使用領域には長露光画像を使用して合成画像を生成する。

ＷＤＲ合成部７０による合成手法は特に限定されない。例えば、長露光画像を選択する旨を示す値が「０」であり、短露光画像を選択する旨を示す値が「１」である場合を想定する。かかる場合には、ＷＤＲ合成部７０は、使用画像選択情報を構成する混合比率をαとし、長露光画像と短露光画像とにおいて対応する画素について、α×（短露光画像の画素値）＋（１−α）×（長露光画像の画素値）を算出し、算出結果を合成後の画像（ＷＤＲ画像）とすることができる。

このようにして、本発明の第１の実施形態においては、短露光画像および長露光画像から合成に使用される画像が選択されるに際して、使用画像選択部３０によって生成された使用画像選択情報自体ではなく、平均化処理部５０によって平均化された使用画像選択情報が参照される。したがって、微小な振動によって選択される画像が頻繁に変動してしまう現象を抑制することが可能となる。

なお、上記したように、ＷＤＲ合成部７０は、平均化処理部５０から出力された平均化された使用画像選択情報を直接参照してもよいが、更新部６０によって更新された使用画像選択情報を参照するとよい。すなわち、ＷＤＲ合成部７０は、更新部６０によって更新された使用画像選択情報に基づいて長露光画像と短露光画像とを合成することによって合成画像を生成するのがよい。かかる構成によれば、動き検出部４０によって検出された動き（例えば、大きな振動や動き物体など）が合成処理に反映されるため、合成によって生じるアーティファクトが低減される。

階調圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、ＷＤＲ合成部７０により生成されたＷＤＲ画像に対して行う。かかる圧縮処理としては、ルックアップテーブル（ＬＵＴ）に従ったトーンマッピングが用いられてよいが、特にどのような手法が用いられてもよい。

階調圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、階調圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

以上において説明した例では、露光量の異なる２種類の画像（短露光画像および長露光画像）を撮影して合成する例を説明した。しかし、合成に使用される画像の種類は特に限定されない。例えば、露光量の異なる３種類以上の画像を撮影して合成する例にも本実施形態は適用され得る。

例えば、短露光画像、中露光画像および長露光画像を使用する場合には、短露光画像および中露光画像から動きを検出するための動き検出部と、中露光画像および長露光画像から動きを検出するための動き検出部とが設けられればよい。また、フレームメモリに中露光画像を書き込むための領域が設けられればよい。使用画像選択情報のフォーマットは、短露光画像、中露光画像および長露光画像の３種類から使用画像を選択するためのフォーマットであればよい。

続いて、本発明の第１の実施形態が奏する効果の例を説明する。図４〜図６は、本発明の第１の実施形態が奏する効果の例を説明するための図である。図４を参照すると、短露光画像および長露光画像が示されている。それぞれの画像には、室内から明るい屋外を撮影したシーンが映っている。長露光画像は窓領域が完全に飽和して室内は暗く撮影されている。また、短露光画像は窓領域に屋外の雲が捉えられているが室内はほぼ真っ黒である。このようなシーンで、長露光画像の画素値が閾値以上の場合に短露光画像を使用する、というロジックを使って使用画像を選択する場合を考える。

長露光画像において破線で囲まれた評価領域Ｒ１に着目して、長露光画像における評価領域Ｒ１の平均値を算出する様子を図５に示す。窓領域は１２ビット信号が飽和しているとして画素値は４０９５、暗く撮影されている室内は単純化のため画素値を０として、長露光画像の評価領域Ｒ１のサイズは１６画素×１６画素とする。ここで、カメラが水平に振動すると、評価領域Ｒ１に室内の暗い画素値が侵入・脱出を繰り返すことになる。

例えば、室内の暗い画素が評価領域Ｒ１に２画素侵入したとすると、該領域の長露光画像の平均値は３５８４と大幅に下がる。４画素侵入した場合は３０７２とさらに小さい値になる。つまり、カメラが４画素の振幅で振動すると、該領域の長露光画像の平均値は４０９５と３０７２の間で変動することになる。

このように、高コントラストのエッジが存在する領域付近の長露光画像の画素値を評価する時に、数画素という僅かな振動によって評価値が大きく上下して、画像選択を決定するための閾値付近を上下してしまうことがある。図６Ａには、長露光画像の画素値が閾値付近を上下するように変化している様子が示されている。この評価値に基づいて使用画像を選択すると、該領域に対して短露光画像が選択されたり、長露光画像が選択されたりという変動が時間方向で発生することになる。

図６Ｂは、短露光画像の使用を２５６、長露光画像の使用を０と定義した場合の、使用画像選択情報の時間方向の動きを表した図である。本発明の第１の実施形態によれば、過去の使用画像選択情報と現時刻の使用画像選択情報との間で平均化がなされる。図６Ｃは、平均化された使用画像選択情報の時間方向の動きを表した図である。図６Ｃを参照すると、使用画像選択情報が平均化されているため、使用画像選択情報の時間的な変動が抑圧されている。使用画像選択情報が平均化されれば、短露光画像と長露光画像との混合比率が小さい範囲に収まるため、短露光画像と長露光画像の画質差が検知しにくくなる。

しかし、使用画像選択情報を時間方向に加算平均すると、動き物体に対する合成処理が問題になる。動き物体を合成する際に発生するアーティファクトを低減するために、動き領域で短露光画像を選択する技術が知られているが、動き領域で短露光画像を選択した使用画像選択情報を時間方向に加算平均してしまっては、動き領域に長露光画像が混合して合成アーティファクトが発生してしまう。この問題に対して、本発明の第１の実施形態では、使用画像選択情報を時間方向に加算平均した後に動き情報との統合を行うことで、動き物体の合成アーティファクト低減も可能としている。

画面全体がパン・チルト動作と見なせるようなグローバルな動きをする場合は、画面全体が動きとして検出されるため、この場合はＷＤＲ合成処理をＯＦＦにしたり、座標変換で位置合わせをしながら合成したりすればよく、本発明の第１の実施形態が注目する、短露光画像と長露光画像の選択が時間的に変動することによるフリッカも目立たないであろう。

しかし、数画素、時に２画素程度の僅かな振動は動きとして検出されにくく、それでいて高コントラスト領域では使用画像選択情報を時間的に変動させる原因になって、合成画像中にフリッカを発生させる可能性がある。特に画素数が増加すればするほど、微小な振動まで撮影されやすくなり、現象が顕在化するおそれがある。本発明の第１の実施形態では、このような、動き検出では検知が難しい微小な振動によるＷＤＲ合成画像への影響を低減する技術であるという点に注意が必要である。

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態は、従来技術と比較して、過去の使用画像選択情報をメモリに保持する必要があり、メモリ領域の増加やデータ転送量の増加がハードウェア面でのネックとなり得る。例えば、図６Ｂに示したような使用画像選択情報フォーマットを用いる場合には、９ビット×画像サイズ分の情報を保持することになる。本発明の第２の実施形態においては、本発明の第１の実施形態が奏する効果を同様に奏するとともに、メモリ領域の増加やデータ転送量の増加を抑制することが可能な構成について説明する。

図７は、本発明の第２の実施形態に係る画像処理装置１Ｂの機能構成を示す図である。図７に示すように、本発明の第２の実施形態に係る画像処理装置１Ｂは、本発明の第１の実施形態に係る画像処理装置１Ａと比較して、センサ１０の後段に縮小処理部１５をさらに備える。以下、縮小処理部１５について主に詳細に説明する。

縮小処理部１５は、長露光画像および短露光画像を縮小する。縮小画像を生成する手法は特に限定されないが、画像を構成する矩形領域ごとの平均値の集合を縮小画像として生成してもよい。図７を参照すると、それぞれの縮小画像は、縮小長露光画像および縮小短露光画像としてフレームメモリ２０Ｂに書き込まれている。

使用画像選択部３０は、縮小短露光画像および縮小長露光画像に基づいて使用画像選択情報を生成するのがよい。かかる構成によれば、原寸短露光画像および原寸長露光画像に基づいて使用画像選択情報を生成する場合よりも、使用画像選択部３０によって生成される過去の使用画像選択情報のサイズが小さくなる。したがって、過去の使用画像選択情報メモリ５２の増加やデータ転送量の増加を抑制することが可能となる。

動き検出部４０は、縮小短露光画像および縮小長露光画像に基づいて動き検出情報を生成してもよい。かかる構成によれば、データ転送量の増加を抑制することが可能となる。ただし、動き検出部４０は、原寸短露光画像および原寸長露光画像に基づいて動き検出情報を生成してもよい。なお、ＷＤＲ合成部７０によって使用される短露光画像および長露光画像は、縮小されていなくてよい。図７を参照すると、縮小されていない短露光画像および長露光画像は、原寸短露光画像および原寸長露光画像としてフレームメモリ２０Ｂに書き込まれている。

本発明の第２の実施形態が奏する効果について具体例を挙げて説明する。例えば、縮小比を縦横それぞれ１／１０に設定すれば、縮小画像のデータ量は原寸画像のデータ量の１／１００となる。したがって、縮小画像２フレーム分（長露光画像および短露光画像）のデータ量も、原寸画像のデータ量の１／５０（２％）にしかならず、過去の使用画像選択情報のデータ量も原寸画像から生成される使用画像選択情報のデータ量の１／１００で済む。そのため、従来技術と比較して本発明の第２の実施形態においては、データ量の増加を著しく抑えることが可能となる。

動き検出にも縮小画像が用いられる場合、動き検出情報の空間解像度も１／１００になると考えられる。しかし、縮小画像を参照して動き検出を行えば、縮小の過程でノイズが減少して品質の良い画像を使って動き検出ができるといったメリットもある。また、縮小画像を参照して動き検出を行うことは、一定領域を参照して動き検出を行うことと等価なので空間的にロバストな検出結果が得られるといったメリットもある。また、動き検出情報の空間解像度が多少低下しても、ある大きさを持つ動きオブジェクトに対して動き適応処理を適用するには十分な精度の動き検出情報が得られていると言えるため、縮小画像を使用する本構成の実質的なデメリットはほとんどないと言える。

以上、本発明の第１の実施形態および第２の実施形態について説明した。本発明の第１の実施形態によれば、長露光画像および短露光画像の何れを使用するかを領域毎に選択して使用画像選択情報を生成する使用画像選択部３０と、過去の使用画像選択情報と現時刻の使用画像選択情報とを平均化して平均化された使用画像選択情報を得る平均化処理部５０と、平均化された使用画像選択情報に基づいて長露光画像と短露光画像とを合成することによって合成画像を生成するＷＤＲ合成部７０と、を備える、画像処理装置１Ａが提供される。

かかる構成によれば、短露光画像および長露光画像から合成に使用される画像が選択されるに際して、使用画像選択部３０によって生成された使用画像選択情報自体ではなく、平均化処理部５０によって平均化された使用画像選択情報が参照される。したがって、微小な振動によって選択される画像が頻繁に変動してしまう現象を抑制することが可能となる。

また、本発明の第２の実施形態によれば、長露光画像および短露光画像を縮小して縮小された長露光画像および縮小された短露光画像を得る縮小処理部１５を備え、使用画像選択部３０は、縮小された長露光画像および縮小された短露光画像に基づいて使用画像選択情報を生成する、画像処理装置１Ｂが提供される。

かかる構成によれば、縮小された短露光画像および縮小された長露光画像に基づいて使用画像選択情報が生成され、生成された使用画像選択情報が平均化処理部５０に転送される。また、平均化処理部５０においては平均化された使用画像選択情報が過去の使用画像選択情報としてメモリに書き込まれる。したがって、メモリ領域の増加やデータ転送量の増加を抑制することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

高画素化が進むネットワークカメラ業界の流れの中で、当該技術分野において合成画像を時間的に安定化する技術は今後ますます重要になってくると予想される。本発明の実施形態は、従来技術では解決が難しかった、微小な振動によって合成画像中にフリッカが発生する現象を低減するもので、合成画像の品質を安定化しながら動き物体の合成アーティファクトを低減できたり、現実的な回路規模で実現できたりする点が優れている。

１（１Ａ、１Ｂ） 画像処理装置
１０ センサ
１５ 縮小処理部
２０（２０Ａ、２０Ｂ） フレームメモリ
３０ 使用画像選択部
４０ 検出部
５０ 平均化処理部
５１ ＩＩＲフィルタ
５２ 使用画像選択情報メモリ
６０ 更新部
７０ ＷＤＲ合成部
８０ 階調圧縮部

Claims (6)

1. 長露光画像および短露光画像の何れを使用するかを領域毎に選択して使用画像選択情報を生成する使用画像選択部と、
   過去の使用画像選択情報と現時刻の使用画像選択情報とを平均化して平均化された使用画像選択情報を得る平均化処理部と、
   前記平均化された使用画像選択情報に基づいて前記長露光画像と前記短露光画像とを合成することによって合成画像を生成する合成部と、
   を備える、画像処理装置。
2. 前記画像処理装置は、
   動きを検出して動き検出情報を得る動き検出部と、
   前記動き検出情報に基づいて前記平均化された使用画像選択情報を更新する更新部と、を備え、
   前記合成部は、前記更新された使用画像選択情報に基づいて前記長露光画像と前記短露光画像とを合成することによって合成画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記画像処理装置は、
   前記長露光画像および前記短露光画像を縮小して縮小された長露光画像および縮小された短露光画像を得る縮小処理部を備え、
   前記使用画像選択部は、前記縮小された長露光画像および前記縮小された短露光画像に基づいて前記使用画像選択情報を生成する、
   請求項２に記載の画像処理装置。
4. 前記動き検出部は、前記縮小された長露光画像および前記縮小された短露光画像に基づいて前記動きを検出する、
   請求項３に記載の画像処理装置。
5. 前記更新部は、動き領域では短露光画像を使用するように前記平均化された使用画像選択情報を更新する、
   請求項２に記載の画像処理装置。
6. 長露光画像および短露光画像の何れを使用するかを領域毎に選択して使用画像選択情報を生成するステップと、
   過去の使用画像選択情報と現時刻の使用画像選択情報とを平均化して平均化された使用画像選択情報を得るステップと、
   前記平均化された使用画像選択情報に基づいて前記長露光画像と前記短露光画像とを合成することによって合成画像を生成するステップと、
   を含む、画像処理方法。
   

Images