JP2015204488A - 動き検出装置および動き検出方法 - Google Patents

Abstract

【課題】動き検出の精度を向上させることが可能な技術を提供する。
【解決手段】過去の短露光画像と現時刻の短露光画像とに基づいて短露光画像の動きを検出して短露光画像動き検出情報を生成する短露光画像動き検出部４１と、過去の長露光画像と現時刻の長露光画像とに基づいて長露光画像の動きを検出して長露光画像動き検出情報を生成する長露光画像動き検出部４２と、長露光画像動き検出情報および短露光画像動き検出情報を統合して統合された動き検出情報を出力する統合部４３と、を備える、動き検出装置１Ａが提供される。
【選択図】図１

Description

本発明は、動き検出装置および動き検出方法に関する。

近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。

しかし、短露光画像と長露光画像とを合成するという仕組みから、被写体に動きがあると合成時にずれが生じ、輪郭が二重になるといったアーティファクトが発生するという問題がある。このようなアーティファクトを低減するためには、撮影された画像から動きを検出して動き情報を生成し、動き情報を使用して適応的な合成処理を行う手法が用いられる。このように動き情報を使用してアーティファクトを低減するための技術として様々な技術が開示されている。

例えば、特許文献１には、長露光画像の露光時間が長いために、被写体の動きに起因するぼけ（以下、「ブラー」とも言う。）が発生する点に着目し、動きがある領域では短露光画像を主に使用して合成処理を行って、ブラーやアーティファクトがない合成結果を得る技術が開示されている。

ここで、特許文献１に記載された技術では、動き検出は、短露光画像と長露光画像を露光比で正規化した上で、両者を差分演算することによって行われる。また、特許文献１に記載された技術では、ノイズの影響をなるべく排除するために、ノイズ成分を推定し、画像からノイズ成分を減算した後に差分演算する方法も採用している。

その他、特許文献２には、動物体の位置ずれを補正してから合成することによって、動き領域のアーティファクトを低減する技術が開示されている。さらに、特許文献３には、動き量が小さいときには複数枚合成ＷＤＲの結果を出力し、動き量が大きいときには１枚画像の階調補正結果を出力することによって、動き領域のアーティファクトを低減する技術が開示されている。

特開２０１３−０６６１４２号公報 特開２０１３−２４００３１号公報 特開２０１３−０９３７８６号公報

しかしながら、特許文献１に記載された技術には、以下に示すような課題が存在する。第一に、長露光画像中の飽和領域では動き検出が不可能な点が課題として挙げられる。長露光画像中の飽和領域には情報が存在しないため、長露光画像中の飽和領域と短露光画像とを比較して動きを検出することが難しい。特に、長露光画像中の飽和領域が大きく、その付近で動きがある場合には動き検出の精度が低下しやすい。

第二に、短露光画像の信号振幅が非常に小さい領域ではＳＮ比が低下して動き検出が難しくなるという点が課題として挙げられる。特許文献１に記載された技術では、ノイズ成分を推定して影響を排除しているが、一旦ＳＮ比が低下してしまった信号を正確に復元することは難しく、ノイズ成分の推定精度にも限界がある。さらに、ＷＤＲ処理のダイナミックレンジを拡大しようとすれば、短露光画像の露光時間を非常に短くすることになり、短露光画像全体が暗く撮影されノイズ振幅も大きくなって、短露光画像と長露光画像とを比較して得られる動き検出の精度が低下しやすい。

第三に、長露光画像と短露光画像の画素値を露光比で正規化するときに正規化の精度が確保しにくい点が課題として挙げられる。基本的には露光時間の差によって露光比を決定するが、実際に撮影された画素値から算出される露光比と、設定された露光時間から想定された露光比とが一致しない場合がある。また、実際に撮影された画素値から算出される露光比が整数精度ではなく小数点精度で得られる場合がある。そのため、長露光画像と短露光画像の画素値レベルを正確に合わせることは簡単ではない。正規化の精度が低いと、動きと正規化の精度不足との判別がつかないため、動き検出の精度が低下する。

第四に、被写体がフリッカ光源を含む場合、動き検出の精度が低下する点が課題として挙げられる。長露光画像は露光時間が長いため、フリッカの影響を受けることはまずないが、短露光画像はフリッカの影響を受けて画面の一部の画素値が上下することがある。この場合、短露光画像中のフリッカが動きとして検出されてしまい、ＷＤＲ処理に悪影響を及ぼしたり、ＷＤＲ出力画像中にフリッカが残ってしまったりする。そのため、一般的には被写体がフリッカを含む場合には動き検出を無効にする。

また、特許文献２、３に記載された技術も、短露光画像と長露光画像との比較によって動き検出を行っているため、特許文献１に記載された技術が有する課題と同様の課題を有している。

そこで、本発明は、動き検出の精度を向上させることが可能な技術を提供する。

本発明のある実施形態によれば、過去の短露光画像と現時刻の短露光画像とに基づいて短露光画像の動きを検出して短露光画像動き検出情報を生成する短露光画像動き検出部と、過去の長露光画像と現時刻の長露光画像とに基づいて長露光画像の動きを検出して長露光画像動き検出情報を生成する長露光画像動き検出部と、前記長露光画像動き検出情報および前記短露光画像動き検出情報を統合して統合された動き検出情報を出力する統合部と、を備える、動き検出装置が提供される。

かかる構成によれば、短露光画像どうしの比較によって短露光画像動き検出情報が生成され、長露光画像どうしの比較によって長露光画像動き検出情報が生成され、短露光画像動き検出情報と長露光画像動き検出情報とが統合される。したがって、露光条件が同じ画像どうしの比較によって生成された動き検出情報が統合されるため、動き検出の精度を向上させることが可能である。

前記短露光画像動き検出部は、前記短露光画像の動きと第１の閾値との関係に基づいて前記短露光画像動き検出情報を生成し、前記長露光画像動き検出部は、前記長露光画像の動きと前記第１の閾値とは異なる第２の閾値との関係に基づいて前記長露光画像動き検出情報を生成してもよい。第１の閾値および第２の閾値は、あらかじめ設定されていてもよいし、ユーザによって設定することが可能であってもよい。

前記統合部は、前記長露光画像動き検出情報および前記短露光画像動き検出情報を統合しない旨の設定がなされている場合には、前記長露光画像動き検出情報および前記短露光画像動き検出情報のうち何れか一方を出力してもよい。例えば、長露光画像動き検出情報および短露光画像動き検出情報を統合しない旨が設定されているときには、短露光画像動き検出情報を出力せずに、長露光画像動き検出情報のみを出力するとよい。そうすれば、統合部の後段において、フリッカが含まれている短露光画像から生成された短露光画像動き検出情報は使用されず、フリッカが含まれていない長露光画像から生成された長露光画像動き検出情報のみが使用される。

前記動き検出装置は、長露光画像および短露光画像の何れを使用するかを領域毎に選択して使用画像選択情報を生成する使用画像選択部と、前記統合された動き検出情報に基づいて前記使用画像選択情報を更新する更新部と、前記更新された使用画像選択情報に基づいて前記長露光画像と前記短露光画像とを合成することにより合成画像を生成する合成部と、を備えてもよい。かかる構成によれば、生成された使用画像選択情報と統合された動き検出情報とに基づいて、より安定した合成画像が生成される。

前記動き検出装置は、前記過去の長露光画像、前記現時刻の長露光画像、前記過去の短露光画像および前記現時刻の短露光画像を縮小する縮小処理部を備え、前記短露光画像動き検出部は、縮小された過去の短露光画像および縮小された現時刻の短露光画像に基づいて前記短露光画像動き検出情報を生成し、前記長露光画像動き検出部は、縮小された過去の長露光画像および縮小された現時刻の長露光画像に基づいて前記長露光画像動き検出情報を生成してもよい。

かかる構成によれば、縮小された過去の短露光画像および縮小された現時刻の短露光画像がメモリに書き込まれ、縮小された過去の短露光画像および縮小された現時刻の短露光画像が動き検出部に転送される。また、縮小された過去の長露光画像および縮小された現時刻の長露光画像がメモリに書き込まれ、縮小された過去の長露光画像および縮小された現時刻の長露光画像が動き検出部に転送される。したがって、メモリ領域の増加やデータ転送量の増加を抑制することが可能となる。

また、本発明の別の実施形態によれば、過去の長露光画像と現時刻の長露光画像とに基づいて長露光画像の動きを検出して長露光画像動き検出情報を生成するステップと、過去の短露光画像と現時刻の短露光画像とに基づいて短露光画像の動きを検出して短露光画像動き検出情報を生成するステップと、前記長露光画像動き検出情報および前記短露光画像動き検出情報を統合して統合された動き検出情報を出力するステップと、を含む、動き検出方法が提供される。

かかる方法によれば、短露光画像どうしの比較によって短露光画像動き検出情報が生成され、長露光画像どうしの比較によって長露光画像動き検出情報が生成され、短露光画像動き検出情報と長露光画像動き検出情報とが統合される。したがって、露光条件が同じ画像どうしの比較によって生成された動き検出情報が統合されるため、動き検出の精度を向上させることが可能である。

以上説明したように、本発明によれば、動き検出の精度を向上させることが可能である。

本発明の第１の実施形態に係る動き検出装置の機能構成例を示す図である。 長露光画像および短露光画像のペアが連続的に撮影される様子を表した図である。 動き検出部の詳細な機能構成例を示すブロック図である。 本発明の第１の実施形態に係る使用画像選択の動作の例を示すフローチャートである。 同実施形態が奏する効果の第一の例を説明するための図である。 同実施形態が奏する効果の第二の例を説明するための図である。 本発明の第２の実施形態に係る動き検出装置の機能構成例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。まず、本発明の第１の実施形態に係る動き検出装置１Ａの機能構成について説明する。図１は、本発明の第１の実施形態に係る動き検出装置１Ａの機能構成を示す図である。図１に示すように、動き検出装置１Ａは、センサ１０、フレームメモリ２０Ａ、使用画像選択部３０、動き検出部４０、更新部５０、ＷＤＲ合成部７０および階調圧縮部８０を備える。以下、動き検出装置１Ａが備える各機能ブロックの機能について順次詳細に説明する。

動き検出装置１Ａは、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０Ａに書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０Ａへの書き込みは、連続的に行われる。

図２は、長露光画像および短露光画像のペアが連続的に撮影される様子を表した図である。図２を参照すると、短露光画像（ｔ−１）、長露光画像（ｔ−１）、短露光画像（ｔ）、長露光画像（ｔ）、短露光画像（ｔ＋１）および長露光画像（ｔ＋１）が時系列に沿って撮影される様子が示されている。なお、図２を参照すると、各画像の撮影時刻は、括弧書きによって示されているが、本明細書および本図面においては、同様に各画像の撮影時刻を括弧書きによって示すことがある。

ここで、本明細書においては、少なくとも、過去の長露光画像、現時刻の長露光画像、過去の短露光画像および現時刻の短露光画像がフレームメモリ２０Ａに残っていればよい。したがって、長露光画像および短露光画像が撮影される間隔は特に限定されない。また、長露光画像および短露光画像は、毎フレームがフレームメモリ２０Ａに書き込まれてもよいし、複数フレームに一度フレームメモリ２０Ａに書き込まれてもよい。

例えば、図１に示した例のように、長露光画像および短露光画像のペアを書き込む領域が２組存在する場合には、動き検出装置１Ａは、長露光画像および短露光画像のペアを２組の領域に対して交互に書き込めばよい。例えば、フレームメモリ２０Ａに書き込まれた短露光画像（ｔ−１）および長露光画像（ｔ−１）は、短露光画像（ｔ＋１）および長露光画像（ｔ＋１）によって上書きされてよい。

なお、図１に示した例では、動き検出装置１Ａは、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、動き検出装置１Ａは、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。

本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。

センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。

使用画像選択部３０は、フレームメモリ２０Ａから読み出した短露光画像（ｔ）と長露光画像（ｔ）とを参照し、長露光画像（ｔ）および短露光画像（ｔ）それぞれの飽和状態や動きなどを検出して、短露光画像（ｔ）と長露光画像（ｔ）とのいずれかを使用画像として選択するための使用画像選択情報を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。

例えば、長露光画像において飽和してしまった領域は短露光画像においては飽和していない可能性が高いため、当該領域の使用画像としては短露光画像を選択すればよい。しかし、この処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、動きを検出し、動きに基づいて輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。

なお、上記したように使用画像選択情報は短露光画像および長露光画像のいずれを選択するかを示す２値データの集合であってもよいが、長露光画像および短露光画像それぞれをどの程度の比率で混合するかを示す混合比率の集合であってもよい。例えば、使用画像選択部３０は、長露光画像の飽和度合いが強いほど、短露光画像の混合比率を大きくしてもよい。また、使用画像選択部３０は、短露光画像または長露光画像の動きが大きいほど、短露光画像の混合比率を大きくしてもよい。短露光画像と長露光画像との混合比率を算出するアルゴリズムも特に限定されない。

動き検出部４０は、短露光画像（ｔ−１）、長露光画像（ｔ−１）、短露光画像（ｔ）および長露光画像（ｔ）を参照して動きを検出する。動き検出部４０が有する機能の詳細について、図３を参照しながら説明する。図３は、動き検出部の詳細な機能構成例を示すブロック図である。図３を参照すると、動き検出部４０は、短露光画像動き検出部４１、長露光画像動き検出部４２および統合部４３を備える。以下、短露光画像動き検出部４１、長露光画像動き検出部４２および統合部４３それぞれが有する機能について説明する。

短露光画像動き検出部４１は、短露光画像（ｔ−１）と短露光画像（ｔ）とに基づいて短露光画像の動きを検出し、短露光画像の動きに基づいて短露光画像動き検出情報を生成する。短露光画像動き検出情報の生成手法は特に限定されない。例えば、短露光画像動き検出部４１は、検出した短露光画像の動きと第１の閾値（以下、「短露光画像動き検出用閾値」とも言う。）との関係に基づいて短露光画像動き検出情報を生成すればよい。

具体的には、短露光画像動き検出部４１は、短露光画像（ｔ−１）と短露光画像（ｔ）とにおいて、対応する領域の画素値または勾配の差分を検出し、差分が短露光画像動き検出用閾値より大きい領域を動き領域として検出してよい。一方、短露光画像動き検出部４１は、差分が短露光画像動き検出用閾値より小さい領域を非動き領域として検出してよい。差分が短露光画像動き検出用閾値と同一の領域はいずれの領域として検出されてもよい。短露光画像動き検出部４１は、このような検出結果を短露光画像動き検出情報として生成してよい。

長露光画像動き検出部４２は、長露光画像（ｔ−１）と長露光画像（ｔ）とに基づいて長露光画像の動きを検出し、長露光画像の動きに基づいて長露光画像動き検出情報を生成する。長露光画像動き検出情報の生成手法は特に限定されない。例えば、長露光画像動き検出部４２は、検出した長露光画像の動きと第２の閾値（以下、「長露光画像動き検出用閾値」とも言う。）との関係に基づいて長露光画像動き検出情報を生成すればよい。

具体的には、長露光画像動き検出部４２は、長露光画像（ｔ−１）と長露光画像（ｔ）とにおいて、対応する領域の画素値または勾配の差分を検出し、差分が長露光画像動き検出用閾値より大きい領域を動き領域として検出してよい。一方、長露光画像動き検出部４２は、差分が長露光画像動き検出用閾値より小さい領域を非動き領域として検出してよい。差分が長露光画像動き検出用閾値と同一の領域はいずれの領域として検出されてもよい。長露光画像動き検出部４２は、このような検出結果を長露光画像動き検出情報として生成してよい。

統合部４３は、長露光画像動き検出情報および短露光画像動き検出情報を統合して統合された動き検出情報を出力する。長露光画像動き検出情報および短露光画像動き検出情報をどのように統合するかについては特に限定されない。例えば、統合部４３は、長露光画像動き検出情報および短露光画像動き検出情報のうち少なくとも何れか一方において動き領域とされている領域を、動き領域としてよい。一方、統合部４３は、長露光画像動き検出情報および短露光画像動き検出情報の双方において非動き領域であるとされている領域を、非動き領域としてよい。

このようにして、長露光画像動き検出情報および短露光画像動き検出情報が統合されることによって、動き検出の精度を向上されることが期待される。なお、上記した短露光画像動き検出用閾値および長露光画像動き検出用閾値は、あらかじめ設定されていてもよいし、ユーザによって設定することが可能であってもよい。また、短露光画像動き検出用閾値と長露光画像動き検出用閾値とは、異なる値が設定されてよい。ここで、短露光画像動き検出用閾値と長露光画像動き検出用閾値とは、どちらが大きな値であってもよい。

例えば、画素値の差分と閾値との関係に基づいて、動き検出情報が生成される場合には、短露光画像動き検出用閾値は、長露光画像動き検出用閾値よりも大きな値であるとよい。長露光画像は、含まれるノイズが少ないため、微小な画素値の差分が生じている領域も動き領域であると判定されれば、動き検出の精度が高まる一方、短露光画像は、振幅の大きなノイズを含んでしまう傾向があるため、ノイズが生じている領域が動き領域であると誤って判定されてしまうことを防ぐことが期待されるからである。

また、統合部４３は、長露光画像動き検出情報および短露光画像動き検出情報を常に統合してもよいが、長露光画像動き検出情報および短露光画像動き検出情報を統合しない場合があってもよい。例えば、統合部４３は、長露光画像動き検出情報および短露光画像動き検出情報を統合しない旨の設定がなされている場合には、長露光画像動き検出情報および短露光画像動き検出情報のうち何れか一方を出力してもよい。長露光画像動き検出情報および短露光画像動き検出情報を統合しない旨の設定は、ユーザによって行うことが可能であってよい。

長露光画像動き検出情報および短露光画像動き検出情報のうち何れを出力するかは特に限定されない。ここで、例えば、長露光画像動き検出情報および短露光画像動き検出情報を統合しない場合の例としては、被写体がフリッカを含むときなどが挙げられる。一般に、長露光画像は露光時間が長いのでフリッカを含まず、短露光画像のみにフリッカが含まれる。さらに、フリッカは移動していく場合が多く、実際にはオブジェクトが何ら移動していないのに、フリッカが動きとして検出されてしまうことがある。その結果、短露光画像動き検出情報を使用するとＷＤＲ合成結果に悪影響を与えることがある。

このような悪影響を防ぐために、統合部４３は、長露光画像動き検出情報および短露光画像動き検出情報を統合しない旨が設定されているときには、短露光画像動き検出情報を出力せずに、長露光画像動き検出情報のみを出力するとよい。そうすれば、統合部４３の後段において、フリッカが含まれている短露光画像から生成された短露光画像動き検出情報は使用されず、フリッカが含まれていない長露光画像から生成された長露光画像動き検出情報のみが使用される。

更新部５０は、動き検出部４０の統合部４３によって統合された動き検出情報に基づいて、使用画像選択部３０によって生成された使用画像選択情報を更新する。具体的には、更新部５０は、統合された動き検出情報を参照し、動き領域においては使用画像として短露光画像が選択されるように使用画像選択情報を更新すればよい。そうすれば、合成画像の輪郭が二重になるなどといったアーティファクトが低減され得る。一方、更新部５０は、統合された動き検出情報を参照し、非動き領域においては使用画像選択部３０によって生成された使用画像選択情報を更新しないようにすればよい。

ここで、使用画像選択の動作の例についてさらに詳細に説明する。図４は、本発明の第１の実施形態に係る使用画像選択の動作の例を示すフローチャートである。かかる動作は、使用画像選択部３０および更新部５０によってなされ得る。なお、図４に示した使用画像選択の動作の例は、一例に過ぎないため、使用画像選択の動作は、図４に示した例に限定されない。

図４に示すように、統合された動き検出情報が参照され、対象の画素が動き領域であれば（ステップＳ１１において「Ｙｅｓ」）、短露光画像が選択される（ステップＳ１３）。一方、対象の画素が非動き領域であれば（ステップＳ１１において「Ｎｏ」）、長露光画像が飽和している場合には（ステップＳ１２において「Ｙｅｓ」）、短露光画像が選択され（ステップＳ１３）、長露光画像が飽和していない場合には（ステップＳ１２において「Ｎｏ」）、長露光画像が選択される（ステップＳ１４）。

ここで、全画素についての使用画像選択の動作がまだ終了していない場合には（ステップＳ１５において「Ｎｏ」）、ステップＳ１１に動作が移行され、次の画素についての使用画像選択の動作が引き続き行われる。一方、全画素についての使用画像選択の動作が終了した場合には（ステップＳ１５において「Ｙｅｓ」）、使用画像選択の動作が終了される。

ＷＤＲ合成部７０は、更新部５０からの更新された使用画像選択情報を受け、当該更新された使用画像選択情報に基づいて短露光画像と長露光画像とを合成することによりＷＤＲ画像を生成する。具体的には、ＷＤＲ合成部７０は、更新された使用画像選択情報を参照して、短露光画像使用領域には短露光画像を使用し、長露光画像使用領域には長露光画像を使用して合成画像を生成する。

ＷＤＲ合成部７０による合成手法は特に限定されない。例えば、長露光画像を選択する旨を示す値が「０」であり、短露光画像を選択する旨を示す値が「１」である場合を想定する。かかる場合には、ＷＤＲ合成部７０は、使用画像選択情報を構成する混合比率をαとし、長露光画像と短露光画像とにおいて対応する画素について、α×（短露光画像の画素値）＋（１−α）×（長露光画像の画素値）を算出し、算出結果を合成後の画像（ＷＤＲ画像）とすることができる。

階調圧縮部８０は、ダイナミックレンジの広い画像信号のビットレンジを所定のビットレンジに収めるための圧縮処理を、ＷＤＲ合成部７０により生成されたＷＤＲ画像に対して行う。かかる圧縮処理としては、ルックアップテーブル（ＬＵＴ）に従ったトーンマッピングが用いられてよいが、特にどのような手法が用いられてもよい。

階調圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、階調圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。

以上において説明した例では、露光量の異なる２種類の画像（短露光画像および長露光画像）を撮影して合成する例を説明した。しかし、合成に使用される画像の種類は特に限定されない。例えば、露光量の異なる３種類以上の画像を撮影して合成する例にも本実施形態は適用され得る。

例えば、短露光画像、中露光画像および長露光画像を使用する場合には、３つの画像それぞれに対応する動き検出部が設けられ、３つの動き検出情報が統合される。このとき、動き検出情報を統合しない旨の設定がなされている場合には、フリッカが含まれない画像の動き検出情報だけを使用するようにすればよい。フリッカが含まれない画像は、フリッカの周波数などによって変化する可能性があるため、特に限定されないが、長露光画像であってもよい。

続いて、本発明の第１の実施形態が奏する効果の例を説明する。図５は、本発明の第１の実施形態が奏する効果の第一の例を説明するための図である。図５を参照すると、短露光画像（ｔ−１）、長露光画像（ｔ−１）、短露光画像（ｔ）および長露光画像（ｔ）が示されている。それぞれの画像には、室内から明るい屋外を撮影したシーンが映っている。そして、短露光画像には窓の外の雲が移動している様子が撮影されているが、長露光画像においては窓領域が飽和してしまっている。

このようなシーンでは、短露光画像と長露光画像を比較する従来技術を用いた場合には、雲の動きを検出することができない。具体的には、従来技術を用いた場合には、長露光画像の飽和領域には情報が存在しないため、短露光画像に映っている雲が動いているのか静止しているのかを区別することができない。図５を参照すると、従来技術を用いた場合に得られる動き検出情報の例が「従来技術の動き検出情報」として示されている。

一方、本発明の第１の実施形態では、同じ露光量で撮影された過去および現時刻の画像から動きを検出する。したがって、過去および現時刻の短露光画像を比較することによって雲の動きを検出することができる。図５を参照すると、本発明の実施形態を用いた場合に得られる動き検出情報の例が「本実施形態の動き検出情報」として示されている。また、本発明の第１の実施形態によれば、短露光画像動き検出情報と長露光画像動き検出情報とが統合されることによって、確度の高い動き検出情報が得られる。

これを一例として、本発明の第１の実施形態における長所は「同じ露光条件で撮影した画像どうしで動き検出を行う」点にあり、この長所は飽和以外の妨害に対しても有効である。例えば、長露光画像にブラーが存在する場合であっても、短露光画像どうしの比較によって動き検出を行なえば、ブラーがない画像どうしの比較によって動きを検出できるので、確度の高い動き検出結果が得られる。

また、短露光画像が振幅の大きなノイズを含む場合でも、ノイズの少ない長露光画像どうしの比較によって動き検出を行うことによって、ノイズの影響を考慮しない正確な動きを検出することができる。また、ノイズを含む短露光画像どうしの比較によって動き検出を行うことによって、ノイズによる誤検出を含まないような明確な動きを検出することができる。そして、両者の動き検出情報を統合することによって確度の高い動き検出情報が得られる。

さらに、従来技術においては、短露光画像と長露光画像を露光比に応じて正規化してから比較する必要があったため、正規化の精度が問題になることがあった。一方、本発明の第１の実施形態においては、同じ露光条件で撮影した画像どうしで動き検出を行えばよい、正規化の精度が問題になることはなく、露光比によらず常に正確な動き検出情報が得られる。

図６は、本発明の第１の実施形態が奏する効果の第二の例を説明するための図である。図６を参照すると、短露光画像（ｔ−１）、長露光画像（ｔ−１）、短露光画像（ｔ）および長露光画像（ｔ）が示されている。それぞれの画像には、室内から明るい屋外を撮影したシーンが映っている。そして、短露光画像（ｔ−１）の壁領域には、室内灯がフリッカ光源となってフリッカバンドが現れており、短露光画像（ｔ）においてはフリッカバンドの位置が垂直方向に移動している。一方、長露光画像にはフリッカバンドは撮影されていない。

このようなシーンでは、短露光画像と長露光画像を比較する従来技術を用いた場合には、フリッカバンドを動きとして検出してしまうため、広い範囲で誤検出が発生する。図６を参照すると、従来技術を用いた場合に得られる動き検出情報の例が「従来技術の動き検出情報」として示されている。この「従来技術の動き検出情報」を参照すると、フリッカバンドが動きとして検出されてしまっている。

一方、本発明の第１の実施形態を用いた場合には、同じ露光条件で撮影された画像どうしの比較によって動き検出を行う。そのため、長露光画像動き検出情報および短露光画像動き検出情報を統合しない旨の設定を行ってフリッカの影響を受けていない長露光画像の動き検出情報のみを使えば、フリッカバンドを動きとして判定することがなく、正確な動き検出結果が得られる。図６を参照すると、本発明の実施形態を用いた場合に得られる動き検出情報の例が「本実施形態の動き検出情報」として示されている。この「本実施形態の動き検出情報」を参照すると、フリッカバンドが動きとして検出されていない。

（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。本発明の第１の実施形態は、従来技術と比較して、過去の短露光画像および長露光画像をメモリに保持する必要があり、メモリ領域の増加やデータ転送量の増加がハードウェア面でのネックとなり得る。本発明の第２の実施形態においては、本発明の第１の実施形態が奏する効果を同様に奏するとともに、メモリ領域の増加やデータ転送量の増加を抑制することが可能な構成について説明する。

図７は、本発明の第２の実施形態に係る動き検出装置１Ｂの機能構成を示す図である。図７に示すように、本発明の第２の実施形態に係る動き検出装置１Ｂは、本発明の第１の実施形態に係る動き検出装置１Ａと比較して、センサ１０の後段に縮小処理部１５をさらに備える。以下、縮小処理部１５について主に詳細に説明する。

縮小処理部１５は、過去の長露光画像、現時刻の長露光画像、過去の短露光画像および現時刻の短露光画像を縮小する。縮小画像を生成する手法は特に限定されないが、画像を構成する矩形領域ごとの平均値の集合を縮小画像として生成してもよい。図７を参照すると、それぞれの縮小画像は、縮小長露光画像（ｔ−１）、縮小長露光画像（ｔ）、縮小短露光画像（ｔ−１）および縮小短露光画像（ｔ）としてフレームメモリ２０Ｂに書き込まれている。

長露光画像動き検出部４２は、縮小長露光画像（ｔ−１）および縮小長露光画像（ｔ）に基づいて長露光画像動き検出情報を生成する。また、短露光画像動き検出部４１は、縮小短露光画像（ｔ−１）および縮小短露光画像（ｔ）に基づいて短露光画像動き検出情報を生成する。かかる構成によれば、メモリ領域の増加やデータ転送量の増加を抑制することが可能となる。なお、使用画像選択部３０によって参照される短露光画像および長露光画像は、縮小されていなくてよい。図７を参照すると、縮小されていない短露光画像および長露光画像は、原寸短露光画像（ｔ）および原寸長露光画像（ｔ）としてフレームメモリ２０Ｂに書き込まれている。

本発明の第２の実施形態が奏する効果について具体例を挙げて説明する。例えば、縮小比を縦横それぞれ１／１０に設定すれば、縮小画像のデータ量は原寸画像のデータ量の１／１００となる。したがって、縮小画像４フレーム分（過去の長露光画像、現時刻の長露光画像、過去の短露光画像および現時刻の短露光画像）のデータ量も、原寸画像のデータ量の１／２５（４％）にしかならないため、従来技術と比較して本発明の第２の実施形態においては、データ量の増加を著しく抑えることが可能となる。

もちろん、動き検出情報の空間解像度も１／１００になると考えられる。しかし、縮小画像を参照して動き検出を行えば、縮小の過程でノイズが減少して品質の良い画像を使って動き検出ができるといったメリットもある。また、縮小画像を参照して動き検出を行うことは、一定領域を参照して動き検出を行うことと等価なので空間的にロバストな検出結果が得られるといったメリットもある。また、動き検出情報の空間解像度が多少低下しても、ある大きさを持つ動きオブジェクトに対して動き適応処理を適用するには十分な精度の動き検出情報が得られていると言えるため、縮小画像を使用する本構成の実質的なデメリットはほとんどないと言える。

以上、本発明の第１の実施形態および第２の実施形態について説明した。本発明の第１の実施形態によれば、過去の短露光画像と現時刻の短露光画像とに基づいて短露光画像の動きを検出して短露光画像動き検出情報を生成する短露光画像動き検出部４１と、過去の長露光画像と現時刻の長露光画像とに基づいて長露光画像の動きを検出して長露光画像動き検出情報を生成する長露光画像動き検出部４２と、長露光画像動き検出情報および短露光画像動き検出情報を統合して統合された動き検出情報を出力する統合部４３と、を備える、動き検出装置１Ａが提供される。

かかる構成によれば、短露光画像どうしの比較によって短露光画像動き検出情報が生成され、長露光画像どうしの比較によって長露光画像動き検出情報が生成され、短露光画像動き検出情報と長露光画像動き検出情報とが統合される。したがって、露光条件が同じ画像どうしの比較によって生成された動き検出情報が統合されるため、動き検出の精度を向上させることが可能である。

また、本発明の第２の実施形態によれば、過去の長露光画像、現時刻の長露光画像、過去の短露光画像および現時刻の短露光画像を縮小する縮小処理部１５を備え、短露光画像動き検出部４１は、縮小された過去の短露光画像および縮小された現時刻の短露光画像に基づいて短露光画像動き検出情報を生成し、長露光画像動き検出部４２は、縮小された過去の長露光画像および縮小された現時刻の長露光画像に基づいて長露光画像動き検出情報を生成する、動き検出装置１Ｂが提供される。

かかる構成によれば、縮小された過去の短露光画像および縮小された現時刻の短露光画像がメモリに書き込まれ、縮小された過去の短露光画像および縮小された現時刻の短露光画像が動き検出部に転送される。また、縮小された過去の長露光画像および縮小された現時刻の長露光画像がメモリに書き込まれ、縮小された過去の長露光画像および縮小された現時刻の長露光画像が動き検出部に転送される。したがって、メモリ領域の増加やデータ転送量の増加を抑制することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、当該技術分野において、動きオブジェクト合成時のアーティファクトは非常に大きな問題であり、このアーティファクト低減に使用する動き検出情報の精度が重要である。本発明の実施形態によれば、撮影画像がさまざまな妨害を含んでいる場合であっても安定した動き検出が可能であり、本発明の実施形態は、それを現実的な回路規模で実現できる点が優れている。

１（１Ａ、１Ｂ） 動き検出装置
１０ センサ
１５ 縮小処理部
２０（２０Ａ、２０Ｂ） フレームメモリ
３０ 使用画像選択部
４０ 動き検出部
４１ 短露光画像動き検出部
４２ 長露光画像動き検出部
４３ 統合部
５０ 更新部
７０ ＷＤＲ合成部
８０ 階調圧縮部

Claims (6)

1. 過去の短露光画像と現時刻の短露光画像とに基づいて短露光画像の動きを検出して短露光画像動き検出情報を生成する短露光画像動き検出部と、
   過去の長露光画像と現時刻の長露光画像とに基づいて長露光画像の動きを検出して長露光画像動き検出情報を生成する長露光画像動き検出部と、
   前記長露光画像動き検出情報および前記短露光画像動き検出情報を統合して統合された動き検出情報を出力する統合部と、
   を備える、動き検出装置。
2. 前記短露光画像動き検出部は、前記短露光画像の動きと第１の閾値との関係に基づいて前記短露光画像動き検出情報を生成し、
   前記長露光画像動き検出部は、前記長露光画像の動きと前記第１の閾値とは異なる第２の閾値との関係に基づいて前記長露光画像動き検出情報を生成する、
   請求項１に記載の動き検出装置。
3. 前記統合部は、前記長露光画像動き検出情報および前記短露光画像動き検出情報を統合しない旨の設定がなされている場合には、前記長露光画像動き検出情報および前記短露光画像動き検出情報のうち何れか一方を出力する、
   請求項１に記載の動き検出装置。
4. 前記動き検出装置は、
   長露光画像および短露光画像の何れを使用するかを領域毎に選択して使用画像選択情報を生成する使用画像選択部と、
   前記統合された動き検出情報に基づいて前記使用画像選択情報を更新する更新部と、
   前記更新された使用画像選択情報に基づいて前記長露光画像と前記短露光画像とを合成することにより合成画像を生成する合成部と、
   を備える、請求項１に記載の動き検出装置。
5. 前記動き検出装置は、
   前記過去の長露光画像、前記現時刻の長露光画像、前記過去の短露光画像および前記現時刻の短露光画像を縮小する縮小処理部を備え、
   前記短露光画像動き検出部は、縮小された過去の短露光画像および縮小された現時刻の短露光画像に基づいて前記短露光画像動き検出情報を生成し、
   前記長露光画像動き検出部は、縮小された過去の長露光画像および縮小された現時刻の長露光画像に基づいて前記長露光画像動き検出情報を生成する、
   請求項１に記載の動き検出装置。
6. 過去の長露光画像と現時刻の長露光画像とに基づいて長露光画像の動きを検出して長露光画像動き検出情報を生成するステップと、
   過去の短露光画像と現時刻の短露光画像とに基づいて短露光画像の動きを検出して短露光画像動き検出情報を生成するステップと、
   前記長露光画像動き検出情報および前記短露光画像動き検出情報を統合して統合された動き検出情報を出力するステップと、
   を含む、動き検出方法。