JP2014036401A - 撮像装置、画像信号処理方法及びプログラム - Google Patents

Abstract

【課題】露光時間の異なる複数の撮像画像信号を合成した合成画像信号の品質が低い場合がある。
【解決手段】撮像装置は、異なる露光時間に関する情報に基づいて、異なる露光時間で撮像された撮像画像信号を補正する。次に、補正された撮像画像信号と、異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存する記憶部から読み出した合成画像信号とを合成する合成係数を算出する。次に、記憶部から読み出した合成画像信号と、補正された撮像画像信号とを、合成係数に基づいて合成した合成画像信号を出力する。そして、記憶部に合成画像信号を書き込むものである。
【選択図】図１

Description

本開示は、例えば、ダイナミックレンジの拡張処理とノイズ除去処理を行う撮像装置、画像信号処理方法及びプログラムに関する。

従来の撮像装置では、ダイナミックレンジの拡張処理とノイズ除去処理が、それぞれ別々に行われている。ここで、ダイナミックレンジの拡張処理とは、異なる露光時間で撮像された複数フレームの画像に対応する撮像画像信号を合成して、撮像画像信号のダイナミックレンジを拡張する処理である。また、ノイズ除去処理は、時間方向に連続して撮像された撮像画像信号を合成することによって、各画像に重畳したノイズを除去する処理である。

特許文献１には、異なる露光時間で撮像された２フレームの画像に対応する画像信号に対して合成処理を行い、ダイナミックレンジの拡張処理を行う例について開示されている。この処理では、動き判定結果と露光時間に応じたフレーム巡回量を用いて１フレーム前の合成画像信号と現フレームの合成画像信号に対する合成処理とブレンド処理によるノイズ除去処理を行っている。

特許文献２には、同一又は異なる露光時間で撮像された複数フレームの画像に対応する画像信号に対して時間方向に連続な同一露光時間の画像信号を用いる技術が開示されている。そして、ＦＩＲ（Finite Impulse Response：有限インパルス応答）処理を行い、画像信号からノイズ除去を行っている。さらに、ノイズ除去を行った露光時間の異なる画像信号を合成することによりダイナミックレンジの拡張を行っている。この特許文献２にはＦＩＲについて記載されている。しかし、時間方向に連続した露光時間ごとにＩＩＲ（Infinite Impulse Response：無限インパルス応答）処理を行った後にダイナミックレンジを拡張するために画像合成を行うことも考えられる。

特開２０１０−４１２００号公報 特開２００８−１６０８８１号公報

特許文献１及び２に記載された技術では、ダイナミックレンジの拡張処理とノイズ除去処理を別々に行っていたため、合成画像信号にノイズが重畳することがあり、合成画像信号の品質が低かった。

本開示はこのような状況に鑑みて成されたものであり、露光時間の異なる複数の撮像画像信号を合成した合成画像信号の品質を高めることを目的とする。

本開示は、異なる露光時間で撮像された撮像画像信号の異なる露光時間に関する情報に基づいて、撮像画像信号を補正する。
次に、露光時間に関する情報を合わせた撮像画像信号と、異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存する記憶部から読み出した合成画像信号とを合成する合成係数を算出する。
次に、記憶部から読み出した合成画像信号と、露光時間の比を合わせた撮像画像信号とを、合成係数に基づいて合成した合成画像信号を出力する。
そして、記憶部に合成画像信号を書き込む。

このようにしたことで、合成係数に基づいて、合成画像信号と撮像画像信号とを合成することにより撮像画像信号からノイズを除去し、撮像画像信号のダイナミックレンジを拡張した合成画像信号を得られる。

本開示によれば、異なる露光時間で撮像された撮像画像信号の露光時間に関する情報を合わせ、この撮像画像信号と合成画像信号に基づいて算出した合成係数を使って、品質を高めた合成画像信号を出力することができる。

本開示の第１の実施の形態例における撮像装置の内部構成例を示すブロック図である。 本開示の第１の実施の形態例における撮像画像信号の例を示す説明図である。 本開示の第１の実施の形態例における入射光量と撮像画像信号レベルの関係例を示す説明図である。 本開示の第２の実施の形態例における撮像装置の内部構成例を示すブロック図である。 本開示の第３の実施の形態例における撮像装置の内部構成例を示すブロック図である。 画像処理装置の内部構成例を示すブロック図である。 画像処理装置の内部構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態例とする。）について説明する。なお、説明は以下の順序で行い、共通する部分には同一符号を付し、詳細な説明を省略する。
１．前提説明
２．第１の実施の形態例（ダイナミックレンジの拡張処理とノイズ除去処理を行う例）
３．第２の実施の形態例（フレーム間の大きな輝度変化に対応する例）
４．第３の実施の形態例（バス帯域とフレームメモリの容量を削減する例）
５．変形例

＜１．前提説明＞
本発明者らは、まず以下の検討を行った。

図６は、画像処理装置１００の内部構成例を示すブロック図である。
画像処理装置１００は、第１のフレームメモリ１０１と、画像合成部１０２と、ノイズ除去部１０３と、第２のフレームメモリ１０４とを備える。画像処理装置１００は、ダイナミックレンジの拡張処理を行った画像に対して、ノイズ除去処理を行うものである。

不図示の撮像素子は、第１の露光時間（長時間露光）と、第１の露光時間より短い第２の露光時間（短時間露光）で被写体の撮像を行い、各露光時間で露光した撮像画像信号を個別に出力する。そして、第１のフレームメモリ１０１は、不図示の撮像素子から入力した撮像画像信号を複数フレーム（例えば、Ｎフレーム）にわたって合成前画像として保存する。画像合成部１０２は、第１のフレームメモリ１０１からＮフレームの合成前画像を読み出し、これらＮフレームの合成前画像を合成する。この合成に際して、長時間露光された撮像画像信号同士を合成し、短時間露光された撮像画像信号同士を合成して、合成後画像を生成している。そして、画像合成部１０２は、合成後画像を、ダイナミックレンジを拡張した合成画像信号として出力する。ノイズ除去部１０３は、画像合成部１０２から入力した合成後画像を第２のフレームメモリ１０４に保存する。そして、ノイズ除去部１０３は、第２のフレームメモリ１０４から読み出した１フレーム前の合成後画像を用いて、画像合成部１０２から入力した現フレームの合成後画像からノイズを除去し、合成画像信号を出力する。

しかし、画像処理装置１００には、ダイナミックレンジを拡張するための画像合成用と、ノイズ除去処理を行うためのフレーム巡回用に大容量のフレームメモリが少なくとも２つ必要となる。また、それぞれのフレームメモリが別々に動被写体の動き情報を算出したり、位置合わせを行ったりする処理が必要となり、回路規模と消費電力が大きくなってしまう。

図７は、画像処理装置１１０の内部構成例を示すブロック図である。
画像処理装置１１０は、ノイズ除去部１１１と、フレームメモリ１１２と、画像合成部１１３とを備える。画像処理装置１１０は、異なる露光時間で生成された撮像画像信号からノイズを除去した撮像画像信号を用いてダイナミックレンジの拡張処理を行うものである。

ノイズ除去部１１１は、図６で説明した不図示の撮像素子から入力した撮像画像信号から、長時間露光と短時間露光のそれぞれの特性に合わせてノイズを除去した撮像画像信号を、合成前画像として複数フレームにわたってフレームメモリ１１２に保存する。ノイズ除去部１１１は、フレームメモリ１１２から読み出した１フレーム前の合成前画像の撮像画像信号からノイズを除去する処理を行う。画像合成部１１３は、フレームメモリ１１２からＮフレームの合成前画像の撮像画像信号を読み出し、これらＮフレームの合成前画像を合成してダイナミックレンジを拡張した合成後画像の撮像画像信号を出力する。

画像処理装置１１０は、異なる露光時間で撮像された撮像画像信号毎にノイズ除去処理を行った後に、ダイナミックレンジの拡張用の画像合成を行う。しかし、露光時間の異なる撮像画像信号を合成する際に生じるＳ／Ｎの差や、電子回路に生じるショットノイズ、飽和レベルを起因とする合成領域のノイズを除去できず、合成領域の境界が目立つことがあった。

上記の検討の結果、本発明者らは、本開示の第１の実施の形態例に係る撮像装置１０の構成及び処理を見いだした。ここでは、ダイナミックレンジの拡張処理とノイズ除去処理を同時に行う際に、どのようにして合成画像信号の品質を高めるかについて説明を行う。

＜２．第１の実施の形態例＞
［ダイナミックレンジの拡張処理とノイズ除去処理を行う例］
以下、本開示の第１の実施の形態例に係る撮像装置１０の構成例及び動作例について、図１〜図３を参照して説明する。この撮像装置１０は、コンピュータがプログラムを実行することにより、後述する内部ブロックが連携して行う画像信号処理方法を実現する。

図１は、撮像装置１０の内部構成例を示すブロック図である。
撮像装置１０は、撮像画像信号平滑化部１、露光閾値補正部２、撮像画像信号露光情報補正部３、合成係数算出部４、合成係数補正部５、合成部６、フレームメモリ７を備えている。

撮像画像信号平滑化部１は、撮像装置１０に入力された撮像画像信号を平滑化することによって、撮像画像信号に重畳するノイズ成分の影響を抑える。露光閾値補正部２は、平滑化された撮像画像信号を合成画像信号に合成するか否かを判定した判定結果と、合成係数の分解能を決定して、合成係数算出部４と合成係数補正部５に、判定結果及び合成係数の分解能を出力する。具体的には、露光閾値補正部２は、平滑化された撮像画像信号に対して、撮像画像信号の露光時間（入射光量）に応じた信号レベルの閾値により、判定結果の一例である合成フラグ情報を算出する。また、露光閾値補正部２は、合成係数の分解能が用いられる、画像合成時のベースとなる合成係数（以下、「ベース合成係数」という）を算出する。

合成フラグ情報とは、合成部６に対して、複数フレームの画像に対応する撮像画像信号の合成処理（例えば、αブレンド処理）を行うか行わないかを指示するための情報である。例えば、長時間露光で明所を撮像すると、撮像画像信号レベルが飽和レベルに達して白飛びした画像となることがある。しかし、短時間露光で撮像され、ゲイン・オフセットされた短時間露光画像信号の撮像画像信号レベルは、飽和レベルを超えるものとなる。このため、飽和レベルに達した長時間露光画像信号と、ゲイン・オフセットされた短時間露光画像信号の各撮像画像信号レベルを比べると、撮像画像信号レベルの差分が非常に大きい。ここで、飽和レベルに達した撮像画像信号を出力すると、合成画像信号のダイナミックレンジは飽和レベルまでしか達せず、ダイナミックレンジを拡張することができない。このため、飽和レベルに達した撮像画像信号については合成しないことを合成部６に指示するフラグ情報が生成される。

また、暗所を撮像すると、撮像素子への入射光量がわずかであり、撮像画像信号レベルも低いままであるため、撮像画像信号にノイズが重なることがある。このようなノイズを合成画像信号に重ねることを避けるため、撮像画像信号レベルに閾値を設けておく。そして、この閾値に満たない撮像画像信号レベルの撮像画像信号については合成しないことを合成部６に指示するフラグ情報が生成される。

ベース合成係数とは、合成部６が行う画像信号の合成比率の分解能を示す情報である。つまり、ベース合成係数は、合成係数算出部４によって算出される合成係数の分母の値として求められる。例えば、ベース合成係数が“３２”であれば、合成係数（合成比率）は、“１／３２”の分解能で決定されることになる。

撮像画像信号露光情報補正部３は、異なる露光時間に関する情報に基づいて撮像画像信号を補正する。異なる露光時間に関する情報は、異なる露光時間で撮像された撮像画像信号の露光時間の差又は比であるが、ここでは露光時間の比を一例に挙げて説明を行う。
例えば、短時間露光と長時間露光の露光時間が１：２の露光比率にある場合を想定する。このとき、撮像画像信号露光情報補正部３は、短時間露光の露光時間を２倍にして、短時間露光画像信号と長時間露光画像信号の露光時間の比（露光比）を２：２＝１：１に補正する。

合成係数算出部４は、異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存するフレームメモリ７から１フレーム前の合成画像信号をリファレンス信号として読み出す。そして、補正された撮像画像信号と、フレームメモリ７から読み出した合成画像信号とを合成する合成係数を算出する。また、フレームメモリ７から読み出した合成画像信号と、撮像露光時間に応じた露光比補正が行われた撮像画像信号に基づいて求めた動被写体の情報に応じて合成係数を算出する。

一般的に動被写体が含まれる複数フレームの画像の元となる画像信号を合成し、ブレンドすると画像内における動被写体の位置により、画像にブレや偽色等が発生する可能性がある。例えば、被写体が動いている場合には、単に連続するフレームの撮像画像信号を合成すると、画像内の被写体に生じたブレが見えてしまうことがある。しかし、従来の画像処理装置１００が行う方法では、フレーム巡回によるノイズ除去処理によって、ダイナミックレンジを拡張するため、画像合成によって発生した動被写体のブレや偽色等を強調することがあった。また、フレームメモリに必要とされる容量が増加したり、個別の動き情報の算出や位置合わせ処理等による回路規模、消費電力が増加したりすることも考えられる。また、動被写体に対するブレや偽色を強調する可能性もあった。このため、動被写体のＳ／Ｎを向上すると共に、静止している被写体と動被写体とのＳ／Ｎを向上することが求められていた。

このため、合成係数算出部４は、動いている被写体については、撮像画像信号に含まれる被写体の領域をそのまま出力する必要がある。ここで、合成係数算出部４は、「動き情報」と「露光比情報」、「撮像画像信号レベル」、さらには露光閾値補正部２で算出した「ベース合成係数」を用いて、１フレーム前の画像信号と、露光比が補正された撮像画像信号の合成係数（比率）を算出する。

また、合成係数補正部５が用いる動き情報の算出には、フレーム間差分で行う方法や動きベクトルを用いた方法が適当である。また、「露光比情報」や「撮像画像信号レベル」を用いて合成係数を制御することによって、ノイズ除去の強度を調整することが可能である。

合成係数補正部５は、合成係数算出部４によって算出された合成係数を、露光時間に関する情報、又は露光時間に対する撮像画像信号のレベルの閾値に基づいて補正して、補正した合成係数を合成部６に出力する。例えば、合成係数補正部５は、合成係数算出部４で算出した合成係数（比率）に対して画素間の輝度やレベルのばらつきを抑えるための補正処理（例えば空間フィルタ処理）を行っている。また、合成係数補正部５は、露光閾値補正部２で算出した合成フラグ情報を用いて合成係数（比率）の補正を行っている。

また、合成部６は、フレームメモリ７から読み出した合成画像信号と、補正された撮像画像信号とを、合成係数に基づいて合成した合成画像信号を出力し、フレームメモリ７に合成画像信号を書き込む。つまり、合成部６は、露光比補正のされた撮像画像信号とフレームメモリ７に保存してある１フレーム前の合成画像信号の合成処理を行う。これら２つの画像信号の合成は、合成係数補正部５が出力する合成係数（比率）ＭｉｘＣｏｅｆを用いて行われる。これにより、合成部６は、ある露光時間で撮像された撮像画像信号と、１フレーム前の合成画像信号の合成を行うことが可能となる。

ここで、合成部６が演算する各信号の値には、次式（１）に示す関係がある。
ＭｉｘＳｉｇ(ｔ＋１)＝ＭｉｘＣｏｅｆ(ｔ)×ＭｉｘＳｉｇ(ｔ)＋(１−ＭｉｘＣｏｅｆ(ｔ))×(ＩｎＳｉｇ(ｔ)×ＧＡＩＮ(ｔ)＋ＯＦＳ(ｔ))…（１）
・ＩｎＳｉｇ(ｔ)：時間ｔにおける撮像画像信号
・ＭｉｘＳｉｇ(ｔ)：時間ｔにおける合成画像信号
・ＲｅｆＳｉｇ(ｔ)：時間ｔにおけるリファレンス信号（フレームメモリ７が出力する合成画像信号）であり、時間ｔ−１における合成画像信号ＭｉｘＳｉｇ（ｔ−１）に等しい。
・ＭｉｘＣｏｅｆ(ｔ)：時間ｔにおける合成係数（画素単位で算出）
・ＧＡＩＮ(ｔ)：時間ｔにおける露光比補正ゲイン
・ＯＦＳ(ｔ)：時間ｔにおける露光比補正オフセット値

図２は、撮像画像信号の例を示す説明図である。
不図示の撮像素子は、第１の露光時間（長時間露光）と、第１の露光時間より短い第２の露光時間（短時間露光）で繰り返して撮像を行い、異なる露光時間で露光した撮像画像信号を個別に出力する。そして、撮像装置１０には、異なる露光時間で撮像された２フレームの画像に対応する画像信号（短時間露光画像信号と長時間露光画像信号）が周期的に入力される。例えば、ｎフレーム目では、短時間露光によって生成された画像信号が入力し、ｎ＋１フレーム目では、長時間露光によって生成された画像信号が入力する（ｎは、０以上の整数）。短時間露光と長時間露光は１フレーム毎に交互に繰り返され、不図示の撮像素子は、各露光時間に合わせて画像信号を生成し、撮像装置１０に出力している。

なお、本開示は３種類以上の異なる露光時間で撮像された画像信号や同一の露光時間で撮像された画像信号等における露光時間比に関係なく適用可能である。また画像信号の入力順番に関しても短時間露光画像信号、長時間露光画像信号の順で記載しているがこの限りではない。

図３は、入射光量と撮像画像信号レベルの関係例を示す説明図である。図３Ａは、長時間露光画像信号Ｓ１と、短時間露光画像信号Ｓ２の入射光量に対する撮像画像信号レベルの例を示す。図３Ｂは、長時間露光画像信号Ｓ１に、オフセットした短時間露光画像信号Ｓ４を合成した場合における各信号の入射光量に対する撮像画像信号レベルの例を示す。図３Ｃは、長時間露光画像信号Ｓ１に、ゲイン・オフセットした短時間露光画像信号Ｓ４を合成した場合における各信号の入射光量に対する撮像画像信号レベルの例を示す。

図３では、第１の露光時間で撮像された撮像画像信号を「長時間露光画像信号Ｓ１」と呼び、第２の露光時間で撮像された撮像画像信号を「短時間露光画像信号Ｓ２」と呼んで説明を行う。

図３Ａに示すように長時間露光とした場合、不図示の光学系を介して不図示の撮像素子等に入射する被写体光の入射光量に対して、長時間露光画像信号Ｓ１の撮像画像信号レベルは飽和レベルで一定となる。一方、短時間露光画像信号Ｓ２は、入射光量に対する撮像画像信号レベルの増加量が長時間露光画像信号Ｓ１の撮像画像信号レベルの増加量に比べて少ない。このため、短時間露光画像信号Ｓ２の撮像画像信号レベルは、長時間露光画像信号Ｓ１に比べて長い時間をかけて飽和レベルに達する。なお、短時間露光画像信号Ｓ２であっても、撮像画像信号レベルが飽和レベルに達すれば、飽和レベルで一定となる。

次に、図３Ｂを参照して、長時間露光画像信号Ｓ１と、オフセットした短時間露光画像信号Ｓ４を合成する処理について検討する。

説明の前提として、ある入射光量を第１の閾値とし、第１の閾値より高く、長時間露光画像信号Ｓ１の撮像画像信号レベルが飽和レベルに達する入射光量を第２の閾値とする。さらに、第１及び第２の閾値の区間を「合成領域」と呼ぶ。

合成部６は、長時間露光画像信号Ｓ１のレベルが撮像素子に入射する像光の光量に対して飽和するレベルまで、短時間露光画像信号Ｓ２のレベルをオフセットする。また、合成部６は、オフセット処理と共に、合成領域で、長時間露光画像信号Ｓ１と、短時間露光画像信号Ｓ２とを合成係数に基づいて合成する。上述したように短時間露光画像信号Ｓ２の撮像画像信号レベルは、入射光量が一定の値に達するまで飽和レベルに達しない。ここで、第２の閾値を越える入射光量における短時間露光画像信号Ｓ２を全体にオフセットすると、撮像画像信号レベルを飽和レベルより高くした短時間露光画像信号Ｓ４を得ることができる。

このため、第２の閾値より入射光量が高くなると、短時間露光画像信号Ｓ２をオフセットして、短時間露光画像信号Ｓ４を求める。そして、合成領域において、長時間露光画像信号Ｓ１と短時間露光画像信号Ｓ２を合成する。この合成処理によって、長時間露光画像信号Ｓ１と短時間露光画像信号Ｓ４の撮像画像信号レベルが連続し、撮像画像信号のダイナミックレンジを拡張することができる。

次に、図３Ｃを参照して、長時間露光画像信号Ｓ１と、ゲイン・オフセットした短時間露光画像信号Ｓ５を合成する処理について検討する。

合成部６は、長時間露光画像信号Ｓ１のレベルが撮像素子に入射する像光の光量に対して飽和するレベルに達するまでの光量に対する撮像画像信号のレベルの比と同じ比とするゲイン処理を短時間露光画像信号Ｓ２に行う。すなわち、合成部６は、第２の閾値を越える入射光量における短時間露光画像信号Ｓ２を全体にゲイン・オフセットする。このゲイン・オフセットは、第２の閾値より入射光量が高くなるにつれてゲイン値を高めて短時間露光画像信号Ｓ２のオフセットを行う処理である。例えば、長時間露光画像信号Ｓ１の入射光量に対する撮像画像信号レベルの変化量と同じ変化量で、短時間露光画像信号Ｓ２が変化するようにゲイン・オフセットして、飽和レベルより高い撮像画像信号レベルとした短時間露光画像信号Ｓ５を得る。

また、合成領域においても、図３Ｂに示した場合と同様に、長時間露光画像信号Ｓ１と短時間露光画像信号Ｓ２の合成を行う。このように短時間露光画像信号Ｓ２をゲイン・オフセットすることによって、合成後の撮像画像信号レベルのダイナミックレンジを拡張することができる。また、入射光量に対する撮像画像信号レベルの傾きは、飽和レベルの前後で変わらない。このため、合成後の画像に違和感が生じにくくなる。

なお、図３Ｂと図３Ｃに示した長時間露光画像信号と短時間露光画像信号を合成する処理は、いずれであっても合成部６が実行することができる。合成部６がどの合成処理を実行するかは、撮像装置１０の仕様に応じて任意に設定可能である。

以上説明した第１の実施の形態例に係る撮像装置１０によれば、撮像画像信号のダイナミックレンジ全域に対して時間方向のＩＩＲ処理を行い、時間方向に連続した撮像画像信号を合成することによってノイズ除去を行う。このとき、同時に複数フレームの画像に対応して、複数の露光時間の異なる撮像画像信号を合成することによるダイナミックレンジの拡張処理行うことができる。

また、合成画像信号と撮像画像信号を合成することにより毎フレームで合成画像信号を出力することが可能である。このため、露光時間が異なる複数の撮像画像信号を合成する時には、撮像時のフレームレートを低下させることがない。また、動被写体のＳ／Ｎを向上すると共に、静止している被写体と動被写体とのＳ／Ｎを向上することができる。

また、露光情報や撮像画像信号レベルに応じて合成係数を制御することによりノイズ除去の強度を制御することが可能である。これによりＳ／Ｎの悪い短時間露光画像信号からノイズを除去する強度を強め、比較的Ｓ／Ｎの良い長時間露光画像信号からノイズを除去する強度を弱める制御を行うことができる。また、低照度部におけるノイズ除去の強度を強め、高照度部におけるノイズ除去の強度を弱めるといった制御を行うことが可能である。このため、ダイナミックレンジを拡張しつつ画像全体のＳ／Ｎを改善することが可能である。

また、従来は、短時間露光画像信号と長時間露光画像信号を２フレームずつ合成していた。例えば、図２を参照すると、ｎフレーム目とｎ＋１フレーム目の撮像画像信号を合成し、次に、ｎ＋２フレーム目とｎ＋３フレーム目の撮像画像信号を合成していた。このような合成処理では、ｎフレーム目とｎ＋１フレーム目、ｎ＋２フレーム目とｎ＋３フレーム目をまたがる被写体の動きを検知できるが、ｎ＋１フレーム目とｎ＋２フレーム目をまたがる被写体の動きは検知できない。しかし、本実施の形態例に係る撮像装置１０は、ｎフレーム目とｎ＋１フレーム目、ｎ＋１フレーム目とｎ＋２フレーム目、ｎ＋２フレーム目とｎ＋３フレーム目、…のように１フレームずつずらしながら撮像画像信号を合成する。このため、従来の合成処理に比べて、撮像画像信号が生成された撮像タイミングと、１フレーム前の撮像画像信号の差を短縮することができ、フレーム間における被写体の動き情報の誤検知を軽減できる。

また、画像合成とノイズ低減処理を同時に行うことにより、回路規模と消費電力を削減し、演算処理の速度を向上することが可能となる。また、Ｓ／Ｎの良い高ダイナミックレンジ（ＨＤＲ）の合成画像信号を生成する際に、フレームメモリ７の記録容量を削減することが可能となる。

＜３．第２の実施の形態例＞
［フレーム間の大きな輝度変化に対応する例］
次に、本開示の第２の実施の形態例に係る撮像装置２０の構成例及び動作例について、図４を参照して説明する。

図４は、第２の実施の形態例に係る撮像装置２０の内部構成例を示す。
上述したように、第１の実施の形態例に係る撮像装置１０が、「ダイナミックレンジの拡張処理」と「ノイズ除去処理」を同時に実現した場合において、フレームの前後で大きな輝度変化が発生すると、合成画像信号の品質が低下する場合がある。大きな輝度変化が生じると、撮像画像信号は輝度変化後の画像信号であるのに対して、１フレーム前の合成画像信号は輝度変化前の画像信号である。そして、これらの画像信号を合成した合成画像信号に輝度差が発生してしまう。例えば、合成画像信号が入力される表示装置では、画像が点滅することがある。

このため、撮像装置２０は、撮像装置１０が備える各部に加えて、合成画像信号の露光比を補正する合成画像信号露光情報補正部２１を備えるようにした。合成画像信号露光情報補正部２１は、フレームメモリ７から読み出した１フレーム前の合成画像信号を入力とする。そして、合成画像信号露光情報補正部２１は、被写体の輝度が変化する前の合成画像信号における露光時間に関する情報と、被写体の輝度が変化した後の撮像画像信号における露光時間に関する情報に基づいて合成画像信号を補正する。このとき、合成画像信号露光情報補正部２１は、輝度変化前の合成画像信号に対する露光時間と、輝度変化後の撮像画像信号の露光時間との差に応じてフレームメモリ７に保存している１フレーム前の合成画像信号に補正処理を行っている。

合成部６は、合成画像信号露光情報補正部２１が露光時間の変化に応じた補正処理を行った合成画像信号を用いて合成処理を行う。これにより、１フレーム前の合成画像信号と輝度変化後の撮像画像信号間の露光比を吸収することが可能である。また、急激な輝度変化が生じても、輝度差を生じさせずに合成画像信号を出力することが可能である。

以上説明した第２の実施の形態例に係る撮像装置２０によれば、フレームの前後で大きな輝度変化が発生した場合であっても、合成画像信号に輝度差を生じさせず、画像のチラつきを抑えることができる。このため、ダイナミックレンジを拡張し、ノイズ除去処理を同時に行った場合においても、品質の高い合成画像信号を出力することができる。

＜４．第３の実施の形態例＞
［バス帯域とフレームメモリの容量を削減する例］
次に、本開示の第３の実施の形態例に係る撮像装置３０の構成例及び動作例について、図５を参照して説明する。

図５は、第３の実施の形態例に係る撮像装置３０の内部構成例を示す。
上述したように、第１の実施の形態例に係る撮像装置１０が、「ダイナミックレンジの拡張処理」と「ノイズ除去処理」を同時に実現した場合、複数フレームの画像を同時にフレームメモリ７から読み出すため、バス帯域をひっ迫してしまう。また、フレームメモリ７の記録容量が不足することも考えられる。

このため、撮像装置３０は、撮像装置２０が備える各部に加えて、合成画像信号を圧縮する圧縮部３１と、フレームメモリ７から読み出した圧縮された合成画像信号を伸張する伸張部３３を備えるようにした。

圧縮部３１は、合成部６によってビット拡張、つまりダイナミックレンジが拡張された合成画像信号に対してデータ圧縮処理を行って、圧縮された合成画像信号をフレームメモリ７に書き込む。この圧縮部３１は、例えば、１４ビットのデータ長である合成画像信号を、１０ビットのデータ長に圧縮する処理を行う。

そして、伸張部３３は、フレームメモリ７から圧縮された合成画像信号を読み出して、データ伸張処理を行い、合成画像信号露光情報補正部２１に出力する。この伸張部３３は、例えば、１０ビットのデータ長である合成画像信号を、１４ビットのデータ長に伸張する処理を行う。そして、伸張された合成画像信号が、合成部６におけるリファレンス信号として用いられる。

以上説明した第３の実施の形態例に係る撮像装置３０によれば、圧縮部３１からフレームメモリ７、及びフレームメモリ７から伸張部３３までのバス帯域におけるデータ量を削減できる。また、フレームメモリ７は、圧縮された合成画像信号を保存するだけであるため、記録容量を削減することが可能となる。

また、圧縮部３１が行う圧縮処理は可逆圧縮であることが望ましいが、例えば、合成画像信号のビット精度に応じて不可逆圧縮方式としてもよい。これは、伸張された合成画像信号の下位の数ビットが、圧縮前の合成画像信号と異なっても画像の色味をわずかに変える程度の影響しか与えないからである。

＜５．変形例＞
なお、図３Ｃには、長時間露光画像信号Ｓ１の一部を合成領域とした例を示したが、長時間露光画像信号Ｓ１の全体を合成領域としてもよい。このように合成領域を設定しても、オフセット又はゲイン・オフセットを十分に行うことが可能である。

また、上述した実施の形態例において、露光閾値補正部２から合成係数算出部４と合成係数補正部５に対して、それぞれフラグ情報と合成ベース係数が入力されている。しかし、合成係数算出部４又は合成係数補正部５のいずれかにフラグ情報と合成ベース係数を入力して合成係数を求めるようにしてもよい。

また、上述した第１〜第３の実施の形態例に係る撮像装置の構成及び処理は任意に組み合わせることが可能である。

また、上述した実施の形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、又は各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータ等に所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した実施の形態例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（又はＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態例の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行う。その処理によって上述した実施の形態例の機能が実現される場合も含まれる。

また、本開示は上述した実施の形態例に限られるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

なお、本開示は以下のような構成も取ることができる。
（１）
異なる露光時間に関する情報に基づいて、前記異なる露光時間で撮像された撮像画像信号を補正する撮像画像信号露光情報補正部と、
補正された前記撮像画像信号と、前記異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存する記憶部から読み出した前記合成画像信号とを合成する合成係数を算出する合成係数算出部と、
前記記憶部から読み出した前記合成画像信号と、補正された前記撮像画像信号とを、前記合成係数に基づいて合成した前記合成画像信号を出力し、前記記憶部に前記合成画像信号を書き込む合成部と、を備える
撮像装置。
（２）
前記合成係数算出部は、前記記憶部から読み出した前記合成画像信号と、補正された前記撮像画像信号に基づいて求めた動被写体の情報に応じて前記合成係数を算出する
前記（１）記載の撮像装置。
（３）
さらに、前記撮像画像信号を平滑化する撮像画像信号平滑化部と、
平滑化された前記撮像画像信号を前記合成画像信号に合成するか否かを判定した判定結果と、前記合成係数の分解能を決定して、前記合成係数算出部に、前記判定結果及び前記合成係数の分解能を出力する露光閾値補正部と、を備える
前記（１）又は（２）記載の撮像装置。
（４）
さらに、前記合成係数算出部によって算出された前記合成係数を、前記露光時間に関する情報、又は前記露光時間に対する前記撮像画像信号のレベルの閾値に基づいて補正して、補正した前記合成係数を前記合成部に出力する合成係数補正部を備える
前記（１）〜（３）のいずれかに記載の撮像装置。
（５）
前記異なる露光時間に関する情報は、前記異なる露光時間で撮像された前記撮像画像信号の露光時間の差又は比である
前記（１）〜（４）のいずれかに記載の撮像装置。
（６）
前記撮像画像信号は、撮像素子によって第１の露光時間と、前記第１の露光時間より短い第２の露光時間で繰り返して出力されたものであって、
前記合成部は、前記第１の露光時間で撮像された前記撮像画像信号のレベルが前記撮像素子に入射する像光の光量に対して飽和するレベルまで、前記第２の露光時間で撮像された前記撮像画像信号のレベルをオフセットすると共に、前記第１の露光時間で撮像された前記撮像画像信号のレベルが前記飽和するレベルに達する第１の入射光量の閾値と、前記第１の入射光量より少ない第２の入射光量の閾値の間で、前記第１の露光時間で撮像された前記撮像画像信号と、前記第２の露光時間で撮像された前記撮像画像信号とを前記合成係数に基づいて合成する
前記（１）〜（５）のいずれかに記載の撮像装置。
（７）
前記合成部は、前記第１の露光時間で撮像された前記撮像画像信号のレベルが前記撮像素子に入射する像光の光量に対して飽和するレベルに達するまでの前記光量に対する前記撮像画像信号のレベルの比と同じ比とするゲイン処理を前記第２の露光時間で撮像された前記撮像画像信号に行う
前記（１）〜（４）のいずれかに記載の撮像装置。
（８）
さらに、被写体の輝度が変化する前の前記合成画像信号における前記露光時間に関する情報と、被写体の輝度が変化した後の前記撮像画像信号における前記露光時間に関する情報に基づいて前記合成画像信号を補正する合成画像信号露光情報補正部を備える
前記（１）〜（３）のいずれかに記載の撮像装置。
（９）
さらに、前記合成画像信号を圧縮して前記記憶部に書き込む圧縮部と、
前記記憶部から読み出した圧縮された前記合成画像信号を伸張する伸張部と、を備えた
前記（８）記載の撮像装置。
（１０）
異なる露光時間に関する情報に基づいて、前記異なる露光時間で撮像された撮像画像信号を補正することと、
補正された前記撮像画像信号と、前記異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存する記憶部から読み出した前記合成画像信号とを合成する合成係数を算出することと、
前記記憶部から読み出した前記合成画像信号と、補正された前記撮像画像信号とを、前記合成係数に基づいて合成した前記合成画像信号を出力することと、
前記記憶部に前記合成画像信号を書き込むことと、を含む
画像信号処理方法。
（１１）
異なる露光時間に関する情報に基づいて、前記異なる露光時間で撮像された撮像画像信号を補正する手順、
補正された前記撮像画像信号と、前記異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存する記憶部から読み出した前記合成画像信号とを合成する合成係数を算出する手順、
前記記憶部から読み出した前記合成画像信号と、補正された前記撮像画像信号とを、前記合成係数に基づいて合成した前記合成画像信号を出力する手順、
前記記憶部に前記合成画像信号を書き込む手順とを
コンピュータに実行させるプログラム。

１…撮像画像信号平滑化部、２…露光閾値補正部、３…撮像画像信号露光情報補正部、４…合成係数算出部、５…合成係数補正部、６…合成部、７…フレームメモリ、１０，２０，３０…撮像装置、２１…合成画像信号露光情報補正部、３１…圧縮部、３３…伸張部

Claims (11)

1. 異なる露光時間に関する情報に基づいて、前記異なる露光時間で撮像された撮像画像信号を補正する撮像画像信号露光情報補正部と、
   補正された前記撮像画像信号と、前記異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存する記憶部から読み出した前記合成画像信号とを合成する合成係数を算出する合成係数算出部と、
   前記記憶部から読み出した前記合成画像信号と、補正された前記撮像画像信号とを、前記合成係数に基づいて合成した前記合成画像信号を出力し、前記記憶部に前記合成画像信号を書き込む合成部と、を備える
   撮像装置。
2. 前記合成係数算出部は、前記記憶部から読み出した前記合成画像信号と、補正された前記撮像画像信号に基づいて求めた動被写体の情報に応じて前記合成係数を算出する
   請求項１記載の撮像装置。
3. さらに、前記撮像画像信号を平滑化する撮像画像信号平滑化部と、
   平滑化された前記撮像画像信号を前記合成画像信号に合成するか否かを判定した判定結果と、前記合成係数の分解能を決定して、前記合成係数算出部に、前記判定結果及び前記合成係数の分解能を出力する露光閾値補正部と、を備える
   請求項２記載の撮像装置。
4. さらに、前記合成係数算出部によって算出された前記合成係数を、前記露光時間に関する情報、又は前記露光時間に対する前記撮像画像信号のレベルの閾値に基づいて補正して、補正した前記合成係数を前記合成部に出力する合成係数補正部を備える
   請求項３記載の撮像装置。
5. 前記異なる露光時間に関する情報は、前記異なる露光時間で撮像された前記撮像画像信号の露光時間の差又は比である
   請求項４記載の撮像装置。
6. 前記撮像画像信号は、撮像素子によって第１の露光時間と、前記第１の露光時間より短い第２の露光時間で繰り返して出力されたものであって、
   前記合成部は、前記第１の露光時間で撮像された前記撮像画像信号のレベルが前記撮像素子に入射する像光の光量に対して飽和するレベルまで、前記第２の露光時間で撮像された前記撮像画像信号のレベルをオフセットすると共に、入射光量の第１の閾値と、前記第１の閾値より高く、前記第１の露光時間で撮像された前記撮像画像信号のレベルが前記飽和するレベルに達する入射光量の第２の閾値との間で、前記第１の露光時間で撮像された前記撮像画像信号と、前記第２の露光時間で撮像された前記撮像画像信号とを前記合成係数に基づいて合成する
   請求項５記載の撮像装置。
7. 前記合成部は、前記第１の露光時間で撮像された前記撮像画像信号のレベルが前記撮像素子に入射する像光の光量に対して飽和するレベルに達するまでの前記光量に対する前記撮像画像信号のレベルの比と同じ比とするゲイン処理を前記第２の露光時間で撮像された前記撮像画像信号に行う
   請求項６記載の撮像装置。
8. さらに、被写体の輝度が変化する前の前記合成画像信号における前記露光時間に関する情報と、被写体の輝度が変化した後の前記撮像画像信号における前記露光時間に関する情報に基づいて前記合成画像信号を補正する合成画像信号露光情報補正部を備える
   請求項３記載の撮像装置。
9. さらに、前記合成画像信号を圧縮して前記記憶部に書き込む圧縮部と、
   前記記憶部から読み出した圧縮された前記合成画像信号を伸張する伸張部と、を備えた
   請求項８記載の撮像装置。
10. 異なる露光時間に関する情報に基づいて、前記異なる露光時間で撮像された撮像画像信号を補正することと、
    補正された前記撮像画像信号と、前記異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存する記憶部から読み出した前記合成画像信号とを合成する合成係数を算出することと、
    前記記憶部から読み出した前記合成画像信号と、補正された前記撮像画像信号とを、前記合成係数に基づいて合成した前記合成画像信号を出力することと、
    前記記憶部に前記合成画像信号を書き込むことと、を含む
    画像信号処理方法。
11. 異なる露光時間に関する情報に基づいて、前記異なる露光時間で撮像された撮像画像信号を補正する手順、
    補正された前記撮像画像信号と、前記異なる露光時間で撮像された撮像画像信号が合成される合成画像信号を保存する記憶部から読み出した前記合成画像信号とを合成する合成係数を算出する手順、
    前記記憶部から読み出した前記合成画像信号と、補正された前記撮像画像信号とを、前記合成係数に基づいて合成した前記合成画像信号を出力する手順、
    前記記憶部に前記合成画像信号を書き込む手順とを
    コンピュータに実行させるプログラム。

Images