JP6029430B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

固体撮像装置においては、Ｓ／Ｎ比の向上やダイナミックレンジの拡大が求められる。このような要求に対して、特許文献１には、露光条件を異ならせて２枚以上の画像を撮像し、長い露光により得た画像と短い露光により得た画像とを合成して広いダイナミックレンジの画像を形成する技術が開示されている。また、特許文献２には、１つの撮像素子から生成した感度特性の異なる複数の画像を合成して広いダイナミックレンジの画像を形成する技術が開示されている。

特開２００２−２２３３５０号公報 特開２００３−２３０１５８号公報

しかしながら、特許文献１に示されているような異なる露光条件で２枚以上の画像を撮像し合成する方法では、合成される画像の撮像において時間差が生じる。そのため、動きのある被写体を静止画撮像した場合には、動いた部分の画像が２重に撮像されるなどの不具合が発生する。このため、特許文献１に示されているような技術は、動画への適用が画質上難しい課題がある。

また、特許文献２に示されているような１つの撮像素子から感度特性の異なる複数の画像を生成し合成する手法では、１つの撮像素子内に複数の感度特性の画素を設けている。そのため、各感度特性の画像を生成するための空間的な補間により、対応する感度特性の画素以外の画像情報が欠落することがあるという問題がある。また、特許文献１、２に示される技術では、２つ以上の異なる感度特性の画像を合成するために、合成後の感度特性は折れ線となり、変曲点にまたがるような画像の階調性の劣化に対する課題もある。

本発明の目的は、動きのある被写体に対応でき、かつ広いダイナミックレンジ及び高いＳ／Ｎ比を有する画像を得ることができる画像処理装置及び画像処理方法を提供することである。

本発明に係る画像処理装置は、同じ感度特性を有する同色の複数の第１の画素から出力される第１の画像信号を第１の増幅率で増幅し、増幅された前記第１の画像信号を用いて補間を行い第１の補間画像信号を生成する第１の補間画像生成部と、前記第１の画素とは同色の画素であって、同じ感度特性を有する複数の第２の画素から前記第１の画像信号と同一の露光によって出力される第２の画像信号を前記第１の増幅率とは異なる第２の増幅率で増幅し、増幅された前記第２の画像信号を用いて補間を行い第２の補間画像信号を生成する第２の補間画像生成部と、生成された前記第１の補間画像信号及び前記第２の補間画像信号を同じ感度特性に変換する感度特性変換部と、前記感度特性変換部により変換された前記第１の補間画像信号及び前記第２の補間画像信号の一方を画素毎に選択することで合成画像を生成する画像合成部とを有することを特徴とする。

本発明によれば、撮像された画像に動きのある被写体が含まれていても、複数の画像を合成して広いダイナミックレンジ及び高いＳ／Ｎ比を有する画像を得ることができる。

本発明の実施形態に係る画像処理装置の構成例を示す図である。 第１の画像処理に係る構成を説明するための図である。 第２の画像処理に係る構成を説明するための図である。 本実施形態におけるダイナミックレンジの拡大を説明するための図である。 従来の画像合成の例を示す図である。 第１の実施形態における合成制御信号の生成処理例を示すフローチャートである。 第１の実施形態における画像合成の例を示す図である。 第１の実施形態における合成制御部の構成例を示す図である。 第２の実施形態における合成制御信号の生成処理例を示すフローチャートである。 第２の実施形態における合成制御部の構成例を示す図である。 本実施形態における画素補間を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、本実施形態に係る画像処理装置の概略構成例を示すブロック図である。画像処理装置１０１は、第１の画素１０５Ａからなる第１の画素群と、第１の画素群の第１の画素１０５Ａとは異なる第２の画素１０５Ｂからなる第２の画素群とを有する画素部１０５を有している。また、画像処理装置１０１は、増幅部１０７Ａ、１０７Ｂ、補間画像生成部１０２Ａ、１０２Ｂ、感度特性変換部１０６Ａ、１０６Ｂ、及び画像合成部１０４を有する。

第１の増幅部１０７Ａは、第１の画素群から出力された信号を増幅し、第２の増幅部１０７Ｂは、第２の画素群から出力された信号を増幅する。第１の補間画像生成部１０２Ａは、第１の増幅部１０７Ａより出力された第１の画素群の信号を補間し第１の補間画像を生成し、第２の補間画像生成部１０２Ｂは、第２の増幅部１０７Ｂより出力された第２の画素群の信号を補間し第２の補間画像を生成する。第１の感度特性変換部１０６Ａは、第１の補間画像の感度特性を変換し、第２の感度特性変換部１０６Ｂは、第２の補間画像の感度特性を変換する。画像合成部１０４は、感度特性変換部１０６Ａ、１０６Ｂによりそれぞれ感度特性が変換された第１の補間画像及び第２の補間画像を合成制御信号ＳＧ１５に基づいて合成し１つの合成画像を生成する。

また、画像処理装置１０１は、閾値判定部１０８Ａ、１０８Ｂ、補間制御部１０９、及び合成制御部１１０を有する。第１の閾値判定部１０８Ａは、第１の補間画像の信号レベルと第１の閾値レベルとを比較し、比較結果を第１の判定情報ＳＧ１３として出力する。第２の閾値判定部１０８Ｂは、第２の補間画像の信号レベルと第２の閾値レベルとを比較し、比較結果を第２の判定情報ＳＧ１４として出力する。補間制御部１０９は、補間制御信号ＳＧ１１を出力して補間画像生成部１０２Ａ、１０２Ｂの補間動作を制御する。

合成制御部１１０は、閾値判定部１０８Ａ、１０８Ｂからの判定情報ＳＧ１３、ＳＧ１４、及び補間制御部１０９からの補間情報ＳＧ１２に基づいて合成制御信号ＳＧ１５を生成し画像合成部１０４に出力する。補間情報ＳＧ１２は、画素データに対して行われた補間内容を示す情報であり、例えば補間画像生成部１０２Ａ、１０２Ｂで生成された補間画像のどの画素が元の画素信号のままの情報で、どの画素が補間により生成された画素信号かを示す情報である。なお、補間された画素とそうでない画素とが明確に分かれず、すべての画素が補間された画素であるが補間係数の割合が異なるケースもある。そうした場合には、画素毎の補間係数の値などが補間情報に相当する。

ここで、画素１０５Ａ、１０５Ｂの各々は、光電変換を行う光電変換素子を含む。画素１０５Ａ、１０５Ｂは、光電変換素子で発生した電荷を電圧信号に変換して出力する画素出力部や、画素１０５Ａ、１０５Ｂを選択するための画素選択部等をさらに備えていても良い。なお、図の簡略化のために画素部１０５には２個の画素１０５Ａ、１０５Ｂだけを図示しているが、実際には画素部１０５はｍ行×ｎ列の行列状に配置された複数の画素を有する。

画素部１０５の画素群は、モノクロの画素群であっても、カラーの画素群であっても良い。図１に示した画素１０５Ａ、１０５Ｂは、近接した同色の画素同士を示している。例えば、赤、緑、青の３色のカラーフィルターからなる画素部の例では、画素１０５Ａ、１０５Ｂは、赤同士、緑同士あるいは青同士の画素である。つまり、図１に示す画像処理装置１０１は、同色の画素に対して異なる２つの信号処理系を有する。これらの画素は、同一の感度特性を有するとともに、同じタイミングと期間で露光（同一の露光）される。また、ここで同色とはモノクロ画素同士も含むものとする。

また、増幅部１０７Ａ、１０７Ｂは、異なる増幅率に設定できる。ここでは、第１の増幅部１０７Ａの増幅率を８倍とし、第２の増幅部１０７Ｂの増幅率を１倍としている。感度特性変換部１０６Ａ、１０６Ｂは、増幅部１０７Ａ、１０７Ｂの増幅率に対応するように、それぞれの系の増幅率の逆数相当の変換係数を与える。ここでは、第１の感度特性変換部１０６Ａの変換係数を（１／８）倍とし、第２の感度特性変換部１０６Ｂの変換係数を１倍としている。このようにして、全体での感度特性を等しくした、異なる２つの信号処理系で処理された２つの画像信号を用いて画像合成部１０４で１つの画像信号として合成を行う。

本実施形態による画像処理装置は、近接して配置されている、同じ感度特性を有する同色の画素で同一露光により得られた信号を、増幅部１０７Ａ、１０７Ｂにより所定の増幅率で増幅する。そして、画像の合成を行う前に変換して同一の感度特性の画像信号に戻してから、２種類の信号の一方を画素単位で選択することで画像合成を行う。これにより、低輝度部の画素については、増幅部から感度特性変換部までの処理経路で発生するノイズの抑圧を行った信号を選択することで、画像のＳ／Ｎ比を向上し、ダイナミックレンジを拡大することが可能となる。

図１に示した画像処理装置におけるダイナミックレンジの拡大について、図４を参照して説明する。図４（Ａ）〜（Ｃ）において、横軸は画素部１０５に入射する入射光量を示し、縦軸は増幅部からの出力の大きさを示している。また、図４（Ａ）〜（Ｃ）において、出力ＳＩＧ１は、図１に示した第２の増幅部１０７Ｂの増幅率が１倍であるときの、画素部１０５への入射光量に対する第２の増幅部１０７Ｂからの出力レベルを示している。また、出力ＳＩＧ２は、図１に示した第１の増幅部１０７Ａの増幅率がＧ倍であるときの、画素部１０５への入射光量に対する第１の増幅部１０７Ａからの出力レベルを示している。また、出力ＳＩＧ３は、図１に示した第１の増幅部１０７Ａの増幅率がＧ倍であるときの、画素部１０５への入射光量に対する第１の感度特性変換部１０６Ａからの出力レベルを示している。

また、図４（Ａ）〜（Ｃ）において、ＮＡ１、ＮＡ２は画素１０５Ａ、１０５Ｂに起因して生じる画素ノイズを示し、ＮＢ１、ＮＢ２は増幅部１０７Ａ、１０７Ｂから感度特性変換部１０６Ａ、１０６Ｂの間の回路に起因する出力ノイズを示している。画素ノイズＮＡ２は、画素ノイズＮＡ１がＧ倍で増幅されたものに相当し、出力ノイズＮＢ２は、出力ノイズＮＢ１が（１／Ｇ）倍で変換されたものに相当する。

画素ノイズＮＡ１、ＮＡ２は、例えば画素に含まれる画素出力部や画素選択部で発生するノイズ等が考えられる。例えば、画素出力部が、垂直信号線に設けられた定電流源とでソースフォロワ回路を構成するような場合において、定電流源を流れる電流値の時間的な揺らぎ等が画素ノイズＮＡ１、ＮＡ２の要因となり得る。出力ノイズＮＢ１、ＮＢ２には、例えば不図示ではあるが、増幅部から感度特性変換部の間の回路に存在するＡＤ（アナログ・デジタル）変換部を駆動することで発生するノイズ等が含まれる。画素ノイズＮＡ１、ＮＡ２及び出力ノイズＮＢ１、ＮＢ２は、時間によって変動する。図４（Ａ）〜（Ｃ）では、それぞれのノイズレベルを示している。

図４（Ａ）に示されるように、出力ＳＩＧ１は、入射光量がＩｓａｔ１を超えると、出力が飽和してＶｓａｔとなる。ここでは、飽和レベルＶｓａｔは、増幅部１０７の飽和レベルであっても増幅部から感度特性変換部の間の回路の飽和レベルであっても、以下の議論は適用できる。第２の増幅部１０７Ｂにおける増幅率が１倍であるときには、一般に出力ノイズＮＢ１の方が画素ノイズＮＡ１よりも大きいので、出力ノイズＮＢ１が支配的となる。これは、一般的な撮像素子の画素部１０５は水平走査のため低速駆動、低帯域であり、出力アンプは信号を順次出力するので高速駆動、広帯域であることに起因している。つまり、出力ＳＩＧ１が出力ノイズＮＢ１よりも小さくなるような入射光量を受けた画素、すなわち入射光量がＩａより少ない画素からの信号は、出力ノイズＮＢ１の影響のために画素部１０５から正しく取り出すことができない。例えば、画素からの出力レベルが出力ノイズＮＢ１より小さいｖ０であったとする。このとき、出力ｖ０が出力されたタイミングにおいてはノイズのレベルが小さく、入射光量に正しく対応したレベルであることもあれば、本来はｖ０よりも小さいレベルの出力が得られるにも関わらず、ノイズの影響で出力がｖ０になっていることもある。

ここで、出力ＳＩＧ１を得た第２の画素１０５Ｂに近接して配置された、第１の画素１０５Ａから出力された信号に対して、第１の増幅部１０７ＡによりＧ倍（Ｇ＞１）の増幅率をかけることを考える。出力ＳＩＧ２は、出力ＳＩＧ１よりも少ない入射光量Ｉｓａｔ２で飽和出力Ｖｓａｔになる。言い換えると、第１の増幅部１０７Ａの増幅率Ｇが大きいほど、入射光量に対する第１の増幅部１０７Ａからの出力を示す直線ＳＩＧ２の傾きが大きくなる。

また、第１の増幅部１０７Ａの増幅率を変えることで、信号成分のみならず、画素ノイズＮＡ１もＧ倍の増幅率で増幅されて画素ノイズＮＡ２となるが、出力ノイズＮＢ１は第１の増幅部１０７Ａの増幅率に依存しない。そのため、第１の増幅部１０７Ａの増幅率を高くすると、増幅された画素ノイズＮＡ２が出力ノイズＮＢ１を上回るようになる。つまり、第１の増幅部１０７Ａの増幅率をＧ倍にすることで増幅された画素ノイズＮＡ２が支配的となり、出力ノイズＮＢ１が相対的に小さくなる。このとき正しく取り出すことができる信号は、出力ＳＩＧ２のレベルが画素ノイズＮＡ２を上回ったところからである。したがって、第１の増幅部１０７Ａの増幅率が１であるときには支配的であった出力ノイズＮＢ１のために正しく取り出すことができなかった入射光量での信号を取り出すことができるようになる。第１の増幅部１０７Ａの増幅率をＧ倍にすることで入射光量がＩｂからＩａまでの範囲で信号を正しく取り出すことができるようになり、その分だけダイナミックレンジが拡大したこととなる。

そこで、入射光量が０からＩａまでの範囲では第１の増幅部１０７Ａから出力された出力ＳＩＧ２を、入射光量がＩａより大きい領域では第２の増幅部１０７Ｂから出力された出力ＳＩＧ１を利用することが考えられる。しかし、出力ＳＩＧ１、ＳＩＧ２をそのまま用いたのでは入射光量Ｉａを境に信号レベルが大きく変化してしまう。そのため、第１の増幅部１０７Ａから出力された出力ＳＩＧ２を、第１の感度特性変換部１０６Ａで（１／Ｇ）倍して、図４（Ｂ）に示す出力ＳＩＧ３を得る。図４（Ｂ）に示されるように、出力信号ＳＩＧ２を（１／Ｇ）倍することにより得られる出力ＳＩＧ３は、出力ＳＩＧ１と入射光量に対する出力の特性が一致する。同様にして、画素ノイズＮＡ２は、（１／Ｇ）倍されることで画素ノイズＮＡ１と一致する。一方で、出力ノイズＮＢ１は、第１の増幅部１０７Ａの増幅率をＧ倍にしても変化しないので、第１の感度特性変換部１０６Ａで（１／Ｇ）倍すると、出力ノイズＮＢ２になる。

つまり、第１の感度特性変換部１０６Ａで（１／Ｇ）倍することにより、入射光量が０からＩｓａｔ２までの範囲における出力ノイズによるノイズ成分が低減されることで、出力ＳＩＧ１よりも出力ＳＩＧ３が出力ノイズに対するＳ／Ｎ比が高い信号となる。また、入射光量がＩａからＩｓａｔ２の範囲についても出力ＳＩＧ３を利用することでＳ／Ｎ比の高い信号を得ることができる。入射光量がＩｓａｔ２までの領域は、被写体が相対的に暗く、信号Ｓが小さい状態であるので、ノイズレベルが低下することで、Ｓ／Ｎ比が顕著に向上する。

以上のことから図４（Ｃ）に示すように、入射光量が０からＩｓａｔ２までの範囲では出力ＳＩＧ３を利用し、入射光量がＩｓａｔ２よりも大きい範囲では出力ＳＩＧ１を利用する。入射光量がＩｓａｔ２の点についてはどちらを利用しても良いが、出力ＳＩＧ３の方がより高いＳ／Ｎ比となるので、出力ＳＩＧ３を用いることが好ましい。出力ノイズと画素ノイズに着目すると、入射光量が０からＩｓａｔ２までの範囲では出力ノイズＮＢ２よりも画素ノイズＮＡ１の方が支配的となり、入射光量がＩｓａｔ２よりも大きい範囲では出力ノイズＮＢ１が画素ノイズＮＡ１よりも支配的となる。なお、入射光量がＩｂより少ない範囲においては、出力ＳＩＧ３が画素ノイズＮＡ１よりも小さいレベルになってしまう。したがって、画素から出力される信号が有効であるのは、入射光量がＩｂよりも大きい範囲に限られる。しかし、前述のように出力ノイズや画素ノイズは時間的な揺らぎを持っており、動画のように連続的に画像を取得するとノイズ成分が平均化されるので、全体としては画素ノイズＮＡ１よりも低いレベルになる。このため、出力ＳＩＧ３が画素ノイズＮＡ１よりも小さい領域の画像の一部を認識できるようになる。つまり、入射光量の小さい範囲における出力ノイズを抑圧することで、図４（Ｂ）において画素ノイズＮＡ１よりも出力が低くなる入射光量であっても、画像としては認識できる可能性が高まるという効果がある。

前述した説明では、同一の感度を有する異なる同色の画素から出力される信号に対して、２種類の増幅率で増幅する例を説明した。しかし、これに限定されるものではなく、同一の感度を有する異なる画素から出力される信号に対して３種類以上の増幅率で増幅してもよい。これにより、より広範な入射光量の範囲に対してＳ／Ｎ比の向上が実現できる。例えば、増幅部の増幅率を８倍として１倍と組み合わせるだけでなく、３２倍のゲインをかけた信号も加えることで信号が得られる輝度範囲をさらに広げることも可能である。また、増幅部１０７Ａ、１０７Ｂにおける増幅率をＧ倍と１倍に設定する場合を例に説明したが、増幅率の組み合わせを限定するものではない。例えば、１６倍と２倍との組み合わせや、４倍と０．５倍の組み合わせ等でもよい。

また、前述した説明では、感度特性変換部では、Ｇ倍で増幅した信号に対し（１／Ｇ）倍、すなわち増幅部１０７Ａ、１０７Ｂにおける増幅率の逆数をかける処理を行っている。しかし、これは異なる増幅率で増幅して得られた２つの信号の特性を合わせる（図４（Ｃ）に示したように同一直線に乗るようにする）ためのものであるので、必ず（１／Ｇ）倍しなければならないものではない。例えば、増幅部１０７Ａ、１０７Ｂで信号を２倍及び１６倍の増幅率で増幅した場合に、１６倍の増幅率で増幅して得られた信号を（１／８）倍すれば、もう一方の信号と特性を合わせることができる。また、２倍の増幅率で増幅して得られた信号を（１／２）倍し、１６倍の増幅率で増幅して得られた信号を（１／１６）倍しても感度特性を合わせることができる。

このようにして、画像合成部１０４においては合成する２系統の画像信号が同じ感度特性になっているため、画像信号の境界部においても感度特性による不連続が発生せず、階調性の劣化を抑制でき、疑似輪郭のような画質劣化が発生しにくい。

前述した説明ではわかりやすくするために、第１の画素１０５Ａからの信号と近接して配置されている第２の画素１０５Ｂの信号とを合成すると説明したが、実際には画素１０５Ａと１０５Ｂは位置が異なるので空間的なサンプリング位置が異なる。このため、合成する信号は、増幅部１０７Ａ、１０７Ｂと感度特性変換部１０６Ａ、１０６Ｂとの間に設けた補間画像生成部１０２Ａ、１０２Ｂにより、実サンプリングされたデータ間を補間したデータで補って用いている。なお、本実施形態において、補間とは、同色の画素群を第１の画素群と第２の画素群とに分けることで、落ちてしまう解像度を回復させるための空間的な画素補間である。以下、補間画像生成部１０２Ａ、１０２Ｂで行われる画素補間について説明する。

補間画像生成部１０２Ａ、１０２Ｂは、画像に他の信号処理系の画素が存在するため、自らの信号処理系には含まれない位置の画素の信号を、それに近接した自分の画素信号で補間し生成する。図１１（Ａ）は本実施形態における撮像素子の画素部での画素配列の例を示す図である。図１１（Ａ）において、Ｒ、Ｇ、Ｂの記号は、それぞれ赤、緑、青の各色の画素を示している。また、Ｒ、Ｇ、Ｂの記号に続いて付された１と８の数字は、増幅率が１倍の増幅部に信号が入力される画素であるか、増幅率が８倍の増幅部に信号が入力される画素であるかを示している。ここでは、増幅部の増幅率Ｇ倍を８倍とした例で説明している。

ここで、色毎に分けて考える。図１１（Ｂ）は、赤（Ｒ）の画素のみで考えた場合の画素配列を示す図である。赤の画素は、２種類の異なるゲインで振り分けられている。ここで、例えばＲ１画素が第１の画素群の画素１０５Ａに相当し、Ｒ８画素が第２の画素群の画素１０５Ｂに相当するものとする。補間画像生成部１０２Ａ、１０２Ｂは、この各ゲイン毎の画素群から図１２（Ｃ）、図１２（Ｄ）に示すような補間画像を形成する。図１２（Ｃ）はゲイン１倍のＲ１画素のみを用いて画像を形成した場合であり、例えばゲイン１倍の情報のないＲ１Ｐ画素１２０３では、隣同士のＲ１画素１２０１及びＲ１画素１２０２を用いた画素補間により信号が形成される。同様に、図１２（Ｄ）はゲイン８倍のＲ８画素のみを用いて画像を形成した場合であり、例えばゲイン８倍の情報のないＲ８Ｐ画素１２０６では、隣同士のＲ８画素１２０４及びＲ８画素１２０５を用いた画素補間により信号が形成される。

この補間タイミングの情報は、例えばシステムのタイミング発生部などの補間制御部１０９から補間制御信号ＳＧ１１として各補間画像生成部１０２Ａ、１０２Ｂに与えられる。図１に示した例では、第１の補間画像生成部１０２Ａにはインバータ１０３を介して補間制御信号ＳＧ１１を供給し、第２の補間画像生成部１０２Ｂには補間制御信号ＳＧ１１をそのまま供給している。すなわち、第１及び第２の補間画像生成部１０２Ａ、１０２Ｂは、極性が異なるようにして補間制御信号ＳＧ１１が供給されている。

前述のように、画像合成部１０４による２つの画像信号の合成は、合成制御部１１０からの合成制御信号ＳＧ１５によって行われる。本実施形態では、画像合成部１０４は、第１の感度特性変換部１０６Ａ及び第２の感度特性変換部１０６Ｂから入力された２つの画像信号を、合成制御信号ＳＧ１５に従って画素毎に切り替えて合成する。

また、第１の補間画像生成部１０２Ａから出力される信号は、第１の閾値判定部１０８Ａに入力され、第２の補間画像生成部１０２Ｂから出力される信号は、第２の閾値判定部１０８Ｂに入力される。閾値判定部１０８Ａ、１０８Ｂの各々は、入力される信号レベルの各設定閾値に対する上下関係を判定して判定情報ＳＧ１３、ＳＧ１４を出力する。合成制御部１１０は、この両者の判定情報ＳＧ１３、ＳＧ１４を用いて、画像合成の際に２系統の画像信号の何れを用いるかを決定する。本実施形態では、合成制御部１１０が、閾値判定部１０８Ａ、１０８Ｂからの判定情報ＳＧ１３、ＳＧ１４に加えて、補間制御部１０９からの補間情報ＳＧ１２も合わせて用いることで合成制御信号ＳＧ１５を生成する。

本実施形態における画像合成との比較例として従来の画像合成の例について説明する。図５は、従来の画像合成の例を示す図である。図５に示す例は、第２の画素群から得られた第２の補間画像の信号に対してのみ、閾値を設定して合成する場合を示している。図５において、５０１は実際にサンプリングして得られた第１の画素から出力された画素データであり、５０２は実際にサンプリングして得られた第２の画素から出力された画素データであり、破線は実際の被写体から入射する輝度信号のイメージである。

第１の画素群から出力された信号が図５（Ａ）に示すように得られ、第２の画素群から出力された信号が図５（Ｂ）に示すように得られると、それぞれ互いの画素がある位置の信号を補間することで生成する。例としてここでは隣接する画素同士の平均値を算出することで補間データを生成する。画素補間を行うことで、図５（Ｃ）に示すように第１の補間画像が得られ、図５（Ｄ）に示すように第２の補間画像が得られる。５０３は隣接する第１の画素を基に生成された補間データであり、５０４は隣接する第２の画素を基に生成された補間データである。

そして、図５（Ｄ）に示した第２の補間画像の信号レベルを参照して閾値レベルＴＨ１１で判定を行う。判定の結果、閾値を上回る場合には第２の補間画像の信号を使用し、閾値を下回る場合には第１の補間画像の信号を（１／８）倍したものを使用して画像合成を行うと、図５（Ｅ）に示すような合成画像が得られる。ここで、実際の画像において、位置５０５の画素は、輝度レベルの高い周囲の画素に対して１点のみ輝度レベルが低い画素である。位置５０５の画素の信号は、図５（Ｃ）においては実際にサンプリングされた信号であるので被写体からの輝度信号と同じ値を示すが、図５（Ｄ）においては補間された信号であり被写体からの輝度信号からは大きく外れてしまっている。しかし、画像合成においては、位置５０５の画素については第２の補間画像の信号が選択され、合成画像では位置５０５において情報の欠落が発生する。

それに対して、本実施形態では複数の画像を画素単位で合成するための合成制御信号ＳＧ１５を、図６に示すフローチャートに従って生成することで画質劣化を防止する。すなわち、合成制御信号ＳＧ１５を、画像の輝度レベルを基にした判定情報ＳＧ１３、ＳＧ１４に加えて、対象画素の信号が補間により生成された画素であるか否かを示す補間情報ＳＧ１２を用いて生成する。図６は、合成制御部１１０で行われる合成制御信号ＳＧ１５の生成処理の例を示すフローチャートである。

合成制御信号の生成を開始すると、まずステップＳ１１にて、合成制御部１１０は、第１の閾値判定部１０８Ａからの第１の判定情報ＳＧ１３を基に判定を行う。判定の結果、対象画素において第１の補間画像の信号が第１の閾値以上であることを第１の判定情報ＳＧ１３が示していれば、ステップＳ１２にて、合成制御部１１０は、第２の補間画像の信号を選択するよう合成制御信号ＳＧ１５を生成し出力する。一方、ステップＳ１２での判定の結果、対象画素において第１の補間画像の信号が第１の閾値以上であることを第１の判定情報ＳＧ１３が示していなければ、ステップＳ１３に進む。

ステップＳ１３にて、合成制御部１１０は、補間制御部１０９からの補間情報ＳＧ１２を参照し、対象画素の第１の補間画像の信号が補間により生成された信号であるか、補間されていない元の信号であるかを調べる。その結果、補間されていない元の信号である場合には、ステップＳ１４にて、合成制御部１１０は、第１の補間画像の信号を選択するよう合成制御信号ＳＧ１５を生成し出力する。一方、補間により生成された信号である場合には、ステップＳ１５に進む。

ステップＳ１５にて、合成制御部１１０は、第２の閾値判定部１０８Ｂからの第２の判定情報ＳＧ１４を基に判定を行う。判定の結果、対象画素において第２の補間画像の信号が第２の閾値以上であることを第２の判定情報ＳＧ１４が示していれば、ステップＳ１６にて、合成制御部１１０は、第２の補間画像の信号を選択するよう合成制御信号ＳＧ１５を生成し出力する。一方、ステップＳ１５での判定の結果、対象画素において第２の補間画像の信号が第２の閾値以上であることを第２の判定情報ＳＧ１４が示していなければ、ステップＳ１７に進む。ステップＳ１７にて、合成制御部１１０は、第１の補間画像の信号を選択するよう合成制御信号ＳＧ１５を生成し出力する。

前述のようにして生成された合成制御信号ＳＧ１５に従って画像合成を行った例を図７に示す。図７において、５０１は実際にサンプリングして得られた第１の画素から出力された画素データであり、５０２は実際にサンプリングして得られた第２の画素から出力された画素データであり、破線は実際の被写体から入射する輝度信号のイメージである。

第１の画素群から出力された信号が図７（Ａ）に示すように得られ、第２の画素群から出力された信号が図７（Ｂ）に示すように得られると、補間画像生成部１０２Ａ、１０２Ｂは、それぞれ互いの画素がある位置の信号を補間することで生成する。図７（Ｃ）は、第１の画素群から出力された信号を基に画素補間して生成された第１の補間画像の信号を示し、図７（Ｄ）は、第２の画素群から出力された信号を基に画素補間して生成された第２の補間画像の信号を示す。５０３は隣接する第１の画素を基に生成された補間データであり、５０４は隣接する第２の画素を基に生成された補間データである。

図５（Ｅ）において位置５０５として示した画素の信号は、図７（Ｃ）においては実際にサンプリングされた信号であるので被写体からの輝度信号と同じ値を示すが、図７（Ｄ）においては補間された信号であり被写体からの輝度信号からは大きく外れている。本実施形態では、図７（Ｃ）に示した第１の補間画像の信号レベルを参照して第１の閾値レベルＴＨ２１で判定を行うとともに、図７（Ｄ）に示した第２の補間画像の信号レベルを参照して第２の閾値レベルＴＨ２２で判定を行う。さらに、その判定時に補間情報ＳＧ１２を用いて、対象画素の信号が補間された信号であるか否かの判定も行う。そして、図６に示したフローチャートに従って処理を行い、第１及び第２の補間画像の信号を選択して合成することで、図７（Ｅ）に示すような合成画像が得られる。この結果、本実施形態における合成画像では、図５（Ｅ）において位置５０５として示した画素では第１の補間画像の信号５０１が選択され、情報の欠落が発生することを防止することができる。

図８は、第１の実施形態における合成制御部１１０の構成例を示す回路図である。図６に示した合成制御信号ＳＧ１５の生成処理は、ソフトウェアによって実現することもできるが、図８に一例を示すようにハードウェアとしてロジックゲート素子の組み合わせで実現することもできる。

図８において、８０１は合成制御部のブロック全体である。８０２は第２の判定情報ＳＧ１４の入力端子である。第２の判定情報ＳＧ１４は、ハイレベルであるときには第２の補間画像の信号が第２の閾値以上であることを示し、ローレベルであるときには第２の補間画像の信号が第２の閾値未満であることを示すものとする。８０３は補間情報ＳＧ１２の入力端子である。補間情報ＳＧ１２は、ハイレベルであるときには対象画素の第１の補間画像の信号が補間により生成された信号であることを示し、ローレベルであるときには対象画素の第１の補間画像の信号がオリジナルの信号であることを示すものとする。８０４は第１の判定情報ＳＧ１３の入力端子である。第１の判定情報ＳＧ１３は、ハイレベルであるときには第１の補間画像の信号が第１の閾値以上であることを示し、ローレベルであるときには第１の補間画像の信号が第１の閾値未満であることを示すものとする。

８０５は合成制御信号ＳＧ１５の出力端子である。ここでは、図１に示した画像合成部１０４は、合成制御部１１０の出力端子８０５から出力される合成制御信号ＳＧ１５がハイレベルであるときには、第２の感度特性変換部１０６Ｂから入力する信号を出力画像の信号として選択するものとする。また、画像合成部１０４は、合成制御部１１０の出力端子８０５から出力される合成制御信号ＳＧ１５がローレベルであるときには、第１の感度特性変換部１０６Ａから入力する信号を出力画像の信号として選択するものとする。

３つの入力端子８０２、８０３、８０４と１つの出力端子８０５とは、２つのロジックゲート８０６、８０７で接続される。入力端子８０２、８０３から入力した信号は、ＡＮＤゲート（論理積演算回路）８０６に入力される。また、ＡＮＤゲート８０６からの出力信号と、入力端子９０４から入力した信号は、ＯＲゲート（論理和演算回路）８０７に入力される。また、ＯＲゲート８０７からの出力信号が、出力端子８０５より出力される。このようにして図６に示したフローチャートと同等の処理がハードウェアにより実現される。

このように本実施形態では、一方の画像の補間で生成された信号と、もう一方の画像の同じ位置の補間で生成されていない信号とのどちらの信号を用いるべきかを、信号レベルを参照して一方を選択する。これにより、高い周波数の情報の欠落を抑えて、広いダイナミックレンジと高いＳ／Ｎ比を有した高画質な画像を取得することが可能になる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
以下に説明する第２の実施形態は、合成制御部１１０による合成制御信号ＳＧ１５の生成処理が、前述した第１の実施形態と異なる。他の点は前述した第１の実施形態と同様であるので説明は省略し、以下では第２の実施形態における合成制御信号ＳＧ１５の生成処理について説明する。

図９は、第２の実施形態における合成制御信号ＳＧ１５の生成処理の例を示すフローチャートである。合成制御信号ＳＧ１５の生成を開始すると、まずステップＳ２１にて、合成制御部１１０は、補間制御部１０９からの補間情報ＳＧ１２を参照し、対象画素の第１の補間画像の信号が補間により生成された信号であるか否かを調べる。その結果、補間により生成された信号ではなくオリジナルの信号であればステップＳ２２に進み、補間により生成された信号であればステップＳ２５に進む。

ステップＳ２２にて、合成制御部１１０は、第１の閾値判定部１０８Ａからの第１の判定情報ＳＧ１３を基に判定を行う。判定の結果、対象画素において第１の補間画像の信号が第１の閾値以上であることを第１の判定情報ＳＧ１３が示していれば、ステップＳ２３にて、合成制御部１１０は、第２の感度特性変換部１０６Ｂからの信号を選択するよう合成制御信号ＳＧ１５を出力する。一方、ステップＳ２２での判定の結果、対象画素において第１の補間画像の信号が第１の閾値以上であることを第１の判定情報ＳＧ１３が示していなければ、ステップＳ２４に進む。ステップＳ２４にて、合成制御部１１０は、第１の感度特性変換部１０６Ａからの信号を選択するよう合成制御信号ＳＧ１５を出力する。

また、ステップＳ２５に進んだ場合には、ステップＳ２５にて、合成制御部１１０は、第２の閾値判定部１０８Ｂからの第２の判定情報ＳＧ１４を基に判定を行う。判定の結果、対象画素において第２の補間画像の信号が第２の閾値以上であることを第２の判定情報ＳＧ１４が示していれば、ステップＳ２６にて、合成制御部１１０は、第２の感度特性変換部１０６Ｂからの信号を選択するよう合成制御信号ＳＧ１５を出力する。一方、ステップＳ２５での判定の結果、対象画素において第２の補間画像の信号が第２の閾値以上であることを第２の判定情報ＳＧ１４が示していなければ、ステップＳ２７に進む。ステップＳ２７にて、合成制御部１１０は、第１の感度特性変換部１０６Ａからの信号を選択するよう合成制御信号ＳＧ１５を出力する。

図１０は、第２の実施形態における合成制御部１１０の構成例を示す回路図である。図９に示した合成制御信号ＳＧ１５の生成処理は、ソフトウェアによって実現することもできるが、図１０に一例を示すようにハードウェアとしてロジックゲート素子の組み合わせで実現することもできる。

図１０において、１００１は、合成制御部のブロック全体である。１００２は第２の判定情報ＳＧ１４の入力端子である。第２の判定情報ＳＧ１４は、ハイレベルであるときには第２の補間画像の信号が第２の閾値以上であることを示し、ローレベルであるときには第２の補間画像の信号が第２の閾値未満であることを示すものとする。１００３は補間情報ＳＧ１２の入力端子である。補間情報ＳＧ１２は、ハイレベルであるときには対象画素の第１の補間画像の信号が補間により生成された信号であることを示し、ローレベルであるときには対象画素の第１の補間画像の信号がオリジナルの信号であることを示すものとする。１００４は第１の判定情報ＳＧ１３の入力端子である。第１の判定情報ＳＧ１３は、ハイレベルであるときには第１の補間画像の信号が第１の閾値以上であることを示し、ローレベルであるときには第１の補間画像の信号が第１の閾値未満であることを示すものとする。

１００５は合成制御信号ＳＧ１５の出力端子である。ここでは、図１に示した画像合成部１０４は、合成制御部１１０の出力端子１００５から出力される合成制御信号ＳＧ１５がハイレベルであるときには、第２の感度特性変換部１０６Ｂから入力する信号を出力画像の信号として選択するものとする。また、画像合成部１０４は、合成制御部１１０の出力端子１００５から出力される合成制御信号ＳＧ１５がローレベルであるときには、第１の感度特性変換部１０６Ａから入力する信号を出力画像の信号として選択するものとする。

３つの入力端子１００２、１００３、１００４と１つの出力端子１００５とは、４つのロジックゲート１００６、１００７、１００８、１００９で接続される。入力端子１００２、１００３から入力した信号は、ＡＮＤゲート１００６に入力される。また、入力端子１００４から入力した信号は、入力端子１００３から入力した信号をインバータゲート１００９により極性が反転した信号とともに、ＡＮＤゲート１００７に入力される。また、ＡＮＤゲート１００６からの出力信号と、ＡＮＤゲート１００７からの出力信号は、ＯＲゲート１００８に入力される。また、ＯＲゲート１００８からの出力信号が、出力端子１００５より出力される。このようにして図９に示したフローチャートと同等の処理がハードウェアにより実現される。

このように本実施形態では、一方の画像の補間で生成された信号と、もう一方の画像の同じ位置の補間で生成されていないオリジナルの信号とのどちらの信号を用いるべきかを、信号レベルを参照して一方を選択する。これにより、高い周波数の情報の欠落を抑えて、広いダイナミックレンジと高いＳ／Ｎ比を有した高画質な画像を取得することが可能になる。

以上のように、本発明の実施形態に係る画像処理装置は、同一の露光により異なる位置の画素出力を基に複数の画像を取得し、さらに各々に画素補間を施して得られた複数の補間画像から１つの合成画像を生成する。このとき、合成画像の生成に用いられる複数の補間画像は、同じ感度特性を有する、同色の画素の信号を用いて形成する。例えば、図２に示すように、本実施形態の一側面である画像処理装置は、画素部２０５、増幅部２０７Ａ、２０７Ｂ、補間画像生成部２０２Ａ、２０２Ｂ、感度特性変換部２０６Ａ、２０６Ｂ、及び画像合成部２０４を有する。ここで、画素部２０５、増幅部２０７Ａ、２０７Ｂ、及び補間画像生成部２０２Ａ、２０２Ｂは、図１に示した画素部１０５、増幅部１０７Ａ、１０７Ｂ、及び補間画像生成部１０２Ａ、１０２Ｂにそれぞれ対応する。また、感度特性変換部２０６Ａ、２０６Ｂ、及び画像合成部２０４は、図１に示した感度特性変換部１０６Ａ、１０６Ｂ、及び画像合成部１０４にそれぞれ対応する。

第１の補間画像生成部２０２Ａは、画素部２０５の第１の画素２０５Ａからなる第１の画素群からの信号により得られた第１の画像に対して画素補間を行う。また、第１の補間画像生成部２０２Ｂは、画素部２０５の第２の画素２０５Ｂからなる第２の画素群からの信号により、第１の取得画像と同一の露光時間及び露光タイミングで得られた第２の画像に対して画素補間を行う。画素２０５Ａ、２０５Ｂは、異なる画素であり、近接して配置された同色の画素である。また、第１の画素群の第１の画素２０５Ａは同じ感度特性を有し、第２の画素群の第２の画素２０５Ｂは同じ感度特性を有する。画像合成部２０４は、第１の画像を基に生成された第１の補間画像と、第２の画像を基に生成された第２の補間画像とを合成して広いダイナミックレンジの合成画像を生成する。感度特性変換部２０６Ａ、２０６Ｂは、画像合成部２０４の前に設けられ、対応する増幅部２０７Ａ、２０７Ｂの増幅率の逆数相当での感度特性の変換を行い、第１の補間画像と第２の補間画像とを同じ感度特性に変換する。

このような構成により、合成する画像信号の境界前後の輝度が一定割合で変化している場合でも、境界を境に階調の変化する割合が急に変化しないため、擬似輪郭等の画質劣化の発生を防止することができる。これにより、境界前後でも高画質を維持して、動きのある被写体撮像に強い、広いダイナミックレンジと高いＳ／Ｎ比を有した画像が得られる画像処理装置を実現することができる。

また、本発明の実施形態に係る画像処理装置は、複数の画像を画素単位で合成するための合成制御信号を、判定情報に加えて、補間情報を用いて生成する。例えば、図３に示すように、本発明の他の一側面である画像処理装置は、画素部３０５、補間画像生成部３０２Ａ、３０２Ｂ、画像合成部３０４、閾値判定部３０８Ａ、３０８Ｂ、補間制御部３０９、及び合成制御部３１０を有する。ここで、画素部３０５、補間画像生成部３０２Ａ、３０２Ｂ、及び画像合成部３０４は、図１に示した画素部１０５、補間画像生成部１０２Ａ、１０２Ｂ、及び画像合成部１０４にそれぞれ対応する。また、閾値判定部３０８Ａ、３０８Ｂ、補間制御部３０９、及び合成制御部３１０は、図１に示した閾値判定部１０８Ａ、１０８Ｂ、補間制御部１０９、及び合成制御部１１０にそれぞれ対応する。

第１の閾値判定部３０８Ａは、第１の補間画像の信号のレベルが第１の閾値に対してどちらのレベルにいるかを判定して第１の判定情報ＳＧ３３を出力する。また、第２の閾値判定部３０８Ｂは、第２の補間画像の信号のレベルが第２の閾値に対してどちらのレベルにいるかを判定して第２の判定情報ＳＧ３４を出力する。補間制御部３０９は、補間制御信号ＳＧ３１を出力して、補間画像生成部３０２Ａ、３０２Ｂの補間動作を制御する。合成制御部３１０は、第１及び第２の判定情報ＳＧ３３、ＳＧ３４と、補間制御部３０９からの補間情報ＳＧ３２とに基づき、画像合成部３０４での画像合成を制御するための合成制御信号ＳＧ３５を生成し出力する。

このような構成により、一方の画像の補間で生成された信号と、もう一方の画像の同じ位置の補間で生成されていない信号とのどちらの信号を用いるべきかを信号レベルを参照しながら適切な一方を選択可能となる。これにより、高い周波数の情報の欠落を抑えて、広いダイナミックレンジと高いＳ／Ｎ比を有した高画質な画像が得られる画像処理装置を実現することができる。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：画像処理装置 １０２Ａ、１０２Ｂ：補間画像生成部 １０４：画像合成部 １０５：画素部 １０５Ａ、１０５Ｂ：画素 １０６Ａ、１０６Ｂ：感度特性変換部 １０７Ａ、１０７Ｂ：増幅部 １０８Ａ、１０８Ｂ：閾値判定部 １０９：補間制御部 １１０：合成制御部

Claims (5)

1. 同じ感度特性を有する同色の複数の第１の画素から出力される第１の画像信号を第１の増幅率で増幅し、増幅された前記第１の画像信号を用いて補間を行い第１の補間画像信号を生成する第１の補間画像生成部と、
   前記第１の画素とは同色の画素であって、同じ感度特性を有する複数の第２の画素から前記第１の画像信号と同一の露光によって出力される第２の画像信号を前記第１の増幅率とは異なる第２の増幅率で増幅し、増幅された前記第２の画像信号を用いて補間を行い第２の補間画像信号を生成する第２の補間画像生成部と、
   生成された前記第１の補間画像信号及び前記第２の補間画像信号を同じ感度特性に変換する感度特性変換部と、
   前記感度特性変換部により変換された前記第１の補間画像信号及び前記第２の補間画像信号の一方を画素毎に選択することで合成画像を生成する画像合成部とを有することを特徴とする画像処理装置。
2. 前記第１の画素と前記第２の画素とは同じ感度特性を有し、
   前記第１の画素から出力される前記第１の画像信号及び前記第２の画素から出力される前記第２の画像信号を異なる増幅率で増幅する増幅部を有することを特徴とする請求項１記載の画像処理装置。
3. 前記第１の補間画像信号及び前記第２の補間画像信号の信号レベルを閾値と比較し、比較結果を示す判定情報を出力する閾値判定部と、
   前記画像合成部での画像合成を制御する合成制御信号を生成する合成制御部とを有し、
   前記合成制御部は、前記閾値判定部からの判定情報と、前記第１の補間画像生成部及び前記第２の補間画像生成部の補間動作を制御する補間情報とに基づいて前記合成制御信号を生成することを特徴とする請求項１又は２記載の画像処理装置。
4. 前記画像合成部は、前記合成制御信号に基づいて、前記第１の補間画像信号又は前記第２の補間画像信号を画素毎に選択して合成し前記合成画像を生成することを特徴とする請求項３記載の画像処理装置。
5. 同じ感度特性を有する同色の複数の第１の画素から出力される第１の画像信号を第１の増幅率で増幅し、増幅された前記第１の画像信号を用いて補間を行い第１の補間画像信号を生成する第１の補間画像生成工程と、
   前記第１の画素とは同色の画素であって、同じ感度特性を有する複数の第２の画素から前記第１の画像信号と同一の露光によって出力される第２の画像信号を前記第１の増幅率とは異なる第２の増幅率で増幅し、増幅された前記第２の画像信号を用いて補間を行い第２の補間画像信号を生成する第２の補間画像生成工程と、
   生成された前記第１の補間画像信号及び前記第２の補間画像信号を同じ感度特性に変換する感度特性変換工程と、
   前記感度特性変換工程にて変換された前記第１の補間画像信号及び前記第２の補間画像信号の一方を画素毎に選択することで合成画像を生成する画像合成工程とを有することを特徴とする画像処理方法。

Images