JP4208909B2 - 画像処理装置と撮影装置 - Google Patents

Description

本発明は、撮影画像のコントラストを伸張し、視認性の良い画像を生成するものであり、入力画像として高感度撮影画像と低感度撮影画像を取得できる撮影装置に有効な画像処理装置及び撮影装置に関する。

暗い物体を撮影した画像は、暗部の階調が充分に再現されず、黒くつぶれた画像になる。一方、明るい物体を撮影した画像は、撮像素子の電荷蓄積量に比べて電荷の発生が多いため、白く飽和した画像になる。いずれにおいても画像の階調特性が再現されず、視認性の悪い画像という問題点がある。

この問題点を改善するために、特許文献１では撮影条件の異なる２つの画像から合成画像を生成することで、コントラストを伸張する方法が提案されている。特許文献１では画像のある空間周波数成分を強調することを基本としており、露光時間の短い撮影画像の高域成分は強調せず、露光時間の長い撮影画像の高域成分を強調して合成する。

ここで、電荷蓄積の少ない画像の特徴について説明をさらにすると、前述の通り黒くつぶれた領域が多く、かつ、暗部のノイズが多いが、明部の領域のコントラストは高い。以後このような低い感度で撮影した画像を「低感度画像」と呼ぶ。

一方、電荷蓄積の多い画像の特徴について説明をさらにすると、前述の通り白く飽和した領域が多くなるが、暗部のコントラストは高い。以後このような高い感度で撮影した画像を「高感度画像」と呼ぶ。

また、低感度画像を撮影する方法としては、露光時間を短くする方法、または、受光素子の開口面積を小さくする方法がある。一方、高感度画像を撮影する方法としては、露光時間を長くする方法、または、受光素子の開口面積を大きくする方法がある。

よって、特許文献１では、低感度画像の高域成分は強調しないことでノイズを抑えつつ、高感度画像の高域成分を強調して、それぞれの画像を合成することにより、画像の視認性を高める狙いがある。しかし、強調される領域は撮影対象の暗部のエッジ及び明部の低域成分であり、暗部の低域成分や明部のエッジ成分などへは効果が現れない。そのため、特許文献１の方法は、本質的にコントラストを強調する方法には該当しない。

次に、コントラストを強調する方法については特許文献２に開示されている。すなわち、特許文献２では、画面内の局所領域に対するコントラストを強調するため、入力画像に対してエッジ領域を保存する平滑化フィルタ（イプシロンフィルタ）を用いて、注目画素の周辺の画素値を用いた重畳値を計算し、注目画素値を重畳値で除算した値をコントラストとして定めて強調している。

しかし、この特許文献２では黒くつぶれた領域や白く飽和した領域は周辺画素と自画素において変化がなく、コントラストも１になってしまい、強調するのには適当でない。つまり、特許文献２の方法では、既に情報が失われているため、自画素と周辺画素とのコントラストを高めることができない。
特開２００１−３５２４８６公報 特開２００３−８９３５公報

上記したように特許文献１、２の方法を用いることによっては、自画素と周辺画素とのコントラスト（以後、局所コントラストと呼ぶ）を暗部から明部に亘って適切に強調することはできない。

そこで本発明は、少なくとも２つ以上の低感度画像及び高感度画像を用いて、局所コントラストを強調することにより、視認性の良い画像を生成する画像処理装置及びその撮影装置を提供する。

本発明は、一つの被写体を複数の感度で撮影して得られた複数の入力画像のそれぞれに平滑化フィルタを重畳して、複数の第１画像を生成する第１画像生成部と、前記各入力画像の各画素の画素値を、前記入力画像から生成された前記第１画像上で当該画素に対応する画素の画素値で除算することにより、前記複数の入力画像にそれぞれ対応する複数の第２画像を生成する第２画像生成部と、前記各第１画像の各画素の画素値をそれそれ加算して第３画像を生成する第３画像生成部と、前記各第２画像の各画素の画素値を乗算して第４画像を生成する第４画像生成部と、前記第３画像の各画素の画素値と、前記第４画像上で当該画素に対応する画素の画素値とを乗算して一つの出力画像を生成する出力画像生成部と、を具備することを特徴とする画像処理装置である。

また、本発明は、前記一つの被写体を少なくとも２種類の感度で撮影する撮影部を具備し、前記撮影部で撮影された画像を請求項１記載の画像処理装置で画像処理する
ことを特徴とする撮影装置である。

本発明によれば、感度の異なる入力画像を取得し、前記入力画像からコントラストを伸張した視認性の良い画像を生成することができる。

最初に２種類の異なる感度で撮影した低感度画像及び高感度画像からコントラスト伸張画像を生成する画像処理装置１０につい第１の実施形態から第８の実施形態で説明し、次に、この低感度画像及び高感度画像を撮影する撮影装置２００について第９の実施形態から第１１の実施形態で説明する。

（第１の実施形態）
本発明の第１の実施形態に係る画像処理装置１０について図１と図１６，１７に基づいて説明する。

（１）低感度画像、高感度画像の内容
画像処理装置１０には、モノクロの低感度画像及び高感度画像が入力する。この低感度画像及び高感度画像とは、上記で説明した画像である。

なお、以下の説明では実施形態中に画像データを０から２５５までの階調レベル（明るさレベル）とし、また、説明を簡単にするために階調レベルと輝度を１対１の関係としている。しかし、画像データの階調レベルと輝度レベルは予め設定した曲線を描く関係であってもよい。

（２）画像処理装置１０の構成
画像処理装置１０の構成について図１に基づいて説明する。図１は、本実施形態に係る画像処理装置１０の構成図である。

画像処理装置１０は、平滑化フィルタ処理部１２、平滑化フィルタ処理部１４、除算器１６、除算器１８、コントラスト成分の合成部２０、明るさ成分の合成部２２、乗算器２４、Ｌ＿ＬＣＣ用画像処理部２６、Ｌ＿ＧＬＣ用画像処理部２８、Ｈ＿ＬＣＣ用画像処理部３０、Ｈ＿ＧＬＣ用画像処理部３２から構成される。これら各部１２〜３２の機能は、コンピュータに記憶されたプログラムによっても実現できる。

（２−１）平滑化フィルタ処理部１２、１４
まず、平滑化フィルタ処理部１２において、低感度画像に平滑化フィルタを重畳して、下記の式（１）で示す低感度画像の明るさ成分画像（以下、Ｌ＿ＧＬＣとする）を生成する。この後、Ｌ＿ＧＬＣは、Ｌ＿ＧＬＣ用画像処理部２８で画像処理を行う。この画像処理については後述する。

同様に、平滑化フィルタ処理部１４において、高感度画像に対しても、平滑化フィルタを重畳して、下記の式（２）で示す高感度画像の明るさ成分画像（以下、Ｈ＿ＧＬＣとする）を生成する。ここで使用する平滑化フィルタは、後述するが、低感度画像と高感度画像とは異なる平滑化フィルタを使用することもできる。この後、Ｈ＿ＧＬＣは、Ｈ＿ＧＬＣ用画像処理部３２で画像処理を行う。この画像処理については後述する。

（２−２）除算器１６、１８
次に、除算器１６において、低感度画像をＬ＿ＧＬＣで除算することにより、式（３）で示す低感度画像のコントラスト成分画像（以下、Ｌ＿ＬＣＣとする）を生成する。この後、Ｌ＿ＬＣＣは、Ｌ＿ＬＣＣ用画像処理部２６で画像処理を行う。この画像処理については後述する。

同様に、除算器１８において、高感度画像をＨ＿ＧＬＣで除算することにより、式（４）で示す高感度画像のコントラスト成分画像（以下、Ｈ＿ＬＣＣとする）を生成する。この後、Ｈ＿ＬＣＣは、Ｈ＿ＬＣＣ用画像処理部３０で画像処理を行う。この画像処理については後述する。

通常、平滑化フィルタ処理を行うと、原画像の低域空間周波数成分が抽出される。よって、原画像から低域空間周波数成分を減算すれば、高域空間周波数成分が求められることになる。しかし、本実施形態では減算ではなく除算を行っているため、低域空間周波数成分をその画面内での平均輝度と見なし、自画素との比、すなわちコントラストを求めていることになる。よって、除算後の画像をコントラスト成分画像と見なしている。

図１ではＰ（ｘ，ｙ）及びＱ（ｘ，ｙ）に対してそれぞれ個別に画像処理を行っているが、ノイズ除去や階調特性改善を主たる目的として種々の方法を実施できる。詳細については後述するとして、先に明るさ成分の合成及びコントラスト成分の合成を式で示す。

（２−３）明るさ成分の合成部２２
次に、明るさ成分の合成部２２において、式（５）で示すようにＬ＿ＬＣＣとＨ＿ＬＣＣを合成して合成コントラスト成分画像（以下、Ｃ＿ＬＣＣとする）を生成する。

（２−４）コントラスト成分の合成部２０
次に、コントラスト成分の合成部２０において、Ｌ＿ＧＬＣとＨ＿ＧＬＣを合成して、式（６）で示すように合成明るさ成分画像（以下、Ｃ＿ＧＬＣとする）を生成する。

式（６）からも明らかなように、λとμは一つの係数で表されるとともに、最終的にはコントラスト強調係数として扱うことができる。

（２−５）乗算器２４
最後に、乗算器２４において、式（７）で示すように、Ｃ＿ＧＬＣとＣ＿ＬＣＣを乗算してコントラスト伸張画像を生成する。

前述したとおり、式（６）及び式（７）からγ＝λ・μと表される。

（３）画像処理について
次に、Ｌ＿ＧＬＣ用画像処理部２８，Ｈ＿ＧＬＣ用画像処理部３２，Ｌ＿ＬＣＣ用画像処理部２６，Ｈ＿ＬＣＣ用画像処理部３０の画像処理について説明する。

まず低感度画像と高感度画像の差を図１６の表に列挙する。

以上を考慮すると図１７の表のように各画像処理に対して特徴を持たせることができる。

よって、上記の特徴を満たすようなフィルタを設計するのが望ましい。また、ガウス性のノイズ以外にもインパルス性のノイズも含まれることがあり、後述する非線形フィルタを用いることも有効となる。

（４）効果
本実施形態の画像処理装置１０においては、明部の領域のコントラストが高い低感度画像と、暗部の領域のコントラストが高い高感度画像によりコントラストを伸張して、暗部であっても明部であってもコントラストが高い視認性の良いモノクロ画像を生成することができる。

（第２の実施形態）
本発明の第２の実施形態に係る画像処理装置１０について図２に基づいて説明する。

（１）低感度画像、高感度画像の内容
画像処理装置１０には、カラーの低感度画像とカラーの高感度画像からコントラストの高いカラー画像が入力する。

そして、カラーの低感度画像と高感度画像から輝度成分画像と第１色差成分画像と第２色差成分画像を抽出し、輝度成分画像に関して、第１の実施形態の画像処理装置１０と同様の手法を用いて輝度成分のコントラスト伸張画像を生成する。また、第１色差成分画像と第２色差成分画像に関してはそれぞれの平均値を求める画像処理を施し、処理後の画像を再度合成することによって、コントラスト伸張カラー画像を生成する。

（２）画像処理装置１０の構成
図２は、本実施形態に係る画像処理装置１０の構成図であり、以下に順を追って説明する。

（２−１）分離処理部１０２、１０４
まず、低感度画像の輝度成分と色差成分の分離処理部１０２において、カラーの低感度画像から低感度の輝度成分画像（以下、Ｌ＿ＬＣとする）と、低感度の第１色差成分画像（以下、Ｌ＿ＵＣとする）と、低感度の第２色差成分画像（以下、Ｌ＿ＶＣとする）を抽出する。

また、高感度画像の輝度成分と色差成分の分離処理部１０４において、カラーの高感度画像から高感度の輝度成分画像（以下、Ｈ＿ＬＣとする）と、高感度の第１色差成分画像（以下、Ｈ＿ＵＣとする）と、高感度の第２色差成分画像（以下、Ｈ＿ＶＣとする）をそれぞれ抽出する。

（２−２）コントラスト伸張処理部１０６
コントラスト伸張処理部１０６では、第１の実施形態の画像処理装置１０と同様に処理を行い、コントラスト伸張画像Ｃ＿ＬＣを生成する。

処理について、具体的には次のように行う。なお、この輝度成分画像についての各ステップの数式は、第１の実施形態の式（１）から式（７）と同等の処理になるため説明を省略する。

低感度画像については、Ｌ＿ＬＣに平滑化フィルタを重畳して、低感度画像の明るさ成分画像Ｌ＿ＧＬＣを生成する。

同様に、高感度画像についても、Ｈ＿ＬＣに平滑化フィルタを重畳して、高感度画像の明るさ成分画像Ｈ＿ＧＬＣを生成する。

次に、低感度画像のＬ＿ＧＬＣで除算することにより、低感度画像のコントラスト成分画像Ｌ＿ＬＣＣを生成する。

同様に、高感度画像のＨ＿ＧＬＣで除算することにより、高感度画像のコントラスト成分画像Ｈ＿ＬＣＣを生成する。

次に、Ｌ＿ＧＬＣとＨ＿ＧＬＣを合成して、合成明るさ成分画像Ｃ＿ＧＬＣを生成する。

次に、Ｌ＿ＬＣＣとＨ＿ＬＣＣを合成して、合成コントラスト成分画像Ｃ＿ＬＣＣを生成する。

次に、Ｃ＿ＧＬＣとＣ＿ＬＣＣを乗算して、コントラスト伸張画像Ｃ＿ＬＣを生成する。

（２−３）第１色差成分合成処理部１０８
第１色差成分合成処理部１０８において、式（８）に示すように、Ｌ＿ＵＣとＨ＿ＵＣを合成して合成第１色差成分画像Ｃ＿ＵＣを生成する。

（２−４）第２色差成分合成処理部１１０
第２色差成分合成処理部１１０において、式（９）で示すように、Ｌ＿ＶＣとＨ＿ＶＣを合成して合成第２色差成分画像Ｃ＿ＶＣを生成する。

（２−５）カラー画像生成処理部１１２
最後に、カラー画像生成処理部１１２において、Ｃ＿ＬＣとＣ＿ＵＣ及びＣ＿ＶＣを合成して、コントラスト伸張カラー画像を生成する。

（３）効果
本実施形態の画像処理装置１０においては、明部の領域のコントラストが高い低感度画像と、暗部の領域のコントラストが高い高感度画像によりコントラストを伸張して、暗部であっても明部であってもコントラストが高い視認性の良いカラー画像を生成することができる。

（４）変更例１
ここで、明るさ成分画像，第１色差成分画像及び第２色差成分画像のいずれにおいても重み係数として同じ記号を用いているが、それぞれ比率を変えて合成することは可能である。

一般的に低感度画像は明るい被写体を捉えることができるため、色についても良好な撮影が可能となるが、高感度画像では暗い被写体が捉えられても、色によっては強度が足りず、色のバランスが崩れている。

よって、低感度画像によって撮影した第１色差成分及び第２色差成分への重率を大きくした方が良好なカラー画像を得やすい。

（５）変更例２
また、上記で用いる輝度成分画像、第１色差成分画像及び第２色差成分画像は、入力画像信号である赤成分（Ｒ），緑成分（Ｇ），青成分（Ｂ）から以下の式により輝度成分（Ｙ），第１色差成分（Ｕ）及び第２色差成分（Ｖ）を計算することにより求めることができる。このような画像変換方法は放送規格によって一般的に定められている計算を適宜使用することができる。

（第３の実施形態）
本発明の第３の実施形態に係る画像処理装置１０について図３〜図８に基づいて説明する。

（１）ハロー現象
明るさ成分画像は、入力画像の映像コンテンツにおいて、一般的に外光や照明光に相当するため、物体に対して一様な輝度成分になる。つまり、低い空間周波数成分となるため、明るさ成分画像の生成には入力画像にローパスフィルタをかけることが有効となる。以下ではローパスフィルタを「平滑化フィルタ」と呼ぶ。

平滑化フィルタも種々採用することが可能であり、基本的なフィルタとしてはフィルタ係数を一定に畳み込み演算を行う線形フィルタが上げられる。例えば、図３にガウシアンフィルタと平均値フィルタのフィルタ係数例を示す。

このような線形フィルタを用いた場合は、画像によって、図４（ａ）に示すような物体境界に輝度むら（以下、ハロー現象と呼ぶ）が発生する。発生の理由は、線形フィルタを使用した場合に明るさ成分画像が物体の境界でも一様なフィルタ処理が行われるため、図４（ｂ）のように隣接物体間（ここでは、黒い丸物体と白背景が境界）で信号の混入が生じるためである。

（２）ハロー現象を改善する方法
（２−１）第１の方法
ハロー現象を改善する第１の方法として、複数の線形フィルタを使用し、複数の明るさ成分画像とコントラスト成分画像をそれぞれ生成し、それぞれの成分画像を再度重率加算する方法が採用できる。

上記各実施形態においても低感度画像と高感度画像のそれぞれに対して、上記方法を採用することが可能である。

（２−２）第２の方法
ハロー現象を改善する第２の方法について図５に基づいて説明する。図５（ａ）は中心の画素の係数が周辺の画素の係数より十分に大きいフィルタの例である。図５（ｂ）は中心の画素の係数と周辺の画素の係数との差が小さいフィルタの例である。

第２の方法としては、低感度画像と高感度画像とでフィルタ係数を変える方法がある。

低感度画像では明るい物体はコントラストが保たれており、逆に暗い物体は黒くつぶれている。一方、高感度画像は明るい物体は白側に飽和して白つぶれを起こし、暗い物体はコントラストが保たれている。

よって、低感度画像では明るい物体の明るさ成分が入力画像の信号値に近くなるように、中心の画素の入力画像の信号値が低感度画像用の閾値より高い場合には、中心の画素の係数が周辺の画素の係数より十分に大きいフィルタを使用する。高感度画像では暗い物体の明るさ成分が入力画像の画素値に近くなるように、中心の画素の入力画像の信号値が高感度画像用の閾値より低い場合には、中心の画素の係数が周辺の画素の係数より十分に大きいフィルタを使用する。

すなわち、フィルタ処理を行うブロックの中心画素の輝度レベルあるいはブロック内の平均輝度レベルに応じてフィルタ係数を変える。例えば、低感度画像では中心画素の輝度レベルが高い時は図５（ａ）に示すフィルタを使用し、中心画素の輝度レベルが低い時は図５（ｂ）に示すフィルタを使用する。一方、高感度画像では中心画素の輝度レベルが低い時は図５（ａ）に示すフィルタを使用し、中心画素の輝度レベルが高い時は図５（ｂ）に示すフィルタを使用する。

（２−３）第３の方法
ハロー現象を改善する第３の方法について図６〜図８に基づいて説明する。

第３の方法としては、明るさ成分画像を生成する方法として、物体境界を保持しながら平滑化処理が可能となる非線形フィルタを使用する。

図６は非線形フィルタとしてεフィルタを用いた例である。εフィルタではフィルタ処理を行うブロックの中心画素と周辺の画素の信号レベルでの絶対値差分を求め、その差分値がある閾値（以下、ε値と呼ぶ）以下の場合は周辺画素の値を保持し、閾値より大きい時は周辺画素の値を中心の画素の値に置き換える。

図６では中心画素をグレーであり、周辺画素が白または黒になっており、黒の周辺画素とグレーの中心画素の差分値はε値以下であり、白の周辺画素とグレーの中心画素の差分値はε値より大きい例である（図６（ａ））。よって、白の画素は中心のグレーの画素値に置き換えられてから（図６（ｂ））、５×５の平滑化処理が行われる。

εフィルタはエッジを保存しつつ、小信号ノイズ（またはガウスノイズ）を除去する性質があるため、小信号ノイズが抑えられた明るさ成分が得られる。

ノイズの種類としてはこの他にインパルス性のノイズがあり、インパルス性ノイズ除去にはメディアンフィルタが効果的である。メディアンフィルタとはブロック内の画素を階調レベル順に並べ、その中間値を選択するフィルタである。

図７にはメディアンフィルタとεフィルタを組み合わせたメディアン−εフィルタフィルタの例を示しており、更にメディアンフィルタのブロックサイズは斜線部の３×３とし（図７（ａ））、εフィルタのブロックサイズはドット部の５×５としている（図７（ｂ））。ブロックサイズは大きくない方が演算コストを抑えることができる上、インパルスノイズの発生確率が余り高くない場合はブロックサイズを小さくしても充分効果が得られるためである。

Ｗ（ｘ，ｙ）はフィルタの出力値、Ｔ（ｉ，ｊ）はフィルタ係数、Ｙ（ｘ−ｉ，ｙ−ｊ）はブロック内の画素値を示している。また、ｍｅｄ｛Ｘ（ｘ，ｙ）｝はブロック内のメディアン値になっており、εフィルタで差分値がεより大きい場合にはメデイアン値に置き換えられている。

次に、ε値の設定方法であるが、どのような方法でも構わないが、目的に入力画像のデータに応じて変化させることができる。

例えば、暗部のコントラスト伸張を行うと、ノイズ成分のコントラストも伸張されてしまい、視認されにくくなることがある。暗部や明部では黒つぶれあるいは白つぶれが発生し、物体の信号成分が失われていることが多い。よって、明るさ成分画像に信号を多く残すことで、コントラスト成分を１に近づける、すなわち合成コントラスト成分画像への影響を弱めることができる。

より具体的には、以下の式のように、入力画像の階調レベルに応じて、ε値を変動させる。図８にはξ値を０．５としたときのε値を示している。暗い階調レベルあるいは明るい階調レベルにおいてはε値が小さいため、入力画像が周辺画素の影響を受けずにそのまま明るさ成分画像のデータとなり、中間の階調レベルではε値が大きいため、入力画像と周辺画素による平滑化処理データが明るさ成分画像のデータとなる。よって、入力画像を明るさ成分画像で除算したコントラスト成分画像のデータは、暗い階調レベルあるいは明るい階調レベルでは１に近くなる。

（第４の実施形態）
本発明の第４の実施形態に係る画像処理装置１０について説明する。

上記各実施形態では、コントラスト成分画像を生成するために、入力画像を明るさ成分画像で除算することになるが、明るさ成分画像が０となった場合はコントラストが計算できなくなる。

よって、明るさ成分画像は０よりも大きいことが条件となるが、実際に明るさ成分画像にも誤信号が混入する可能性があるため、閾値Ｔｈを設けて前処理をした方が良い。通常は閾値Ｔｈを１とし、０となる画素についてのみ画像データを１にクリッピングすればよい。

しかし、低感度画像と高感度画像のそれぞれに対して、閾値Ｔｈを異ならせることも可能である。

例えば、低感度画像では、明るい物体はコントラストが保たれており、逆に暗い物体は黒くつぶれているため、暗い物体にはノイズが多く含まれている可能性が高く、画像データの信頼が低いとして、閾値Ｔｈを更に大きい値（例えば、１０など）に設定する。

一方、高感度画像では、明るい物体は白側に飽和して白つぶれを起こし、暗い物体はコントラストが保たれているため、明るい物体にはノイズが多く含まれている可能性が高く、画像データの信頼が低いとして、閾値Ｔｈ（例えば、２４５）を超える値に対してクリッピングすることも可能である。

（第５の実施形態）
本発明の第５の実施形態に係る画像処理装置１０について図９と図１０に基づいて説明する。

合成明るさ成分画像を生成するために、第１の実施形態のように、重率加算を用いることができるが、低感度画像と高感度画像の明るさが大きく異なる場合は明るさが全体的に暗くなるあるいは明るくなってしまい、コントラスト成分を乗算したときに黒つぶれ（画像データが０付近となる）あるいは白つぶれ（画像データが最大階調２５５）してしまう。よってコントラスト伸張効果が得られにくい。

そこで、合成明るさ成分画像の平均階調レベルを所望の階調レベルにするため、それぞれの明るさ成分画像の明るさ調整を行うことが有効となる。その方法を下記に説明する。

（１）第１の方法
第１の方法は、例えば、合成明るさ成分画像の平均階調レベルを１２０とする際、高感度画像の明るさ成分画像の平均階調レベルが２００、低感度画像の明るさ成分画像の平均階調レベルが６０であった場合、前処理として、高感度画像の各画素を０．６倍（＝１２０／２００）、低感度画像の各画素を２．０倍（＝１２０／６０）として同じ階調レベル１２０に調整する。図９は画像データが変換された例を示している。図９（ａ）は高感度画像の処理結果を、図９（ｂ）は低感度画像の処理結果をそれぞれ示している。

（２）第２の方法
第２の方法として、低感度画像では明るい物体はコントラストが保たれており、逆に暗い物体は黒くつぶれており、一方、高感度画像は明るい物体は白側に飽和して白つぶれを起こし、暗い物体はコントラストが保たれているという理由から、それぞれ信頼できるデータのみを用いて平均階調レベルを求めておくこともできる。

例えば、低感度画像では予め設定した閾値Ｔｈ（例えば、１０）より大きい画像データのみを用いて、低感度画像の明るさ成分画像の平均階調レベルを求め、高感度画像では予め設定した閾値Ｔｈ（例えば、２４５）より小さい画像データのみを用いて、高感度画像の明るさ成分画像の平均階調レベルを求め、それぞれの平均階調レベルが合成明るさ成分画像の平均階調レベルとなるように変調することもできる。

（３）第３の方法
第１の方法に示すように、合成明るさ成分画像を生成するために、低感度画像及び高感度画像の各明るさ成分画像の平均の明るさを利用して、合成明るさ成分画像の明るさ調整を行う方法もある。これに代えて、第３の方法としては、それぞれのヒストグラムを求め、ヒストグラム平滑化処理を前処理として行うこともできる。

ヒストグラム平滑化処理はどのような方法でもよいが、例えば低感度画像において、ある階調レベルＬ１の輝度を平滑化によってＬ２に変換する場合、Ｌ１までに含まれる累積画素数Ｃ１（Ｌ１）と、平滑化後のＬ２までに含まれる累積画素数Ｃ２（Ｌ２）が同じとなるようにする。上記は以下の関係式を用いて変換できる。

図１０は画像データが変換された例を示している。図１０（ａ）は低感度画像の明るさ成分画像のヒストグラムを、図１０（ｂ）はヒストグラム平滑化処理により低感度画像の明るさ成分画像の各信号レベルが変換された結果を示している。

（４）第４の方法
第４の方法について説明する。低感度画像では明るい物体はコントラストが保たれており、逆に暗い物体は黒くつぶれており、一方、高感度画像は明るい物体は白側に飽和して白つぶれを起こし、暗い物体はコントラストが保たれている。この理由から、第４の方法では、それぞれ信頼できるデータのみを累積して、累積後の輝度レベルが同じになるように変調を行う。

例えば、低感度画像で最大輝度レベル２５５から降順に各レベルの画素数を累積し、累積画素数がＮとなった輝度レベルＬＮと、高感度画像で最低輝度レベル０から昇順に各輝度レベルの画素数を累積し、累積画素数がＭとなった輝度レベルＬＭが、ＮとＭの和が画面全体の画素数Ｓとほぼ一致するように変調する。

（第６の実施形態）
本発明の第６の実施形態に係る画像処理装置１０について説明する。

合成コントラスト成分画像を生成するために、第１の実施形態のように、低感度画像及び高感度画像の各コントラスト成分画像の乗算値を使用して、合成コントラスト成分画像を求めることができる。

その理由は、低感度画像においては、明るい物体はコントラストが保たれており、逆に暗い物体は黒くつぶれてしまう。一方、高感度画像はおいては、明るい物体は白側に飽和して白つぶれを起こし、暗い物体はコントラストが保たれている。したがって、低感度画像の黒い物体はコントラストが１となり、高感度画像のコントラスト成分との乗算により、高感度画像のコントラスト成分が合成コントラスト画像となり、高感度画像の明るい物体はコントラストが１となり、低感度画像のコントラスト成分との乗算により、低感度画像のコントラスト成分が合成コントラスト画像となるためである。これにより、合成コントラスト成分画像では暗い物体から明るい物体までのコントラストが保持された画像になる。

そこで第６の実施形態では、第１の実施形態とは異なる方法として、輝度レベルに応じてコントラスト成分を変調する。

低感度画像では暗い物体のコントラスト成分は信頼度が低く、一方、高感度画像は明るい物体のコントラスト成分の信頼度が低い。よって、コントラスト成分画像の各データを累乗計算し、低感度画像では明るさ成分画像の輝度レベルが低い画素のコントラストが１に近くなるように、高感度画像では明るさ成分画像の輝度レベルが高い画素のコントラストが１に近くなるように変調する。上記は以下の式として表せる。

（第７の実施形態）
本発明の第７の実施形態に係る画像処理装置１０について図１１に基づいて説明する。

合成コントラスト成分画像を生成するために、低感度画像及び高感度画像の各コントラスト成分画像において、入力画像のノイズの影響によりコントラスト成分にもノイズが混入する。

よって、図１１（ａ）のブロック図に示すように、コントラスト成分画像においてもノイズ除去を行うことで、合成コントラスト伸張画像からもノイズを除去できる。

各コントラスト成分画像へのノイズ除去の方法は、前述の線形フィルタや非線形フィルタを用いることができる。より好ましくは、隣接画素間のコントラストが鮮明に表現したいため、非線形のフィルタを用いる方が良い。また、コントラスト成分は除算処理により、極端に大きい値が得られることも多いため、インパルス状のノイズ除去が有効である。

また、図１１（ｂ）のブロック図に示すように、それぞれのコントラスト成分画像にノイズ除去を行ってから、それぞれのコントラスト成分画像を乗算し、合成コントラスト画像を求めることできる。

また、それぞれのコントラスト成分画像を乗算して、合成コントラスト画像を求めてから、ノイズ除去を行うこともできる。

（第８の実施形態）
本発明の第８の実施形態に係る画像処理装置１０について図１２に基づいて説明する。

コントラスト伸張画像は合成明るさ成分画像と合成コントラスト成分画像の乗算によって生成するが、合成明るさ成分画像の画像データが大きく、かつ、合成コントラスト成分画像の画像データも大きい場合は、表示デバイスで表現可能な最大階調レベルより大きくなってしまう。

簡単には、表示可能な最大階調レベル（例えば２５５）以上となるコントラスト伸張画像の画像データは２５５に置き換える。一方、合成明るさ成分画像の画像データが小さく、かつ、合成コントラスト成分画像の画像データも小さい場合は、コントラスト伸張画像の画像データが０となる。このようにコントラスト伸張画像において０または２５５以上にデータが偏る場合は、黒つぶれあるいは白つぶれとなってしまう。

よって、コントラスト伸張画像において、演算レベル数を増やし（例えば１０２４）、第５の実施形態の第１の方法のような係数演算を行い２５５へ変換するか、第５の実施形態の第３の方法のようなヒストグラム平滑化処理を行うことが有効となる。

図１２は、本実施形態のブロック図を示し、係数演算やヒストグラム平滑化処理はレベル変換処理で行っている。

（第９の実施形態）
本発明の第９の実施形態に係る撮影装置２００について説明する。

コントラスト伸張画像を生成するためには上記の画像処理装置１０の他に、低感度画像及び高感度画像を取得するための撮影装置２００が必要になる。

図１３は、画像処理装置１０を含めた撮影装置２００のブロック図である。

図１３に示すように、この撮影装置２００は、低感度画像と高感度画像の２つの画像を撮影できるＣＭＯＳよりなる撮像デバイス２０２，２０４と、それぞれをアナログデータからデジタルデータに変換するＡＤ変換部２０６，２０８と、デジタルデータを保存するフレームメモリ２１０，２１２と、各フレームメモリ２１０，２１２からデータを読出し前記各実施形態の画像処理を行う画像処理装置１０と、コントラスト伸張画像を保存するフレームメモリ２１４から基本的に構成される。

（第１０の実施形態）
本発明の第１０の実施形態に係る撮影装置２００について図１４に基づいて説明する。

低感度画像及び高感度画像を取得するための撮像デバイス２０２，２０４として、開口部の小さい素子２１６と開口部の大きい素子２１８の両方を有する構成を設け、それぞれの開口に応じた画像処理を構築することができる。

例えば、図１４（ａ）に示すように、低感度画像用デバイスの素子２１６の開口部に対して、高感度画像用デバイスの素子２１８の開口部が２倍の大きさとし、それぞれを市松状に配置するものとする。

撮影されたそれぞれの画像は白つぶれ及び黒つぶれがなく、かつノイズがないとすると、理想的には高感度画像の明るさが低感度画像の明るさの２倍になるだけである。よって、画像処理においても明るさ成分画像はほぼ２倍になっているはずである。

実際には白つぶれや黒つぶれが発生するため、被写体によって２倍とはならない。そこで、高感度画像の中間レベルと低感度画像の中間レベルを抽出し、隣接する画素が画像データを持つかどうかを調べる。

例えば、図１４（ｂ）に示すように、低感度画像の周辺にある４つの高感度画像の内１つでも中間レベルの画像データを有しているとすると、前記低感度画像の画素のデータは有効とする。それに対し、低感度画像の周辺にある４つの高感度画像の全てが中間レベルの画像データを有していないとすると、周辺では低感度画像と高感度画像の両方を同時に撮影することはできなかったとして、前記低感度画像の画素のデータを無効とする。高感度画像の画素のデータについても同様に有効あるいは無効の判断をする。そして、有効となった画素のデータのみを用いて平均値を求め、第６の実施形態の処理を引き続き行う。このような処理によりデバイスと画像処理とを効果的に調整することができる。

（第１１の実施形態）
本発明の第１１の実施形態に係る撮影装置２００について図１５に基づいて説明する。

低感度画像及び高感度画像を取得するための撮像デバイス２０２，２０４として、受光時間の短い素子２１６と受光時間の長い素子２１８の両方を有する構成を設け、それぞれの受光時間に応じた画像処理を構築することができる。

例えば、図１５に示すように、低感度画像用の素子２１６の受光時間を高感度画像用の素子２１８の受光時間の半分にする。このような受光時間の制御は、例えば、各素子からデータを読み出し始めるタイミングを制御することで実現することができる。

画像処理方法は、撮影装置２００の第２の実施形態と同様に、明るさ成分画像の生成における調整パラメータとして使用できる。

なお、上記のように２つの素子を設けることもできるが、１つの素子で２つの受光時間による撮影が可能な仕組みを設けても良い。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、ＣＣＤを含め別の方法により得られた露光条件の異なる２つ以上の原画像から、コントラストを伸張した視認性の良い画像を形成するために有効な手法である。

また、上記モノクロ画像、上記カラー画像に代えて、Ｒ、Ｇ、Ｂの各画像、シアン、マゼンダ、イエロー、グリーンの各補色の画像を用いてもよい。

また、上記各実施形態において低感度画像と高感度画像の２種類の感度で撮影した画像を用いて説明したが、３種類以上の感度で撮影した異種感度画像を用いる場合でも同様である。

本発明の第１の実施形態の画像処理装置のブロック図である。 第２実施形態の画像処理装置のブロック図である。 第３実施形態のフィルタ処理の係数を示す図である。 同実施形態のハローー現象を説明する図である。 同実施形態の別のフィルタ係数を示す図である。 同実施形態のεフィルタを説明する図である。 同実施形態のεメディアンフィルタを説明する図である。 同実施形態の画像処理におけるε値の例を示す図である。 第５の実施形態の画像処理装置における変換される画像データを示す図である。 同実施形態の画像処理装置における変換される画像データを示す図である。 第７の実施形態の画像処理装置のブロック図である。 第８の実施形態の画像処理装置のブロック図である。 本発明の第１の実施形態の撮影装置のブロック図である。 第２の実施形態の撮影装置における撮像デバイスの構成を示す図である。 第３の実施形態の撮影装置における撮像デバイスの構成を示す図である。 第１の実施形態の画像処理装置における低感度画像と高感度画像の差を示す表である。 第１の実施形態の画像処理装置における各画像処理に対する特徴を示す表である。

符号の説明

１０ 画像処理装置
１２ 平滑化フィルタ処理部
１４ 平滑化フィルタ処理部
１６ 除算器
１８ 除算器
２０ コントラスト成分の合成部
２２ 明るさ成分の合成部
２４ 乗算器
２６ Ｌ＿ＬＣＣ用画像処理部
２８ Ｌ＿ＧＬＣ用画像処理部
３０ Ｈ＿ＬＣＣ用画像処理部
３２ Ｈ＿ＧＬＣ用画像処理部

Claims (11)

1. 一つの被写体を複数の感度で撮影して得られた複数の入力画像のそれぞれに平滑化フィルタを重畳して、複数の第１画像を生成する第１画像生成部と、
   前記各入力画像の各画素の画素値を、前記入力画像から生成された前記第１画像上で当該画素に対応する画素の画素値で除算することにより、前記複数の入力画像にそれぞれ対応する複数の第２画像を生成する第２画像生成部と、
   前記各第１画像の各画素の画素値をそれそれ加算して第３画像を生成する第３画像生成部と、
   前記各第２画像の各画素の画素値を乗算して第４画像を生成する第４画像生成部と、
   前記第３画像の各画素の画素値と、前記第４画像上で当該画素に対応する画素の画素値とを乗算して一つの出力画像を生成する出力画像生成部と、
   を具備する
   ことを特徴とする画像処理装置。
2. 前記各入力画像から輝度成分、第１色差成分、及び、第２色差成分を抽出して、複数の輝度画像、複数の第１色差画像、及び、複数の第２色差画像を生成する抽出部と、
   前記複数の第１色差画像の各画素の画素値をそれぞれ加算して第３色差画像を生成する第３色差画像合成部と、
   前記複数の第２色差画像の各画素の画素値をそれぞれ加算して第４色差画像を生成する第４色差画像合成部と、
   前記第１画像生成部は、前記輝度画像を新たな入力画像として前記第１画像を生成し、
   前記出力画像生成部は、前記出力画像に前記第３色差画像及び前記第４色差画像を合成することにより新たな出力画像を生成する、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記第１画像生成部は、前記平滑化フィルタとして、線形の低域通過フィルタ、または、エッジ保存型の非線形の低域通過フィルタを用いる
   ことを特徴とする請求項１記載の画像形成方法。
4. 前記第３画像生成部は、前記各第１画像を平均階調レベルにそれぞれ調整した後、前記第３画像を生成する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記第３画像生成部の調整は、
   前記各第１画像のヒストグラムをそれぞれ求め、
   前記各ヒストグラムに基づいて前記各第１画像の重み付け平均値を求め、
   前記各重み付け平均値によって前記各第１画像を平均階調レベルにそれぞれ調整する
   ことを特徴とする請求項４記載の画像処理装置。
6. 前記第４画像は、前記各第２画像に平滑化フィルタをそれぞれ重畳し、前記各重畳画像の各画素の画素値を乗算して求める
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記出力画像生成部は、前記第３画像と前記第４画像との乗算値について、前記出力画像を表示する表示装置に入力可能な階調レベルの範囲内に収まるように閾値処理を行う
   ことを特徴とする請求項１記載の画像処理装置。
8. 前記一つの被写体を少なくとも２種類の感度で撮影する撮影部を具備し、
   前記撮影部で撮影された画像を請求項１記載の画像処理装置で画像処理する
   ことを特徴とする撮影装置。
9. 前記撮影部は、
   低感度画像を取得するための受光素子と、
   高感度画像を取得するための前記低感度画像用の受光素子より開口が大きい受光素子とで構成されている
   ことを特徴とする請求項８記載の撮影装置。
10. 前記撮影部は、
    低感度画像を取得するための受光素子と、
    高感度画像を取得するために前記低感度画像用の受光時間より長い受光時間の受光素子とで構成されている
    ことを特徴とする請求項８記載の撮影装置。
11. 一つの被写体を複数の感度で撮影して得られた複数の入力画像のそれぞれに平滑化フィルタを重畳して、複数の第１画像を生成し、
    前記各入力画像の各画素の画素値を、前記入力画像から生成された前記第１画像上で当該画素に対応する画素の画素値で除算することにより、前記複数の入力画像にそれぞれ対応する複数の第２画像を生成し、
    前記各第１画像の各画素の画素値をそれそれ加算して第３画像を生成し、
    前記各第２画像の各画素の画素値を乗算して第４画像を生成し、
    前記第３画像の各画素の画素値と、前記第４画像上で当該画素に対応する画素の画素値とを乗算して一つの出力画像を生成する
    ことを特徴とする画像処理方法。

Images