JP4318553B2 - 画像信号処理装置 - Google Patents

Description

本発明は、撮像素子により生成された画像信号を処理する画像信号処理装置に関し、特に撮像素子での露光時間に応じたノイズを抑制する技術に関する。

デジタルカメラ等の撮像装置においては、被写体の明るさに応じて自動的に、又は手動にて露光時間を調節することにより、好適な信号レベルの画像信号を得ることができる。

図６は、撮像素子により生成された画像信号を処理する従来の画像信号処理装置の構成を示すブロック図である。ＣＣＤ（Charge Coupled Device：電荷結合素子）イメージセンサ等の撮像素子２から出力された画像信号は、アナログ信号処理回路４での処理後、Ａ／Ｄ変換回路６にてデジタルデータに変換され、デジタル信号処理回路８に入力される。デジタル信号処理回路８は、モアレの原因となるノイズを除去するために低域通過フィルタ（ＬＰＦ）１０を備える。ＬＰＦ１０は、垂直、水平各方向に関してサンプリング周波数の１／２の周波数成分をトラップする。ＬＰＦ１０の出力はガンマ補正回路１２にて階調補正処理を施される。また、自動露光制御動作においてデジタル信号処理回路８は、１フレームの画像信号の積分値を求め、それが適正レベルとなるように露光時間をフィードバック制御する。

輪郭補正回路１４は、画質調整の一つである輪郭強調処理を行う。輪郭強調処理の原理は、画像中のエッジ部にて大きく振れる画像信号の二次微分波形を求め、これに適当なゲインを乗じて、元の画像信号に合成するというものである。

被写体が暗くなるとそれにつれて撮像素子における露光時間も長く設定される。露光時間が長くなると、暗電流に起因するショット雑音が増加するという問題があった。さらに、輪郭強調処理においては、ショット雑音の立ち上がり、立ち下がりもエッジとして検出され輪郭強調される。このように輪郭強調を行う場合にはショット雑音が画面上にて目立つように表示されるため、露光時間の増加に伴うショット雑音の増加による画質劣化が顕著になる。

本発明は上記問題点を解消するためになされたもので、撮像素子により生成された画像信号を処理する画像信号処理装置において、露光時間の増加に伴う画質劣化を抑制することを目的とする。

本発明に係る画像信号処理装置は、画像信号に含まれるノイズ成分を減衰する回路であって、前記ノイズ成分に対する減衰特性を可変なフィルタ回路と、前記画像信号を取得する際の撮像素子での露光時間に応じて前記フィルタ回路の前記減衰特性を選択するフィルタ制御回路と、を有する。

本発明の好適な態様は、前記フィルタ回路が、デジタルフィルタで構成された低域通過フィルタであり、前記フィルタ制御回路が、前記デジタルフィルタのタップ係数を変更して前記低域通過フィルタのカットオフ周波数を変更する画像信号処理装置である。

本発明の他の好適な態様は、前記フィルタ回路が、メディアンフィルタ処理機能を有し、前記フィルタ制御回路が、メディアンフィルタ処理を実行するか否か、又はメディアンフィルタのフィルタサイズを切り換える画像信号処理装置である。

別の本発明に係る画像信号処理装置は、画像信号の特定周波数成分を抽出して輪郭補正信号を生成する輪郭補正回路と、前記画像信号を取得する際の撮像素子での露光時間に応じて前記輪郭補正信号のゲインを変化させるゲイン制御回路と、を有する。

本発明によれば、暗電流に起因するショット雑音が露光時間に応じて変化することに対応して、ノイズ成分を減衰させるフィルタ回路の減衰特性も露光時間に応じて変化される。例えば、露光時間が所定基準値より長くなる場合には、フィルタ制御回路がフィルタ回路の減衰特性をノイズ成分に対する減衰能力を高めるものに変更する。これにより、ノイズ成分が許容される露光時間での撮影では、ノイズ成分に対する減衰能力が比較的低い減衰特性を設定して好適な解像度を維持し、一方、ノイズ成分が大きくなる露光時間での撮影では、ノイズ成分に対する減衰能力が比較的高い減衰特性を設定することにより、ノイズによる画質劣化を好適に抑制することができる。

また本発明によれば、輪郭補正信号のゲインが露光時間に応じて変化される。例えば、露光時間が所定基準値より長くなる場合にはゲインを下げる。これにより、露光時間が比較的短くノイズが少ない場合には好適な輪郭強調を行う一方、露光時間が比較的長くノイズが多い場合には輪郭強調の程度を下げることにより、輪郭強調によりノイズが目立つことを緩和して画質劣化を抑制することができる。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。

図１は、本発明の実施形態である画像信号処理装置の構成を示す概略のブロック図であり、撮像素子２０から出力された画像信号に基づいて、階調補正及び輪郭補正された画像データを生成する。ここでは撮像素子２０はＣＣＤイメージセンサであり、撮像素子２０から出力される画像信号Ｙ０（ｔ）は、アナログ信号処理回路２２に入力される。アナログ信号処理回路２２は、サンプルホールド、自動利得制御（ＡＧＣ：Auto Gain Control）等の処理を画像信号Ｙ０（ｔ）に施し、所定のフォーマットに従う画像信号Ｙ１（ｔ）を生成する。Ａ／Ｄ変換回路２４はアナログ信号処理回路２２から出力される画像信号Ｙ１（ｔ）をデジタルデータに変換して、画像データＤ０（ｎ）を出力する。デジタル信号処理回路２６はＡ／Ｄ変換回路２４から画像データＤ０（ｎ）を取り込み、各種の処理を行う。

ここでは、デジタル信号処理回路２６は、モアレノイズ、ランダムノイズ、横引きノイズといったノイズ成分を除去するために低域通過フィルタであるフィルタ回路２８を備え、ガンマ補正回路３０はフィルタ回路２８からの画像信号に対して、非線形変換特性に基づいて信号レベルを変換する処理を行う。フィルタ回路２８は透過特性を変化させることができ、これによりノイズ成分に対する減衰特性が変わる。フィルタ制御回路３２は、画像信号の信号レベルに基づいて、フィルタ回路２８の透過特性の変更制御を行う。

また、デジタル信号処理回路２６は、輪郭補正信号を生成する輪郭補正回路３４を備え、ゲイン制御回路３６は、撮像素子２０の露光時間に基づいて、輪郭補正信号のゲインを可変制御する。なお、デジタル信号処理回路２６はさらに、色分離等の他の信号処理を行うことができるが、ここでは説明を省略する。

図２は、フィルタ回路２８及びフィルタ制御回路３２の概略の回路構成を示すブロック図である。フィルタ回路２８は透過特性が互いに異なる２つのＬＰＦ４０，４２と、それらの出力のいずれかを選択するセレクタ４４とを含んで構成される。ＬＰＦ４０，４２はそれぞれ垂直方向に関するＬＰＦ（ＶＬＰＦ）と水平方向に関するＬＰＦ（ＨＬＰＦ）とを含んで構成される。

ＬＰＦ４０，４２いずれのＶＬＰＦも、垂直サンプリング周波数ｆｖの１／２を中心とする周波数成分をトラップし、またＬＰＦ４０，４２いずれのＨＬＰＦも、水平サンプリング周波数ｆｈの１／２を中心とする周波数成分をトラップする。図３はＬＰＦ４０，４２それぞれの透過特性の一例を示す周波数特性図であり、サンプリング周波数ｆは垂直サンプリング周波数ｆｖ又は水平サンプリング周波数ｆｈを意味する。ＬＰＦ４０，４２いずれもサンプリング周波数ｆの１／２で極小点を有し、その近傍で出力信号を減衰させるが、減衰される帯域幅が相違する。ＬＰＦ４０の特性５０は、フィルタリングで画像解像度を損なわないようにするため、カットオフ周波数を高く設定され、その結果、ｆ／２にて急峻な減衰特性を有する。一方、ＬＰＦ４２の特性５２は、特性５０に比べてカットオフ周波数を低くして、なだらかな減衰特性を有するように設定される。その結果、ＬＰＦ４２は、より広い帯域で減衰を生じ、ＬＰＦ４０に比べノイズ成分に対する高い減衰度を有する。ちなみに、ＬＰＦ４０，４２はデジタルフィルタで構成することができ、そのタップ係数を変えることにより特性５０，５２を実現することができる。

フィルタ制御回路３２は、比較器６０を含んで構成される。比較器６０には、撮像素子２０の駆動を制御するタイミング制御回路（図示せず）に設定される露光時間Ｅが入力され、比較器６０はこの露光時間Ｅと、閾値データＲとを比較して、例えば、Ｅ≧Ｒの場合には論理値“Ｈ”を出力し、Ｅ＜Ｒの場合には論理値“Ｌ”を出力する。ここで閾値時間を表すＲは画像信号に含まれるノイズ成分量に基づいて設定される。露光時間の増加と共に暗電流が増加することに伴い、通常、画像信号中のノイズ成分量も増加する。そこで、例えば、ノイズ量が許容上限となる場合の露光時間を予め測定して、これをＲとして設定することができる。また、ユーザが画面にてノイズが目立つか否かを観察し、その結果に基づいてＲを調節できるように構成してもよい。

セレクタ４４は、比較器６０の出力がＨである場合には、現在のフレームの画像信号に対して、ノイズ成分に対する減衰度が比較的高いＬＰＦ４２を選択し、その出力をガンマ補正回路３０へ渡す。一方、セレクタ４４は、比較器６０の出力がＬである場合には、現在のフレームの画像信号に対して、ノイズ成分に対する減衰度が比較的低く解像度が確保されるＬＰＦ４０を選択し、その出力をガンマ補正回路３０へ渡す。

ちなみに、デジタル信号処理回路２６は各フレームの画像信号を積分し、その積分値が目標レンジより下回っている場合、露光時間を延長し、一方、目標レンジを上回っている場合、露光時間を短縮するフィードバック制御を行う自動露光制御を行うことができる。

図４は、フィルタ回路２８及びフィルタ制御回路３２の他の構成の概略の回路構成を示すブロック図である。この構成においてはフィルタ回路２８は、ラインメモリ７０−１〜７０−３及び中間値算出回路７２で構成されるメディアンフィルタ、及びメディアンフィルタの出力と当該メディアンフィルタを介さない画像信号とのいずれかを選択するセレクタ７４を含んで構成される。フィルタ制御回路３２は図２に示すものと同様に比較器６０を含んで構成され、比較器６０の出力によりセレクタ７４が切り換えられる。

ここではメディアンフィルタのフィルタサイズは３×３画素であり、それに対応して連続する３行分の画像データを保持するラインメモリ７０−１〜７０−３が用いられる。ラインメモリ７０−１〜７０−３は互いに直列に接続され、ラインメモリ７０−１に入力された１行分の画像データは、後続行の入力に連動して、順次、ラインメモリ７０−２，７０−３に移される。中間値算出回路７２はラインメモリ７０−１〜７０−３から３×３画素の画素領域を構成する９画素分の画像データを取得し、それらの中央値を当該画素領域の中心画素の値としてセレクタ７４へ出力する。その一方で、セレクタ７４にはラインメモリ７０−２から当該中心画素の本来の画像データが入力される。

フィルタ制御回路３２の比較器６０は、露光時間Ｅと閾値Ｒとの比較結果がＥ＜Ｒである場合には、セレクタ７４を制御して、セレクタ７４からガンマ補正回路３０へ中心画素の本来の画像データを出力させ、一方、Ｅ≧Ｒである場合には、中間値算出回路７２の出力値をセレクタ７４から出力させる。

なお、ここでは、フィルタサイズが３×３画素のメディアンフィルタと、メディアンフィルタ処理を施さない本来の画像データとのいずれかを選択する構成としたが、フィルタサイズの異なる複数のメディアンフィルタを備え、それらの出力をフィルタ制御回路３２による露光時間の判定結果に基づいて選択する構成とすることもできる。例えば、フィルタサイズが３×３画素のメディアンフィルタと、５×５画素のメディアンフィルタとを備え、フィルタ制御回路３２はＥ＜Ｒである場合には、フィルタサイズ３×３画素のメディアンフィルタの出力を選択し、一方、Ｅ≧Ｒである場合には、よりノイズ除去効果が大きい５×５画素のメディアンフィルタの出力を選択するように構成することができる。

また、フィルタ回路２８は、図２に示すＬＰＦを切り換える構成と、図４に示すメディアンフィルタを用いる構成とを組み合わせたものとすることができる。例えば、セレクタ４４の出力をラインメモリ７０−１の入力に接続して、両構成を組み合わせることができる。

図５は、輪郭補正回路３４及びゲイン制御回路３６の概略の回路構成を示すブロック図である。入力された画像データは帯域通過フィルタ（ＢＰＦ）９０に入力され、ＢＰＦ９０は特定帯域の周波数成分を抽出し、画像信号の二次微分波形に応じた信号を出力する。この抽出処理ではノイズパルスが発生しやすい。このノイズを除去するためにコアリング回路９２が設けられる。コアリング回路９２は、振幅が所定の閾値を超えるパルスだけを透過し、それ以下のパルスはノイズであるとして除去する。コアリング回路９２を透過したパルスは、ゲイン回路９４にて所定のゲインを乗じられる。ここで、二次微分波形は、輝度信号の立ち上がり、立ち下がりの急峻さに応じた振幅を生じる。すなわち、画像のエッジがシャープであれば、それだけ輪郭強調の度合いも強くなる。しかし、あまり強すぎる輪郭強調は画像を不自然にする。これを防止するために、クリップ回路９６が設けられている。クリップ回路９６は、ゲイン回路９４でゲイン調整された二次微分波形の振幅が、設定された上限、下限を超える場合、当該波形をその上限、下限でクリップする。

ゲイン制御回路３６は、比較器９８を含んで構成される。比較器９８には露光時間Ｅが入力され、比較器９８はこの露光時間Ｅと閾値データＲ’とを比較して、例えば、Ｅ≧Ｒ’の場合には論理値“Ｈ”を出力し、Ｅ＜Ｒ’の場合には論理値“Ｌ”を出力する。ここで閾値Ｒ’は画像信号に含まれるノイズ成分量に基づいて設定される。例えば、ノイズ量が許容上限となる場合の露光時間を予め測定して、これをＲ’として設定することができる。また、ユーザが画面の観察結果に基づいてＲ’を調節できるように構成することもできる。

比較器９８の出力はゲイン回路９４に入力される。ゲイン回路９４は、比較器９８の出力がＨである場合には、現在のフレームの画像信号に対して、通常のゲインＧ０より低いゲインＧ１を設定し、一方、比較器９８の出力がＬである場合には、現在のフレームの画像信号に対して、通常のゲインＧ０を設定する。

ここで、輪郭補正回路３４の入力画像データは、例えば図１に示すようにフィルタ回路２８の出力を用いる。輪郭補正回路３４により生成された輪郭補正信号は加算器３８によりガンマ補正回路３０から出力された画像信号と合成され、例えば表示装置等へ出力される。上述のように、本装置では露光時間ＥがＲ’以上であり暗電流に起因したノイズ量が多くなり得る場合に輪郭補正信号のゲインが通常より下げられ、その結果、加算器３８にて合成された画像信号を画面に表示した場合にノイズが目立たなくなる。

上記構成では、フィルタ制御回路３２及びゲイン制御回路３６ではそれぞれ１つの閾値Ｒ又はＲ’を設定し、この閾値により露光時間を２つの区間に分割したが、２つ以上の閾値を設定して３つ以上の区間に分割してもよい。その場合、各区間毎に、ノイズ成分の減衰度の異なるフィルタをセレクタで選択したり、輪郭補正信号のゲインを変更するように構成される。

以上の説明は専ら単色のＣＣＤイメージセンサを念頭においたものであるが、本発明の画像信号処理装置は、複数色からなるカラーフィルタを搭載したＣＣＤイメージセンサから出力される画像信号に対しても適用することができる。例えば、モザイクカラーフィルタを搭載したイメージセンサからの画像信号を処理する場合には、フィルタ制御回路３２における信号レベルの判定、ＬＰＦ４０，４２でのフィルタリング、及び中間値算出回路７２におけるメディアンフィルタ処理は、輝度信号に対して行うか、垂直方向、水平方向にそれぞれ周期的に配置される同じ色に対応する画素を用いて行うように構成することができる。

本発明の実施形態である画像信号処理装置の構成を示す概略のブロック図である。 フィルタ回路及びフィルタ制御回路の一例の概略の回路構成を示すブロック図である。 ＬＰＦの透過特性を示す周波数特性図である。 フィルタ回路及びフィルタ制御回路の他の構成の概略の回路構成を示すブロック図である。 輪郭補正回路及びゲイン制御回路の概略の回路構成を示すブロック図である。 従来の画像信号処理装置の構成を示すブロック図である。

符号の説明

２０ 撮像素子、２２ アナログ信号処理回路、２４ Ａ／Ｄ変換回路、２６ デジタル信号処理回路、２８ フィルタ回路、３０ ガンマ補正回路、３２ フィルタ制御回路、３４ 輪郭補正回路、３６ ゲイン制御回路、３８ 加算器、４０，４２ ＬＰＦ、４４，７４ セレクタ、６０，９８ 比較器、７０ ラインメモリ、７２ 中間値算出回路、９０ ＢＰＦ、９２ コアリング回路、９４ ゲイン回路、９６ クリップ回路。

Claims (3)

1. 撮像素子により生成された画像信号を処理する画像信号処理装置において、
   画像信号を積分し、積分結果に基づいて前記撮像素子の露光時間を延長または短縮するよう制御を行う露光制御回路と、
   前記画像信号に含まれるノイズ成分を減衰するデジタルフィルタで構成された低域通過フィルタであって、前記ノイズ成分に対する減衰特性を可変なフィルタ回路と、
   前記画像信号を取得する際の前記撮像素子での露光時間に応じて前記フィルタ回路の前記タップ係数を変更して前記低域通過フィルタのカットオフ周波数を変更するフィルタ制御回路と、
   を有することを特徴とする画像信号処理装置。
2. 請求項１に記載の画像信号処理装置において、
   前記フィルタ回路は、メディアンフィルタ処理機能を有し、
   前記フィルタ制御回路は、メディアンフィルタ処理を実行するか否か、又はメディアンフィルタのフィルタサイズを切り換えること、
   を特徴とする画像信号処理装置。
3. 撮像素子により生成された画像信号と輪郭補正信号とを合成して画像の輪郭を強調する画像信号処理装置において、
   画像信号を積分し、積分結果に基づいて前記撮像素子の露光時間を延長または短縮するよう制御を行う露光制御回路と、
   前記画像信号の特定周波数成分を抽出して前記輪郭補正信号を生成する輪郭補正回路と、
   前記画像信号を取得する際の前記撮像素子での露光時間に応じて前記輪郭補正信号のゲインを変化させるゲイン制御回路と、
   を有することを特徴とする画像信号処理装置。

Images