JP2008060814A

JP2008060814A - 撮像装置

Info

Publication number: JP2008060814A
Application number: JP2006234030A
Authority: JP
Inventors: Kenichi Hasegawa; 謙一長谷川
Original assignee: Funai Electric Co Ltd
Current assignee: Funai Electric Co Ltd
Priority date: 2006-08-30
Filing date: 2006-08-30
Publication date: 2008-03-13
Also published as: US20080063295A1; EP1895763A2; EP1895763A3

Abstract

【課題】撮像装置において、ノイズ除去処理の時間を短縮すると共に、ノイズ除去処理により撮像画像の輪郭がぼやけることを防ぐ。
【解決手段】制御用マイコンが、撮像画像を構成する画素の中から注目画素の位置を決定し（Ｓ１）、注目画素と近接画素との輝度値を取得し（Ｓ２）、取得した輝度値のうち最大の輝度値と最小の輝度値の差分値を算出する（Ｓ３）。そして、制御用マイコンは、輝度値に一定の重みを加えるための加重係数を差分値に基づいて決定し（Ｓ４）、注目画素の輝度値、近接画素の輝度値、及び加重係数を用いて、注目画素及び近接画素の輝度値の加重平均値を算出する（Ｓ５）。算出した加重平均値を、注目画素の輝度値として変換メモリに記録する（Ｓ６）。加重係数は、差分値が最大の場合はゼロになるように、差分値が最小の場合は１になるように変化しており、差分値が大きくなるに従って、加重係数が小さくなる。
【選択図】図３

Description

本発明は、撮像装置に関し、特に、撮像画像に含まれるノイズ除去処理に関する。

従来から、デジタルスチルカメラ等の撮像装置を用いて低照度の被写体を撮像すると撮像画像に多くのノイズが生じ、見難くなることがある。これに対して、撮像画像の画素の一つである注目画素の近傍に３×３や５×５などの正方形の小領域を設定し、小領域内の画素の画素値の平均を求め、この平均値を注目画素の画素値とすることによりノイズ除去処理を行う撮像装置が知られている。しかし、この撮像装置は、ノイズを低減させると共に、撮像画像の輪郭等も平滑化してしまうため、撮像画像の輪郭がぼやけてしまう問題がある。そこで、小領域内の輪郭を二次元微分で抽出することによりノイズ除去をする、しないを切り替える方法が知られている。しかし、この方法では、演算量が大きく、また切り替え箇所で画像に視覚的な不自然さが発生するという問題がある。

上記問題に対して、特許文献１の発明は、注目画素及びこの注目画素に近い画素の最大の画素値、又は最小の画素値と、加重平均値とを混合して、混合比率を注目画素周辺のコントラスト比で変化させることにより、撮像画像のノイズを低減させると共に、エッジの尖鋭度を向上させる撮像装置である。また、特許文献２の発明は、映像信号、及び入力された信号に加重係数を掛けた後にそれぞれを加算する加重加算回路の出力信号を減算した第１信号と、第１信号をコアリング処理した第２信号とを、コントラストの大きさによる判定結果に基づいて、いずれかの信号を切り替えて出力する撮像装置である。しかし、特許文献１及び特許文献２に記載の発明では、加重平均値を算出する加重係数が一定であるため、ノイズを低減させることはできるが、撮像画像の輪郭がぼやけてしまう。

また、特許文献３の発明は、注目画素及びこの注目画素に近接する複数の近接画素の画素値を取得し、取得した画素値の内の最大の画素値と最小の画素値との差（以下、差分値という）が閾値よりも大きいときはエッジ部と判定し、小さいときは非エッジ部と判定してメディアンフィルタを用いてメディアン（中央値）を出力することによりノイズを低減させる撮像装置である。しかし、特許文献３の発明では、切り替え箇所で画像に視覚的な不自然さが発生する。

ところで、特許文献４の発明は、撮像画像のノイズについて補正処理を行うことができる撮像装置であり、特許文献５の発明は、ＲＧＢ色等のカラー画像において、各色信号間に独立して発生するノイズを除去する撮像装置である。そのため、上記特許文献４、及び特許文献５の発明では、上記問題を解決することができない。
特開平１０−３３６４５１号公報特開２００５−２９５４８８号公報特開２００４−１６６０１０号公報特開２００５−１９８００９号公報特開２００２−１５０２８２号公報

本発明は、上記課題を解決するためになされたものであり、ノイズ除去処理の時間を短縮することができると共に、ノイズ除去処理により撮像画像の輪郭がぼやけることを防ぐことができる撮像装置を提供することを目的とする。

上記目的を達成するために請求項１の発明は、被写体を撮像して、少なくとも輝度値、色差値、及び色値のいずれかを含む画素値を有する画素の集合から構成される撮像画像を撮像する撮像手段と、前記撮像手段により撮像された撮像画像を記録するためのメモリと、前記撮像画像や各種のメッセージ等を表示するための表示手段と、操作用のボタン等を有する操作手段と、装置各部を制御する制御手段と、前記撮像画像の画素の一つである注目画素、及びこの注目画素に近接する複数の近接画素の画素値を取得する画素値取得手段と、前記画素値取得手段が取得した画素値に一定の重みを加えるための加重係数を決定する加重係数決定手段と、前記注目画素の画素値、前記近接画素の画素値、及び前記加重係数を用いて、前記注目画素及び前記近接画素の画素値の加重平均値を算出する平均値算出手段と、前記注目画素の画素値を前記平均値算出手段により算出された加重平均値に置き換える画素値変換手段とを備える撮像装置において、前記画素値取得手段が取得した画素値の内の最大の画素値と最小の画素値の差分値を算出する差分値算出手段をさらに備え、前記加重係数決定手段は、前記差分値がゼロ以上で第１の差分閾値以下である場合、前記加重係数を一定とし、前記差分値が前記第１の差分閾値より大きい場合、前記加重係数を該差分値が大きくなるに従って小さくなるように変化させ、前記差分値が前記第１の差分閾値よりも大きく第２の差分閾値以下である場合に比べて、該差分値が前記第２の差分閾値よりも大きい場合に、該差分値の変化量に対する前記加重係数の変化量の比率を小さくするものである。

請求項２の発明は、被写体を撮像して、少なくとも輝度値、色差値、及び色値のいずれかを含む画素値を有する画素の集合から構成される撮像画像を撮像する撮像手段と、前記撮像手段を含む装置各部を制御する制御手段と、前記撮像画像の画素の一つである注目画素、及びこの注目画素に近接する複数の近接画素の画素値を取得する画素値取得手段と、前記画素値取得手段が取得した画素値に一定の重みを加えるための加重係数を決定する加重係数決定手段と、前記注目画素の画素値、前記近接画素の画素値、及び前記加重係数を用いて、前記注目画素及び前記近接画素の画素値の加重平均値を算出する平均値算出手段と、前記注目画素の画素値を前記平均値算出手段により算出された加重平均値に置き換える画素値変換手段とを備える撮像装置において、前記画素値取得手段が取得した画素値の内の最大の画素値と最小の画素値の差分値を算出する差分値算出手段をさらに備え、前記加重係数決定手段は、前記差分値算出手段により算出された前記差分値に応じて、加重係数を変化させるものである。

請求項３の発明は、請求項２に記載の撮像装置において、前記加重係数決定手段は、前記差分値が大きくなるに従って、前記加重係数が小さくなるように、該加重係数を変化させるものである。

本発明によれば、差分値に応じて加重係数を変化させるので、例えば、画素値の変化が大きい場合、つまり、差分値が大きい場合、加重平均値の平均値化を弱めることができ、画素値の変化が小さい場合、つまり、差分値が小さい場合、加重平均値の平均値化を強めることができる。従って、撮像画像の輪郭などの微細構造を破壊することなしにノイズを低減させることができ、また、従来のような二次元微分等のノイズ除去処理に比べて簡単な処理であるため、ノイズ除去処理の時間を短縮することができる。

以下、本発明の一実施形態に係る撮像装置について、図を参照して説明する。図１は、本発明の一実施形態に係るデジタルスチルカメラ等の撮像装置の制御系の構成を示す。撮像装置１は、被写体を撮像するための撮像ユニット１１（撮像手段）と、操作用のボタン等を有する操作部１３（操作手段）と、撮像した撮像画像や各種のメッセージ等を表示するための表示部１２（表示手段）と、撮像画像を記録するための撮像メモリ１４（メモリ）と、撮像画像からノイズを除去した画像を記録するための変換メモリ１５（メモリ）と、装置各部を制御する制御用マイコン１６（制御手段）とを備えている。

撮像ユニット１１を用いて撮像される撮像画像は、少なくとも輝度値、色差値（例えば、国際電気通信連合が標準化した規格であるＩＴＵ−ＲＢＴ．６０１に準拠した色差値）、及び色値のいずれかを含む画素値を有する画素の集合から構成される。制御用マイコン１６は、請求項における画素値取得手段、加重係数決定手段、平均値算出手段、画素値変換手段、及び差分値算出手段として機能する。

次に、請求項における注目画素と近接画素について、図２を参照して説明する。注目画素は、撮像画素を構成する画素の一つであり、近接画素は、注目画素に近接する複数の画素である。図２は、注目画素２１と、この注目画素２１に近接する近接画素２２〜２９の位置関係を示すものである。ここでは、注目画素２１と、近接画素２２〜２９の配置を３×３のマトリックスとしている。図２に示すように、近接画素２２〜２９は、注目画素２１の周囲を囲む８個の画素である。

次に、撮像装置１におけるノイズ除去処理について、図３を参照して説明する。ここでは、注目画素と近接画素との位置関係を前記図２に示した関係とし、また、画素値に含まれる輝度値についてノイズ除去処理を行う場合について説明する。まず、制御用マイコン１６が、撮像メモリ１４からノイズ除去処理を行う撮像画像を取得し、取得した撮像画像を構成する画素の中から注目画素の位置を決定する（Ｓ１）。そして、注目画素２１と、近接画素２２〜２９の輝度値を取得し（Ｓ２）、取得した輝度値の最大の輝度値と最小の輝度値の差分値（以下、単に差分値という）を算出する（Ｓ３）。

そして、制御用マイコン１６は、輝度値に一定の重みを加えるための加重係数を上記差分値に基づいて決定し（Ｓ４）、注目画素２１の輝度値、近接画素２２〜２９の輝度値、及び加重係数を用いて、注目画素２１及び近接画素２２〜２９の輝度値の加重平均値を算出する（Ｓ５）。なお、上記Ｓ４における加重係数の決定処理及び上記Ｓ５における加重平均値の算出処理の詳細については後述する。

制御用マイコン１６は、上記Ｓ５により算出した加重平均値を、注目画素２１の輝度値として変換メモリ１５に記録し（Ｓ６）、撮像画像を構成する全ての画素に対して上記処理を行った場合（Ｓ７でＹＥＳ）、ノイズ除去処理を終了する。ノイズ除去処理が終了したとき、変換メモリ１５には、輝度値のノイズが除去された撮像画像が記録されている。一方、撮像画像を構成する全ての画素に対して上記処理を行っていない場合（Ｓ７でＮＯ）、制御用マイコン１６は上記Ｓ１以降の処理を繰り返す。

次に、上記Ｓ４における加重係数の決定処理と上記Ｓ５における加重平均値の算出処理の詳細について、図４及び図５を参照して説明する。図４は、上記差分値と、ベースとなる加重係数（以下、ベース加重係数という）Ｋａとの関係を示し、図５は、注目画素２１と近接画素２２〜２９についての加重係数の割合を示す。ベース加重係数Ｋａは、図４に示すように、差分値が最大の場合はゼロになるように、差分値が最小の場合は１になるように変化しており、差分値が大きくなるに従って、ベース加重係数Ｋａが小さくなる。例えば、差分値が１００の場合、図４に示すように、ベース加重係数Ｋａは、０．５と決定される。従って、加重平均値は、図５に示すように、（注目画素２１の輝度値×１）＋（近接画素２２〜２９の輝度値×０．５）の合計値を９で割った値となる。

このように、撮像装置１によれば、差分値に応じてベース加重係数Ｋａ及び加重係数を変化させるので、輝度値の変化が大きい場合、つまり、差分値が大きい場合、加重平均値の平均値化を弱めることができ、輝度値の変化が小さい場合、つまり、差分値が小さい場合、加重平均値の平均値化を強めることができる。従って、注目画素の画素値のノイズを、撮像画像の輪郭などの微細構造を破壊することなしに低減させることができ、また、二次元微分等のノイズ除去処理に比べて簡単な処理であるため、ノイズ除去処理を高速に行うことができ、処理時間を短縮することができる。

なお、注目画素２１と近接画素２２〜２９についての加重係数の割合は、図６に示すように、注目画素２１の斜め向かいに位置する近接画素２２、２４、２６、２８の加重係数がベース加重係数Ｋａ／２であってもよく、また、任意の位置にある近接画素についての加重係数を任意の値にしてもよい。また、加重平均値は、図７に示すように、注目画素２１と、注目画素２１の上下左右に位置する近接画素２３、２５、２７、２９のみとを用いて求めるものであってもよい。この場合、加重平均値の算出処理がさらに簡単な処理であるため、ノイズ除去処理の時間をさらに短縮することができる。

次に、前記Ｓ４における差分値と加重係数との関係を示す一例について、図８を参照して説明する。図８は、ベース加重係数Ｋａを差分値が大きくなるに従って小さくなるように変化させ、差分値が差分閾値ｄ１よりも大きい場合に、差分値の変化量に対するベース加重係数Ｋａの変化量の比率を小さくするものである。このようにベース加重係数Ｋａを変化させると、差分値がゼロから差分閾値ｄ１までの場合は、加重係数を大きくすることができるので、加重平均値の平均値化を強めることができる。また、差分値が差分閾値ｄ１以上の場合は、差分値の変化量に対するベース加重係数Ｋａの変化量の比率が小さいので、加重平均値の平均値化を弱めることができる。従って、このようなベース加重係数Ｋａを用いてノイズ除去処理を行うことができる撮像装置１は、差分値が小さい場合に、ノイズ除去を強めることができ、差分値が差分閾値ｄ１以上の場合に、差分値の変化量に対するベース加重係数Ｋａの変化量の比率を小さくすることができるので、加重係数が急激に変化することによる視覚的な不自然さをなくすことができる。

次に、差分値と加重係数との関係を示す別の一例について、図９を参照して説明する。図９は、差分値がゼロ以上で差分閾値ｄ２以下である場合、ベース加重係数Ｋａを一定（例えば、０．５）とし、差分値が差分閾値ｄ２より大きい場合、ベース加重係数Ｋａを差分値が大きくなるに従って小さくなるように変化させるものである。このようにベース加重係数Ｋａを変化させると、差分値がゼロからｄ２までの場合に、加重係数を大きな一定値とすることができ、加重平均値の平均値化を強めることができる。従って、このようなベース加重係数Ｋａを用いてノイズ除去処理を行う撮像装置１は、差分値がゼロから差分閾値ｄ２以下の場合に、ノイズ除去を強く行うことができる。

次に、差分値と加重係数との関係を示すさらに別の一例について、図１０を参照して説明する。図１０は、差分値がゼロ以上で差分閾値ｄ３以下である場合、ベース加重係数Ｋａを一定（例えば、０．５）とし、差分値が差分閾値ｄ３より大きい場合、ベース加重係数Ｋａを差分値が大きくなるに従って小さくなるように変化させ、差分値が差分閾値ｄ３よりも大きく差分閾値ｄ４以下である場合に比べて、差分値が差分閾値ｄ４よりも大きい場合に、差分値の変化量に対するベース加重係数Ｋａの変化量の比率を小さくするものである。このようにベース加重係数Ｋａを変化させると、差分値がゼロから差分閾値ｄ３までの場合に、加重係数を大きな一定値とすることができ、加重平均値の平均値化を強めることができる。また、差分値が差分閾値ｄ４よりも大きい場合に、ベース加重係数Ｋａの変化量の比率を小さくするので、加重平均値の平均値化を弱めることができる。従って、このようなベース加重係数Ｋａを用いてノイズ除去処理を行う撮像装置１は、差分値がゼロから差分閾値ｄ２以下の場合に、ノイズ除去を強めることができる。また、差分値が差分閾値ｄ４以上の場合に、差分値の変化量に対するベース加重係数Ｋａの変化量の比率を小さくすることができるので、加重係数が急激に変化することによる視覚的な不自然さをなくすことができる。

上記のように、本発明の一実施形態に係る撮像装置１によれば、差分値に応じてベース加重係数Ｋａ及び加重係数を変化させるので、輝度値の変化が大きい場合、つまり、差分値が大きい場合、加重平均値の平均値化を弱めることができ、輝度値の変化が小さい場合、つまり、差分値が小さい場合、加重平均値の平均値化を強めることができる。従って、注目画素の輝度値のノイズを、撮像画像の輪郭などの微細構造を破壊することなしに低減させることができ、また、二次元微分等のノイズ除去処理に比べて簡単な処理であるため、ノイズ除去処理を高速に行うことができ、処理時間を短縮することができる。

なお、本発明は、上記実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。例えば、前記図２において、注目画素と近接画素との位置関係を３×３のマトリクスで説明したが、これに限られず、１つの注目画素に対して２４個の近接画素を有する５×５のマトリクスであってもよい。また、５×５のマトリックスに限らず、任意の大きさの小領域から加重平均値を算出するものであってもよい。

また、前記図３乃至図７においては、画素の輝度値に対するノイズ除去処理について示したが、これに限られず、色差値や、ＲＧＢの色の強さ等の色値に対して上記のノイズ除去処理を行ってもよい。

本発明の一実施形態に係る撮像装置の内部構成を示すブロック図。上記撮像装置における注目画素と、近接画素との位置関係を示す図。上記撮像装置における輝度値のノイズ除去処理を示すフローチャート。上記撮像装置における差分値とベース加重係数との関係の一例を示すグラフ。上記撮像装置における注目画素と、近接画素との位置関係の一例を示す図。上記撮像装置における注目画素と、近接画素との位置関係の一例を示す図。上記撮像装置における注目画素と、近接画素との位置関係の一例を示す図。上記撮像装置における差分値とベース加重係数との関係の一例を示すグラフ。上記撮像装置における差分値とベース加重係数との関係の一例を示すグラフ。上記撮像装置における差分値とベース加重係数との関係の一例を示すグラフ。

符号の説明

１撮像装置
１１撮像ユニット（撮像手段）
１２表示部（表示手段）
１３操作部（操作手段）
１４一時メモリ（メモリ）
１５変換メモリ（メモリ）
１６制御用マイコン（制御手段、画素値取得手段、加重係数決定手段、平均値算出手段、画素値変換手段、差分値算出手段）

Claims

被写体を撮像して、少なくとも輝度値、色差値、及び色値のいずれかを含む画素値を有する画素の集合から構成される撮像画像を撮像する撮像手段と、
前記撮像手段により撮像された撮像画像を記録するためのメモリと、
前記撮像画像や各種のメッセージ等を表示するための表示手段と、
操作用のボタン等を有する操作手段と、
装置各部を制御する制御手段と、
前記撮像画像の画素の一つである注目画素、及びこの注目画素に近接する複数の近接画素の画素値を取得する画素値取得手段と、
前記画素値取得手段が取得した画素値に一定の重みを加えるための加重係数を決定する加重係数決定手段と、
前記注目画素の画素値、前記近接画素の画素値、及び前記加重係数を用いて、前記注目画素及び前記近接画素の画素値の加重平均値を算出する平均値算出手段と、
前記注目画素の画素値を前記平均値算出手段により算出された加重平均値に置き換える画素値変換手段とを備える撮像装置において、
前記画素値取得手段が取得した画素値の内の最大の画素値と最小の画素値の差分値を算出する差分値算出手段をさらに備え、
前記加重係数決定手段は、
前記差分値がゼロ以上で第１の差分閾値以下である場合、前記加重係数を一定とし、
前記差分値が前記第１の差分閾値より大きい場合、前記加重係数を該差分値が大きくなるに従って小さくなるように変化させ、
前記差分値が前記第１の差分閾値よりも大きく第２の差分閾値以下である場合に比べて、該差分値が前記第２の差分閾値よりも大きい場合に、該差分値の変化量に対する前記加重係数の変化量の比率を小さくすることを特徴とする撮像装置。
被写体を撮像して、少なくとも輝度値、色差値、及び色値のいずれかを含む画素値を有する画素の集合から構成される撮像画像を撮像する撮像手段と、
前記撮像手段を含む装置各部を制御する制御手段と、
前記撮像画像の画素の一つである注目画素、及びこの注目画素に近接する複数の近接画素の画素値を取得する画素値取得手段と、
前記画素値取得手段が取得した画素値に一定の重みを加えるための加重係数を決定する加重係数決定手段と、
前記注目画素の画素値、前記近接画素の画素値、及び前記加重係数を用いて、前記注目画素及び前記近接画素の画素値の加重平均値を算出する平均値算出手段と、
前記注目画素の画素値を前記平均値算出手段により算出された加重平均値に置き換える画素値変換手段とを備える撮像装置において、
前記画素値取得手段が取得した画素値の内の最大の画素値と最小の画素値の差分値を算出する差分値算出手段をさらに備え、
前記加重係数決定手段は、前記差分値算出手段により算出された前記差分値に応じて、加重係数を変化させることを特徴とする撮像装置。
前記加重係数決定手段は、前記差分値が大きくなるに従って、前記加重係数が小さくなるように、該加重係数を変化させることを特徴とする撮像装置。