JP4547223B2 - 撮像システム、ノイズ低減処理装置及び撮像処理プログラム - Google Patents

Description

本発明は、撮像素子系に起因する輝度信号および色差信号のランダムノイズの低減処理に係わり、ノイズの発生量を動的に推定することで撮影条件に影響されずにノイズ成分のみを高精度に低減する撮像システム、ノイズ低減処理装置及び撮像処理プログラムに関する。

撮像素子とそれに付随するアナログ回路（例えばゲインアンプ）およびＡ／Ｄコンバータから得られるデジタル化された画像信号中に含まれるノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。

一方、ランダムノイズは撮像素子およびアナログ回路で発生するもので、ホワイトノイズ特性に近い特性を有する。ランダムノイズに関しては、例えば特開2001-157057号公報に示されるように、輝度ノイズ量を信号レベルに対して関数化し、この関数から信号レベルに対する輝度ノイズ量を推定し、輝度ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、信号レベルに対して適用的なノイズ低減処理が行われることになる。

また、特開2001-175843号公報では、入力信号を輝度と色差信号に分離し、輝度信号および色差信号から画像上のエッジ強度を求め、エッジ部以外の領域において色差信号に平滑化処理を行う手法が開示されている。これにより、平坦部における色ノイズの低減処理が行われることになる。
特開２００１−１５７０５７号公報 特開２００１−１７５８４３号公報

特開2001-157057号公報では、輝度ノイズ量をＮ、濃度値に変換した信号レベルをＤとした場合にＮ ＝ａｂ^cDで関数化していた。ここで、ａ，ｂ，ｃは定数項であり、静的に与えられる。しかしながら、輝度ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化する。すなわち、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣るという課題がある。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは画像上の平坦部分もエッジ部分も区別することなく同等に処理する。このため、信号レベルからノイズ量が大と推定された領域にあるエッジ部は劣化することになる。すなわち、原信号とノイズを区別した処理に対応することができず、原信号の保存性が悪いという課題がある。さらに、各色信号間に発生する色ノイズに関しては対応できない課題がある。

また、特開2001-175843号公報では、エッジ部以外の平坦な領域で色差信号に平滑化処理を行っているが、上記平滑化処理は信号レベルにかかわらず固定的に行われている。しかしながら、色ノイズ量は信号レベルにより異なるため、平滑化処理を最適に制御することはできない。このため、色ノイズ成分の残存や原信号の劣化などが発生することになる。

本発明は上記問題点に着目し、信号レベルのみならず撮影時の温度，ゲインなどの動的に変化する要因に対応した輝度信号および色差信号のノイズ量のモデル化を行い、これにより撮影状況に最適化されたノイズ低減処理を可能とする撮像システム、ノイズ低減処理装置及び撮像処理プログラムを提供することを目的とする。また、ノイズ低減処理を、輝度ノイズと色ノイズに対して独立に行うことで、両者のノイズを高精度に低減し、高品位な信号を生成する撮像システム、ノイズ低減処理装置及び撮像処理プログラムを提供することを目的とする。

以下に、（請求項１〜２３）の発明による撮像システム及びノイズ低減処理装置について、その構成、対応する実施例、適用例、作用及び効果を述べる。

（請求項１）
（構成）
請求項１の本発明による撮像システムは、撮像素子からの信号に対しノイズ低減処理を行う撮像システムにおいて、ノイズ低減処理を行う上記信号中の注目画素と撮像時の条件に基づき第１のノイズ量を推定する第１のノイズ推定手段と、上記注目画素の画素値と上記第１のノイズ量とを用いて第１の許容範囲を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出手段と、上記注目画素および上記類似画素と撮像時の条件から第２のノイズ量を推定する第２のノイズ推定手段と、上記注目画素と類似画素との平均値と上記第２のノイズ量とを用いてノイズ量に関する第２の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減手段と、を有する。
請求項２の発明による撮像システムは、請求項１における上記第１のノイズ推定手段および上記第２のノイズ推定手段は、ノイズ低減処理を行う上記信号中の注目画素に関して、信号レベルに対する基準ノイズ量の変化特性を与えるモデルにおける上記基準ノイズ量に対して、撮像時の条件に対応した補正係数を乗算することによってノイズ量を推定する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の第１のノイズ推定手段は図１，図９に示される制御部114，温度センサー116および図１，図３，図７，図９，図１１に示されるノイズ推定部109が、請求項中の抽出手段は図１，図５，図７，図９に示される抽出部110が、請求項中の第２のノイズ推定手段は図１，図９に示される制御部114，温度センサー116および図１，図３，図７，図９，図１１に示されるノイズ推定部109が、請求項中のノイズ低減手段は図１，図６，図７，図９に示されるノイズ低減部111が該当する。

この発明の好ましい適用例は、ノイズ推定部109，制御部114，温度センサー116にて注目画素から第１のノイズ量を推定し、抽出部110にて注目画素および第１のノイズ量に基づき注目画素に類似する類似画素を抽出し、ノイズ推定部109，制御部114，温度センサー116にて注目画素および類似画素から第２のノイズ量を推定し、ノイズ低減部111にて注目画素と類似画素との平均値と第２のノイズ量に基づき注目画素のノイズを低減する撮像システムである。

（作用）
ノイズ低減処理を行う注目画素から概略的な第１のノイズ量を推定し、推定された第１のノイズ量から注目画素と類似する類似画素を抽出し、注目画素および類似画素からより精度の高い第２のノイズ量を推定し、注目画素と類似画素との平均値と第２のノイズ量に基づきノイズ低減処理を行う。

（効果）
高精度なノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。しかも、ノイズモデルを２回利用することで、第１，第２のノイズ量を推定することができ、回路構成が簡単で済む。

（請求項３）
（構成）
請求項２の発明の撮像システムにおける上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー型原色フィルタを前面に配置した単板撮像素子またはＣｙ（シアン）、Ｍｇ（マゼンタ），Ｙｅ（イエロー）、Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子からなり、上記信号から輝度信号および色差信号を算出するＹ／Ｃ分離手段を更に有する。

（対応する発明の実施例）
この発明に関する実施例は、図９〜図１３に示される実施例２が対応する。請求項中のＹ／Ｃ分離手段は図９に示されるＹ／Ｃ分離部602が該当する。

この発明の好ましい適用例は、図１０(a)に示されるベイヤー（以下Bayer）型原色フィルタまたは図１０(d)に示される色差線順次型補色フィルタを撮像素子前面に配置し、Ｙ／Ｃ分離部602にて輝度信号および色差信号を算出する撮像システムである。

（作用）
Bayer型原色フィルタまたは色差線順次型補色フィルタを前面に配置した撮像素子を用い、信号から輝度信号および色差信号を算出する。

（効果）
算出した輝度信号および色差信号それぞれについて２つの第１，第２のノイズ推定手段を順次に用いて個別にノイズ低減処理を行うことになるため、個別の高精度なノイズ低減処理が可能となる。

（請求項４）
（構成）
請求項２の発明における上記第１のノイズ推定手段および上記第２のノイズ推定手段は、輝度ノイズ量を推定する輝度ノイズ推定手段を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の輝度ノイズ推定手段は、図１，図９に示される制御部114、温度センサー116および図１，図３，図７，図９，図１１に示されるノイズ推定部109が該当する。

この発明の好ましい適用例は、ノイズ推定部109，制御部114，温度センサー116にて輝度ノイズ量を推定する撮像システムである。

（作用）
輝度信号および撮影時の情報から輝度ノイズを推定する。

（効果）
撮影ごとに異なる条件に動的に適応し、高精度な輝度ノイズ量の推定が可能となる。

（請求項５）
（構成）
請求項３の発明における上記第１のノイズ推定手段および上記第２のノイズ推定手段は、輝度ノイズ量を推定する輝度ノイズ推定手段、および色ノイズ量を推定する色ノイズ推定手段の少なくとも一つを有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の輝度ノイズ推定手段は図１，図９に示される制御部114、温度センサー116および図１，図３，図７，図９，図１１に示されるノイズ推定部109が、請求項中の色ノイズ推定手段は図１，図９に示される制御部114，温度センサー116および図１，図３，図７，図９，図１１に示されるノイズ推定部109が該当する。

この発明の好ましい適用例は、ノイズ推定部1 0 9， 制御部114，温度センサー116にて輝度ノイズ量または色ノイズ量の少なくとも１つを推定する撮像システムである。

（作用）
輝度信号および撮影時の情報から輝度ノイズ量を、色差信号および撮影時の情報から色ノイズ量を、少なくとも１つ推定する。輝度ノイズ量および色ノイズ量の両方を推定する場合には、同じノイズ推定部1 0 9， 制御部114，温度センサー116にて同じ注目画素または注目画素と類似画素から輝度ノイズ量および色ノイズ量を順次推定する動作を行えばよい。

（効果）
撮影ごとに異なる条件に動的に適応し、かつ色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。

（請求項６）
（構成）
請求項４又は５の発明における上記輝度ノイズ推定手段は、上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、上記収集手段で得られない上記情報に関して標準値を付与する付与手段と、上記注目画素または上記注目画素と上記類似画素から平均輝度値を算出する平均輝度算出手段と、上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の収集手段は図１，図９に示される制御部114，温度センサー116および図３，図１１に示されるゲイン算出部201が、請求項中の付与手段は図３，図１１に示される標準値付与部202が、請求項中の平均輝度算出手段は図３，図１１に示される平均算出部200が、請求項中の輝度ノイズ量算出手段は図３に示されるパラメータ用ＲＯＭ203，パラメータ選択部204，補間部205及び補正部206、或いは、図１１に示される輝度ノイズＬＵＴ700が該当する。

この発明の好ましい適用例は、制御部114，温度センサー116およびゲイン算出部201による収集手段にてノイズ量推定に用いる情報を収集し、制御部114、温度センサー116およびゲイン算出部201からの前記情報が得られない場合に標準値付与部202にて標準値を設定し、平均算出部200にて注目画素および類似画素から平均輝度値を算出し、パラメータ用ＲＯＭ203，パラメータ選択部204，補間部205及び補正部206による輝度ノイズ量算出手段、或いは輝度ノイズＬＵＴ700による輝度ノイズ量算出手段にて輝度ノイズ量を求める撮像システムである。

（作用）
ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定し、これらの情報から輝度ノイズ量を算出する。

（効果）
撮影ごとに異なる条件に動的に適応し、高精度な輝度ノイズ量の推定が可能となる。また、必要となる情報が得られない場合でも輝度ノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。

（請求項７）
（構成）
請求項５の発明における上記色ノイズ推定手段は、上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、上記収集手段で得られない上記情報に関して標準値を付与する付与手段と、上記注目画素または上記注目画素と上記類似画素から平均色差値を算出する平均色差算出手段と、上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の収集手段は図１，図９に示される制御部114、温度センサー116および図３，図１１に示されるゲイン算出部201が、請求項中の付与手段は図３，図１１に示される標準値付与部202が、請求項中の平均色差算出手段は図３，図１１に示される平均算出部200が、請求項中の色ノイズ量算出手段は図３に示されるパラメータ用ＲＯＭ203，パラメータ選択部204，補間部205及び補正部206、或いは、図１１に示される色ノイズＬＵＴ701が該当する。

この発明の好ましい適用例は、制御部114，温度センサー116およびゲイン算出部201による収集手段にてノイズ量推定に用いる情報を収集し、制御部114，温度センサー116およびゲイン算出部201からの前記情報が得られない場合に標準値付与部202にて標準値を設定し、平均算出部200にて注目画素および類似画素から平均色差値を算出し、パラメータ用ＲＯＭ203，パラメータ選択部204，補間部205及び補正部206による色ノイズ量算出手段、或いは色ノイズＬＵＴ701による色ノイズ量算出手段にて色ノイズ量を求める撮像システムである。

（作用）
ノイズ量に関係する各種情報を撮影ごとに動的に求め、求められない情報に関しては標準値を設定し、これらの情報から色ノイズ量を算出する。

（効果）
撮影ごとに異なる条件に動的に適応し、高精度な色ノイズ量の推定が可能となる。また、必要となる情報が得られない場合でも色ノイズ量の推定が可能となり、安定したノイズ低減効果が得られる。

（請求項８）
（構成）
請求項６又は７の発明における上記収集手段は、上記記撮像素子の温度値を測定する温度センサーを有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および第９ 図〜図１３に示される実施例２が対応する。請求項中の温度センサーは図１、図９に示される温度センサー116が該当する。

この発明の好ましい適用例は、温度センサー116からＣＣＤ102の温度をリアルタイムで測定する撮像システムである。

（作用）
撮影時の撮像素子の温度を計測して、ノイズ量推定の情報とする。

（効果）
撮影時の温度変化に動的に適応し、高精度なノイズ量の推定が可能となる。

（請求項９）
（構成）
請求項６又は７の発明における上記収集手段は、ＩＳＯ感度、露出情報，ホワイトバランス情報の少なくとも１つ以上の情報に基づき上記ゲイン値を求めるゲイン算出手段を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中のゲイン算出手段は図１，図９に示される制御部114および図３，図１１に示されるゲイン算出部201が該当する。

この発明の好ましい適用例は、制御部114にてＩＳＯ感度，露出情報，ホワイトバランス情報などを転送し、ゲイン算出部201にて撮影時のトータルのゲイン量を求める撮像システムである。

（作用）
ＩＳＯ感度，露出情報，ホワイトバランス情報から撮影時のゲイン量を求め、ノイズ量推定の情報とする。

（効果）
撮影時のゲイン変化に動的に適応し、高精度なノイズ量の推定が可能となる。

（請求項１０）
（構成）
請求項６の発明における上記輝度ノイズ量算出手段は、基準輝度ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記平均輝度値および上記パラメータ選択手段により選択されたパラメータ群中の基準輝度ノイズモデルに基づき基準輝度ノイズ量を求める補間手段と、上記基準輝度ノイズ量を上記パラメータ選択手段により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める補正手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１が対応する。
請求項中の記録手段は図３に示されるパラメータ用ＲＯＭ203が、請求項中のパラメータ選択手段は図３に示されるパラメータ選択部204が、請求項中の補間手段は図３に示される補間部205が、請求項中の補正手段は図３に示される補正部206が該当する。

この発明の好ましい適用例は、パラメータ用ＲＯＭ203に予め測定しておいたノイズ量推定のための使用される基準輝度ノイズモデルの係数と補正係数を記録し、パラメータ選択部204にて基準輝度ノイズモデルの係数と補正係数を選択し、補間部205にて基準輝度ノイズモデルに基づき基準輝度ノイズ量を補間処理にて算出し、補正部206にて補正係数に基づき補正することで輝度ノイズ量を求める撮像システムである。

（作用）
基準輝度ノイズモデルに基づき補間および補正処理を行うことで輝度ノイズ量を求める。

（効果）
ノイズ量の算出にモデルを用いているため、高精度なノイズ量の推定が可能となる。また、補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。

（請求項１１）
（構成）
請求項１０の発明における上記基準輝度ノイズモデルは、輝度値に対する輝度ノイズ量から成る複数の座標点データから構成されることを特徴とする。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１が対応する。
この発明の好ましい適用例は、図４(b)に示される複数の座標点データからなる基準輝度ノイズモデルを用いる撮像システムである。

（作用）
基準輝度ノイズモデルを複数の座標点データで構成する。

（効果）
モデルに必要となるメモリ量が少なく、低コスト化が可能となる。

（請求項１２）
（構成）
請求項６の発明における上記輝度ノイズ量算出手段は、上記収集手段または上記付与手段からの情報および上記平均輝度値を入力とし輝度ノイズ量を求めるルックアップテーブル手段を有する。

（対応する発明の実施例）
この発明に関する実施例は、図９〜図１３に示される実施例２が対応する。
請求項中のルックアップテーブル手段は図１１に示される輝度ノイズＬＵＴ700が該当する。
この発明の好ましい適用例は、輝度ノイズＬＵＴ700にて輝度ノイズ量を求める撮像システムである。

（作用）
ルックアップテーブルから輝度ノイズ量を算出する。

（効果）
輝度ノイズ量の算出にテーブルを用いているため高速な処理が可能となる。

（請求項１３）
（構成）
請求項７の発明における上記色ノイズ量算出手段は、基準色ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、上記収集手段または上記付与手段からの情報および上記平均色差値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記平均色差値および上記パラメータ選択手段により選択されたパラメータ群中の基準色ノイズモデルに基づき基準色ノイズ量を求める補間手段と、上記基準色ノイズ量を上記パラメータ選択手段により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める補正手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１が対応する。
請求項中の記録手段は図３に示されるパラメータ用ＲＯＭ203が、請求項中のパラメータ選択手段は図３に示されるパラメータ選択部204が、請求項中の補間手段は図３に示される補間部205が、請求項中の補正手段は図３に示される補正部206が該当する。

この発明の好ましい適用例は、パラメータ用ＲＯＭ203に予め測定しておいたノイズ量推定のための使用される基準色ノイズモデルの係数と補正係数を記録し、パラメータ選択部204にて基準色ノイズモデルの係数と補正係数を選択し、補間部205にて基準色ノイズモデルに基づき基準色ノイズ量を補間処理にて算出し、補正部206にて補正係数に基づき補正することで色ノイズ量を求める撮像システムである。

（作用）
基準色ノイズモデルに基づき補間および補正処理を行うことで色ノイズ量を求める。

（効果）
ノイズ量の算出にモデルを用いているため、高精度なノイズ量の推定が可能となる。また、補間および補正処理は実装が容易であり、低コストなシステムが提供可能となる。

（請求項１４）
（構成）
請求項１３の発明における上記基準色ノイズモデルは、色差値に対する色ノイズ量から成る複数の座標点データから構成されることを特徴とする。

（対応する発明の実施例）
この発明に関する実施例は、図９〜図１３に示される実施例２が対応する。
この発明の好ましい適用例は、図１２(b)に示される複数の座標点データからなる基準色ノイズモデルを用いる撮像システムである。

（作用）
基準色ノイズモデルを複数の座標点データで構成する。

（効果）
モデルに必要となるメモリ量が少なく、低コスト化が可能となる。

（請求項１５）
（構成）
請求項７の発明における上記色ノイズ量算出手段は、上記収集手段または上記付与手段からの情報および上記平均色差値を入力とし色ノイズ量を求めるルックアップテーブル手段を有する。

（対応する発明の実施例）
この発明に関する実施例は、図９〜図１３に示される実施例２が対応する。
請求項中のルックアップテーブル手段は図１１に示される色ノイズＬＵＴ701が該当する。
この発明の好ましい適用例は、色ノイズＬＵＴ701にて色ノイズ量を求める撮像システムである。

（作用）
ルックアップテーブルから色ノイズ量を算出する。

（効果）
色ノイズ量の算出にテーブルを用いているため高速な処理が可能となる。

（請求項１６）
（構成）
請求項２の発明における上記ノイズ低減手段は、上記注目画素と類似画素との平均値と上記第２のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減手段を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の輝度ノイズ低減手段は図１，図６，図７，図９に示されるノイズ低減部111が該当する。
この発明の好ましい適用例は、ノイズ低減部111にて輝度ノイズを低減する撮像システムである。

（作用）
輝度ノイズを独立に低減処理する。

（効果）
輝度ノイズに対する低減処理の精度が向上する。

（請求項１７）
（構成）
請求項３の発明におけるノイズ低減手段は、上記注目画素と類似画素との平均値と上記第２のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減手段および上記注目画素と類似画素との平均値と上記第２のノイズ量に基づき上記注目画素から色ノイズを低減する色ノイズ低減手段の少なくとも一つを有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の輝度ノイズ低減手段は図１，図６，図７，図９に示されるノイズ低減部111が、色ノイズ低減手段は図１，図６，図７，図９に示されるノイズ低減部111が該当する。

この発明の好ましい適用例は、ノイズ低減部1 1 1にて輝度ノイズおよび色ノイズの少なくとも１つを低減する撮像システムである。

（作用）
輝度ノイズ量および色ノイズ量の少なくとも１つを低減する。輝度ノイズ量および色ノイズ量の両方を低減する場合には、同じノイズ低減部1 1 1にて同じ注目画素につき輝度ノイズおよび色ノイズを順次低減する動作を行えばよい。

（効果）
輝度ノイズ量と色ノイズ量を独立（別々）に低減することで、各々の低減精度を向上できる。

（請求項１８）
（構成）
請求項１６又は１７の発明における上記輝度ノイズ低減手段は、上記注目画素と類似画素との平均値と上記第２のノイズ量に基づき上記注目画素にノイズ範囲を設定する設定手段と、上記注目画素の輝度信号に関してノイズ範囲に属する場合に平滑化を行う第１のスムージング手段と、上記注目画素の輝度信号に関してノイズ範囲に属さない場合に補正を行う第２のスムージング手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の設定手段は図６に示される範囲設定部402が、請求項中の第１のスムージング手段は図６に示される第１スムージング部403が、請求項中の第２のスムージング手段は図６に示される第２スムージング部404が該当する。

この発明の好ましい適用例は、範囲設定部402にて注目画素に関して輝度ノイズの範囲を設定し、第１スムージング部403にてノイズ範囲に属すると判断された注目画素の輝度信号に平滑化を行い、第２スムージング部404にてノイズ範囲に属さないと判断された注目画素の輝度信号に補正を行う撮像システムである。

（作用）
ノイズ範囲に属すると判断された注目画素の輝度信号には平滑化処理を、属さないと判断された注目画素の輝度信号には補正処理を行う。

（効果）
輝度ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号が得られる。

（請求項１９）
（構成）
請求項１６又は１７の発明における上記輝度ノイズ低減手段は、上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断手段と、上記注目画素が孤立点ノイズと判断された場合に上記類似画素に基づき平滑化を行う第３のスムージング手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の孤立点ノイズ判断手段は図６に示される孤立点ノイズ判断部400が、請求項中の第３のスムージング手段は図６に示される第３スムージング部405が該当する。

この発明の好ましい適用例は、孤立点ノイズ判断部400にて注目画素が孤立点ノイズに属するかを判断し、孤立点ノイズに属すると判断された場合に第３スムージング部405にて注目画素の輝度信号に平滑化を行う撮像システムである。

（作用）
類似画素に基づき孤立点ノイズに属するかの判断を行い、属すると判断された注目画素の輝度信号に平滑化処理を行う。

（効果）
孤立点ノイズの検出を通常のランダムノイズ処理と共通化することができ、システム全体を低コスト化することができる。さらに、孤立点ノイズ専用の平滑化処理を行うため、高品位な信号が得られる。

（請求項２０）
（構成）
請求項１７の発明における上記色ノイズ低減手段は、上記注目画素と類似画素との平均値と上記第２のノイズ量に基づき上記注目画素にノイズ範囲を設定する設定手段と、上記注目画素の色差信号に関してノイズ範囲に属する場合に平滑化を行う第１のスムージング手段と、上記注目画素の色差信号に関してノイズ範囲に属さない場合に補正を行う第２のスムージング手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の設定手段は図６に示される範囲設定部402が、請求項中の第１のスムージング手段は図６に示される第１スムージング部403が、請求項中の第２のスムージング手段は図６に示される第２スムージング部404が該当する。

この発明の好ましい適用例は、範囲設定部402にて注目画素に関して色ノイズの範囲を設定し、第１スムージング部403にてノイズ範囲に属すると判断された注目画素の色差信号に平滑化を行い、第２スムージング部404にてノイズ範囲に属さないと判断された注目画素の色差信号に補正を行う撮像システムである。

（作用）
ノイズ範囲に属すると判断された注目画素の色差信号には平滑化処理を、属さないと判断された注目画素の色差信号には補正処理を行う。

（効果）
色ノイズ低減処理に伴う不連続性の発生を防止し、高品位な信号が得られる。

（請求項２１）
（構成）
請求項１７の発明における上記色ノイズ低減手段は、上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断手段と、上記注目画素が孤立点ノイズと判断された場合に上記類似画素に基づき平滑化を行う第３のスムージング手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図１〜図８に示される実施例１および図９〜図１３に示される実施例２が対応する。請求項中の孤立点ノイズ判断手段は図６に示される孤立点ノイズ判断部400が、請求項中の第３のスムージング手段は図６に示される第３スムージング部405が該当する。

この発明の好ましい適用例は、孤立点ノイズ判断部400にて注目画素が孤立点ノイズに属するかを判断し、孤立点ノイズに属すると判断された場合に第３スムージング部405にて注目画素の色差信号に平滑化を行う撮像システムである。

（作用）
類似画素に基づき孤立点ノイズに属するかの判断を行い、属すると判断された注目画素の色差信号に平滑化処理を行う。

（効果）
孤立点ノイズの検出を通常のランダムノイズ処理と共通化することができ、システム全体を低コスト化することができる。さらに、孤立点ノイズ専用の平滑化処理を行うため、高品位な信号が得られる。

（請求項２２）
（構成）
請求項３の発明の撮像システムは、上記ノイズ低減手段で処理された上記注目画素の輝度信号および色差信号から、撮像素子からの本来の信号へ変換するＹ／Ｃ合成手段を更に有することを特徴とする。

（対応する発明の実施例）
この発明に関する実施例は、図９〜図１３に示される実施例２が対応する。請求項中のＹ／Ｃ合成手段は図９に示されるＹ／Ｃ合成部603が該当する。
この発明の好ましい適用例は、Ｙ／Ｃ合成部603にてノイズが低減された輝度信号および色差信号を本来撮像素子の信号形態へ逆変換を行う撮像システムである。

（作用）
ノイズ低減後の信号を本来の撮像素子の信号形態へ逆変換する。

（効果）
ノイズ低減後の輝度信号および色差信号を本来の信号へ戻すため、それ以降の処理系との互換性が維持され、多様なシステムの組み合わせが可能となる。

（請求項２３）
（構成）
請求項２３の本発明によるノイズ低減処理装置は、入力される画像信号に対しノイズ低減処理を行うノイズ低減処理装置において、ノイズ低減処理を行う上記画像信号中の注目画素と撮像時の条件から第１のノイズ量を推定する第１のノイズ推定手段と、上記注目画素の画素値と上記第１のノイズ量とを用いて第１の許容範囲内を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出手段と、上記注目画素の画素値と上記類似画素の画素値と撮像時の条件から第２のノイズ量を推定する第２のノイズ推定手段と、上記注目画素と類似画素との平均値と上記第２のノイズ量とを用いてノイズ量に関する第２の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減手段と、を有する。

（対応する発明の実施例）
この発明に関する実施例は、図７に示される実施例１の変形例が対応する。請求項中の第１のノイズ推定手段は図７に示される制御部114，ヘッダ情報解析部501およびノイズ推定部109が、請求項中の抽出手段は図７に示される抽出部110が、請求項中の第２のノイズ推定手段は図７示される制御部114，ヘッダ情報解析部501およびノイズ推定部109が、請求項中のノイズ低減手段は図７に示されるノイズ低減部111が該当する。

この発明の好ましい適用例は、ノイズ推定部109，制御部114，ヘッダ情報解析部501にて注目画素から第１のノイズ量を推定し、抽出部110にて注目画素および第１のノイズ量に基づき注目画素に類似する類似画素を抽出し、ノイズ推定部109，制御部114，ヘッダ情報解析部501にて注目画素および類似画素から第２のノイズ量を推定し、ノイズ低減部111にて注目画素と類似画素との平均値と第２のノイズ量に基づき注目画素のノイズを低減するノイズ低減処理装置である。

（作用）
ノイズ低減処理を行う注目画素から概略的な第１のノイズ量を推定し、推定された第１のノイズ量から注目画素と類似する類似画素を抽出し、注目画素および類似画素からより精度の高い第２のノイズ量を推定し、注目画素と類似画素との平均値と第２のノイズ量に基づきノイズ低減処理を行う。

（効果）
高精度なノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。

（請求項２４〜３５）の発明による撮像処理プログラムは、上記請求項１〜６，１５，１６，１７，１９，２１，２２の発明による撮像システムそれぞれに対応しており、これらの各請求項と同様な作用・効果を得ることができる。

本発明によれば、信号レベルのみならず撮影時の温度，ゲインなどの動的に変化する要因に対応した輝度信号および色差信号のノイズ量のモデル化を行い、これにより撮影状況に最適化されたノイズ低減処理が可能となる。輝度信号および色差信号のランダムノイズを高精度に低減するため、ノイズ量に基づき信号レベルに応じた画像上の領域分けを行い、均質な領域内でノイズ処理を行うので、より高精度にノイズを低減できる。また、ノイズ低減処理を、輝度ノイズと色ノイズに対して独立に行うことで、両者のノイズを高精度に低減し、高品位な信号を生成することが可能となる。

発明の実施例について図面を参照して説明する。

図１は本発明の実施例１の撮像システムの構成図、図２は注目画素および類似画素に関する説明図、図３はノイズ推定部の構成図、図４は輝度ノイズ量の推定に関する説明図、図５は抽出部の構成図、図６はノイズ低減部の構成図、図７は実施例１の変形例の構成図、図８は実施例１におけるノイズ低減処理のフローチャートを示している。

［構成］
図１は、本発明の実施例１の構成図である。レンズ系100，絞り101，ＣＣＤ102を介して撮影された映像は、図示しない公知の相関二重サンプリング回路にてアナログ信号として読み出される。そして、利得制御増幅器（以下、Gain）103にて増幅され、アナログ／デジタル変換器（以下、Ａ／Ｄ）104にてデジタル信号へ変換される。Ａ／Ｄ104からの信号は、バッファ105を介してノイズ推定部109および抽出部110へ転送される。バッファ105は、測光評価部106，合焦点検出部107へも接続されている。測光評価部106は絞り101，ＣＣＤ102，Gain103へ、合焦点検出部107はＡＦ（Auto-Focusの略）モータ108へ接続されている。ノイズ推定部109は、抽出部110およびノイズ低減部111へ接続されている。抽出部110は、ノイズ推定部109およびノイズ低減部111へ接続されている。ノイズ低減部111は、信号処理部112を経由してメモリーカードなどの出力部113に接続されている。

マイクロコンピュータなどの制御部114は、Gain103，Ａ／Ｄ104，測光評価部106，合焦点検出部107，ノイズ推定部109，抽出部110，ノイズ低減部111，信号処理部112，出力部113と双方向に接続されている。また、電源スイッチ，シャッターボタン，撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部Ｉ／Ｆ部115も制御部114に双方向に接続されている。さらに、ＣＣＤ102の近傍に配置された温度センサー116からの信号は制御部114へ接続されている。

[作用]
図１において、信号の流れを説明する。外部Ｉ／Ｆ部115を介してＩＳＯ感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100，絞り101，ＣＣＤ102を介して撮影された信号は、アナログ信号として出力される。なお、本実施例において、ＣＣＤ102は白黒用単板ＣＣＤを、出力される信号は輝度信号Ｙを想定する。上記アナログ信号はGain103にて所定量増幅され、Ａ／Ｄ104にてデジタル信号へ変換されてバッファ105へ転送される。

バッファ105内の映像信号は、測光評価部106および合焦点検出部107へ転送される。測光評価部106では、設定されたＩＳＯ感度，手ぶれ限界のシャッター速度などを加味し、信号中の輝度レベルを求めて適正露光となるよう絞り101やＣＣＤ102の電子シャッター速度やGain103の増幅率などを制御する。また、合焦点検出部107では信号中のエッジ強度を検出し、これが最大となるようにＡＦモータ108を制御することで合焦信号を得る。

次に、外部Ｉ／Ｆ部115を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様にバッファ105へ転送される。本撮影は、測光評価部106にて求められた露光条件、合焦点検出部107にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部114へ転送される。

バッファ105内の映像信号は画素単位で順次ノイズ推定部109へ転送される。ノイズ推定部109は、制御部114の制御に基づき、ノイズ低減処理を行う注目画素に対する第１のノイズ量を推定し、これを抽出部110へ転送する。抽出部110は、制御部114の制御に基づき、注目画素および上記第１のノイズ量に基づき注目画素と類似する画素を抽出するための許容範囲を算出する。算出された上記許容範囲に基づき、注目画素近傍から類似する類似画素を抽出する。

なお、本実施例において注目画素近傍とは図２(a)に示されるように、注目画素（Ｐ22）を中心とする5×5画素領域（Ｐij，i＝0〜4， j＝0〜4）を想定する。また、類似画素としては、図２(b)に示されるように注目画素（Ｐ22）に対して前記許容範囲内にある類似画素（Ｐi'j'，i'＝0〜4のいずれか， j'＝0〜4のいずれか）を想定する。図２(b)の梨地に示す画素が類似画素である。

抽出された類似画素および注目画素は、ノイズ推定部109およびノイズ低減部111へ転送される。ノイズ推定部109は、制御部114の制御に基づき、ノイズ低減処理を行う注目画素および上記類似画素に対する第２のノイズ量を推定し、これをノイズ低減部111へ転送する。ノイズ低減部111は、制御部114の制御に基づき、抽出部110からの上記類似画素から注目画素が孤立点ノイズに属するかの判断を行う。孤立点ノイズに属すると判断された場合は、孤立点ノイズ用の平滑化正処理が行われ、補正後の注目画素は信号処理部112へ転送される。

孤立点ノイズについては、図２(d)に示すように注目画素Ｐ22を中心に3×3の注目画素近傍領域中に自分自身しか類似のものががないときにのみ、つまり隣接画素に類似のものがないときにのみ孤立点として判断し、3×3近傍領域の外側に類似したものがあったとしても無視される（類似しているとはされない）。なお、孤立点ノイズの判断については、図６に示すノイズ低減部にて詳しく説明する。

孤立点ノイズに属さないと判断された場合は、上記第２のノイズ量に基づき輝度ノイズに関する範囲を算出する。上記範囲に基づき注目画素が輝度ノイズに属するかの判断を行う。輝度ノイズに属すると判断された場合は平滑化処理が、輝度ノイズに属さないと判断された場合は連続性を確保するための補正処理がなされる。輝度ノイズに関する処理がなされた注目画素は信号処理部112へ転送される。

上記ノイズ推定部109，抽出部110、ノイズ低減部111における処理は、制御部114の制御に基づき注目画素単位で同期して行われる。信号処理部112は、制御部114の制御に基づきノイズ低減後の信号に対して、公知の強調処理や圧縮処理などを行い、出力部113へ転送する。出力部113は、メモリーカードなどへ信号を記録保存する。

図３はノイズ推定部109の構成の一例を示すもので、平均算出部200，ゲイン算出部201，標準値付与部202，パラメータ用ＲＯＭ203，パラメータ選択部204，補間部205，補正部206からなる。バッファ105および抽出部110は、平均算出部200へ接続している。平均算出部200は、パラメータ選択部204へ接続している。ゲイン算出部201，標準値付与部202，パラメータ用ＲＯＭ203は、パラメータ選択部204へ接続している。パラメータ選択部204は、補間部205，補正部206を介して抽出部110およびノイズ低減部111へ接続している。制御部114は、平均算出部200，ゲイン算出部201，標準値付与部202，パラメータ選択部204，補間部205，補正部206へ双方向に接続されている。平均算出部200は、制御部114の制御に基づき、バッファ105からノイズ低減処理を行う注目画素を画素単位で読み込み、この画素値をパラメータ選択部204へ転送する。ゲイン算出部201は、制御部114から転送されるＩＳＯ感度および露光条件に関する情報に基づきGain103における増幅量を求め、パラメータ選択部204へ転送する。また、制御部114は温度センサー116からＣＣＤ102の温度情報を得て、これをパラメータ選択部204へ転送する。

パラメータ選択部204は、輝度ノイズ量を推定するのに用いるパラメータとして、推定平均算出部200からの注目画素の画素値，ゲイン算出部201からのゲインの情報，制御部114からの温度情報、パラメータ用ＲＯＭ203からの補正係数を選択する。

図４は、輝度ノイズ量の推定に関する説明図である。図４(a)は、輝度値を信号レベルＬとした場合のノイズ量Ｎsをプロットしたもので、信号レベルに対して２次曲線的に増加している。ここで、サフィックスsは信号の種類を示す。本実施例における信号は、輝度信号Ｙの一種類しかなくs＝Ｙとなるが、後述する変形例において複数種類の信号が生じる場合に対応するため導入する。

図４(a)を２次関数でモデル化すると(1)式が得られる。

［式１］

ここで、αs，βs，γsは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、素子の温度やゲインによっても変化する。

図４(a)は、一例としてゲインに関連する３種類のＩＳＯ感度100，200，400に対するノイズ量をプロットしている。個々の曲線は(1)式に示される形態をしているが、その係数はゲインに関連するＩＳＯ感度により異なる。温度をｔ、ゲインをｇとし、上記を考慮した形でモデルの定式化を行うと、
［式２］

となる．ここで、αsgt，βsgt，γsgtは定数項である。ただし、(2)式の関数を複数記録し、その都度演算によりノイズ量を算出することは処理的に煩雑である。このため、図４（b)に示すようなモデルの簡略化を行う。図４(b)においては、最大のノイズ量を与えるモデルを基準ノイズモデルとして選択し、これを所定数の折れ線で近似する。折れ線の変曲点は、信号レベルＬとノイズ量Ｎからなる座標データ（Ｌn，Ｎn）で表す。ここで、nは変曲点の数を示す。

また、上記基準ノイズモデルから他のノイズモデルを導出するための補正係数ｋsgtも用意される。補正係数ｋsgtは、各ノイズモデルと基準ノイズモデル間から最小自乗法により算出される。基準ノイズモデルから他のノイズモデルを導出するには、上記補正係数ｋsgtを乗算することで行われる。

図４(c)は、図４(b)に示す簡易化されたノイズモデルからノイズ量を算出する方法を示す。例えば、与えられた信号レベルｌ、信号の種類がs、ゲインがg、温度がtに対応するノイズ量Ｎsを求めることを想定する。まず、信号レベルｌが基準ノイズモデルのどの区間に属するかを探索する。ここでは、（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）間の区間に属するとする。基準ノイズモデルにおける基準ノイズ量Ｎlを線形補間にて求める。

［式３］

次に補正係数ｋsgtを乗算することで、ノイズ量Ｎsを求める。

［式４］

上記基準ノイズモデルは、輝度信号に関する基準輝度ノイズモデルである。パラメータ選択部204は、平均算出部200からの注目画素Ｐ22の画素値Ｐs22から信号レベルｌを、ゲイン算出部201からのゲインの情報からゲインｇを、制御部114からの温度情報から温度ｔを設定する。次に、信号レベルｌが属する区間の座標データ（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）をパラメータ用ＲＯＭ203から探索し、これを補間部205へ転送する。さらに、補正係数ｋsgtをパラメータ用ＲＯＭ203から探索し、これを補正部206へ転送する。補間部205は、制御部114の制御に基づきパラメータ選択部204からの信号レベルｌおよび区間の座標データ（Ｌn，Ｎn）と（Ｌn+1，Ｎn+1）から(3)式に基づき基準ノイズモデルにおける基準ノイズ量Ｎlを算出し、補正部206へ転送する。補正部206は、制御部114の制御に基づきパラメータ選択部204からの補正係数ｋsgtおよび補間部205からの基準ノイズ量Ｎlから(4)式に基づきノイズ量Ｎsを算出する。なお、ここで算出されたノイズ量は第１のノイズ量であり以後Ｎ1sで表す。第１のノイズ量Ｎ1sは、注目画素Ｐ22の画素値Ｐs22と共に抽出部110へ転送される。抽出部110にて、注目画素と類似する類似画素が抽出される。平均算出部200は、制御部114の制御に基づき、抽出部110から注目画素および類似画素の画素値を読み込み、これらの平均値を算出する。図２(b)に示されるように注目画素をＰ22、類似画素をＰi'j'とし、これらの画素値をＰs22、Ｐsi'j'とすると、平均値ＡＶsは、
［式５］

ここで、noは類似画素Ｐi'j'の総数を意味する。平均値ＡＶsを信号レベルlとして、上記(3)，(4)式に基づきノイズ量Ｎsを求める。なお、ここで算出されたノイズ量は第２のノイズ量であり以後Ｎ2sで表す。第２のノイズ量Ｎ2sは、平均値ＡＶsと共にノイズ低減部111へ転送される。

なお、上記ノイズ量算出の過程において、温度t，ゲインgなどの情報を撮影ごとに求める必要はない。任意の情報を標準値付与部202に記録させておき、算出過程を省略する構成も可能である。これにより、高速処理や省電力化などが実現できる。また、本実施例においては、注目画素近傍を図２(a)に示されるように注目画素を中心とする5×5画素領域としていたが、これに限定される必要はない。任意のサイズ、形状を設定することが可能である。

また、図２(c)に示されるように、注目画素を中心に3×3，5×5，7×7の段階的な近傍領域を設定することも可能である。この場合、注目画素に近い近傍領域から順次類似画素を探索し、類似画素数が所定の閾値を超えたときに探索を中断する。このように近傍領域を適用的に可変にすることにより、複雑なエッジ構造やテクスチャ構造をもつ領域でも安定したノイズ低減処理が可能となる。

図５は抽出部110の構成の一例を示すもので、許容範囲設定部300，近傍抽出部301，類似性調査部302，バッファ303からなる。ノイズ推定部109は、許容範囲設定部300へ接続している。バッファ105は、近傍抽出部301，類似性調査部302，バッファ303を介してノイズ推定部109およびノイズ低減部111へ接続している。制御部114は、許容範囲設定部300，近傍抽出部301，類似性調査部302と双方向に接続されている。制御部114の制御に基づき、ノイズ推定部109にて推定された注目画素Ｐ22に関する第１のノイズ量Ｎ1sおよび注目画素Ｐ22の画素値Ｐs22は許容範囲設定部300へ転送される。許容範囲設定部300は、類似画素を探索するための許容範囲として上限App _Upsおよび下限App _Lowsを(6)式のように設定する。

［式６］

上記許容範囲は、類似性調査部302へ転送される。近傍抽出部301は、制御部114の制御に基づき、バッファ105から注目画素およびその近傍領域を抽出し、画素単位で順次類似性調査部302へ転送する。本実施例において注目画素近傍とは図２(a)に示されるように、注目画素（Ｐ22）を中心とする5×5画素領域（Ｐij， i ＝ 0〜4， j＝0〜4）を想定する。類似性調査部302は、許容範囲設定部300からの許容範囲として上限App_Upsおよび下限App_Lowsに基づき、近傍抽出部301からの近傍領域の画素を調査する。

近傍領域の画素が(6)式の許容範囲内にある場合、これを類似画素としての有効を意味するフラグ、例えば１を与える。一方、許容範囲外である場合は無効を意味するフラグ、例えば０を与える。上記フラグと画素値は組としてバッファ303へ保存される。

図２(b)は、抽出された類似画素の一例を示す。なお、注目画素は必ず類似画素の一つとして抽出されることになる。バッファ303上のフラグおよび画素値情報は、制御部114の制御に基づき、必要に応じてノイズ推定部109およびノイズ低減部111へ転送される。

図６はノイズ低減部111の構成の一例を示すもので、孤立点ノイズ判断部400，切り換え部401、範囲設定部402，第１スムージング部403，第２スムージング部404，第３スムージング部405からなる。

抽出部110は、孤立点ノイズ判断部400および切り換え部401へ接続している。孤立点ノイズ判断部400は、切り換え部401へ接続している。切り換え部401は、第１スムージング部403，第２スムージング部404，第３スムージング部405へ接続している。ノイズ推定部109は範囲設定部402へ、範囲設定部402は切り換え部401，第１スムージング部403，第２スムージング部404へ接続している。第１スムージング部403，第２スムージング部404，第３スムージング部405は、信号処理部112へ接続している。制御部114は、孤立点ノイズ判断部400，切り換え部401，範囲設定部402，第１スムージング部403，第２スムージング部404，第３スムージング部405と双方向に接続している。

孤立点ノイズ判断部400は、制御部114の制御に基づき、抽出部110から類似画素を識別するフラグおよびその画素値を抽出する。孤立点ノイズ判断部400は、図２(d)に示されるように、注目画素Ｐ22を中心とする3×3近傍領域中の類似画素数を求める。3×3近傍領域中の類似画素数が０の場合に注目画素を孤立点ノイズと判断し、１以上の場合に通常の画素と判断する。ここで、5×5の注目画素近傍領域中には図２(d)の梨地にて示すように注目画素Ｐ22に類似する類似画素Ｐ00，Ｐ01，Ｐ20が存在するが、3×3の注目画素近傍領域中には注目画素Ｐ22に類似するものが全く無く、孤立点ノイズと判断される。上記判断結果は、切り換え部401へ転送される。

切り換え部401は、孤立点ノイズ判断部400の判断結果が孤立点ノイズの場合は直ちに抽出部110から注目画素およびその3×3近傍領域中の画素値を第３スムージング部405へ転送する。第３スムージング部405は、3×3近傍領域中の画素値の中央値を検出して、これを注目画素の画素値として信号処理部1 1 2へ出力する。つまり、第３スムージング部405は、3×3近傍領域中の画素値の中央値を注目画素の画素値とすることにより、スムージング(平滑化)を行う。一方、孤立点ノイズ判断部400の判断結果が孤立点ノイズでない場合、切り換え部401は制御部114へ範囲設定部402を起動するよう依頼する。範囲設定部402は、制御部114の制御に基づき、ノイズ推定部109から注目画素と類似画素の平均値ＡＶsおよび第２のノイズ量Ｎ2sを読み込む。その後、ノイズ量に関する許容範囲として上限Noise_Up、および下限Noise_Lowsを(7)式のように設定する。

［式７］

上記許容範囲Noise_Ups，Noise_Lowsは、切り換え部401へ転送される。また、範囲設定部402は注目画素と類似画素の平均値ＡＶsおよびノイズ量Ｎ2sを第１スムージング部403および第２スムージング部404へ転送する。切り換え部401は、制御部114の制御に基づき、抽出部110からの注目画素Ｐ22の画素値Ｐs22を読み込み、上記許容範囲に属するか否かの判断を行う。判断は、「ノイズ許容範囲に属している」，「ノイズ許容範囲を上回っている」，「ノイズ許容範囲を下回っている」の三通りである。切り換え部401は、「ノイズ許容範囲に属している」場合は第１スムージング部403へ、それ以外は第２スムージング部404へ注目画素Ｐ22の画素値Ｐs22を転送する。第１スムージング部403は、切り換え部401からの注目画素Ｐ22の画素値Ｐs22に範囲設定部402からの平均値ＡＶsを代入する平滑化処理を行う。

［式８］

第２スムージング部404は、切り換え部401からの注目画素Ｐ22の画素値Ｐs22に範囲設定部402からの輝度信号の平均値ＡＶsとノイズ量Ｎ2sを用いて補正する処理を行う。まず、「ノイズ許容範囲を上回っている」場合は(9)式のように補正する。

［式９］

また、「ノイズ許容範囲を下回っている」場合は(10)式のように補正する。

［式１０］

第１スムージング部403または第２スムージング部404での処理結果は信号処理部112へ転送される。

上記構成により、信号レベル，撮影時の温度，ゲインなどの動的に変化する条件に対応したノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。上記情報が得られない場合でも標準値を用いることでノイズ量の推定を行うため安定したノイズ低減効果が得られる。さらに、一部のパラメータ算出を意図的に省略することで低コスト，省電力化を可能とする撮像システムが提供できる。また、ノイズ低減処理を行う注目画素と類似する類似画素をあわせて処理を行うため、より広い均質な領域を用いてのノイズ量推定が可能となり、推定の精度を向上することができる。ノイズ量の算出を行うのに信号レベルに対するノイズ量の関係を示すノイズモデルを用いているため、高精度なノイズ量の推定が可能となる。

また、基準ノイズモデルに基づく補間および補正処理は撮像システムへの実装が容易であり、低コストなシステムが提供可能となる。さらに、ノイズモデルに必要となるメモリ量は少なく、低コスト化が可能となる。また、ノイズ低減処理はノイズ量から許容範囲を設定するため、原信号の保存性に優れ不連続性の発生を防止した低減処理が可能となる。さらに、孤立点ノイズの検出を通常のランダムノイズ処理と共通化することができ、システム全体を低コスト化することができる。また、孤立点ノイズ専用の補正処理を行うため、高品位な信号が得られる。

なお、上記実施例ではレンズ系100，絞り101，ＣＣＤ102，Gain103，Ａ／Ｄ104，測光評価部106，合焦点検出部107，ＡＦモータ108，温度センサー116からなる撮像部と一体化した構成になっていたが、このような構成に限定される必要はない。

例えば、図７に示されるように、別体の撮像部(図示せず)で撮像された映像信号を未処理の生（以下、Raw）データ形態で記録し、さらに撮像条件などの付随情報をヘッダ部に記録したメモリカードなどの記録媒体から、画像データとして入力したものを処理することも可能である。

図７は本実施例１の変形例に対応する、信号処理システム若しくはノイズ低減処理装置の構成を示している。

図７は、図１に示す撮像システムの構成からレンズ系100，絞り101，ＣＣＤ102，Gain103，Ａ／Ｄ104，測光評価部106，合焦点検出部107，ＡＦモータ108，温度センサー116を省略し、入力部500，ヘッダ情報解析部501を追加した形態となっている。基本構成は図１と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

入力部500は、バッファ105およびヘッダ情報解析部501へ接続している。制御部114は、入力部500，ヘッダ情報解析部501と双方向に接続している。マウス，キーボードなどの外部Ｉ／Ｆ部115を介して再生操作を開始することで、メモリカードなどの記録媒体に保存された画像信号およびヘッダ情報が入力部500から読み込まれる。入力部500からの画像信号はバッファ105へ、ヘッダ情報はヘッダ情報解析部501へ転送される。ヘッダ情報解析部501は、ヘッダ情報から撮影時の情報を抽出して制御部114へ転送する。以後の処理は、図１と同等である。

さらに、上記実施例ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ102からの信号を未処理のままのRawデータとして出力し、かつ制御部114からの撮影時の温度，ゲインなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図８は本実施例１におけるノイズ低減処理のフローチャートを示している。
図８(a)は、ノイズ低減処理のソフトウェア処理に関するフローを示す。ステップＳ1にて、信号と温度，ゲインなどのヘッダ情報を読み込む。ステップＳ2にて、信号から注目画素を順次抽出する。ステップＳ3にて、別途説明するように注目画素から第１のノイズ量を算出する。ステップＳ4にて、(6)式に示される類似画素を抽出するための許容範囲を設定する。ステップＳ5にて、ステップＳ4からの許容範囲に基づき注目画素近傍から図２(b)に示されるような類似画素を抽出する。ステップＳ6にて、別途説明するように注目画素および類似画素から第２のノイズ量を算出する。ステップＳ7にて、図２(d)に示されるような注目画素の3×3近傍領域中の類似画素数を求め、０以外の場合は通常の画素としてステップＳ8へ、０の場合は孤立点ノイズとしてステップＳ11へ分岐する。

ステップＳ8にて、注目画素が(7)式に示される許容範囲内に属するか否かを判断し、属する場合はステップＳ9へ、属さない場合はステップＳ10へ分岐する。ステップＳ9にて、(8)式に示される処理を行う。ステップＳ10にて、(9)式，(10)式に示される処理を行う。ステップＳ11にて、注目画素の3×3近傍領域から中央値を求めて注目画素へ代入する。

ステップＳ12にて、全注目画素の抽出が完了したかを判断し、完了していない場合はステップＳ2へ、完了した場合はステップＳ13へ分岐する。ステップＳ13にて、公知の強調処理や圧縮処理などの信号処理が行われる。ステップＳl4にて、信号処理後の信号が出力され終了する。

図８(b)は、上記ステップＳ3およびステップＳ6におけるノイズ量の推定に関するフローである。ステップＳ20にて、注目画素の画素値（ステップＳ3の場合）または注目画素と類似画素の平均値（ステップＳ6の場合）を算出する。ステップＳ21にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。ステップＳ22にて、基準ノイズモデルの座標データおよび補正係数を読み込む。ステップＳ23にて、(3)式に示される補間処理にて基準ノイズ量を求める。ステップＳ24にて、(4)式に示される補正処理にてノイズ量を求める。ステップＳ25にて、算出されたノイズ量を出力して終了する。

図９は本発明の実施例２の撮像システムの構成図、図１０はＹ／Ｃ分離に関する説明図、図１１はノイズ推定部の構成図、図１２は色ノイズ量の推定に関する説明図、図１３は実施例２におけるノイズ低減処理のフローチャートを示している。

［構成］
図９は、本発明の実施例２の構成図である。本実施例２は、実施例１にカラーフィルタ600，プリホワイトバランス（以下、PreWB）部601，Ｙ／Ｃ分離部602，Ｙ／Ｃ合成部603が追加された構成になっている。なお、図９の実施例２はカラー用の対応回路構成となっているが、実施例１と同一の構成要素には同一の名称と番号を割り当てている。以下、異なる部分のみを説明する。撮像部分で図１の実施例１と異なる点は、カラーフィルタ600とPreWB部601が追加されていることであり、バッファ105以降の回路部分では、Ｙ／Ｃ分離部602，Ｙ／Ｃ合成部603が追加されていることと、ノイズ推定部109A，信号処理部112A，出力部113A及び制御部114Aがカラー用に対応したもの（ソフトウェアを含む）となっていることである。抽出部110及びノイズ低減部111については、カラーの場合も白黒の場合と共通に使用でき、図１の実施例１と全く同様な回路を用いることができる。

ＣＣＤ102の前面にはカラーフィルタ600が配置される。カラーフィルタ600としては、Ｒ（赤），Ｇ（緑），Ｂ（青）Bayer型原色フィルタ、又は、Ｃｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタが用いられる。
PreWB部601は、画像信号中の所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出するもので、該係数をGain103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

Ｙ／Ｃ分離部602は、Ｒ，Ｇ，Ｂ信号又はＣｙ、Ｍｇ，Ｙｅ，Ｇ信号から輝度信号および色差信号を算出するものである。
Ｙ／Ｃ合成部603は、ノイズ低減部111で処理された注目画素の輝度信号および色差信号から、撮像素子からの本来のＲ，Ｇ，Ｂ信号又はＣｙ、Ｍｇ，Ｙｅ，Ｇ信号へ変換するものである。

バッファ105は、PreWB部601，Ｙ／Ｃ分離部602，測光評価部106，合焦点検出部107へ接続されている。Ｙ／Ｃ分離部602は、ノイズ推定部109A，抽出部110へ接続されている。ノイズ低減部111はＹ／Ｃ合成部603へ、Ｙ／Ｃ合成部603は信号処理部112Aへ接続されている。制御部114Aは、PreWB部601，Ｙ／Ｃ分離部602，Ｙ／Ｃ合成部603と双方向に接続されている。

[作用]
基本的に実施例１と同等であり、異なる部分のみ説明する。図９において、信号の流れを説明する。外部Ｉ／Ｆ部115を介してシャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100，絞り101，カラーフィルタ600，ＣＣＤ102を介して撮影された信号は、Gain103，Ａ／Ｄ104を介してバッファ105へ転送される。

なお、本実施例においてカラーフィルタ600はBayer型原色フィルタを想定する。図１０(a)は、Bayer型の色フィルタの構成を示す。Bayer型は2×2画素を基本単位とし、赤（R），青(B)フィルタが１画素ずつ、緑（Gr，Gb）フィルタが２画素配置される。なお、緑フィルタは同一なものであるが、本例では処理の便宜上これをGr，Gbと区別するものとする。画像用バッファ105内の信号は、PreWB部601へ転送される。

PreWB部601では、画像信号中の所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。そして、上記係数をGain103へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。次に、外部Ｉ／Ｆ部115を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様に画像用バッファ105へ転送される。なお、PreWB部601にて求められたホワイトバランス係数は制御部114Aへ転送される。バッファ105内の信号はＹ／Ｃ分離部602へ転送される。Ｙ／Ｃ分離部602は、制御部114Aの制御に基づき、図１０(b)に示されるような重複せずに2×2画素領域を順次抽出し、輝度信号Yb，Yrおよび色差信号Cb，Crを領域単位に算出する。

［式１１］

上記４種類の信号はノイズ推定部109Aおよび抽出部110へ転送される。ノイズ推定部109A，抽出部110は、前記実施例１と同様に注目画素に対して第１のノイズ量を求め、第１のノイズ量から類似画素を求め、注目画素と類似画素から第２のノイズ量を求める。

ノイズ推定部109Aについては、上記実施例１と異なる点は、一つの注目画素に対し４種類の信号（Yb，Yr，Cr，Cb）のノイズ量を求めることである。従って、ノイズ推定部109Aを制御する制御部114Aの制御プログラムも４種類の信号に対応した制御回数が必要となる。本実施例2では、(4)式のノイズ量Ｎs、注目画素P22の画素値Ｐs22、類似画素Ｐi'j'の画素値Ｐsi'j'、(5)式の平均値ＡＶsにおける信号の種類を示すサフイックスsはs＝Yb，Yr，Cr，Cbとなる。ノイズ低減部111は、前記実施例１と同様に、孤立点ノイズ用の補正処理、ランダムノイズ用の平滑化処理、連続性を確保するための補正処理の何れかがなされる。上記ノイズ推定部109A，抽出部110，ノイズ低減部111における処理は、制御部114Aの制御に基づき注目画素単位で４種類の信号に関して同期して行われる。ノイズ低減処理後の４種類の信号は、Ｙ／Ｃ合成部603へ転送される。

Ｙ／Ｃ合成部603では、ＣＣＤ102からの信号形態、本実施例においてはBayer型の信号形態へ戻す処理が行われる。ノイズ低減後の輝度信号をYb'，Yr'、色差信号をCb'，Cr'とすると、Bayer型の信号形態R'，Gr'，Gb'，B'は(12)式で得られる。

［式１２］

信号処理部112Aは、制御部114Aの制御に基づきノイズ低減後の信号（即ち、Bayer型の信号形態R'，Gr'，Gb'，B'）に対して、公知の補間処理（R'，Gr'，Gb'，B'の４つの撮影相当画素については各画素ごとに自身以外のRGB他色画素を補間処理にて作成する必要があるがそのためのカラー補間処理を言う），強調処理，圧縮処理などを行い、出力部113Aへ転送する。出力部113Aは、メモリーカードなどへBayer型のカラー信号形態の信号を記録保存する。

ノイズ推定部109Aの構成例としては、本願実施例１の図３に示されるノイズ推定部109を適用することができる。主として、ノイズ推定部109におけるパラメータ用ＲＯＭ203に記憶するノイズモデルの数が、白黒の場合は１種類でよいが、カラーの場合は色差信号Cr，Cb及び輝度信号Yb，Yrに応じて４種類必要となる。これは信号の種類の数に応じてノイズモデルのノイズ量算出曲線が異なってくるためである。

すなわち、図３のノイズ推定部109において、色差信号Cr，Cbについては、制御部114，温度センサー116およびゲイン算出部201による収集手段にてノイズ量推定に用いる情報を収集し、制御部114，温度センサー116およびゲイン算出部201からの前記情報が得られない場合に付与手段としての標準値付与部202にて標準値を設定し、平均算出部200にて注目画素および類似画素から平均色差値を算出し、パラメータ用ＲＯＭ203，パラメータ選択部204，補間部205及び補正部206による色ノイズ量算出手段（或いは図１１の色ノイズＬＵＴ701による色ノイズ量算出手段）にて上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求めることができる。

なお、輝度信号Yb，Yrについても、図３のノイズ推定部109によるパラメータ用ＲＯＭ203，パラメータ選択部204，補間部205及び補正部206による輝度ノイズ量算出手段（或いは図１１の輝度ノイズＬＵＴ700による輝度ノイズ量算出手段）にて上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求めることができる。

図１１はノイズ推定部109Aの構成の他の例を示すもので、本願実施例１の図３に示されるノイズ推定部109のパラメータ用ＲＯＭ203，パラメータ選択部204，補間部205，補正部206に代えて、輝度ノイズ量算出手段及び色ノイズ算出手段として輝度ノイズＬＵＴ700および色ノイズＬＵＴ701を用いた形態になっている。基本構成は図３に示すノイズ推定部109Aと同等であり、同一の構成要素には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。

Ｙ／Ｃ分離部602および抽出部110は、平均算出部200へ接続している。平均算出部200，ゲイン算出部201，標準値付与部202は、輝度ノイズＬＵＴ700および色ノイズＬＵＴ701へ接続している。輝度ノイズＬＵＴ700および色ノイズＬＵＴ701は、抽出部110およびノイズ低減部111へ接続している。制御部114Aは、輝度ノイズＬＵＴ700および色ノイズＬＵＴ701へ双方向に接続されている。平均算出部200は、制御部114A制御に基づき、Ｙ／Ｃ分離部602からノイズ低減処理を行う注目画素を画素単位で読み込み、(11)式に示される４種類の画素値を順次輝度ノイズＬＵＴ700および色ノイズＬＵＴ701へ転送する。ゲイン算出部201は、制御部114Aから転送されるＩＳＯ感度および露光条件およびホワイトバランス係数に関する情報に基づきGain103における増幅量を求め、輝度ノイズＬＵＴ700および色ノイズＬＵＴ701へ転送する。また、制御部114Aは温度センサー116からＣＣＤ102の温度情報を得て、これを輝度ノイズＬＵＴ700および色ノイズＬＵＴ701へ転送する。

輝度ノイズＬＵＴ700は、平均算出部200からの注目画素の画素値（Yb，Yr）による信号レベルl、ゲイン算出部201からのゲインg、制御部114Aからの温度情報tに基づき輝度ノイズ量を出力する。輝度ノイズＬＵＴ700は、信号値レベル，ゲイン，温度と輝度ノイズ量間の関係を記録したルックアップテーブルで、実施例１の(2)式に基づき構築される。輝度ノイズＬＵＴ700で得られたノイズ量は、抽出部110およびノイズ低減部111へ転送される。

一方、色ノイズＬＵＴ701は平均算出部200からの注目画素の画素値（Cb，Cr）による信号レベルl、ゲイン算出部201からのゲインg、制御部114Aからの温度情報tに基づき色ノイズ量を出力する。色ノイズＬＵＴ701は、信号値レベル，ゲイン，温度と色ノイズ量間の関係を記録したルックアップテーブルで、図１２(a)に示される色差値を信号レベルＬとした場合のノイズ量Ｎsの関係から構築される。図１２(a)を１次関数でモデル化すると(13)式が得られる。

[式１３]

ここで、δs，εsは定数項である。しかしながら、ノイズ量は信号レベルだけではなく、素子の温度やゲインによっても変化する。図１２(a)は、一例としてゲインに関連する３種類のＩＳＯ感度100，200，400に対するノイズ量をプロットしている。個々の直線は(13)式に示される形態をしているが、その係数はゲインに関連するＩＳＯ感度により異なる。温度をt、ゲインをｇとし、上記を考慮した形でモデルの定式化を行うと、
[式１４]

となる．ここで、δsgt，εsgtは定数項である．色ノイズＬＵＴ701は、上記(14)式に基づき構築される。色ノイズＬＵＴ701で得られたノイズ量は抽出部110およびノイズ低減部111へ転送される。

上記構成により、信号レベル，撮影時の温度，ゲインなどの動的に変化する条件に対応したノイズ量の推定および画面全体での最適なノイズ低減が可能となり、高品位な信号が得られる。上記情報が得られない場合でも標準値を用いることでノイズ量の推定を行うため安定したノイズ低減効果が得られる。また、一部のパラメータ算出を意図的に省略することで低コスト，省電力化を可能とする撮像システムが提供できる。さらに、色ノイズ量と輝度ノイズ量を独立に推定することで、各々の推定精度を向上できる。また、ノイズ低減処理を行う注目画素と類似する類似画素をあわせて処理を行うため、より広い均質な領域を用いてのノイズ量推定が可能となり、推定の精度を向上することができる。ノイズ量の算出にルックアップテーブルを用いているため、高速な処理が可能となる。また、ノイズ低減処理はノイズ量から許容範囲を設定するため、原信号の保存性に優れ不連続性の発生を防止した低減処理が可能となる。さらに、孤立点ノイズの検出を通常のランダムノイズ処理と共通化することができ、システム全体を低コスト化することができる。また、孤立点ノイズ専用の補正処理を行うため、高品位な信号が得られる。さらに、ノイズ低減処理後の信号を本来の信号として出力するため、従来の処理系との互換性が維持され、多様なシステムの組み合わせが可能となる。

なお、上記実施例ではノイズ量の推定にルックアップテーブルを用いたが、これに限定される必要はない。例えば、実施例１の図４(b)で示したノイズモデルを用いる構成も可能である。色ノイズに関しては、図１２(b)に示すように、１区間の折れ線で近似したとすれば(3)，(4)式に示す方法でノイズ量を算出できる。

ノイズ低減部111の構成例としては、本願実施例１の図６に示されるノイズ低減部111をそのまま適用することができる。

すなわち、図６のノイズ低減部111において、色差信号Cr，Cbについては、範囲設定部402にて注目画素に関して色ノイズの範囲を設定し、第１スムージング部403にてノイズ範囲に属すると判断された注目画素の色差信号に平滑化を行い、第２スムージング部404にてノイズ範囲に属さないと判断された注目画素の色差信号に補正を行うことができる。さらに、孤立点ノイズ判断部400にて注目画素が孤立点ノイズに属するかを判断し、孤立点ノイズに属すると判断された場合に第３スムージング部405にて注目画素の色差信号に平滑化を行うことができる。

なお、輝度信号Yb，Yrについても、図６のノイズ低減部111において、範囲設定部402にて注目画素に関して輝度ノイズの範囲を設定し、第１スムージング部403にてノイズ範囲に属すると判断された注目画素の輝度信号に平滑化を行い、第２スムージング部404にてノイズ範囲に属さないと判断された注目画素の輝度信号に補正を行うことができる。さらに、孤立点ノイズ判断部400にて注目画素が孤立点ノイズに属するかを判断し、孤立点ノイズに属すると判断された場合に第３スムージング部405にて注目画素の輝度信号に平滑化を行うことができる。

また、上記実施例２では、Ｙ／Ｃ合成部603にてＣＣＤ102からの信号形態へ戻していたが、これに限定される必要はない。例えば、信号処理部112Aが輝度・色差信号の形態で処理可能であるならば、Ｙ／Ｃ合成部603を省略する構成も可能である。さらに、ＣＣＤ102からの信号形態へ戻さない場合には、(11)式に示すように輝度信号をYb，Yrの２種類を用いる必要もない。図１０(c)に示すように2×2画素領域を1行1列づつ重複させながら順次抽出し、(15)式に示す輝度信号Yおよび色差信号Cb，Crを領域単位に算出する構成も可能である。

［式１５］

さらに、上記実施例２では、カラーフィルタ600はBayer型原色フィルタを想定したが、これに限定される必要はない。例えば、色差線順次型補色フィルタや二板，三板ＣＣＤにも適用可能である。図１０(d)は、色差線順次型補色フィルタの構成を示す。色差線順次方式は2×2画素を基本単位とし、シアン（Cy），マゼンタ（Mg），イエロー（Ye）、緑（G）が１画素ずつ配置される。ただし、MgとGの位置はラインごとに反転している。この場合、図１０(e)に示すように2×2画素領域を1行1列づつ重複させながら順次抽出し、(16)式に示す輝度信号Yおよび色差信号Cb，Crを領域単位に算出する構成も可能である。

［式１６］

さらに、上記実施例２では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ102からの信号を未処理のままのRawデータとして、制御部114Aからの撮影時の温度，ゲイン，シャッター速度などをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。

図１３は本発明の実施例２におけるノイズ低減処理のフローチャートである。
図１３(a)は、ノイズ低減処理のソフトウェア処理に関するフローを示す。なお、図８(a)に示す本願実施例１におけるノイズ低減処理のフローと同一な処理ステップに関しては、同一のステップ符号を割り当てている。

ステップＳ1にて、信号と温度，ゲインなどのヘッダ情報を読み込む。ステップＳ30にて、(11)式に示すように輝度信号Yb，Yrおよび色差信号Cb，Crを算出する。ステップＳ2にて、信号から注目画素を順次抽出する。ステップＳ3にて、別途説明するように注目画素から第１のノイズ量を算出する。ステップＳ4にて、（6）式に示される類似画素を抽出するための許容範囲を設定する。ステップＳ5にて、ステップＳ4からの許容範囲に基づき注目画素近傍から図２(b)に示されるような類似画素を抽出する。ステップＳ6にて、別途説明するように注目画素および類似画素から第２のノイズ量を算出する。

ステップＳ7にて、図２(d)に示されるような注目画素の3×3近傍領域中の類似画素数を求め、０以外の場合は通常の画素としてステップＳ8へ、０の場合は孤立点ノイズとしてステップＳ11へ分岐する。ステップＳ8にて、注目画素が(7)式に示される許容範囲内に属するか否かを判断し、属する場合はステップＳ9へ、属さない場合はステップＳ10へ分岐する。ステップＳ9にて、(8)式に示される処理を行う。ステップＳ10にて、(9)式，(10)式に示される処理を行う。ステップＳ11にて、注目画素の3×3近傍領域から中央値を求めて注目画素へ代入する。ステップＳl2にて、全注目画素の抽出が完了したかを判断し、完了していない場合はステップＳ2へ、完了した場合はステップＳ31へ分岐する。

ステップＳ31にて、輝度信号Yb，Yrおよび色差信号Cb，Crが完了したかを判断し、完了していない場合はステップＳ30へ、完了した場合はステップＳ32へ分岐する。 ステップＳ32にて、(12)式に示すように撮像素子からの信号形態へ戻す。ステップＳ13にて、公知の補間処理，強調処理，圧縮処理などが行われる。ステップＳl4にて、処理後の信号が出力され終了する。

図１３(b)は、上記ステップＳ3およびステップＳ6におけるノイズ量の推定に関するフローチャートである。ステップＳ20にて、注目画素の画素値または注目画素と類似画素の平均値を算出する。ステップＳ21にて、読み込まれたヘッダ情報から温度，ゲインなどの情報を設定する。もし、ヘッダ情報に必要なパラメータが存在しない場合は所定の標準値を割り当てる。ステップＳ40にて、ルックアップテーブルを用いてノイズ量を求める。ステップＳ25にて、算出されたノイズ量を出力して終了する。

本発明は、撮像装置や画像読取装置など、撮像素子系に起因する色信号および輝度信号のランダムノイズの低減を高精度に行うことが必要な装置に広く利用することが可能である。

本発明の実施例１の撮像システムの構成図。 注目画素および類似画素に関する説明図。 ノイズ推定部の構成図。 輝度ノイズ量の推定に関する説明図。 抽出部の構成図。 ノイズ低減部の構成図。 本発明の実施例１の変形例の構成図。 本発明の実施例１におけるノイズ低減処理のフローチャート。 本発明の実施例２の撮像システムの構成図。 Ｙ／Ｃ分離に関する説明図。 ノイズ推定部の構成図。 色ノイズ量の推定に関する説明図。 本発明の実施例２におけるノイズ低減処理のフローチャート。

符号の説明

１０２…撮像素子
１０３…利得制御増幅器（ゲインアンプ、Gain）
１０９…ノイズ推定部
１１０…抽出部（抽出手段）
１１１…ノイズ低減部（ノイズ低減手段）
１１４…制御部
１１６…温度センサー
代理人 弁理士 伊 藤 進

Claims (35)

1. 撮像素子からの信号に対しノイズ低減処理を行う撮像システムにおいて、
   ノイズ低減処理を行う上記信号中の注目画素と撮像時の条件に基づき第１のノイズ量を推定する第１のノイズ推定手段と、
   上記注目画素の画素値と上記第１のノイズ量とを用いて第１の許容範囲を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出手段と、
   上記注目画素および上記類似画素と撮像時の条件から第２のノイズ量を推定する第２のノイズ推定手段と、
   上記注目画素と類似画素との平均値と上記第２のノイズ量とを用いてノイズ量に関する第２の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減手段と、
   を有することを特徴とする撮像システム。
2. 請求項１における上記第１のノイズ推定手段および上記第２のノイズ推定手段は、
   ノイズ低減処理を行う上記信号中の注目画素に関して、信号レベルに対する基準ノイズ量の変化特性を与えるモデルにおける上記基準ノイズ量に対して、撮像時の条件に対応した補正係数を乗算することによってノイズ量を推定することを特徴とする撮像システム。
3. 請求項２の撮像システムにおける上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー型原色フィルタを前面に配置した単板撮像素子またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子からなり、上記信号から輝度信号および色差信号を算出するＹ／Ｃ分離手段を更に有することを特徴とする撮像システム。
4. 請求項２における上記第１のノイズ推定手段および上記第２のノイズ推定手段は、
   輝度ノイズ量を推定する輝度ノイズ推定手段を有することを特徴とする撮像システム。
5. 請求項３における上記第１のノイズ推定手段および上記第２のノイズ推定手段は、
   輝度ノイズ量を推定する輝度ノイズ推定手段、および色ノイズ量を推定する色ノイズ推定手段の少なくとも一つを有することを特徴とする撮像システム。
6. 請求項４又は５における上記輝度ノイズ推定手段は、
   上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、
   上記収集手段で得られない上記情報に関して標準値を付与する付与手段と、
   上記注目画素または上記注目画素と上記類似画素から平均輝度値を算出する平均輝度算出手段と、
   上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出手段と、
   を有することを特徴とする撮像システム。
7. 請求項５における上記色ノイズ推定手段は、
   上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集手段と、
   上記収集手段で得られない上記情報に関して標準値を付与する付与手段と、
   上記注目画素または上記注目画素と上記類似画素から平均色差値を算出する平均色差算出手段と、
   上記収集手段または上記付与手段からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出手段と、
   を有することを特徴とする撮像システム。
8. 請求項６又は７における上記収集手段は、
   上記記撮像素子の温度値を測定する温度センサーを有することを特徴とする撮像システム。
9. 請求項６又は７における上記収集手段は、
   ＩＳＯ感度、露出情報，ホワイトバランス情報の少なくとも１つ以上の情報に基づき上記ゲイン値を求めるゲイン算出手段
   を有することを特徴とする撮像システム。
10. 請求項６における上記輝度ノイズ量算出手段は、
    基準輝度ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、
    上記収集手段または上記付与手段からの情報および上記平均輝度値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
    上記平均輝度値および上記パラメータ選択手段により選択されたパラメータ群中の基準輝度ノイズモデルに基づき基準輝度ノイズ量を求める補間手段と、
    上記基準輝度ノイズ量を上記パラメータ選択手段により選択された上記パラメータ群中の補正係数に基づき補正することで輝度ノイズ量を求める補正手段と、
    を有することを特徴とする撮像システム。
11. 請求項１０における上記基準輝度ノイズモデルは、
    輝度値に対する輝度ノイズ量から成る複数の座標点データから構成されることを特徴とする撮像システム。
12. 請求項６における上記輝度ノイズ量算出手段は、
    上記収集手段または上記付与手段からの情報および上記平均輝度値を入力とし輝度ノイズ量を求めるルックアップテーブル手段
    を有することを特徴とする撮像システム。
13. 請求項７における上記色ノイズ量算出手段は、
    基準色ノイズモデルおよび補正係数からなるパラメータ群を記録する記録手段と、
    上記収集手段または上記付与手段からの情報および上記平均色差値に基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
    上記平均色差値および上記パラメータ選択手段により選択されたパラメータ群中の基準色ノイズモデルに基づき基準色ノイズ量を求める補間手段と、
    上記基準色ノイズ量を上記パラメータ選択手段により選択されたパラメータ群中の補正係数に基づき補正することで色ノイズ量を求める補正手段と、
    を有することを特徴とする撮像システム。
14. 請求項１３における上記基準色ノイズモデルは、
    色差値に対する色ノイズ量から成る複数の座標点データから構成されることを特徴とする撮像システム。
15. 請求項７における上記色ノイズ量算出手段は、
    上記収集手段または上記付与手段からの情報および上記平均色差値を入力とし色ノイズ量を求めるルックアップテーブル手段
    を有することを特徴とする撮像システム。
16. 請求項２における上記ノイズ低減手段は、
    上記注目画素と類似画素の平均値と上記第２のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減手段を有することを特徴とする撮像システム。
17. 請求項３におけるノイズ低減手段は、
    上記注目画素と類似画素の平均値と上記第２のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減手段および上記注目画素と類似画素の平均値と上記第２のノイズ量に基づき上記注目画素から色ノイズを低減する色ノイズ低減手段の少なくとも一つ
    を有することを特徴とする撮像システム。
18. 請求項１６又は１７における上記輝度ノイズ低減手段は、
    上記注目画素と類似画素の平均値と上記第２のノイズ量に基づき上記注目画素にノイズ許容範囲を設定する設定手段と、
    上記注目画素の輝度信号に関してノイズ許容範囲に属する場合に平滑化を行う第１のスムージング手段と、
    上記注目画素の輝度信号に関してノイズ許容範囲に属さない場合に補正を行う第２のスムージング手段と、
    を有することを特徴とする撮像システム。
19. 請求項１６又は１７における上記輝度ノイズ低減手段は、
    上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断手段と、
    上記注目画素が孤立点ノイズと判断された場合にその注目画素を上記類似画素を用いて平滑化を行う第３のスムージング手段と、
    を有することを特徴とする撮像システム。
20. 請求項１７における上記色ノイズ低減手段は、
    上記注目画素と類似画素の平均値と上記第２のノイズ量に基づき上記注目画素にノイズ許容範囲を設定する設定手段と、
    上記注目画素の色差信号に関してノイズ許容範囲に属する場合に平滑化を行う第１のスムージング手段と、
    上記注目画素の色差信号に関してノイズ許容範囲に属さない場合に補正を行う第２のスムージング手段と、
    を有することを特徴とする撮像システム。
21. 請求項１７における上記色ノイズ低減手段は、
    上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断手段と、
    上記注目画素が孤立点ノイズと判断された場合にその注目画素を上記類似画素を用いて平滑化を行う第３のスムージング手段と、
    を有することを特徴とする撮像システム。
22. 請求項３の撮像システムは、
    上記ノイズ低減手段で処理された上記注目画素の輝度信号および色差信号から、撮像素子からの本来の信号へ変換するＹ／Ｃ合成手段
    を更に有することを特徴とする撮像システム。
23. 入力される画像信号に対しノイズ低減処理を行うノイズ低減処理装置において、
    ノイズ低減処理を行う上記画像信号中の注目画素と撮像時の条件から第１のノイズ量を推定する第１のノイズ推定手段と、
    上記注目画素の画素値と上記第１のノイズ量とを用いて第１の許容範囲内を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出手段と、
    上記注目画素の画素値と上記類似画素の画素値と撮像時の条件から第２のノイズ量を推定する第２のノイズ推定手段と、
    上記注目画素と類似画素との平均値と上記第２のノイズ量とを用いてノイズ量に関する第２の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減手段と、
    を有することを特徴とするノイズ低減処理装置。
24. コンピュータに、
    撮像素子からの信号に対しノイズ低減処理を行う上記信号中の注目画素と撮像時の条件から第１のノイズ量を推定する第１のノイズ推定処理と、
    上記注目画素の画素値と上記第１のノイズ量とを用いて第１の許容範囲を設定し、該許容範囲内の値に該当する上記注目画素近傍の画素を、上記注目画素に類似する類似画素として抽出する抽出処理と、
    上記注目画素の画素値と上記類似画素の画素値と撮影条件から第２のノイズ量を推定する第２のノイズ推定処理と、
    上記注目画素と類似画素との平均値と上記第２のノイズ量とを用いてノイズ量に関する第２の許容範囲を設定し、上記注目画素が該許容範囲内であるか否かに応じて上記注目画素のノイズ量を低減するノイズ低減処理と、
    を実行させることを特徴とする撮像処理プログラム。
25. 請求項２４における上記第１のノイズ推定手段および上記第２のノイズ推定手段は、
    ノイズ低減処理を行う上記信号中の注目画素に関して、信号レベルに対する基準ノイズ量の変化特性を与えるモデルにおける上記基準ノイズ量に対して、撮像時の条件に対応した補正係数を乗算することによってノイズ量を推定することを特徴とする撮像処理プログラム。
26. 請求項２５の撮像処理プログラムにおける上記撮像素子は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー型原色フィルタを前面に配置した単板撮像素子またはＣｙ（シアン）、Ｍｇ（マゼンタ），Ｙｅ（イエロー）、Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子からなり、
    上記信号から輝度信号および色差信号を算出するＹ／Ｃ分離処理
    を更に有することを特徴とする撮像処理プログラム。
27. 請求項２５における上記第１のノイズ推定処理および上記第２のノイズ推定処理は、
    輝度ノイズ量を推定する輝度ノイズ推定処理
    を有することを特徴とする撮像処理プログラム。
28. 請求項２６における上記第１のノイズ推定処理および上記第２のノイズ推定処理は、
    輝度ノイズ量を推定する輝度ノイズ推定処理、および色ノイズ量を推定する色ノイズ推定処理の少なくとも一つ
    を有することを特徴とする撮像処理プログラム。
29. 請求項２７又は２８における上記輝度ノイズ推定処理は、
    上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集処理と、
    上記収集処理で得られない上記情報に関して標準値を付与する付与処理と、
    上記注目画素または上記注目画素と上記類似画素から平均輝度値を算出する平均輝度算出処理と、
    上記収集処理または上記付与処理からの情報および上記平均輝度値に基づき輝度ノイズ量を求める輝度ノイズ量算出処理と、
    を有することを特徴とする撮像処理プログラム。
30. 請求項２８における上記色ノイズ推定処理は、
    上記撮像素子の温度値および上記信号に対するゲイン値に関する情報を収集する収集処理と、
    上記収集処理で得られない上記情報に関して標準値を付与する付与処理と、
    上記注目画素または上記注目画素と上記類似画素から平均色差値を算出する平均色差算出処理と、
    上記収集処理または上記付与処理からの情報および上記平均色差値に基づき色ノイズ量を求める色ノイズ量算出処理と、
    を有することを特徴とする撮像処理プログラム。
31. 請求項２５における上記ノイズ低減処理は、
    上記注目画素と類似画素の平均値と上記第２のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減処理を有することを特徴とする撮像処理プログラム。
32. 請求項２６における上記ノイズ低減処理は、
    上記注目画素と類似画素の平均値と上記第２のノイズ量に基づき上記注目画素から輝度ノイズを低減する輝度ノイズ低減処理および上記注目画素と類似画素の平均値と上記第２のノイズ量に基づき上記注目画素から色ノイズを低減する色ノイズ低減処理の少なくとも一つ
    を有することを特徴とする撮像処理プログラム。
33. 請求項３１又は３２における上記輝度ノイズ低減処理は、
    上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断処理と、
    上記注目画素が孤立点ノイズと判断された場合に上記類似画素に基づき平滑化を行う第３のスムージング処理と、
    を有することを特徴とする撮像処理プログラム。
34. 請求項３２における上記色ノイズ低減処理は、
    上記注目画素近傍の類似画素の有無に基づき上記注目画素が孤立点ノイズに属するかを判断する孤立点ノイズ判断処理と、
    上記注目画素が孤立点ノイズと判断された場合に上記類似画素に基づき平滑化を行う第３のスムージング処理と、
    を有することを特徴とする撮像処理プログラム。
35. 請求項２５の撮像処理プログラムは、
    上記ノイズ低減処理で処理された上記注目画素の輝度信号および色差信号から、撮像素子からの本来の信号へ変換するＹ／Ｃ合成処理
    を更に有することを特徴とする撮像処理プログラム。

Images