JP2005303803A - 撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体 - Google Patents

Abstract

【課題】 撮影状況に最適化されたノイズ低減処理を可能とする構成の撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体の提供。
【解決手段】 レンズ系１００〜ＣＣＤ１０３の撮像素子からのデジタル化された信号を、処理画像出力部１１９の記録媒体に記録する撮像装置であって、当該撮像装置は、上記信号中に含まれるノイズの特性を生成するノイズ特性生成手段（ノイズ推定部112）と、上記ノイズの特性を記録媒体に記録するノイズ特性記録手段（制御部１１５、処理画像出力部１１９）とを有する。
【選択図】 図１

Description

本発明は、撮像素子系に起因するランダムノイズの低減処理に係わり、ノイズの発生量を動的に推定することで撮影条件に影響されずにノイズ成分のみを高精度に低減する、撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体に関するものである。

撮像装置においては、撮像された画像データに対するノイズ低減処理が重要である。特許文献１には、撮像装置で撮影された画像を記録媒体に記録すると同時に、その画像を撮影した際の撮影条件を、画像データと対応付けて記録しておき、画像データのノイズ低減処理を行うに際して、記録されている撮影条件に応じてノイズ低減レベルを変更し、ノイズ低減処理を行っていた。これにより、撮影条件に応じたノイズ低減処理が行われるようにするものである。

また、例えば特許文献２に示されるように、ノイズ量を信号レベルに対して関数化し、この関数から信号レベルに対するノイズ量を推定し、ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、信号レベルに対して適応的なノイズ低減処理が行われることになる。

特開２００３−１８９２３６号公報 特開２００１−１５７０５７号公報

特許文献１では、ISO感度、シャッター速度などの撮影条件に応じてノイズ低減レベルを変更している。しかしながら、撮影条件の変化によるノイズ量の変化は、撮像素子をはじめとする撮像系の特性に依存するので、撮影条件に応じて、直接ノイズ低減レベルを変化させても、充分なノイズ低減効果は得られない。つまり、撮影条件に応じて、発生するノイズ量を正確に推定し、それに適応したノイズ低減処理を行うことができないとういう問題があった。

また、特許文献２では、ノイズ量をN、濃度値に変換した信号レベルをDとした場合にN=ab^cDで関数化してノイズ量を推定していた。ここで、a,b,cは定数項であり、静的に与えられる。しかしながら、ノイズ量は撮影時の温度，露光時間，ゲインなどの要因により動的に変化する。すなわち、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣るという問題があった。

本発明は、従来技術のこのような問題点に鑑みてなされたものであり、信号レベルのみならず撮影時の温度，露光時間，ゲインなどの動的に変化する要因に対応したノイズ量のモデル化を行い、このモデルを撮影画像とともに記録しておくことを特徴とするものである。このような特徴を具備することにより、記録媒体に記録されたデータを後処理する際にも、撮影状況に最適化されたノイズ低減処理を可能とする撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体を提供することを目的とする。

[１]．上記目的を達成するために、本発明にかかる撮像装置は、撮像素子からのデジタル化された信号を、記録媒体に記録する撮像装置であって、
上記信号中に含まれるノイズの特性を生成するノイズ特性生成手段と、上記ノイズの特性を、記録媒体に記録するノイズ特性記録手段と、を有することを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中のノイズ特性生成手段は図１、図２および図８に示されるノイズ推定部112が該当する。また、上記構成中のノイズ特性記録手段は図１、図２および図８に示される出力部114、制御部115が該当する。この実施形態に係る撮像装置は、画像信号に適応したノイズ特性を生成し、記録媒体に記録する。このため、画像信号に適応したノイズ量に基づいた、高精度なノイズ低減処理を可能とする。

[２]．前記[１]の撮像装置は、上記撮像素子前面に配置される色フィルタと、上記信号を色フィルタごとの信号に分離する分離手段と、を更に有することを特徴とする。この実施形態に係る撮像装置は、第２の実施形態例が対応する。上記構成中の色フィルタは、図８に示される色フィルタ400が該当する。また、上記構成中の分離手段は図８に示される色分離部403が該当する。この実施形態に係る撮像装置によれば、原色，補色や単板，二板，三板など多様な撮像系に対してノイズ低減処理が適用可能となる。

[３]．前記[１]の撮像装置の前記ノイズ特性記録手段は、上記信号と上記ノイズの特性とを対応づけて記録することを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中のノイズ特性記録手段は、図１に示される出力部114と制御部115、図１２に示されるノイズ特性322、図１４に示される近似ノイズ特性325、図１６に示されるノイズ特性識別情報323、図１５、図１７、図２０および図２２に示されるノイズ特性ファイル340が該当する。この実施形態に係る撮像装置は、各画像に適応したノイズ特性が記録される。このように、画像ごとに最適なノイズ特性を用いることにより、高精度なノイズ低減処理が可能となる。

[４]．前記[２]の撮像装置の前記ノイズ特性生成手段は、上記色フィルタごとに分離された信号に、それぞれ対応したノイズの特性を生成する分離信号ノイズ特性生成手段からなることを特徴とする。この実施形態に係る撮像装置は、第２の実施形態例が対応する。上記構成中の分離信号ノイズ特性生成手段は、図８に示される色分離部403とノイズ推定部112が該当する。この実施形態に係る撮像装置によれば、色分離部で分離した信号ごとにノイズ特性が記録される。このように、色分離部で分離した信号ごとのノイズ特性を用いることにより、高精度なノイズ低減処理が可能となる。

[５]．前記[１]または[２]の撮像装置の前記ノイズ特性生成手段は、（１）上記信号の信号値レベル、（２）上記撮像素子の温度、（３）上記信号に対するゲイン、（４）撮影時のシャッター速度、のうち少なくとも１つの情報に基づくパラメータを算出するパラメータ算出手段と、上記パラメータを独立変数とし、上記信号中に含まれるノイズ量を与える関数を設定する関数設定手段とからなることを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中のパラメータ算出手段は、図２に示されるOB領域抽出部200,分散算出部202,温度推定部203,温度推定用ROM204,ゲイン算出部208、図３３に示される温度算出部223,ゲイン算出部208が該当する。上記構成中の関数設定手段は、図２に示される標準値付与部209,係数算出部210,パラメータ用ROM211，上限設定部213、図３３に示される標準値付与部209,係数選択部212,パラメータ用ROM211，上限設定部213が該当する。この実施形態に係る撮像装置は、撮像素子の温度、ゲイン、シャッター速度に応じてノイズ特性を生成し、記録媒体に記録する。このため、撮影条件に適応したノイズ量に基づいたノイズ量が記録されるので、高精度なノイズ低減処理が可能となる。

[６]．前記[５]の撮像装置の前記関数設定手段は、上記信号の信号値Lに対するノイズ量Nを、関数式N=(AL^B+C)Dに基づき算出するものであって、パラメータとして上記撮像素子の温度T、上記信号に対するゲインGおよび撮影時のシャッター速度Sを用いて、上記T, Gをパラメータとする３つの関数a(T,G), b(T,G), c(T,G)とSをパラメータとする関数d(S)から、各々の係数A,B,C,Dを求める係数算出手段からなることを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中の係数算出手段は、図２に示される標準値付与部209,係数算出部210,パラメータ用ROM211，上限設定部213が該当する。この実施形態に係る撮像装置は、画像の信号レベル、撮像素子の温度、ゲインに応じたノイズ特性を、ノイズ発生原理に基づき定式化した式の係数として生成し、記録媒体に記録する。このため、画像の信号レベル、撮像素子の温度、ゲインに応じて設定される正確なノイズ量に基づいた、高精度なノイズ低減処理が可能となる。

[７]．前記[５]の撮像装置の前記パラメータ算出手段は、（１）ISO感度、（２）露出情報、（３）ホワイトバランス情報、の少なくとも１つ以上の情報に基づき上記ゲインを求めるゲイン算出手段、をさらに有することを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中のゲイン算出手段は、図２に示されるゲイン算出部208が該当する。この実施形態に係る撮像装置は、画像の信号レベルに応じたノイズ特性を近似する関数の係数を記録媒体に記録する。このため、モデル化が難しいノイズ特性に対しても、ノイズ特性の記述が簡単になり、画像の信号レベルに基づいた、高精度なノイズ低減処理が可能となる。

[８]．前記[１]または[２]の撮像装置の前記ノイズ特性生成手段は、上記信号の信号値レベルに基づくパラメータを独立変数とし、上記信号中に含まれるノイズ量を与える関数を設定するノイズ関数設定手段であること特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中のノイズ関数設定手段は、図２に示されるOB領域抽出部200,分散算出部202,温度推定部203,温度推定用ROM204,ゲイン算出部208、標準値付与部209,係数算出部210,パラメータ用ROM211，上限設定部213、図３３に示される温度算出部223,ゲイン算出部208、標準値付与部209,係数選択部212,パラメータ用ROM211，上限設定部213が該当する。この実施形態に係る撮像装置は、画像の信号値に応じたノイズ特性を生成し、記録媒体に記録する。このため、画素ごとの信号レベルに応じて設定されるノイズ量に基づいた、高精度なノイズ低減処理が可能となる。

[９]．前記[８]の撮像装置の前記ノイズ関数設定手段は、（１）上記撮像素子の温度、（２）ゲイン、（３）シャッター速度、のうち少なくとも１つの情報に基づく撮影条件を設定する撮影条件設定手段と、上記撮影条件に対応して、上記信号中に含まれるノイズ量を与える関数を設定する条件対応関数設定手段とからなることを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中の撮影条件設定手段は、図２に示されるOB領域抽出部200,分散算出部202,温度推定部203,温度推定用ROM204,ゲイン算出部208、図３３に示される温度算出部223,ゲイン算出部208が該当する。上記構成中の条件対応関数設定手段は、図２に示される標準値付与部209,係数算出部210,パラメータ用ROM211，上限設定部213、図３３に示される標準値付与部209,係数選択部212,パラメータ用ROM211，上限設定部213が該当する。この実施形態に係る撮像装置は、撮像素子の温度、ゲイン、シャッター速度に応じてノイズ特性を生成し、記録媒体に記録する。このため、撮影条件、画素ごとの信号レベルに適応したノイズ量に基づいた、高精度なノイズ低減処理が可能となる。

[１０]．前記[８]または[９]の撮像装置の前記ノイズ関数設定手段は、上記信号の信号値Lに対するノイズ量Nを、区分関数式N=A_iL+C_i（ただし、１≦ｉ≦Ｍであり、Ｍは信号値Lの区分区間数である）に基づき算出するものであって、信号値Lの各区分区間を定義する値と、各区間に対応する係数A_i,C_iとを設定する係数設定手段からなることを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中の係数設定手段は、図３３に示される標準値付与部209,係数選択部212,パラメータ用ROM211，上限設定部213が該当する。この実施形態に係る撮像装置によれば、画像の信号レベルに応じたノイズ特性を近似する関数の係数を記録媒体に記録する。このため、複雑なノイズ特性に対しても、ノイズ特性の記述が簡単になり、画像の信号レベルに基づいた、高精度なノイズ低減処理が可能となる。

[１１]．前記[８]または[９]の撮像装置の前記ノイズ関数設定手段は、上記信号の信号値レベルに対するノイズ量を求めるルックアップテーブル手段からなることを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中のルックアップテーブル手段は、図３３に示される係数選択部212,パラメータ用ROM211、図２１に示されるLUT1391が該当する。この実施形態に係る撮像装置は、画像の信号レベル、撮像素子の温度、ゲインに応じたノイズ特性として、ノイズ発生原理に基づき定式化した式の係数を生成し、記録媒体に記録する。このため、モデル化が難しいノイズ特性に対しても、正確なノイズ特性の記述が可能となり、画像の信号レベルに基づいた、高精度なノイズ低減処理が可能となる。

[１２]．前記[９]の撮像装置の前記撮影条件設定手段は、（１）ISO感度、（２）露出情報、（３）ホワイトバランス情報、の少なくとも１つ以上の情報に基づき上記ゲインを求めるゲイン算出手段、をさらに有することを特徴とする。この実施形態に係る撮像装置は、第１および第２の実施形態例が対応する。上記構成中のゲイン算出手段は、図２に示されるゲイン算出部208が該当する。この実施形態に係る撮像装置は、ISO感度，露出情報，ホワイトバランス情報から撮影時のゲイン量を求め、ノイズ量推定のパラメータとする。このため、撮影時のゲイン変化に動的に適応し、高精度なノイズ量の推定が可能となる。

[１３]．本発明の画像処理装置は、記録媒体に記録されている画像データを読み込みノイズ低減処理を行う画像処理装置において、
上記記録媒体に記録されているノイズ特性を読み込むノイズ特性取得手段と、上記ノイズ特性に基づき、上記画像データに含まれるノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき上記画像データのノイズを低減するノイズ低減手段と、を有することを特徴とする。この実施形態の画像形成装置は、第３および第４の実施形態例が対応する。上記構成中のノイズ特性取得手段は、図７に示される入力部510が該当する。上記構成中のノイズ推定手段は、図７に示される閾値設定部505、図３２に示されるR閾値設定部705、G1閾値設定部706、G2閾値設定部707、B閾値設定部708が該当する。上記構成中のノイズ低減手段は、図７に示されるスムージング部１ 501、スムージング部２ 504が該当する。この実施形態の画像形成装置は、ノイズ特性により画像に含まれるノイズ量を推定し、ノイズ量に応じたノイズ低減処理を行う。このように、画像に含まれるノイズ量を推定することにより、高精度なノイズ低減処理が可能となる。

[１４]．前記[１３]の画像処理装置の前記ノイズ低減手段は、ノイズ低減量を制限する低減量制限手段をさらに有することを特徴とする。この実施形態に係る画像形成装置は、第３および第４の実施形態例が対応する。上記構成中の低減量制限手段は、図２４に示される低減量設定部801、図２５に示される低減量設定部801、図２６に示される上限設定部603が該当する。この実施形態に係る画像形成装置は、ノイズ低減の強さを制限するものである。このように、ノイズ低減量が制限されるので、低減効果の過不足がなく、解像感低下などの副作用が防止できる。

[１５]．本発明の画像記録媒体は、画像信号データを記録した記録媒体において、記録されている画像信号データのノイズの特性を記録したノイズ特性保持手段を有することを特徴とする。この実施形態に係る画像記録媒体は、第１および第２の実施形態例が対応する。上記構成中のノイズ特性保持手段は、図１２に示されるノイズ特性322、図１５に示されるノイズ特性ファイル340、図１６に示されるノイズ特性識別情報323と図１７に示されるノイズ特性ファイル340、図２０に示されるノイズ特性ファイル340、図２２に示されるノイズ特性ファイル340、図１０に示される色別ノイズ特性361、図２７に示される色別ノイズ特性361が該当する。この実施形態に係る記録媒体は、画像信号に適応したノイズの特性を表す関数を記録する。このため、画像信号に適応したノイズ量に基づいた、高精度なノイズ低減処理を可能とする。

[１６]．前記[１５]の画像記録媒体の前記ノイズの特性は、（１）上記画像信号の信号値レベル、（２）上記画像信号データ取得時の撮像素子の温度、（３）上記画像信号に対するゲイン、（４）上記画像信号データ取得時の撮像素子のシャッター速度、のうち少なくとも１つの情報に基づくパラメータを算出し、上記パラメータを独立変数として、上記画像信号中に含まれるノイズ量を与える関数設定手段で設定されることを特徴とする。この実施形態に係る画像記録媒体は、第１および第２の実施形態例が対応する。上記構成中のノイズ量を与える関数は、図１２に示されるノイズ特性322、図１４に示される近似ノイズ特性325、図１６に示されるノイズ特性識別情報323、図１５、図１７、図２０および図２２に示されるノイズ特性ファイル340が該当する。この実施形態に係る記録媒体によれば、各画像に適応したノイズの特性を表す関数が記録される。このため、画像ごとに最適なノイズ特性を用いることにより、高精度なノイズ低減処理が可能となる。

[１７]．前記[１６]の画像記録媒体の前記ノイズ量を与える関数設定手段は、上記画像信号の信号値Lに対するノイズ量Nを、関数式N=(AL^B+C)Dに基づき算出するものであって、パラメータとして上記撮像素子の温度T、上記信号に対するゲインGおよび撮影時のシャッター速度Sを用いて、上記T, Gをパラメータとする３つの関数a(T,G), b(T,G), c(T,G)とSをパラメータとする関数d(S)から、各々の係数A,B,C,Dを求める係数算出手段からなり、前記ノイズの特性は、上記係数算出手段が設定する係数A,B,C,Dであることを特徴とする。この実施形態に係る画像記録媒体は、第１および第２の実施形態例が対応する。この実施形態に係る記録媒体によれば、各画像に適応したノイズの特性を正確に表す関数が記録される。このため、画像ごとに最適なノイズ特性を正確に再現することにより、高精度なノイズ低減処理が可能となる。

[１８]．前記[１５]の画像記録媒体の前記ノイズの特性は、上記画像信号の信号値レベルに基づくパラメータを独立変数とし、上記信号中に含まれるノイズ量を与えるノイズ関数設定手段で設定されることを特徴とする。この実施形態に係る画像記録媒体は、第１および第２の実施形態例が対応する。上記構成中のノイズ量を与える関数は、図１２に示されるノイズ特性322、図１４に示される近似ノイズ特性325、図１６に示されるノイズ特性識別情報323、図１５、図１７、図２０および図２２に示されるノイズ特性ファイル340が該当する。この実施形態に係る画像記録媒体によれば、各画像に適応したノイズの特性を表す関数が記録される。このため、画像ごとに最適なノイズ特性を用いることにより、高精度なノイズ低減処理が可能となる。

[１９]．前記[１８]の画像記録媒体の前記ノイズ関数設定手段は、（１）上記画像信号データ取得時の撮像素子の温度、（２）上記画像信号に対するゲイン、（３）上記画像信号データ取得時の撮像素子のシャッター速度、のうち少なくとも１つの情報に基づく撮影条件を設定する撮影条件設定手段と、上記撮影条件に対応して、上記信号中に含まれるノイズ量を与える関数を設定する条件対応関数設定手段とからなることを特徴とする。この実施形態に係る画像記録媒体は、第１および第２の実施形態例が対応する。上記構成中のノイズ量を与える関数は、図１２に示されるノイズ特性322、図１４に示される近似ノイズ特性325、図１６に示されるノイズ特性識別情報323、図１５、図１７、図２０および図２２に示されるノイズ特性ファイル340が該当する。この実施形態に係る記録媒体によれば、各画像に適応したノイズの特性を表す関数が記録される。このため、画像ごとに最適なノイズ特性を用いることにより、高精度なノイズ低減処理が可能となる。

[２０]．前記[１８]の画像記録媒体の前記ノイズ関数設定手段は、上記信号の信号値Lに対するノイズ量Nを、区分関数式N=A_iL+C_i（ただし、１≦ｉ≦Ｍであり、Ｍは信号値Lの区分区間数である）に基づき算出するものであって、信号値Lの各区分区間を定義する値と、各区間に対応する係数A_i,C_iとを設定する係数設定手段からなることを特徴とする。この実施形態に係る画像記録媒体は、第１および第２の実施形態例が対応する。上記構成中の信号値Lの各区分区間を定義する値と、係数A_i,C_i（ただし、１≦ｉ≦Ｍで、Ｍは、信号値Lの区分区間数である。）は、図１４に示される近似ノイズ特性325が該当する。この実施形態に係る記録媒体によれば、各画像に適応したノイズの特性を表す簡易な関数が記録される。このため、記録媒体の記憶容量が少なくても、画像ごとに最適なノイズ特性を用いることにより、高精度なノイズ低減処理が可能となる。

[２１]．本発明の画像処理プログラムは、コンピュータに、全色信号を読み込む手順と、ヘッダー情報を読み込み全色信号に対応するノイズ算出係数を読み込む手順と、前記全色信号を色信号ごとに分離する手順と、前記分離した色に対応したノイズ算出係数を選択する手順と、前記各色信号を個別に走査する手順と、注目画素を中心として所定のサイズの画素単位を抽出し信号値レベルの平均値を算出する手順と、前記注目画素を中心とした局所領域の信号値レベルと前記ノイズ算出係数とから、所定の演算に基づき信号値レベルに対応したノイズ量を算出する手順と、局所領域の信号値レベルに対応したノイズ量を閾値として、前記注目画素の信号に対しスムージング処理を行う手順と、前記スムージング処理された信号を順次出力する手順と、画面走査が完了したかを判断する手順と、全色信号について上記各手順が完了したかどうかを判断する手順と、を実行させる。この実施形態に係るプログラムは、第２〜第４の実施形態例が対応する。上記構成中の各手順は、図３４に記載されている。この実施形態のプログラムによれば、カラー画像に対する高精度なノイズ低減処理を行う画像処理をソフトウエアで実現することができる。

[２２]．また、本発明の画像処理プログラムは、コンピュータに、画像信号を読み込む手順と、ヘッダー情報を読み込み画像信号に対応するノイズ算出係数を読み込む手順と、前記画像信号に対応したノイズ算出係数を選択する手順と、注目画素を中心として所定のサイズの画素単位を抽出し信号値レベルの平均値を算出する手順と、前記注目画素を中心とした局所領域の信号値レベルと前記ノイズ算出係数とから、所定の演算に基づき信号値レベルに対応したノイズ量を算出する手順と、局所領域の信号値レベルに対応したノイズ量を閾値として、前記注目画素の信号に対しスムージング処理を行う手順と、前記スムージング処理された信号を順次出力する手順と、画面走査が完了したかどうかを判断する手順と、を実行させる。この実施形態に係るプログラムは、第１の実施形態例が対応する。上記構成中の各手順は、図３４に記載された手順から、カラー画像の処理に対応する部分の処理を省略するものである。この実施形態のプログラムによれば、白黒画像に対する高精度なノイズ低減処理を行う画像処理をソフトウエアで実現することができる。

[２３]．本発明の記録媒体は、前記[２１]と[２２]の画像処理プログラムを記録する。この実施形態に係る記録媒体は、第１〜第４の実施形態例が対応する。この実施形態の記録媒体をコンピュータにインストールすることにより、カラー画像および白黒画像に対する高精度なノイズ低減処理を行うことができる。

本発明においては、信号レベルのみならず撮影時の温度，露光時間，ゲインなどの動的に変化する要因に対応したノイズ量のモデル化を行い、このモデルを撮影画像とともに記録している。このような処理により、画像記録媒体に記録されたデータを後処理する際にも、撮影状況に最適化されたノイズ低減処理を可能とすることができる。

以下、本発明の実施形態例について図を参照して説明する。本発明の実施形態例は、デジタルカメラを想定した撮像装置で、撮像素子で捕らえた画像をA/D変換し、デジタルデータを記録媒体に記録するものである。一般に、デジタルカメラでは、変換されたデジタルデータに対し、さらに、ノイズ低減、階調変換、エッジ強調等の信号処理がなされる。

しかしながら、本発明の実施形態例では、デジタルデータに対する処理は行わず、デジタル化された直後のデータ（Rawデータ）を記録しておき、撮像装置とは異なる他の装置によって、前記記録されたデジタルデータに信号処理を行う場合を想定している。このような構成とする理由は、前記他の装置で処理することにより、撮像装置内での処理よりも高性能な処理が容易になり、ユーザーによる処理量調整が容易になるためである。

図１は、本発明にかかる第１の実施形態例の構成図である。レンズ系100,絞り101,ローパスフィルタ102,白黒用CCD103を介して撮影された映像（白黒画像）は、CDS(Correlated Double Sampling)104にてサンプリングされる。サンプリングされた信号は、ゲイン調整（Gain）105にて増幅され、A/D106によりデジタル信号へ変換される。A/D106からの信号は、画像用バッファ107を介して出力部114へ転送される。画像用バッファ107は、測光評価部108,合焦点検出部109へも接続されている。

測光評価部108は絞り101,CCD103,Gain105へ、合焦点検出部109はAFモータ110へ接続されている。また、画像用バッファ107はノイズ推定部112へ、ノイズ推定部112は出力部114へ接続されている。さらに、画像用バッファ107からの信号は、信号処理部113を介して、メモリカードなどの処理画像出力部119に接続されている。マイクロコンピュータなどの制御部115は、CDS104,Gain105,A/D106,測光評価部108,合焦点検出部109,ノイズ推定部112,信号処理部113,出力部114、処理画像出力部119に双方向に接続されている。

さらに、電源スイッチ,シャッターボタン,撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部116も、制御部115に双方向に接続されている。なお、画像用バッファ107に接続されている信号処理部113、処理画像出力部119は、上記デジタルカメラの一般的構成の一例を示したもので、本実施形態例に必須の構成ではない。

図１において、信号の流れを説明する。外部I/F部116を介してISO感度などの撮影条件を設定した後、シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100,絞り101,ローパスフィルタ102,CCD103を介して撮影された映像信号は、CDS104にて公知の相関二重サンプリングによりアナログ信号として読み出される。このアナログ信号は、ゲイン調整（Gain）105で所定量増幅され、A/D106によりデジタル信号へ変換されて画像用バッファ107へ転送される。

画像用バッファ107内の映像信号は、測光評価部108および合焦点検出部109へ転送される。測光評価部108では、設定されたISO感度，手ぶれ限界のシャッター速度などを加味し、画像中の輝度レベルを求めて適正露光となるように、絞り101やCCD103の電子シャッター速度、ゲイン調整（Gain）105の増幅率などを制御する。また、合焦点検出部109では画像中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦画像を得る。

次に、外部I/F部116を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様に画像用バッファ107へ転送される。本撮影は、測光評価部108にて求められた露光条件と合焦点検出部109にて求められた合焦条件に基づき行われ、これらの撮影時の条件は制御部115へ転送される。測光評価部108により求められた露光条件や、外部I/F部116によるISO感度などの撮影条件が制御部115を介してノイズ推定部112へ転送される。ノイズ推定部112は、上記情報に基づき、上記条件に適応したノイズ量算出係数を算出する。

算出されたノイズ量算出係数は、出力部114へ転送される。画像バッファ107は、制御部115の制御に基づき、映像信号を出力部114へ転送する。出力部114は、画像バッファ107から転送された映像信号とノイズ推定部112から転送されたノイズ量算出係数をメモリーカードなどへ記録保存する。また、信号処理部113は、制御部115の制御に基づき、映像信号に対して公知の強調処理や圧縮処理などを行い、処理画像出力部119へ転送する。処理画像出力部119は、転送された映像信号をメモリーカードなどの画像記録媒体へ記録保存する。

図２は、ノイズ推定部112の構成の一例を示す構成図である。ノイズ推定部112は、OB領域抽出部200,バッファ１201,分散算出部202,温度推定部203,温度推定用ROM204,ゲイン算出部208,標準値付与部209,係数算出部210,パラメータ用ROM211，上限設定部213から構成される。画像用バッファ107は、OB領域抽出部200に接続されている。OB領域抽出部200は、バッファ１201,分散算出部202,温度推定部203を介して係数算出部210へ接続しており、温度推定部203へは温度推定用ROM204が接続されている。

制御部115は、OB領域抽出部200,分散算出部202,温度推定部203,ゲイン算出部208,標準値付与部209,係数算出部210,上限設定部213へ双方向に接続されている。ゲイン算出部208,標準値付与部209,パラメータ用ROM211は係数算出部210へ接続している。係数算出部210は、出力部114へ接続している。上限設定部213は、出力部114へ接続している。OB領域抽出部200は、制御部115の制御に基づき画像用バッファ107から、素子のOB領域を抽出しバッファ１201へ転送する。

図３(a)は、OB領域の配置を示す説明図である。本例では素子の右端にOB領域が存在する。分散算出部202は、制御部115の制御に基づきバッファ１201からOB領域を読み出し分散値を算出する。さらに、制御部115から転送される露光条件に関する情報に基づきGain105における増幅量に対する補正を上記分散値に行い、温度推定部203へ転送する。温度推定部203は、分散値と素子の温度に関する関係を記録した温度推定用ROM204からの情報に基づき素子の温度を求め、これを係数算出部210へ転送する。

図４は、OB領域の分散と素子の温度との関係を示す特性図である。この例では分散が大きくなるに従い、温度が上昇していくことが示されている。入射光のないOB領域でのランダムノイズは、暗電流ノイズが支配的であり、これは素子の温度に関係する。それ故、OB領域のランダムノイズを分散値として算出して、素子の温度変化に対する分散値を事前に計測しておくことで、分散値から素子の温度を推定することが可能となる。なお、本例では素子の温度を一定と見なし、一つの温度を求めたがこれに限定される必要はない。

例えば、図３(b)に示すように、OB領域を四方に配置して、画像中の特定ブロックに関して、該当する上端，下端，左端，右端のOB領域の分散値から線形補間により特定ブロックに対する分散値を求めても良い。これにより、素子の温度が不均一な場合も精度の高い温度推定が可能となる。ゲイン算出部208は、制御部115から転送される露光条件に関する情報に基づきGain105における増幅量を求め、係数算出部210へ転送する。また、制御部115から測光評価部108により設定されたシャッター速度に関する情報を係数算出部210へ転送する。

係数算出部210は、上記温度推定部203からの温度，ゲイン算出部208からのゲイン，制御部115からのシャッター速度の情報に基づき、信号値に対するノイズ量を与える関数の係数を算出する。この関数は、ノイズ発生原理に基づいた定式化により得られる。第５図は、ノイズ量の定式化に関する説明図である。第５図(a)は、信号値レベルに対するノイズ量をプロットしたものであり、ベキ乗の関数に定数項が加算されたものとなる。信号値レベルをL、ノイズ量をNとすると、
N = AL^B + C (1)
で定式化できる。ここで、A,B,Cは定数項である。

しかしながら、ノイズ量は信号値レベルだけではなく、素子の温度やゲインによっても変化する。第５図(b)は、信号値レベル,温度,ゲインに対するノイズ量をプロットしたものである。個々の曲線は(1)式に示される形態をしているが、その係数は温度,ゲインにより異なる。温度をT、ゲインをGとし、上記を考慮した形で定式化を行うと、
N = a(T,G)L^b(T,G) + c(T,G) (2)
となる。ここで、a(),b(),c()は温度T、ゲインGをパラメータとする関数である。

図６は、本発明の実施形態例にかかる特性図である。(a)は、上記３つの関数a(),b(),c()の特性を示す特性図である。これら３つの関数は、温度T、ゲインGを入力パラメータとし、各々の定数項A,B,Cを出力する。これらの関数は、事前に素子系の特性を測定することで容易に得ることができる。さらに、第６図(b)はシャッター速度とノイズの増分を示す特性図である。ランダムノイズは、露光時間が長くなるにつれ増加する傾向がある。このため、同一露光量であってもシャッター速度と絞りの組み合わせが異なると発生するノイズ量に差異が生じ、これを補正する必要がある。

この補正は、シャッター速度をSとし、(2)式に補正係数を乗算する（3）式
N = ｛a(T,G)L^b(T,G) + c(T,G)｝d(S) (3)
で定式化できる。ここで、d()は、シャッター速度Sをパラメータとする関数である。関数d()も、事前に素子系の特性を測定することで得られる。上記４つの関数a(),b(),c(),d()はパラメータ用ROM211に記録される。なお、シャッター速度に対する補正は必ずしも関数を用意する必要はない。

ノイズの増加は、図６(b)の特性図に示されるようにある閾値STHを境に上昇するため、閾値STH以下の長時間露光時のみに固定的な係数を乗算するような簡易的な補正方法も考えられられる。係数算出部210は、温度T，ゲインG，シャッター速度Sを入力パラメータとする。パラメータ用ROM211に記録される４つの関数a(),b(),c(),d()にしたがい、温度T，ゲインG，シャッター速度Sにおける４つの関数値a(T,G),b(T,G),c(T,G),d(S)をもとめ、それぞれを、温度T，ゲインG，シャッター速度Sにおけるノイズ算出係数A,B,C,Dとする。これらの係数が、温度T，ゲインG，シャッター速度Sにおけるノイズ特性となる。

なお、温度T，ゲインG，シャッター速度Sのパラメータは、撮影ごとに求める必要はない。たとえば、温度Tは電源投入時から一定時間経過すれば安定するため、一度算出した温度情報を標準値付与部209に記録させておき、以後の算出過程を省略する構成も可能である。このような構成により、高速処理や省電力化などが実現できる。係数算出部210で算出されたノイズ算出係数は、出力部114へ転送される。

上限設定部213は、所定の閾値以上のノイズ量に対して閾値を超えないよう制限を課す。その理由は、理論的なノイズ量に対する低減処理が、主観的に過剰となる場合を考慮したものである。すなわち、ノイズ成分が残存することになっても原信号の保存性を優先させた方が、トータルの画質が高くなるためである。上限設定部213で設定された値は、出力部114へ転送される。上限設定部213の機能は、I/F部116を操作することで制御部115を介して停止することも可能である。

図１１は、出力部114により記録された画像記録媒体内のデータ構造を示す説明図である。メモリカード306には、複数の画像ファイル311〜314が記録されている。個々のファイルが、一枚の撮影画像に対応している。図１２は、上記画像ファイルのうちのひとつの構造を示した説明図である。画像ファイル311は、画像データ330と付随情報320とから構成されている。付随情報320は、さらに撮影情報321とノイズ特性322とからなっている。撮影情報321には、ISO感度、シャッター速度等の一般的な情報が記録されている。

図１３は、ノイズ特性322の構成を示した説明図である。ノイズ特性322は、上記(3)式の関数a(),b(),c(),d()に対応する係数A,B,C,Dとノイズ量の上限値とから形成されている。これらの値は、同一ファイルに記録されている画像データ330を撮影して記録した際に、係数算出部210により算出された値であり、画像データ330に適応したノイズ発生特性を記述するための情報である。

図１４は、本実施の形態の第1の変形例による画像ファイルの構成を示した説明図である。図１４の例は、図１８の特性図に示すように、図１３のノイズ特性322の代わりに、近似ノイズ特性325を記録したものである。近似ノイズ特性325は、ノイズ発生特性を区分直線により近似したときの、各区間とそれに対応する係数の値である。図１８では、近似ノイズ特性325の各区間を表すデータとして、区間の上限の信号値L1〜L4で、各区間に対応する係数を傾きA1〜A4とN軸の切片C1〜C4で表している。

図３３は、本変形例におけるノイズ推定部を示す構成図である。上記L1〜L4、A1〜A4、C1〜C4の値は、パラメータ用ROM211に、温度、ゲインごとに保持されており、温度算出部223からの温度T、ゲイン算出部からのゲインGとに基づき、適切な区間データと係数が、係数選択部212により選択され、出力部114に転送され、記録される。温度算出部223は、第2図に示したOB領域抽出部200,分散算出部202,温度推定部203,温度推定用ROM204とからなる。

パラメータROM211の内容は、予め撮像装置の特性を測定し決定する。図２３の特性図に示すように、各種の温度T,ゲインGの条件のもとで、信号値Lとノイズ量Nとの関係を測定する。その一例が第18図に破線で示した特性である。信号値Lのレベルに応じて区分区間を設定（L1〜L4）し、各区間に含まれる実測したノイズ量のデータに対して、各区間ごとに近似直線を求め、近似直線の傾き（A1〜A4）とN軸の切片（C1〜C4）を得る。これらの値を、測定を行った温度T,ゲインGごとに求め、パラメータ用ROM211に記録する。

以上の構成によれば、撮影画像に対応したファイルのみから、ノイズ低減処理に必要となる情報がすべて得られるため、ファイルコピーなどのファイル操作や画像処理時のファイル入力の際のファイル管理が容易となる。

図１５は、本実施形態例の第2の変形例による記録媒体の構成を示した説明図である。メモリカード301は、複数の画像ファイル311〜314とノイズ特性ファイル340とから構成されている。第16図は、図１５に示した画像ファイルの構造を示した説明図である。画像ファイル311には、ノイズ特性322そのものの代わりにノイズ識別情報323が記録されている。ノイズ特性ファイル340を検索し、ノイズ識別情報323に対応する係数を読み出すことにより、画像データ330に対応する係数を得ることができる。

図１７は、ノイズ特性ファイル340の構造を示した説明図である。ノイズ特性ファイル340には、複数のノイズ特性が記録されており、ノイズ特性の識別情報と、それに対応する係数と上限値とからなっている。以上の構成によれば、同じノイズ特性を複数回記録しなくても良いため、記録媒体を有効に利用できる。

図２０は、本実施形態例の第3の変形例によるノイズ特性ファイル340の構成を示した説明図である。この例のノイズ特性ファイル340は、ノイズ特性を記述するために、関数の係数A,B,C,Dの代わりにルックアップテーブル(LUT)を用いたものである。ノイズ識別情報323ごとにLUTを設けている。

図２１は、上記LUTのうちのひとつの内容を示した説明図である。図２１の例では、信号値Lをアドレスとして、ノイズ量Nを保持しており、信号値Lに対応するノイズ量Nを出力する。以上の構成によれば、信号値に対するノイズ量を直接指定できるので、複雑なノイズモデルの記述が可能となる。

図２２は、本実施形態例の第4の変形例によるノイズ特性ファイル340の構造を示したも説明図である。この例のノイズ特性ファイル340は、ノイズ特性を記述するための基底関数a(L),b(L),c(L),d(L)と識別情報ごとの係数A,B,C,Dとから形成される。特定の識別情報が表す撮影条件におけるノイズ量を与える関数N(L)は、(4)式
N(L)=A×a(L)+B×b(L)+C×c(L)+D×d(L) (4)
によって与えられる。

基底関数a(L),b(L),c(L),d(L)は、以下のようにして定める。撮像素子の温度T，ゲインG，シャッター速度Sのパラメータに対し、想定される値を設定する。図２３の特性図に示すように、それらすべての条件ごとに信号値Lとノイズ量Nの関係を、実験的に決定する。次に、これらの関係に対し、主成分分析を行い、寄与の大きい成分を順次取り出し、基底関数とする。ノイズモデルの定式化が難しい場合でも、少ない記憶容量でモデルの記述が可能となる。

図１９は、本実施形態例の第5の変形例による画像ファイルの構造を示した説明図である。図１９の例では、図１２に示した画像ファイルの付随情報320に、アルゴリズム種別326と調整範囲327とが追加されている。アルゴリズム種別326は、ノイズ低減処理で用いるべきアルゴリズムを指定する。調整範囲327は、図２４の説明図に示すように、ノイズ低減量をユーザー指定などに応じて調整可能とする際に用いられる値である。調整範囲327は、低減量を最も強くしたときに採用される上限値802、低減量を最も弱くしたときに採用される下限値803、ユーザーが指定しなかったときに採用される標準値804とからなっている。

また、図３１に示すように、調整範囲327としては、上限、下限に限らず、これらの間にある低減量として選択候補となる値を保持しておくようにしても良い。この場合には、ユーザーが選択したノイズ低減処理の強さについて、撮影条件に応じた制限をかけることができるので、効果が足りなかったり、強すぎて、解像感が悪くなるなどの副作用を防止することができる。

上記構成により、信号値レベルおよび撮影時の温度，シャッター速度，ゲインなどのような、動的に変化する要因に対応したノイズ量の推定を可能とするための情報を記録することができる。記録媒体を読み取り、画像処理を行う装置において、高精度なノイズ量推定が可能となるので、高精度なノイズ低減処理が可能となる。さらに、推定されたノイズ量に対して上限値を設定するため、原信号の保存性に優れた処理が可能となる。

図８は、本発明に係る第２の実施形態例の構成図である。本例は、前記第１の実施形態例に、色フィルタ400,温度センサー401,PreWB部402,色信号分離部403が追加された構成になっている。基本構成は第１の実施形態例と同等であり、同一の構成には同一の名称と符号を割り当てている。以下、前記第１の実施形態例とは異なる部分のみ説明する。CCD103の前面には色フィルタ400が配置され、さらに温度センサー401が付近に配置される。温度センサー401からの信号は制御部115へ接続されている。画像用バッファ107はPreWB部402,色信号分離部403へ、色信号分離部403は出力部114へ接続されている。PreWB部402は、Gain105へ接続されている。制御部115は、PreWB部402,色信号分離部403に双方向に接続されている。

第２の実施形態例の作用は、基本的には第１の実施形態例と同等であり、異なる部分のみ説明する。図８において、信号の流れを説明する。シャッターボタンを半押しにすることでプリ撮像モードに入る。レンズ系100,絞り101,ローパスフィルタ102,色フィルタ400,CCD103を介して撮影された映像信号（カラー画像）は、CDS104,Gain105,A/D106を介して画像用バッファ107へ転送される。画像用バッファ107内の映像信号は、測光評価部108,合焦点検出部109, PreWB部402へ転送される。

測光評価部108では、適正露光となるよう絞り101やCCD103の電子シャッター速度やGain105の増幅率などを制御する。また、合焦点検出部109では画像中のエッジ強度を検出し、これが最大となるようにAFモータ110を制御することで合焦画像を得る。さらに、PreWB部402では映像信号中の所定輝度レベルの信号を色信号ごとに積算することで、簡易ホワイトバランス係数を算出する。上記係数をGain105へ転送し、色信号ごとに異なるゲインを乗算させることでホワイトバランスを行わせる。

次に、外部I/F部116を介してシャッターボタンを全押しにすることにより本撮影が行われ、映像信号はプリ撮像と同様に画像用バッファ107へ転送される。本撮影は、測光評価部108にて求められた露光条件と合焦点検出部109にて求められた合焦条件とPreWB部402で求められたホワイトバランス係数に基づき行われ、これらの撮影時の条件は制御部115へ転送される。画像用バッファ107内の映像信号は、色信号分離部403へ転送され、色フィルターごとに分離され信号処理部113,ノイズ推定部112、出力部114へ転送される。

本例では、CCD103の前面に配置される色フィルタ400の構成を原色Bayer型とする。図９は原色Bayer型の色フィルタの構成を示す説明図である。原色Bayer型は2×2画素を基本単位とし、赤(R),緑(G1,G2),青(B)のフィルターが配置される。なお、緑フィルタは同一なものであるが、本例では処理の便宜上、これをG1,G2と区別するものとする。

色信号分離部403は、R,G1,G2,Bの４種類の色フィルタに応じて、画像用バッファ107内の映像信号を分離することになる。この分離は、制御部115の制御に基づき行われ、信号処理部113,ノイズ推定部112、出力部114の処理と同期して行われることになる。出力部114は、色分離された映像信号を、メモリーカードなどへ記録保存する。信号処理部113は、制御部115の制御に基づき映像信号に対して、公知の補間処理，強調処理，圧縮処理などを行い、処理画像出力部119へ転送する。処理画像出力部119は、メモリーカードなどへ処理済み信号を記録保存する。

ノイズ推定部112では、色信号分離部403により生成されたR,G1,G2,Bの４種類の信号に、それぞれ適応したノイズ推定を行う。つまり、R,G1,G2,Bの４種類の信号に対し、それぞれ係数A_i,B_i,C_i,D_iを算出する。ただし、iは、R,G1,G2,B のいずれかである。ノイズ推定部112の構成は、第2図に示したものと同じである。係数算出部210は、温度T，ゲインG，シャッター速度Sを入力パラメータとし、パラメータ用ROM211に、４種類の信号ごとに記録されている４つの関数a_i(),b_i(),c_i(),d_i()にしたがい、ノイズ算出係数A,B,C,Dを算出する。ただし、iは、R,G1,G2,B のいずれかである。

パラメータ用ROM211には、R,G1,G2,Bの４種類の信号に対応した、４つの関数a_i(),b_i(),c_i(),d_i()を保持してある。R,G1,G2,Bの４種類の信号に応じて、これらの関数を、それぞれの信号に適応したものに切り替えて、４種類の信号にそれぞれ対応したノイズ算出係数A_i,B_i,C_i,D_iを算出する。

図１０は、出力部114により記録された、記録媒体内のデータ構造のうち、色別ノイズ特性361を示した説明図である。図１０は、第1の実施の形態で説明した図１２の画像ファイルに含まれるノイズ特性322に対応するものである。画像信号が、R,G1,G2,Bの４種類の信号からなることに対応して、ノイズ算出係数A,B,C,Dとノイズ上限値が4種類ずつ記録されている。各信号ごとに、適切なノイズ推定を可能とするため、高精度なノイズ低減処理が可能となる。

図２７は、本実施形態例の第1の変形例による色別ノイズ特性361の構成を示した説明図である。図２７の例では、基本ノイズ特性となる信号G1に対する4つの係数A,B,C,Dと、基本ノイズ特性から求めたノイズ量から他の信号G2,R,Bのノイズ量を算出するための補正項と、撮影シーンに応じたノイズ量の補正を行うシーン補正項とからなっている。

シーン補正項は、公知のシーン判別方法や、外部I/F部116から設定された撮影モード情報に基づき決定される。例えば、ポートレートでは強め、クローズアップでは弱めとなるような値を設定する。信号G2,R,Bのノイズ特性については、補正項を保持しておくだけであるので、記憶容量が削減できる。シーン補正項により、シーンに適応したノイズ低減を行うことが可能となるので、主観的な画質を向上させることができる。

上記構成により、色フィルタが前面に配置されたカラーCCDからの信号に対して、信号値レベルおよび撮影時の温度，シャッター速度，ゲインなどの動的に変化する要因に対応した画素単位のノイズ量の推定するための情報を、色フィルタで分割された信号ごとに記録することが可能となる。なお、上記実施例では原色Bayer型の単板CCDを例に説明したがこれに限定される必要はない。例えば、補色フィルタにも同様に適応可能であるし、二板，三板CCDにも適用可能である。

図７は、本発明に係る第３の実施形態例に基づく画像処理装置の構成の一例を示す構成図である。入力部510、画像バッファ107、水平ライン抽出部500,スムージング部１501,バッファ502,垂直ライン抽出部503,スムージング部２504,閾値設定部505、信号処理部113、表示部514、外部I/F部516、制御部115からなる。入力部510は、画像バッファ107、水平ライン抽出部500,スムージング部１501,バッファ502,垂直ライン抽出部503,スムージング部２504を介して信号処理部113へ接続している。

信号処理部113は、さらに表示部514へ接続している。入力部510は、さらに閾値設定部505へ、閾値設定部505はスムージング部１501とスムージング部２504へ接続している。標準値付与部509は、閾値設定部505へ接続されている。制御部115は、水平ライン抽出部500, 垂直ライン抽出部503, 閾値設定部505、標準値付与部509へ双方向に接続されている。

第３の実施形態例の作用について説明する。入力部510は、制御部115の制御に基づき、画像ファイル311から画像データとノイズ特性を表す係数および上限値を読み出し、画像データを画像バッファ107に、ノイズ特性を表す係数と上限値を閾値設定部505へ転送する。画像データ水平ライン抽出部500は、制御部115の制御に基づき画像バッファ107から、水平ライン単位で順次映像信号を抽出しスムージング部１501へ転送する。閾値設定部505は、制御部115の制御に基づき、水平ライン抽出部500が抽出した水平ライン単位の映像信号に対して画素単位でノイズ量を得て、これを閾値としてスムージング部１501へ転送する。ノイズ量Nは、入力部510から転送された係数A,B,C,Dを用い、(5)式により、
N = ｛AL^B + C｝D (5)
画素の信号値Lに基づいて算出される。

さらに、ノイズ量Nが、入力部510から転送された上限値を超える場合は、上限値に置き換えられて、スムージング部１501に転送される。なお、画像ファイル311にノイズ特性が記録されていない場合には、制御部115の制御に基づき、標準の係数と上限値が、標準値付与部509から出力され、閾値設定部505へ転送される。スムージング部１501は、水平ライン抽出部500からの映像信号に対して画素単位で走査していき、閾値設定部505からの閾値をノイズ量として公知のヒステリシススムージングを行う。

この結果は、順次バッファ502へ出力する。スムージング部１501のヒステリシススムージングと閾値設定部505の動作は制御部115により同期して行われる。画像用バッファ107の全信号がスムージング部１501にて処理されると、垂直ライン抽出部503が御部115の制御に基づきバッファ502から垂直ライン単位で順次映像信号を抽出しスムージング部２504へ転送する。閾値設定部505は、制御部115の制御に基づき、垂直ライン抽出部503が抽出した垂直ライン単位の映像信号に対して画素単位でノイズ量を得て、これを閾値としてスムージング部２504へ転送する。ノイズ量の算出方法は、上記水平ライン単位の処理と同様である。

スムージング部２504は、垂直ライン抽出部503からの映像信号に対して画素単位で走査していき、閾値設定部505からの閾値をノイズ量として公知のヒステリシススムージングを行う。この結果は、順次信号処理部113へ出力され、その他の信号処理が行われた後、表示部514に表示される。また、スムージング部２504のヒステリシススムージングと閾値設定部505の動作は制御部115により同期して行われる。

図２８は、本実施形態例の第1の変形例による画像処理装置の構成を示した構成図である。この例では、ノイズ低減部512の代わりに、ノイズ低減部A 582、ノイズ低減部B 583、セレクタA 581、セレクタB 584を設けたことが特徴である。制御部115の制御に基づき、画像ファイル311から、入力部510を通して、アルゴリズム種別を読み込む。制御部115の制御に基づき、アルゴリズム種別に応じて、セレクタA 581、セレクタB 584を切り替えることにより、ノイズ低減アルゴリズムを切り替える。撮影条件や撮像装置の特性に応じて、ノイズ低減アルゴリズムを切り替えることができるので、効果的なノイズ低減処理が可能となる。

図２５は、本実施形態例の第2の変形例による閾値設定部505の構成を示した構成図である。この例では、低減量設定部801、ノイズ量算出部601、ノイズ量補正部602からなる。調整範囲の値は、画像ファイル311から入力部510を通して読み込まれ、閾値設定部505へ転送される。低減量設定部801は、図２４の説明図に示されているようなユーザーインターフェースを提示し、ユーザーが設定したスライドバーの位置に応じて、ユーザーが希望するノイズ低減レベルを取得する。

取得したレベルに応じて、調整範囲の上限値と下限値の間の値をノイズ補正量として算出し、ノイズ量補正部602へ転送する。スライドバーの位置とノイズ補正量の関係は、第29図に示すように、比例配分とする。また、第30図に示すように、スライドバーの位置とノイズ補正量の関係を非線形としても良い。低減効果の変化が、主観的に自然に感じられるようにすることができる。

ノイズ量算出部601では、処理対象画素の信号値と4つの係数A,B,C,Dを用いて、(5)式から信号のノイズ量を算出し、ノイズ量補正部602へ転送する。ノイズ量補正部602では、低減量設定部801から転送されたノイズ補正量によって、ノイズ量算出部601から転送されたノイズ量を補正する。ノイズ補正部602は、積算器で構成され、ノイズ量算出部601から転送されたノイズ量に、ノイズ補正量を積算することにより、補正されたノイズ量を算出する。補正されたノイズ量は、スムージング部１ 501、スムージング部２ 502へ転送され、スムージング処理の閾値として用いられる。

また、調整範囲として選択候補となる値を保持している場合には、図３１の説明図に示すようなユーザーインターフェースを提示し、ユーザーの選択に応じた低減量補正値を得るようにしても良い。ノイズ低減処理の強さについて、撮影条件に応じた制限をかけることができるので、効果が足りなかったり、強すぎて、解像感が悪くなるなどの副作用を防止することができる。

上記構成により、信号値レベルおよび撮影時の温度，シャッター速度，ゲインなどの動的に変化する要因に対応した画素単位のノイズ量の推定が可能となる。これらの推定に基づき、ノイズ量以下の信号のみスムージング処理を行うため、高精度なノイズ低減処理が可能となる。さらに、推定されたノイズ量に対して上限値を設定するため、原信号の保存性に優れた処理が可能となる。なお、上記実施例では画素単位でノイズ量を推定していたが、このような構成に限定される必要はない。2×2，4×4画素など任意の単位面積でノイズ量を推定する構成も可能である。この場合、ノイズ推定精度は低下するが、より高速な処理が実現できる。

本発明に係る第４の実施形態例に基づく画像処理装置は、図７の構成図に示したものとほぼ同様のもので、第２の実施の形態例により出力された画像ファイルを対象とした表示装置である。図７に示した閾値設定部505が図３２の構成図に示すように、分離した４種類の信号R,G1,G2,Bに対応して４つ（705〜708）設けられている。それぞれの閾値を用いて、分離した４種類の信号R,G1,G2,Bに対して、第２の実施の形態で示したノイズ低減処理を行う。

図２６は、本実施形態例の第1の変形例による閾値設定部505の構成を示した構成図である。閾値設定部505は、ノイズ量算出部601、ノイズ量補正部602、上限設定部603とからなっている。ノイズ量算出部601では、処理対象画素のG1の信号値と基本ノイズ特性となる信号G1に対する4つの係数A,B,C,Dを用いて、(5)式から信号G1のノイズ量を算出し、ノイズ量補正部602へ転送する。ノイズ量補正部602では、G2,R,Bそれぞれに対する補正項およびシーン補正項によって、ノイズ量算出部601から転送された信号G1のノイズ量を補正し、G2,R,Bそれぞれに対応するノイズ量を算出する。

ノイズ補正部602は、積算器で構成され、信号G1のノイズ量に、G2,R,Bいずれかの補正項およびシーン補正項を積算することにより、G2,R,Bそれぞれに対するノイズ量を算出する。上限設定部603では、ノイズ補正部602で補正されたノイズ量が上限値を超えた場合は上限値に置き換え、低減処理が過剰にならないようにする。上限設定部603から出力されるノイズ量は、スムージング部１501、スムージング部２502へ転送され、スムージング処理の閾値として用いられる。

本発明に係る実施形態例は、ハードウェアにより構成した例を示しているが、これに限定される必要はない。以下に、ソフトウェア処理による例を示す。図３４は、ノイズ低減処理のソフトウェア処理に関するフローチャートを示す。このようなソフトウェア処理は、コンピュータにプログラムを実行させることにより実現される。また、このプログラムは記録媒体に記録させることにより、記録媒体を必要に応じて移動させて、コンピュータが設置されている場所であればどこにおいても、実行させることができる。

図３４の処理について、Step1にて、全色信号を読み込む。Step2にて、ヘッダー情報を読み込み全色信号に対応するノイズ算出係数を読み込む。Step3にて色信号ごとに分離する。Step4にて、分離した色に対応したノイズ算出係数を選択し、Step7に転送する。Step5にて各色信号を個別に走査する。

Step6にて、注目画素を中心として所定のサイズ、例えば4×4画素単位を抽出し、信号値レベルの平均値を算出し、Step7に転送する。Step7にて、注目画素を中心とした局所領域の信号値レベルとノイズ算出係数とから、前記式(5)に基づき信号値レベルに対応したノイズ量を算出し、Step8へ転送する。Step8にて、局所領域の信号値レベルに対応したノイズ量を閾値として、注目画素の信号に対し、スムージング処理を行う。

Step9にて、スムージング処理された信号が順次出力される。Step10にて、画面走査が完了したかを判断し、完了していない場合はStep5へ戻り前記各色信号を個別に走査する。以下、Step5〜Step10のループ処理を繰り返す。画面走査が完了した場合はStep11へ移行する。Step11にて、全色信号が上記各処理をすべて完了したかどうかを判断し、完了していない場合はStep3へ戻り前記色信号ごとに分離し、以下Step3〜Step11のループ処理を繰り返す。全色信号の処理がすべて完了した場合は終了となる。

上記構成により、色フィルタが前面に配置されたカラーCCDからの信号に対して、信号値レベルおよび撮影時の温度，シャッター速度，ゲインなどの動的に変化する要因に対応した画素単位のノイズ量の推定が、色フィルタで分割された信号ごとに可能となる。色信号ごとに推定したノイズ量に基づきスムージング処理を行うため、高精度なノイズ低減処理が可能となる。なお、上記実施例では原色Bayer型の単板CCDを例に説明したがこれに限定される必要はない。例えば、補色フィルタにも同様に適応可能であるし、二板，三板CCDにも適用可能である。

図３４は、カラー画像処理を対象としたプログラムの例であるが、白黒画像処理を対象とするプログラムを構成することもできる。白黒画像処理を対象とするプログラムは、図３４において、読み込まれた信号からStep3の色信号ごとに分離する手順と、Step5の各色信号を個別に走査する手順と、Step11の全色信号が完了したかどうかを判断する手順が省略される。図３５に白黒画像処理を対象としたプログラムの例をフローチャートで示す。図３５の例では、前記図３４の処理とはカラー画像処理を対象とする手順を省略する以外の手順は同じであるが、Step数の表示が一部変更されている。

前記図３４に示したカラー画像に対する画像処理プログラムと、白黒画像に対する画像処理プログラムを記録媒体に記録させることができる。この記録媒体をコンピュータにインストールすることにより、コンピュータが動作する環境であれば場所や時間に制約されることなくカラー画像および白黒画像に対する高精度なノイズ低減処理を行うことができる。

以上説明したように、本発明によれば、記録媒体に記録されたデータを後処理する際にも、撮影状況に最適化されたノイズ低減処理を可能とする撮像装置と画像記録媒体、および画像処理装置ならびに画像処理プログラムとその記録媒体を提供することができる。

第１の実施形態例の構成図である。 第１の実施形態例の構成図である。 第１の実施形態例の説明図である。 第１の実施形態例の特性図である。 第１の実施形態例の説明図である。 第１の実施形態例の特性図である。 第３の実施形態例の構成図である。 第２の実施形態例の構成図である。 第２の実施形態例の説明図である。 第２の実施形態例の説明図である。 第１の実施形態例の説明図である。 第１の実施形態例の説明図である。 第１の実施形態例の説明図である。 第１の実施形態例における第１の変形例の説明図である。 第１の実施形態例における第２の変形例の説明図である。 第１の実施形態例における第２の変形例の説明図である。 第１の実施形態例における第２の変形例の説明図である。 第１の実施形態例の特性図である。 第１の実施形態例における第５の変形例の説明図である。 第１の実施形態例における第３の変形例の説明図である。 第１の実施形態例における第３の変形例の説明図である。 第１の実施形態例における第４の変形例の説明図である。 第１の実施形態例の特性図である。 第３の実施形態例の説明図である。 第３の実施形態例における第２の変形例の構成図である。 第４の実施形態例における第１の変形例の構成図である。 第２の実施形態例における第１の変形例の構成図である。 第３の実施形態例における第１の変形例の構成図である。 第３の実施形態例の特性図である。 第３の実施形態例の特性図である。 第１の実施形態例における第５の変形例の説明図である。 第４の実施形態例の構成図である。 第１の実施形態例における変形例の構成図である。 本発明の実施形態例のフローチャートである。 本発明の実施形態例のフローチャートである。

符号の説明

１００・・・レンズ系、１０１・・・絞り、１０２・・・ローパスフィルタ、１０３・・・白黒用CCD、１０４・・・CDS、１０５・・・増幅器（Gain）、１０６・・・A/D変換器、１０７・・・画像用バッファ、１０８・・・測光評価部、１０９・・・合焦点検出部、１１０・・・AFモータ、１１２・・・ノイズ推定部、１１３・・・信号処理部、１１４・・・出力部、１１５・・・制御部、１１９・・・処理画像出力部、２１０・・・係数算出部、３０６・・・メモリカード、３１１〜３１４・・・画像ファイル、３２０・・・付随情報、３２１・・・撮影情報、３２２・・・ノイズ特性、３３０・・・画像データ、４０３・・・色分離部、５００・・・水平ライン抽出部、５０１・・・スムージング部１、５０３・・・垂直ライン抽出部、５０４・・・スムージング部２、５０５・・・閾値設定部

Claims (23)

1. 撮像素子からのデジタル化された信号を、記録媒体に記録する撮像装置であって、
   上記信号中に含まれるノイズの特性を生成するノイズ特性生成手段と、上記ノイズの特性を記録媒体に記録するノイズ特性記録手段と、を有することを特徴とする撮像装置。
2. 上記撮像素子前面に配置される色フィルタと、上記信号を色フィルタごとの信号に分離する分離手段と、を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記ノイズ特性記録手段は、上記信号と上記ノイズの特性とを対応づけて記録することを特徴とする請求項１に記載の撮像装置。
4. 前記ノイズ特性生成手段は、上記色フィルタごとに分離された信号に、それぞれ対応したノイズの特性を生成する分離信号ノイズ特性生成手段からなることを特徴とする請求項２に記載の撮像装置。
5. 前記ノイズ特性生成手段は、（１）上記信号の信号値レベル、（２）上記撮像素子の温度、（３）上記信号に対するゲイン、（４）撮影時のシャッター速度、のうち少なくとも１つの情報に基づくパラメータを算出するパラメータ算出手段と、上記パラメータを独立変数とし、上記信号中に含まれるノイズ量を与える関数を設定する関数設定手段とからなることを特徴とする請求項１または請求項２に記載の撮像装置。
6. 前記関数設定手段は、上記信号の信号値Lに対するノイズ量Nを、関数式N=(AL^B+C)Dに基づき算出するものであって、パラメータとして上記撮像素子の温度T、上記信号に対するゲインGおよび撮影時のシャッター速度Sを用いて、上記T, Gをパラメータとする３つの関数a(T,G), b(T,G), c(T,G)とSをパラメータとする関数d(S)から、各々の係数A,B,C,Dを求める係数算出手段からなることを特徴とする請求項５に記載の撮像装置。
7. 前記パラメータ算出手段は、（１）ISO感度、（２）露出情報、（３）ホワイトバランス情報、の少なくとも１つ以上の情報に基づき上記ゲインを求めるゲイン算出手段、をさらに有することを特徴とする請求項５に記載の撮像装置。
8. 前記ノイズ特性生成手段は、上記信号の信号値レベルに基づくパラメータを独立変数とし、上記信号中に含まれるノイズ量を与える関数を設定するノイズ関数設定手段であること特徴とする請求項１または請求項２に記載の撮像装置。
9. 前記ノイズ関数設定手段は、（１）上記撮像素子の温度、（２）ゲイン、（３）シャッター速度、のうち少なくとも１つの情報に基づく撮影条件を設定する撮影条件設定手段と、上記撮影条件に対応して、上記信号中に含まれるノイズ量を与える関数を設定する条件対応関数設定手段とからなることを特徴とする請求項８に記載の撮像装置。
10. 前記ノイズ関数設定手段は、上記信号の信号値Lに対するノイズ量Nを、区分関数式N=A_iL+C_i（ただし、１≦ｉ≦Ｍであり、Ｍは信号値Lの区分区間数である）に基づき算出するものであって、信号値Lの各区分区間を定義する値と、各区間に対応する係数A_i,C_iとを設定する係数設定手段からなることを特徴とする請求項８または請求項９に記載の撮像装置。
11. 前記ノイズ関数設定手段は、上記信号の信号値レベルに対するノイズ量を求めるルックアップテーブル手段からなることを特徴とする請求項８または請求項９に記載の撮像装置。
12. 前記撮影条件設定手段は、（１）ISO感度、（２）露出情報、（３）ホワイトバランス情報、の少なくとも１つ以上の情報に基づき上記ゲインを求めるゲイン算出手段、をさらに有することを特徴とする請求項９に記載の撮像装置。
13. 記録媒体に記録されている画像データを読み込みノイズ低減処理を行う画像処理装置において、
    上記記録媒体に記録されているノイズ特性を読み込むノイズ特性取得手段と、上記ノイズ特性に基づき、上記画像データに含まれるノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき上記画像データのノイズを低減するノイズ低減手段と、を有することを特徴とする画像処理装置。
14. 前記ノイズ低減手段は、ノイズ低減量を制限する低減量制限手段をさらに有することを特徴とする請求項１３に記載の画像処理装置。
15. 画像信号データを記録した記録媒体において、
    記録されている画像信号データのノイズの特性を記録したノイズ特性保持手段を有することを特徴とする画像記録媒体。
16. 前記ノイズの特性は、（１）上記画像信号の信号値レベル、（２）上記画像信号データ取得時の撮像素子の温度、（３）上記画像信号に対するゲイン、（４）上記画像信号データ取得時の撮像素子のシャッター速度、のうち少なくとも１つの情報に基づくパラメータを算出し、上記パラメータを独立変数として、上記画像信号中に含まれるノイズ量を与える関数設定手段で設定されることを特徴とする請求項１５に記載の画像記録媒体。
17. 前記ノイズ量を与える関数設定手段は、上記画像信号の信号値Lに対するノイズ量Nを、関数式N=(AL^B+C)Dに基づき算出するものであって、パラメータとして上記撮像素子の温度T、上記信号に対するゲインGおよび撮影時のシャッター速度Sを用いて、上記T, Gをパラメータとする３つの関数a(T,G), b(T,G), c(T,G)とSをパラメータとする関数d(S)から、各々の係数A,B,C,Dを求める係数算出手段からなり、前記ノイズの特性は、上記係数算出手段が設定する係数A,B,C,Dであることを特徴とする請求項１６に記載の画像記録媒体。
18. 前記ノイズの特性は、上記画像信号の信号値レベルに基づくパラメータを独立変数とし、上記信号中に含まれるノイズ量を与えるノイズ関数設定手段で設定されることを特徴とする請求項１５に記載の画像記録媒体。
19. 前記ノイズ関数設定手段は、（１）上記画像信号データ取得時の撮像素子の温度、（２）上記画像信号に対するゲイン、（３）上記画像信号データ取得時の撮像素子のシャッター速度、のうち少なくとも１つの情報に基づく撮影条件を設定する撮影条件設定手段と、上記撮影条件に対応して、上記信号中に含まれるノイズ量を与える関数を設定する条件対応関数設定手段とからなることを特徴とする請求項１８に記載の画像記録媒体。
20. 前記ノイズ関数設定手段は、上記信号の信号値Lに対するノイズ量Nを、区分関数式N=A_iL+C_i（ただし、１≦ｉ≦Ｍであり、Ｍは信号値Lの区分区間数である）に基づき算出するものであって、信号値Lの各区分区間を定義する値と、各区間に対応する係数A_i,C_iとを設定する係数設定手段からなることを特徴とする請求項１８に記載の画像記録媒体。
21. コンピュータに、全色信号を読み込む手順と、ヘッダー情報を読み込み全色信号に対応するノイズ算出係数を読み込む手順と、前記全色信号を色信号ごとに分離する手順と、前記分離した色に対応したノイズ算出係数を選択する手順と、前記各色信号を個別に走査する手順と、注目画素を中心として所定のサイズの画素単位を抽出し信号値レベルの平均値を算出する手順と、前記注目画素を中心とした局所領域の信号値レベルと前記ノイズ算出係数とから、所定の演算に基づき信号値レベルに対応したノイズ量を算出する手順と、局所領域の信号値レベルに対応したノイズ量を閾値として、前記注目画素の信号に対しスムージング処理を行う手順と、前記スムージング処理された信号を順次出力する手順と、画面走査が完了したかどうかを判断する手順と、全色信号について上記各手順が完了したかどうかを判断する手順と、を実行させる画像処理プログラム。
22. コンピュータに、画像信号を読み込む手順と、ヘッダー情報を読み込み画像信号に対応するノイズ算出係数を読み込む手順と、前記画像信号に対応したノイズ算出係数を選択する手順と、注目画素を中心として所定のサイズの画素単位を抽出し信号値レベルの平均値を算出する手順と、前記注目画素を中心とした局所領域の信号値レベルと前記ノイズ算出係数とから、所定の演算に基づき信号値レベルに対応したノイズ量を算出する手順と、局所領域の信号値レベルに対応したノイズ量を閾値として、前記注目画素の信号に対しスムージング処理を行う手順と、前記スムージング処理された信号を順次出力する手順と、画面走査が完了したかどうかを判断する手順と、を実行させる画像処理プログラム。
23. 前記請求項２１または請求項２２に記載の画像処理プログラムを記録する記録媒体。
    
    

Images