JP6762365B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数の画素を有する撮像素子に生じるノイズを補正する画像処理装置、画像処理方法およびプログラムに関する。

従来、撮像装置に用いられる撮像素子によって生成された画像データに対し、撮像素子の使用条件によって発生する混色やランダムノイズを補正する技術が知られている（特許文献１参照）。この技術では、混色を補正する混色補正処理と、ランダムノイズを低減するランダムノイズ補正処理と、を最適な処理順序で行うことによって、画質の劣化を防止する。

特許第５４２５３４３号公報

ところで、画像データに含まれる様々なノイズの中には、例えば、画素を構成するフォトダイオードにおける過度な暗電流に起因するノイズ（白傷、または画素欠陥）、カラーフィルタの透過率のばらつきに起因するノイズ（分光感度ばらつきノイズ、または感度ばらつきノイズ）、および画素から信号を読み出す読み出し回路の不良に起因するノイズ（ＲＴＳノイズ、または点滅欠陥）等がある。このため、上述した特許文献１のように混色とランダムノイズを補正しただけでは、十分な画質を実現することができないという問題点があった。

また、発生しうる複数のノイズそれぞれに応じた複数の補正処理を行ったとしても、無作為の順序で複数の補正処理を行った場合、それぞれの補正処理による影響を考慮していないため、却って画質が劣化してしまうという問題点があった。

本発明は、上記に鑑みてなされたものであって、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズそれぞれを補正する複数の補正処理を実行可能な画像処理装置であって、前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で前記複数の補正処理を実行するノイズ補正部を備えることを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数のノイズの特性に基づいて、前記複数の補正処理を複数のグループに分類し、該複数のグループと前記過程とに応じて定まる順序で前記複数の補正処理を実行することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記複数のノイズは、前記画素の受光面に設けられた光学系、前記画素および前記読み出し回路のいずれかにおいて発生するノイズであり、前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記過程においてノイズの発生順の逆順で定まる順序で実行することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記ノイズのノイズレベルに応じて定まる順序で実行することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記ノイズの発生する範囲に応じて定まる順序で実行することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、特定条件によって補正内容が切り替わる補正処理の順序を他の補正処理より後段にして実行することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前段で実行した補正処理の結果、後段で実行する補正処理で補正するノイズに類似する類似ノイズを生じさせた場合、該類似ノイズを他のノイズを含め後段の補正処理によって補正することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記複数の補正処理は、前記画像データを用いて前記ノイズを検出しながら補正する補正処理を含み、前記ノイズ補正部は、前記ノイズを検出しながら補正する検出有のグループと、それ以外の検出無のグループとに分類するとともに、前記検出有のグループおよび前記検出無のグループの順序で前記複数の補正処理を実行することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数の補正処理それぞれが補正する前記ノイズのレベルに応じて、前記複数の補正処理を前記複数のグループに分類するとともに、前記ノイズのレベルが大きいグループの順序で前記複数の補正処理を実行することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記ノイズ補正部は、前記複数の補正処理それぞれが補正する前記ノイズの発生する発生範囲に応じて、前記複数の補正処理を前記複数のグループに分類するとともに、前記発生範囲が小さいグループの順序で前記複数の補正処理を実行することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記複数のノイズそれぞれに関するノイズ情報を記録するノイズ情報記録部をさらに備えることを特徴とする。

また、本発明に係る画像処理方法は、光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズを補正する複数の補正処理を実行可能な画像処理装置が実行する画像処理方法であって、前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる補正処理の順序で前記複数の補正処理を実行するノイズ補正ステップを含むことを特徴とする。

また、本発明に係るプログラムは、光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズを補正する複数の補正処理を実行可能な画像処理装置に、前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で前記複数の補正処理を実行するノイズ補正ステップを実行させることを特徴とする。

本発明によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。 図２は、本発明の実施の形態１に係る撮像素子の要部の構成を模式的に示す概略図である。 図３は、本発明の実施の形態１に係る撮像素子に発生する各ノイズの特性の一例を示す図である。 図４は、本発明の実施の形態１に係る撮像素子における読み出し回路に起因するＦＤ白傷の発生例を模式的に示す図である。 図５は、本発明の実施の形態１に係る撮像素子における白傷の発生例を模式的に示す図である。 図６は、本発明の実施の形態１に係る撮像素子におけるＲＴＳノイズの発生例を模式的に示す図である。 図７は、本発明の実施の形態１に係る撮像素子における分光感度ばらつきの発生例を模式的に示す図である。 図８は、本発明の実施の形態１に係る撮像素子における欠陥画素と低飽和画素の発生例を模式的に示す図である。 図９は、本発明の実施の形態１に係るノイズ情報記録部が記録するノイズ情報に含まれる低飽和画素情報の一例を模式的に示す図である。 図１０は、本発明の実施の形態１に係るノイズ情報記録部が記録するノイズ情報に含まれる低飽和画素情報の一例を模式的に示す図である。 図１１は、本発明の実施の形態１に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図１２Ａは、本発明の実施の形態１に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１２Ｂは、本発明の実施の形態１に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１２Ｃは、本発明の実施の形態１に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１３は、本発明の実施の形態１に係るノイズ補正部の構成を模式的に示す図である。 図１４は、本発明の実施の形態１の変形例に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図１５Ａは、本発明の実施の形態１の変形例に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１５Ｂは、本発明の実施の形態１の変形例に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１５Ｃは、本発明の実施の形態１の変形例に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１６は、本発明の実施の形態１の変形例に係るノイズ補正部の構成を模式的に示す図である。 図１７は、本発明の実施の形態２に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図１８Ａは、本発明の実施の形態２に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１８Ｂは、本発明の実施の形態２に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１８Ｃは、本発明の実施の形態２に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図１９は、本発明の実施の形態２に係るノイズ補正部の構成を模式的に示す図である。 図２０は、本発明の実施の形態３に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。 図２１Ａは、本発明の実施の形態３に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図２１Ｂは、本発明の実施の形態３に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図２１Ｃは、本発明の実施の形態３に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。 図２２は、本発明の実施の形態３に係るノイズ補正部の構成を模式的に示す図である。

以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
〔撮像システムの構成〕
図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、画像処理装置２０と、表示装置３０と、を備える。

〔撮像装置の構成〕
まず、撮像装置１０の構成について説明する。撮像装置１０は、図１に示すように、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、第１外部Ｉ／Ｆ部１１５と、を備える。

光学系１０１は、複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。

絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、撮像制御部１１４の制御のもと、光学系１０１が集光した光の入射量を制限する。

シャッタ１０３は、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。

ドライバ１０４は、後述する撮像制御部１１４の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。

撮像素子１０５は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が二次元状に配置されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。この各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。なお、撮像素子１０５は、ベイヤー配列に限定されず、例えばＦｏｖｉｏｎのような積層型の形式でも勿論かまわない。また、用いるフィルタはＲＧＢに限定されず、補色フィルタ等任意のフィルタを適用できる。また、別途、異なるカラー光を時分割で照射可能な光源を配置し、撮像素子１０５には、フィルタを配置せず、照射する色を変更しながら順次取り込んだ画像を使用してカラー画像を構成できるようにしてもよい。

ここで、撮像素子１０５の構成について詳細に説明する。図２は、撮像素子１０５の要部の構成を模式的に示す概略図である。なお、図２に示す撮像素子１０５は、画素の開口率向上により感度を向上させるため、複数の画素で読み出し回路を共有している例を示す。以下において、撮像素子１０５は、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路が配置されているものを一例として説明する。また、撮像素子１０５上には、上述した画素および読み出し回路が、水平方向および垂直方向に並んで配置されているものとする。さらに、撮像素子１０５には、読み出し回路を共有している複数の画素（共有ブロック）が複数配置されているものとする。

図２に示すように、撮像素子１０５は、光を集光するマイクロレンズ１０５ａと、互いに異なる分光透過率を有する複数のフィルタを用いて所定の配列パターンを形成してなるカラーフィルタ１０５ｂと、マイクロレンズ１０５ａおよびカラーフィルタ１０５ｂを透過した光を受光し、光電変換を行うことによって、露光量に対応した電荷を発生する複数の画素１０５ｃ（フォトダイオード）と、複数の画素１０５ｃの各々に設けられ、撮像制御部１１４の制御に応じて開閉する第１スイッチ１０５ｄと、複数の画素１０５ｃの各々から出力された信号（電荷）を転送する転送線１０５ｅと、複数の画素１０５ｃの各々から出力された信号を蓄積するＦＤ部１０５ｆ（Floating Diffusion）と、ＦＤ部１０５ｆから出力された信号を増幅するアンプ部１０５ｇと、撮像制御部１１４の制御に応じて開閉する第２スイッチ１０５ｈと、第２スイッチ１０５ｈを制御する制御線１０５ｉと、アンプ部１０５ｇで増幅された電気信号を転送する転送線１０５ｊと、を備える。また、カラーフィルタ１０５ｂは、緑色の波長帯域の光を透過する２つのＧフィルタと、赤色の波長帯域の光を透過するＲフィルタと、青色の波長帯域の光を透過するＢフィルタとを用いてベイヤー配列によって形成されてなる。

このように構成された撮像素子１０５は、矢印Ａに示すように、画素１０５ｃにおける露光量に対応する信号を画素値として読み出す場合、まず、ＦＤ部１０５ｆをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｄ（１）のみをオンとすることで、画素１０５ｃ（１）に発生した電荷をＦＤ部１０５ｆに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｈをオンとすることで、ＦＤ部１０５ｆに蓄積された電荷をアンプ部１０５ｇによって増幅させて画素値として読み出す（出力する）。次に、撮像素子１０５は、ＦＤ部１０５ｆをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｄ（２）のみをオンとすることで、画素１０５ｃ（２）に発生した電荷をＦＤ部１０５ｆに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｈをオンとすることで、ＦＤ部１０５ｆに蓄積された電荷をアンプ部１０５ｇによって増幅させて画素値として読み出す。撮像素子１０５は、このような読み出し動作を順次行うことによって、各画素１０５ｃにおける露光量に対応する信号を順次画素値として出力することができる。なお、本実施の形態１では、ＦＤ部１０５ｆ以降が複数の画素１０５ｃの各々から電荷または画素値を読み出す読み出し回路として機能する。

図１に戻り、撮像装置１０の構成の説明を続ける。
アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０７へ出力する。具体的には、アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０６は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップ処理を行う。

Ａ／Ｄ変換部１０７は、アナログ処理部１０６から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１３を介して揮発メモリ１１１に出力する。なお、Ａ／Ｄ変換部１０７は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したアナログ処理部１０６とＡ／Ｄ変換部１０７を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしても良い。

操作部１０８は、撮像装置１０の各種の指示を与える。具体的には、操作部１０８は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。

記録媒体１１０は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１０９を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１０は、撮像制御部１１４の制御のもと、メモリＩ／Ｆ部１０９を介してプログラムおよび各種情報それぞれを不揮発メモリ１１２に出力してもよい。

揮発メモリ１１１は、バス１１３を介してＡ／Ｄ変換部１０７から入力される画像データを一時的に記憶する。例えば、揮発メモリ１１１は、アナログ処理部１０６、Ａ／Ｄ変換部１０７およびバス１１３を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１１は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等を用いて構成される。

不揮発メモリ１１２は、Ｆｌａｓｈメモリ等を用いて構成される。撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１２は、プログラム記録部１１２ａと、撮像素子１０５における各種ノイズに関するノイズ情報を記録するノイズ情報記録部１１２ｂを有する。ノイズ情報には、ＲＴＳノイズ情報、分光感度ばらつき情報、欠陥画素情報、低飽和画素情報が含まれる。

ここで、ＲＴＳノイズ情報には、撮像素子１０５におけるＲＴＳノイズのＲＴＳノイズ位置情報、レベル情報およびランダムノイズモデルが含まれる。

分光感度ばらつき情報には、撮像素子１０５を構成する複数の画素の各々の分光感度のばらつきを補正するための補正係数が含まれる。なお、ＲＴＳノイズ情報に対して、ばらつきが大きい一部の画素に対する補正係数のみを保持（含めるようにしてもよい。）するようにしても良い。また、分光感度のばらつきとは、撮像素子１０５を構成する複数の画素の各々の受光面に設けられた光学系による製造過程によって生じるノイズである。ここで、光学系とは、画素の受光面に設けられるマイクロレンズ、各種フィルタ（例えばカラーフィルタ、赤外カットフィルタおよびローパスフィルタ等）である。

欠陥画素情報には、撮像素子１０５における画素の位置に応じた欠陥画素の位置情報（位置情報は、画素値を読み出す読み出し回路（アンプ部１０５ｇの位置情報）または欠陥画素が生じる画素の位置情報のいずれか一方または両方を含む）およびレベル情報を含む。なお、欠陥画素情報に、ＦＤ白傷および白傷に関する情報を含めてもよい。

低飽和画素情報には、撮像素子１０５における画素の位置に応じた低飽和画素の位置情報（位置情報は、画素値を読み出す読み出し回路（アンプ部１０５ｇの位置情報）または低飽和画素が生じる画素の位置情報のいずれか一方または両方を含む）およびレベル情報を含む。なお、いずれのノイズ情報についてもレベル情報はなくてもよい。

バス１１３は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。

撮像制御部１１４は、ＣＰＵ（Central Processing Unit）等を用いて構成され、操作部１０８からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１４は、操作部１０８からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作を開始する制御を行う。ここで、撮像装置１０における撮影動作とは、撮像素子１０５が出力した画像データに対し、アナログ処理部１０６およびＡ／Ｄ変換部１０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１４の制御のもと、バス１１３およびメモリＩ／Ｆ部１０９を介して記録媒体１１０に記録される。

第１外部Ｉ／Ｆ部１１５は、バス１１３を介して外部の機器から入力される情報を不揮発メモリ１１２または揮発メモリ１１１へ出力する一方、バス１１３を介して外部の機器へ揮発メモリ１１１が記録する情報、不揮発メモリ１１２が記録する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１５は、バス１１３を介して画像処理装置２０に撮像素子１０５が生成した画像データを出力する。

〔画像処理装置の構成〕
次に、画像処理装置２０の構成について説明する。画像処理装置２０は、第２外部Ｉ／Ｆ部２１と、ノイズ補正部２２と、画像処理部２３と、を備える。

第２外部Ｉ／Ｆ部２１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して撮像素子１０５によって生成されたＲＡＷ画像データを取得し、取得したＲＡＷ画像データをノイズ補正部２２へ出力する。また、第２外部Ｉ／Ｆ部２１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して不揮発メモリ１１２のノイズ情報記録部１１２ｂが記録するノイズ情報を取得し、取得したノイズ情報をノイズ補正部２２へ出力する。

ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１から入力されたＲＡＷ画像データに対して、ノイズを補正するノイズ補正処理を行って画像処理部２３へ出力する。具体的には、ノイズ補正部２２は、複数のノイズの特性と、光がフィルタ１０５ｂを透過し、画素１０５ｃにおいて受光されて画素値として読み出されて出力されるまでの過程（図２の矢印Ａを参照）と、に応じて定まる順序で複数の補正処理を実行することによって、ＲＡＷ画像データに発生する複数のノイズを補正して画像処理部２３へ出力する。ノイズ補正部２２は、ＦＤ白傷補正部２２１と、白傷補正部２２２と、ＲＴＳノイズ補正部２２３と、分光感度ばらつき補正部２２４と、低飽和画素補正部２２５と、を有する。

ＦＤ白傷補正部２２１は、第２外部Ｉ／Ｆ部２１が取得したＲＡＷ画像データに対して、ＦＤの不良に起因するＦＤ白傷を補正して出力する。ＦＤ白傷補正部２２１は、欠陥ブロック検出部２２１ａと、欠陥ブロック補正部２２１ｂと、を有する。

欠陥ブロック検出部２２１ａは、第２外部Ｉ／Ｆ部２１が取得したＲＡＷ画像データに基づいて、読み出し回路を共有する複数の画素からなる共有ブロック内における画素の画素値と、この共有ブロック外における画素の画素値とを用いて、共有ブロック内で生じる画素値のオフセット成分を検出し、この検出結果を欠陥ブロック補正部２２１ｂへ出力する。具体的には、欠陥ブロック検出部２２１ａは、共有ブロック内における画素の画素値と、この共有ブロック内における画素に隣接する共有ブロック外における画素の画素値との差に基づいて、共有ブロック内で生じる画素値のオフセット成分を検出する。なお、欠陥ブロック検出部２２１ａは、第２外部Ｉ／Ｆ部２１が取得したＲＡＷ画像データに基づいて、共有ブロック内における画素の画素値と、この共有ブロック外における画素の画素値とを用いて、ＦＤ白傷が生じる共有ブロック（欠陥ブロック）の位置を検出し、この検出結果を欠陥ブロック補正部２２１ｂへ出力してもよい。

欠陥ブロック補正部２２１ｂは、欠陥ブロック検出部２２１ａが検出したオフセット成分に基づいて、共有ブロック内における画素の画素値を補正する補正量を算出し、この補正量を用いて共有ブロック内における画素の画素値を補正して出力する。

白傷補正部２２２は、第２外部Ｉ／Ｆ部２１が取得したＲＡＷ画像データに対して、ＰＤの不良に起因する白傷を補正して出力する。具体的には、白傷補正部２２２は、ＲＡＷ画像データに対し、ノイズ情報記録部１１２ｂが記録するノイズ情報に含まれる白傷の位置情報に基づいて、白傷の周辺画素の画素値を用いて補正する白傷補正処理を実行して出力する。白傷補正部２２２は、欠陥画素検出部２２２ａと、欠陥画素補正部２２２ｂと、を有する。なお、白傷補正部２２２は、周知の技術（例えば特許第４４５３３３２号公報を参照）を用いて白傷補正処理を実行してもよい。

欠陥画素検出部２２２ａは、ノイズ情報記録部１１２ｂが記録するノイズ情報に基づいて、ＲＡＷ画像データの欠陥画素を検出して欠陥画素補正部２２２ｂへ出力する。例えば、欠陥画素検出部２２２ａは、ノイズ情報記録部１１２ｂが記録するノイズ情報に含まれる白傷の位置情報に基づいて、ＲＡＷ画像データの欠陥画素を検出して欠陥画素補正部２２２ｂへ出力する。なお、欠陥画素検出部２２２ａは、周知の技術を用いて欠陥画素を検出してもよい。

欠陥画素補正部２２２ｂは、欠陥画素検出部２２２ａが検出した欠陥画素の画素値を補正して出力する。

ＲＴＳノイズ補正部２２３は、撮像装置１０の不揮発メモリ１１２のノイズ情報記録部１１２ｂに記録されているノイズ情報に含まれるＲＴＳノイズ情報に基づいて、ＲＡＷ画像データに対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を行って出力する。ＲＴＳノイズ補正部２２３は、ＲＴＳノイズ画素判定部２２３ａと、候補値算出部２２３ｂと、代表値算出部２２３ｃと、ランダムノイズ量推定部２２３ｄと、補正値算出部２２３ｅと、を有する。なお、ＲＴＳノイズ補正部２２３は、周囲の技術（例えば特開２０１２−１０５０６３号公報を参照）を用いて、ＲＴＳノイズ補正処理を実行してもよい。

ＲＴＳノイズ画素判定部２２３ａは、撮像装置１０のノイズ情報記録部１１２ｂに記録されているノイズ情報を、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して取得し、取得したＲＡＷ画像上の画素においてＲＴＳノイズが発生するか否かを判定し、判定結果を候補値算出部２２３ｂおよび代表値算出部２２３ｃへ出力する。具体的には、ＲＴＳノイズ画素判定部２２３ａに対して画素の位置を入力されると、その画素に対応するＲＴＳノイズ情報が撮像装置１０のノイズ情報記録部１１２ｂに記録されているか判定し、記録されていればＲＴＳノイズ情報（ＲＴＳノイズが有りを示す情報）を出力する一方、撮像装置１０のノイズ情報記録部１１２ｂに記録されていなければ、ＲＴＳノイズが発生しない画素と見なし、ＲＴＳノイズ情報を出力しない。

候補値算出部２２３ｂは、注目画素のＲＡＷ画像における画素値と、ＲＴＳノイズ画素判定部２２３ａの判定結果とに基づいて、ＲＴＳノイズ画素判定部２２３ａによって注目画素においてＲＴＳノイズが発生すると判定されている場合、注目画素の画素値に対する補正量の候補値を複数算出し、注目画素のＲＡＷ画像における画素値と、算出した複数の候補値を代表値算出部２２３ｃ、ランダムノイズ量推定部２２３ｄおよび補正値算出部２２３ｅそれぞれへ出力する。

代表値算出部２２３ｃは、ＲＴＳノイズ画素判定部２２３ａによって注目画素においてＲＴＳノイズが発生すると判定されている場合には、注目画素における周囲の少なくともＲＴＳノイズ画素判定部２２３ａによってＲＴＳノイズが発生しないと判定されている画素と、後述するランダムノイズ量推定部２２３ｄが算出した注目画素に対応するランダムノイズ量の参照値とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。代表値算出部２２３ｃは、注目画素のＲＡＷ画像における画素値と、複数の候補値と、上述で算出した代表値と、を補正値算出部２２３ｅへ出力する。

ランダムノイズ量推定部２２３ｄは、撮像装置１０のノイズ情報記録部１１２ｂが記録するノイズ情報に含まれるランダムノイズモデルに基づいて、画素値に対応するランダムノイズ量を推定し、推定結果を代表値算出部２２３ｃへ出力する。即ち、ランダムノイズ量推定部２２３ｄに対して画素値を入力すると、その画素値に対応するランダムノイズ量が出力される。

補正値算出部２２３ｅは、ＲＴＳノイズ画素判定部２２３ａによって注目画素においてＲＴＳノイズが発生する可能性がある画素と判定されている場合、候補値算出部２２３ｂが算出した複数の候補値に基づいて、注目画素の画素値を補正する。具体的には、補正値算出部２２３ｅは、注目画素のＲＡＷ画像における画素値と、候補値算出部２２３ｂによって算出された複数の候補値と、代表値算出部２２３ｃによって算出された代表値と、に基づいて、ＲＴＳノイズを補正した画素値を算出して出力する。より具体的には、補正値算出部２２３ｅは、候補値算出部２２３ｂが算出した複数の候補値の中から、代表値算出部２２３ｃが算出した代表値に補正結果が最も近くなるような候補値に基づいて、注目画素の画素値を補正して出力する。これに対して、補正値算出部２２３ｅは、ＲＴＳノイズ画素判定部２２３ａによって注目画素においてＲＴＳノイズが発生しない画素と判定されている場合、注目画素のＲＡＷ画像における画素値をそのまま出力する。

分光感度ばらつき補正部２２４は、撮像装置１０の不揮発メモリ１１２のノイズ情報記録部１１２ｂに記録されているノイズ情報に基づいて、ＲＡＷ画像に対して各フィルタの分光感度のばらつきを補正する分光感度ばらつき補正処理を行って出力する。分光感度ばらつき補正部２２４は、補正量算出部２２４ａと、画素値補正部２２４ｂと、を有する。

補正量算出部２２４ａは、ノイズ情報記録部１１２ｂが記録する注目画素における補正係数と注目画素における周囲の画素の画素値とに基づいて、注目画素の画素値を補正するための補正量を算出して出力する。また、補正量算出部２２４ａは、注目画素と周囲の画素の画素値に基づいて、注目画素の画素値を補正するための補正量を算出する。ここで、周囲の画素とは、注目画素に隣接する画素または注目画素の近傍に位置する画素である。また、注目画素に隣接する画素とは、注目画素を基準に左右上下方向に位置する画素である。さらに、注目画素の近傍に位置する画素とは、注目画素を基準に斜め方向に位置する画素、または、注目画素と同色で最も注目画素に近い画素である。

画素値補正部２２４ｂは、補正量算出部２２４ａが算出した補正量を用いて注目画素の画素値を補正して出力する。

低飽和画素補正部２２５は、ノイズ情報記録部１１２ｂが記録するノイズ情報に基づいて、低飽和画素を補正する低飽和画素補正処理を行って出力する。

画像処理部２３は、ノイズ補正部２２によってノイズが補正された画像データに対して、所定の画像処理を行って表示装置３０へ出力する。ここで、所定の画像処理とは、少なくとも、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理、ノイズ低減処理等を含む基本の画像処理を行う。また、画像処理部２３は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

〔表示装置の構成〕
次に、表示装置３０の構成について説明する。表示装置３０は、画像処理装置２０から入力される画像データに対応する画像を表示する。表示装置３０は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネル等を用いて構成される。

以上の構成を有する撮像システム１は、画像処理装置２０が撮像素子１０５によって生成されたＲＡＷ画像データのノイズを補正し、表示装置３０が画像処理装置２０によって画像処理が施された画像データに対応する画像を表示する。

〔各ノイズの特性〕
次に、撮像素子１０５に発生する各ノイズの特性について説明する。図３は、各ノイズの特性の一覧を示す図である。

図３に示すように、表Ｔ１には、ノイズ名とノイズ特性とが対応付けてられて記載されている。具体的には、表Ｔ１には、ノイズ名に、ＦＤ白傷、白傷、ＲＴＳノイズ、分光感度ばらつき、および低飽和画素の５つのノイズが記載されている。また、表Ｔ１には、各ノイズに対し、発生箇所、ノイズのレベル、発生範囲、補正時の検出有無、および特定条件によって補正内容が切り替わる補正オン／オフ切替に関する情報が対応付けられて記載されている。

ここで、発生箇所とは、ノイズの発生原因となる撮像素子１０５の箇所である。ノイズのレベルとは、ノイズによって生じる画素値の正常値からのずれ量の大きさである。発生範囲とは、ノイズが発生した場合にノイズの影響を受ける画素範囲の大きさである（最小単位）。補正時の検出有無とは、補正時にノイズの発生画素を検出しながら補正することを示す情報（検出有）および補正時にノイズの発生画素を検出せずに補正することを示す情報（検出無）のいずれかが記載された情報である。補正オン／オフ切替とは、特定条件によって補正内容を切り替えるか否かを示す情報である。なお、図３では、上述した５つのノイズを例に説明するが、もちろん、５つ以外のノイズ、例えば黒傷等も含めてもよい。さらに、図３の表Ｔ１の特性は、一例であり、撮像素子１０５の特性によって変更してもよい。

〔各ノイズの発生例〕
次に、各ノイズの発生例について説明する。以下においては、図３に示す表Ｔ１の順番に各ノイズの発生例について説明する。

〔ＦＤ白傷〕
まず、撮像素子１０５におけるＦＤの不良に起因するＦＤ白傷の発生例について説明する。図４は、撮像素子１０５におけるＦＤの不良に起因するＦＤ白傷の発生例を模式的に示す図である。図４において、上述した図２と同様に、横方向に２画素×縦方向に４画素の８画素に対して、１つの読み出し回路で信号を読み出す共有ブロックの場合を示す。また、図４において、細線Ｌ１で形成された正方形が各画素を示し、この白色の正方形が正常な画素Ｐ１を示す。さらに、図４において、太線Ｌ２の枠Ｇ１が正常値を出力する共有ブロックを示し、斜線が施された画素Ｐ２を含むグループＧ２が読み出し回路の一部であるＦＤの不良によってノイズが発生するＦＤ白傷（欠陥ブロック）を示す。

図４に示すように、ＦＤ白傷は、不良のＦＤを含む読み出し回路の場合、この読み出し回路を介して読み出される各画素の画素値が周囲の画素値より一律に高くなったり、または一律に低くなったりする異常な共有ブロック、または画素である。このため、ＦＤ白傷が発生している画素Ｐ２の画素値は、正常値に対して一定のオフセット量が加算された値を出力する。なお、共有ブロック内の画素であれば、オフセット量は、同等である。

〔白傷〕
次に、撮像素子１０５に発生する白傷の発生例について説明する。図５は、撮像素子１０５における白傷の発生例を模式的に示す図である。図５において、ハッチングを施した画素Ｐ３が白傷または黒傷のいずれかの欠陥画素を示す。

図５に示すように、白傷（画素Ｐ３）は、正常な画素Ｐ１の画素値に対して、一定のレベル分だけ画素値が高くなる現象である。そのレベルは、露光時間、温度およびゲインによって変化する。また、黒傷は、白傷と逆に正常な画素Ｐ１の画素値に対して、一定のレベル分だけ画素値が低くなる現象である。

〔ＲＴＳノイズ〕
次に、撮像素子１０５に発生するＲＴＳノイズの発生例について説明する。図６は、撮像素子１０５におけるＲＴＳノイズの発生例を模式的に示す図である。図６において、上述した図２と同様に、横方向に２画素×縦方向に４画素の８画素に対して、１つの読み出し回路で信号を読み出す共有ブロックの場合を示す。また、図６において、細線Ｌ１で形成された正方形が各画素を示し、この白色の正方形が正常な画素Ｐ１を示す。さらに、図６において、太線Ｌ２の枠Ｇ１が正常値を出力する共有ブロックを示し、斜線が施された画素Ｐ４のグループＧ４が欠陥ブロックを示す。

図６に示すように、ＲＴＳノイズが発生する画素Ｐ４は、ランダムな周期で点滅する。なお、共有ブロック内の画素であれば、最大のオフセット量は、同等である。

〔分光感度ばらつき〕
次に、撮像素子１０５に発生する分光感度ばらつきの発生例について説明する。図７は、撮像素子１０５における分光感度ばらつきの発生例を模式的に示す図である。図７においては、ハッチングによって感度不良な画素Ｐ５（黒点や輝点）を示す。なお、正常な画像Ｐ１であっても、微小な分光感度ばらつきが発生する。

図７に示すように、画素Ｐ５は、正常な画素Ｐ１に対して、光に対する感度が著しく高くなる、または感度が著しく低くなる現象である。このため、分光感度ばらつきは、正常な画素Ｐ１との感度との差が大きい画素を対象とする。なお、感度不良画素は、分光感度ばらつきと同様に、感度に差が生じる現象であるため、分光感度ばらつき補正処理によって補正してもよい。

〔低飽和画素〕
次に、撮像素子１０５に発生する低飽和画素の発生例について説明する。図８は、撮像素子における欠陥画素と低飽和画素の発生例を模式的に示す図である。図８において、画素Ｐ６（ハッチあり）が白傷や黒傷等の欠陥画素を示し、画素Ｐ７（ハッチあり）が低飽和画素を示す。

図８に示すように、画素Ｐ７は、正常な画素Ｐ１に対して、コントラストがなく明るい平坦な被写体を撮像した場合であっても、他の画素の画素値が最大値（例えば１２ビットの場合、４０９５）に達しているにも関わらず、最大値に達しない画素値が現れる現象である。

図９は、ノイズ情報記録部１１２ｂが記録するノイズ情報に含まれる低飽和画素情報の一例を模式的に示す図である。図１０は、ノイズ情報に含まれる低飽和画素情報の一例を模式的に示す図である。また、図９において、画素Ｐ１０、画素Ｐ１１が低飽和画素を示す。

図８〜図１０に示すように、低飽和画素情報には、画素毎の位置情報と、検出装置等によって予め検出された飽和レベルとが関連付けられて記録されている。この記録方法としては、撮像素子１０５によって生成されたＲＡＷ画像データにおける複数の画素の各々に飽和レベルが設定された飽和レベルマップを取得する方法（図９を参照）と、低飽和画素の座標（アドレス）と飽和レベルとを関連付けて取得する方法（図１０を参照）とがある。低飽和画素の座標（アドレス）と飽和レベルとを関連付けて取得する方法を行う場合、低飽和画素は、その座標と飽和レベルと、低飽和画素以外の画素の飽和レベルを記録し、飽和レベルを参照する座標が記録されている場合には対応する飽和レベルを用いる一方、飽和レベルを参照する座標が記録されていない場合には低飽和画素以外の画素の飽和レベルを用いる。ただし、低飽和画素ではない画素については、十分に飽和する場合、画素値の最大値（例えば１２ビットの場合、４０９５）を飽和レベルとしてもよい。

なお、図９および図１０では、画素の位置に対応するように飽和レベルを記録したが、読み出し回路の一部が起因して飽和レベルが下がる場合には、読み出し回路の位置に対応するように飽和レベルを記録しても良い（勿論、図９および図１０で示した方法で飽和レベルを記録しても良い）。その場合、記録されている情報を読み出した後、読み出し回路を共有する画素に対して同じ飽和レベルにするなど、画素単位の飽和レベルに変換した情報を低飽和画素情報とすればよい。

また、各画素の飽和レベルについては、画素値の線形性（リニアティ）とランダムノイズ等を考慮して決定することが望ましい。例えば、完全に飽和するような条件で露光して得られる画像の画素値から、その輝度のランダムノイズ量に基づく値だけ下げた値を、その画素の飽和レベルとしてもよい。また、線形性が崩れる画素値を飽和レベルとしてもよい。もちろん、両方を考慮して飽和レベルを設定してもよい。

〔画像処理装置の処理〕
次に、画像処理装置２０が実行する処理について説明する。図１１は、画像処理装置２０が実行するノイズ処理の概要を示すフローチャートである。図１２Ａ〜図１２Ｃは、ノイズ補正部２２による複数の補正処理の順序の決定方法を模式的に説明する図である。また、図１１および図１２Ａ〜図１２Ｃにおいて、各補正処理は、注目画素の周囲画素にある他ノイズを除外せずに、周囲画素から補正量または補間値を算出する場合について説明する。

図１１に示すように、まず、ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してノイズ情報記録部１１２ｂからノイズ情報と不揮発メモリ１１２からＲＡＷ画像データとを取得し、取得したノイズ情報に基づいて、複数の補正処理をノイズのレベルに応じて、複数のグループに分類する（ステップＳ１０１）。具体的には、図１２Ａに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、ノイズのレベルが大きい補正処理のグループを先に補正処理を実施するグループに分類する。その理由は、対象ノイズを周囲画素にある他ノイズを除外せずに、補正量または補間値を算出する場合において、対象ノイズに対してノイズのレベルが大きいノイズが周囲画素に存在するとき、補正量または補間値が理想値からのずれ量が大きくなることによって不適正な値となり、誤補正となる恐れがある一方、対象ノイズに対してノイズのレベルが小さいノイズが周囲にある場合、補正量または補間値が理想値からのずれ量が小さいからである。このため、図１２Ａに示すように、ノイズ補正部２２は、複数の補正処理を３つのグループに分類する（レベル大、レベル中およびレベル小）。さらに、ノイズ補正部２２は、３つのグループに対して、ノイズのレベルに応じて補正処理を実行するための順序を設定する。具体的には、ノイズ補正部２２は、ノイズのレベルが大きいグループの順に順序を決定する（グループ１→グループ２→グループ３）。

続いて、ノイズ補正部２２は、各グループ内の補正処理に対し、ノイズの発生順序の逆順に応じて補正処理の順序を決定する（ステップＳ１０２）。具体的には、図１２Ｂおよび図１２Ｃに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、各グループ内の補正処理に対し、ノイズが発生する発生箇所の逆順で定まる補正処理の順序を決定する。発生順序の逆順に応じた順序に決定する理由は、信号の流れに沿って四則演算によりノイズが付加された場合、逆の四則演算を行うことによって適正な補正を行うことができるからである。なお、ノイズ補正部２２は、ステップＳ１０１およびステップＳ１０２の処理で補正処理の順序が決定しない場合、別のノイズ特性に基づいて、補正処理の順序を決定してもよい。

その後、ノイズ補正部２２は、ＲＡＷ画像データに対して、上述したステップＳ１０２で決定した補正処理の順序でノイズを補正する（ステップＳ１０３）。具体的には、図１３に示すように、ノイズ補正部２２は、ＲＡＷ画像データに対して、白傷補正部２２２、低飽和画素補正部２２５、ＲＴＳノイズ補正部２２３、ＦＤ白傷補正部２２１および分光感度ばらつき補正部２２４の順序で補正処理を実行させてノイズを補正する。これにより、複数のノイズが発生する場合においても、精度の高い補正を行うことができるので、高画質な画像を生成することができる。ステップＳ１０３の後、画像処理装置２０は、本処理を終了する。

以上説明した本発明の実施の形態１によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる。

（実施の形態１の変形例）
次に、本発明の実施の形態１の変形例について説明する。本実施の形態１の変形例は、上述した実施の形態１に係る撮像システム１と同様の構成を有し、画像処理装置が実行する処理が異なる。具体的には、本実施の形態１の変形例では、レベルが小さいノイズを補正する補正処理のグループを先に分類して補正処理の順序を決定する。以下においては、本実施の形態１の変形例に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔画像処理装置の処理〕
図１４は、本実施の形態１の変形例に係る画像処理装置２０が実行するノイズ処理の概要を示すフローチャートである。図１５Ａ〜図１５Ｃは、ノイズ補正部２２による複数の補正処理の順序の決定を模式的に説明する図である。また、図１４および図１５Ａ〜図１５Ｃにおいて、各補正処理は、注目画素の周囲画素にある他ノイズを除外して、周囲画素から補正量または補間値を算出する場合について説明する。

図１４に示すように、まず、ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してノイズ情報記録部１１２ｂからノイズ情報と不揮発メモリ１１２からＲＡＷ画像データとを取得し、取得したノイズ情報に基づいて、ノイズのレベルに応じて、複数の補正処理を複数のグループに分類する（ステップＳ２０１）。具体的には、図１５Ａに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、ノイズのレベルが小さい補正処理のグループを先に補正処理を実施するグループに分類する。その理由は、対象ノイズを周囲画素にある他ノイズを除外して補正量または補間値を算出する場合、他ノイズのレベルが大きい方がノイズであることが容易に検出することができ、適切に除外することができるからである。このため、ノイズ補正部２２は、図１５Ａに示すように、複数の補正処理に対し、ノイズのレベルが小さい補正処理のグループを先に補正処理を実施するグループに分類する。

ステップＳ２０２およびステップＳ２０３は、上述した図１１のステップＳ１０２およびステップＳ１０３それぞれに対応する。具体的には、ノイズ補正部２２は、各グループ内の補正処理に対し、ノイズが発生する発生箇所の逆順で定まる補正処理の順序を決定する（図１５Ｂ→図１５Ｃ）。そして、図１６に示すように、ノイズ補正部２２は、ＲＡＷ画像データに対して、ＲＴＳノイズ補正部２２３、ＦＤ白傷補正部２２１、分光感度ばらつき補正部２２４、低飽和画素補正部２２５および白傷補正部２２２の順序に、それぞれ補正処理を実行させてノイズを補正する。ステップＳ２０３の後、画像処理装置２０は、本処理を終了する。

以上説明した本発明の実施の形態１の変形例によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像システムは、上述した実施の形態１に係る撮像システム１と同一の構成を有し、画像処理装置が実行する処理が異なる。以下において、本実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔画像処理装置の処理〕
図１７は、本発明の実施の形態２に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。図１８Ａ〜図１８Ｃは、本発明の実施の形態２に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。

図１７に示すように、まず、ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してノイズ情報記録部１１２ｂからノイズ情報と不揮発メモリ１１２からＲＡＷ画像データとを取得し、取得したノイズ情報に基づいて、複数の補正処理をノイズの発生範囲に応じて複数のグループに分類する（ステップＳ３０１）。具体的には、図１８Ａに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、ノイズの発生範囲が小さい補正処理のグループを先に補正処理を実施するグループに分類する。この理由は、いずれの補正も周囲画素に基づいて補正を行うため、補正の結果、補正した画素の画素値にＬＰＦ処理を施した値に近づく傾向がある。この結果、発生範囲が広いノイズの補正処理から実施した場合、周囲画素にあるノイズを拡大させる恐れがある。このため、ノイズ補正部２２は、ノイズの発生範囲が小さい補正処理のグループを先に補正処理を実施する順序に決定する。

ステップＳ３０２およびステップＳ３０３は、上述した図１２のステップＳ１０２およびステップＳ１０３それぞれに対応する。具体的には、ノイズ補正部２２は、各グループ内の補正処理に対し、ノイズが発生する発生箇所の逆順で定まる補正処理の順序を決定する（図１８Ｂ→図１８Ｃ）。そして、図１９に示すように、ノイズ補正部２２は、ＲＡＷ画像データに対して、白傷補正部２２２、低飽和画素補正部２２５、ＲＴＳノイズ補正部２２３、ＦＤ白傷補正部２２１および分光感度ばらつき補正部２２４の順序で、それぞれ補正処理を実行させてノイズを補正する。ステップＳ３０３の後、画像処理装置２０は、本処理を終了する。

以上説明した本発明の実施の形態２によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像システムは、上述した実施の形態１に係る撮像システム１と同一の構成を有し、画像処理装置が実行する処理が異なる。以下において、本実施の形態３に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

〔画像処理装置の処理〕
図２０は、本発明の実施の形態３に係る画像処理装置が実行するノイズ処理の概要を示すフローチャートである。図２１Ａ〜図２１Ｃは、本発明の実施の形態３に係るノイズ補正部による複数の補正処理の順序の決定方法を模式的に説明する図である。

図２０に示すように、まず、ノイズ補正部２２は、第２外部Ｉ／Ｆ部２１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してノイズ情報記録部１１２ｂからノイズ情報と不揮発メモリ１１２からＲＡＷ画像データとを取得し、取得したノイズ情報に基づいて、複数の補正処理を補正時の検出有無に応じて複数のグループに分類する（ステップＳ４０１）。具体的には、図２１Ａに示すように、ノイズ補正部２２は、ノイズ情報記録部１１２ｂから取得したノイズ情報（図３の表Ｔ１を参照）に基づいて、補正時の検出有と検出無のグループに分類し、補正時の検出有のグループを先に補正処理を実施するグループに分類する。検出無の補正においては、工場出荷値に各ノイズの検出に最適な条件で撮影された画像データに基づき検出作業が行われ、ノイズ情報（位置およびノイズのレベル）が取得される。このため、補正するノイズは、検出無の補正で、後発的に新たな画素でノイズが発生することが考えにくいため、この方法が有効となる。これに対して、検出有の方法で補正するノイズは、後発的に新たな画素でノイズが発生することがあるため、それらのノイズに対しても補正される必要があるので、補正時に検出しながら補正する方法が有効となる。また、ノイズ補正部２２は、いずれの補正も対象ノイズを補正する場合、周囲画素に他ノイズがあるか工場出荷時に取得した他ノイズの位置情報も考慮して補正する。この場合、ノイズ補正部２２は、検出有の補正処理を先に実施することで、後発的に生じたノイズの影響を受けず、複数のノイズを補正することができる。

ステップＳ４０２は、上述した図１２のステップＳ１０２に対応する。具体的には、ノイズ補正部２２は、各グループ内の補正処理に対し、発生順序の逆順に応じた順序を決定する（図２１Ｂ）。ステップＳ４０２の後、画像処理装置２０は、ステップＳ４０３へ移行する。

続いて、ノイズ補正部２２は、ノイズ情報に基づいて、補正のオン／オフが特定条件で切り替わる補正処理を後方で実施されるように順序を決定する（ステップＳ４０３）。具体的には、ノイズ補正部２２は、低飽和画素補正処理が分光感度ばらつき補正処理より後で実施されるように順序を決定する（図２１Ｂ→図２１Ｃ）。低飽和画素補正処理は、画素値が飽和付近の高輝度なシーンにおいて補正を実施する一方、低または中輝度の場合、補正を実施しない。このように特定条件によって補正のオン／オフが切り替わる場合、低飽和画素処理より後方で実施する補正処理は、補正のオン／オフを考慮して補正することが望ましい。この場合、後方の補正処理は、補正のオン／オフを考慮するため、処理が複雑となり、処理規模が大きくなる恐れがある。従って、特定条件によって補正のオン／オフが切り替わる補正処理は、後方で実施することが好ましい。

その後、ノイズ補正部２２は、上述したステップＳ４０３で決定した補正処理の順序でノイズを補正する（ステップＳ４０４）。具体的には、図２２に示すように、ノイズ補正部２２は、ＲＡＷ画像データに対して、ＦＤ白傷補正部２２１、白傷補正部２２２、ＲＴＳノイズ補正部２２３、分光感度ばらつき補正部２２４および低飽和画素補正部２２５の順序で補正処理を実行させてノイズを補正する。これにより、複数のノイズが発生する場合においても、精度の高い補正を行うことができるので、高画質な画像を生成することができる。

以上説明した本発明の実施の形態３によれば、画像データに複数のノイズが発生する場合において、誤った補正処理の順序による画質の劣化を防止するとともに、高画質な画像を実現することができる。

なお、本発明の実施の形態３では、前段で実行した補正処理の結果、後段で実行する補正処理で補正するノイズに類似する類似ノイズを生じさせた場合、ノイズ補正部２２は、類似ノイズを他のノイズを含め後段の補正処理によって補正するようにしてもよい。具体的には、ノイズ補正部２２は、白傷の周囲に低飽和画素があった場合、白傷補正処理を行った場合、白傷が低飽和画素に類似したノイズに変化するため、後段で行う補正処理において補正する。

（その他の実施の形態）
本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。

また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記録させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク（登録商標）、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施例および変形例で説明した構成要素を適宜組み合わせてもよい。

また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１ 撮像システム
１０ 撮像装置
２０ 画像処理装置
２１ 第２外部Ｉ／Ｆ部
２２ ノイズ補正部
２３ 画像処理部
３０ 表示装置
１０１ 光学系
１０２ 絞り
１０３ シャッタ
１０４ ドライバ
１０５ 撮像素子
１０５ａ マイクロレンズ
１０５ｂ カラーフィルタ
１０５ｃ 画素
１０５ｄ 第１スイッチ
１０５ｅ 垂直転送線
１０５ｆ ＦＤ部
１０５ｈ 第２スイッチ
１０５ｉ 制御線
１０５ｊ 転送線
１０６ アナログ処理部
１０７ Ａ／Ｄ変換部
１０８ 操作部
１０９ メモリＩ／Ｆ部
１１０ 記録媒体
１１１ 揮発メモリ
１１２ 不揮発メモリ
１１２ａ プログラム記録部
１１２ｂ ノイズ情報記録部
１１３ バス
１１４ 撮像制御部
１１５ 第１外部Ｉ／Ｆ部
２２１ ＦＤ白傷補正部
２２１ａ 欠陥ブロック検出部
２２１ｂ 欠陥ブロック補正部
２２２ 白傷補正部
２２３ ＲＴＳノイズ補正部
２２３ａ ＲＴＳノイズ画素判定部
２２３ｂ 候補値算出部
２２３ｃ 代表値算出部
２２３ｄ ランダムノイズ量推定部
２２３ｅ 補正値算出部
２２４ 分光感度ばらつき補正部
２２４ａ 補正量算出部
２２４ｂ 画素値補正部
２２５ 低飽和画素補正部

Claims (13)

1. 光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズそれぞれを補正する複数の補正処理を実行可能な画像処理装置であって、
   前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で前記複数の補正処理を実行するノイズ補正部を備えることを特徴とする画像処理装置。
2. 前記ノイズ補正部は、前記複数のノイズの特性に基づいて、前記複数の補正処理を複数のグループに分類し、該複数のグループと前記過程とに応じて定まる順序で前記複数の補正処理を実行することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数のノイズは、前記画素の受光面に設けられた光学系、前記画素および前記読み出し回路のいずれかにおいて発生するノイズであり、
   前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記過程においてノイズの発生順の逆順で定まる順序で実行することを特徴とする請求項２に記載の画像処理装置。
4. 前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記ノイズのノイズレベルに応じて定まる順序で実行することを特徴とする請求項２に記載の画像処理装置。
5. 前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、前記ノイズの発生する範囲に応じて定まる順序で実行することを特徴とする請求項２に記載の画像処理装置。
6. 前記ノイズ補正部は、前記複数のグループそれぞれに含まれる前記複数の補正処理を、特定条件によって補正内容が切り替わる補正処理の順序を他の補正処理より後段にして実行することを特徴とする請求項２に記載の画像処理装置。
7. 前記ノイズ補正部は、前段で実行した補正処理の結果、後段で実行する補正処理で補正するノイズに類似する類似ノイズを生じさせた場合、該類似ノイズを他のノイズを含め後段の補正処理によって補正することを特徴とする請求項２に記載の画像処理装置。
8. 前記複数の補正処理は、前記画像データを用いて前記ノイズを検出しながら補正する補正処理を含み、
   前記ノイズ補正部は、
   前記ノイズを検出しながら補正する検出有のグループと、それ以外の検出無のグループとに分類するとともに、
   前記検出有のグループおよび前記検出無のグループの順序で前記複数の補正処理を実行することを特徴とする請求項２に記載の画像処理装置。
9. 前記ノイズ補正部は、
   前記複数の補正処理それぞれが補正する前記ノイズのレベルに応じて、前記複数の補正処理を前記複数のグループに分類するとともに、
   前記ノイズのレベルが大きいグループの順序で前記複数の補正処理を実行することを特徴とする請求項２に記載の画像処理装置。
10. 前記ノイズ補正部は、
    前記複数の補正処理それぞれが補正する前記ノイズの発生する発生範囲に応じて、前記複数の補正処理を前記複数のグループに分類するとともに、
    前記発生範囲が小さいグループの順序で前記複数の補正処理を実行することを特徴とする請求項２に記載の画像処理装置。
11. 前記複数のノイズそれぞれに関するノイズ情報を記録するノイズ情報記録部をさらに備えることを特徴とする請求項１〜１０のいずれか１つに記載の画像処理装置。
12. 光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズを補正する複数の補正処理を実行可能な画像処理装置が実行する画像処理方法であって、
    前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる補正処理の順序で前記複数の補正処理を実行するノイズ補正ステップを含むことを特徴とする画像処理方法。
13. 光を受光して、受光量に応じた信号を生成する複数の画素と、各画素の前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子によって生成された画像データに含まれる、互いに特性が異なる複数のノイズを補正する複数の補正処理を実行可能な画像処理装置に、
    前記複数のノイズの特性と、前記光が前記画素において受光されて前記画素値として読み出されて出力されるまでの過程と、に応じて定まる順序で前記複数の補正処理を実行するノイズ補正ステップを実行させることを特徴とするプログラム。

Images