JP7134832B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法及びプログラムに関する。

レンズ光学系及び固体撮像素子を備えたデジタルカメラ等の撮像装置においては、シェーディングによる画質劣化を伴うことがある。シェーディングによる画質劣化は、画像周辺部で画像が暗くなる現象であり、レンズ光学系の設計に依存する。特に広角レンズ等のレンズ光学系では、レンズ中心から周辺にかけて透過率が低下し易い傾向にあり、シェーディングによる画質劣化が顕著になる場合が多い。
このようなシェーディングによる画質劣化を補うために、画像周辺部を形成する画素の画素値にデジタルゲインを印加して、シェーディングにより低下した画像周辺部の明るさを画像中心の明るさにまで揃える画像処理を行う。この画像処理をシェーディング補正と呼び、シェーディング補正におけるデジタルゲインをシェーディング補正量と呼ぶ。
シェーディング補正により、画像上のどの位置でも画像の明るさが適切に設定されるものの、軸上からの各像高でシェーディング補正量が異なるため、各像高でのノイズ量もシェーディング補正量に応じて変動する。シェーディング補正量が大きく設定される像高ほどノイズ量が大きく、シェーディング補正量の小さい画像中心（軸上）よりもノイズが目立つ画像が得られるという弊害を伴う。
特許文献１には、シェーディング補正量に応じてノイズ低減を図り、シェーディング補正量の大きい画像周辺部のノイズ低減量を大きくする構成が開示されている。

特開２００４－４８５６２号公報

しかしながら、特許文献１は、シェーディング補正量の増加に応じてノイズ低減量を大きくするものであるため、シェーディング補正量の大きい像高では、ノイズだけでなくエッジ成分も低減してしまい、解像度の低い画像になってしまうおそれがある。

本発明は上記のような点に鑑みてなされたものであり、解像感及びノイズ感の良好な画質の画像を得られるようにすることを目的とする。

本発明の画像処理装置は、画像データに対してノイズ低減処理を行うノイズ低減処理手段と、前記画像データを用いて、前記画像データの画像上の位置に応じた補正量を導出し、前記ノイズ低減処理手段によるノイズ低減処理後の画像データに加算する補正処理手段とを備え、前記補正処理手段は、前記画像データの画像上の所定の位置でのノイズ低減性能の高低に応じて、前記補正量の特性を異ならせることを特徴とする。

本発明によれば、解像感及びノイズ感の良好な画質の画像を得ることができる。

実施形態に係るデジタルカメラの機能構成を示すブロック図である。 画像処理部の機能構成を示すブロック図である。 デジタルゲインｇ（ｒ）とノイズ低減量ＮＲ（ｒ）との一例を示す特性図である。 ノイズ低減処理について説明するための図である。 ノイズ低減量ＮＲ（ｒ）の理想的な設定について説明するための図である。 「画像中心のＮＲ性能が高い」場合のノイズ低減量ＮＲ（ｒ）の設定について説明するための図である。 「画像中心のＮＲ性能が低い」場合のノイズ低減量ＮＲ（ｒ）の設定について説明するための図である。 画像中心のＮＲ性能を説明するための図である。 ノイズ低減量ＮＲ（ｒ）の設定及びエッジ量ＥＧ（ｒ）の設定について説明するための図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１は、実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。本実施形態では、デジタルカメラ１００が本発明を適用した画像処理装置として機能するが、デジタルカメラ１００等の撮像装置と別に、本発明を適用した画像処理装置が構成されるようにしてもよい。
撮像素子１０３は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換デバイスであり、レンズ光学系１０７ａ、露出機構１０８ａを介して結像する被写体光学像を画素単位のアナログ電気信号（アナログ画像データ）に変換する。露出機構１０８ａは、絞り及びメカニカルシャッターの機能を有する。デジタルカメラ１００は、撮像素子１０３を用いて被写体を撮像し、静止画及び動画を生成することができる。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像データに対して、相関二重サンプリング、ゲイン調整、Ａ／Ｄ変換等を実施して、デジタル画像データとして出力する。ゲイン調整量はＩＳＯ感度設定に応じて設定され、ＩＳＯ感度に応じたゲイン調整量がシステム制御部１０２から通知される。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像データに対して、画像処理を行う。画像処理部１０５は、例えばホワイトバランス補正、エッジ強調処理、ノイズ除去処理、画素補間処理、ガンマ補正処理、色差信号生成等の画像処理を行い、画像処理後のデジタル画像データとして例えばＹＵＶ画像データを出力する。また、画像処理部１０５は、各種撮影モードに対応した画像処理も実施する。画像処理部１０５は、画像処理としてシェーディング補正や画像回復等の光学補正処理を行う。

ＥＶＦ表示部１０６は、ＬＣＤ等の表示装置を含み、画像処理部１０５から出力されたデジタル画像データを用いて、Ｄ／Ａ変換処理を行った画像を逐次表示する。
フォーマット変換部１１１は、画像処理部１０５から出力されたデジタル画像データに対して、例えばＤＣＦ（Design rule for Camera File System）に準拠した記録用のデータファイルを生成する。フォーマット変換部１１１は、データファイル生成の過程で、ＪＰＥＧ形式やＭｏｔｉｏｎ ＪＰＥＧ形式への符号化や、ファイルヘッダの生成等を行う。
画像記録部１１２は、フォーマット変換部１１１で生成したデータファイルを、デジタルカメラ１００の内蔵メモリや、デジタルカメラ１００に装着されているリムーバブルメディア等に記録する。
外部接続部１１３は、デジタルカメラ１００をＰＣ（パーソナルコンピュータ）やプリンタといった外部装置に接続するためのインターフェースである。外部接続部１１３は、例えばＵＳＢ、ＩＥＥＥ１３９４等の一般的な規格に準拠して外部装置との通信を行って画像データ等の授受を行い、各外部機器の機能を活用する。

操作部１０１は、ユーザがデジタルカメラ１００に対して各種コマンドを入力、設定するためのユーザーインタフェースであり、電源のＯＮ／ＯＦＦ、撮影条件や撮影モードの設定及び変更、撮影条件の確認、撮影済み画像の確認等で使用される。操作部１０１は、例えば各種コマンド設定の機能を有するメカニカルなスイッチやボタンにより構成されるようにすればよい。また、操作部１０１は、例えばタッチパネル式の液晶等の表示デバイスに、同様の機能を有するボタンを形成して表示させることにより構成されるようにしてもよい。
操作部１０１にはシャッタースイッチが含まれており、シャッタースイッチの半押し状態は第一のシャッタースイッチＳＷ１、全押し状態は第二のシャッタースイッチＳＷ２として、システム制御部１０２に通知される。ＳＷ１の通知により、システム制御部１０２は、自動合焦制御（ＡＦ）処理、自動露出制御（ＡＥ）処理等を開始する。その後、ＳＷ２の通知により、システム制御部１０２は、一連の撮影処理動作を開始する。一連の撮影処理動作とは、撮像素子１０３からの画像信号の読み出し、Ａ/Ｄ変換、画像処理、任意の記録フォーマットへの変換処理を経て、画像記録部１１２への画像データ書き込み等の処理動作のことをいう。

システム制御部１０２は、操作部１０１からの指示に応じてデジタルカメラ１００の各部の動作を制御する。システム制御部１０２は、一般的にＣＰＵ、ＣＰＵが実行するプログラムを記憶するＲＯＭ、及びプログラムの読み込み用やワークエリア用としてのＲＡＭのメモリ等により構成される。
システム制御部１０２は、画像処理部１０５から出力されたデジタル画像データから被写体輝度レベルを算出し、撮影モードに応じてシャッタースピード及び絞りの少なくとも一方を自動的に決定するＡＥ処理を行う。システム制御部１０２は、ＡＥ処理結果をメカ駆動部１０８に通知する。ＡＥ処理結果の通知を受けたメカ駆動部１０８は、露出機構１０８ａの絞り及びシャッタースピードを制御し、レンズ光学系１０７ａと撮像素子１０３の間の光路及び光量を確保する。これにより、ＡＥ処理で求められる露出条件による被写体の撮像素子１０３への露光が可能になる。
また、システム制御部１０２は、レンズ駆動部１０７を介してレンズ光学系１０７ａのフォーカスレンズを駆動させ、画像処理部１０５から出力されたデジタル画像データのコントラストの変化を検出し、これに基づいてＡＦ処理を行う。

また、操作部１０１にはズーム機能を実施するためのズームレバーが含まれており、システム制御部１０２には、ズームレバーと連動するズームポジションまでレンズ光学系１０７ａの所定のズームレンズの移動を指示する信号が通知される。システム制御部１０２は、この信号に基づいて、レンズ駆動部１０７を介してレンズ光学系１０７ａのズームレンズを所望のズームポジションになるまで移動させる。このようなレンズ光学系１０７ａの制御により、所望のズームポジションとなるレンズ配置、すなわち所望の焦点距離による画角に設定して、撮影することができる。
また、システム制御部１０２は、ズームレンズのズームポジション情報、及びメカ駆動部１０８から出力される絞り情報を画像処理部１０５に通知する。画像処理部１０５は、この情報に基づいて、シェーディング補正や画像回復等の光学補正処理における各種設定を行う。

また、システム制御部１０２は、ＩＳＯ感度に応じたゲイン調整量をＡ／Ｄ変換部１０４に通知する。ＩＳＯ感度は、ユーザが設定した固定感度であってもよいし、システム制御部１０２がＡＥ処理の結果に基づいて動的に設定したＩＳＯ感度であってもよい。
また、システム制御部１０２は、フラッシュの設定を行い、システム制御部１０２からのＡＥ処理結果によるシャッタースピードや撮影モード等に応じて、本撮影時のフラッシュ部１１０の発光の要否を決定する。フラッシュの発光を決定した場合、システム制御部１０２は、ＥＦ処理部１０９にフラッシュ発光実施を指示する。ＥＦ処理部１０９は、システム制御部１０２からフラッシュ発光実施の指示を受けると、フラッシュ部１１０を制御し、露出機構１０８ａのシャッターが開くタイミングでフラッシュ部１１０を発光させる。

次に、実施形態に係るデジタルカメラ１００の基本的な動作について説明する。
ユーザが操作部１０１に含まれる電源スイッチをＯＮにすると、システム制御部１０２はこれを検知し、デジタルカメラ１００の各部に対し、不図示の電池やＡＣ入力により電源を供給する。
電源が供給されると、システム制御部１０２の制御下で、ＥＶＦ表示動作を開始する。まず露出機構１０８ａに設けられたメカニカルシャッターが開き、撮像素子１０３が露光される。撮像素子１０３の各画素で蓄積した電荷は、予め定められたフレームレートで順次読み出され、Ａ／Ｄ変換部１０４にアナログ画像データとして出力される。このように、ＥＶＦ表示用の画像を、予め定められたフレームレートで順次読み出す、いわゆる電子シャッターを用いて連続して撮像することにより取得する。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ画像データに対して、相関二重サンプリング、ゲイン調整、Ａ／Ｄ変換等を実施して、デジタル画像データとして出力する。
ゲイン調整について述べる。撮像素子１０３では、露光量によってそのアナログ電気信号の出力信号レベルが変化する。明るい被写体では露光量が増加するため出力信号レベルも大きいものとなり、一方、暗い被写体では露光量が減少するため出力信号レベルも小さいものとなる。以上のようなレベル変動が生じるアナログ電気信号をＡ／Ｄ変換部１０４に入力し、ゲイン調整をせずに出力した場合、出力されたデジタル電気信号もレベル変動が生じる。
これに対し、デジタルカメラでは一般的に、被写体の明るさ（アナログ電気信号の出力信号レベル）によらずＡ／Ｄ変換部１０４からのデジタル電気信号の出力信号レベルを一定に保つようなゲインが、被写体の明るさに応じて設定されている。以上のゲインは、撮影条件の一つであるＩＳＯ感度の設定に応じて変化し、調整される。すなわち、被写体の明るい低ＩＳＯ感度時よりも被写体の暗い高ＩＳＯ感度時の方がゲインとしては高い値に設定する。このため、ノイズ成分としても、高ＩＳＯ感度時の方が高ゲインによる増幅効果により、悪化することになる。換言すると、予めＩＳＯ感度毎のノイズ量を計測し記憶しておけば、撮像時のＩＳＯ感度情報によりノイズ量を類推することができる。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたデジタル画像データに対して画像処理を行い、画像処理後のデジタル画像データとして例えばＹＵＶ画像データを出力する。
ＥＶＦ表示部１０６は、画像処理部１０５から出力されたデジタル画像データを用いて、Ｄ／Ａ変換処理を行った画像を逐次表示する。

システム制御部１０２は、操作部１０１から半押しの通知であるＳＷ１の通知を受けない限り、ＥＶＦ表示動作の実行を繰り返す。
システム制御部１０２は、ＳＷ１の通知を受けると、通知を受けた時点で最新の撮像画像に基づいてＡＦ処理、ＡＥ処理を行い、合焦位置及び露出条件を決定する。
システム制御部１０２は、ＳＷ１の通知が継続している間、操作部１０１から全押しの通知であるＳＷ２の通知を受けるまで、撮影処理動作を開始することなく待機する。なお、ＳＷ２の通知を受ける前にＳＷ１の通知が途絶えた場合、システム制御部１０２はＥＶＦ表示動作を再開させる。
システム制御部１０２は、ＳＷ２の通知を受けると、一連の撮影処理動作を開始する。具体的には、ＳＷ１時のＡＦ処理、ＡＥ処理を経た撮影条件で、撮像素子１０３上に被写体光学像を結像及び露光する。その後、撮像素子１０３からの画素単位のアナログ電気信号を、Ａ／Ｄ変換部１０４でデジタル画像データに変換して、このデータを用いて画像処理部１０５で画像処理を行う。そして、画像処理後のデジタル画像データを、フォーマット変換部１１１によって記録用のデータファイル形式に変換し、画像記録部１１２により記録媒体に記録する。

次に、画像処理部１０５の機能について説明する。
図２は、画像処理部１０５の機能構成を示すブロック図である。
画像処理部１０５は、光学補正処理部２０１と、ノイズ除去処理部２０２とを備える。
光学補正処理部２０１は、Ａ／Ｄ変換部１０４から出力されたデジタル画像データに対して、所定の光学補正処理を行う。光学補正処理における光学補正量は、各画素値に対してゲイン処理を行うためのデジタルゲインであり、ズームポジション情報及び絞り情報により決定される。光学補正処理部２０１は、デジタルゲインに関する光学補正量情報をノイズ除去処理部２０２に出力する。なお、光学補正処理としては、像高方向のレンズ光学系の透過率むらに起因するシェーディング補正処理の他、レンズ光学系の回折や収差等による画像劣化の補正を実施する画像回復等が想定される。ただし、これに限られるものではなく、像高毎、もしくは画素位置毎に、各画素値レベルを増幅させるゲイン処理を行う画像処理に本発明を適用することができる。

ノイズ除去処理部２０２は、ノイズ低減処理部２０３と、エッジ補正処理部２０４と、加算器２０５とを備える。
ノイズ低減処理部２０３は、光学補正処理部２０１による光学補正処理後のデジタル画像データに対して、フィルタリング処理によるノイズ低減処理を行う。ノイズ低減処理部２０３は、ノイズ低減性能（以下、ＮＲ性能と記す。）に関するＮＲ性能情報をエッジ補正処理部２０４に出力する。本実施形態では、ノイズ低減処理部２０３が、本発明でいうノイズ低減処理手段として機能する。

エッジ補正処理部２０４は、ノイズ低減処理部２０３によるノイズ低減処理後のデジタル画像データに対してエッジ補正処理を行う。エッジ補正処理部２０４は、光学補正処理部２０１による光学補正処理後のデジタル画像データを用いて、画像上の位置に応じた補正量を導出し、加算器２０５を介して、ノイズ低減処理部２０３によるノイズ低減処理後のデジタル画像データに加算する。例えば光学補正処理部２０１による光学補正処理後のデジタル画像データを所定の割合で出力して、ノイズ低減処理部２０３によるノイズ低減処理後のデジタル画像データに加算する。光学補正処理後のデジタル画像データは、ノイズ低減処理後のデジタル画像データに比べて、エッジの強度が大きい。そのため、光学補正処理後のデジタル画像データを加算する割合を大きくするほど、加算後のデジタル画像データに含まれるエッジの強度が大きくなる。このように、ノイズ低減処理後のデジタル画像データに加算する光学補正処理後のデジタル画像データの割合に応じて、加算後のエッジの強度が変化するため、この割合を、以下ではエッジ量と呼ぶ。エッジ量は、詳細は後述するが、ＮＲ性能情報に応じて導出される。エッジ量は、ノイズ除去処理部２０２への入力画像データから導出されるものであり、いわゆる画像戻し量と呼ばれる。なお、ノイズ除去処理部２０２への入力画像データに対してハイパスフィルタ等を用いてエッジを強調する処理を行い、そのエッジ強調量をエッジ量として用いてもよい。本実施形態では、エッジ補正処理部２０４及び加算器２０５が、本発明でいう補正処理手段として機能する。

図３は、像高ｒに応じた光学補正量であるデジタルゲインｇ（ｒ）と、像高ｒに応じたノイズ低減量ＮＲ（ｒ）との一例を示す特性図である。
図３では、シェーディング補正処理でみられるような、画像中心（軸上）から像高ｒの増加とともにデジタルゲインｇ（ｒ）が増加する例を示す。この場合、画像中心のノイズ量に対し、デジタルゲインｇ（ｒ）によるゲイン処理分、画像周辺部のノイズ量が増加し、画質劣化が生じる。そこで、デジタルゲインｇ（ｒ）の増減に応じる形でノイズ低減量ＮＲ（ｒ）を増減させる特性を設定して、画像周辺部のノイズ量増加を抑制する。

ここで、図４を参照して、ノイズ低減処理の基本的な概念について説明する。図４（ａ）は、光学補正処理後のデジタル画像データにおいて、一点鎖線４０１で表される画素値レベルに実線で表されるノイズが重畳されている状態を表す。
このデジタル画像データに対し、例えば一対の二点鎖線４０２で表されるフィルタリング閾値３σで挟まれた画素値に対して平均値処理を行えば、図４（ｃ）に示すように、ノイズのないノイズ低減処理後の出力が得られる。平均値処理とは、ノイズ平滑化のための処理であり、周辺の画素値を用いて平均化した画素値に置き換える処理のことである。また、σは、ノイズが重畳した画素値レベル変動の標準偏差を示しており、フィルタリング閾値３σまでのノイズを抑圧できることを示している。

また、一対の点線４０３で表されるフィルタリング閾値１σで挟まれた画素値に対して平均値処理を行えば、フィルタリング閾値１σまでのノイズを抑圧できる。しかしながら、フィルタリング閾値１σを超えた画素値に対しては平均値処理が行われず、図４（ｂ）に示すように、ノイズが残留したノイズ低減処理後の出力が得られる。すなわち、フィルタリング閾値１σまでのノイズを抑圧できるものの、それを超えるノイズは残留し、フィルタリング閾値３σの場合よりもノイズ低減量が小さく、ＮＲ性能が低いということを表している。

図５は、像高ｒに応じたノイズ低減量ＮＲ（ｒ）の理想的な設定について説明するための図である。
図５（ａ）は、画像中心におけるノイズが重畳された光学補正処理後のデジタル画像データと、フィルタリング閾値ｔｈ₀及び最大ノイズ量σ_maxとの関係を表す。Δは、フィルタリング閾値ｔｈ₀と最大ノイズ量σ_maxとの差分である。また、図５（ｂ）は、像高ｒにおけるノイズが重畳された光学補正処理後のデジタル画像データと、フィルタリング閾値ｔｈ₁及び最大ノイズ量√ｇ（ｒ）・σ_maxとの関係を表す。Δは、フィルタリング閾値ｔｈ₁と最大ノイズ量√ｇ（ｒ）・σ_maxとの差分である。画像中心の最大ノイズ量σ_maxは標準偏差で表されたノイズ量であり、デジタルゲインｇ（ｒ）による光学補正処理の場合、像高ｒの最大ノイズ量は、σ_maxを√ｇ（ｒ）倍したものとして求めることができる。なお、√ｇ（ｒ）の表記は、√の中にｇ（ｒ）が表記されているものとする。

ノイズ低減量ＮＲ（ｒ）の理想的な設定は、画像中心から画像周辺部にかけて、解像感及びノイズ感が変わらない画質になる設定である。このような画質を実現するためには、どの像高ｒにおいても、ノイズ量に対するＮＲ性能が変わらないことが求められる。すなわち、どの像高ｒにおいても、フィルタリング閾値と最大ノイズ量との差分Δが一定であれば画質差が生じない。図５はそのような状態であることを示し、ノイズ低減量ＮＲ（ｒ）の理想的な設定、すなわちフィルタリング閾値ｔｈ₁の理想的な設定であることを示している。

ここで、図５（ａ）、（ｂ）の関係から、式（１）が導き出される。
Δ＝ｔｈ₀－σ_max＝ｔｈ₁－√ｇ（ｒ）・σ_max
∴ ｔｈ₁＝ｔｈ₀＋（√ｇ（ｒ）－１）・σ_max ・・・（１）

式（１）で表される像高ｒに応じたフィルタリング閾値ｔｈ₁を、像高ｒに応じたノイズ低減量ＮＲ（ｒ）設定として用いれば、どの像高ｒにおいても解像感及びノイズ感が変わらない画質が得られる。式（１）のように、画像中心のフィルタリング閾値ｔｈ₀に対し、像高ｒのノイズ増加分が付加されたものが、フィルタリング閾値ｔｈ₁として導出される。画像中心のフィルタリング閾値ｔｈ₀は、図８に示すように、ベースとなるＮＲ性能である画像中心のノイズ低減量ＮＲ（０）の指標となるものである。また、像高ｒに応じたノイズ増加分として、画像中心の最大ノイズ量σ_maxに対し、光学補正処理による像高方向における画像中心からのデジタルゲインの増加分（√ｇ（ｒ）－１）を乗算した値が求められる。

画像中心の最大ノイズ量σ_maxは、ＩＳＯ感度に応じて変わるものであり、式（１）のフィルタリング閾値ｔｈ₁を導出する上で、ＩＳＯ感度毎のノイズ量を計測し、これを用いる必要がある。ＩＳＯ感度毎のノイズ量としては、予めＩＳＯ感度毎にノイズ量を計測しておき、ＩＳＯ感度に対するノイズ量の対応表を搭載する構成としてもよい。撮影時にＩＳＯ感度を取得し、この対応表からノイズ量を類推し、式（１）に用いることにより、フィルタリング閾値ｔｈ₁を導出することができる。また、ノイズ量は温度にも依存するので、これに対応するために温度毎に対応表を搭載すればなおよい。ＩＳＯ感度、さらには温度からノイズ量を類推し、これを用いて式（１）からフィルタリング閾値ｔｈ₁を導出することができ、撮影時の環境下で最適なノイズ低減処理を実施することができる。

或いは、画像上の遮光領域等の最終出力画像に寄与しない領域にノイズ量の計測領域を設ければ、この計測領域のノイズ量を撮影毎にモニタすることができる。そして、計測領域のノイズ量と画像中心の最大ノイズ量σ_maxとの相関関係を予め求めておき、撮影毎に計測領域のノイズ量を求めれば、最大ノイズ量σ_maxを類推することができる。これにより、上述したようなＩＳＯ感度に対するノイズ量の対応表を搭載することなく、撮像時のＩＳＯ感度や温度変化等に対してリアルタイムにノイズ量を類推することができる。

ここまでは、像高ｒに応じたノイズ低減量ＮＲ（ｒ）の指標となるフィルタリング閾値ｔｈ₁を、画像中心の最大ノイズ量σ_maxを用いて導出する場合について説明した。
一方で、本実施形態では、画像中心の最大ノイズ量σ_maxの代わりに、画像中心のフィルタリング閾値ｔｈ₀を用いて、式（２）により像高ｒに応じたフィルタリング閾値ｔｈ₁を設定する。これにより、上述したＩＳＯ感度に対するノイズ量の対応表や、ノイズ量をモニタする機能等の実装を行う必要がないというメリットを有する。
ｔｈ₁＝ｔｈ₀＋(√ｇ（ｒ）－１)・ｔｈ₀（＝√ｇ（ｒ）・ｔｈ₀） ・・・（２）

フィルタリング閾値ｔｈ₀は、デジタルゲイン１倍で導出されるフィルタリング閾値である。すなわち、フィルタリング閾値ｔｈ₀は、ベースとなるＮＲ性能ＮＲ（０）であり、デジタルゲイン１倍でのノイズ量に基づいて設定される。
このフィルタリング閾値ｔｈ₀を、画像中心の最大ノイズ量σ_maxでチューニングして導出する場合、ｔｈ₀＝σ_maxとなるので、式（１）と式（２）は同等となる。これにより導出されるノイズ低減量ＮＲ（ｒ）は理想的な設定となり、画像中心から画像周辺部にかけて、解像感及びノイズ感が変わらない画質を得ることができる。この場合、像高ｒに応じたエッジ量可変対応をする必要がなく、デジタルゲイン１倍である画像中心で設定したエッジ量ＥＧ（０）を全画素に対して付加する処理を行えばよい。

ところで、様々なＩＳＯ感度を扱うデジタルカメラにおいて、フィルタリング閾値ｔｈ₀を、常にｔｈ₀＝σ_maxをチューニング目標として求めてはいない。
例えば高ＩＳＯ感度のノイズ量の多い状況においては、個体ばらつき等を考慮し、できるだけノイズ感を減らしたい要望がある。そこで、フィルタリング閾値ｔｈ₀を、画像中心の最大ノイズσ_maxよりも大きいノイズ量α_hでチューニングして導出する（ｔｈ₀＝σ_h＞σ_max）。すなわち、撮像素子１０３のセンサの実力よりも多いノイズ量を想定してフィルタリング閾値ｔｈ₀を設定しており、このような場合を「画像中心のＮＲ性能が高い（ＮＲ（０）が大きいと同意）」と判定する。

図６は、「画像中心のＮＲ性能が高い」場合のノイズ低減量ＮＲ（ｒ）の設定について説明するための図である。図５の場合と同様に、図６（ａ）は、画像中心におけるノイズが重畳された光学補正処理後のデジタル画像データと、フィルタリング閾値ｔｈ₀及び最大ノイズ量σ_maxとの関係を表す。Δは、フィルタリング閾値ｔｈ₀と最大ノイズ量σ_maxとの差分である。また、図６（ｂ）は、像高ｒにおけるノイズが重畳された光学補正処理後のデジタル画像データと、フィルタリング閾値ｔｈ₁及び最大ノイズ量√ｇ（ｒ）・σ_maxとの関係を表す。Δ＋Ｒａｄｉｕｓ_ＥＧは、フィルタリング閾値ｔｈ₁と最大ノイズ量√ｇ（ｒ）・σ_maxとの差分であり、Ｒａｄｉｕｓ_ＥＧは像高ｒに応じたデジタルゲインｇ（ｒ）に依存する。

図５で説明したように、ノイズ低減量ＮＲ（ｒ）を理想的に設定するためには、どの像高ｒにおいても、フィルタリング閾値と最大ノイズ量との差分が一定であればよい。しかしながら、フィルタリング閾値ｔｈ₁の導出に式（２）を用いた場合、図６（ａ）、（ｂ）に示すように、Ｒａｄｉｕｓ_ＥＧの分だけ余分にノイズ低減処理が実施されることになる。
そこで、ノイズ低減処理の過補正による解像感の劣化を補うために、エッジ補正処理部２０４を用いて、補うべきエッジ量ＥＧ（ｒ）を導出する。そして、ノイズ低減処理部２０３から出力された、ノイズ低減量ＮＲ（ｒ）でノイズ低減処理された画像データに対して、このエッジ量ＥＧ（ｒ）を加算する。

Ｒａｄｉｕｓ_ＥＧとエッジ量ＥＧ（ｒ）は、式（３）のように表される。エッジ量ＥＧ（０）は、デジタルゲイン１倍である画像中心で設定したエッジ量である。
Ｒａｄｉｕｓ_ＥＧ＝ＥＧ（ｒ）－ＥＧ（０） ・・・（３）

また、図６（ａ）、（ｂ）から、関係式（４）が導かれる。
Δ＝ｔｈ₀－σ_max＝√ｇ（ｒ）・ｔｈ₀－√ｇ（ｒ）・σ_max－Ｒａｄｉｕｓ_ＥＧ
∴ Ｒａｄｉｕｓ_ＥＧ＝（ｔｈ₀－σ_max）・（√ｇ（ｒ）－１）
＝ａ・（√ｇ（ｒ）－１） ・・・（４）
図６では、「画像中心のＮＲ性能が高い」と判定されていることから、式（５）の関係を有する。
ａ＝ｔｈ₀－σ_max＞０ ・・・（５）

以上より、「画像中心のＮＲ性能が高い」場合、式（３）～式（５）から、像高ｒに応じたエッジ量ＥＧ（ｒ）は、式（６）のように導出される。式（６）のように、エッジ量ＥＧ（ｒ）を、画像中心のエッジ量ＥＧ（０）に対して増やすようにした特性となる。
ＥＧ（ｒ）＝ＥＧ（０）＋ａ・（√ｇ（ｒ）－１）, ａ＞０ ・・・（６）

一方で、例えば低ＩＳＯ感度のノイズ量の少ない状況においては、できるだけ解像感を出したい要望がある。そこで、フィルタリング閾値ｔｈ₀を、画像中心の最大ノイズσ_maxよりも小さいノイズ量α_lでチューニングして導出する（ｔｈ₀＝σ_l＜σ_max）。すなわち、撮像素子１０３のセンサの実力よりも少ないノイズ量を想定してフィルタリング閾値ｔｈ₀を設定しており、このような場合を「画像中心のＮＲ性能が低い（ＮＲ（０）が小さいと同意）」と判定する。

図７は、「画像中心のＮＲ性能が低い」場合のノイズ低減量ＮＲ（ｒ）の設定について説明するための図である。図５、図６の場合と同様に、図７（ａ）は、画像中心におけるノイズが重畳された光学補正処理後のデジタル画像データと、フィルタリング閾値ｔｈ₀及び最大ノイズ量σ_maxとの関係を表す。－Δは、フィルタリング閾値ｔｈ₀と最大ノイズ量σ_maxとの差分である。また、図７（ｂ）は、像高ｒにおけるノイズが重畳された光学補正処理後のデジタル画像データと、フィルタリング閾値ｔｈ₁及び最大ノイズ量√ｇ（ｒ）・σ_maxとの関係を表す。－Δ＋Ｒａｄｉｕｓ_ＥＧは、フィルタリング閾値ｔｈ₁と最大ノイズ量√ｇ（ｒ）・σ_maxとの差分であり、Ｒａｄｉｕｓ_ＥＧは像高ｒに応じたデジタルゲインｇ（ｒ）に依存する。

図５で説明したように、ノイズ低減量ＮＲ（ｒ）を理想的に設定するためには、どの像高ｒにおいても、フィルタリング閾値と最大ノイズ量との差分が一定であればよい。しかしながら、フィルタリング閾値ｔｈ₁の導出に式（２）を用いた場合、図７（ａ）、（ｂ）に示すように、Ｒａｄｉｕｓ_ＥＧの分だけノイズが残存する。
そこで、ノイズ低減処理の補正不足によるノイズ感の劣化を補うために、エッジ補正処理部２０４を用いて、減らすべきエッジ量ＥＧ（ｒ）を導出する。そして、ノイズ低減処理部２０３から出力された、ノイズ低減量ＮＲ（ｒ）でノイズ低減処理された画像データに対して、このマイナス方向のエッジ量ＥＧ（ｒ）を加算する。

図７（ａ）、（ｂ）から、関係式（７）が導かれる。
－Δ＝σ_max－ｔｈ₀＝√ｇ（ｒ）・σ_max－√ｇ（ｒ）・ｔｈ₀＋Ｒａｄｉｕｓ_ＥＧ
∴ Ｒａｄｉｕｓ_ＥＧ＝（ｔｈ₀－σ_max）・（√ｇ（ｒ）－１）
＝ａ・（√ｇ（ｒ）－１） ・・・（７）
図７では、「画像中心のＮＲ性能が低い」と判定されていることから、式（８）の関係を有する。
ａ＝ｔｈ₀－σ_max＜０ ・・・（８）

以上より、「画像中心のＮＲ性能が低い」と判定された場合、式（３）、式（７）及び式（８）から、像高ｒに応じたエッジ量ＥＧ（ｒ）は、式（９）のように導出される。式（９）のように、エッジ量ＥＧ（ｒ）を、画像中心のエッジ量ＥＧ（０）に対して減らすようにした特性となる。
ＥＧ（ｒ）＝ＥＧ（０）＋ａ・（√ｇ（ｒ）－１）, ａ＜０ ・・・（９）

図９は、本実施形態におけるノイズ低減量ＮＲ（ｒ）の設定及びエッジ量ＥＧ（ｒ）の設定について説明するための図である。
前提として、ノイズ低減量ＮＲ（ｒ）及びエッジ量ＥＧ（ｒ）は、式（１０）、式（１１）で表される。
ＮＲ（ｒ）＝ＮＲ（０）＋Ｆ（ｇ（ｒ））・ＮＲ（０） ・・・（１０）
ＥＧ（ｒ）＝ＥＧ（０）＋ａ・Ｆ（ｇ（ｒ）） ・・・（１１）
式（１０）は式（２）に相当し、式（１１）は式（６）及び式（９）に相当する。式（１０）、式（１１）において、Ｆ（ｇ（ｒ））＝√ｇ（ｒ）－１とすることにより、式（２）、式（６）、式（９）と同一の関係式が得られる。なお、本実施形態では、Ｆ（ｇ（ｒ））＝√ｇ（ｒ）－１としたが、これに限るものではなく、ノイズ量の算出やノイズ低減処理に応じて関数Ｆ（ｇ（ｒ））を決定すればよい。

図９には、左から順に、［１］画像中心のＮＲ性能が高い場合、［２］画像中心のＮＲ性能が適切である場合、［３］画像中心のＮＲ性能が低い場合を示す。［１］～［３］それぞれの（ａ）のグラフは、式（１０）におけるＦ（ｇ（ｒ））・ＮＲ（０）（＝Ｒａｄｉｕｓ_ＮＲ_Ｇａｉｎ）の像高ｒに対する変化を示す。
［１］～［３］それぞれの（ａ）のグラフに示すように、画像中心のＮＲ性能の高低に応じて、Ｒａｄｉｕｓ_ＮＲ_Ｇａｉｎの特性、すなわち式（１０）で表されるノイズ低減量ＮＲ（ｒ）の特性を異ならせる。具体的には、像高ｒの増加に対してＲａｄｉｕｓ_ＮＲ_Ｇａｉｎを増加する割合を、［１］画像中心のＮＲ性能が高い場合、［２］画像中心のＮＲ性能が適切である場合、［３］画像中心のＮＲ性能が低い場合の順で小さくするような特性とする。

また、［１］～［３］それぞれの（ｂ）のグラフは、式（１１）式におけるａ・Ｆ（ｇ（ｒ））（＝Ｒａｄｉｕｓ_ＥＧ_Ｇａｉｎ）の像高ｒに対する変化を示す。
［１］～［３］それぞれの（ｂ）のグラフに示すように、画像中心のＮＲ性能の高低に応じて、Ｒａｄｉｕｓ_ＥＧ_Ｇａｉｎの特性、すなわち式（１１）で表されるエッジ量ＥＧ（ｒ）の特性を異ならせる。具体的には、［１］画像中心のＮＲ性能が高い場合、ａ＞０として、画像中心のＲａｄｉｕｓ_ＥＧ_Ｇａｉｎに対して、像高ｒの増加とともにＲａｄｉｕｓ_ＥＧ_Ｇａｉｎを増やす（すなわちエッジ量ＥＧ（ｒ）を増やす）ようにした特性とする。また、［３］画像中心のＮＲ性能が低い場合、ａ＜０として、画像中心のＲａｄｉｕｓ_ＥＧ_Ｇａｉｎに対して、像高ｒの増加とともにＲａｄｉｕｓ_ＥＧ_Ｇａｉｎを減らす（すなわちエッジ量ＥＧ（ｒ）を減らす）ようにした特性とする。また、［２］画像中心のＮＲ性能が適切である場合、ａ＝０として、像高ｒに依らず、画像中心のエッジ量ＥＧ（０）を保つ特性とする。

以上のように、画像中心のＮＲ性能の高低により、エッジ量ＥＧ（ｒ）における係数ａの正負判定を行う。そして、ＩＳＯ感度毎の目標画質に適合するように、ＮＲ性能及び係数ａを決定する。これにより、像高に応じてデジタルゲインが変動する画像処理であっても、像高及び撮影ＩＳＯ感度によらず、解像感及びノイズ感の良好な画質の画像を得ることができる。

例えば複数のＩＳＯ感度を扱うデジタルカメラにおいては、各ＩＳＯ感度に対して、フィルタリング閾値ｔｈ₀を予め設定して、例えばテーブル化しておく。既述したように、ノイズ量の多い状況となる高ＩＳＯ感度側では、センサの実力よりも多いノイズ量を想定してフィルタリング閾値ｔｈ₀を設定する（ｔｈ₀＝σ_h＞σ_max）。また、ノイズ量の少ない状況となる低ＩＳＯ感度側では、センサの実力よりも少ないノイズ量を想定してフィルタリング閾値ｔｈ₀を設定する（ｔｈ₀＝σ_l＜σ_max）。そして、高ＩＳＯ感度側の各ＩＳＯ感度に対して、式（３）～式（５）の係数ａの値（＞０）を予め求めて、関連付けておく。同様に、低ＩＳＯ感度側の各ＩＳＯ感度に対して、式（３）、式（７）及び式（８）の係数ａの値（＜０）を予め求めて、関連付けておく。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０２：システム制御部、１０５：画像処理部、２０１：光学補正処理部、２０２：ノイズ除去処理部、２０３：ノイズ低減処理部、２０４：エッジ補正処理部、２０５：加算器

Claims (18)

1. 画像データに対してノイズ低減処理を行うノイズ低減処理手段と、
   前記画像データを用いて、前記画像データの画像上の位置に応じた補正量を導出し、前記ノイズ低減処理手段によるノイズ低減処理後の画像データに加算する補正処理手段とを備え、
   前記補正処理手段は、前記画像データの画像上の所定の位置でのノイズ低減性能の高低に応じて、前記補正量の特性を異ならせることを特徴とする画像処理装置。
2. 前記所定の位置でのノイズ低減性能の高低は、前記所定の位置でのノイズ低減量と前記所定の位置でのノイズ量との関係により判定されることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正処理手段は、
   前記所定の位置でのノイズ低減性能が高い場合、前記所定の位置以外の位置での前記補正量を、前記所定の位置での前記補正量に対して増やすようにした特性とし、
   前記所定の位置でのノイズ低減性能が低い場合、前記所定の位置以外の位置での前記補正量を、前記所定の位置での前記補正量に対して減らすようにした特性とすることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補正処理手段は、前記所定の位置でのノイズ低減性能が適切である場合、前記所定の位置以外の位置での前記補正量を、前記所定の位置での前記補正量に保つ特性とすることを特徴とする請求項３に記載の画像処理装置。
5. 前記画像データは、ゲイン処理されており、
   前記補正量であるエッジ量ＥＧ（ｒ）は、像高ｒ、前記所定の位置でのエッジ量ＥＧ（０）、ゲインｇ（ｒ）、及び係数ａにより、
   ＥＧ（ｒ）＝ＥＧ（０）＋ａ・Ｆ（ｇ（ｒ））
   と表され、
   前記所定の位置でのノイズ低減性能が高い場合はａ＞０、前記所定の位置でのノイズ低減性能が低い場合はａ＜０とすることを特徴とする請求項３又は４に記載の画像処理装置。
6. Ｆ（ｇ（ｒ））＝√ｇ（ｒ）－１であることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像データは、ゲイン処理されており、
   前記所定の位置でのノイズ低減量は、ゲイン１倍におけるノイズ低減量であることを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
8. 前記ノイズ低減処理手段は、フィルタリング処理によるノイズ低減処理を行い、
   前記所定の位置でのノイズ低減量の指標として、前記所定の位置でのフィルタリング閾値を用いることを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
9. 前記フィルタリング閾値は、前記所定の位置でのレベル変動の標準偏差を用いて表されることを特徴とする請求項８に記載の画像処理装置。
10. ＩＳＯ感度情報に基づいて前記所定の位置でのノイズ量を求めることを特徴とする請求項２乃至９のいずれか１項に記載の画像処理装置。
11. 予め定められた計測領域における前記画像データのノイズ量を計測することにより、前記所定の位置でのノイズ量を求めることを特徴とする請求項２乃至９のいずれか１項に記載の画像処理装置。
12. 前記所定の位置は、画像中心であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記補正量は、前記画像データから導出される画像戻し量であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記補正量は、前記画像データのエッジを強調するエッジ強調量であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
15. 前記ノイズ低減処理手段は、前記所定の位置でのノイズ低減性能の高低に応じて、ノイズ低減量の特性を異ならせることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 前記画像データは、レンズ光学系を介して撮像素子により撮像された画像データであることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
17. 画像データに対してノイズ低減処理を行うノイズ低減処理手段を備えた画像処理装置の制御方法であって、
    前記画像データを用いて、前記画像データの画像上の位置に応じた補正量を導出し、前記ノイズ低減処理手段によるノイズ低減処理後の画像データに加算する補正処理ステップを有し、
    前記補正処理ステップでは、前記画像データの画像上の所定の位置でのノイズ低減性能の高低に応じて、前記補正量の特性を異ならせることを特徴とする画像処理装置の制御方法。
18. 画像データに対してノイズ低減処理を行うノイズ低減処理手段と、
    前記画像データを用いて、前記画像データの画像上の位置に応じた補正量を導出し、前記ノイズ低減処理手段によるノイズ低減処理後の画像データに加算する補正処理手段としてコンピュータを機能させ、
    前記補正処理手段は、前記画像データの画像上の所定の位置でのノイズ低減性能の高低に応じて、前記補正量の特性を異ならせることを特徴とするプログラム。

Images