JP4837365B2 - 画像処理システム、画像処理プログラム - Google Patents

Description

本発明は、映像信号に対して所定の画像処理を行うための画像処理システム、画像処理プログラムに関する。

画像処理においては、局所領域毎に異なる処理を行う手法、一般にスペースバリアント処理と呼ばれる手法がある。

例えば、特許３４６５２２６号に係る公報には、テクスチャ情報に基づき映像信号を複数の領域に分割し、領域毎にヒストグラムに基づき階調変換曲線を求めて階調変換処理を行い、各領域間の距離に基づく重み付け補間を行う技術が記載されている。これにより、スペースバリアントな階調処理と領域間の連続性の維持とが可能となり、広ダイナミックレンジの画像に対しても明暗のつぶれを防止した高品位な映像信号を得ることができる。

また、特許３４０２６３０号に係る公報には、多重解像度分解により求めた低周波成分と奇数変数関数とに基づいて高周波成分を補正することにより、コントラスト強調を行う技術が記載されている。これにより、スペースバリアントなコントラスト強調と領域間の連続性の維持とを一体化した処理が可能となり、医療画像における診断能を向上させた高品位な映像信号を得ることができる。

さらに、特開２００４−７２４２２号公報には、ノイズ量をノイズモデルに基づき画素単位に推定して、画素単位に異なるノイズ低減処理を行う技術が記載されている。これにより、スペースバリアントなノイズ低減処理が可能となり、エッジ成分の劣化の少ない高品位な映像信号を得ることができる。
特許３４６５２２６号 特許３４０２６３０号 特開２００４−７２４２２号公報

上述したような特許３４６５２２６号に係る公報に記載されたものでは、領域間の連続性を維持するために画素毎に重み付け補間を行う必要があるために、計算量が多く、処理時間が長くなるという課題がある。さらに、該公報に記載された技術は、輝度信号に対するものであり、カラー映像信号に適用した場合に色信号が色再現域を逸脱するなどの課題がある。

また、特許３４０２６３０号に係る公報に記載されたものでは、奇数変数関数に基づき高周波成分を補正するようになっているが、この奇数変数関数の自動的な設定方法が不明であるために、主観評価的に定める必要があると考えられる。従って、撮影条件の限定された医療画像の場合にはともかくも、一般の多様な被写体に対して最適なコントラスト強調を自動的に行うことができないという課題がある。そして、該公報に記載された技術は、輝度信号に対するものであるために、上述と同様に、カラー映像信号に適用した場合に色信号が色再現域を逸脱するなどの課題がある。

そして、特開２００４−７２４２２号公報に記載されたものでは、ノイズ低減処理と、他の階調補正処理やエッジ強調処理などとは独立しているために、相互を最適に活用することができないという課題がある。

本発明は上記事情に鑑みてなされたものであり、映像信号に対する階調補正処理を、スペースバリアントでありながら局所領域間の連続性を維持して、高速に行うことが可能な画像処理システム、画像処理プログラムを提供することを目的としている。

上記の目的を達成するために、本発明による画像処理システムは、映像信号に対して所定の画像処理を行う画像処理システムであって、上記映像信号に係る信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解する多重解像度分解手段と、上記高周波成分に対する階調補正係数を算出する補正係数算出手段と、上記階調補正係数に基づき上記高周波成分を階調補正処理する補正処理手段と、上記階調補正処理された高周波成分と上記低周波成分とから補正された映像信号に係る信号を合成する多重解像度合成手段と、を具備したものである。

また、本発明による画像処理プログラムは、コンピュータに、映像信号に対する所定の画像処理を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号に係る信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解する多重解像度分解ステップと、上記高周波成分に対する階調補正係数を算出する補正係数算出ステップと、上記階調補正係数に基づき上記高周波成分を階調補正処理する補正処理ステップと、上記階調補正処理された高周波成分と上記低周波成分とから補正された映像信号に係る信号を合成する多重解像度合成ステップと、を実行させるためのプログラムである。

本発明の画像処理システム、画像処理プログラムによれば、映像信号に対する階調補正処理を、スペースバリアントでありながら局所領域間の連続性を維持して、高速に行うことが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１１は本発明の実施形態１を示したものであり、図１は画像処理システムの構成を示すブロック図、図２は多重解像度分解部の構成を示すブロック図、図３は補正係数算出部の構成を示すブロック図、図４は補正係数算出部において用いられる階調補正係数用テーブルに係る視覚系の順応モデルを示す線図、図５は補正係数算出部において用いられるノイズ補正係数用テーブルに係るノイズ量の推定モデルを示す図、図６は補正係数算出部において用いられるエッジ補正係数用テーブルに係るエッジの強調モデルを示す線図、図７は補正処理部の構成を示すブロック図、図８は多重解像度合成部の構成を示すブロック図、図９は画像処理システムの他の構成例を示すブロック図、図１０は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図１１は図１０のステップＳ５における補正係数算出の処理の詳細を示すフローチャートである。

まず、図１を参照して、この画像処理システムの構成について説明する。図１に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

この画像処理システムは、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、温度センサ１１８と、増幅部１０３と、Ａ／Ｄ変換部１０４と、バッファ１０５と、測光評価部１０６と、合焦点検出部１０７と、ＡＦモータ１０８と、多重解像度分解部１０９と、バッファ１１０と、補正係数算出部１１１と、補正処理部１１２と、多重解像度合成部１１３と、信号処理部１１４と、出力部１１５と、制御部１１６と、外部Ｉ／Ｆ部１１７と、を含んでいる。

レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像するためのものである。

絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更するためのものである。

ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの映像信号として出力するための撮像素子である。なお、本実施形態においては、ＣＣＤ１０２として、白黒用単板ＣＣＤを想定している。また、撮像素子も、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いてももちろん構わない。

温度センサ１１８は、このＣＣＤ１０２の温度を実質的に計測して、制御部１１６へ出力するものである。

増幅部１０３は、ＣＣＤ１０２から出力される映像信号を増幅するためのものである。この増幅部１０３による増幅量は、制御部１１６の制御に基づき、測光評価部１０６により設定されるようになっている。

Ａ／Ｄ変換部１０４は、制御部１１６の制御に基づき、ＣＣＤ１０２から出力され増幅部１０３により増幅されたアナログの映像信号を、デジタルの映像信号に変換するためのものである。

バッファ１０５は、Ａ／Ｄ変換部１０４から出力されたデジタルの映像信号を一時的に記憶するためのものである。

測光評価部１０６は、プリ撮影モード時に、制御部１１６の制御に基づき、バッファ１０５に記憶されている映像信号中の輝度レベルを求めて、設定されているＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮して、適正露光となるような絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０３の増幅率などを制御するものである。

合焦点検出部１０７は、プリ撮影モード時に、制御部１１６の制御に基づき、バッファ１０５に記憶されている映像信号中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１０８を制御することにより、合焦信号を得るようにするものである。

ＡＦモータ１０８は、合焦点検出部１０７に制御されて、レンズ系１００に含まれるＡＦレンズを駆動するための駆動源である。

多重解像度分解部１０９は、制御部１１６の制御に基づき、バッファ１０５に記憶されている映像信号を読み出して、所定のｎ段階（ｎは１以上の整数）の多重解像度分解を行う多重解像度分解手段である。

バッファ１１０は、多重解像度分解部１０９により得られた高周波成分と低周波成分とを記憶するものである。

補正係数算出部１１１は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分を読み込んで、制御部１１６からの後述するような関連情報を用いて、階調補正係数とノイズ補正係数とエッジ補正係数とを算出する補正係数算出手段である。

補正処理部１１２は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉの高周波成分を読み込んで、読み込んだ高周波成分を補正係数算出部１１１からの階調補正係数，ノイズ補正係数，エッジ補正係数を用いて補正する補正処理手段である。なお、この補正処理部１１２により補正された高周波成分は、バッファ１１０へ転送され、補正前の高周波成分に上書きされるようになっている。

多重解像度合成部１１３は、制御部１１６の制御に基づき、全ての分解の段階数の高周波成分に対する補正処理が完了した後に、バッファ１１０から上記低周波成分および上記各補正処理がなされた高周波成分を読み込んで、補正された映像信号を合成する多重解像度合成手段である。

信号処理部１１４は、制御部１１６の制御に基づき、多重解像度合成部１１３から出力される補正処理後の映像信号に対して公知の圧縮処理などを行い、処理後の信号を出力部１１５へ転送するものである。

出力部１１５は、信号処理部１１４から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存するものである。

制御部１１６は、例えばマイクロコンピュータなどにより構成されていて、増幅部１０３、Ａ／Ｄ変換部１０４、測光評価部１０６、合焦点検出部１０７、多重解像度分解部１０９、補正係数算出部１１１、補正処理部１１２、多重解像度合成部１１３、信号処理部１１４、出力部１１５、外部Ｉ／Ｆ部１１７と双方向に接続されており、これらを含むこのデジタルカメラ全体を制御するための制御手段である。この制御部１１６は、階調補正係数算出手段，階調情報取得手段，輝度レベル算出手段，ノイズ補正係数算出手段，ノイズ情報取得手段，ゲイン算出手段，エッジ補正係数算出段，エッジ情報取得手段，エッジ強調量算出手段を兼ねたものとなっている。この制御部１１６には、さらに、ＣＣＤ１０２の近傍に配置された温度センサ１１８からの信号が入力されるようになっている。

外部Ｉ／Ｆ部１１７は、画像処理システムが適用されたこのデジタルカメラに対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。ユーザは、この外部Ｉ／Ｆ部１１７を介して、２段式のシャッタボタンの１段目の押圧によるプリ撮影の開始入力、該シャッタボタンの２段目の押圧による本撮影の開始入力を行うことができるようになっている。さらに、ユーザは、この外部Ｉ／Ｆ部１１７を介して、ＩＳＯ感度などの撮影条件、エッジ強調や彩度強調などの画像処理条件を設定することができるようになっている。そして、この外部Ｉ／Ｆ部１１７は、入力された情報を、制御部１１６へ出力するようになっている。

次に、図１に示したようなデジタルカメラの作用を、映像信号の流れに沿って説明する。

ユーザは、撮影を行う前に、外部Ｉ／Ｆ部１１７を介してＩＳＯ感度などの撮影条件およびエッジ強調や彩度強調などの画像処理条件を予め設定する。

その後、ユーザが、外部Ｉ／Ｆ部１１７の２段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮影モードに入る。

すると、レンズ系１００および絞り１０１を介して結像される被写体像が、ＣＣＤ１０２により光電変換され、アナログの映像信号として出力される。

このアナログの映像信号は、増幅部１０３によってＩＳＯ感度を考慮した増幅が行われた後に、Ａ／Ｄ変換部１０４によりデジタルの映像信号に変換されて、バッファ１０５に記憶される。

このバッファ１０５内に記憶された映像信号は、測光評価部１０６と、合焦点検出部１０７と、へそれぞれ転送される。

測光評価部１０６は、映像信号に基づき、設定されたＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮して、上述したように絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０３の増幅率などを適正露光となるように制御する。

また、合焦点検出部１０７は、映像信号に基づき、上述したようにエッジ強度を検出し、このエッジ強度が最大となるようにＡＦモータ１０８を制御して、合焦信号を得る。

こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１７の２段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

すると、プリ撮影と同様にして、映像信号がバッファ１０５へ転送される。この本撮影は、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１６へ転送される。

本撮影によって得られたバッファ１０５内の映像信号は、多重解像度分解部１０９へ転送される。

多重解像度分解部１０９は、制御部１１６の制御に基づき、バッファ１０５に記憶されている映像信号を読み出して、所定のｎ段階（ｎは１以上の整数）の多重解像度分解を行い、高周波成分と低周波成分とを順次生成する。そして、多重解像度分解部１０９は、生成した高周波成分と低周波成分とを、バッファ１１０へ順次転送する。

補正係数算出部１１１は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分を読み込む。また、この補正係数算出部１１１には、制御部１１６から、シャッタ速度，絞り値，ＩＳＯ感度などの画像処理に関連する情報が転送される。そして、補正係数算出部１１１は、上記低周波成分および上記関連情報と視覚系の順応モデルとに基づき階調変換処理に用いる階調補正係数を、上記低周波成分および上記関連情報とノイズ量の推定モデルとに基づきノイズ低減処理に用いるノイズ補正係数を、上記分解の段階数ｉおよび上記関連情報とエッジの強調モデルとに基づきエッジ強調処理に用いるエッジ補正係数を、それぞれ算出する。その後、補正係数算出部１１１は、算出した各補正係数を、補正処理部１１２へ転送する。

補正処理部１１２は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉの高周波成分を、補正係数算出部１１１から階調補正係数，ノイズ補正係数，エッジ補正係数を、それぞれ読み込んで、読み込んだ各補正係数を用いて、上記高周波成分に補正処理を行う。

補正処理部１１２により補正された高周波成分は、バッファ１１０へ転送されて、補正前の高周波成分に上書きされる。

なお、上述したような補正係数算出部１１１および補正処理部１１２における処理は、制御部１１６の制御に基づき、分解の段階数ｉ単位で同期して行われる。

このようにして、全ての分解の段階数の高周波成分に対する補正処理が完了した後に、多重解像度合成部１１３は、制御部１１６の制御に基づき、バッファ１１０から上記低周波成分および上記補正処理がなされた高周波成分を読み込んで、補正された映像信号を合成する。そして、多重解像度合成部１１３は、補正した映像信号を、信号処理部１１４へ転送する。

なお、本実施形態においては、多重解像度分解処理および多重解像度合成処理に、ウェーブレット変換（直交ウェーブレット変換または双直交ウェーブレット変換）を用いることを想定している。

信号処理部１１４は、制御部１１６の制御に基づき、多重解像度合成部１１３から出力される補正処理後の映像信号に対して、上述したように、公知の圧縮処理などを行い、処理後の信号を出力部１１５へ転送する。

出力部１１５は、信号処理部１１４から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

次に、図２を参照して、多重解像度分解部１０９の構成の一例について説明する。

この多重解像度分解部１０９は、データ読取部２００と、バッファ２０１と、水平ハイパスフィルタ２０２と、水平ローパスフィルタ２０３と、サブサンプラ２０４と、サブサンプラ２０５と、垂直ハイパスフィルタ２０６と、垂直ローパスフィルタ２０７と、垂直ハイパスフィルタ２０８と、垂直ローパスフィルタ２０９と、サブサンプラ２１０と、サブサンプラ２１１と、サブサンプラ２１２と、サブサンプラ２１３と、切換部２１４と、データ転送制御部２１５と、基底関数ＲＯＭ２１６と、フィルタ係数読取部２１７と、を含んでいる。

バッファ１０５は、データ読取部２００を介して、バッファ２０１へ接続されている。バッファ２０１は、水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。水平ハイパスフィルタ２０２は、サブサンプラ２０４を介して、垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は、サブサンプラ２０５を介して、垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。垂直ハイパスフィルタ２０６はサブサンプラ２１０へ、垂直ローパスフィルタ２０７はサブサンプラ２１１へ、垂直ハイパスフィルタ２０８はサブサンプラ２１２へ、垂直ローパスフィルタ２０９はサブサンプラ２１３へ、それぞれ接続されている。サブサンプラ２１０，サブサンプラ２１１，サブサンプラ２１２，サブサンプラ２１３は、切換部２１４へそれぞれ接続されている。サブサンプラ２１３は、さらに、データ転送制御部２１５へも接続されている。切換部２１４は、バッファ１１０へ接続されている。データ転送制御部２１５は、バッファ２０１へ接続されている。基底関数ＲＯＭ２１６は、フィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２，水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６，垂直ローパスフィルタ２０７，垂直ハイパスフィルタ２０８，垂直ローパスフィルタ２０９へそれぞれ接続されている。

制御部１１６は、データ読取部２００，切換部２１４，データ転送制御部２１５，フィルタ係数読取部２１７と双方向に接続されていて、これらを制御するようになっている。

基底関数ＲＯＭ２１６には、Harr関数やDaubechies関数などのウェーブレット変換に用いられるフィルタ係数が記録されている。これらの内の、例えば、Harr関数におけるハイパスフィルタの係数を数式１に、ローパスフィルタの係数を数式２に、それぞれ示す。
［数１］
ハイパスフィルタ係数＝｛０．５，−０．５｝
［数２］
ローパスフィルタ係数＝｛０．５，０．５｝
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。

フィルタ係数読取部２１７は、制御部１１６の制御に基づき、基底関数ＲＯＭ２１６からフィルタ係数を読み込んで、水平ハイパスフィルタ２０２，垂直ハイパスフィルタ２０６，垂直ハイパスフィルタ２０８へハイパスフィルタ係数を、水平ローパスフィルタ２０３，垂直ローパスフィルタ２０７，垂直ローパスフィルタ２０９へローパスフィルタ係数を、それぞれ転送する。

こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部２００は、制御部１１６の制御に基づき、バッファ１０５から映像信号を読み込んで、バッファ２０１へ転送する。なお、これ以後は、バッファ１０５から読み込まれてバッファ２０１上に記憶されている映像信号を、Ｌ₀とする。

バッファ２０１上の映像信号は、水平ハイパスフィルタ２０２，水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６，垂直ローパスフィルタ２０７，垂直ハイパスフィルタ２０８，垂直ローパスフィルタ２０９によって水平および垂直方向のフィルタリング処理がなされる。

ここで、サブサンプラ２０４，サブサンプラ２０５は、入力映像信号を水平方向に１／２にサブサンプリングし、サブサンプラ２１０，サブサンプラ２１１，サブサンプラ２１２，サブサンプラ２１３は入力映像信号を垂直方向に１／２にサブサンプリングする。

従って、サブサンプラ２１０の出力は水平垂直両方向の高周波成分Ｈhv₁を、サブサンプラ２１１の出力は水平方向の高周波成分Ｈh₁を、サブサンプラ２１２の出力は垂直方向の高周波成分Ｈv₁を、サブサンプラ２１３の出力は低周波成分Ｌ₁を、それぞれ与えることになる。

切換部２１４は、制御部１１６の制御に基づき、上記３つの高周波成分Ｈhv₁，Ｈh₁，Ｈv₁と低周波成分Ｌ₁とを、バッファ１１０へ順次転送する。

また、データ転送制御部２１５は、制御部１１６の制御に基づき、サブサンプラ２１３からの低周波成分Ｌ₁をバッファ２０１へ転送する。

こうしてバッファ２０１上に記憶された低周波成分Ｌ₁は、上述と同様のフィルタリング処理により２段階目の分解が行われて、３つの高周波成分Ｈhv₂，Ｈh₂，Ｈv₂と低周波成分Ｌ₂とが出力される。

上述したような過程は、制御部１１６により所定のｎ段階の分解が行われるまで反復されるように制御される。ｎ段階の分解が終了すると、バッファ１１０には、高周波成分Ｈhv_i，Ｈh_i，Ｈv_iおよび低周波成分Ｌ_i（ｉ＝１〜ｎ）が保存されることになる。

続いて、図３を参照して、補正係数算出部１１１の構成の一例について説明する。

この補正係数算出部１１１は、輝度レベル算出部３００と、階調定数項算出部３０１と、階調情報付与部３０２と、階調補正係数用テーブル３０３と、ゲイン算出部３０４と、ノイズ定数項算出部３０５と、ノイズ情報付与部３０６と、ノイズ補正係数用テーブル３０７と、エッジ強調量算出部３０８と、エッジ定数項算出部３０９と、エッジ情報付与部３１０と、エッジ補正係数用テーブル３１１と、を含んでいる。

バッファ１１０は、階調補正係数用テーブル３０３とノイズ補正係数用テーブル３０７とへそれぞれ接続されている。階調補正係数用テーブル３０３，ノイズ補正係数用テーブル３０７，エッジ補正係数用テーブル３１１は、補正処理部１１２へそれぞれ接続されている。輝度レベル算出部３００は、階調定数項算出部３０１へ接続されている。階調定数項算出部３０１および階調情報付与部３０２は、階調補正係数用テーブル３０３へそれぞれ接続されている。ゲイン算出部３０４は、ノイズ定数項算出部３０５へ接続されている。ノイズ定数項算出部３０５およびノイズ情報付与部３０６は、ノイズ補正係数用テーブル３０７へそれぞれ接続されている。エッジ強調量算出部３０８は、エッジ定数項算出部３０９へ接続されている。エッジ定数項算出部３０９およびエッジ情報付与部３１０は、エッジ補正係数用テーブル３１１へそれぞれ接続されている。

これらの内の、輝度レベル算出部３００は階調補正係数算出手段，階調情報取得手段，輝度レベル算出手段を兼ねたもの、階調定数項算出部３０１は階調補正係数算出手段，階調情報取得手段，階調定数項算出手段を兼ねたもの、階調情報付与部３０２は階調補正係数算出手段，階調情報付与手段を兼ねたもの、階調補正係数用テーブル３０３は階調補正係数算出手段，階調補正係数用テーブル手段を兼ねたもの、ゲイン算出部３０４はノイズ補正係数算出手段，ノイズ情報取得手段，ゲイン算出手段を兼ねたもの、ノイズ定数項算出部３０５はノイズ補正係数算出手段，ノイズ情報取得手段，ノイズ定数項算出手段を兼ねたもの、ノイズ情報付与部３０６はノイズ補正係数算出手段，ノイズ情報付与手段を兼ねたもの、ノイズ補正係数用テーブル３０７はノイズ補正係数算出手段，ノイズ補正係数用テーブル手段を兼ねたもの、エッジ強調量算出部３０８はエッジ補正係数算出段，エッジ情報取得手段，エッジ強調量算出手段を兼ねたもの、エッジ定数項算出部３０９はエッジ補正係数算出段，エッジ情報取得手段，エッジ定数項算出手段を兼ねたもの、エッジ情報付与部３１０はエッジ補正係数算出段，エッジ情報付与手段を兼ねたもの、エッジ補正係数用テーブル３１１はエッジ補正係数算出段，エッジ補正係数用テーブル手段を兼ねたものである。

制御部１１６は、輝度レベル算出部３００，階調定数項算出部３０１，階調情報付与部３０２，階調補正係数用テーブル３０３，ゲイン算出部３０４，ノイズ定数項算出部３０５，ノイズ情報付与部３０６，ノイズ補正係数用テーブル３０７，エッジ強調量算出部３０８，エッジ定数項算出部３０９，エッジ情報付与部３１０，エッジ補正係数用テーブル３１１と双方向に接続されていて、これらを制御するようになっている。

次に、このような補正係数算出部１１１の作用について説明する。

輝度レベル算出部３００は、制御部１１６から撮影時のシャッタ速度および絞り値を読み込んで、これらの情報に基づいてＥＶ（Exposure Value）を算出する。そして、輝度レベル算出部３００は、算出したＥＶに基づいて、撮影時の輝度レベルを、平均レベル（１０ＥＶ以上）、薄暮レベル（５ＥＶ〜９ＥＶ）、暗レベル（４ＥＶ以下）に分類する。その後、輝度レベル算出部３００は、上記分類結果を階調定数項算出部３０１へ転送する。

階調定数項算出部３０１は、制御部１１６の制御に基づき、輝度レベル算出部３００から撮影時の輝度レベルの分類結果を読み込んで、この分類結果に基づき視覚系の順応モデルに用いられる定数項の値を設定して、設定した定数項を階調補正係数用テーブル３０３へ転送する。

ここに、視覚系の順応モデルとは、網膜がある外界の輝度レベルから異なる輝度レベルへと感度を変化させる過程をモデル化したものである。これは、一様な視野における順応と複雑な視野における順応との２つを含むモデル化となっている。前者は、一様な輝度レベルの外界において、一様さを保ったまま輝度レベルが変化する場合の順応をモデル化するものである。また、後者は、不均一な輝度レベルの外界において、視線を移動させることにより網膜中心窩に結像される輝度レベルが変化する場合の順応をモデル化するものである。なお、前者の一様な視野における順応はスペースインバリアントなモデルになり、後者の複雑な視野における順応はスペースバリアントなモデルになる。従って、両方を含む順応モデルは、スペースバリアントなモデルとなる。

そして、本実施形態においては、ＣＩＥＣＡＭ０２に規定される視覚系の順応モデルを用いるようになっており、この順応モデルに用いられる定数項はｃ1 ，ｃ2 である。このとき、階調定数項算出部３０１は、ＣＩＥＣＡＭ０２の規格に準拠した値として、撮影時の輝度レベルが平均（Average）レベルの場合にはｃ1 ＝０．６９を、薄暮（Dim）レベルの場合にはｃ1 ＝０．５９を、暗（Dark）レベルの場合にはｃ1 ＝０．５２５を、それぞれ設定するようになっている。また、別の定数項ｃ2 は、撮影時の輝度レベルに依存することなく、ｃ2 ＝１．４８を用いる。

また、階調情報付与部３０２は、撮影時のシャッタ速度と絞り値との少なくとも一方が不明であるために定数項ｃ1 ，ｃ2 の値を設定することができなかった場合には、標準的な値、例えば、撮影時の輝度レベルが平均レベルの場合に対応するｃ1 ＝０．６９，ｃ2 ＝１．４８を階調補正係数用テーブル３０３へ転送する。

階調補正係数用テーブル３０３は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉの低周波成分Ｌ_i（ｘ，ｙ）（ここに、ｘはｘ方向の座標位置、ｙはｙ方向の座標位置をそれぞれ示している。）を画素単位で順次読み込んで、階調定数項算出部３０１または階調情報付与部３０２により設定された定数項ｃ1 ，ｃ2 の値に対応する階調補正係数Ｔ_i（ｘ，ｙ）を出力する。

ここに、階調補正係数用テーブル３０３は、視覚系の順応モデルに基づき構築されたものである。例えば、上述したようなＣＩＥＣＡＭ０２における視覚系の順応後の明度（lightness）Ｊは、次の数式３により与えられる。
［数３］

なお、この数式３において、Ａは被写体の無彩色応答（achromatic response）を、Ａｗは白色点の無彩色応答（achromatic response）を、ｃ1 は非線形の定数項（exponential nonlinarity）を、ｃ2 は定数項を、Ｙｂは背景の三刺激値（tristimulus value）を、Ｙｗは白色点の三刺激値（tristimulus value）を、それぞれ意味している。

このような数式３に基づき、分解の段階数ｉの低周波成分Ｌ_i（ｘ，ｙ）が視覚系の順応によりＬ’_i（ｘ，ｙ）に変化したとする。この変化を次の数式４により定義する。
［数４］

この数式４において、Ｄ_maxは映像信号の階調幅の最大値を、ｃ1 ，ｃ2 は定数項を意味している。

このときには、視覚系の順応における階調補正係数Ｔ_i（ｘ，ｙ）は、次の数式５に基づき算出される。
［数５］

図４は、数式５に基づき三種類の定数項ｃ1 に対して算出された、低周波成分Ｌ_i（ｘ，ｙ）と階調補正係数Ｔ_i（ｘ，ｙ）との間の視覚系の順応モデルを示している。

階調補正係数用テーブル３０３は、この図４に示すような視覚系の順応モデルを記録したテーブルである。階調補正係数用テーブル３０３からの階調補正係数Ｔ_i（ｘ，ｙ）は、補正処理部１１２へ順次転送される。

なお、上述では、ＣＩＥＣＡＭ０２における順応モデルを用いているが、このような構成に限定されるものではない。例えば、より算出が容易なＲＬＡＢモデルなどを用いる構成であっても構わないし、あるいは、イメージ・アピアランス・モデル（Image Appearance Model）などの複雑なモデルを用いる構成を採用することも可能である。

一例として、ＲＬＡＢモデルでは、順応後の明度（lightness）Ｊは、次の数式６により与えられる。
［数６］

この数式６において、Ｙ_refは被写体の標準観察条件下での三刺激値（tristimulus value）を表している。また、σは定数項であり、撮影時の輝度レベルが平均（Average）レベルの場合にはσ＝１／２．３を、薄暮（Dim）レベルの場合にはσ＝１／２．９を、暗（Dark）レベルの場合にはσ＝１／３．５を、それぞれ用いるようになっている。

このような数式６に基づき、分解の段階数ｉの低周波成分Ｌ_i（ｘ，ｙ）が視覚系の順応によりＬ’_i（ｘ，ｙ）に変化したとする。この変化を次の数式７により定義する。
［数７］

この数式７において、Ｄ_maxは映像信号の階調幅の最大値を、σは定数項を意味している。

このときには、視覚系の順応における階調補正係数Ｔ_i（ｘ，ｙ）は、次の数式８に基づき算出される。
［数８］

図３に沿った説明に戻って、ゲイン算出部３０４は、制御部１１６からＩＳＯ感度と露光条件に関する情報とを読み込んで、増幅部１０３における増幅量を求め、ゲイン値ｇとしてノイズ定数項算出部３０５へ転送する。

ノイズ定数項算出部３０５は、ゲイン算出部３０４からのゲイン値ｇと、制御部１１６を介して得られる温度センサ１１８からのＣＣＤ１０２の温度値ｔと、に基づいて、ノイズ量の推定モデルに用いられる定数項α_gt，β_gt，γ_gtの値を設定して、設定した各定数項α_gt，β_gt，γ_gtをノイズ補正係数用テーブル３０７へ転送する。

また、ノイズ情報付与部３０６は、ゲイン情報と温度情報との少なくとも一方が不明であるために定数項α_gt，β_gt，γ_gtの値を設定することができなかった場合には、標準的なゲイン値および標準的な温度値に対応する各定数項α_gt，β_gt，γ_gtを、ノイズ補正係数用テーブル３０７へ転送する。

ノイズ補正係数用テーブル３０７は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉの低周波成分Ｌ_i（ｘ，ｙ）を画素単位で順次読み込んで、ノイズ定数項算出部３０５またはノイズ情報付与部３０６により設定された定数項α_gt，β_gt，γ_gtに対応するノイズ補正係数Ｎ_i（ｘ，ｙ）を出力する。

ノイズ補正係数用テーブル３０７は、例えば特開２００４−７２４２２号公報に開示されているようなノイズ量の推定モデルに基づき構築されたものである。このノイズ量の推定モデルによれば、信号レベルＬとノイズ量Ｎとの関係が、温度値をｔ、ゲイン値をｇとした場合に、次の数式９に示すような２次関数によりモデル化される。
［数９］
Ｎ＝α_gtＬ²＋β_gtＬ＋γ_gt
この数式９におけるα_gt，β_gt，γ_gtは、上述したように、温度値ｔおよびゲイン値ｇにより定まる定数項である。

このような数式９に基づいて、分解の段階数ｉの低周波成分Ｌ_i（ｘ，ｙ）に対応するノイズ補正係数Ｎ_i（ｘ，ｙ）の関係を、次の数式１０により定義する。
［数１０］
Ｎ_i（ｘ，ｙ）＝α_gtＬ_i（ｘ，ｙ）²＋β_gtＬ_i（ｘ，ｙ）＋γ_gt

図５は、数式１０に基づき三種類のゲイン値ｇおよび三種類の温度値ｔに対して算出された、低周波成分Ｌ_i（ｘ，ｙ）とノイズ補正係数Ｎ_i（ｘ，ｙ）との間のノイズ量の推定モデルを示している。

ノイズ補正係数用テーブル３０７は、この図５に示すようなノイズ量の推定モデルを記録したテーブルである。ノイズ補正係数用テーブル３０７からのノイズ補正係数Ｎ_i（ｘ，ｙ）は、補正処理部１１２へ順次転送される。

エッジ強調量算出部３０８は、撮影時に外部Ｉ／Ｆ部１１７を介して設定されたエッジ強調量とＩＳＯ感度とを制御部１１６から読み込んで、エッジ強調のレベルを設定し、エッジ定数項算出部３０９へ転送する。

エッジ定数項算出部３０９は、制御部１１６の制御に基づき、エッジ強調量算出部３０８からエッジ強調のレベルを読み込んで、読み込んだレベルに基づきエッジの強調モデルに用いられる定数項ｇ，δ，ε，ζの値を設定する。そして、エッジ定数項算出部３０９は、設定した定数項ｇ，δ，ε，ζをエッジ補正係数用テーブル３１１へ転送する。

また、エッジ情報付与部３１０は、エッジ強調量とＩＳＯ感度情報との少なくとも一方が不明であるために定数項ｇ，δ，ε，ζの値を設定することができなかった場合には、標準的なエッジ強調量および標準的なＩＳＯ感度に対応する定数項ｇ，δ，ε，ζを、エッジ補正係数用テーブル３１１へ転送する。

エッジ補正係数用テーブル３１１は、制御部１１６の制御に基づき、該制御部１１６から分解の段階数ｉを読み込んで、エッジ定数項算出部３０９またはエッジ情報付与部３１０により設定された定数項ｇ，δ，ε，ζに対応するエッジ補正係数Ｅ_i（ｘ，ｙ）を出力する。

エッジ補正係数用テーブル３１１は、エッジの強調モデルに基づき構築されたものである。このエッジの強調モデルによれば、分解の段階数ｉとエッジ補正係数Ｅ_i（ｘ，ｙ）との関係が、次の数式１１により定義される。
［数１１］
Ｅ_i（ｘ，ｙ）＝ｇ（δｉ²＋εｉ＋ζ）

図６は、数式１１に基づき三種類のエッジ強調レベルに対して算出された、分解の段階数ｉとエッジ補正係数Ｅ_i（ｘ，ｙ）との間のエッジの強調モデルを示している。

エッジ補正係数用テーブル３１１は、この図６に示すようなエッジの強調モデルを記録したテーブルである。このエッジ補正係数用テーブル３１１からのエッジ補正係数Ｅ_i（ｘ，ｙ）は、補正処理部１１２へ順次転送される。

図７を参照して、補正処理部１１２の構成の一例について説明する。

この補正処理部１１２は、切換部４００と、加算部４０１と、減算部４０２と、置換部４０３と、乗算部４０４と、標準値付与部４０５と、乗算係数算出部４０６と、乗算係数補正部４０７と、上限値算出部４０８と、を含んでいる。

補正係数算出部１１１は、切換部４００，加算部４０１，減算部４０２，乗算係数算出部４０６へそれぞれ接続されている。標準値付与部４０５は、切換部４００，加算部４０１，減算部４０２，乗算係数算出部４０６へそれぞれ接続されている。バッファ１１０は、切換部４００へ接続されている。切換部４００は、加算部４０１，減算部４０２，置換部４０３へそれぞれ接続されている。加算部４０１，減算部４０２，置換部４０３は、乗算部４０４へそれぞれ接続されている。乗算部４０４は、バッファ１１０へ接続されている。乗算係数算出部４０６および上限値算出部４０８は、乗算係数補正部４０７へそれぞれ接続されている。乗算係数補正部４０７は、乗算部４０４へ接続されている。

これらの内の、加算部４０１，減算部４０２，置換部４０３はコアリング手段を構成し、乗算部４０４は乗算手段、標準値付与部４０５は標準値付与手段、乗算係数算出部４０６は乗算係数算出手段、乗算係数補正部４０７は乗算係数補正手段、上限値算出部４０８は上限値算出手段である。

また、制御部１１６は、切換部４００，加算部４０１，減算部４０２，置換部４０３，乗算部４０４，標準値付与部４０５，乗算係数算出部４０６，乗算係数補正部４０７，上限値算出部４０８と双方向に接続されていて、これらを制御するようになっている。

次に、このような補正処理部１１２の作用について説明する。

補正係数算出部１１１からのノイズ補正係数Ｎ_i（ｘ，ｙ）は、切換部４００，加算部４０１，減算部４０２へそれぞれ転送される。また、補正係数算出部１１１からの階調補正係数Ｔ_i（ｘ，ｙ）およびエッジ補正係数Ｅ_i（ｘ，ｙ）は、乗算係数算出部４０６へ転送される。

一方、標準値付与部４０５は、制御部１１６の制御に基づき、階調補正係数Ｔ_i（ｘ，ｙ），ノイズ補正係数Ｎ_i（ｘ，ｙ），エッジ補正係数Ｅ_i（ｘ，ｙ）の何れかが転送されない場合に、代理となる標準値を、切換部４００，加算部４０１，減算部４０２，乗算係数算出部４０６へ必要に応じて転送する。

切換部４００は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉに対応する三種類の高周波成分Ｈhv_i（ｘ，ｙ），Ｈh_i（ｘ，ｙ），Ｈv_i（ｘ，ｙ）を読み込むとともに、補正係数算出部１１１または標準値付与部４０５からノイズ補正係数Ｎ_i（ｘ，ｙ）を読み込む。上述した三種類の高周波成分Ｈhv_i（ｘ，ｙ），Ｈh_i（ｘ，ｙ），Ｈv_i（ｘ，ｙ）に対する処理は同一であるために、これ以後は、三種類の高周波成分をＨ_i（ｘ，ｙ）により統一的に表記する。

そして、切換部４００は、高周波成分Ｈ_i（ｘ，ｙ）をノイズ補正係数Ｎ_i（ｘ，ｙ）と比較して、−Ｎ_i（ｘ，ｙ）＞Ｈ_i（ｘ，ｙ）である場合には加算部４０１へ、Ｈ_i（ｘ，ｙ）＞Ｎ_i（ｘ，ｙ）である場合には減算部４０２へ、Ｎ_i（ｘ，ｙ）≧Ｈ_i（ｘ，ｙ）≧−Ｎ_i（ｘ，ｙ）である場合には置換部４０３へ、高周波成分Ｈ_i（ｘ，ｙ）を転送する。

加算部４０１は、制御部１１６の制御に基づき、切換部４００から高周波成分Ｈ_i（ｘ，ｙ）が転送された場合に、補正係数算出部１１１または標準値付与部４０５からノイズ補正係数Ｎ_i（ｘ，ｙ）を読み込んで、高周波成分Ｈ_i（ｘ，ｙ）にノイズ補正係数Ｎ_i（ｘ，ｙ）を加算処理し、補正後の高周波成分Ｈ'_i（ｘ，ｙ）を乗算部４０４へ転送する。

また、減算部４０２は、制御部１１６の制御に基づき、切換部４００から高周波成分Ｈ_i（ｘ，ｙ）が転送された場合に、補正係数算出部１１１または標準値付与部４０５からノイズ補正係数Ｎ_i（ｘ，ｙ）を読み込んで、高周波成分Ｈ_i（ｘ，ｙ）からノイズ補正係数Ｎ_i（ｘ，ｙ）を減算処理し、補正後の高周波成分Ｈ'_i（ｘ，ｙ）を乗算部４０４へ転送する。

そして、置換部４０３は、制御部１１６の制御に基づき、切換部４００から高周波成分Ｈ_i（ｘ，ｙ）が転送された場合に、高周波成分Ｈ_i（ｘ，ｙ）を０に置換処理し、補正後の高周波成分Ｈ'_i（ｘ，ｙ）を乗算部４０４へ転送する。

このような３通りの処理は、次の数式１２により示される。
［数１２］

乗算係数算出部４０６は、制御部１１６の制御に基づき、補正係数算出部１１１からの階調補正係数Ｔ_i（ｘ，ｙ）とエッジ補正係数Ｅ_i（ｘ，ｙ）とを読み込んで、次の数式１３に示すように両者を乗算することにより乗算係数ｋを算出し、算出した乗算係数ｋを乗算係数補正部４０７へ転送する。
［数１３］

また、上限値算出部４０８は、制御部１１６の制御に基づき、該制御部１１６から分解の段階数ｉを読み込んで、分解の段階数ｉに基づき乗算係数の上限値を設定し、設定した上限値を乗算係数補正部４０７へ転送する。この上限値は、スペースバリアント処理における局所領域の連続性を維持するためのものであり、分解の段階数が多くなるにつれて、すなわち、より低周波域になるにつれて、該上限値が低くなるように設定される。

乗算係数補正部４０７は、乗算係数算出部４０６からの乗算係数と、上限値算出部４０８からの上限値とを比較して、乗算係数が上限値を超える場合にのみ、該乗算係数を上限値に置換する補正を行う。乗算係数補正部４０７は、補正した乗算係数ｋ’を、乗算部４０４へ転送する。

乗算部４０４は、制御部１１６の制御に基づき、加算部４０１，減算部４０２，置換部４０３によって数式１２に示したようなコアリング処理がなされた高周波成分Ｈ'_i（ｘ，ｙ）と、乗算係数補正部４０７からの補正された乗算係数ｋ’とを、次の数式１４に示すように乗算処理する。
［数１４］

乗算部４０４により乗算処理された後の高周波成分Ｈ"_i（ｘ，ｙ）は、バッファ１１０へ転送されて、補正前の高周波成分Ｈ_i（ｘ，ｙ）と置換される。

次に、図８を参照して、多重解像度合成部１１３の構成の一例について説明する。

この多重解像度合成部１１３は、データ読取部５００と、切換部５０１と、アップサンプラ５０２と、アップサンプラ５０３と、アップサンプラ５０４と、アップサンプラ５０５と、垂直ハイパスフィルタ５０６と、垂直ローパスフィルタ５０７と、垂直ハイパスフィルタ５０８と、垂直ローパスフィルタ５０９と、アップサンプラ５１０と、アップサンプラ５１１と、水平ハイパスフィルタ５１２と、水平ローパスフィルタ５１３と、バッファ５１４と、データ転送制御部５１５と、基底関数ＲＯＭ５１６と、フィルタ係数読取部５１７と、を含んでいる。

バッファ１１０は、データ読取部５００を介して切換部５０１へ接続されている。切換部５０１は、アップサンプラ５０２とアップサンプラ５０３とアップサンプラ５０４とアップサンプラ５０５とへそれぞれ接続されている。アップサンプラ５０２は垂直ハイパスフィルタ５０６へ、アップサンプラ５０３は垂直ローパスフィルタ５０７へ、アップサンプラ５０４は垂直ハイパスフィルタ５０８へ、アップサンプラ５０５は垂直ローパスフィルタ５０９へ、それぞれ接続されている。垂直ハイパスフィルタ５０６と垂直ローパスフィルタ５０７とは、アップサンプラ５１０へそれぞれ接続されている。垂直ハイパスフィルタ５０８と垂直ローパスフィルタ５０９とは、アップサンプラ５１１へそれぞれ接続されている。アップサンプラ５１０は水平ハイパスフィルタ５１２へ、アップサンプラ５１１は水平ローパスフィルタ５１３へ、それぞれ接続されている。水平ハイパスフィルタ５１２と水平ローパスフィルタ５１３とは、バッファ５１４へそれぞれ接続されている。バッファ５１４は、信号処理部１１４とデータ転送制御部５１５とへそれぞれ接続されている。データ転送制御部５１５は、切換部５０１へ接続されている。基底関数ＲＯＭ５１６は、フィルタ係数読取部５１７へ接続されている。フィルタ係数読取部５１７は、垂直ハイパスフィルタ５０６と垂直ローパスフィルタ５０７と垂直ハイパスフィルタ５０８と垂直ローパスフィルタ５０９と水平ハイパスフィルタ５１２と水平ローパスフィルタ５１３とへそれぞれ接続されている。

制御部１１６は、データ読取部５００，切換部５０１，データ転送制御部５１５，フィルタ係数読取部５１７と双方向に接続されていて、これらを制御するようになっている。

続いて、このような多重解像度合成部１１３の作用について説明する。

基底関数ＲＯＭ５１６には、Harr関数やDaubechies関数などの逆ウェーブレット変換に用いられるフィルタ係数が記録されている。

フィルタ係数読取部５１７は、制御部１１６の制御に基づき、基底関数ＲＯＭ５１６からフィルタ係数を読み込んで、垂直ハイパスフィルタ５０６，垂直ハイパスフィルタ５０８，水平ハイパスフィルタ５１２へハイパスフィルタ係数を、垂直ローパスフィルタ５０７，垂直ローパスフィルタ５０９，水平ローパスフィルタ５１３へローパスフィルタ係数を、それぞれ転送する。

こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部５００は、制御部１１６の制御に基づき、バッファ１１０から数式１４に示したような補正処理がなされた三種類の高周波成分Ｈhv"_n，Ｈh"_n，Ｈv"_nおよび低周波成分Ｌ_nを読み込んで、切換部５０１へ転送する。

切換部５０１は、制御部１１６の制御に基づき、高周波成分Ｈhv"_nをアップサンプラ５０２を介して垂直ハイパスフィルタ５０６へ、高周波成分Ｈh"_nをアップサンプラ５０３を介して垂直ローパスフィルタ５０７へ、高周波成分Ｈv"_nをアップサンプラ５０４を介して垂直ハイパスフィルタ５０８へ、低周波成分Ｌ_nをアップサンプラ５０５を介して垂直ローパスフィルタ５０９へ、それぞれ転送し、垂直方向のフィルタリング処理を実行させる。

さらに、垂直ハイパスフィルタ５０６および垂直ローパスフィルタ５０７からの周波数成分はアップサンプラ５１０を介して水平ハイパスフィルタ５１２へ、垂直ハイパスフィルタ５０８および垂直ローパスフィルタ５０９からの周波数成分はアップサンプラ５１１を介して水平ローパスフィルタ５１３へ、それぞれ転送されて、水平方向のフィルタリング処理がなされる。

水平ハイパスフィルタ５１２および水平ローパスフィルタ５１３からの周波数成分は、バッファ５１４へ転送されて一つに合成されることにより、補正処理がなされた低周波成分Ｌ"_n-1が生成される。

ここで、アップサンプラ５０２，アップサンプラ５０３，アップサンプラ５０４，アップサンプラ５０５は入力周波数成分を垂直方向に２倍にアップサンプリングするものであり、アップサンプラ５１０，アップサンプラ５１１は入力周波数成分を水平方向に２倍にアップサンプリングするものである。

データ転送制御部５１５は、制御部１１６の制御に基づき、バッファ５１４から低周波成分Ｌ"_n-1を読み出して、読み出した低周波成分Ｌ"_n-1を切換部５０１へ転送する。

また、データ読取部５００は、制御部１１６の制御に基づき、バッファ１１０から補正処理がなされた三種類の高周波成分Ｈhv"_n-1，Ｈh"_n-1，Ｈv"_n-1を読み込んで、切換部５０１へ転送する。

その後、分解の段階数ｎ−１の周波数成分に対して、上述と同様のフィルタリング処理がなされ、低周波成分Ｌ"_n-2がバッファ５１４へ出力される。このような過程は、制御部１１６の制御に基づいて、所定のｎ段階の合成が行われるまで反復される。

こうしてバッファ５１４には、最終的に、補正処理がなされた低周波成分Ｌ”₀が出力される。そしてバッファ５１４は、この低周波成分Ｌ”₀を、補正処理がなされた映像信号として信号処理部１１４へ転送する。

なお、上述では、階調補正処理およびノイズ低減処理が局所領域毎に異なって行われるスペースバリアントな処理であり、エッジ強調処理が画面全体で一様に行われるスペースインバリアントな処理であったが、このような構成に限定される必要はない。例えば、数式５に代えて数式１５に示すような階調補正係数Ｔ_i（ｘ，ｙ）を用いる構成を採用することも可能である。
［数１５］

この数式１５において、Ｌは目標となる所定の輝度レベル、Ｌ_avは低周波成分Ｌ_i（ｘ，ｙ）の平均値を意味している。

この数式１５に示すような階調補正係数Ｔ_i（ｘ，ｙ）を用いることにより、階調補正処理を、画面全体で一様に行われるスペースインバリアントな処理にすることができる。

また、エッジ強調処理において、暗部などのノイズの影響を低減するために、信号レベルに応じてエッジ強調量Ｅ_i（ｘ，ｙ）を変化させることにより、エッジ強調処理を局所領域毎に異なるスペースバリアントな処理にすることもできる。

このように、各処理の構成は、処理時間と画質とを考慮して、自由に設定することが可能である。

また、上述においては、画像処理システムとしてデジタルカメラを例に挙げていたために、図１に示したように、画像処理システムは、レンズ系１００，絞り１０１，ＣＣＤ１０２，増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサ１１８を含む撮像部が一体化して構成されていた。

しかし、画像処理システムとしては、このような構成に限定される必要はない。例えば、図９に示すように、撮像部が別体であっても構わない。すなわち、図９に示す画像処理システムは、別体の撮像部により撮像され、未処理のＲａｗデータの形態でメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、撮影時の撮像素子の温度，露光条件，画像処理条件などの付随情報が、ヘッダ部等として記録媒体に記録されているものとする。なお、別体の撮像部から画像処理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図９に示す画像処理システムは、図１に示した画像処理システムから、レンズ系１００，絞り１０１，ＣＣＤ１０２，増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサ１１８を省略して、入力部６００，ヘッダ情報解析部６０１を追加した構成となっている。この図９に示す画像処理システムにおけるその他の基本的な構成は、図１に示したものと同様であるために、同一の構成には同一の名称と符号を付して適宜説明を省略し、主として異なる部分についてのみ説明する。

入力部６００は、バッファ１０５とヘッダ情報解析部６０１とへそれぞれ接続されている。また、制御部１１６は、入力部６００，ヘッダ情報解析部６０１とも双方向に接続されていて、これらを制御するようになっている。

次に、この図９に示す画像処理システムにおいて異なる作用は、以下のようになっている。

例えばマウスやキーボードなどの外部Ｉ／Ｆ部１１７を介して処理操作を開始すると、メモリカード等の記録媒体に保存された映像信号およびヘッダ情報が、入力部６００を介して読み込まれる。

入力部６００から読み込まれた情報の内の、映像信号はバッファ１０５へ、ヘッダ情報はヘッダ情報解析部６０１へ、それぞれ転送される。

ヘッダ情報解析部６０１は、入力部６００から転送されたヘッダ情報に基づき、撮影時の情報（すなわち、上述したような撮影時の撮像素子の温度，露光条件，画像処理条件など）を抽出して制御部１１６へ転送する。

これ以後の処理は、図１に示したような画像処理システムと同様である。

さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１６からの撮影時の撮像素子の温度，露光条件，画像処理条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図１０を参照して、画像処理プログラムによる処理のメインルーチンを説明する。

この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件、画像処理条件などのヘッダ情報を読み込む（ステップＳ１）。

次に、分解の段階数を示す変数ｉを０に初期化する（ステップＳ２）。

そして、分解の段階数ｉを１増分する（ステップＳ３）。

続いて、分解の段階数ｉの解像度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ４）。

また、後で図１１を参照して説明するように、各種の画像処理に用いるための階調補正係数，ノイズ補正係数，エッジ補正係数をそれぞれ算出する（ステップＳ５）。

その後、数式１３に示したように階調補正係数とエッジ補正係数とを乗算することにより、乗算係数を算出する（ステップＳ６）。

次に、分解の段階数ｉに基づいて乗算係数に関する上限値を設定し、設定した上限値を用いて乗算係数を補正する（ステップＳ７）。

続いて、分解の段階数ｉの高周波成分に対して、数式１２に示したようなコアリング処理を行う（ステップＳ８）。

こうしてコアリング処理がなされた分解の段階数ｉの高周波成分に対して、数式１４に示したような乗算処理を行う（ステップＳ９）。

そして、分解の段階数ｉにおける乗算処理後の高周波成分を出力する（ステップＳ１０）。

その後、分解の段階数ｉが、規定のｎ以下であるか否かを判定し（ステップＳ１１）、ｎ以下である場合には、上記ステップＳ３へ戻って次の分解の段階数について上述したような処理を繰り返して行う。

また、分解の段階数ｉが規定のｎを超えたと判定された場合には、低周波成分を出力する（ステップＳ１２）。

そして、補正処理がなされた高周波成分と低周波成分とを用いて、ｎ段階の多重解像度合成を行い、補正された映像信号を生成する（ステップＳ１３）。

その後、公知の圧縮処理などを行い（ステップＳ１４）、処理後の映像信号を出力して（ステップＳ１５）、この一連の処理を終了する。

次に、図１１を参照して、上記図１０のステップＳ５における補正係数算出の処理について説明する。

図１０のステップＳ５においてこの処理が開始されると、まず、ヘッダ情報中の露光条件に基づいて、撮影時のＥＶ（Exposure Value）を輝度レベルとして算出する（ステップＳ２０）。

次に、輝度レベルを分類し、その分類結果に基づいて、視覚系の順応モデルに用いられる定数項の値を設定する（ステップＳ２１）。ただし、ヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

続いて、数式５に基づき構築された階調補正係数用テーブルを読み込んで（ステップＳ２２）、階調補正係数を出力する（ステップＳ２３）。

また、ヘッダ情報中の露光条件に基づいて、撮影時の映像信号に対するゲインを求める（ステップＳ２４）。

そして、求めたゲインとヘッダ情報中の撮像素子の温度情報とに基づいて、ノイズ量の推定モデルに用いられる定数項の値を設定する（ステップＳ２５）。ただし、ヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

その後、数式１０に基づいて構築されたノイズ補正係数用テーブルを読み込んで（ステップＳ２６）、ノイズ補正係数を出力する（ステップＳ２７）。

さらに、ヘッダ情報中の画像処理条件に基づいてエッジ強調量を求める（ステップＳ２８）。

そして、エッジ強調量とヘッダ情報中のＩＳＯ感度とに基づいて、エッジの強調モデルに用いられる定数項の値を設定する（ステップＳ２９）。ただし、ヘッダ情報に必要なパラメータが存在しない場合には、所定の標準値を割り当てる処理を行う。

また、数式１１に基づいて構築されたエッジ補正係数用テーブルを読み込んで（ステップＳ３０）、エッジ補正係数を出力し（ステップＳ３１）、この処理から図１０に示した処理に復帰する。

このような実施形態１によれば、スペースバリアントな各種の画像処理を行うことが可能となり、高品位な映像信号を得ることができる。

また、画像処理を行う際に、多重解像度分解を利用しているために、スペースバリアント処理と局所領域間の連続性の維持とを一体化することができ、かつ処理時間の短縮を図ることも可能となる。特に、本実施形態においてはウェーブレット変換を用いているが、このウェーブレット変換は多様なフィルタを利用することが可能であり、また方向別の高周波成分を得ることができるために、スペースバリアントな各処理に対する自由度が高く、高品位な映像信号を得ることができる。

また、各種のスペースバリアント処理に用いる補正係数をモデルに基づき算出するようにしているために、パラメータを自動的に設定することができるとともに、最適な処理を高速に行うこも可能となる。

さらに、視覚系の順応モデルに基づいて階調補正処理を行っているために最適な階調補正処理を行うことが可能となり、ノイズ量の推定モデルに基づいてノイズ低減処理を行っているために最適なノイズ低減処理を行うことが可能となり、エッジの強調モデルに基づきエッジ強調処理を行っているために最適なエッジ強調処理を行うことが可能となる。

［実施形態２］
図１２から図１９は本発明の実施形態２を示したものであり、図１２は画像処理システムの構成を示すブロック図、図１３はＹＣｂＣｒ色空間における彩度補正を説明するための図、図１４は彩度補正部の構成を示すブロック図、図１５はＹＣｂＣｒ色空間の各色相面における最大彩度値を説明するための線図、図１６は中間的な色相面における最大彩度の補間算出を説明するための線図、図１７はＣＩＥ Ｌａｂ色空間の各色相面における最大彩度値を説明するための線図、図１８は画像処理プログラムによる信号処理全体の流れを示すフローチャート、図１９は図１８のステップＳ４１における彩度補正の処理の詳細を示すフローチャートである。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

まず、図１２を参照して、この画像処理システムの構成について説明する。図１２に示す画像処理システムは、本発明の画像処理システムをデジタルカメラに適用した例となっている。

この図１２に示す画像処理システムは、上述した実施形態１の図１に示した画像処理システムを一部変更したものとなっている。すなわち、この画像処理システムは、図１に示した画像処理システムに、プレホワイトバランス部７０１とＹ／Ｃ分離手段たるＹ／Ｃ分離部７０２とバッファ７０３と彩度補正手段たる彩度補正部７０７とＹ／Ｃ合成手段たるＹ／Ｃ合成部７０８とを追加し、ＣＣＤ１０２，多重解像度分解部１０９，補正処理部１１２，多重解像度合成部１１３をカラーＣＣＤ７００，多重解像度分解手段たる多重解像度分解部７０４，補正処理手段たる輝度補正処理部７０５，多重解像度合成手段たる多重解像度合成部７０６にそれぞれ置換した構成になっている。その他の基本的な構成は実施形態１と同様であって、同一の構成には同一の名称と符号を付している。

以下、主として異なる部分のみを説明する。

レンズ系１００，絞り１０１，カラーＣＣＤ７００を介して撮影されたカラー映像信号は、増幅部１０３へ転送されるようになっている。

バッファ１０５は、測光評価部１０６と合焦点検出部１０７とプレホワイトバランス部７０１とＹ／Ｃ分離部７０２とへそれぞれ接続されている。プレホワイトバランス部７０１は、増幅部１０３へ接続されている。Ｙ／Ｃ分離部７０２は、バッファ７０３へ接続されている。バッファ７０３は、多重解像度分解部７０４と彩度補正部７０７とへそれぞれ接続されている。多重解像度分解部７０４は、バッファ１１０へ接続されている。バッファ１１０は、補正係数算出部１１１と多重解像度合成部７０６とへそれぞれ接続されるとともに、さらに、輝度補正処理部７０５と双方向に接続されている。補正係数算出部１１１は、輝度補正処理部７０５へ接続されている。多重解像度合成部７０６は、彩度補正部７０７とＹ／Ｃ合成部７０８とへそれぞれ接続されている。彩度補正部７０７は、Ｙ／Ｃ合成部７０８へ接続されている。Ｙ／Ｃ合成部７０８は、信号処理部１１４へ接続されている。

また、カラーＣＣＤ７００の近傍に配置された温度センサ１１８からの信号は、制御部１１６へ接続されている。

そして、制御部１１６は、プレホワイトバランス部７０１，Ｙ／Ｃ分離部７０２，多重解像度分解部７０４，輝度補正処理部７０５，多重解像度合成部７０６，彩度補正部７０７，Ｙ／Ｃ合成部７０８とも双方向に接続されていて、これらを制御するようになっている。

次に、この図１２に示したような画像処理システムの作用について、映像信号の流れに沿って説明する。この実施形態２の画像処理システムの作用は、基本的に上述した実施形態１と同様であるために、主として異なる部分についてのみ説明する。

ユーザが、外部Ｉ／Ｆ部１１７の２段式スイッチでなるシャッタボタンを半押しすると、このデジタルカメラがプリ撮像モードに入る。

すると、レンズ系１００および絞り１０１を介して結像される被写体像が、カラーＣＣＤ７００により光電変換され、アナログのカラー映像信号として出力される。

このアナログのカラー映像信号は、増幅部１０３によってＩＳＯ感度やホワイトバランスを考慮した増幅が行われた後に、Ａ／Ｄ変換部１０４によりデジタルのカラー映像信号に変換されて、バッファ１０５に記憶される。

なお、本実施形態においては、カラーＣＣＤ７００として、ベイヤー（Ｂａｙｅｒ）型原色フィルタを前面に配置した単板撮像素子を想定している。また、撮像素子としては、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いても構わないことは、上述した実施形態１と同様である。

バッファ１０５内のカラー映像信号は、測光評価部１０６と、合焦点検出部１０７と、プレホワイトバランス部７０１と、へそれぞれ転送される。

これらの内のプレホワイトバランス部７０１は、バッファ１０５に記憶されているカラー映像信号の内の所定レベルの範囲内の信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部７０１は、算出した係数を増幅部１０３へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。

こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１７の２段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。

すると、プリ撮影と同様にして、カラー映像信号がバッファ１０５へ転送される。この本撮影は、プレホワイトバランス部７０１によって求められた簡易ホワイトバランス係数と、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１６へ転送される。

本撮影によって得られたバッファ１０５内のカラー映像信号は、まず、Ｙ／Ｃ分離部７０２へ転送される。

このＹ／Ｃ分離部７０２は、制御部１１６の制御に基づき、公知の補間処理によりＲ，Ｇ，Ｂの三板からなるカラー映像信号を生成する。さらに、Ｙ／Ｃ分離部７０２は、制御部１１６の制御に基づき、三板のカラー映像信号を、次の数式１６に示すように、輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ分離する。
［数１６］
Ｙ ＝ ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝ ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ

続いて、Ｙ／Ｃ分離部７０２は、制御部１１６の制御に基づき、ＹＣｂＣｒ色空間における輝度信号Ｖ，色相信号Ｈ，彩度信号Ｃを、次の数式１７に示すように算出する。
［数１７］

この数式１７を見れば分かるように、輝度信号ＶはＹＣｂＣｒ色空間のＹと等価であるために、以下では輝度信号をＶの代わりにＹで示すものとする。また、カラーＣＣＤ７００から得られたカラー映像信号をこのＹ／Ｃ分離部７０２により処理して得られた輝度信号，色相信号，彩度信号を、それぞれＹ_org，Ｈ_org，Ｃ_orgで示すものとする。こうしてＹ／Ｃ分離部７０２により生成された輝度信号Ｙ_org，色相信号Ｈ_org，彩度信号Ｃ_orgは、バッファ７０３へ転送されて記憶される。

多重解像度分解部７０４は、制御部１１６の制御に基づき、バッファ１０５に記憶されている輝度信号Ｙ_orgを読み出して、所定のｎ段階（ｎは１以上の整数）の多重解像度分解を行い、得られた高周波成分と低周波成分とを生成する。そして、多重解像度分解部７０４は、生成した高周波成分と低周波成分とを、バッファ１１０へ順次転送する。

補正係数算出部１１１は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分を読み込む。また、この補正係数算出部１１１には、制御部１１６から、シャッタ速度，絞り値，ＩＳＯ感度，ホワイトバランス係数などの画像処理に関連する情報が転送される。そして、補正係数算出部１１１は、上記低周波成分および上記関連情報と視覚系の順応モデルとに基づき階調変換処理に用いる階調補正係数を、上記低周波成分および上記関連情報とノイズ量の推定モデルとに基づきノイズ低減処理に用いるノイズ補正係数を、上記分解の段階数ｉおよび上記関連情報とエッジの強調モデルとに基づきエッジ強調処理に用いるエッジ補正係数を、それぞれ算出する。その後、補正係数算出部１１１は、算出した各補正係数を、輝度補正処理部７０５へ転送する。

輝度補正処理部７０５は、制御部１１６の制御に基づき、バッファ１１０から分解の段階数ｉの高周波成分を、補正係数算出部１１１から階調補正係数，ノイズ補正係数，エッジ補正係数を、それぞれ読み込んで、読み込んだ補正係数を用いて、上述した実施形態１の図７に示した補正処理部１１２とほぼ同様にして、上記高周波成分に補正処理を行う。この輝度補正処理部７０５は、処理対象の信号が輝度信号になる点を除いて、モノクロの映像信号を処理対象とした実施形態１の補正処理部１１２と、構成や作用はほぼ同様である。

輝度補正処理部７０５により補正された高周波成分は、バッファ１１０へ転送されて、補正前の高周波成分に上書きされる。

なお、上述したような補正係数算出部１１１および輝度補正処理部７０５における処理は、制御部１１６の制御に基づき、分解の段階数ｉ単位で同期して行われる。

このようにして、全ての分解の段階数の高周波成分に対する補正処理が完了した後に、多重解像度合成部７０６は、制御部１１６の制御に基づき、バッファ１１０から上記低周波成分および上記補正処理がなされた高周波成分を読み込んで、補正された輝度信号Ｙ_traを合成する。そして、多重解像度合成部７０６は、補正した輝度信号Ｙ_traを、彩度補正部７０７とＹ／Ｃ合成部７０８とへそれぞれ転送する。

なお、本実施形態においては、多重解像度分解処理および多重解像度合成処理に、ガウシアンフィルタおよびラプラシアンフィルタを用いた公知のガウシアンピラミッドおよびラプラシアンピラミッドの変換手法を用いることを想定している。

彩度補正部７０７は、制御部１１６の制御に基づき、バッファ７０３から輝度信号Ｙ_org，色相信号Ｈ_org，彩度信号Ｃ_orgを、多重解像度合成部７０６から補正された輝度信号Ｙ_traを、それぞれ読み込む。

そして、彩度補正部７０７は、入力時の輝度信号Ｙ_orgおよび入力時の色相信号Ｈ_orgに対する第１の最大彩度値maxＣ_orgと、補正された輝度信号Ｙ_traおよび入力時の色相信号Ｈ_orgに対する第２の最大彩度値maxＣ_traと、を算出する。

さらに、彩度補正部７０７は、算出された第１の最大彩度値maxＣ_orgと第２の最大彩度値maxＣ_traとに基づき、補正された輝度信号Ｙ_traに対応する彩度信号Ｃ_traを生成するための彩度補正係数ｋ₁を次の数式１８に基づき求める。
［数１８］

その後、彩度補正部７０７は、このようにして求めた彩度補正係数ｋ₁と、彩度強調用の所定のゲインｋ₂と、を入力時の彩度信号Ｃ_orgに乗算することにより、次の数式１９に示すように、補正された彩度信号Ｃ_traを算出する。
［数１９］

ここに、右辺の記号ｍｉｎ（ｘ，ｙ）は、ｘとｙとの大きくない方の値をとることを意味している。

この数式１９に示したように、入力時の彩度信号Ｃ_orgに彩度補正係数ｋ₁と彩度強調用のゲインｋ₂とを乗算したものが、上述した第２の最大彩度値maxＣ_traを超える場合には、彩度補正部７０７は、算出結果をmaxＣ_traに置換したものを、補正された彩度信号Ｃ_traとするようになっている。

ここで、図１３を参照して、ＹＣｂＣｒ色空間の外観形状の概要と、数式１８の補正係数ｋ₁と、について説明する。

最大彩度値maxＣの集合は、３次元空間となっているＹＣｂＣｒ色空間の外観形状（輪郭）と一致しており、２次元の閉じた面である。従って、輝度Ｙおよび色相Ｈが特定の値に定まると、ＹＣｂＣｒ色空間における最大彩度値maxＣが定まる。

このようなＹＣｂＣｒ色空間において、色相Ｈを一定に保ったまま輝度信号Ｙのみを変換する場合には、彩度信号Ｃを、上記最大彩度値maxＣに対する比率が一定となるように補正すると、違和感のない自然な色再現が得られることが研究により求められている。こうして、数式１８に示したような補正係数ｋ₁を彩度Ｃに乗算することにより、輝度信号Ｙの変更に伴う補正が行われることになる。

彩度補正部７０７は、このようにして補正した彩度信号Ｃ_traと、色相信号Ｈ_orgと、をＹ／Ｃ合成部７０８へ転送する。

Ｙ／Ｃ合成部７０８は、制御部１１６の制御に基づき、彩度補正部７０７から補正された彩度信号Ｃ_traおよび色相信号Ｈ_orgを、多重解像度合成部７０６から補正された輝度信号Ｙ_traを、それぞれ読み込む。

そして、Ｙ／Ｃ合成部７０８は、次の数式２０に示すように、補正後のＹＣｂＣｒ信号（Ｙ’Ｃｂ’Ｃｒ’信号）を求める。
［数２０］
Ｙ’ ＝Ｙ_tra
Ｃｂ’＝Ｃ_tra・ｓｉｎ（Ｈ_org）
Ｃｒ’＝Ｃ_tra・ｃｏｓ（Ｈ_org）

さらに、Ｙ／Ｃ合成部７０８は、次の数式２１に示すように、Ｙ’Ｃｂ’Ｃｒ’信号を補正後のＲＧＢ信号（Ｒ’Ｇ’Ｂ’信号）に変換する。
［数２１］
Ｒ’＝Ｙ’＋１．４０２００Ｃｒ’
Ｇ’＝Ｙ’−０．３４４１４Ｃｂ’−０．７１４１４Ｃｒ’
Ｂ’＝Ｙ’＋１．７７２００Ｃｂ’

Ｙ／Ｃ合成部７０８は、こうして算出したＲ’Ｇ’Ｂ’信号を、信号処理部１１４へ転送する。

信号処理部１１４は、制御部１１６の制御に基づき、Ｙ／Ｃ合成部７０８から出力される補正処理後のカラー映像信号に対して、公知の圧縮処理などを行い、処理後の信号を出力部１１５へ転送する。

出力部１１５は、信号処理部１１４から出力される映像信号を、メモリカードなどの記録媒体へ記録して保存する。

次に、図１４を参照して、彩度補正部７０７の構成の一例について説明する。

この彩度補正部７０７は、データ読取部８００と、隣接色相面探索部８０１と、関数抽出部８０２と、関数記録用ＲＯＭ８０３と、最大彩度算出部８０４と、彩度補間部８０５と、彩度補正係数算出部８０６と、彩度強調係数算出部８０７と、彩度係数乗算部８０８と、を含んでいる。

バッファ７０３と多重解像度合成部７０６とは、データ読取部８００へそれぞれ接続されている。データ読取部８００は、隣接色相面探索部８０１と最大彩度算出部８０４と彩度補間部８０５と彩度係数乗算部８０８とへそれぞれ接続されている。関数記録用ＲＯＭ８０３は、隣接色相面探索部８０１と関数抽出部８０２とへそれぞれ接続されている。隣接色相面探索部８０１は、関数抽出部８０２と最大彩度算出部８０４とを介して、彩度補間部８０５へ接続されている。彩度補間部８０５は、彩度補正係数算出部８０６と彩度係数乗算部８０８とへそれぞれ接続されている。彩度補正係数算出部８０６と彩度強調係数算出部８０７とは、彩度係数乗算部８０８へそれぞれ接続されている。彩度係数乗算部８０８は、Ｙ／Ｃ合成部７０８へ接続されている。

これらの内の、隣接色相面探索部８０１、関数抽出部８０２、関数記録用ＲＯＭ８０３、最大彩度算出部８０４、彩度補間部８０５は、最大彩度算出手段を構成している。また、彩度補正係数算出部８０６は彩度補正係数算出手段、彩度強調係数算出部８０７は彩度強調手段、彩度係数乗算部８０８は乗算手段および彩度強調手段を兼ねたものである。

また、制御部１１６は、データ読取部８００，隣接色相面探索部８０１，関数抽出部８０２，最大彩度算出部８０４，彩度補間部８０５，彩度補正係数算出部８０６，彩度強調係数算出部８０７，彩度係数乗算部８０８と双方向に接続されていて、これらを制御するようになっている。

続いて、このような彩度補正部７０７の作用について説明する。

データ読取部８００は、制御部１１６の制御に基づき、バッファ７０３から輝度信号Ｙ_org，色相信号Ｈ_org，彩度信号Ｃ_orgを、多重解像度合成部７０６から補正された輝度信号Ｙ_traを、それぞれ読み込む。

そして、データ読取部８００は、色相信号Ｈ_orgを隣接色相面探索部８０１と彩度補間部８０５とへ、輝度信号Ｙ_orgおよび補正された輝度信号Ｙ_traを最大彩度算出部８０４へ、色相信号Ｈ_orgおよび彩度信号Ｃ_orgを彩度係数乗算部８０８へ、それぞれ転送する。

また、関数記録用ＲＯＭ８０３は、最大彩度値maxＣに関する関数情報を記録するものである。図１５を参照して、関数記録用ＲＯＭ８０３に記録されているＹＣｂＣｒ色空間の最大彩度値maxＣに関する関数情報について説明する。

ここに、図１５（Ａ）はＹＣｂＣｒ色空間における赤（Ｒ）色相面の彩度Ｃと輝度Ｙとを、図１５（Ｂ）はＹＣｂＣｒ色空間におけるマゼンタ（Ｍａ）色相面の彩度Ｃと輝度Ｙとを、図１５（Ｃ）はＹＣｂＣｒ色空間における青（Ｂ）色相面の彩度Ｃと輝度Ｙとを、図１５（Ｄ）はＹＣｂＣｒ色空間におけるシアン（Ｃｙ）色相面の彩度Ｃと輝度Ｙとを、図１５（Ｅ）はＹＣｂＣｒ色空間における緑（Ｇ）色相面の彩度Ｃと輝度Ｙとを、図１５（Ｆ）はＹＣｂＣｒ色空間における黄（Ｙｅ）色相面の彩度Ｃと輝度Ｙとを、図１５（Ｇ）は各色相面の配置状況を、それぞれ示している。

図１５（Ａ）〜図１５（Ｆ）に示すように、ある輝度Ｙにおける最大彩度値maxＣは、輝度Ｙが０から増大するに従って増大し、ある輝度Ｔ_c（Ｃ＝Ｒ，Ｍａ，Ｂ，Ｃｙ，Ｇ，Ｙｅ）において最大値をとって減少へ転じ、最大輝度Ｙにおいて再び０になる形状をしている。従って、各色相面における最大の彩度値に対応する輝度Ｔ_c（Ｃ＝Ｒ，Ｍａ，Ｂ，Ｃｙ，Ｇ，Ｙｅ）を閾値として、輝度Ｔ_c以上を高輝度用関数で、輝度Ｔ_c以下を低輝度用関数で、それぞれモデル化する。

この図１５に示すようなＹＣｂＣｒ色空間においては、最大彩度値maxＣに対する関数として、次の数式２２に示すような１次関数を用いる。
［数２２］

そこで、関数記録用ＲＯＭ８０３には、色相Ｈ_c、輝度Ｔ_c、高輝度用関数のパラメータａ_hc，ｂ_hc、および低輝度用関数のパラメータａ_lc，ｂ_lcが記録されている。

隣接色相面探索部８０１は、制御部１１６の制御に基づき、関数記録用ＲＯＭ８０３に記録されている色相Ｈ_cを読み出す。

そして、隣接色相面探索部８０１は、データ読取部８００からの色相信号Ｈ_orgと、関数記録用ＲＯＭ８０３からの色相Ｈ_cと、を比較して、隣接する最近傍の２組の色相Ｈ_j，Ｈ_k（ｊ，ｋ＝Ｒ，Ｍａ，Ｂ，Ｃｙ，Ｇ，Ｙｅ、ただし、ｊ≠ｋ）を探索する。その後、隣接色相面探索部８０１は、探索した２組の色相Ｈ_j，Ｈ_kを、関数抽出部８０２へ転送する。

関数抽出部８０２は、制御部１１６の制御に基づき、関数記録用ＲＯＭ８０３から上記２組の色相Ｈ_j，Ｈ_kに対応する、輝度Ｔ_j，Ｔ_kと、高輝度用関数のパラメータａ_hj，ｂ_hj，ａ_hk，ｂ_hkと、低輝度用関数のパラメータａ_lj，ｂ_lj，ａ_lk，ｂ_lkと、を抽出して、抽出した各情報を最大彩度算出部８０４へ転送する。

最大彩度算出部８０４は、関数抽出部８０２からの上記パラメータと、データ読取部８００からの輝度信号Ｙ_orgまたは補正された輝度信号Ｙ_traと、に基づき、２組の色相Ｈ_j，Ｈ_kに関する最大彩度値maxＣ_{org_j}，maxＣ_{org_k}またはmaxＣ_{tra_j}，maxＣ_{tra_k}を算出する。

以降の処理は、輝度信号Ｙ_orgと補正された輝度信号Ｙ_traとの何れに対しても共通であるために、２組の最大彩度値をmaxＣ_j，maxＣ_kとして統一的に表記する。最大彩度算出部８０４は、算出した最大彩度値maxＣ_j，maxＣ_kを彩度補間部８０５へ転送する。

彩度補間部８０５は、制御部１１６の制御に基づき、上記最大彩度値maxＣ_j，maxＣ_kおよびデータ読取部８００からの色相信号Ｈ_orgに対する最大彩度値maxＣを、補間により求める。図１６を参照して、補間による最大彩度値maxＣの算出について説明する。ここに、色相Ｈ_orgは、２組の色相Ｈ_j，Ｈ_kに対して、Ｈ_j＞Ｈ_org＞Ｈ_kの関係にあるものとする。

このとき、最大彩度値maxＣは、次の数式２３により算出される。
［数２３］

この数式２３による最大彩度値の算出は、データ読取部８００からの輝度信号Ｙ_orgと補正された輝度信号Ｙ_traとに対してそれぞれ１回（合計２回）行われ、第１の最大彩度値maxＣ_orgと第２の最大彩度値maxＣ_traとが算出される。彩度補間部８０５は、算出したmaxＣ_orgおよびmaxＣ_traを彩度補正係数算出部８０６へ、maxＣ_traを彩度係数乗算部８０８へ、それぞれ転送する。

彩度補正係数算出部８０６は、制御部１１６の制御に基づき、彩度補間部８０５から第１の最大彩度値maxＣ_orgおよび第２の最大彩度値maxＣ_traを読み込んで、数式１８に示したような彩度補正係数ｋ₁を算出し、算出した彩度補正係数ｋ₁を彩度係数乗算部８０８へ転送する。

彩度強調係数算出部８０７は、制御部１１６の制御に基づき、所定の彩度強調用のゲインｋ₂、例えばｋ₂＝１．２を、彩度係数乗算部８０８へ転送する。

彩度係数乗算部８０８は、制御部１１６の制御に基づき、彩度補間部８０５からの第２の最大彩度値maxＣ_traと、彩度補正係数算出部８０６からの彩度補正係数ｋ₁と、彩度強調係数算出部８０７からの彩度強調用のゲインｋ₂と、に基づき、データ読取部８００からの彩度信号Ｃ_orgに対して数式１９に示したような補正処理を行い、補正した彩度信号Ｃ_traを算出する。そして、彩度係数乗算部８０８は、補正した彩度信号Ｃ_traと、データ読取部８００からの色相信号Ｈ_orgとを、Ｙ／Ｃ合成部７０８へ転送する。

なお、上述ではガウシアンフィルタおよびラプラシアンフィルタを用いる構成を採用しているが、これに限定されるものではなく、例えば、上述した実施形態１と同様に、ウェーブレット変換を用いる構成を採用することも可能である。

また、上述では、カラー撮像素子として原色の単板ＣＣＤを想定していたが、このような構成の撮像素子に限定されるものではない。例えば、補色系の単板ＣＣＤや二板ＣＣＤあるいは三板ＣＣＤを用いた撮像系を適用することも可能である。

さらに、上述では、関数記録用ＲＯＭ８０３に記録する最大彩度値の関数として１次関数を用いているが、これに限定される必要はない。必要となる精度に応じて、多項式関数，べき乗関数，スプライン関数などの任意の関数を使用することも可能である。

そして、関数化する色相面として、上述では、赤（Ｒ），マゼンタ（Ｍａ），青（Ｂ），シアン（Ｃｙ），緑（Ｇ），黄（Ｙｅ）の６つの色相面を使用しているが、これに限定されるものでもない。例えば、低コスト化を優先するために赤（Ｒ），青（Ｂ），緑（Ｇ）の３つの色相面を使用することも可能であるし、高精度化を優先させるために上述したような６つ色相面に加えて、さらにこれらの中間となる６つの色相面を加えた合計１２の色相面を使用することも可能であり、任意の構成を採用することができる。

加えて、上述では、彩度補正部７０７として、ＹＣｂＣｒ色空間を用いる構成を採用しているが、このような構成に限定される必要はない。例えば、ＣＩＥ Ｌａｂ色空間を用いる構成を採用することも可能である。この構成例について、以下に説明する。

この場合には、Ｙ／Ｃ分離部７０２は、公知のＣＭＳ（Color Management System）技術に基づき作成されたルックアップテーブルを用いて、ＲＧＢ信号からＣＩＥ Ｌａｂ色空間への変換を行うことになる。

さらに、Ｙ／Ｃ分離部７０２は、数式１７の代わりに次の数式２４に基づいて、ＣＩＥ Ｌａｂ色空間における輝度信号Ｖ，色相信号Ｈ，彩度信号Ｃを算出する。
［数２４］

この数式２４を見れば分かるように、輝度信号ＶはＣＩＥ Ｌａｂ色空間のＬと等価であるために、以下では輝度信号をＶの代わりにＬで示すものとする。

また、図１４に示した関数記録用ＲＯＭ８０３に記録される最大彩度値maxＣに関する関数情報も、ＣＩＥ Ｌａｂ色空間用に変更される。

図１７を参照して、関数記録用ＲＯＭ８０３に記録されるＣＩＥ Ｌａｂ色空間の最大彩度値maxＣに関する関数情報について説明する。

ここに、図１７（Ａ）はＣＩＥ Ｌａｂ色空間における赤（Ｒ）色相面の彩度Ｃと輝度Ｌとを、図１７（Ｂ）はＣＩＥ Ｌａｂ色空間におけるマゼンタ（Ｍａ）色相面の彩度Ｃと輝度Ｌとを、図１７（Ｃ）はＣＩＥ Ｌａｂ色空間における青（Ｂ）色相面の彩度Ｃと輝度Ｌとを、図１７（Ｄ）はＣＩＥ Ｌａｂ色空間におけるシアン（Ｃｙ）色相面の彩度Ｃと輝度Ｌとを、図１７（Ｅ）はＣＩＥ Ｌａｂ色空間における緑（Ｇ）色相面の彩度Ｃと輝度Ｌとを、図１７（Ｆ）はＣＩＥ Ｌａｂ色空間における黄（Ｙｅ）色相面の彩度Ｃと輝度Ｌとを、図１７（Ｇ）は各色相面の配置状況を、それぞれ示している。

図１７（Ａ）〜図１７（Ｆ）に示すように、ある輝度Ｌにおける最大彩度値maxＣは、輝度Ｌが０から増大するに従って増大し、ある輝度Ｔ_c（Ｃ＝Ｒ，Ｍａ，Ｂ，Ｃｙ，Ｇ，Ｙｅ）において最大値をとって減少へ転じ、最大輝度Ｌにおいて再び０になる形状をしている。従って、各色相面における最大の彩度値に対応する輝度Ｔ_c（Ｃ＝Ｒ，Ｍａ，Ｂ，Ｃｙ，Ｇ，Ｙｅ）を閾値として、輝度Ｔ_c以上を高輝度用関数で、輝度Ｔ_c以下を低輝度用関数で、それぞれモデル化する。

この図１７に示すようなＣＩＥ Ｌａｂ色空間においては、最大彩度値maxＣに対する関数として、次の数式２５に示すような３次関数を用いる。
［数２５］

そこで、関数記録用ＲＯＭ８０３には、この数式２５の関数に基づき、色相Ｈ_c、輝度Ｔ_c、高輝度用関数のパラメータａ_hc，ｂ_hc，ｃ_hc，ｄ_hc、および低輝度用関数のパラメータａ_lc，ｂ_lc，ｃ_lc，ｄ_lcが記録されている。

なお、これ以後の処理は、上述した実施形態１とほぼ同様である。ただし、ＣＩＥ Ｌａｂ色空間からＲＧＢ信号への変換は、公知の３×３マトリックス変換で行うことになる。

このようなＣＩＥ Ｌａｂ色空間を用いると、高精度な輝度信号，色相信号，彩度信号を得ることができるために、高品位な処理が可能となる利点がある。

また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものではない。例えば、カラーＣＣＤ７００からの映像信号を未処理のままのＲａｗデータとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１６からの撮影時の撮像素子の温度や、露光条件，画像処理条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図１８を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、この図１８に示す処理の内の、上述した実施形態１の図１０に示した処理とほぼ同様な処理については、同一の符号を付している。

この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件、画像処理条件などのヘッダ情報を読み込む（ステップＳ１）。

次に、数式１６および数式１７に示すように、輝度信号，色相信号，彩度信号をそれぞれ算出する（ステップＳ４０）。

続いて、分解の段階数を示す変数ｉを０に初期化する（ステップＳ２）。

そして、分解の段階数ｉを１増分する（ステップＳ３）。

続いて、輝度信号に対して分解の段階数ｉの解像度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ４）。

また、実施形態１の図１１に示したように、各種の画像処理に用いるための階調補正係数，ノイズ補正係数，エッジ補正係数をそれぞれ算出する（ステップＳ５）。

その後、数式１３に示したように階調補正係数とエッジ補正係数とを乗算することにより、乗算係数を算出する（ステップＳ６）。

次に、分解の段階数ｉに基づいて乗算係数に関する上限値を設定し、設定した上限値を用いて乗算係数を補正する（ステップＳ７）。

続いて、分解の段階数ｉの高周波成分に対して、数式１２に示したようなコアリング処理を行う（ステップＳ８）。

こうしてコアリング処理がなされた分解の段階数ｉの高周波成分に対して、数式１４に示したような乗算処理を行う（ステップＳ９）。

そして、分解の段階数ｉにおける乗算処理後の高周波成分を出力する（ステップＳ１０）。

その後、分解の段階数ｉが、規定のｎ以下であるか否かを判定し（ステップＳ１１）、ｎ以下である場合には、上記ステップＳ３へ戻って次の分解の段階数について上述したような処理を繰り返して行う。

また、分解の段階数ｉが規定のｎを超えたと判定された場合には、低周波成分を出力する（ステップＳ１２）。

そして、補正処理がなされた高周波成分と低周波成分とを用いて、ｎ段階の多重解像度合成を行い、補正された輝度信号を生成する（ステップＳ１３）。

さらに、後で図１９を参照して説明するように、補正された輝度信号に対応するように彩度信号を補正する（ステップＳ４１）。

続いて、数式２０および数式２１に示すようにＲＧＢ信号を算出する（ステップＳ４２）。

その後、公知の圧縮処理などを行い（ステップＳ１４）、処理後のカラー映像信号を出力して（ステップＳ１５）、この一連の処理を終了する。

次に、図１９を参照して、図１８のステップＳ４１における彩度補正の処理について説明する。

この処理を開始すると、まず、輝度信号，色相信号，彩度信号，および補正された輝度信号を読み込む（ステップＳ５０）。

次に、図１５に示したようなＹＣｂＣｒ色空間における最大彩度値の算出に関するパラメータを読み込む（ステップＳ５１）。

続いて、輝度信号と色相信号とに対する第１の最大彩度値maxＣ_orgを、数式２３を用いて算出する（ステップＳ５２）。

さらに、補正された輝度信号と色相信号とに対する第２の最大彩度値maxＣ_traを、数式２３を用いて算出する（ステップＳ５３）。

そして、彩度補正係数ｋ₁を数式１８に示したように算出する（ステップＳ５４）。

加えて、彩度強調用の係数（上述した彩度強調用のゲインｋ₂に相当する）を算出する（ステップＳ５５）。

こうして、彩度信号に対して数式１９に示すような補正処理を行い（ステップＳ５６）、補正された彩度信号を出力して（ステップＳ５７）、この処理から図１８に示した処理にリターンする。

このような実施形態２によれば、カラー映像信号に対してスペースバリアントな各種の画像処理を行うことが可能となり、高品位なカラー映像信号を得ることができる。

また、画像処理を行う際に、多重解像度分解を利用しているために、スペースバリアント処理と局所領域間の連続性の維持とを一体化することができ、かつ処理時間の短縮を図ることも可能となる。特に、本実施形態においては、ガウシアンフィルタおよびラプラシアンフィルタを用いているが、これらのフィルタはフィルタ構成が単純であるために、処理の高速化を図るとともに、画像処理システムの低コスト化を図ることが可能となる。

さらに、スペースバリアントな各種の画像処理を行った輝度信号に対する彩度信号の補正処理と彩度強調処理とを一体化することができるために、低コスト化を図るとともに、違和感のない自然な色再現を行うことが可能となる。

そして、彩度強調処理を行うときに最大彩度に関する情報を利用しているために、色再現域を逸脱することのない彩度強調処理を行うことが可能となり、高品位な映像信号を得ることができる。

また、ＹＣｂＣｒ色空間を用いる場合には、変換が容易で、高速化、低コスト化を図ることが可能となる。一方、ＣＩＥ Ｌａｂ色空間を用いる場合には、高精度な輝度信号，色相信号，彩度信号を得ることができるために、高品位な処理が可能となる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

［付記］
以上詳述したような本発明の上記実施形態によれば、以下のごとき構成を得ることができる。

［付記１］
映像信号に対して所定の画像処理を行う画像処理システムであって、
上記映像信号に係る信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解する多重解像度分解手段と、
上記高周波成分に対する補正係数を算出する補正係数算出手段と、
上記補正係数に基づき上記高周波成分を補正処理する補正処理手段と、
上記補正処理された高周波成分と、上記低周波成分と、から補正された映像信号に係る信号を合成する多重解像度合成手段と、
を具備したことを特徴とする画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。多重解像度分解手段は図１，図２，図９に示した多重解像度分解部１０９または図１２に示した多重解像度分解部７０４が、補正係数算出手段は図１，図３，図９または図１２に示した補正係数算出部１１１が、補正処理手段は図１，図７，図９に示した補正処理部１１２または図１２に示した輝度補正処理部７０５が、多重解像度合成手段は図１，図８，図９に示した多重解像度合成部１１３または図１２に示した多重解像度合成部７０６が、それぞれ該当する。

この発明の好ましい適用例は、多重解像度分解部１０９または多重解像度分解部７０４によって映像信号に係る信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解し、補正係数算出部１１１によって高周波成分に対する補正係数を算出し、補正処理部１１２または輝度補正処理部７０５によって補正係数に基づき高周波成分を補正処理し、多重解像度合成部１１３または多重解像度合成部７０６によって補正処理がなされた高周波成分と低周波成分とから補正された映像信号に係る信号を合成する画像処理システムである。

（作用）
映像信号に係る信号を、多重解像度分解して、高周波成分を補正処理した後に、多重解像度合成する。

（効果）
スペースバリアントな各種の画像処理を行うことが可能となり、高品位な映像信号を得ることができる。また、多重解像度分解を利用するために、スペースバリアント処理と局所領域間の連続性の維持とを一体化することができ、処理時間の短縮を図ることが可能となる。

［付記２］
上記映像信号は、モノクロ映像信号であって、
上記映像信号に係る信号は、上記映像信号自体であることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１が対応する。多重解像度分解手段は図１，図２，図９に示した多重解像度分解部１０９が、補正係数算出手段は図１，図３，図９に示した補正係数算出部１１１が、補正処理手段は図１，図７，図９に示した補正処理部１１２が、多重解像度合成手段は図１，図８，図９に示した多重解像度合成部１１３が、それぞれ該当する。

この発明の好ましい適用例は、多重解像度分解部１０９によってモノクロ映像信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解し、補正係数算出部１１１によって高周波成分に対する補正係数を算出し、補正処理部１１２によって補正係数に基づき高周波成分を補正処理し、多重解像度合成部１１３によって補正処理がなされた高周波成分と低周波成分とから補正されたモノクロ映像信号を合成する画像処理システムである。

（作用）
モノクロ映像信号を、多重解像度分解して、高周波成分を補正処理した後に、多重解像度合成する。

（効果）
スペースバリアントな各種の画像処理を行うことが可能となり、高品位なモノクロ映像信号を得ることができる。また、多重解像度分解を利用するために、スペースバリアント処理と局所領域間の連続性の維持とを一体化することができ、処理時間の短縮を図ることが可能となる。

［付記３］
上記映像信号は、カラー映像信号であって、
上記カラー映像信号を、所定の色空間における、上記映像信号に係る信号としての輝度信号と、色相信号と、彩度信号と、へ分解するＹ／Ｃ分離手段と、
上記輝度信号と、上記多重解像度合成手段からの補正された輝度信号と、上記色相信号と、に基づき、上記彩度信号を補正する彩度補正手段と、
上記補正された輝度信号と、上記補正された彩度信号と、上記色相信号と、に基づき、補正されたカラー映像信号を合成するＹ／Ｃ合成手段と、
をさらに具備したことを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。Ｙ／Ｃ分離手段は図１２に示したＹ／Ｃ分離部７０２が、多重解像度分解手段は図１２に示した多重解像度分解部７０４が、補正係数算出手段は図１２に示した補正係数算出部１１１が、補正処理手段は図１２に示した輝度補正処理部７０５が、多重解像度合成手段は図１２に示した多重解像度合成部７０６が、彩度補正手段は図１２，図１４に示した彩度補正部７０７が、Ｙ／Ｃ合成手段は図１２に示したＹ／Ｃ合成部７０８が、それぞれ該当する。

この発明の好ましい適用例は、Ｙ／Ｃ分離部７０２によってカラー映像信号を輝度信号と色相信号と彩度信号とへ分解し、多重解像度分解部７０４によって輝度信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解し、補正係数算出部１１１によって高周波成分に対する補正係数を算出し、輝度補正処理部７０５によって補正係数に基づき高周波成分を補正処理し、多重解像度合成部７０６によって補正処理がなされた高周波成分と低周波成分とから補正された輝度信号を合成し、彩度補正部７０７によって輝度信号と補正された輝度信号と色相信号とに基づき彩度信号を補正し、Ｙ／Ｃ合成部７０８によって補正された輝度信号と補正された彩度信号と色相信号とに基づき補正されたカラー映像信号を合成する画像処理システムである。

（作用）
カラー映像信号を輝度信号，色相信号，彩度信号へ分解し、輝度信号を多重解像度分解し、高周波成分を補正処理した後に、多重解像度合成し、輝度信号と補正された輝度信号と色相信号とに基づき彩度信号を補正し、補正された輝度信号と補正された彩度信号と色相信号とに基づき補正されたカラー映像信号を合成する。

（効果）
カラー映像信号に対してスペースバリアントな各種の画像処理を行うことが可能となり、高品位なカラー映像信号を得ることができる。また、多重解像度分解を利用するために、スペースバリアント処理と局所領域間の連続性の維持とを一体化することができ、処理時間の短縮を図ることが可能となる。さらに、輝度信号処理に追従した彩度信号の補正処理を行っているために、違和感のない自然な色再現が可能となる。

［付記４］
上記多重解像度分解手段および多重解像度合成手段は、直交ウェーブレット変換または双直交ウェーブレット変換を用いるものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１が対応する。直交ウェーブレット変換または双直交ウェーブレット変換を用いる多重解像度分解手段は図１，図２，図９に示した多重解像度分解部１０９が、直交ウェーブレット変換または双直交ウェーブレット変換を用いる多重解像度合成手段は図１，図８，図９に示した多重解像度合成部１１３が、それぞれ該当する。

この発明の好ましい適用例は、多重解像度分解部１０９および多重解像度合成部１１３における変換に、直交ウェーブレット変換または双直交ウェーブレット変換を用いる画像処理システムである。

（作用）
直交ウェーブレット変換または双直交ウェーブレット変換を用いて、多重解像度分解および多重解像度合成を行う。

（効果）
ウェーブレット変換は多様なフィルタを利用することが可能であり、また方向別の高周波成分を得ることができるために、スペースバリアントな各処理に対する自由度が高く、高品位な映像信号を得ることができる。

［付記５］
上記多重解像度分解手段および多重解像度合成手段は、ガウシアンフィルタおよびラプラシアンフィルタを用いるものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。ガウシアンフィルタおよびラプラシアンフィルタを用いる多重解像度分解手段は図１２に示した多重解像度分解部７０４が、ガウシアンフィルタおよびラプラシアンフィルタを用いる多重解像度合成手段は図１２に示した多重解像度合成部７０６が、それぞれ該当する。

この発明の好ましい適用例は、多重解像度分解部７０４および多重解像度合成部７０６における変換に、ガウシアンフィルタおよびラプラシアンフィルタを用いる画像処理システムである。

（作用）
ガウシアンフィルタおよびラプラシアンフィルタを用いて、多重解像度分解および多重解像度合成を行う。

（効果）
ガウシアンフィルタおよびラプラシアンフィルタは、フィルタ構成が単純であるために、処理の高速化を図るとともに、画像処理システムの低コスト化を図ることが可能となる。

［付記６］
上記補正係数算出手段は、上記分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分と、視覚系の順応モデルと、に基づき、上記分解の段階数ｉの高周波成分に対する階調補正係数を算出する階調補正係数算出手段を有するものであることを特徴とする付記１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。階調補正係数算出手段は、図３に示した制御部１１６，輝度レベル算出部３００，階調定数項算出部３０１，階調情報付与部３０２，階調補正係数用テーブル３０３が該当する。

この発明の好ましい適用例は、制御部１１６，輝度レベル算出部３００，階調定数項算出部３０１，階調情報付与部３０２，階調補正係数用テーブル３０３によって分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分と視覚系の順応モデルとに基づき分解の段階数ｉの高周波成分に対する階調補正係数を算出する画像処理システムである。

（作用）
視覚系の順応モデルに基づき、階調補正用の補正係数を算出する。

（効果）
スペースバリアント処理に用いる階調補正係数を視覚系の順応モデルに基づき算出することにより、パラメータの自動的な設定と最適な処理とが可能となり、高品位な映像信号を得ることができる。

［付記７］
上記階調補正係数算出手段は、
撮影時の環境条件に関する情報を取得する階調情報取得手段と、
上記分解の段階数ｉの低周波成分と、上記階調情報取得手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対する階調補正係数を出力する階調補正係数用テーブル手段と、
を有するものであることを特徴とする付記６に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。階調情報取得手段は図３に示した制御部１１６，輝度レベル算出部３００，階調定数項算出部３０１が、階調補正係数用テーブル手段は図３に示した階調補正係数用テーブル３０３が、それぞれ該当する。

この発明の好ましい適用例は、制御部１１６，輝度レベル算出部３００，階調定数項算出部３０１によって撮影時の環境条件に関する情報を取得し、階調補正係数用テーブル３０３によって分解の段階数ｉの低周波成分と撮影時の環境条件情報とに基づき分解の段階数ｉの高周波成分に対する階調補正係数を出力する画像処理システムである。

（作用）
撮影時の環境条件を動的に求めて、求めた情報と低周波成分とに基づきテーブルを用いて高周波成分の階調補正係数を求める。

（効果）
撮影毎に異なる条件に動的に適応した最適な階調補正処理が可能となる。また、補正係数算出にテーブルを用いているために、高速な処理を行うことが可能となる。

［付記８］
上記階調補正係数算出手段は、上記階調情報取得手段により得られない情報に関して標準値を付与する階調情報付与手段をさらに有し、
上記階調補正係数用テーブル手段は、上記分解の段階数ｉの低周波成分と、上記階調情報取得手段または上記階調情報付与手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対する階調補正係数を出力するものであることを特徴とする付記７に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。階調情報付与手段は、図３に示した階調情報付与部３０２が該当する。

この発明の好ましい適用例は、得られない情報に関して、階調情報付与部３０２により標準値を付与する画像処理システムである。

（作用）
求められない情報に関しては標準値を設定する。

（効果）
必要となる情報が得られない場合でも、補正係数を算出することが可能となり、安定した階調補正処理を実現することができる。

［付記９］
上記階調情報取得手段は、
撮影時のシャッタ速度と、絞り値と、ＩＳＯ感度と、の内の少なくとも１つを含む露光条件に関する情報に基づき、撮影時の輝度レベルを求める輝度レベル算出手段と、
上記輝度レベルに基づき、上記視覚系の順応モデルに関する定数項を求める階調定数項算出手段と、
を有するものであることを特徴とする付記７に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。輝度レベル算出手段は図３に示した制御部１１６，輝度レベル算出部３００が、階調定数項算出手段は図３に示した階調定数項算出部３０１が、それぞれ該当する。

この発明の好ましい適用例は、制御部１１６，輝度レベル算出部３００によって撮影時のシャッタ速度，絞り値，ＩＳＯ感度などの露光条件に関する情報に基づき撮影時の輝度レベルを求め、階調定数項算出部３０１によって輝度レベルに基づき視覚系の順応モデルに関する定数項を求める画像処理システムである。

（作用）
シャッタ速度，絞り値，ＩＳＯ感度などの露光条件から撮影時の輝度レベルを求めて、視覚系の順応モデルに関する定数項を設定する。

（効果）
撮影時の輝度レベルに動的に適応した高精度な視覚系の順応モデルを利用することができて、最適な階調補正処理を行うことが可能となる。

［付記１０］
上記階調補正係数用テーブル手段は、上記分解の段階数ｉの低周波成分をＬ_i（ｘ，ｙ） （ｘ，ｙは、分解の段階数ｉの各周波成分のｘ方向，ｙ方向の座標位置）、上記分解の段階数ｉの高周波成分に対する階調補正係数をＴ_i（ｘ，ｙ）、映像信号に係る信号の階調幅の最大値をＤ_max、撮影時の輝度レベルから定まる定数項をｃ1 ，ｃ2 、としたときに、次式、

により定義される視覚系の順応モデルに基づき構築されたものであることを特徴とする付記７に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。

この発明の好ましい適用例は、図３に示したような階調補正係数用テーブル３０３が図４に示したような視覚系の順応モデルに基づき構築された、画像処理システムである。

（作用）
階調補正係数を算出するテーブルを、視覚系の順応モデルに基づき構築する。

（効果）
視覚系の順応モデルに基づき階調補正処理が行われるために、最適な階調補正処理が可能となる。

［付記１１］
上記補正係数算出手段は、上記分解の段階数ｉの低周波成分と、ノイズ量の推定モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を算出するノイズ補正係数算出手段をさらに有するものであることを特徴とする付記６に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。ノイズ補正係数算出手段は、図３に示した制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５，ノイズ情報付与部３０６，ノイズ補正係数用テーブル３０７が該当する。

この発明の好ましい適用例は、制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５，ノイズ情報付与部３０６，ノイズ補正係数用テーブル３０７によって分解の段階数ｉの低周波成分とノイズ量の推定モデルとに基づき分解の段階数ｉの高周波成分に対するノイズ補正係数を算出する画像処理システムである。

（作用）
ノイズ量の推定モデルに基づき、ノイズ低減用の補正係数を算出する。

（効果）
スペースバリアント処理に用いるノイズ補正係数をノイズ量の推定モデルに基づき算出することにより、パラメータの自動的な設定と最適な処理とが可能となり、高品位な映像信号を得ることができる。

［付記１２］
上記ノイズ補正係数算出手段は、
撮影時の温度値と、上記映像信号に対するゲイン値に関する情報と、を取得するノイズ情報取得手段と、
上記分解の段階数ｉの低周波成分と、上記ノイズ情報取得手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を出力するノイズ補正係数用テーブル手段と、
を有するものであることを特徴とする付記１１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。ノイズ情報取得手段は図３に示した制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５が、ノイズ補正係数用テーブル手段は図３に示したノイズ補正係数用テーブル３０７が、それぞれ該当する。

この発明の好ましい適用例は、制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５によって撮影時の温度値と映像信号に対するゲイン値に関する情報とを取得し、ノイズ補正係数用テーブル３０７によって分解の段階数ｉの低周波成分と撮影時の温度値および映像信号に対するゲイン値に関する情報とに基づき分解の段階数ｉの高周波成分に対するノイズ補正係数を出力する画像処理システムである。

（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求め、求めた情報と低周波成分とに基づきテーブルを用いて高周波成分のノイズ補正係数を求める。

（効果）
撮影毎に異なる条件に動的に適応した最適なノイズ低減処理が可能となる。また、補正係数算出にテーブルを用いているために、高速な処理を行うことが可能となる。

［付記１３］
上記ノイズ補正係数算出手段は、上記ノイズ情報取得手段により得られない情報に関して標準値を付与するノイズ情報付与手段をさらに有し、
上記ノイズ補正係数用テーブル手段は、上記分解の段階数ｉの低周波成分と、上記ノイズ情報取得手段または上記ノイズ情報付与手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を出力するものであることを特徴とする付記１２に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。ノイズ情報付与手段は、図３に示したノイズ情報付与部３０６が該当する。

この発明の好ましい適用例は、得られない情報に関して、ノイズ情報付与部３０６により標準値を付与する画像処理システムである。

（作用）
求められない情報に関しては標準値を設定する。

（効果）
必要となる情報が得られない場合でも、補正係数を算出することが可能となり、安定したノイズ低減処理を実現することができる。

［付記１４］
上記ノイズ情報取得手段は、
撮影時のシャッタ速度と、絞り値と、ＩＳＯ感度と、の内の少なくとも１つの情報に基づき上記映像信号に対するゲイン値を求めるゲイン算出手段と、
上記ゲイン値と、上記温度値と、に基づき、ノイズ量の推定モデルに関する定数項を求めるノイズ定数項算出手段と、
を有するものであることを特徴とする付記１２に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。ゲイン算出手段は図３に示した制御部１１６，ゲイン算出部３０４が、ノイズ定数項算出手段は図３に示したノイズ定数項算出部３０５が、それぞれ該当する。

この発明の好ましい適用例は、制御部１１６，ゲイン算出部３０４によって撮影時のシャッタ速度，絞り値，ＩＳＯ感度などの情報に基づき映像信号に対するゲイン値を求め、ノイズ定数項算出部３０５によってゲイン値と温度値とに基づきノイズ量の推定モデルに関する定数項を求める画像処理システムである。

（作用）
シャッタ速度，絞り値，ＩＳＯ感度などに基づき映像信号に対するゲイン値を求めて、求めたゲイン値と温度値とに基づき、ノイズ量の推定モデルに関する定数項を設定する。

（効果）
撮影時のゲイン値，温度値に動的に適応した高精度なノイズ量の推定応モデルを利用することができて、最適なノイズ低減処理が可能となる。

［付記１５］
上記補正係数算出手段は、
上記分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分と、視覚系の順応モデルと、に基づき、上記分解の段階数ｉの高周波成分に対する階調補正係数を算出する階調補正係数算出手段と、
上記分解の段階数ｉの低周波成分と、ノイズ量の推定モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を算出するノイズ補正係数算出手段と、
を有し、
上記ノイズ補正係数算出手段は、
撮影時の温度値と、上記映像信号に対するゲイン値に関する情報と、を取得するノイズ情報取得手段と、
上記分解の段階数ｉの低周波成分と、上記ノイズ情報取得手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を出力するノイズ補正係数用テーブル手段と、
を有し、
上記ノイズ情報取得手段は、
撮影時のシャッタ速度と、絞り値と、ＩＳＯ感度と、ホワイトバランス係数と、の内の少なくとも１つの情報に基づき上記映像信号に対するゲイン値を求めるゲイン算出手段と、
上記ゲイン値と、上記温度値と、に基づき、ノイズ量の推定モデルに関する定数項を求めるノイズ定数項算出手段と、
を有するものであることを特徴とする付記３に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。階調補正係数算出手段は、図３に示した制御部１１６，輝度レベル算出部３００，階調定数項算出部３０１，階調情報付与部３０２，階調補正係数用テーブル３０３が、ノイズ補正係数算出手段は、図３に示した制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５，ノイズ情報付与部３０６，ノイズ補正係数用テーブル３０７が、ノイズ情報取得手段は図３に示した制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５が、ノイズ補正係数用テーブル手段は図３に示したノイズ補正係数用テーブル３０７が、ゲイン算出手段は図３に示した制御部１１６，ゲイン算出部３０４が、ノイズ定数項算出手段は図３に示したノイズ定数項算出部３０５が、それぞれ該当する。

この発明の好ましい適用例は、制御部１１６，輝度レベル算出部３００，階調定数項算出部３０１，階調情報付与部３０２，階調補正係数用テーブル３０３によって分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分と視覚系の順応モデルとに基づき分解の段階数ｉの高周波成分に対する階調補正係数を算出し、制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５，ノイズ情報付与部３０６，ノイズ補正係数用テーブル３０７によって分解の段階数ｉの低周波成分とノイズ量の推定モデルとに基づき分解の段階数ｉの高周波成分に対するノイズ補正係数を算出し、制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５によって撮影時の温度値と映像信号に対するゲイン値に関する情報とを取得し、ノイズ補正係数用テーブル３０７によって分解の段階数ｉの低周波成分と撮影時の温度値と映像信号に対するゲイン値に関する情報とに基づき分解の段階数ｉの高周波成分に対するノイズ補正係数を出力し、制御部１１６，ゲイン算出部３０４によって撮影時のシャッタ速度，絞り値，ＩＳＯ感度，ホワイトバランス係数などの情報に基づき映像信号に対するゲイン値を求め、ノイズ定数項算出部３０５によってゲイン値と温度値とに基づきノイズ量の推定モデルに関する定数項を求める画像処理システムである。

（作用）
視覚系の順応モデルに基づき階調補正用の補正係数を算出し、ノイズ量の推定モデルに基づきノイズ低減用の補正係数を算出し、ノイズ量に関係する各種情報を撮影毎に動的に求めて求めた情報および低周波成分に基づきテーブルを用いて高周波成分のノイズ補正係数を求め、シャッタ速度，絞り値，ＩＳＯ感度，ホワイトバランス係数などから映像信号に対するゲイン値を求め、求めたゲイン値と温度値とに基づきノイズ量の推定モデルに関する定数項を設定する。

（効果）
スペースバリアント処理に用いる、階調補正係数を視覚系の順応モデルに基づき算出し、ノイズ補正係数をノイズ量の推定モデルに基づき算出することにより、パラメータの自動的な設定と最適な処理とが可能となり、高品位な映像信号を得ることができる。また、撮影毎に異なる条件に動的に適応した最適なノイズ低減処理が可能となる。さらに、補正係数算出にテーブルを用いているために、高速な処理を行うことが可能となる。そして、撮影時のゲイン値，温度値に動的に適応した高精度なノイズ量の推定応モデルを利用することができて、最適なノイズ低減処理が可能となる。加えて、ノイズ量の推定モデルに関する定数項を設定する際に、シャッタ速度，絞り値，ＩＳＯ感度に加えてさらにホワイトバランス係数を用いているために、カラー映像信号により最適なノイズ低減処理を行うことが可能となる。

［付記１６］
上記ノイズ補正係数用テーブル手段は、上記分解の段階数ｉの低周波成分をＬ_i（ｘ，ｙ） （ｘ，ｙは、分解の段階数ｉの各周波成分のｘ方向，ｙ方向の座標位置）、上記分解の段階数ｉの高周波成分に対するノイズ補正係数をＮ_i（ｘ，ｙ）、撮影時の温度値ｔとゲイン値ｇとに基づき定まる定数項をα_gt，β_gt，γ_gt、としたときに、次式、

により定義されるノイズ量の推定モデルに基づき構築されたものであることを特徴とする付記１２または付記１５に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。

この発明の好ましい適用例は、図３に示したようなノイズ補正係数用テーブル３０７が図５に示したようなノイズ量の推定モデルに基づき構築された、画像処理システムである。

（作用）
ノイズ補正係数を算出するテーブルを、ノイズ量の推定モデルに基づき構築する。

（効果）
ノイズ量の推定モデルに基づきノイズ低減処理が行われるために、最適なノイズ低減処理が可能となる。

［付記１７］
上記補正係数算出手段は、上記分解の段階数ｉと、エッジの強調モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するエッジ補正係数を算出するエッジ補正係数算出手段をさらに有するものであることを特徴とする付記６または付記１１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。エッジ補正係数算出段は、図３に示した制御部１１６，エッジ強調量算出部３０８，エッジ定数項算出部３０９，エッジ情報付与部３１０，エッジ補正係数用テーブル３１１が該当する。

この発明の好ましい適用例は、制御部１１６，エッジ強調量算出部３０８，エッジ定数項算出部３０９，エッジ情報付与部３１０，エッジ補正係数用テーブル３１１によって分解の段階数ｉとエッジの強調モデルとに基づき分解の段階数ｉの高周波成分に対するエッジ補正係数を算出する画像処理システムである。

（作用）
エッジの強調モデルに基づき、エッジ強調用の補正係数を算出する。

（効果）
スペースバリアント処理に用いるエッジ補正係数をエッジの強調モデルに基づき算出することにより、パラメータの自動的な設定と最適な処理とが可能となり、高品位な映像信号を得ることができる。

［付記１８］
上記エッジ補正係数算出手段は、
撮影時のエッジ強調に関する情報を取得するエッジ情報取得手段と、
上記分解の段階数ｉと、上記エッジ情報取得手段からの情報と、に基づき、上記ｉ段階の高周波成分に対するエッジ補正係数を出力するエッジ補正係数用テーブル手段と、
を有するものであることを特徴とする付記１７に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。エッジ情報取得手段は図３に示した制御部１１６，エッジ強調量算出部３０８，エッジ定数項算出部３０９が、エッジ補正係数用テーブル手段は図３に示したエッジ補正係数用テーブル３１１が、それぞれ該当する。

この発明の好ましい適用例は、制御部１１６，エッジ強調量算出部３０８，エッジ定数項算出部３０９によって撮影時のエッジ強調に関する情報を取得し、エッジ補正係数用テーブル３１１によって分解の段階数ｉと撮影時のエッジ強調に関する情報とに基づき分解の段階数ｉの高周波成分に対するエッジ補正係数を出力する画像処理システムである。

（作用）
撮影時のエッジ強調量を動的に求めて、求めた情報と分解の段階数ｉとに基づきテーブルを用いて高周波成分のエッジ補正係数を求める。

（効果）
撮影毎に異なる条件に動的に適応した最適なエッジ強調処理が可能となる。さらに、補正係数算出にテーブルを用いているために、高速な処理が可能となる。

［付記１９］
上記エッジ補正係数算出手段は、上記エッジ情報取得手段により得られない情報に関して標準値を付与するエッジ情報付与手段をさらに有し、
上記エッジ補正係数用テーブル手段は、上記分解の段階数ｉと、上記エッジ情報取得手段または上記エッジ情報付与手段からの情報と、に基づき、上記ｉ段階の高周波成分に対するエッジ補正係数を出力するものであることを特徴とする付記１８に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。エッジ情報付与手段は、図３に示したエッジ情報付与部３１０が該当する。

この発明の好ましい適用例は、得られない情報に関して、エッジ情報付与部３１０により標準値を付与する画像処理システムである。

（作用）
求められない情報に関しては標準値を設定する。

（効果）
必要となる情報が得られない場合でも、補正係数を算出することが可能となり、安定したエッジ強調処理を実現することができる。

［付記２０］
上記エッジ情報取得手段は、
撮影時に設定したエッジ強調量を求めるエッジ強調量算出手段と、
上記エッジ強調量に基づきエッジの強調モデルに関する定数項を求めるエッジ定数項算出手段と、
を有するものであることを特徴とする付記１８に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。エッジ強調量算出手段は図３に示した制御部１１６，エッジ強調量算出部３０８が、エッジ定数項算出手段は図３に示したエッジ定数項算出部３０９が、それぞれ該当する。

この発明の好ましい適用例は、制御部１１６，エッジ強調量算出部３０８によって撮影時に設定したエッジ強調量を求め、エッジ定数項算出部３０９によってエッジ強調量からエッジの強調モデルに関する定数項を求める画像処理システムである。

（作用）
撮影時に設定したエッジ強調量を求めて、エッジの強調モデルに関する定数項を設定する。

（効果）
撮影時のエッジ強調量に動的に適応した高精度なエッジの強調モデルを利用することができて、最適なエッジ強調処理が可能となる。

［付記２１］
上記エッジ補正係数用テーブル手段は、上記分解の段階数ｉの高低周波成分に対するエッジ補正係数をＥ_i（ｘ，ｙ） （ｘ，ｙは、分解の段階数ｉの各周波成分のｘ方向，ｙ方向の座標位置）、撮影時に設定したエッジ強調量に基づき定まる定数項をｇ、所定の定数項をδ，ε，ζ、としたときに、次式、

により定義されるエッジの強調モデルに基づき構築されたものであることを特徴とする付記１８に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。

この発明の好ましい適用例は、図３に示したようなエッジ補正係数用テーブル３１１が図６に示したようなエッジの強調モデルに基づき構築された、画像処理システムである。

（作用）
エッジ補正係数を算出するテーブルを、エッジの強調モデルに基づき構築する。

（効果）
エッジの強調モデルに基づきエッジ強調処理が行われるために、最適なエッジ強調処理が可能となる。

［付記２２］
上記補正係数算出手段は、上記分解の段階数ｉと、エッジの強調モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するエッジ補正係数を算出するエッジ補正係数算出手段をさらに有するものであり、
上記補正処理手段は、
上記階調補正係数とノイズ補正係数とエッジ補正係数との内の少なくとも１つが得られない場合に、該得られない係数に対する標準値を付与する標準値付与手段と、
上記ノイズ補正係数または上記ノイズ補正係数に対する標準値に基づき、上記分解の段階数ｉの高周波成分に対してコアリング処理を行うコアリング手段と、
上記階調補正係数または上記階調補正係数に対する標準値と、上記エッジ補正係数または上記エッジ補正係数に対する標準値と、に基づき、乗算係数を算出する乗算係数算出手段と、
上記乗算係数を上記コアリング処理後の分解の段階数ｉの高周波成分に乗算処理する乗算手段と、
を有するものであることを特徴とする付記１１に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。ノイズ補正係数算出手段は、図３に示した制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５，ノイズ情報付与部３０６，ノイズ補正係数用テーブル３０７が、標準値付与手段は図７に示した標準値付与部４０５が、コアリング手段は図７に示した加算部４０１，減算部４０２，置換部４０３が、乗算係数算出手段は図７に示した乗算係数算出部４０６が、乗算手段は図７に示した乗算部４０４が、それぞれ該当する。

この発明の好ましい適用例は、制御部１１６，ゲイン算出部３０４，ノイズ定数項算出部３０５，ノイズ情報付与部３０６，ノイズ補正係数用テーブル３０７によって分解の段階数ｉとノイズ量の推定モデルとに基づき分解の段階数ｉの高周波成分に対するノイズ補正係数を算出し、標準値付与部４０５によって階調補正係数とノイズ補正係数とエッジ補正係数との何れかが得られない場合に標準値を付与し、加算部４０１，減算部４０２，置換部４０３によってノイズ補正係数またはノイズ補正係数に対する標準値に基づき分解の段階数ｉの高周波成分に対してコアリング処理を行い、乗算係数算出部４０６によって階調補正係数または階調補正係数に対する標準値とエッジ補正係数またはエッジ補正係数に対する標準値とに基づき乗算係数を算出し、乗算部４０４によって乗算係数をコアリング処理後の分解の段階数ｉの高周波成分に乗算処理する画像処理システムである。

（作用）
ノイズ量の推定モデルに基づきノイズ低減用の補正係数を算出し、階調補正係数とノイズ補正係数とエッジ補正係数との内の少なくとも１つが得られない場合に該得られない係数に対する標準値を付与し、ノイズ補正係数に基づき高周波成分に対してコアリング処理を行い、階調補正係数およびエッジ補正係数から乗算係数を算出し、コアリング処理後の高周波成分に乗算する。

（効果）
各スペースバリアント処理に用いる補正係数をモデルに基づき算出することにより、パラメータの自動的な設定と最適な処理とが可能となり、高品位な映像信号を得ることができる。さらに、多重解像度分解による高周波成分に対して、階調補正処理，ノイズ低減処理，エッジ強調処理などのスペースバリアントな各種処理を統一的に行うことができるために、高品位な映像信号を得ることができる。また、各処理が一体化して行われるために、処理速度を高速化することができる。

［付記２３］
上記補正処理手段は、
上記分解の段階数ｉに基づき上記乗算係数に対する上限値を算出する上限値算出手段と、
上記上限値に基づき上記乗算係数を補正する乗算係数補正手段と、
をさらに有することを特徴とする付記２２に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態１および実施形態２が対応する。上限値算出手段は図７に示した上限値算出部４０８が、乗算係数補正手段は図７に示した乗算係数補正部４０７が、それぞれ該当する。

この発明の好ましい適用例は、上限値算出部４０８によって分解の段階数ｉに基づき乗算係数に対する上限値を算出し、乗算係数補正部４０７によって上限値に基づき乗算係数を補正する画像処理システムである。

（作用）
分解の段階数ｉに基づき乗算係数に対する上限値を求めて、乗算係数を補正する。

（効果）
局所領域間の連続性が向上して、高品位な映像信号を得ることができる。

［付記２４］
上記彩度補正手段は、
上記輝度信号および上記色相信号に対する上記所定の色空間における最大彩度値と、上記補正された輝度信号および上記色相信号に対する上記所定の色空間における最大彩度値と、を算出する最大彩度算出手段と、
上記輝度信号および上記色相信号に対する最大彩度値と、上記補正された輝度信号および上記色相信号に対する最大彩度値と、に基づき、上記彩度信号に関する彩度補正係数を算出する彩度補正係数算出手段と、
上記彩度補正係数を上記彩度信号に乗算処理する乗算手段と、
を有するものであることを特徴とする付記３に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。最大彩度算出手段は図１４に示した隣接色相面探索部８０１，関数抽出部８０２，関数記録用ＲＯＭ８０３，最大彩度算出部８０４，彩度補間部８０５が、彩度補正係数算出手段は図１４に示した彩度補正係数算出部８０６が、乗算手段は図１４に示した彩度係数乗算部８０８が、それぞれ該当する。

この発明の好ましい適用例は、隣接色相面探索部８０１，関数抽出部８０２，関数記録用ＲＯＭ８０３，最大彩度算出部８０４，彩度補間部８０５によって輝度信号および色相信号に対する最大彩度値と補正された輝度信号および色相信号に対する最大彩度値とを算出し、彩度補正係数算出部８０６によって輝度信号および色相信号に対する最大彩度値と補正された輝度信号および色相信号に対する最大彩度値とに基づき彩度信号に関する彩度補正係数を算出し、彩度係数乗算部８０８によって彩度補正係数を彩度信号に乗算する画像処理システムである。

（作用）
輝度信号および色相信号に対する最大彩度値と、補正された輝度信号および色相信号に対する最大彩度値と、に基づき、彩度信号に関する彩度補正係数を算出して、彩度信号を補正する。

（効果）
輝度信号処理に追従して彩度信号の補正処理を行うことにより、違和感のない自然な色再現が可能となって、高品位な映像信号を得ることができる。

［付記２５］
上記彩度補正手段は、上記彩度信号に強調処理を行う彩度強調手段を有するものであることを特徴とする付記３に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。彩度強調手段は、図１４に示した彩度強調係数算出部８０７，彩度係数乗算部８０８が該当する。

この発明の好ましい適用例は、彩度強調係数算出部８０７によって彩度強調用の彩度強調係数を算出し、彩度係数乗算部８０８によって彩度信号に強調処理を行う画像処理システムである。

（作用）
彩度信号に関する強調係数を設定して、彩度強調処理を行う。

（効果）
スペースバリアントな各種の画像処理を行った輝度信号に対する彩度信号の補正処理と彩度強調処理とを一体化することができて、低コストな画像処理システムを構成することができる。また、彩度強調処理時に最大彩度に関する情報を利用することができるために、色再現域を逸脱することのない彩度強調処理が可能となり、高品位な映像信号を得ることができる。

［付記２６］
上記所定の色空間は、ＹＣｂＣｒ色空間またはＣＩＥ Ｌａｂ色空間であることを特徴とする付記３に記載の画像処理システム。

（対応する発明の実施形態と好ましい適用例）
この付記には、実施形態２が対応する。ＹＣｂＣｒ色空間は図１５に、ＣＩＥ Ｌａｂ色空間は図１７に、それぞれ示したようなものである。

この発明の好ましい適用例は、カラー映像信号を、図１５に示したようなＹＣｂＣｒ色空間、または図１７に示したようなＣＩＥ Ｌａｂ色空間における、輝度信号と色相信号と彩度信号とへ分解する画像処理システムである。

（作用）
カラー映像信号をＹＣｂＣｒ色空間またはＣＩＥ Ｌａｂ色空間における輝度信号と色相信号と彩度信号とへ分解する。

（効果）
ＹＣｂＣｒ色空間を用いる場合には、変換が容易で、高速化、低コスト化を図ることが可能となる。一方、ＣＩＥ Ｌａｂ色空間を用いる場合には、高精度な輝度信号，色相信号，彩度信号を得ることができるために、高品位な処理が可能となる。

［付記２７］
コンピュータに、映像信号に対する所定の画像処理を行わせるための画像処理プログラムであって、
コンピュータに、
上記映像信号に係る信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解する多重解像度分解ステップと、
上記高周波成分に対する補正係数を算出する補正係数算出ステップと、
上記補正係数に基づき上記高周波成分を補正処理する補正処理ステップと、
上記補正処理された高周波成分と、上記低周波成分と、から補正された映像信号に係る信号を合成する多重解像度合成ステップと、
を実行させるための画像処理プログラム。

（対応する発明の実施形態と効果）
付記１とほぼ同様である。ただし、図１０および図１１、または図１８および図１９に示す各ステップが対応する。具体的には、多重解像度分解ステップがステップＳ１１でループされるステップＳ４に、補正係数算出ステップがステップＳ１１でループされるステップＳ５に、補正処理ステップがステップＳ１１でループされるステップＳ６〜Ｓ１０に、多重解像度合成ステップがステップＳ１３に、それぞれ対応する。

［付記２８］
上記映像信号は、カラー映像信号であって、
上記カラー映像信号を、所定の色空間における、上記映像信号に係る信号としての輝度信号と、色相信号と、彩度信号と、へ分解するＹ／Ｃ分離ステップと、
上記輝度信号と、上記多重解像度合成ステップからの補正された輝度信号と、上記色相信号と、に基づき、上記彩度信号を補正する彩度補正ステップと、
上記補正された輝度信号と、上記補正された彩度信号と、上記色相信号と、に基づき、補正されたカラー映像信号を合成するＹ／Ｃ合成ステップと、
をさらに含むことを特徴とする付記２７に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記３とほぼ同様である。ただし、図１８および図１９に示す各ステップが対応する。具体的には、Ｙ／Ｃ分離ステップがステップＳ４０に、彩度補正ステップがＳ４１および図１９に示すステップＳ５０〜Ｓ５７に、Ｙ／Ｃ合成ステップがステップＳ４２に、それぞれ対応する。

［付記２９］
上記補正係数算出ステップは、上記分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分と、視覚系の順応モデルと、に基づき、上記分解の段階数ｉの高周波成分に対する階調補正係数を算出する階調補正係数算出ステップを含むステップであることを特徴とする付記２７に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記６とほぼ同様である。ただし、図１１に示す各ステップが対応する。具体的には、階調補正係数算出ステップがステップＳ２０〜Ｓ２３に対応する。

［付記３０］
上記補正係数算出ステップは、上記分解の段階数ｉの低周波成分と、ノイズ量の推定モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を算出するノイズ補正係数算出ステップをさらに含むステップであることを特徴とする付記２９に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１１とほぼ同様である。ただし、図１１に示す各ステップが対応する。具体的には、ノイズ補正係数算出ステップがステップＳ２４〜Ｓ２７に対応する。

［付記３１］
上記補正係数算出ステップは、上記分解の段階数ｉと、エッジの強調モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するエッジ補正係数を算出するエッジ補正係数算出ステップをさらに含むステップであることを特徴とする付記２９または付記３０に記載の画像処理プログラム。

（対応する発明の実施形態と効果）
付記１７とほぼ同様である。ただし、図１１に示す各ステップが対応する。具体的には、エッジ補正係数算出ステップがステップＳ２８〜Ｓ３１に対応する。

本発明は、映像信号に対して所定の画像処理を行うための画像処理システム、画像処理プログラムに好適に利用することができる。

本発明の実施形態１における画像処理システムの構成を示すブロック図。 上記実施形態１における多重解像度分解部の構成を示すブロック図。 上記実施形態１における補正係数算出部の構成を示すブロック図。 上記実施形態１の補正係数算出部において用いられる階調補正係数用テーブルに係る視覚系の順応モデルを示す線図。 上記実施形態１の補正係数算出部において用いられるノイズ補正係数用テーブルに係るノイズ量の推定モデルを示す図。 上記実施形態１の補正係数算出部において用いられるエッジ補正係数用テーブルに係るエッジの強調モデルを示す線図。 上記実施形態１における補正処理部の構成を示すブロック図。 上記実施形態１における多重解像度合成部の構成を示すブロック図。 上記実施形態１における画像処理システムの他の構成例を示すブロック図。 上記実施形態１において、画像処理プログラムによる信号処理全体の流れを示すフローチャート。 上記図１０のステップＳ５における補正係数算出の処理の詳細を示すフローチャート。 本発明の実施形態２における画像処理システムの構成を示すブロック図。 上記実施形態２において、ＹＣｂＣｒ色空間における彩度補正を説明するための図。 上記実施形態２における彩度補正部の構成を示すブロック図。 上記実施形態２において、ＹＣｂＣｒ色空間の各色相面における最大彩度値を説明するための線図。 上記実施形態２において、中間的な色相面における最大彩度の補間算出を説明するための線図。 上記実施形態２において、ＣＩＥ Ｌａｂ色空間の各色相面における最大彩度値を説明するための線図。 上記実施形態２において、画像処理プログラムによる信号処理全体の流れを示すフローチャート。 上記図１８のステップＳ４１における彩度補正の処理の詳細を示すフローチャート。

符号の説明

１００…レンズ系
１０１…絞り
１０２…ＣＣＤ
１０３…増幅部
１０４…Ａ／Ｄ変換部
１０５…バッファ
１０６…測光評価部
１０７…合焦点検出部
１０８…ＡＦモータ
１０９…多重解像度分解部（多重解像度分解手段）
１１０…バッファ
１１１…補正係数算出部（補正係数算出手段）
１１２…補正処理部（補正処理手段）
１１３…多重解像度合成部（多重解像度合成手段）
１１４…信号処理部
１１５…出力部
１１６…制御部（階調補正係数算出手段，階調情報取得手段，輝度レベル算出手段，ノイズ補正係数算出手段，ノイズ情報取得手段，ゲイン算出手段，エッジ補正係数算出段，エッジ情報取得手段，エッジ強調量算出手段）
１１７…外部Ｉ／Ｆ部
１１８…温度センサ
２００…データ読取部
２０１…バッファ
２０２…水平ハイパスフィルタ
２０３…水平ローパスフィルタ
２０４…サブサンプラ
２０５…サブサンプラ
２０６…垂直ハイパスフィルタ
２０７…垂直ローパスフィルタ
２０８…垂直ハイパスフィルタ
２０９…垂直ローパスフィルタ
２１０…サブサンプラ
２１１…サブサンプラ
２１２…サブサンプラ
２１３…サブサンプラ
２１４…切換部
２１５…データ転送制御部
２１６…基底関数ＲＯＭ
２１７…フィルタ係数読取部
３００…輝度レベル算出部（階調補正係数算出手段，階調情報取得手段，輝度レベル算出手段）
３０１…階調定数項算出部（階調補正係数算出手段，階調情報取得手段，階調定数項算出手段）
３０２…階調情報付与部（階調補正係数算出手段，階調情報付与手段）
３０３…階調補正係数用テーブル（階調補正係数算出手段，階調補正係数用テーブル手段）
３０４…ゲイン算出部（ノイズ補正係数算出手段，ノイズ情報取得手段，ゲイン算出手段）
３０５…ノイズ定数項算出部（ノイズ補正係数算出手段，ノイズ情報取得手段，ノイズ定数項算出手段）
３０６…ノイズ情報付与部（ノイズ補正係数算出手段，ノイズ情報付与手段）
３０７…ノイズ補正係数用テーブル（ノイズ補正係数算出手段，ノイズ補正係数用テーブル手段）
３０８…エッジ強調量算出部（エッジ補正係数算出段，エッジ情報取得手段，エッジ強調量算出手段）
３０９…エッジ定数項算出部（エッジ補正係数算出段，エッジ情報取得手段，エッジ定数項算出手段）
３１０…エッジ情報付与部（エッジ補正係数算出段，エッジ情報付与手段）
３１１…エッジ補正係数用テーブル（エッジ補正係数算出段，エッジ補正係数用テーブル手段）
４００…切換部
４０１…加算部（コアリング手段）
４０２…減算部（コアリング手段）
４０３…置換部（コアリング手段）
４０４…乗算部（乗算手段）
４０５…標準値付与部（標準値付与手段）
４０６…乗算係数算出部（乗算係数算出手段）
４０７…乗算係数補正部（乗算係数補正手段）
４０８…上限値算出部（上限値算出手段）
５００…データ読取部
５０１…切換部
５０２…アップサンプラ
５０３…アップサンプラ
５０４…アップサンプラ
５０５…アップサンプラ
５０６…垂直ハイパスフィルタ
５０７…垂直ローパスフィルタ
５０８…垂直ハイパスフィルタ
５０９…垂直ローパスフィルタ
５１０…アップサンプラ
５１１…アップサンプラ
５１２…水平ハイパスフィルタ
５１３…水平ローパスフィルタ
５１４…バッファ
５１５…データ転送制御部
５１６…基底関数ＲＯＭ
５１７…フィルタ係数読取部
６００…入力部
６０１…ヘッダ情報解析部
７００…カラーＣＣＤ
７０１…プレホワイトバランス部
７０２…Ｙ／Ｃ分離部（Ｙ／Ｃ分離手段）
７０３…バッファ
７０４…多重解像度分解部（多重解像度分解手段）
７０５…輝度補正処理部（補正処理手段）
７０６…多重解像度合成部（多重解像度合成手段）
７０７…彩度補正部（彩度補正手段）
７０８…Ｙ／Ｃ合成部（Ｙ／Ｃ合成手段）
８００…データ読取部
８０１…隣接色相面探索部（最大彩度算出手段）
８０２…関数抽出部（最大彩度算出手段）
８０３…関数記録用ＲＯＭ（最大彩度算出手段）
８０４…最大彩度算出部（最大彩度算出手段）
８０５…彩度補間部（最大彩度算出手段）
８０６…彩度補正係数算出部（彩度補正係数算出手段）
８０７…彩度強調係数算出部（彩度強調手段）
８０８…彩度係数乗算部（乗算手段，彩度強調手段）

Claims (31)

1. 映像信号に対して所定の画像処理を行う画像処理システムであって、
   上記映像信号に係る信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解する多重解像度分解手段と、
   上記高周波成分に対する階調補正係数を算出する補正係数算出手段と、
   上記階調補正係数に基づき上記高周波成分を階調補正処理する補正処理手段と、
   上記階調補正処理された高周波成分と、上記低周波成分と、から補正された映像信号に係る信号を合成する多重解像度合成手段と、
   を具備したことを特徴とする画像処理システム。
2. 上記映像信号は、モノクロ映像信号であって、
   上記映像信号に係る信号は、上記映像信号自体であることを特徴とする請求項１に記載の画像処理システム。
3. 上記映像信号は、カラー映像信号であって、
   上記カラー映像信号を、所定の色空間における、上記映像信号に係る信号としての輝度信号と、色相信号と、彩度信号と、へ分解するＹ／Ｃ分離手段と、
   上記輝度信号と、上記多重解像度合成手段からの補正された輝度信号と、上記色相信号と、に基づき、上記彩度信号を補正する彩度補正手段と、
   上記補正された輝度信号と、上記補正された彩度信号と、上記色相信号と、に基づき、補正されたカラー映像信号を合成するＹ／Ｃ合成手段と、
   をさらに具備したことを特徴とする請求項１に記載の画像処理システム。
4. 上記多重解像度分解手段および多重解像度合成手段は、直交ウェーブレット変換または双直交ウェーブレット変換を用いるものであることを特徴とする請求項１に記載の画像処理システム。
5. 上記多重解像度分解手段および多重解像度合成手段は、ガウシアンフィルタおよびラプラシアンフィルタを用いるものであることを特徴とする請求項１に記載の画像処理システム。
6. 上記補正係数算出手段は、上記分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分を、視覚系の順応モデルにより補正し、上記補正された低周波成分から上記分解の段階数ｉの高周波成分に対する階調補正係数を算出する階調補正係数算出手段を有するものであることを特徴とする請求項１に記載の画像処理システム。
7. 上記階調補正係数算出手段は、
   撮影時の環境条件に関する情報を取得する階調情報取得手段と、
   上記分解の段階数ｉの低周波成分と、上記階調情報取得手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対する階調補正係数を出力する階調補正係数用テーブル手段と、
   を有するものであることを特徴とする請求項６に記載の画像処理システム。
8. 上記階調補正係数算出手段は、上記階調情報取得手段により得られない情報に関して標準値を付与する階調情報付与手段をさらに有し、
   上記階調補正係数用テーブル手段は、上記分解の段階数ｉの低周波成分と、上記階調情報取得手段または上記階調情報付与手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対する階調補正係数を出力するものであることを特徴とする請求項７に記載の画像処理システム。
9. 上記階調情報取得手段は、
   撮影時のシャッタ速度と、絞り値と、ＩＳＯ感度と、の内の少なくとも１つを含む露光条件に関する情報に基づき、撮影時の輝度レベルを求める輝度レベル算出手段と、
   上記輝度レベルに基づき、上記視覚系の順応モデルに関する定数項を求める階調定数項算出手段と、
   を有するものであることを特徴とする請求項７に記載の画像処理システム。
10. 上記階調補正係数用テーブル手段は、上記分解の段階数ｉの低周波成分をＬ_i（ｘ，ｙ） （ｘ，ｙは、分解の段階数ｉの各周波成分のｘ方向，ｙ方向の座標位置）、上記分解の段階数ｉの高周波成分に対する階調補正係数をＴ_i（ｘ，ｙ）、映像信号に係る信号の階調幅の最大値をＤ_max、撮影時の輝度レベルから定まる定数項をｃ1 ，ｃ2 、としたときに、次式、
    

    

    により定義される視覚系の順応モデルに基づき構築されたものであることを特徴とする請求項７に記載の画像処理システム。
11. 上記補正係数算出手段は、上記分解の段階数ｉの低周波成分と、ノイズ量の推定モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を算出するノイズ補正係数算出手段をさらに有するものであることを特徴とする請求項６に記載の画像処理システム。
12. 上記ノイズ補正係数算出手段は、
    撮影時の温度値と、上記映像信号に対するゲイン値に関する情報と、を取得するノイズ情報取得手段と、
    上記分解の段階数ｉの低周波成分と、上記ノイズ情報取得手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を出力するノイズ補正係数用テーブル手段と、
    を有するものであることを特徴とする請求項１１に記載の画像処理システム。
13. 上記ノイズ補正係数算出手段は、上記ノイズ情報取得手段により得られない情報に関して標準値を付与するノイズ情報付与手段をさらに有し、
    上記ノイズ補正係数用テーブル手段は、上記分解の段階数ｉの低周波成分と、上記ノイズ情報取得手段または上記ノイズ情報付与手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を出力するものであることを特徴とする請求項１２に記載の画像処理システム。
14. 上記ノイズ情報取得手段は、
    撮影時のシャッタ速度と、絞り値と、ＩＳＯ感度と、の内の少なくとも１つの情報に基づき上記映像信号に対するゲイン値を求めるゲイン算出手段と、
    上記ゲイン値と、上記温度値と、に基づき、ノイズ量の推定モデルに関する定数項を求めるノイズ定数項算出手段と、
    を有するものであることを特徴とする請求項１２に記載の画像処理システム。
15. 上記補正係数算出手段は、
    上記分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分を、視覚系の順応モデルにより補正し、上記補正された低周波成分から上記分解の段階数ｉの高周波成分に対する階調補正係数を算出する階調補正係数算出手段と、
    上記分解の段階数ｉの低周波成分と、ノイズ量の推定モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を算出するノイズ補正係数算出手段と、
    を有し、
    上記ノイズ補正係数算出手段は、
    撮影時の温度値と、上記映像信号に対するゲイン値に関する情報と、を取得するノイズ情報取得手段と、
    上記分解の段階数ｉの低周波成分と、上記ノイズ情報取得手段からの情報と、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を出力するノイズ補正係数用テーブル手段と、
    を有し、
    上記ノイズ情報取得手段は、
    撮影時のシャッタ速度と、絞り値と、ＩＳＯ感度と、ホワイトバランス係数と、の内の少なくとも１つの情報に基づき上記映像信号に対するゲイン値を求めるゲイン算出手段と、
    上記ゲイン値と、上記温度値と、に基づき、ノイズ量の推定モデルに関する定数項を求めるノイズ定数項算出手段と、
    を有するものであることを特徴とする請求項３に記載の画像処理システム。
16. 上記ノイズ補正係数用テーブル手段は、上記分解の段階数ｉの低周波成分をＬ_i（ｘ，ｙ） （ｘ，ｙは、分解の段階数ｉの各周波成分のｘ方向，ｙ方向の座標位置）、上記分解の段階数ｉの高周波成分に対するノイズ補正係数をＮ_i（ｘ，ｙ）、撮影時の温度値ｔとゲイン値ｇとに基づき定まる定数項をα_gt，β_gt，γ_gt、としたときに、次式、
    

    

    により定義されるノイズ量の推定モデルに基づき構築されたものであることを特徴とする請求項１２または請求項１５に記載の画像処理システム。
17. 上記補正係数算出手段は、上記分解の段階数ｉと、エッジの強調モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するエッジ補正係数を算出するエッジ補正係数算出手段をさらに有するものであることを特徴とする請求項６または請求項１１に記載の画像処理システム。
18. 上記エッジ補正係数算出手段は、
    撮影時のエッジ強調に関する情報を取得するエッジ情報取得手段と、
    上記分解の段階数ｉと、上記エッジ情報取得手段からの情報と、に基づき、上記ｉ段階の高周波成分に対するエッジ補正係数を出力するエッジ補正係数用テーブル手段と、
    を有するものであることを特徴とする請求項１７に記載の画像処理システム。
19. 上記エッジ補正係数算出手段は、上記エッジ情報取得手段により得られない情報に関して標準値を付与するエッジ情報付与手段をさらに有し、
    上記エッジ補正係数用テーブル手段は、上記分解の段階数ｉと、上記エッジ情報取得手段または上記エッジ情報付与手段からの情報と、に基づき、上記ｉ段階の高周波成分に対するエッジ補正係数を出力するものであることを特徴とする請求項１８に記載の画像処理システム。
20. 上記エッジ情報取得手段は、
    撮影時に設定したエッジ強調量を求めるエッジ強調量算出手段と、
    上記エッジ強調量に基づきエッジの強調モデルに関する定数項を求めるエッジ定数項算出手段と、
    を有するものであることを特徴とする請求項１８に記載の画像処理システム。
21. 上記エッジ補正係数用テーブル手段は、上記分解の段階数ｉの高低周波成分に対するエッジ補正係数をＥ_i（ｘ，ｙ） （ｘ，ｙは、分解の段階数ｉの各周波成分のｘ方向，ｙ方向の座標位置）、撮影時に設定したエッジ強調量に基づき定まる定数項をｇ、所定の定数項をδ，ε，ζ、としたときに、次式、
    

    

    により定義されるエッジの強調モデルに基づき構築されたものであることを特徴とする請求項１８に記載の画像処理システム。
22. 上記補正係数算出手段は、上記分解の段階数ｉと、エッジの強調モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するエッジ補正係数を算出するエッジ補正係数算出手段をさらに有するものであり、
    上記補正処理手段は、
    上記階調補正係数とノイズ補正係数とエッジ補正係数との内の少なくとも１つが得られない場合に、該得られない係数に対する標準値を付与する標準値付与手段と、
    上記ノイズ補正係数または上記ノイズ補正係数に対する標準値に基づき、上記分解の段階数ｉの高周波成分に対してコアリング処理を行うコアリング手段と、
    上記階調補正係数または上記階調補正係数に対する標準値と、上記エッジ補正係数または上記エッジ補正係数に対する標準値と、に基づき、乗算係数を算出する乗算係数算出手段と、
    上記乗算係数を上記コアリング処理後の分解の段階数ｉの高周波成分に乗算処理する乗算手段と、
    を有するものであることを特徴とする請求項１１に記載の画像処理システム。
23. 上記補正処理手段は、
    上記分解の段階数ｉに基づき上記乗算係数に対する上限値を算出する上限値算出手段と、
    上記上限値に基づき上記乗算係数を補正する乗算係数補正手段と、
    をさらに有することを特徴とする請求項２２に記載の画像処理システム。
24. 上記彩度補正手段は、
    上記輝度信号および上記色相信号に対する上記所定の色空間における最大彩度値と、上記補正された輝度信号および上記色相信号に対する上記所定の色空間における最大彩度値と、を算出する最大彩度算出手段と、
    上記輝度信号および上記色相信号に対する最大彩度値と、上記補正された輝度信号および上記色相信号に対する最大彩度値と、に基づき、上記彩度信号に関する彩度補正係数を算出する彩度補正係数算出手段と、
    上記彩度補正係数を上記彩度信号に乗算処理する乗算手段と、
    を有するものであることを特徴とする請求項３に記載の画像処理システム。
25. 上記彩度補正手段は、上記彩度信号に強調処理を行う彩度強調手段を有するものであることを特徴とする請求項３に記載の画像処理システム。
26. 上記所定の色空間は、ＹＣｂＣｒ色空間またはＣＩＥ Ｌａｂ色空間であることを特徴とする請求項３に記載の画像処理システム。
27. コンピュータに、映像信号に対する所定の画像処理を行わせるための画像処理プログラムであって、
    コンピュータに、
    上記映像信号に係る信号をｎ段階（ｎは１以上の整数）の高周波成分と低周波成分とに周波数分解する多重解像度分解ステップと、
    上記高周波成分に対する階調補正係数を算出する補正係数算出ステップと、
    上記階調補正係数に基づき上記高周波成分を階調補正処理する補正処理ステップと、
    上記階調補正処理された高周波成分と、上記低周波成分と、から補正された映像信号に係る信号を合成する多重解像度合成ステップと、
    を実行させるための画像処理プログラム。
28. 上記映像信号は、カラー映像信号であって、
    上記カラー映像信号を、所定の色空間における、上記映像信号に係る信号としての輝度信号と、色相信号と、彩度信号と、へ分解するＹ／Ｃ分離ステップと、
    上記輝度信号と、上記多重解像度合成ステップからの補正された輝度信号と、上記色相信号と、に基づき、上記彩度信号を補正する彩度補正ステップと、
    上記補正された輝度信号と、上記補正された彩度信号と、上記色相信号と、に基づき、補正されたカラー映像信号を合成するＹ／Ｃ合成ステップと、
    をさらに含むことを特徴とする請求項２７に記載の画像処理プログラム。
29. 上記補正係数算出ステップは、上記分解の段階数ｉ（ｉは１以上ｎ以下の整数）の低周波成分を、視覚系の順応モデルにより補正し、上記補正された低周波成分から上記分解の段階数ｉの高周波成分に対する階調補正係数を算出する階調補正係数算出ステップを含むステップであることを特徴とする請求項２７に記載の画像処理プログラム。
30. 上記補正係数算出ステップは、上記分解の段階数ｉの低周波成分と、ノイズ量の推定モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するノイズ補正係数を算出するノイズ補正係数算出ステップをさらに含むステップであることを特徴とする請求項２９に記載の画像処理プログラム。
31. 上記補正係数算出ステップは、上記分解の段階数ｉと、エッジの強調モデルと、に基づき、上記分解の段階数ｉの高周波成分に対するエッジ補正係数を算出するエッジ補正係数算出ステップをさらに含むステップであることを特徴とする請求項２９または請求項３０に記載の画像処理プログラム。

Images