JP4850281B2 - 画像信号処理装置、画像信号処理プログラム - Google Patents

Description

本発明は、撮像素子からのデジタル化された画像信号に画像信号処理を行うための画像信号処理装置、画像信号処理プログラムに関する。

画像信号には、各種の画像信号処理が行われるが、その中の１つが階調変換処理である。

この階調変換処理は、画像信号がデジタル化された信号である場合には、変換の前後においてビット数が変化する処理と、ビット数が変化しない処理とがある。これらの内の、例えばビット数が変化しない処理においては、階調変換を行うと、階調幅が伸張される輝度域と、階調幅が圧縮される輝度域と、が発生することになる。そして、階調幅が圧縮される輝度域は、階調性が低下することになり、特に高輝度域においては白飛びが発生したり、低輝度域においては黒つぶれが発生したりすることになり、これが画質上の課題となっている。

このような課題に対して、例えば特開平５−６４０７５号公報には、同一撮影シーンに対して露光量の異なる複数の画像を取得して、露光量の多い画像における高輝度域を、露光量の少ない画像における対応する領域により置換する技術、または露光量の少ない画像における低輝度域を、露光量の多い画像における対応する領域により置換する技術、が記載されている。そして、このような技術を用いることにより、白飛びの領域や黒つぶれの領域が発生するのを抑制し、画質を改善することが可能となっている。

また、例えば特許第３４６５２２６号には、スペースバリアントな階調変換技術の一例として、画像のテクスチャを解析して、解析結果に基づき画像を複数の領域に分割し、領域毎に独立した階調特性を用いて階調変換を行う技術が記載されている。これにより、明暗比の大きいシーンでも白飛びや黒つぶれの領域を良好に抑制することが可能となる。

ところで、特開２００５−３０３８０２号公報には、ノイズ量を推定して、推定したノイズ量に基づきノイズ低減処理を行う技術が記載されている。該公報に記載されたノイズ量の推定技術は、ノイズ量を信号レベルに基づいて推定するだけでなく、さらに撮影毎に動的に変化するＩＳＯ感度に基づいて、色信号毎に推定するものとなっている。

特開平５−６４０７５号公報 特許第３４６５２２６号 特開２００５−３０３８０２号公報

しかしながら、上記特開平５−６４０７５号公報に記載されたものでは、露光量の異なる複数の画像を強引に合成する技術であるために、階調の不連続性が発生してしまうことになる。さらに、単一の撮像素子を用いて画像を取得する場合には、露光量を調整して複数回の撮像を行わなければならないために、動きのある被写体などの撮影に用いることは困難である。

また、上記特許第３４６５２２６号に記載されたものでは、撮像された画像を解析して自動的に階調変換を行う技術であるために、階調特性を画像毎に人為的に調整することができず、改善効果を所望にコントロールすることが困難となっている。

本発明は上記事情に鑑みてなされたものであり、白飛びや黒つぶれなどを低減して画質を改善することができ、画質改善の程度を制御可能な画像信号処理装置、画像信号処理プログラムを提供することを目的としている。

上記の目的を達成するために、本発明による画像信号処理装置は、撮像素子からのデジタル化された画像信号に画像信号処理を行う画像信号処理装置であって、上記画像信号に対してスペースバリアントな階調変換処理を行うことにより第１画像信号を生成する第１階調変換処理手段と、上記画像信号に対してスペースインバリアントな階調補正処理を行うことにより第２画像信号を生成する第２階調変換処理手段と、上記第１画像信号と上記第２画像信号とを合成する合成手段と、を具備し、上記合成手段は、上記第２階調変換処理手段に用いる階調変換特性に基づき少なくとも一つ以上の閾値を設定する閾値設定手段と、前記閾値に基づいて、上記画像信号の特定輝度域を検出する特定輝度域検出手段と、各上記特定輝度域における合成比率を設定する合成比率設定手段と、を有して構成され、上記合成手段は、上記合成比率を用いて上記第１画像信号と上記第２画像信号とを合成するものである。

また、本発明による画像信号処理プログラムは、コンピュータに、撮像素子からのデジタル化された画像信号に画像信号処理を行わせるための画像信号処理プログラムであって、コンピュータに、上記画像信号に対してスペースバリアントな階調変換処理を行うことにより第１画像信号を生成する第１階調変換処理ステップと、上記画像信号に対してスペースインバリアントな階調補正処理を行うことにより第２画像信号を生成する第２階調変換処理ステップと、上記第１画像信号と上記第２画像信号とを合成する合成ステップと、を実行させるためのプログラムであり、上記合成ステップは、上記第２階調変換処理ステップに用いる階調変換特性に基づき少なくとも一つ以上の閾値を設定する閾値設定ステップと、前記閾値に基づいて、上記画像信号の特定輝度域を検出する特定輝度域検出ステップと、各上記特定輝度域における合成比率を設定する合成比率設定ステップと、を有し、上記合成ステップは、上記合成比率を用いて上記第１画像信号と上記第２画像信号とを合成するステップである。

本発明の画像信号処理装置、画像信号処理プログラムによれば、白飛びや黒つぶれなどを低減して画質を改善することができ、画質改善の程度を制御可能となる。

本発明の実施形態１における画像信号処理装置の構成を示すブロック図。 上記実施形態１における画像信号判断部の構成の一例を示すブロック図。 上記実施形態１のγ特性データを示す線図。 上記実施形態１において、輝度値に応じて合成比率Ｒ１ij，Ｒ２ijを線形に変化させる例を示す線図。 上記実施形態１における特定輝度域検出部の構成の一例を示すブロック図。 上記実施形態１における階調変換部の構成の一例を示すブロック図。 上記実施形態１における合成部の構成の一例を示すブロック図。 上記実施形態１において、輝度値に応じて合成比率Ｒ１ij，Ｒ２ijを非線形に変化させる例を示す線図。 上記実施形態１において、輝度値に応じて合成比率Ｒ１ij，Ｒ２ijを線形に変化させ、かつ暗部ノイズを低減する例を示す線図。 上記実施形態１における画像信号処理プログラムによる処理を示すフローチャート。 上記実施形態１の図１０のステップＳ２における高輝度信号の検出処理の詳細を示すフローチャート。 上記実施形態１の図１０のステップＳ６における合成処理の詳細を示すフローチャート。 本発明の実施形態２における画像信号処理装置の構成を示すブロック図。 上記実施形態２における特定輝度域検出部の構成の一例を示すブロック図。 上記実施形態２における階調変換部の構成の一例を示すブロック図。 上記実施形態２における第２階調補正部の構成の一例を示すブロック図。 上記実施形態２において、絵作りγ特性データと表示装置用のγ特性データとを合成して得られたγ特性データを示す線図。 上記実施形態２において、高輝度画像信号と低輝度画像信号との両方が存在する場合の合成比率の設定例を示す線図。 上記実施形態２において、低輝度画像信号のみが存在する場合の合成比率の設定例を示す線図。 上記実施形態２において、高輝度画像信号のみが存在する場合の合成比率の設定例を示す線図。 上記実施形態２における色ずれ低減部の構成の一例を示すブロック図。 上記実施形態２における画像信号処理プログラムによる処理を示すフローチャート。 上記実施形態２の図２２のステップＳ２２における高、低輝度信号の検出処理の詳細を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１２は本発明の実施形態１を示したものであり、図１は画像信号処理装置の構成を示すブロック図である。

この画像信号処理装置は、レンズ系１００と、絞り１０１と、撮像素子たるＣＣＤ１０２と、増幅部１０３と、Ａ／Ｄ変換部１０４と、バッファ部１０５と、画像信号判断部１０６と、階調変換部１０７と、画質劣化情報取得手段であり画質補正手段たるノイズ低減部１０８と、表示部１０９と、ＲＯＭ１１０と、制御部１１１と、閾値設定手段であり閾値入力手段たる外部Ｉ／Ｆ部１１２と、を有して構成されている。すなわち、本実施形態の画像信号処理装置は、レンズ系１００、絞り１０１、ＣＣＤ１０２、増幅部１０３、Ａ／Ｄ変換部１０４等の撮像部を備える撮像装置として構成されたものとなっている。

レンズ系１００、絞り１０１、ＣＣＤ１０２を介して撮影し出力されたアナログの画像信号は、増幅部１０３によって増幅される。この増幅部１０３により増幅されたアナログの画像信号は、Ａ／Ｄ変換部１０４によってデジタル信号へ変換され、バッファ部１０５へ転送される。

バッファ部１０５は、画像信号判断部１０６と、階調変換部１０７と、ノイズ低減部１０８と、を介して表示部１０９へ接続されている。ＲＯＭ１１０は、画像信号判断部１０６と、階調変換部１０７と、ノイズ低減部１０８と、へ接続されている。

制御部１１１は、例えばマイクロコンピュータなどにより構成されていて、増幅部１０３、Ａ／Ｄ変換部１０４、バッファ部１０５、画像信号判断部１０６、階調変換部１０７、ノイズ低減部１０８、表示部１０９、ＲＯＭ１１０、外部Ｉ／Ｆ部１１２と双方向に接続されており、これらを制御するようになっている。

ここに、外部Ｉ／Ｆ部１１２は、電源スイッチ，シャッタボタン等を備えたインタフェースである。

次に、図１に示したような画像信号処理装置の作用を、画像信号の流れに沿って説明する。

外部Ｉ／Ｆ部１１２を介してシャッタボタンが押されると、撮像装置であるこの画像信号処理装置が、撮影に係る各種の処理を以下に説明するように行う。

レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像する。

絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更する。

ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの画像信号として出力する。このときに出力されるアナログの画像信号は、公知の相関二重サンプリング等が行われた信号である。

なお、本実施形態においては、ＣＣＤ１０２として、ベイヤー（Bayer）型の原色カラーフィルタを前面に配置した単板ＣＣＤを想定している。従って、この想定の下では、ＣＣＤ１０２から出力される画像信号は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三成分からなるカラー画像信号となる。

増幅部１０３は、制御部１１１の制御に基づき、ＣＣＤ１０２からのアナログの画像信号を増幅する。

Ａ／Ｄ変換部１０４は、増幅部１０３により増幅されたアナログの画像信号を、デジタルの画像信号に変換して、バッファ部１０５へ転送する。

バッファ部１０５は、Ａ／Ｄ変換部１０４から転送された画像信号を記憶する。

画像信号判断部１０６は、画像信号が高輝度画像信号であるか否かを判定するための閾値（高輝度閾値）をＲＯＭ１１０から読み出す。そして、画像信号判断部１０６は、読み出した高輝度閾値に基づいて、バッファ部１０５から転送されてきた画像信号に高輝度画像信号があるか否かを判定し、高輝度判定結果を生成する。

そして、画像信号判断部１０６は、高輝度判定結果と画像信号とを、階調変換部１０７へ転送する（なお、図１やその他の各ブロック図において、太実線で示される信号は、画像信号を少なくとも含むが、画像信号以外の信号を含むこともある。）。

階調変換部１０７は、転送されてきた高輝度判定結果に基づいて、画像信号に対応する階調変換処理を該画像信号に対して行い、処理後の画像信号をノイズ低減部１０８へ転送する。

ノイズ低減部１０８は、転送されてきた画像信号に対してノイズ低減処理を行い、処理後の画像信号を表示部１０９へ転送する。

表示部１０９は、転送されてきた画像信号に基づき表示を行う。

次に、図２は、画像信号判断部１０６の構成の一例を示すブロック図である。

この画像信号判断部１０６は、輝度信号変換部４０１と、合成比率設定手段たる特定輝度域検出部４０２と、を有して構成されている。

バッファ部１０５は、輝度信号変換部４０１と、特定輝度域検出部４０２と、を介して、階調変換部１０７へ接続されている。ＲＯＭ１１０は、特定輝度域検出部４０２と接続されている。制御部１１１は、輝度信号変換部４０１、特定輝度域検出部４０２と双方向に接続されており、これらを制御するようになっている。

輝度信号変換部４０１は、本実施形態においては、バッファ部１０５から画素単位で転送されてくる画素位置（ｉ，ｊ）（ここに、ｉは画像信号の横方向の座標値、ｊは画像信号の縦方向の座標値、をそれぞれ示す。）のＲＧＢ画像信号（Ｒij：Ｒ信号、Ｇij：Ｇ信号、Ｂij：Ｂ信号）に基づいて、次の数式１に示すように輝度値Ｋijを画素毎に算出する。
［数１］
Ｋij＝Ａ１×Ｒij＋Ａ２×Ｇij＋Ａ３×Ｂij
ここに、Ａ１，Ａ２，Ａ３は、輝度値Ｋijを算出する際に、Ｒ信号Ｒij，Ｇ信号Ｇij，Ｂ信号Ｂijにそれぞれ乗算される所定の定数である。

次に、特定輝度域検出部４０２は、高輝度画像信号を判断するための高輝度閾値をＲＯＭ１１０から読み出して、読み出した高輝度閾値と、バッファ部１０５から画素単位で転送されてきた輝度値Ｋijと、を比較する。特定輝度域検出部４０２は、輝度値Ｋijが高輝度閾値よりも大きい場合には、該画素の画像信号が高輝度画像信号であると判断する。特定輝度域検出部４０２は、このような比較を画像に含まれる全画素について行い、高輝度画像信号であると判断された画素の数をカウントする。そして、特定輝度域検出部４０２は、全画素についての処理を行った後のカウンタの値と、ＲＯＭ１１０から読み出した所定の閾値とを比較して、カウンタ値が所定の閾値よりも大きい場合には画像に高輝度画像信号が存在することを高輝度判定結果とし、カウンタ値が所定の閾値以下である場合には画像に高輝度画像信号が存在しないことを高輝度判定結果とする。

その後、特定輝度域検出部４０２は、高輝度判定結果と画像信号とを階調変換部１０７へ転送する。

なお、上述では、ＲＯＭ１１０に高輝度画像信号を判断するための高輝度閾値が予め記憶されていて、特定輝度域検出部４０２は、この高輝度閾値をＲＯＭ１１０から読み出して用いていたが、これに限らず、高輝度閾値を指定することができるようにしても良い。ここに、高輝度閾値を指定する手段の例としては、ユーザが外部Ｉ／Ｆ部１１２を介して手動で設定する手段と、表示部１０９に含まれる表示装置のγ特性等に基づき自動的に設定する手段と、が挙げられる。

ここに、手動で設定する手段としては、ユーザが外部Ｉ／Ｆ部１１２を介して所望の高輝度閾値を手動で設定しても良いし、あるいは、ＲＯＭ１１０に複数の高輝度閾値を予め用意しておいて、これらの高輝度閾値の内の何れか一つをユーザが外部Ｉ／Ｆ部１１２を介して指定する手段であっても構わない。

また、自動的に高輝度閾値を設定する手段を採用する場合には、特定輝度域検出部４０２を、次の図５に示すように構成することが考えられる。

図５は、特定輝度域検出部４０２の構成の一例を示すブロック図である。

この特定輝度域検出部４０２は、γ（ガンマ）特性データ抽出部４０２１と、閾値設定手段たる高輝度域閾値検出部４０２２と、特定輝度域検出手段たる高輝度域判断部４０２３と、を有して構成されている。

輝度信号変換部４０１は、γ特性データ抽出部４０２１と、高輝度域閾値検出部４０２２と、高輝度域判断部４０２３と、を介して、階調変換部１０７へ接続されている。ＲＯＭ１１０は、γ特性データ抽出部４０２１と、高輝度域閾値検出部４０２２と、高輝度域判断部４０２３と、へ接続されている。制御部１１１は、γ特性データ抽出部４０２１、高輝度域閾値検出部４０２２、高輝度域判断部４０２３と双方向に接続されており、これらを制御するようになっている。

また、ＲＯＭ１１０は、複数種類のγ特性データを予め記憶しているものとする。

スペースインバリアントな階調変換を行うと、変換前には白飛びではない画像信号が、変換後には白飛びになってしまう現象が生じることがある。その原因は、例えば後述する図３に示すような階調変換曲線（γ特性データ）を用いる場合、高輝度域におけるγ特性データの勾配がほぼ水平になっているために、該高輝度域の画像信号を階調変換すると、変換後には濃淡変化がほとんどなくなってしまうことにある。そこで、階調変換曲線における傾きが小さい部分を検出すれば、高輝度閾値を自動指定することが可能となる。

図５に示す特定輝度域検出部４０２の、このような原理に基づく作用について、図３を参照して説明する。ここに、図３は、γ特性データを示す線図である。

まず、γ特性データ抽出部４０２１が、制御部１１１の制御に基づき、表示部１０９に含まれる所定の表示装置に対応するγ特性データを、ＲＯＭ１１０から抽出する。そして、γ特性データ抽出部４０２１は、抽出したγ特性データと、輝度信号変換部４０１からの輝度値Ｋijとを、高輝度域閾値検出部４０２２へ転送する。

次に、高輝度域閾値検出部４０２２は、白飛びであると判定される所定の角度ΔTHをＲＯＭ１１０から読み出す。そして、高輝度域閾値検出部４０２２は、γ特性データ抽出部４０２１からのγ特性データと、ＲＯＭ１１０から読み出した角度ΔTHと、に基づいて、次に説明するように、着目点の傾き角度Δを算出する。

ここに、例えば、８ビット（２５６階調）の画像信号から８ビットの画像信号への階調変換を行う場合には、表示装置に対応するγ特性データは、０〜２５５までの入力レベルに対応する２５６点のデータとなる。なお、出力レベルも、入力レベルと同様に０〜２５５である。

今、小さい方から順に数えてｘ番目の入力レベルをＮxiとし、この入力レベルＮxiに対応する出力レベルをＮxoとして、（Ｎxi，Ｎxo）を着目点とする。さらに、最大入力レベル２５５に対応する出力レベルをＮ255oとして、（２５５，Ｎ255o）を最大点とする。

このとき、入力レベルが小さい順に着目点を移動させながら、着目点と最大点とを通る直線の傾き角度Δを次の数式２に示すように算出する。
［数２］
Δ＝ａｒｃｔａｎ｛（Ｎ255o−Ｎxo）／（２５５−Ｎxi）｝

そして、着目点の移動に従って順に算出される傾き角度Δ（数式２）が、ＲＯＭ１１０から読み出した所定の角度ΔTHよりもはじめて小さくなったときの着目点の入力レベルを、高輝度閾値ＳＴｈとする。

その後、高輝度域閾値検出部４０２２は、検出した高輝度閾値ＳＴｈと、γ特性データ抽出部４０２１を介して転送された輝度値Ｋijとを、高輝度域判断部４０２３へ転送する。

高輝度域判断部４０２３は、画素単位で転送されてくる輝度値Ｋijを、転送されてきた高輝度閾値ＳＴｈと比較して、輝度値Ｋijが高輝度閾値ＳＴｈよりも大きい場合には、該画素の画像信号が高輝度画像信号であると判断する。

高輝度域判断部４０２３は、このような比較を画像に含まれる全画素について行い、高輝度画像信号であると判断された画素の数をカウントする。そして、特定輝度域検出部４０２は、全画素についての処理を行った後のカウンタの値と、ＲＯＭ１１０から読み出した所定の閾値とを比較して、カウンタ値が所定の閾値よりも大きい場合には画像に高輝度画像信号が存在することを高輝度判定結果とし、カウンタ値が所定の閾値以下である場合には画像に高輝度画像信号が存在しないことを高輝度判定結果とする。

その後、高輝度域判断部４０２３は、高輝度判定結果と、輝度信号変換部４０１、γ特性データ抽出部４０２１、高輝度域閾値検出部４０２２を介して順次転送されてきた画像信号とを、階調変換部１０７へ転送する。さらに、高輝度域判断部４０２３は、必要に応じて高輝度閾値ＳＴｈも階調変換部１０７へ転送するようになっている。

なお、γ特性データに対応する、上記各入力レベルと各出力レベルとから構成される傾きΔの情報を、前もってＲＯＭ１１０に保存しておき、閾値を自動指定するときに、ＲＯＭ１１０から各傾きΔ情報を昇順で読みこんで、白飛びであると認定する角度よりも小さい傾きがはじめて出た場合に、その傾きΔに対応する入力値を閾値として設定するようにしても良い。

また、異なる表示装置に対応するγ特性データに応じた閾値を前もってＲＯＭ１１０に保存しておき、画像信号を処理するときに、所定の表示装置に対応するγ特性データに応じた閾値を抽出するように構成することも可能である。

次に、図６は、階調変換部１０７の構成の一例を示すブロック図である。

この階調変換部１０７は、バッファ部１００１と、第１階調変換処理手段たる第１階調補正部１００２と、第２階調変換処理手段たる第２階調補正部１００３と、合成手段たる合成部１００４と、ＲＡＭ１００５と、を有して構成されている。

画像信号判断部１０６は、バッファ部１００１とＲＡＭ１００５とへ接続されている。バッファ部１００１は、第１階調補正部１００２と第２階調補正部１００３とへ接続されている。第１階調補正部１００２および第２階調補正部１００３は、合成部１００４へ接続されている。第２階調補正部１００３および合成部１００４は、ノイズ低減部１０８へ接続されている。ＲＡＭ１００５は、第１階調補正部１００２と第２階調補正部１００３と合成部１００４とへ接続されている。ＲＯＭ１１０は、第２階調補正部１００３と合成部１００４とへ接続されている。

制御部１１１は、バッファ部１００１、第１階調補正部１００２、第２階調補正部１００３、合成部１００４、およびＲＡＭ１００５と双方向に接続されており、これらを制御するようになっている。

画像信号判断部１０６からの画像信号はバッファ部１００１に、画像信号判断部１０６からの高輝度判定結果はＲＡＭ１００５に、それぞれ保存される。また、画像信号判断部１０６から高輝度閾値ＳＴｈが転送されてきた場合には、この高輝度閾値ＳＴｈもＲＡＭ１００５に保存されるようになっている。

階調変換部１０７は、制御部１１１の制御に基づき、ＲＡＭ１００５から高輝度判定結果を抽出して、高輝度画像信号が存在するか否かを判定する。そして、階調変換部１０７は、高輝度画像信号が存在すると判定した場合には、制御部１１１の制御に基づき、バッファ部１００１内の画像信号を第１階調補正部１００２および第２階調補正部１００３へ転送する。一方、階調変換部１０７は、高輝度画像信号が存在しないと判定した場合には、制御部１１１の制御に基づき、バッファ部１００１内の画像信号を第２階調補正部１００３のみへ転送する。

第１階調補正部１００２は、具体的な処理としては、例えば上述した特許第３４６５２２６号に記載されているようなスペースバリアントな階調変換処理を行うようになっている。なお、スペースバリアントな階調変換処理とは、処理対象となる画像の画素毎または領域毎（以下ではこれらをまとめて「区域毎」ということがある）に階調変換の特性を定めて、この区域毎に定められた階調変換の特性を用いて、各区域に対して階調変換を行う処理のことである。本実施形態においては、第１階調補正部１００２は、次に具体的に説明するような手法によりペースバリアントな階調変換処理を行うようになっている。

すなわち、第１階調補正部１００２は、まず最初に、区域毎に輝度ヒストグラムを作成する。次に、第１階調補正部１００２は、輝度ヒストグラムの平滑化の度合いを定めるクリップ値を決定して、このクリップ値に基づき上記輝度ヒストグラムをクリッピングし、さらにクリッピング後の輝度ヒストグラムから累積ヒストグラムを作成する。最後に、第１階調補正部１００２は、累積ヒストグラムを階調変換の特性を表した階調変換曲線として、この階調変換曲線に基づく階調変換データを作成する。そして、入力された画像信号の区域毎に、区域毎の階調変換データを用いて階調変換処理を行う。その後、第１階調補正部１００２は、階調変換処理後の画像信号を合成部１００４へ転送する。

また、第２階調補正部１００３は、ＲＯＭ１１０から表示部１０９の表示装置に対応するγ特性データを抽出して、バッファ部１００１から転送されてきた画像信号に対してスペースインバリアントな階調変換処理を行うようになっている。なお、スペースインバリアントな階調変換処理とは、処理対象となる画像に対して、区域毎に階調変換の特性を定めることはせずに、区域によらない固定的な階調変換の特性を用いて、画像に対する階調変換を行う処理のことである。第２階調補正部１００３は、制御部１１１の制御に基づいて、高輝度画像信号が存在する場合には処理後の画像信号を合成部１００４へ転送し、高輝度画像信号が存在しない場合には処理後の画像信号をノイズ低減部１０８へ転送する。

合成部１００４は、第１階調補正部１００２から転送されてきたスペースバリアントな階調変換画像と、第２階調補正部１００３から転送されてきたスペースインバリアントな階調変換画像と、を用いて画像合成処理を行い、合成後の画像信号をノイズ低減部１０８へ転送する。

図７は、合成部１００４の構成の一例を示すブロック図である。

この合成部１００４は、バッファ部９０１と、バッファ部９０２と、合成比率設定手段であり合成比率算出手段たる合成比率設定部９０３と、ブレンド部９０４と、を有して構成されている。

第１階調補正部１００２は、バッファ部９０１を介してブレンド部９０４へ接続されている。第２階調補正部１００３は、バッファ部９０２と合成比率設定部９０３とを介してブレンド部９０４へ接続されている。ブレンド部９０４は、ノイズ低減部１０８へ接続されている。ＲＯＭ１１０は、合成比率設定部９０３へ接続されている。ＲＡＭ１００５は、合成比率設定部９０３とブレンド部９０４とへ接続されている。

制御部１１１は、バッファ部９０１、バッファ部９０２、合成比率設定部９０３、およびブレンド部９０４と双方向に接続されており、これらを制御するようになっている。

第１階調補正部１００２から転送されてきたスペースバリアントな階調変換処理後の画像信号（以下、適宜「第１画像信号」」という）は、バッファ部９０１に記憶される。

また、第２階調補正部１００３から転送されてきたスペースインバリアントな階調変換処理後の画像信号（以下、適宜「第２画像信号」」という）は、バッファ部９０２に記憶される。

合成比率設定部９０３は、第１画像信号と第２画像信号とを合成するときの比率、つまり、第１画像信号の合成比率Ｒ１と第２画像信号の合成比率Ｒ２とを設定する。ここに、合成比率Ｒ１と合成比率Ｒ２との設定は、種々の方法により行うことが可能である。

まず、これら合成比率Ｒ１と合成比率Ｒ２とを設定する第１の方法として、合成比率Ｒ１，Ｒ２を変動的に設定する方法が挙げられる。この方法は、合成比率設定部９０３が、制御部１１１の制御に基づき、上述したような高輝度閾値ＳＴｈ（図３参照）をＲＡＭ１００５から抽出して、この高輝度閾値ＳＴｈに基づき合成比率Ｒ１と合成比率Ｒ２とを設定する方法である。

具体的には、高輝度域判断部４０２３により高輝度画像信号が存在すると判断されたときには、画像中の高輝度領域の面積と全画像の面積との比率に応じて、合成比率Ｒ１，Ｒ２を設定する手段が挙げられる。ここに、面積は、実際の面積である必要はなく、高輝度領域に含まれる画素の画素数と、全画像に含まれる画素の画素数と、を代用することができる。すなわち、本実施形態においては、全画像信号中において入力輝度値が高輝度閾値ＳＴｈよりも大きい画素のカウント数を高輝度領域の面積とみなし、全画像信号に含まれる全ての画素のカウント数を全画像の面積とみなせば良い。このように、高輝度領域の面積と全画像の面積との比率に応じて合成比率Ｒ１，Ｒ２を設定する場合には、例えば数式３、数式４で表現されるような関係に従って合成比率Ｒ１，Ｒ２を設定すると良い。
［数３］
Ｒ１＝Ｔ×（Ｓｈ／Ｓａ）
［数４］
Ｒ２＝１−Ｒ１
ここに、Ｓｈは高輝度領域の面積、Ｓａは全画像の面積、Ｔは定数（０≦Ｔ≦１）を表し、Ｒ１は条件「０≦Ｒ１≦１」を、Ｒ１およびＲ２は条件「Ｒ１＋Ｒ２＝１」を、それぞれ満たすものとする（従って、Ｒ２は条件「０≦Ｒ２≦１」を満たす）。

なお、上述では数式３および数式４に基づいて合成比率を求めたが、もちろんこれに限定されるものではなく、高輝度領域の面積と全画像の面積との比率に応じて合成比率を設定することができるような関係式であれば、他の関係式に基づいて合成比率を設定するようにしても構わない。

また、合成比率Ｒ１と合成比率Ｒ２とを変動的に設定する他の方法としては、処理対象の画像信号の特性に応じて定まる変動的な合成比率を用いる方法が挙げられる。

次に、合成比率Ｒ１と合成比率Ｒ２とを設定する第２の方法として、合成比率Ｒ１，Ｒ２を固定的に設定する方法が挙げられる。

この方法としては、例えば、予め定められた固定的な合成比率Ｒ１，Ｒ２をＲＯＭ１１０に記憶させておき、ＲＯＭ１１０からこの合成比率Ｒ１，Ｒ２を読み出して用いる方法が挙げられる。

あるいは、ユーザーが、例えば外部Ｉ／Ｆ部１１２を介して合成比率を設定するようにしても構わない。このときには、外部Ｉ／Ｆ部１１２を介してユーザが合成比率を自由に設定することができるようにしても良いし、ＲＯＭ１１０に複数組の合成比率を予め記憶させておき、これら複数組の合成比率の内の一組を外部Ｉ／Ｆ部１１２を介してユーザーが指定することにより設定するようにしても構わない。この場合には、スペースバリアントな階調変換処理を用いることによる階調の改善効果を、人為的にコントロールし易くなる利点がある。

続いて、ブレンド部９０４は、合成比率設定部９０３により（上述したように変動的または固定的に）設定された合成比率Ｒ１，Ｒ２を用いて、第１画像信号と第２画像信号とを例えば数式５に示すように合成する。
［数５］
Ｆij＝Ｒ１×Ｍij＋Ｒ２×Ｎij
ここに、Ｍijは第１画像信号における画素位置（ｉ，ｊ）の輝度値、Ｎijは第２画像信号における画素位置（ｉ，ｊ）の輝度値、Ｆijは合成後の画像信号における画素位置（ｉ，ｊ）の輝度値である。

このように合成比率Ｒ１，Ｒ２を用いて第１画像信号と第２画像信号とを合成することにより、高輝度領域の階調を保つことができる。

なお、上述では数式５に従って合成を行ったが、これに限るものではなく、合成比率設定部９０３により設定された合成比率Ｒ１，Ｒ２を用いれば、他の関係式に基づいて合成を行っても構わない。

そして、上述においては、画像信号の全画素に対して一律の（スペースインバリアントな）合成比率を設定する例を示したが、これに限定される必要はない。例えば、画像信号を構成する各画素毎に異なる（スペースバリアントな）合成比率を設定するようにしても構わない。

画素毎に異なる合成比率を設定する具体例としては、輝度値に応じて合成比率Ｒ１，Ｒ２を変化させる例が挙げられる。これについて、図４を参照して説明する。ここに、図４は、輝度値に応じて合成比率Ｒ１ij，Ｒ２ijを線形に変化させる例を示す線図である。

なお、ここで説明する合成比率は、画素位置（ｉ，ｊ）毎に異なる合成比率となるために、画素位置（ｉ，ｊ）の合成比率Ｒ１を合成比率Ｒ１ijにより、画素位置（ｉ，ｊ）の合成比率Ｒ２を合成比率Ｒ２ijにより、それぞれ表記することにする。また、図７に示す構成においては、合成比率設定部９０３に入力される輝度値は、スペースインバリアントな階調変換処理がなされた輝度値であり、この輝度値をＰijにより表記することにする。

図４に示す合成比率Ｒ１ij，Ｒ２ijの設定例は、次のようになっている。

まず、輝度値Ｐijが高輝度閾値ＳＴｈよりも大きい場合には、スペースバリアントな階調変換画像の合成比率Ｒ１ijがＴ、スペースインバリアントな階調変換画像の合成比率Ｒ２ijが（１−Ｔ）、となるようにそれぞれ設定する（ここに、Ｔは０以上１以下の定数である）。すなわち、高輝度閾値ＳＴｈよりも輝度値が大きい画素により構成される画像信号領域については、合成比率Ｔを用いて第１画像信号と第２画像信号とを合成する。

これに対して、輝度値Ｐijが高輝度閾値ＳＴｈ以下である場合には、合成比率Ｒ１ijは画像信号の輝度値が大きくなるにつれて単調増加するように設定され（図４および数式６参照）、合成比率Ｒ２ijは画像信号の輝度値が大きくなるにつれて単調減少するように設定される（図４および数式７参照）。ただし、このときにも、合成比率Ｒ１ijの最小値（輝度値０に対応する）が（１−Ｔ）となり、合成比率Ｒ２ijの最大値（輝度値０に対応する）がＴとなるように設定される。
［数６］
Ｒ１ij＝（１−Ｔ）＋｛（２Ｔ−１）／ＳＴｈ｝×Ｐij
［数７］
Ｒ２ij＝１−Ｒ１ij

なお、数式６および数式７においては、合成比率Ｒ１ij，Ｒ２ijが輝度値に応じて線形的に単調増加または単調減少するように設定したが、必ずしもこのように設定する必要はない。つまり、輝度値が大きくなるにつれて、第１画像信号（スペースバリアントに対応）の合成比率Ｒ１ijが大きくなり、第２画像信号（スペースインバリアントに対応）の合成比率Ｒ２ijが小さくなるような設定であれば、適宜の曲線等を用いることが可能である。

例えば、合成比率Ｒ１ijが輝度値の増加に対して非線形に単調増加し、合成比率Ｒ２ijが輝度値の増加に対して非線形に単調減少するようにしても構わない。このような設定の具体例を図８に示す。ここに、図８は、輝度値に応じて合成比率Ｒ１ij，Ｒ２ijを非線形に変化させる例を示す線図である。この図８に示す例においては、合成比率Ｒ１ijは単調増加領域において上に凸の関数形状をなし、合成比率Ｒ２ijは単調減少領域において下に凸の関数形状をなしている。さらに、この図８に示す例においては、輝度値０に対応する合成比率Ｒ１ijの最小値は０、輝度値０に対応する合成比率Ｒ２ijの最大値は１となっている。また、輝度値Ｐijが高輝度閾値ＳＴｈよりも大きいときは、図４に示した例と同様である。

このように、輝度値に応じて画素毎に合成比率Ｒ１ijと合成比率Ｒ２ijとを設定するようにした場合には、各輝度域の階調を輝度値に応じて柔軟に保つことができるという利点がある。

なお、上述では、スペースインバリアントな階調変換処理がなされた輝度値Ｐijに基づき、画素毎の合成比率Ｒ１ij，Ｒ２ijを算出するようにしたが、これに限るものではなく、例えば上述した輝度信号変換部４０１により数式１に示したように算出される階調変換処理前の輝度値Ｋijに基づいて、画素毎の合成比率Ｒ１ij，Ｒ２ijを算出するようにしても構わない。

また、上述したようなスペースバリアントな階調変換処理は、区域毎の階調特性を人為的に調整することができないために、例えば画像の低輝度領域に適用すると暗部のノイズレベルが強調されてしまう可能性がある。これを改善するための合成比率の設定例を、図９を参照して説明する。ここに、図９は、輝度値に応じて合成比率Ｒ１ij，Ｒ２ijを線形に変化させ、かつ暗部ノイズを低減する例を示す線図である。

この図９に示す例においては、低輝度閾値ＳＴｌを設定して、輝度値Ｐijがこの低輝度閾値ＳＴｌよりも小さい場合には、合成比率Ｒ１ijを０に設定しかつ合成比率Ｒ２ijを１に設定するようにしている。すなわち、低輝度閾値ＳＴｌよりも輝度値が小さい画素により構成される画像信号領域については、スペースバリアントな階調変換処理後の画像信号を用いることなく、スペースインバリアントな階調変換処理後の画像信号のみを階調変換の結果として出力するようにしている。なお、低輝度閾値ＳＴｌは、予め設定された値をＲＯＭ１１０に保存しておいて必要に応じて読み出すようにしても良いし、ユーザーが所望の値を設定するか、もしくはユーザが幾つかの候補の中から値を選択するようにしても良い。

また、輝度値Ｐijが高輝度閾値ＳＴｈよりも大きいときは、図４に示した例と同様である。

そして、輝度値Ｐijが、低輝度閾値ＳＴｌ以上高輝度閾値ＳＴｈ以下である場合には、数式８、数式９を用いて合成比率Ｒ１ij，Ｒ２ijを算出する。
［数８］
Ｒ１ij＝Ｔ×｛（Ｐij−ＳＴｌ）／（ＳＴｈ−ＳＴｌ）｝
［数９］
Ｒ２ij＝１−Ｒ１ij

なお、数式８，数式９に示したような、合成比率Ｒ１ijの単調増加および合成比率Ｒ２ijの単調減少が、必ずしも線形的である必要はないことは、上述と同様である。

さらに上述では、合成比率Ｒ１，Ｒ２を、画像全体または画素単位で設定する例について説明したが、これらに限るものではない。例えば、画像信号を複数の区域に分割して、分割された区域毎に輝度平均値または輝度中間値を算出する。そして、輝度平均値または輝度中間値を所定値により割り算して、その結果を合成比率Ｒ１とし、１−Ｒ１を合成比率Ｒ２として設定することが考えられる。そして、区域毎に、合成比率Ｒ１をスペースバリアントな階調変換処理後の画像信号に対して用いると共に、合成比率Ｒ２をスペースインバリアントな階調変換処理後の画像信号に対して用いて、画像信号を合成するようにすれば良い。このように、区域単位で画像信号の合成を行うようにしても構わない。

ブレンド部９０４は、合成比率設定部９０３により設定された合成比率Ｒ１ij，Ｒ２ijを用いて、第１画像信号Ｍijと第２画像信号Ｎijとを例えば数式１０に示すように合成する。
［数１０］
Ｆij＝Ｒ１ij×Ｍij＋Ｒ２ij×Ｎij

そして、ブレンド部９０４は、制御部１１１の制御に基づいて、合成した画像信号をノイズ低減部１０８へ転送する。

その後、ノイズ低減部１０８は、合成部１００４または第２階調補正部１００３から転送されてきた画像信号に含まれると推定されるノイズ量（ノイズレベル）をノイズ検出手段により算出して、算出したノイズ量に基づきノイズ低減手段により該画像信号にノイズ低減処理を行う。ここに、ノイズ低減部１０８は、例えば上述した特開２００５−３０３８０２号公報に記載されているような公知の技術を用いて、画素毎にノイズ量を推定しノイズ低減処理を行うようになっている。

なお、上述ではレンズ系１００、絞り１０１、ＣＣＤ１０２、増幅部１０３、Ａ／Ｄ変換部１０４を含む撮像部を一体化した構成の画像信号処理装置について説明したが、画像信号処理装置としてはこのような構成に限定される必要はなく、撮像部が別体であっても構わない。すなわち、別体の撮像部により撮像され、未処理のロー（ＲＡＷ）データの形態でメモリカード等の記録媒体に記録された画像信号を、該記録媒体から読み出して処理する画像信号処理装置であっても構わない。ただし、このときには、撮影時の情報（ＩＳＯ感度やホワイトバランス係数など）が、ヘッダ部等に記録されているものとする。なお、別体の撮像部から画像信号処理装置への各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの信号を未処理のままのロー（ＲＡＷ）データとしてメモリカード等の記録媒体に記録すると共に、制御部１１１からの撮影時の情報（ＩＳＯ感度やホワイトバランス係数など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像信号処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、上述と同様に、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。

図１０は、画像信号処理プログラムによる処理を示すフローチャートである。

この処理を開始すると、まず、画像信号や上記ヘッダ情報等を読み込むと共に、該画像信号処理プログラムが予め備えているγ特性データなどの情報も読み込む（ステップＳ１）。この処理は、撮像装置である画像信号処理装置において、被写体を撮影して画像信号を取得する処理に相当している。

次に、読み込んだ画像信号に高輝度画像信号が存在するか否かを検出する（ステップＳ２）。この処理は、上述した特定輝度域検出部４０２が行う処理に相当している。

続いて、ステップＳ２の検出結果に基づき、画像信号に高輝度画像信号が存在するか否かを判定する（ステップＳ３）。この処理は、階調変換部１０７および制御部１１１が行う処理に相当している。

ここで、高輝度画像信号が存在すると判定された場合には、画像信号に対してスペースバリアントな第１階調補正処理を行う（ステップＳ４）。この処理は、第１階調補正部１００２が行う処理に相当している。

続いて、画像信号に対してステップＳ１において読み込んだγ特性データを用いてスペースインバリアントな第２階調補正処理を行う（ステップＳ５）。この処理は、第２階調補正部１００３が行う処理に相当している。

なお、ここでは第１階調補正処理を先に行い、第２階調補正処理を後で行うようにしているが、この逆順でも構わないし、第１階調補正処理と第２階調補正処理とを同時並列的に行うようにしても良い。

そして、ステップＳ４により得られた第１画像信号とステップＳ５により得られた第２画像信号とを合成する（ステップＳ６）。この処理は、合成部１００４が行う処理に相当している。

また、ステップＳ３において、高輝度画像信号が存在しないと判定された場合には、画像信号に対してステップＳ１において読み込んだγ特性データを用いてスペースインバリアントな第２階調補正処理を行う（ステップＳ７）。この処理も、ステップＳ５の処理と同様に、第２階調補正部１００３が行う処理に相当している。

ステップＳ６の処理またはステップＳ７の処理が終了したら、公知のノイズ低減処理を行う（ステップＳ８）。この処理は、ノイズ低減部１０８が行う処理に相当している。

その後、ノイズ低減後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカード等に保存したりしてから（ステップＳ９）、この処理を終了する。

次に、図１１は、図１０のステップＳ２における高輝度信号の検出処理の詳細を示すフローチャートである。

この処理を開始すると、まず、所定の表示装置に対応するγ特性データを抽出する（ステップＳ１０１）。この処理は、γ特性データ抽出部４０２１が行う処理に相当している。

次に、図３に示したように、γ特性データに対応する傾き角度Δ（数式２）が白飛びであると認定する所定の角度ΔTHよりもはじめて小さくなったときの入力レベルを、高輝度閾値（図３に示したＳＴｈ）とする（ステップＳ１０２）。この処理は、高輝度域閾値検出部４０２２が行う処理に相当している。

続いて、画像に含まれる全画素の輝度値を高輝度閾値と比較して、高輝度閾値よりも輝度値が大きい画素（高輝度画像信号と判定される画素）の数をカウントする（ステップＳ１０３）。

そして、高輝度画像信号のカウント数を所定の閾値と比較して、所定の閾値よりも大きい場合には、画像に高輝度画像信号が存在すると判断する。これに対して、高輝度画像信号のカウント数が所定の閾値よりも小さい場合には、画像に高輝度画像信号が存在しないと判断する（ステップＳ１０４）。これらステップＳ１０３およびステップＳ１０４の処理は、高輝度域判断部４０２３が行う処理に相当している。

このステップＳ１０４の処理が終了したら、その後は図１０に示した処理へ復帰する。

なお、ここでは高輝度閾値を自動的に設定する例について説明したが、ユーザ入力により手動で設定するようにしても構わない。このときには、図１１のステップＳ１０１およびステップＳ１０２の処理に代えて、高輝度閾値の手動入力処理を行うようにすれば良い。

続いて、図１２は、図１０のステップＳ６における合成処理の詳細を示すフローチャートである。

この処理を開始すると、まず、ステップＳ２により検出された高輝度画像信号の閾値、高輝度領域の面積（高輝度領域の画素数）、および全画像領域の面積（全画像領域の画素数）と、ステップＳ４の処理により得られたスペースバリアントな階調変換処理後の画像と、ステップＳ５の処理により得られたスペースインバリアントな階調変換処理後の画像と、等の情報を抽出する（ステップＳ１１１）。

次に、ステップＳ１１１により抽出された情報に基づいて、例えば上述した数式６および数式７を用いて合成比率Ｒ１ijと合成比率Ｒ２ijとを算出する（ステップＳ１１２）。この処理は、合成比率設定部９０３が行う処理に相当している。

さらに、ステップＳ１１２により算出された合成比率Ｒ１ij，Ｒ２ijを用いて、例えば上述した数式１０を用いて、スペースバリアントな階調変換処理後の画像とスペースインバリアントな階調変換処理後の画像とを合成する（ステップＳ１１３）。この処理は、ブレンド部９０４が行う処理に相当している。

その後に、合成後の画像を後段のノイズ低減処理へ出力して（ステップＳ１１４）、この処理から図１０に示した処理に復帰する。

なお、上述したような技術は、画像信号が静止画像信号である場合と動画像信号である場合との何れにも適用することが可能である。

また、上述では画像信号処理装置、画像信号処理プログラムについて説明したが、これらに限らず、上述したような処理を行うための画像信号処理方法であっても構わない。

このような実施形態１によれば、高輝度信号が存在する場合には、原画像信号に対して区域毎（画素毎または画素領域毎）にスペースバリアントな階調変換処理を行うようにしたために、高輝度域に属する画素または画素領域の階調特性が圧縮されることなく保たれる。また、高輝度信号が存在しない場合には、スペースインバリアントな階調変換処理のみを行うようにしたために、消費電力を低減して処理を高速化することが可能となる。

さらに、画像信号の高輝度領域に対しては該高輝度領域に対応するスペースバリアントな階調変換処理の結果を実質的に用いるが、高輝度領域以外の領域に対してはスペースバリアントな階調変換画像とスペースインバリアントな階調変換画像とを合成した結果を用いるようにしたために、高輝度領域の階調が保たれると同時に、低輝度域から中輝度域の階調が伸張されることになり、階調再現特性を反映した画像を得ることができる。

そして、スペースバリアントな階調変換画像とスペースインバリアントな階調変換画像とを合成する際の合成比率を、画像中の高輝度領域の面積と全画像の面積との比率に応じて設定する場合には、画像中に高輝度部分が含まれる程度に応じた適切な合成を行うことが可能となる。

加えて、合成比率を画素毎あるいは区域毎に設定する場合には、それぞれの画像部分に応じた適切な合成を行うことが可能となる。

［実施形態２］
図１３から図２３は本発明の実施形態２を示したものであり、図１３は画像信号処理装置の構成を示すブロック図である。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

この実施形態２は、実施形態１の図１に示した画像信号処理装置において、ノイズ低減部１０８を画質劣化情報取得手段であり画質補正手段たる色ずれ低減部２０８へ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様である。

画像信号判断部１０６は、階調変換部１０７と色ずれ低減部２０８とを介して表示部１０９へ接続されている。ＲＯＭ１１０は、画像信号判断部１０６と階調変換部１０７と色ずれ低減部２０８とへ接続されている。

制御部１１１は、増幅部１０３、Ａ／Ｄ変換部１０４、バッファ部１０５、画像信号判断部１０６、階調変換部１０７、色ずれ低減部２０８、表示部１０９、ＲＯＭ１１０および外部Ｉ／Ｆ部１１２と双方向に接続されており、これらを制御するようになっている。

次に、図１３に示したような画像信号処理装置の作用を、画像信号の流れに沿って説明する。

外部Ｉ／Ｆ部１１２を介してシャッタボタンが押されると、レンズ系１００、絞り１０１、ＣＣＤ１０２により撮像が行われ、画像信号が出力されて増幅部１０３により増幅され、Ａ／Ｄ変換部１０４によってデジタル信号へ変換される。なお、本実施形態においても、上記映像信号がＲ，Ｇ，Ｂ三成分からなるカラー映像信号であることを想定している。

Ａ／Ｄ変換部１０４からの画像信号は、バッファ部１０５へ転送されて記憶される。

画像信号判断部１０６は、バッファ部１０５から転送されてきた画像信号に対して、所定の高輝度閾値に基づき高輝度画像信号があるか否かを判定すると共に、所定の低輝度閾値に基づき低輝度画像信号があるか否かを判定して、高低輝度判定結果を求める。すなわち、本実施形態の画像信号判断部１０６は、高輝度画像信号の有無だけでなく、低輝度画像信号の有無も判定するようになっている。なお、高輝度閾値および低輝度閾値は、γ特性データに基づき上述した実施形態１とほぼ同様の技術により自動的に指定するものとする。ただし、高輝度閾値および低輝度閾値を外部Ｉ／Ｆ部１１２を通じてユーザーが自由に設定することができるようにしても良いし、ＲＯＭ１１０に予め用意されている複数の高輝度閾値および複数の低輝度閾値から一つずつを外部Ｉ／Ｆ部１１２を通じてユーザが指定するようにしても構わないのは上述した実施形態１と同様である。そして、画像信号判断部１０６は、画像信号と共に高低輝度判定結果を階調変換部１０７へ転送する。

階調変換部１０７は、転送されてきた高低輝度判定結果に基づいて、画像信号に対応する階調変換処理を該画像信号に対して行い、処理後の画像信号を色ずれ低減部２０８へ転送する。

色ずれ低減部２０８は、転送されてきた画像信号に対して色ずれ低減処理を行い、処理後の画像信号を表示部１０９へ転送する。

表示部１０９は、転送されてきた画像信号に基づき表示を行う。

次に、画像信号判断部１０６の構成は、基本的には上述した実施形態１の図２に示したものと同様である。ただし、画像信号判断部１０６内に設けられた特定輝度域検出部４０２の構成が上述した実施形態１とは異なるために、図１４を参照して説明する。

図１４は、特定輝度域検出部４０２の構成の一例を示すブロック図である。

この特定輝度域検出部４０２は、γ特性データ抽出合成部４１２１と、閾値設定手段たる高低輝度域閾値検出部４１２２と、特定輝度域検出手段たる高低輝度域判断部４１２３と、を有して構成されている。

輝度信号変換部４０１は、γ特性データ抽出合成部４１２１と高低輝度域閾値検出部４１２２と高低輝度域判断部４１２３とを介して、階調変換部１０７へ接続されている。ＲＯＭ１１０は、γ特性データ抽出合成部４１２１と高低輝度域閾値検出部４１２２と高低輝度域判断部４１２３とへ接続されている。

制御部１１１は、γ特性データ抽出合成部４１２１、高低輝度域閾値検出部４１２２、高低輝度域判断部４１２３と双方向に接続されており、これらを制御するようになっている。

上述したように、スペースインバリアントな階調変換を行うと、変換前には白飛びではない画像信号が、変換後には白飛びになってしまう現象が生じることがあり、実施形態１ではこのような現象の改善を行うようにしていた。これに対して、この実施形態２では、さらに、スペースインバリアントな階調変換の前には黒つぶれではない画像信号が、変換後には黒つぶれになってしまう現象をも改善することを目的としている。

ここに、白飛びまたは黒つぶれが発生する原因は、例えば後述する図１７に示すような階調変換曲線（γ特性データ）を用いる場合、高輝度部の階調特性域および低輝度部の階調特性域に対応するγ特性データの勾配がほぼ水平になっているために、これらの部分に対応する画像信号の濃淡変化が階調変換を行った後にほとんどなくなってしまうことにある。ここに図１７は、絵作りγ特性データと表示装置用のγ特性データとを合成して得られたγ特性データを示す線図である。そして、この図１７に示すようなγ特性データの場合には、高輝度部画像信号が白飛びに、低輝度部画像信号が黒つぶれになってしまうことになる。このような高輝度部および低輝度部の画像信号の階調特性を改善するためには、まず、高輝度領域および低輝度領域を識別するための高輝度閾値および低輝度閾値を検出する必要がある。

このような特定輝度域検出部４０２の作用について、図１４に沿って説明する。

γ特性データ抽出合成部４１２１は、画像処理に適したγ特性データ（絵作りγ特性データ）と、表示部１０９に含まれる表示装置により画像を表示するのに適したγ特性データと、をＲＯＭ１１０から抽出し、これらを合成して図１７に示すようなγ特性データを生成し、生成したγ特性データを高低輝度域閾値検出部４１２２へ転送する。ここに、絵作りγ特性データとは、画像の明るさやコントラストの変化を調整するための階調変換データのことである。

高低輝度域閾値検出部４１２２は、白飛びであると認定する角度ΔＨTHと、黒つぶれであると認定する角度ΔＬTHと、をＲＯＭ１１０から抽出する。そして、高低輝度域閾値検出部４１２２は、抽出された白飛びであると認定する角度ΔＨTHと、γ特性データ抽出合成部４１２１から転送された図１７に示すようなγ特性データと、に基づいて、まず、高輝度閾値ＳＴｈに対応する傾きΔＨを、次の数式１１に示すように算出する。
［数１１］
ΔＨ＝ａｒｃｔａｎ｛（Ｈ255o−Ｈxo）／（２５５−Ｈxi）｝
ここに、小さい方から順に数えてｘ番目の入力レベルをＨxiとし、この入力レベルＨxiに対応する出力レベルをＨxoとして、（Ｈxi，Ｈxo）を着目点としている。さらに、最大入力レベル２５５に対応する出力レベルをＨ255oとして、（２５５，Ｈ255o）を最大点としている。そして、入力レベルが小さい順に着目点を移動させながら、着目点と最大点とを通る直線の傾き角度ΔＨを数式１１に示すように算出し、着目点の移動に従って順に算出される傾き角度ΔＨが、ＲＯＭ１１０から読み出した所定の角度ΔＨTHよりもはじめて小さくなったときの着目点の入力レベルを、高輝度閾値ＳＴｈとする。

次に、高低輝度域閾値検出部４１２２は、抽出された黒つぶれであると認定する角度ΔＬTHと、γ特性データ抽出合成部４１２１から転送された図１７に示すようなγ特性データと、に基づいて、低輝度閾値ＳＴｌに対応する傾きΔＬを、次の数式１２に示すように算出する。
［数１２］
ΔＬ＝ａｒｃｔａｎ（Ｌxo／Ｌxi）
ここに、小さい方から順に数えてｘ番目の入力レベルをＬxiとし、この入力レベルＬxiに対応する出力レベルをＬxoとして、（Ｌxi，Ｌxo）を着目点としている。さらに、最小点は（０，０）である。そして、最大点から入力レベルが小さい方へ向かって順に（つまり、入力レベルが大きい順に）着目点を移動させながら、最小点と着目点とを通る直線の傾き角度ΔＬを数式１２に示すように算出し、着目点の移動に従って順に算出される傾き角度ΔＬが、ＲＯＭ１１０から読み出した所定の角度ΔＬTHよりもはじめて小さくなったときの着目点の入力レベルを、低輝度閾値ＳＴｌとする。

その後、高低輝度域閾値検出部４１２２は、このようにして推定した高輝度閾値ＳＴｈおよび低輝度閾値ＳＴｌと、画像信号と、を高低輝度域判断部４１２３へ転送する。

なお、ここでは、高低輝度域閾値検出部４１２２が、合成されたγ特性データに基づいて高輝度閾値ＳＴｈおよび低輝度閾値ＳＴｌを算出するようにしているが、これに限るものではない。例えば、合成されたγ特性データに対応する高輝度閾値ＳＴｈおよび低輝度閾値ＳＴｌを予めＲＯＭ１１０に保存しておき、画像信号を処理するときにＲＯＭ１１０から高輝度閾値ＳＴｈおよび低輝度閾値ＳＴｌを抽出するように構成することももちろん可能である。

高低輝度域判断部４１２３は、転送されてきた高輝度閾値ＳＴｈに基づいて、全画像信号中の高輝度画像信号の数を高輝度カウンタによりカウントすると共に、転送されてきた低輝度閾値ＳＴｌに基づいて、全画像信号中の低輝度画像信号の数を低輝度カウンタによりカウントする。ここに、高輝度画像信号としてのカウントは、輝度値が高輝度閾値ＳＴｈよりも大きい場合に行われ、低輝度画像信号としてのカウントは、輝度値が低輝度閾値ＳＴｌよりも小さい場合に行われる。

そして、高低輝度域判断部４１２３は、全画素についての処理を行った後の高輝度カウンタの値と、ＲＯＭ１１０から読み出した所定の閾値（高輝度画像信号閾値）とを比較して、高輝度カウンタの値が所定の高輝度画像信号閾値よりも大きい場合には画像に高輝度画像信号が存在すると判定し、所定の高輝度画像信号閾値以下である場合には画像に高輝度画像信号が存在しないと判定する。

さらに、高低輝度域判断部４１２３は、全画素についての処理を行った後の低輝度カウンタの値と、ＲＯＭ１１０から読み出した所定の閾値（低輝度画像信号閾値）とを比較して、低輝度カウンタの値が所定の低輝度画像信号閾値よりも大きい場合には画像に低輝度画像信号が存在すると判定し、所定の低輝度画像信号閾値以下である場合には画像に低輝度画像信号が存在しないと判定する。

高低輝度域判断部４１２３は、これら高輝度画像信号の存在の有無と低輝度画像信号の存在の有無とを高低輝度判定結果とする。

その後、高低輝度域判断部４１２３は、この高低輝度判定結果と、高輝度閾値ＳＴｈおよび低輝度閾値ＳＴｌと、画像信号と、を階調変換部１０７へ転送する。

図１５は、階調変換部１０７の構成の一例を示すブロック図である。

この階調変換部１０７の構成は、上述した実施形態１の図６に示した階調変換部１０７とほぼ同様であるが、第２階調変換処理手段たる第２階調補正部１００３が第２階調変換処理手段たる第２階調補正部１１０３に置換された点が異なっている。

バッファ部１００１は、第１階調補正部１００２と第２階調補正部１１０３とへ接続されている。第１階調補正部１００２および第２階調補正部１１０３は、合成部１００４へ接続されている。第２階調補正部１１０３および合成部１００４は、色ずれ低減部２０８へ接続されている。ＲＡＭ１００５は、第１階調補正部１００２と第２階調補正部１１０３と合成部１００４とへ接続されている。ＲＯＭ１１０は、第２階調補正部１１０３と合成部１００４とへ接続されている。

制御部１１１は、第２階調補正部１１０３とも双方向に接続されており、これを制御するようになっている。

画像信号判断部１０６からの画像信号はバッファ部１００１に、画像信号判断部１０６からの高輝度閾値、低輝度閾値、高低輝度判定結果はＲＡＭ１００５に、それぞれ保存される。

階調変換部１０７は、制御部１１１の制御に基づき、ＲＡＭ１００５から高低輝度判定結果を抽出して、高輝度画像信号または低輝度画像信号が存在するか否かを判定する。そして、階調変換部１０７は、高輝度画像信号と低輝度画像信号との少なくとも一方が存在すると判定した場合には、制御部１１１の制御に基づき、バッファ部１００１内の画像信号を第１階調補正部１００２および第２階調補正部１１０３へ転送する。一方、階調変換部１０７は、高輝度画像信号と低輝度画像信号との両方が存在しないと判定した場合には、制御部１１１の制御に基づき、バッファ部１００１内の画像信号を第２階調補正部１１０３のみへ転送する。

第１階調補正部１００２は、制御部１１１の制御に基づき、バッファ部１００１から転送されてきた画像信号に対して上述した実施形態１と同様にスペースバリアントな階調変換処理を行う。そして、第１階調補正部１００２は、階調変換処理後の画像信号を合成部１００４へ転送する。なお、高輝度画像信号と低輝度画像信号との両方が存在しないと判定された場合には、バッファ部１００１からこの第１階調補正部１００２へは画像信号が転送されないよう制御されるために、該第１階調補正部１００２は処理を行わない。

また、第２階調補正部１１０３は、所定の絵作りγ特性データと、表示部１０９の表示装置により画像を表示するのに適したγ特性データと、をＲＯＭ１００５から抽出し、さらにこれらを合成して合成後のγ特性データを生成する。そして、第２階調補正部１１０３は、合成後のγ特性データを用いて、バッファ部１００１から転送されてきた画像信号に対してスペースインバリアントな階調変換処理を行う。

第２階調補正部１１０３は、高輝度画像信号と低輝度画像信号との少なくとも一方が存在すると判定された場合には、制御部１１１の制御に基づき、処理後の画像信号を合成部１００４へ転送する。また、第２階調補正部１１０３は、高輝度画像信号と低輝度画像信号との両方が存在しないと判定された場合には、制御部１１１の制御に基づき、処理後の画像信号を色ずれ低減部２０８へ転送する。

ここで、図１６を参照して、第２階調補正部１１０３のより詳細な構成および作用について説明する。図１６は、第２階調補正部１１０３の構成の一例を示すブロック図である。

この第２階調補正部１１０３は、γ特性データ合成部２００１と、γ補正部２００２と、を有して構成されている。

バッファ部１００１は、γ特性データ合成部２００１とγ補正部２００２とを介して合成部１００４へ接続されている。γ補正部２００２は、色ずれ低減部２０８へも接続されている。ＲＯＭ１１０は、γ特性データ合成部２００１とγ補正部２００２とへ接続されている。ＲＡＭ１００５は、γ補正部２００２へ接続されている。制御部１１１は、γ特性データ合成部２００１、γ補正部２００２と双方向に接続されており、これらを制御するようになっている。

γ特性データ合成部２００１は、所定の絵作りγ特性データと、所定の表示装置に対応するγ補正データと、をＲＯＭ１１０から抽出して、これらを合成し、例えば図１７に示すような合成後のγ特性データを生成する。γ特性データ合成部２００１は、合成後のγ特性データをγ補正部２００２へ転送する。

γ補正部２００２は、γ特性データ合成部２００１から転送されてきたγ特性データを用いて、γ特性データ合成部２００１から転送されてきた画像信号に対してγ補正処理を行う。

γ補正部２００２は、さらに、制御部１１１の制御に基づいて、ＲＡＭ１００５から高低輝度判定結果を抽出して、高輝度画像信号と低輝度画像信号との少なくとも一方が存在するか否かを判定する。そして、γ補正部２００２は、高輝度画像信号と低輝度画像信号との少なくとも一方が存在すると判定した場合には、処理後の画像信号を合成部１００４へ転送する。一方、γ補正部２００２は、高輝度画像信号と低輝度画像信号との両方が存在しないと判定した場合には、処理後の画像信号を色ずれ低減部２０８へ転送する。

合成部１００４は、第１階調補正部１００２から転送されてきたスペースバリアントな階調変換処理後の画像（第１画像信号）と、第２階調補正部１１０３から転送されてきたスペースインバリアントな階調変換処理後の画像（第２画像信号）と、を用いて画像合成処理を行い、合成後の画像信号を色ずれ低減部２０８へ転送する。

ここに、合成部１００４のより詳細な構成は、上述した実施形態１の図７と同様であるために、この図７を参照して本実施形態の合成部１００４について説明する。

本実施形態においては、高輝度域だけでなく低輝度域も検出するようになっているために、合成部１００４は、第１画像信号と第２画像信号とを合成する際の画素毎の輝度値に応じた変動的な合成比率を、高輝度閾値ＳＴｈと低輝度閾値ＳＴｌとに基づき、図１８〜図２０に示すように設定するようになっている。

すなわち、合成比率設定部９０３は、ＲＡＭ１００５から高低輝度判定結果をまず抽出する。そして、抽出した高低輝度判定結果が、高輝度画像信号と低輝度画像信号との両方が存在することを示すものである場合には、合成比率設定部９０３は、ＲＡＭ１００５からさらに高輝度閾値ＳＴｈと低輝度閾値ＳＴｌとを抽出して、図１８に示すように合成比率を変動的に設定する。

ここに、図１８は、高輝度画像信号と低輝度画像信号との両方が存在する場合の合成比率の設定例を示す線図である。この図１８においては、実線がスペースバリアントな階調処理画像（第１画像信号）の合成率を、点線がスペースインバリアントな階調処理画像（第２画像信号）の合成率を、それぞれ示している。

この図１８に示す例においては、画像信号が低輝度閾値ＳＴｌよりも小さい場合と、画像信号が高輝度閾値ＳＴｈよりも大きい場合と、の両方において、第１画像信号の合成比率を１に設定すると共に、第２画像信号の合成比率を０に設定するようになっている。

一方、画像信号値が低輝度閾値ＳＴｌ以上かつ高輝度閾値ＳＴｈ以下である場合には、基本的には、第１画像信号の合成比率を０に設定すると共に、第２画像信号の合成比率を１に設定するようになっている。ただし、低輝度閾値ＳＴｌと高輝度閾値ＳＴｈとにおいて階調変換の方式が急激に変化するのを避けるために、低輝度側に緩和幅ＩｎｔｖLの緩和域を、高輝度側に緩和幅ＩｎｔｖHの緩和域を、それぞれ設けて、スペースバリアントな階調処理画像とスペースインバリアントな階調処理画像とが連続的に変化するようにし、画質的に破綻が生じることのないようにしている。

すなわち、合成比率設定部９０３は、ＲＯＭ１１０に予め保存されている所定の緩和幅ＩｎｔｖLのデータを該ＲＯＭ１１０から抽出して、輝度値Ｐijに基づき、緩和幅ＩｎｔｖLの緩和域における第１画像信号の合成比率Ｒ３ijを数式１３に示すように、また、第２画像信号の合成比率Ｒ４ijを数式１４に示すように、線形補間によってそれぞれ設定する。
［数１３］
Ｒ３ij＝｛ＩｎｔｖL−（Ｐij−ＳＴｌ）｝／ＩｎｔｖL
［数１４］
Ｒ４ij＝１−Ｒ３ij
ここに、数式１３に示すＲ３ijおよび数式１４に示すＲ４ijは、（ＳＴｌ＋ＩｎｔｖL）＞Ｐij≧ＳＴｌの範囲で定義され、数式１４を算出する際には条件式、Ｒ３ij＋Ｒ４ij＝１、を用いている。

さらに、合成比率設定部９０３は、ＲＯＭ１１０に予め保存されている所定の緩和幅ＩｎｔｖHのデータを該ＲＯＭ１１０から抽出して、輝度値Ｐijに基づき、緩和幅ＩｎｔｖHの緩和域における第１の画像信号の合成比率Ｒ５ijを数式１５に示すように、また、第２の画像信号の合成比率Ｒ６ijを数式１６に示すように、線形補間によってそれぞれ設定する。
［数１５］
Ｒ５ij＝｛（Ｐij−ＳＴｈ＋ＩｎｔｖH）／ＩｎｔｖH｝
［数１６］
Ｒ６ij＝１−Ｒ５ij
ここに、数式１５に示すＲ５ijおよび数式１６に示すＲ６ijは、ＳＴｈ≧Ｐij＞（ＳＴｈ−ＩｎｔｖH）の範囲で定義され、数式１６を算出する際には条件式、Ｒ５ij＋Ｒ６ij＝１、を用いている。

なお、これら数式１３〜数式１６を算出する前提として、条件式、（ＳＴｈ−ＩｎｔｖH）＞（ＳＴｌ＋ＩｎｔｖL）、が当然にして成立しているものとする。

そして、（ＳＴｌ＋ＩｎｔｖL）≦Ｐij≦（ＳＴｈ−ＩｎｔｖH）の領域においては、第１画像信号の合成比率が０に、第２画像信号の合成比率が１に、それぞれ設定される。

ここに、緩和幅ＩｎｔｖL，ＩｎｔｖHのデータは、固定値を用いるに限るものではなく、ユーザーが外部Ｉ／Ｆ部１１２を介して自由に設定することができるようにしても良いし、あるいはＲＯＭ１１０に予め用意された複数の緩和幅データからユーザが外部Ｉ／Ｆ部１１２を介して所望の緩和幅データを指定するようにしても構わない。

また、ＲＡＭ１００５から抽出した高低輝度判定結果が、低輝度画像信号のみが存在し、高輝度画像信号が存在しないことを示すものである場合には、合成比率設定部９０３は、ＲＡＭ１００５から低輝度閾値ＳＴｌを抽出して、図１９に示すように可変合成比率を変動的に構成する。

ここに、図１９は、低輝度画像信号のみが存在する場合の合成比率の設定例を示す線図である。この図１９においても、実線がスペースバリアントな階調処理画像（第１画像信号）の合成率を、点線がスペースインバリアントな階調処理画像（第２画像信号）の合成率を、それぞれ示している。

この図１９に示す例においては、輝度値Ｐijが低輝度閾値ＳＴｌよりも小さい場合に、第１画像信号の合成比率を１に設定すると共に、第２画像信号の合成比率を０に設定するようになっている。

また、（ＳＴｌ＋ＩｎｔｖL）＞Ｐij≧ＳＴｌの領域においては、第１画像信号の合成比率Ｒ３ijを数式１３に示すように設定すると共に、第２画像信号の合成比率Ｒ４ijを数式１４に示すように設定するようになっている。

さらに、Ｐij≧（ＳＴｌ＋ＩｎｔｖL）の領域においては、第１画像信号の合成比率を０に設定すると共に、第２画像信号の合成比率を１に設定するようになっている。

そして、ＲＡＭ１００５から抽出した高低輝度判定結果が、高輝度画像信号のみが存在し、低輝度画像信号が存在しないことを示すものである場合には、合成比率設定部９０３は、ＲＡＭ１００５から高輝度閾値ＳＴｈを抽出して、図２０に示すように可変合成比率を変動的に構成する。

ここに、図２０は、高輝度画像信号のみが存在する場合の合成比率の設定例を示す線図である。この図２０においても、実線がスペースバリアントな階調処理画像（第１画像信号）の合成率を、点線がスペースインバリアントな階調処理画像（第２画像信号）の合成率を、それぞれ示している。

この図２０に示す例においては、輝度値Ｐijが高輝度閾値ＳＴｈよりも大きい場合に、第１画像信号の合成比率を１に設定すると共に、第２画像信号の合成比率を０に設定するようになっている。

また、ＳＴｈ≧Ｐij＞（ＳＴｈ−ＩｎｔｖH）の領域においては、第１画像信号の合成比率Ｒ５ijを数式１５に示すように設定すると共に、第２画像信号の合成比率Ｒ６ijを数式１６に示すように設定するようになっている。

さらに、Ｐij≦（ＳＴｈ−ＩｎｔｖH）の領域においては、第１画像信号の合成比率を０に設定すると共に、第２画像信号の合成比率を１に設定するようになっている。

なお、上述では、合成比率設定部９０３が、合成比率を変動的に設定する例を説明したが、上述した実施形態１と同様に、固定的な合成比率を用いるようにしても構わない。このときには、ＲＯＭ１１０に記憶された固定値を用いるようにしても良いし、ユーザにより合成比率を指定することができるようにしても構わない。後者の場合には、外部Ｉ／Ｆ部１１２を介してユーザが合成比率を自由に設定することができるようにしても良いし、ＲＯＭ１１０に複数組の合成比率を予め記憶させておき、これら複数組の合成比率の内の一組を外部Ｉ／Ｆ部１１２を介してユーザーが指定することにより設定するようにしても構わない。この場合には、スペースバリアントな階調変換処理を用いることによる階調の改善効果を、人為的にコントロールし易くなる利点がある。

合成比率設定部９０３は、上述したように設定した合成比率データと、バッファ部９０２からの画像信号と、をブレンド部９０４へ転送する。

ブレンド部９０４は、上述したように、例えば数式１０に基づいて画素毎に第１画像信号と第２画像信号とを合成する。そしてブレンド部９０４は、制御部１１１の制御に基づいて、合成した画像信号を色ずれ低減部２０８へ転送する。

色ずれ低減部２０８は、合成部１００４または第２階調補正部１１０３から転送された画像信号に対して公知の色ずれ低減処理（色ずれ補正処理）を行う。図２１は、色ずれ低減部２０８の構成の一例を示すブロック図である。

この色ずれ低減部２０８は、画質劣化情報取得手段であり色ずれ検出手段たる色ずれ検出部７０１と、画質補正手段であり色ずれ補正手段たる色ずれ除去部７０２と、を有して構成されている。

階調変換部１０７は、色ずれ検出部７０１と色ずれ除去部７０２とを介して表示部１０９へ接続されている。ＲＯＭ１１０は、色ずれ検出部７０１と接続されている。

制御部１１１は、色ずれ検出部７０１および色ずれ除去部７０２と双方向に接続されており、これらを制御するようになっている。

色ずれ検出部７０１は、階調変換部１０７の合成部１００４または第２階調補正部１１０３から転送されてきたＲＧＢ画像信号を例えばＹＣｒＣｂ信号へ変換して、輝度信号Ｙに対してクロマサプレスゲインを算出する。

そして、色ずれ検出部７０１は、輝度信号Ｙおよび色差信号ＣｒＣｂと、算出したクロマサプレスゲインと、を色ずれ除去部７０２へ転送する。

色ずれ除去部７０２は、クロマサプレスゲインを用いて、色差信号ＣｒＣｂに対してクロマサプレス処理を行い、輝度信号Ｙとクロマサプレス処理後の色差信号ＣｒＣｂとをＲＧＢ信号へ再び変換する。このような色ずれ低減処理を行うことにより、階調変換によって発生した色ずれ、あるいはスペースバリアントな階調変換の結果とスペースインバリアントな階調変換の結果とを合成したことによって発生した色ずれ、を低減することができる。

その後に、色ずれ除去部７０２は、色ずれ低減後の画像信号を表示部１０９へ転送する。

なお、上述した実施形態１においては、画像信号の画質劣化を改善する手段としてノイズ低減を例に挙げ、この実施形態２においては色ずれ低減を例に挙げたが、これらに限るものではない。例えば、画像が動画像である場合には、フレーム間で不連続性が発生して、それが動画像のちらつきとして観察される可能性がある。このような点に対応するためには、例えば、次の数式１７に示すような公知のちらつき低減処理を行うようにすると良い。
［数１７］
Ｑ’ij＝Ｑij×Ｖ１＋Ｑbij×Ｖ２＋Ｑfij×Ｖ３
この数式１７において、Ｑijは対象画像信号における画素位置（ｉ，ｊ）の輝度値、Ｑbijは前フレーム画像信号における画素位置（ｉ，ｊ）の輝度値、Ｑfijは後フレーム画像信号における画素位置（ｉ，ｊ）の輝度値、Ｑ’ijは合成した画像信号における画素位置（ｉ，ｊ）の輝度値、Ｖ１はＱijに対する合成率、Ｖ２はＱbijに対する合成率、Ｖ３はＱfijに対する合成率であって、正規化の条件式Ｖ１＋Ｖ２＋Ｖ３＝１を満たす合成率である。

なお、本実施形態においても、上述した実施形態１と同様に、撮像部が別体となった画像信号処理装置であっても構わないし、画像信号処理方法であっても構わないし、画像信号処理プログラムをコンピュータに実行させて同様の処理を行うようにしても良い。

図２２は、画像信号処理プログラムによる処理を示すフローチャートである。

この処理を開始すると、まず、画像信号や上記ヘッダ情報等を読み込むと共に、該画像信号処理プログラムが予め備えている画像処理に適したγ特性データ（絵作りγ特性データ）および所定の表示装置により画像を表示するのに適したγ特性データなどの情報も読み込む（ステップＳ２１）。この処理は、撮像装置である画像信号処理装置において、被写体を撮影して画像信号を取得する処理に相当している。

次に、読み込んだ画像信号に、高輝度画像信号が存在するか否かと、低輝度画像信号が存在するか否かと、を検出する（ステップＳ２２）。この処理は、上述した特定輝度域検出部４０２が行う処理に相当している。

続いて、ステップＳ２２の検出結果に基づき、画像信号に高輝度画像信号と低輝度画像信号との少なくとも一方が存在するか否かを判定する（ステップＳ２３）。この処理は、階調変換部１０７および制御部１１１が行う処理に相当している。

ここで、高輝度画像信号と低輝度画像信号との少なくとも一方が存在すると判定された場合には、画像信号に対してスペースバリアントな第１階調補正処理を行う（ステップＳ２４）。この処理は、第１階調補正部１００２が行う処理に相当している。

続いて、ステップＳ２１において読み込んだ画像処理に適したγ特性データ（絵作りγ特性データ）と所定の表示装置により画像を表示するのに適したγ特性データとを合成して、合成したγ特性データを用いて画像信号に対しスペースインバリアントな第２階調補正処理を行う（ステップＳ２５）。この処理は、第２階調補正部１１０３が行う処理に相当している。

なお、ここでは第１階調補正処理を先に行い、第２階調補正処理を後で行うようにしているが、この逆順でも構わないし、第１階調補正処理と第２階調補正処理とを同時並列的に行うようにしても良い。

そして、ステップＳ２４により得られた第１画像信号とステップＳ２５により得られた第２画像信号とを合成する（ステップＳ２６）。この処理は、合成部１００４が行う処理に相当している。

また、ステップＳ２３において、高輝度画像信号と低輝度画像信号との何れもが存在しないと判定された場合には、ステップＳ２１において読み込んだ画像処理に適したγ特性データ（絵作りγ特性データ）と所定の表示装置により画像を表示するのに適したγ特性データとを合成して、合成したγ特性データを用いて画像信号に対しスペースインバリアントな第２階調補正処理を行う（ステップＳ２７）。この処理も、ステップＳ２５の処理と同様に、第２階調補正部１１０３が行う処理に相当している。

ステップＳ２６の処理またはステップＳ２７の処理が終了したら、公知の色ずれ低減処理を行う（ステップＳ２８）。この処理は、色ずれ低減部２０８が行う処理に相当している。

その後、色ずれ低減後の画像信号を出力して、表示装置に表示したり、あるいは、メモリカード等に保存したりしてから（ステップＳ２９）、この処理を終了する。

次に、図２３は、図２２のステップＳ２２における高、低輝度信号の検出処理の詳細を示すフローチャートである。

この処理を開始すると、まず、画像処理に適したγ特性データ（絵作りγ特性データ）と、所定の表示装置により画像を表示するのに適したγ特性データと、を合成する（ステップＳ２０１）。この処理は、γ特性データ抽出合成部４１２１が行う処理に相当している。

次に、図１７に示したように、合成したγ特性データに対応する傾き角度ΔＨ（数式１１）が白飛びであると認定する所定の角度ΔＨTHよりもはじめて小さくなったときの入力レベルを、高輝度閾値（図８に示したＳＴｈ）とするとともに、合成したγ特性データに対応する傾きΔL（数式１２）が黒つぶれであると認定する所定の角度ΔＬTHよりもはじめて小さくなったときの入力レベルを低輝度閾値（図８に示したＳＴｌ）と設定する（ステップＳ２０２）。この処理は、高低輝度域閾値検出部４１２２が行う処理に相当している。

続いて、画像に含まれる全画素の輝度値を高輝度閾値と比較して、高輝度閾値よりも輝度値が大きい画素（高輝度画像信号と判定される画素）の数をカウントするとともに、画像に含まれる全画素の輝度値を低輝度閾値と比較して、低輝度閾値よりも輝度値が小さい画素（低輝度画像信号と判定される画素）の数をカウントする（ステップＳ２０３）。

そして、高輝度画像信号のカウント数を所定の閾値（高輝度画像信号閾値）と比較して、所定の閾値よりも大きい場合には画像に高輝度画像信号が存在すると判断し、所定の閾値よりも小さい場合には画像に高輝度画像信号が存在しないと判断するとともに、低輝度画像信号のカウント数を所定の閾値（低輝度画像信号閾値）と比較して、所定の閾値よりも大きい場合には画像に低輝度画像信号が存在すると判断し、所定の閾値よりも小さい場合には画像に低輝度画像信号が存在しないと判断する（ステップＳ２０４）。これらステップＳ２０３およびステップＳ２０４の処理は、高低輝度域判断部４１２３が行う処理に相当している。

このステップＳ２０４の処理が終了したら、その後は図２２に示した処理へ復帰する。

なお、ここでは高輝度閾値および低輝度閾値を自動的に設定する例について説明したが、ユーザ入力により手動で設定するようにしても構わない。このときには、図２３のステップＳ２０１およびステップＳ２０２の処理に代えて、高輝度閾値および低輝度閾値の手動入力処理を行うようにすれば良い。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏すると共に、高輝度信号と低輝度信号との少なくとも一方が存在する場合には、原画像信号に対して区域毎（画素毎または画素領域毎）にスペースバリアントな階調変換処理を行うようにしたために、高輝度域または低輝度域に属する画素または画素領域の階調特性が圧縮されることなく保たれる。また、高輝度信号と低輝度信号との両方が存在しない場合には、スペースインバリアントな階調変換処理のみを行うようにしたために、消費電力を低減して処理を高速化することが可能となる。

さらに、画像信号の高輝度領域に対しては該高輝度領域に対応するスペースバリアントな階調変換処理の結果を実質的に用い、画像信号の低輝度領域に対しては該低輝度領域に対応するスペースバリアントな階調変換処理の結果を実質的に用いるが、高輝度領域および低輝度領域以外の領域に対してはスペースバリアントな階調変換画像とスペースインバリアントな階調変換画像とを合成した結果を用いるようにしたために、高輝度領域および低輝度領域の階調が保たれると同時に、中輝度域の階調が伸張されることになり、階調再現特性を反映した画像を得ることができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１００…レンズ系
１０１…絞り
１０２…ＣＣＤ
１０３…増幅部
１０４…Ａ／Ｄ変換部
１０５…バッファ部
１０６…画像信号判断部
１０７…階調変換部
１０８…ノイズ低減部
１０９…表示部
１１０…ＲＯＭ
１１１…制御部
１１２…外部Ｉ／Ｆ部
２０８…色ずれ低減部
２５５…最大入力レベル
４０１…輝度信号変換部
４０２…特定輝度域検出部
７０１…色ずれ検出部
７０２…色ずれ除去部
９０１…バッファ部
９０２…バッファ部
９０３…合成比率設定部
９０４…ブレンド部
１００１…バッファ部
１００２…第１階調補正部
１００３…第２階調補正部
１００４…合成部
１００５…ＲＡＭ
１１０３…第２階調補正部
２００１…γ特性データ合成部
２００２…γ補正部
４０２１…γ特性データ抽出部
４０２２…高輝度域閾値検出部
４０２３…高輝度域判断部
４１２１…γ特性データ抽出合成部
４１２２…高低輝度域閾値検出部
４１２３…高低輝度域判断部

Claims (14)

1. 撮像素子からのデジタル化された画像信号に画像信号処理を行う画像信号処理装置であって、
   上記画像信号に対してスペースバリアントな階調変換処理を行うことにより第１画像信号を生成する第１階調変換処理手段と、
   上記画像信号に対してスペースインバリアントな階調補正処理を行うことにより第２画像信号を生成する第２階調変換処理手段と、
   上記第１画像信号と上記第２画像信号とを合成する合成手段と、
   を具備し、
   上記合成手段は、
   上記第２階調変換処理手段に用いる階調変換特性に基づき少なくとも一つ以上の閾値を設定する閾値設定手段と、
   前記閾値に基づいて、上記画像信号の特定輝度域を検出する特定輝度域検出手段と、
   各上記特定輝度域における合成比率を設定する合成比率設定手段と、
   を有して構成され、
   上記合成手段は、上記合成比率を用いて上記第１画像信号と上記第２画像信号とを合成するものであることを特徴とする画像信号処理装置。
2. 上記特定輝度域検出手段が検出する特定輝度域は、上記画像信号の高輝度域であって、
   上記合成比率設定手段は、上記第１画像信号の合成比率について、上記高輝度域に対応する合成比率が、該高輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定するものであることを特徴とする請求項１に記載の画像信号処理装置。
3. 上記特定輝度域検出手段が検出する特定輝度域は、上記画像信号の低輝度域であって、
   上記合成比率設定手段は、上記第１画像信号の合成比率について、上記低輝度域に対応する合成比率が、該低輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定するものであることを特徴とする請求項１に記載の画像信号処理装置。
4. 上記特定輝度域検出手段が検出する特定輝度域は、上記画像信号の高輝度域および低輝度域であって、
   上記合成比率設定手段は、上記第１画像信号の合成比率について、上記高輝度域に対応する合成比率が、該高輝度域および上記低輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定し、かつ、上記低輝度域に対応する合成比率が、上記高輝度域および該低輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定するものであることを特徴とする請求項１に記載の画像信号処理装置。
5. 上記階調変換特性は、表示装置により画像を表示するのに適したγ特性データと、画像処理に適したγ特性データと、表示装置により画像を表示するのに適したγ特性データと画像処理に適したγ特性データとを合成することにより得られたγ特性データと、の内の何れかであることを特徴とする請求項１に記載の画像信号処理装置。
6. 上記特定輝度域検出手段が検出する特定輝度域は、上記画像信号の高輝度域および低輝度域であって、
   上記閾値設定手段は、上記高輝度域を判断するための高輝度閾値ＳＴｈと、上記低輝度域を判断するためのものであってこの高輝度閾値ＳＴｈよりも小さい低輝度閾値ＳＴｌと、を設定するものであることを特徴とする請求項１に記載の画像信号処理装置。
7. 上記合成手段により合成された画像信号から画質劣化情報を取得する画質劣化情報取得手段と、
   上記画質劣化情報に基づいて上記合成手段により合成された画像信号を補正する画質補正手段と、
   をさらに具備したことを特徴とする請求項１に記載の画像信号処理装置。
8. 上記画質劣化情報取得手段は、上記合成手段により合成された画像信号のノイズレベルを検出するノイズ検出手段を有して構成されたものであり、
   上記画質補正手段は、上記合成手段により合成された画像信号に対してノイズ低減処理を行うノイズ低減手段を有して構成されたものであることを特徴とする請求項７に記載の画像信号処理装置。
9. 上記画質劣化情報取得手段は、上記合成手段により合成された画像信号の色ずれを検出する色ずれ検出手段を有して構成されたものであり、
   上記画質補正手段は、上記合成手段により合成された画像信号に対して色ずれ補正処理を行う色ずれ補正手段を有して構成されたものであることを特徴とする請求項７に記載の画像信号処理装置。
10. 上記特定輝度域検出手段が検出する特定輝度域は、上記画像信号の低輝度域であって、
    上記合成比率設定手段は、上記第２画像信号の合成比率について、上記低輝度域に対応する合成比率が、該低輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定するものであることを特徴とする請求項１に記載の画像信号処理装置。
11. 上記特定輝度域検出手段が検出する特定輝度域は、上記画像信号の高輝度域および低輝度域であって、
    上記合成比率設定手段は、上記第１画像信号の合成比率について、上記高輝度域に対応する合成比率が、該高輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定し、かつ、上記第２画像信号の合成比率について、上記低輝度域に対応する合成比率が、該低輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定するものであることを特徴とする請求項１に記載の画像信号処理装置。
12. コンピュータに、撮像素子からのデジタル化された画像信号に画像信号処理を行わせるための画像信号処理プログラムであって、コンピュータに、
    上記画像信号に対してスペースバリアントな階調変換処理を行うことにより第１画像信号を生成する第１階調変換処理ステップと、
    上記画像信号に対してスペースインバリアントな階調補正処理を行うことにより第２画像信号を生成する第２階調変換処理ステップと、
    上記第１画像信号と上記第２画像信号とを合成する合成ステップと、
    を実行させ、
    上記合成ステップは、
    上記第２階調変換処理ステップに用いる階調変換特性に基づき少なくとも一つ以上の閾値を設定する閾値設定ステップと、
    前記閾値に基づいて、上記画像信号の特定輝度域を検出する特定輝度域検出ステップと、
    各上記特定輝度域における合成比率を設定する合成比率設定ステップと、
    を有し、
    上記合成ステップは、上記合成比率を用いて上記第１画像信号と上記第２画像信号とを合成するステップであることを特徴とする画像信号処理プログラム。
13. 上記特定輝度域検出ステップが検出する特定輝度域は、上記画像信号の低輝度域であって、
    上記合成比率設定ステップは、上記第２画像信号の合成比率について、上記低輝度域に対応する合成比率が、該低輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定するステップであることを特徴とする請求項１２に記載の画像信号処理プログラム。
14. 上記特定輝度域検出ステップが検出する特定輝度域は、上記画像信号の高輝度域および低輝度域であって、
    上記合成比率設定ステップは、上記第１画像信号の合成比率について、上記高輝度域に対応する合成比率が、該高輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定し、かつ、上記第２画像信号の合成比率について、上記低輝度域に対応する合成比率が、該低輝度域以外の輝度域に対応する合成比率よりも大きくなるように設定するステップであることを特徴とする請求項１２に記載の画像信号処理プログラム。

Images