JP6857102B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

撮像装置によって高輝度の被写体や高彩度の被写体を撮影した場合に、撮像センサから出力されるＲＧＢ信号の何れかが飽和した状態となる場合がある。この場合、ＲＧＢ信号の比が、本来の被写体の色を表す値から変わってしまうために、色曲がりが生じる。

この課題に対して、従来、ＲＧＢ信号の何れかに飽和が生じている領域に対して、彩度を下げる処理である色抑圧処理を適用することにより、信号の飽和によって生じる色曲がりを緩和する技術が知られている。

また、撮像装置によって低輝度で高彩度の被写体を撮影した場合に、ＲＧＢ信号の何れかが下限である黒レベルに近付く場合がある。この場合、ＲＧＢ信号に対して黒レベルでの立ち上がりが急峻なガンマ補正を適用すると、ＲＧＢ信号に重畳しているノイズ成分が、ガンマ補正によって強調され、画質劣化を引き起こす。

この課題に対して、従来、ＲＧＢ信号の何れかが下限に近い値を取る下限領域に対して色抑圧処理を適用することにより、ＲＧＢ信号のうちの信号値が小さい信号の信号レベルを上げる技術が知られている。これにより、ガンマ補正によるノイズ成分の強調の度合いを低減することができる。

例えば、特許文献１には、ＲＧＢ信号のうちの最大値又は最小値に基づいて、その値が所定の基準範囲内に収まるように色抑圧処理を行う技術が開示されている。

特開平７−２８８８３７号公報

特許文献１によれば、色抑圧処理のための補正係数が、輝度信号の値に応じて変化する。２組のＲＧＢ信号間で最大値、中間値、及び最小値が一致する場合であっても、最大値、中間値、及び最小値に対応する色が異なる場合には、輝度信号は相異なる。例えば、ＲＧＢ信号値を０〜１の範囲で表現し、黄色（Ｒ＝Ｇ＝１、Ｂ＝０）及びマゼンタ（Ｒ＝Ｂ＝１、Ｇ＝０）を考えた場合、これら２つの色の間で最大値、中間値、及び最小値は一致する（最大値＝中間値＝１、最小値＝０）が、輝度信号は相異なる。従って、特許文献１の技術では、ＲＧＢ信号の信号値と補正係数との対応関係を望み通りに設計することが容易ではない。

本発明はこのような状況に鑑みてなされたものであり、色抑圧処理の強度を容易に調整することを可能にする技術を提供する。

上記課題を解決するために、本発明は、画像信号のＲＧＢ成分から、前記ＲＧＢ成分のうちの最小値成分を含まない第１の１以上の成分と、前記第１の１以上の成分とは異なる第２の１以上の成分と、を選択する選択手段と、前記第１の１以上の成分の大きさが閾値レベル以上であるか否かを判定する判定手段と、前記第２の１以上の成分に基づいて、色抑圧処理の強度を決定する決定手段と、前記第１の１以上の成分の大きさが前記閾値レベル以上である場合に、前記決定された強度で前記画像信号に対して色抑圧処理を行う画像処理手段と、を備えることを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、色抑圧処理の強度を容易に調整することが可能となる。

デジタルカメラ１００の構成を示すブロック図。 第１の実施形態に係る、画像処理部１０５の、色抑圧処理に関係する機能ブロックを示す図。 第１の実施形態に係る、画像処理部１０５における色抑圧処理の流れを示すフローチャート。 Ｌの値を算出する方法について説明する図。 第２の実施形態に係る、画像処理部１０５の、色抑圧処理に関係する機能ブロックを示す図。 第２の実施形態に係る、画像処理部１０５における色抑圧処理の流れを示すフローチャート Ｎの値を算出する方法について説明する図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

［第１の実施形態］
図１は、画像処理装置の一例であるデジタルカメラ１００の構成を示すブロック図である。図１において、レンズ群１０１は、フォーカスレンズを含むズームレンズである。絞り機能を備えるシャッター１０２が、レンズ群１０１と撮像部１０３との間に設けられている。撮像部１０３は、レンズ群１０１によって撮像面に形成される光学像を画素単位の電気信号に変換するＣＣＤ／ＣＭＯＳイメージセンサを代表とする撮像素子を有する。Ａ／Ｄ変換器１０４は、撮像部１０３が出力するアナログ信号をデジタル信号（画像データ）に変換する。

画像処理部１０５は、Ａ／Ｄ変換器１０４から出力される画像データに対し、色補間（デモザイク）、ホワイトバランス調整、γ補正などの各種画像処理を行う。画像処理部１０５はまた、色信号の飽和領域に対する色抑圧処理を行う。画像メモリ１０６は画像データを一時的に記憶する。メモリ制御部１０７は、画像メモリ１０６の読み書きを制御する。Ｄ／Ａ変換器１０８は、画像データをアナログ信号に変換する。表示部１０９はＬＣＤや有機ＥＬディスプレイ等の表示装置を有し、各種ＧＵＩやライブビュー画像、記録媒体１１２から読み出して再生した画像などを表示する。コーデック部１１０は、画像メモリ１０６に記憶されている画像データを記録媒体１１２に記録するために予め定められた方法で符号化したり、画像ファイルに含まれる符号化画像データを例えば表示のために復号したりする。

Ｉ／Ｆ１１１（インタフェース）は、例えば半導体メモリカードやカード型ハードディスクなどの着脱可能な記録媒体１１２を、デジタルカメラ１００と機械的及び電気的に接続する。システム制御部５０は例えばＣＰＵやＭＰＵなどのプログラマブルなプロセッサーであってよい。システム制御部５０は、例えば不揮発性メモリ１２１や内蔵する不揮発性メモリに記録されたプログラムを実行して必要なブロックや回路を制御することにより、デジタルカメラ１００の機能を実現する。

操作部１２０は、ユーザがデジタルカメラ１００に各種の指示を入力するためのボタンやスイッチなどの入力デバイスをまとめて記載したものである。表示部１０９がタッチディスプレイである場合、タッチパネルは操作部１２０に含まれる。また、音声入力や視線入力など、非接触で指示を入力するタイプの入力デバイスが操作部１２０に含まれてもよい。

不揮発性メモリ１２１は電気的に消去・記録可能な、例えばＥＥＰＲＯＭ等であってよい。不揮発性メモリ１２１は、各種の設定値、ＧＵＩデータをはじめ、システム制御部５０がＭＰＵやＣＰＵである場合には、システム制御部５０が実行するためのプログラムが記録される。システムメモリ１２２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等を展開するために用いる。

次に、上記のように構成されたデジタルカメラ１００における被写体撮影時の基本動作について説明する。撮像部１０３は、シャッター１０２が開いている際にレンズ群１０１が撮像面に形成する被写体像を撮像素子によって光電変換し、アナログ画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０７からの画像データに対し、同時化処理（デモザイク処理）、色抑圧処理、γ補正などの各種画像処理を行う。また、画像処理部１０５では、撮影で得られた画像データを用いて輝度やコントラストなどに関する所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が焦点調節（ＡＦ）や露光制御（ＡＥ）を行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている画像表示用のデータをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示装置に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき符号化する。システム制御部５０は符号化した画像データに対して予め定められたヘッダなどを付与して画像ファイルを形成し、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。

また、デジタルカメラ１００は、撮影スタンバイ状態においては動画撮影を行い、撮影された動画を表示部１０９に表示し続けることにより表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させることができる。この場合、デジタルカメラ１００は、シャッター１０２は開いた状態とし、撮像部１０３のいわゆる電子シャッターを用いて例えば３０フレーム／秒の撮影を行う。そして、操作部１２０に含まれるシャッターボタンが半押しされると上述のＡＦ，ＡＥ制御が行われ、全押しされると本撮影により記録用の静止画撮影が実行され、記録媒体１１２に記録される。また、動画撮影ボタンなどにより動画撮影が指示された場合は、デジタルカメラ１００は、記録媒体１１２への動画記録を開始する。

なお、前述の通り、デジタルカメラ１００は画像処理装置の一例であり、撮影や記録に関する構成は必須ではない。

図２は、画像処理部１０５の、色抑圧処理に関係する機能ブロックを示す図である。なお、図２に示す機能ブロックの１つ以上は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよい。或いは、図２に示す機能ブロックの１つ以上は、ＡＳＩＣ(Application Specific Integrated Circuit)やＰＬＤ(Programmable Logic Device)のようなハードウェアによって実現されてもよい。ＰＬＤには、ＦＰＧＡ(Field-Programmable Gate Array）、ＰＬＡ(Programmable Logic Array)などが含まれる。

色抑圧処理を行う場合の、画像処理部１０５の構成、及び、処理の流れについて説明する。図２において、２０１は画像信号生成部、２０２は画像信号変換部、２０３は色抑圧処理部、２０４は画像信号逆変換部、２０５は色抑圧特性制御部である。色抑圧特性制御部２０５は、Ｍａｘ−Ｍｅｄ−Ｍｉｎ判定部２１１、色信号飽和判定部２１２、色抑圧ゲイン算出部２１３から構成される。

次に、図３を参照して、画像処理部１０５における色抑圧処理の流れを説明する。図３は、画像処理部１０５における色抑圧処理の流れを示すフローチャートである。Ｓ３０１で、画像信号生成部２０１は、画素あたり１色（Ｒ，Ｇ，Ｂのいずれか１つ）の情報を有する画像信号に同時化処理（デモザイク処理）を行い、各画素が３色（ＲＧＢ）の情報を有する画像信号を生成する。画像信号生成部２０１は、生成した画像信号を、画像信号変換部２０２及びＭａｘ−Ｍｅｄ−Ｍｉｎ判定部２１１へ出力する。

Ｓ３０２以降の処理は、画素単位で行われる。Ｓ３０２で、Ｍａｘ−Ｍｅｄ−Ｍｉｎ判定部２１１は、入力されたＲ、Ｇ、Ｂの信号値（画像信号のＲＧＢ成分）の大小関係を判定し、大きい順にＭａｘ信号（最大値成分）、Ｍｅｄ信号（中間値成分）、Ｍｉｎ信号（最小値成分）として判定する。Ｍａｘ−Ｍｅｄ−Ｍｉｎ判定部２１１は、Ｍａｘ信号の値を色信号飽和判定部２１２へ出力し、Ｍａｘ信号、Ｍｅｄ信号、Ｍｉｎ信号の値を色抑圧ゲイン算出部２１３へ出力する。

Ｓ３０３で、色信号飽和判定部２１２は、入力されたＭａｘ信号の値を、所定の閾値（ＴＨ＿ＭＡＸ）と比較し、入力された画像信号における飽和の有無を判定する。色信号飽和判定部２１２は、Ｍａｘ≧ＴＨ＿ＭＡＸである場合、画像信号が飽和していると判定し、そうでない場合、画像信号が飽和していないと判定する。画像信号が飽和している場合、処理はＳ３０４へ進み、画像信号が飽和していない場合、処理はＳ３０５へ進む。

なお、閾値（ＴＨ＿ＭＡＸ）は、予め定められた定数を用いてもよいし、予め定められた基準値を基にＭｉｎ信号やＭｅｄ信号の値に応じて定めるようにしてもよい。例えば、Ｍｉｎ信号やＭｅｄ信号が小さい場合には、閾値（ＴＨ＿ＭＡＸ）の値を小さく設定するようにしてもよい。これによって、Ｍｉｎ信号やＭｅｄ信号が小さく彩度の濃い領域での色抑圧処理の強度を強めるよう調整することが可能となる。

Ｓ３０４で、色抑圧ゲイン算出部２１３は、入力されたＭａｘ信号、Ｍｅｄ信号、Ｍｉｎ信号の値に基づいて、色抑圧ゲイン（ｇａｉｎ）を算出する。色抑圧ゲインの算出方法の詳細は後述する。

Ｓ３０５で、色抑圧ゲイン算出部２１３は、色抑圧ゲイン（ｇａｉｎ）を１に決定する。

Ｓ３０６では、Ｓ３０４又はＳ３０５において得られた色抑圧ゲイン（ｇａｉｎ）の値に基づいて、画像信号に対する色抑圧処理が行われる。具体的には、画像信号変換部２０２は、入力されたＲＧＢ信号をＹＵＶ信号に変換する。そして、色抑圧処理部２０３は、Ｕ，Ｖ信号に対して下記の式に基づき、色抑圧ゲイン（ｇａｉｎ）を適用する。
Ｕｏｕｔ＝Ｕ×ｇａｉｎ
Ｖｏｕｔ＝Ｖ×ｇａｉｎ

色抑圧処理部２０３は、輝度信号Ｙ、及び色抑圧ゲインを適用した色差信号Ｕｏｕt，Ｖｏｕｔを、画像信号逆変換部２０４へ出力する。画像信号逆変換部２０４は、入力されたＹＵＶ信号をＲＧＢ信号へ変換する。この後、画像処理部１０５の画像補正部（不図示）において、ガンマ補正などの画像信号の補正処理が行われる。

次に、Ｓ３０４における色抑圧ゲイン（ｇａｉｎ）の算出方法について説明する。色抑圧ゲイン（ｇａｉｎ）の算出式は次の通りである。
ｇａｉｎ＿ｍａｘ＝Ｋ×Ｌ
ｇａｉｎ＝１−ｇａｉｎ＿ｍａｘ＝１−Ｋ×Ｌ
ただし、Ｋ及びＬは、Ｍａｘ、Ｍｅｄ、Ｍｉｎの値に基づいて算出される値であり、その算出方法は後述する。式に示した通り、Ｋ，Ｌの値が大きくなるほど、ｇａｉｎの値は零に近づき、色抑圧処理の強度が強くなる。

ここで、Ｋは、色信号の飽和の度合いを表す値であり、下記の算出式に基づいて算出される。なお、Ｍａｘ、Ｍｅｄ、Ｍｉｎの値（即ち、ＲＧＢの値）は、０〜１の範囲で表されるものとする。
Ｋ＝Ｍａｘ−ＴＨ＿ＭＡＸ

次に、図４（Ａ）〜（Ｂ）を参照して、Ｌの値を算出する方法について説明する。図４（Ａ）〜（Ｂ）に示したのは、それぞれ、Ｌの値を決定するための参照テーブルの例であり、参照値の定め方として２通りの方法を例示している。

まず、図４（Ａ）に示した参照テーブルを用いる場合について説明する。図４（Ａ）の横軸は、α×Ｍｉｎ＋（１−α）×Ｍｅｄの値を表し、αは０から１までの間の値で設定された比率係数である。図４（Ａ）の縦軸は、Ｌの値である。色抑圧ゲイン算出部２１３は、Ｍｅｄ，Ｍｉｎの値が入力されると、α×Ｍｉｎ＋（１−α）×Ｍｅｄの値を算出し、その値と図４（Ａ）に示した参照テーブルとに基づいてＬの値を決定する。

なお、図４（Ａ）に示した参照テーブルは、Ｍｉｎ，Ｍｅｄの値が大きくなるほど、Ｌの値が大きくなるよう入出力特性が定められている。従って、最終的に算出されるｇａｉｎの値は、Ｍｉｎ，Ｍｅｄの値が大きくなるほど、０に近い値となる特性を持つ。このようにすることで、飽和領域に対して色抑圧処理を適用すると共に、信号レベルが大きくなり白色に近づくにつれ、徐々に彩度が下がるよう色抑圧特性を制御することが可能になる。

また、比率係数αの値を調整することによって、色抑圧特性を更に細かく制御することができる。例えば、αの値を１に近づけると、Ｍｉｎの値が大きい領域でのみＬの値が大きくなるため、色抑圧を強く適用する領域が狭まることとなる。

色抑圧ゲイン算出部２１３は、算出したｇａｉｎの値を、色抑圧処理部２０３へ出力する。

次に、図４（Ｂ）に示した参照テーブルを用いる場合について説明する。図４（Ｂ）の横軸は、Ｍｉｎの値を表し、Ｐ１、Ｐ２は予め定められた閾値である。図４（Ｂ）の縦軸は、Ｌの値である。図４（Ｂ）に示した通り、Ｍｉｎの値が大きくなるほど、Ｌの値が小さくなるよう参照テーブルが定められている。これによって、Ｍｉｎの値が小さい領域においては、色抑圧処理の強度を強くするよう制御することが可能となる。このようにすることで、Ｍｉｎの値が小さい色信号にガンマ補正を適用した際に生じる画質劣化（ノイズ成分の強調）を低減させることが可能となる。

以上の通り、デジタルカメラ１００は、入力されたＲＧＢ信号の各色（画像信号のＲＧＢ成分の各々）の大小関係によりＭａｘ（最大値成分）、Ｍｅｄ（中間値成分）、Ｍｉｎ（最小値成分）の値を判定する。そして、デジタルカメラ１００は、Ｍａｘ（最大値成分）、Ｍｅｄ（中間値成分）、Ｍｉｎ（最小値成分）の値に基づいて、色抑圧特性（色抑圧処理の強度）を決定する。その際に、デジタルカメラ１００は、Ｍａｘが所定の閾値以上である領域に対して、Ｍｅｄ，Ｍｉｎの値が大きくなり、飽和レベルに近づくほど、色抑圧ゲインの値が小さくなるよう制御する（図４（Ａ）の場合）。これによって、ＲＧＢ信号の飽和領域に対して色抑圧ゲインを適用する際に、不連続性の無いゲイン特性によって色抑圧処理を行うことが可能となる。また、ＲＧＢ信号の信号レベルに基づいて色抑圧処理を制御するため、対象領域の色相によらず、ＲＧＢ信号の信号レベルが同等である領域に対して色抑圧処理の強度が同等となるよう制御することができる。

なお、上の説明では、Ｍｅｄ，Ｍｉｎの値に基づいて色抑圧特性を決定する際に、参照テーブルを用いるものとしたが、本実施形態は、色抑圧特性の決定方法をこれに限定するものではない。例えば、Ｍｅｄ，Ｍｉｎの値を用いた所定の数式を計算することで色抑圧特性を決定するようにしてもよい。この場合、参照テーブルの特性と同様、Ｍｅｄ，Ｍｉｎの値が大きくなるほど、色抑圧ゲインの値が小さくなるように所定の数式の特性を定めればよい。

また、上の説明では、色抑圧ゲインを算出する際に、Ｍａｘの値も用いるものとしたが、本実施形態は、色抑圧ゲインの算出方法をこれに限定するものではない。例えば、Ｍａｘの値は飽和領域の判定にのみ用いるようにし、色抑圧ゲインはＭｅｄ，Ｍｉｎの値に基づいて決定するようにしてもよい。また、色抑圧ゲインは、Ｍｅｄ及びＭｉｎのうちの一方のみに基づいて決定してもよい。

また、上の説明では、ＲＧＢ信号の飽和を判定する際に、Ｍａｘの値を用いるものとしたが、本実施形態は、ＲＧＢ信号の飽和を判定する方法をこれに限定するものではない。例えば、ＲＧＢ信号のうち、閾値以上の値を持つ信号を選択し、その平均値に基づいて色信号の飽和の有無を判定するようにしてもよい。ただし、少なくともＭｉｎの値については、飽和判定に用いない。

一般化すると、デジタルカメラ１００は、画像信号のＲＧＢ成分から、ＲＧＢ成分のうちの最小値成分（Ｍｉｎ）を含まない１以上の成分（第１の１以上の成分）を、飽和判定のための成分として選択する。デジタルカメラ１００は、第１の１以上の成分の大きさが閾値レベル以上であるか否かを判定する。例えば、第１の１以上の成分がＭａｘ（最大値成分）である場合、デジタルカメラ１００は、Ｍａｘが閾値以上であれば、第１の１以上の成分の大きさが閾値レベル以上であると判定する。或いは、例えば、第１の１以上の成分がＭａｘ（最大値成分）及びＭｅｄ（中間値成分）である場合、デジタルカメラ１００は、Ｍａｘ及びＭｅｄの平均値が閾値以上であれば、第１の１以上の成分の大きさが閾値レベル以上であると判定する。また、デジタルカメラ１００は、画像信号のＲＧＢ成分から、第１の１以上の成分とは異なる１以上の成分（第２の１以上の成分）を、色抑圧処理の強度決定のための成分として選択する。デジタルカメラ１００は、第２の１以上の成分に基づいて、色抑圧処理の強度を決定する。例えば、第２の１以上の成分がＭｅｄ（中間値成分）及びＭｉｎ（最小値成分）である場合、デジタルカメラ１００は、Ｍｅｄ及びＭｉｎを比率αで加算した値に基づいて、色抑圧処理の強度を決定する。或いは、例えば、第２の１以上の成分がＭｉｎ（最小値成分）である場合、デジタルカメラ１００は、Ｍｉｎの値に基づいて色抑圧処理の強度を決定する。なお、デジタルカメラ１００は、第１の１以上の成分とは異なる１以上の成分（第２の１以上の成分）に加えて、第１の１以上の成分に基づいて色抑圧処理の強度を決定してもよい（図３のＳ３０４参照）。

また、上の説明では、色抑圧ゲインを算出する際に、ＭｅｄとＭｉｎとを所定の比率αで加算した値を用いるものとした（図４（Ａ）の場合）。しかし、色抑圧処理の特性を色相によって細かく調整したい場合には、αの値を入力画像信号の色相成分及び彩度成分のうちの少なくとも一方に応じて定めるように制御してもよい。例えば、入力された画像信号の色相が、補色（黄、シアン、マゼンタ）である場合は、原色（赤、青、緑）である場合に比べて、αの値を大きく設定するようにする。このようにすることで、ＲＧＢ信号のうちのＭｅｄが比較的大きな値を取る色相（補色）に対しても、小さな値を取る色相（原色）に対しても、同等の色抑圧効果を与えるよう制御することが可能となる。

また、上の説明では、Ｍｅｄ、Ｍｉｎの値が大きくなるほど、色抑圧処理の強度を強くするよう制御するものとした（図４（Ａ）の場合）が、本実施形態は、色抑圧特性の決定方法をこれに限定するものではない。Ｍｅｄ，Ｍｉｎの値を用いる方法で、色抑圧特性が信号レベルに応じて連続的に変化する特性を持つ方法であれば、どのようなものを用いても構わない。例えば、Ｍｅｄ，Ｍｉｎの値が所定の閾値以下の場合に、色抑圧処理を強めるよう制御してもよい。このようにすることで、Ｍｅｄ、Ｍｉｎの値が小さく、Ｍａｘの値が大きい領域（即ち、彩度の高い領域）での色抑圧処理の強度を強くし、画像全体での色再現のバランスを調整することが可能となる。

以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、画像信号のＲＧＢ成分から、ＲＧＢ成分のうちの最小値成分を含まない第１の１以上の成分と、第１の１以上の成分とは異なる第２の１以上の成分と、を選択する。そして、デジタルカメラ１００は、第１の１以上の成分に基づいて飽和判定を行い、第２の１以上の成分に基づいて色抑圧処理の強度を決定する。これにより、色抑圧処理の強度を容易に調整することが可能となる。

［第２の実施形態］
第１の実施形態では、ＲＧＢ信号のうちのＭａｘ値を参照して、飽和領域に対する色抑圧処理を行う構成について説明した。第２の実施形態では、ＲＧＢ信号のうちのＭｉｎ値を参照して、下限領域に対する色抑圧処理を行う構成について説明する。ここで、下限領域とは、ＲＧＢ信号のうちの何れかが、色域内においてＲＧＢ信号が取り得る下限値に近い値を取る色空間内の領域を指す。

第２の実施形態において、デジタルカメラ１００の構成は、第１の実施形態と同様である（図１参照）が、画像処理部１０５の構成が第１の実施形態と異なる。以下、主に第１の実施形態と異なる部分について説明する。

図５は、画像処理部１０５の、色抑圧処理に関係する機能ブロックを示す図である。図５において、図２と同一又は同様の機能を持つブロックには図２と同一の符号を付す。なお、図５に示す機能ブロックの１つ以上は、マイクロプロセッサとソフトウェアの組み合わせよって実現されてもよい。或いは、図５に示す機能ブロックの１つ以上は、ＡＳＩＣ(Application Specific Integrated Circuit)やＰＬＤ(Programmable Logic Device)のようなハードウェアによって実現されてもよい。ＰＬＤには、ＦＰＧＡ(Field-Programmable Gate Array）、ＰＬＡ(Programmable Logic Array)などが含まれる。

色抑圧特性制御部５０５は、Ｍａｘ−Ｍｅｄ−Ｍｉｎ判定部５１１、色信号下限判定部５１２、色抑圧ゲイン算出部５１３から構成される。Ｍａｘ−Ｍｅｄ−Ｍｉｎ判定部５１１は、入力されたＲＧＢ信号の大小関係を判定し、そのうちの最小値（Ｍｉｎ値）を、色信号下限判定部５１２へ出力する。また、色信号下限判定部５１２は、入力されたＭｉｎ信号を用いて、入力された画像信号が下限領域に含まれるか否かを判定する。

次に、図６を参照して、画像処理部１０５における色抑圧処理の流れを説明する。図６は、画像処理部１０５における色抑圧処理の流れを示すフローチャートである。図６において、図３と同一又は同様の処理が行われるステップには図３と同一の符号を付す。

第１の実施形態と同様、Ｓ６０２以降の処理は、画素単位で行われる。Ｓ６０２で、Ｍａｘ−Ｍｅｄ−Ｍｉｎ判定部５１１は、入力されたＲ、Ｇ、Ｂの信号値（画像信号のＲＧＢ成分）の大小関係を判定し、大きい順にＭａｘ信号（最大値成分）、Ｍｅｄ信号（中間値成分）、Ｍｉｎ信号（最小値成分）として判定する。Ｍａｘ−Ｍｅｄ−Ｍｉｎ判定部５１１は、Ｍｉｎ信号の値を色信号下限判定部５１２へ出力し、Ｍａｘ信号、Ｍｅｄ信号、Ｍｉｎ信号の値を色抑圧ゲイン算出部５１３へ出力する。

Ｓ６０３で、色信号下限判定部５１２は、入力されたＭｉｎ信号の値を、所定の閾値（ＴＨ＿ＭＩＮ）と比較し、入力された画像信号が下限領域に含まれるか否かを判定する。色信号下限判定部５１２は、Ｍｉｎ＜ＴＨ＿ＭＩＮである場合、画像信号が下限領域に含まれると判定し、そうでない場合、画像信号が下限領域に含まれないと判定する。画像信号が下限領域に含まれる場合、処理はＳ６０４へ進み、画像信号が下限領域に含まれない場合、処理はＳ３０５へ進む。

Ｓ６０４で、色抑圧ゲイン算出部５１３は、入力されたＭａｘ信号、Ｍｅｄ信号，Ｍｉｎ信号の値に基づいて、色抑圧ゲイン（ｇａｉｎ）を算出する。本実施形態における色抑圧ゲイン（ｇａｉｎ）の算出式は次の通りである。
ｇａｉｎ＿ｍｉｎ＝Ｍ×Ｎ
ｇａｉｎ＝１−ｇａｉｎ＿ｍｉｎ＝１−Ｍ×Ｎ
ただし、Ｍ及びＮは、Ｍａｘ、Ｍｅｄ、Ｍｉｎの値に基づいて算出される値であり、その算出方法は後述する。式に示した通り、Ｍ，Ｎの値が大きくなるほど、ｇａｉｎの値は零に近づき、色抑圧処理の強度が強くなる。

ここで、Ｍは、色信号が信号レベルの下限値に近づいた度合いを表す値であり、下記の算出式に基づいて算出される。
Ｍ＝ＴＨ＿ＭＩＮ−Ｍｉｎ

次に、図７を参照して、Ｎの値を算出する方法について説明する。図７の横軸は、α×Ｍａｘ＋（１−α）×Ｍｅｄの値を表し、αは０から１までの間の値で設定された比率係数である。図７の縦軸は、Ｎの値である。色抑圧ゲイン算出部５１３は、Ｍｅｄ，Ｍａｘの値が入力されると、α×Ｍａｘ＋（１−α）×Ｍｅｄの値を算出し、その値と図７に示した参照テーブルとに基づいてＮの値を決定する。色抑圧ゲイン算出部５１３は、算出したｇａｉｎの値を、色抑圧処理部２０３へ出力する。

以上の通り、デジタルカメラ１００は、入力されたＲＧＢ信号の各色（画像信号のＲＧＢ成分の各々）の大小関係によりＭａｘ（最大値成分）、Ｍｅｄ（中間値成分）、Ｍｉｎ（最小値成分）の値を判定する。そして、デジタルカメラ１００は、Ｍａｘ（最大値成分）、Ｍｅｄ（中間値成分）、Ｍｉｎ（最小値成分）の値に基づいて、色抑圧特性（色抑圧処理の強度）を決定する。その際に、デジタルカメラ１００は、Ｍｉｎが所定の閾値未満である領域に対して、Ｍａｘ，Ｍｅｄの値が大きくなるほど、色抑圧ゲインの値が小さくなるように制御する（図７の場合）。これによって、色域の下限領域に対して色抑圧ゲインを適用する際に、不連続性の無いゲイン特性によって色抑圧処理を行うことが可能となる。また、ＲＧＢ信号の信号レベルに基づいて色抑圧処理を制御するため、対象領域の色相によらず、ＲＧＢ信号の信号レベルが同等である領域に対して色抑圧処理の強度が同等となるよう制御することができる。また、色域の下限領域に対して色抑圧処理を行うことで、Ｍｉｎ値が大きくなるので、結果として、ガンマ補正による画質劣化（ノイズ成分の強調）を低減させることが可能となる。

なお、上の説明では、色信号に対する色抑圧処理のみを行う構成について説明したが、上の説明に従って決定した色抑圧特性に基づいて、輝度信号に対する補正処理（輝度補正）も行うようにしてもよい。具体的には、下限領域に対する色抑圧ゲインの値が小さい（色抑圧処理を行う）場合に、輝度信号の信号レベルを高くするよう輝度信号を補正する。デジタルカメラ１００は、色抑圧処理の強度が強いほど輝度成分の値が大きくなるように、輝度成分を補正する。このようにすることで、Ｍｉｎ値の信号レベルも高くなるよう補正されるため、ガンマ補正による画質劣化（ノイズ成分の強調）を低減させることが可能となる。

また、画像処理部１０５において、輝度信号に対する補正処理も行う場合には、ＲＧＢ信号の信号レベルに加えて、輝度信号に対する補正処理の特性の情報も用いて、色抑圧処理を制御するようにしてもよい。具体的には、デジタルカメラ１００は、上で説明した方法によって色抑圧ゲインを算出する。その後、デジタルカメラ１００は、輝度信号に対する補正処理の特性情報を参照して、輝度信号の信号レベルを下げる量（低下量）が大きいほど、算出した色抑圧ゲインをより小さくする（色抑圧処理をより強める）よう制御する。このようにすることで、輝度信号の補正によってＭｉｎ値の信号レベルが下限値に近づく場合に、ガンマ補正によって生じる画質劣化（ノイズ成分の強調）を低減させることが可能となる。

また、上の説明では、下限領域であるか否かを判定する際に、Ｍｉｎ値を用いるものとしたが、本実施形態は、判定方法をこれに限定するものではない。例えば、ＲＧＢ信号のうち、閾値未満の値を持つ信号を選択し、その平均値に基づいて色信号が下限領域に含まれるか否かを判定するようにしてもよい。ただし、少なくともＭａｘの値については、下限領域判定に用いない。

第２の実施形態は、第１の実施形態と同様の一般化が可能である。即ち、デジタルカメラ１００は、画像信号のＲＧＢ成分から、ＲＧＢ成分のうちの最大値成分（Ｍａｘ）を含まない１以上の成分（第１の１以上の成分）を、下限領域判定のための成分として選択する。デジタルカメラ１００は、第１の１以上の成分の大きさが閾値レベル未満であるか否かを判定する。例えば、第１の１以上の成分がＭｉｎ（最小値成分）である場合、デジタルカメラ１００は、Ｍｉｎが閾値未満であれば、第１の１以上の成分の大きさが閾値レベル未満であると判定する。或いは、例えば、第１の１以上の成分がＭｉｎ（最小値成分）及びＭｅｄ（中間値成分）である場合、デジタルカメラ１００は、Ｍｉｎ及びＭｅｄの平均値が閾値未満であれば、第１の１以上の成分の大きさが閾値レベル未満であると判定する。また、デジタルカメラ１００は、画像信号のＲＧＢ成分から、第１の１以上の成分とは異なる１以上の成分（第２の１以上の成分）を、色抑圧処理の強度決定のための成分として選択する。デジタルカメラ１００は、第２の１以上の成分に基づいて、色抑圧処理の強度を決定する。例えば、第２の１以上の成分がＭｅｄ（中間値成分）及びＭａｘ（最大値成分）である場合、デジタルカメラ１００は、Ｍｅｄ及びＭａｘを比率αで加算した値に基づいて、色抑圧処理の強度を決定する。或いは、例えば、第２の１以上の成分がＭａｘ（最大値成分）である場合、デジタルカメラ１００は、Ｍａｘの値に基づいて色抑圧処理の強度を決定する。なお、デジタルカメラ１００は、第１の１以上の成分とは異なる１以上の成分（第２の１以上の成分）に加えて、第１の１以上の成分に基づいて色抑圧処理の強度を決定してもよい（図６のＳ６０４参照）。

以上説明したように、第２の実施形態によれば、デジタルカメラ１００は、画像信号のＲＧＢ成分から、ＲＧＢ成分のうちの最大値成分を含まない第１の１以上の成分と、第１の１以上の成分とは異なる第２の１以上の成分と、を選択する。そして、デジタルカメラ１００は、第１の１以上の成分に基づいて下限領域判定を行い、第２の１以上の成分に基づいて色抑圧処理の強度を決定する。これにより、色抑圧処理の強度を容易に調整することが可能となる。

［第３の実施形態］
第３の実施形態では、第１の実施形態に係る飽和判定と第２の実施形態に係る下限領域判定とを組み合わせる構成について説明する。第２の実施形態において、デジタルカメラ１００の構成は、第１の実施形態及び第２の実施形態と同様である（図１参照）。画像処理部１０５は、色抑圧特性制御部２０５（図２）及び色抑圧特性制御部５０５（図５）を含む。以下、主に第１の実施形態及び第２の実施形態と異なる部分について説明する。

画像処理部１０５は、色抑圧ゲイン算出部２１３及び色抑圧ゲイン算出部５１３が算出した色抑圧ゲインの値を合成して用いるように構成される。具体的には、以下の処理が行われる。

まず、色抑圧ゲイン算出部２１３は、第１の実施形態で説明した方法によって、ＲＧＢ信号の飽和領域に対する色抑圧ゲイン（ｇａｉｎ＿ｍａｘ）を算出する。
ｇａｉｎ＿ｍａｘ＝Ｋ×Ｌ
ただし、Ｍａｘ＜ＴＨ＿ＭＡＸの場合（非飽和領域の場合）、ｇａｉｎ＿ｍａｘ＝０である。

次に、色抑圧ゲイン算出部５１３は、第２の実施形態で説明した方法によって、ＲＧＢ信号の下限領域に対する色抑圧ゲイン（ｇａｉｎ＿ｍｉｎ）を算出する。
ｇａｉｎ＿ｍｉｎ＝Ｍ×Ｎ
ただし、Ｍｉｎ≧ＴＨ＿ＭＩＮの場合（非下限領域の場合）、ｇａｉｎ＿ｍｉｎ＝０である。

次に、画像処理部１０５は、それぞれの色抑圧ゲイン（ｇａｉｎ＿ｍａｘ、ｇａｉｎ＿ｍｉｎ）を、下記の式に従って合成し、合成した色抑圧ゲイン（ｇａｉｎ）を色抑圧処理部２０３へ出力し、色差信号に対する色抑圧処理を行う。
ｇａｉｎ＝１−（ｇａｉｎ＿ｍａｘ＋ｇａｉｎ＿ｍｉｎ）

以上説明したように、第３の実施形態によれば、デジタルカメラ１００は、入力ＲＧＢ信号の飽和領域及び下限領域の両方に対して、色抑圧処理を適用する。これによって、飽和による色曲りと、下限領域におけるノイズ成分の強調とを、共に低減させる事が可能となる。

なお、上の説明では、ＲＧＢ信号の飽和領域、下限領域に対する色抑圧ゲインを、それぞれ独立に算出してから足し合わせる構成について説明したが、本実施形態は、色抑圧ゲインの算出方法をこれに限定するものではない。例えば、飽和領域、又は、下限領域として判定される領域が互いに重複しないように判定閾値を設定した状態で、ＲＧＢ信号値に応じて、飽和領域、下限領域に対する色抑圧ゲインの何れかを算出し、色抑圧処理に用いるよう制御してもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０…システム制御部、１００…デジタルカメラ、１０５…画像処理部、２０２…画像信号変換部、２０３…色抑圧処理部、２０５…色抑圧特性制御部、２１１…Ｍａｘ−Ｍｅｄ−Ｍｉｎ判定部、２１２…色信号飽和判定部、２１３…色抑圧ゲイン算出部

Claims (24)

1. 画像信号のＲＧＢ成分から、前記ＲＧＢ成分のうちの最小値成分を含まない第１の１以上の成分と、前記第１の１以上の成分とは異なる第２の１以上の成分と、を選択する選択手段と、
   前記第１の１以上の成分の大きさが閾値レベル以上であるか否かを判定する判定手段と、
   前記第２の１以上の成分に基づいて、色抑圧処理の強度を決定する決定手段と、
   前記第１の１以上の成分の大きさが前記閾値レベル以上である場合に、前記決定された強度で前記画像信号に対して色抑圧処理を行う画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記選択手段は、前記第１の１以上の成分として、前記ＲＧＢ成分のうちの最大値成分を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段は、前記最大値成分の値が第１の閾値以上である場合に、前記第１の１以上の成分の大きさが前記閾値レベル以上であると判定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記選択手段は、前記第２の１以上の成分として、前記ＲＧＢ成分のうちの中間値成分及び前記最小値成分を選択する
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記決定手段は、前記最小値成分及び前記中間値成分を第１の比率で加算した値に基づいて、前記色抑圧処理の前記強度を決定する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記決定手段は、前記画像信号の色相成分及び彩度成分のうちの少なくとも一方に基づいて、前記第１の比率を決定する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記最小値成分及び前記中間値成分を前記第１の比率で加算した前記値が大きいほど、前記色抑圧処理の前記強度を強くする
   ことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記選択手段は、前記第１の１以上の成分として、前記ＲＧＢ成分のうちの、前記最小値成分を除く、第２の閾値以上の値を持つ成分を選択し、
   前記判定手段は、前記第１の１以上の成分の平均値が第１の閾値以上である場合に、前記第１の１以上の成分の大きさが前記閾値レベル以上であると判定する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記選択手段は、前記第２の１以上の成分として、前記ＲＧＢ成分のうちの前記最小値成分を選択する
   ことを特徴とする請求項１乃至３及び８のいずれか１項に記載の画像処理装置。
10. 前記決定手段は、前記最小値成分の値が第３の閾値以下である場合、前記最小値成分の値が前記第３の閾値より大きい場合よりも、前記色抑圧処理の前記強度を強くする
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記判定手段は、前記第２の１以上の成分に基づいて、前記閾値レベルを決定する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 画像信号のＲＧＢ成分から、前記ＲＧＢ成分のうちの最大値成分を含まない第１の１以上の成分と、前記第１の１以上の成分とは異なる第２の１以上の成分と、を選択する選択手段と、
    前記第１の１以上の成分の大きさが閾値レベル未満であるか否かを判定する判定手段と、
    前記第２の１以上の成分に基づいて、色抑圧処理の強度を決定する決定手段と、
    前記第１の１以上の成分の大きさが前記閾値レベル未満である場合に、前記決定された強度で前記画像信号に対して色抑圧処理を行う画像処理手段と、
    を備えることを特徴とする画像処理装置。
13. 前記選択手段は、前記第１の１以上の成分として、前記ＲＧＢ成分のうちの最小値成分を選択する
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記判定手段は、前記最小値成分の値が第１の閾値未満である場合に、前記第１の１以上の成分の大きさが前記閾値レベル未満であると判定する
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記選択手段は、前記第２の１以上の成分として、前記ＲＧＢ成分のうちの中間値成分及び前記最大値成分を選択する
    ことを特徴とする請求項１３又は１４に記載の画像処理装置。
16. 前記決定手段は、前記最大値成分及び前記中間値成分を第１の比率で加算した値に基づいて、前記色抑圧処理の前記強度を決定する
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記決定手段は、前記最大値成分及び前記中間値成分を前記第１の比率で加算した前記値が大きいほど、前記色抑圧処理の前記強度を強くする
    ことを特徴とする請求項１６に記載の画像処理装置。
18. 前記選択手段は、前記第１の１以上の成分として、前記ＲＧＢ成分のうちの、前記最大値成分を除く、第２の閾値未満の値を持つ成分を選択し、
    前記判定手段は、前記第１の１以上の成分の平均値が第１の閾値未満である場合に、前記第１の１以上の成分の大きさが前記閾値レベル未満であると判定する
    ことを特徴とする請求項１２に記載の画像処理装置。
19. 前記選択手段は、前記第２の１以上の成分として、前記ＲＧＢ成分のうちの前記最大値成分を選択する
    ことを特徴とする請求項１２乃至１４及び１８のいずれか１項に記載の画像処理装置。
20. 前記第１の１以上の成分の大きさが前記閾値レベル未満である場合に、前記決定された強度が強いほど前記画像信号の輝度成分の値が大きくなるように、前記輝度成分を補正する輝度補正手段を更に備える
    ことを特徴とする請求項１２乃至１９のいずれか１項に記載の画像処理装置。
21. 前記画像信号の輝度成分を補正する輝度補正手段を更に備え、
    前記決定手段は、前記輝度成分の補正による前記輝度成分の値の低下量が大きいほど、前記色抑圧処理の前記強度を強くする
    ことを特徴とする請求項１２乃至１９のいずれか１項に記載の画像処理装置。
22. 画像処理装置が実行する画像処理方法であって、
    画像信号のＲＧＢ成分から、前記ＲＧＢ成分のうちの最小値成分を含まない第１の１以上の成分と、前記第１の１以上の成分とは異なる第２の１以上の成分と、を選択する選択工程と、
    前記第１の１以上の成分の大きさが閾値レベル以上であるか否かを判定する判定工程と、
    前記第２の１以上の成分に基づいて、色抑圧処理の強度を決定する決定工程と、
    前記第１の１以上の成分の大きさが前記閾値レベル以上である場合に、前記決定された強度で前記画像信号に対して色抑圧処理を行う画像処理工程と、
    を備えることを特徴とする画像処理方法。
23. 画像処理装置が実行する画像処理方法であって、
    画像信号のＲＧＢ成分から、前記ＲＧＢ成分のうちの最大値成分を含まない第１の１以上の成分と、前記第１の１以上の成分とは異なる第２の１以上の成分と、を選択する選択工程と、
    前記第１の１以上の成分の大きさが閾値レベル未満であるか否かを判定する判定工程と、
    前記第２の１以上の成分に基づいて、色抑圧処理の強度を決定する決定工程と、
    前記第１の１以上の成分の大きさが前記閾値レベル未満である場合に、前記決定された強度で前記画像信号に対して色抑圧処理を行う画像処理工程と、
    を備えることを特徴とする画像処理方法。
24. コンピュータを、請求項１乃至２１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images