JP5369751B2 - 画像処理装置、撮像装置、画像処理プログラム - Google Patents

Description

本発明は、互いに異なる２つの視環境の間での画像の見えを一致させる見え変換処理に関する。

従来、互いに異なる２つの視環境の間での画像の見えが一致するように、その画像へ見え変換処理を施す技術が種々提案されている。特に、ＣＩＥＣＡＭ９７ｓやＣＩＥＣＡＭ０２に代表される見えモデルを利用した見え変換処理は、引用文献１、２、３などに開示されている。これら見え変換処理の変換式は、色票に対するヒトの知覚の実験データに基づいている（特許文献１〜５等を参照）。

しかしながら、実際にカメラで撮影された画像に対して従来の見え変換処理を施してみると、ユーザーの期待した見えにできないことのあることが判明した。

そこで本発明は、変換の対象がカメラで撮影された画像であったとしても適切な見え変換処理を行うことのできる画像処理装置、撮像装置、画像処理プログラムを提供することを目的とする。

本発明の画像処理装置は、第１の視環境下で観察される撮影画像に対して見え変換処理を施すことにより、１の視環境とは異なる第２の視環境下での撮影画像の見えを、第１の視環境下での撮影画像の見えと同じにする変換手段と、前記撮影画像から被写体の存在する被写体領域を検出すると共に、前記被写体領域に存在する被写体の被写体属性を検出する検出手段と、見え変換処理のパラメータを前記撮影画像内の前記被写体領域ごと、かつ前記被写体属性ごとに設定する設定手段とを備えたものである。

なお、見え変換処理には、色順応変換処理が含まれ、設定されるパラメータには、色順応変換処理で使用される順応度のパラメータが含まれてもよい。

また、設定手段は、被写体属性が非人工物であった場合には、被写体属性が人工物であった場合と比較して順応度を高めに設定してもよい。

また、設定手段は、被写体属性が食物であった場合には、順応度を最高値に設定してもよい。

また、見え変換処理には、彩度変換処理が含まれ、設定手段が設定するパラメータには、彩度変換処理で使用される彩度ゲインのパラメータが含まれてもよい。

また、設定手段は、被写体属性が人物であった場合には、被写体属性が人物以外であった場合と比較して彩度ゲインを低めに設定してもよい。

また、設定手段は、被写体属性が屋外の物体であった場合には、被写体属性が室内の物体であった場合と比較して彩度ゲインを高めに設定してもよい。

また、見え変換処理には、コントラスト変換処理が含まれ、設定手段が設定するパラメータには、コントラスト変換処理で使用されるコントラスト関数のパラメータが含まれてもよい。

また、設定手段は、被写体属性が室内の物体であった場合には、被写体属性が屋外の物体であった場合と比較してコントラスト関数を高めに設定してもよい。

また、本発明の画像処理装置は、第１の視環境下で観察される撮影画像に対して見え変換処理を施すことにより、前記第１の視環境とは異なる第２の視環境下での前記撮影画像の見えを、前記第１の視環境下での前記撮影画像の見えと同じにする変換手段と、前記撮影画像から被写体の存在する被写体領域を検出すると共に、前記被写体領域に存在する被写体の被写体属性を検出する検出手段と、前記被写体属性が食物であった場合には、前記見え変換処理の順応度パラメータを、前記第１の視環境及び前記第２の視環境に拘わらず、最高値に設定する設定手段とを備える。

また、本発明の撮像装置は、被写体の像を撮像して画像を生成する撮像手段と、本発明の何れかの画像処理装置とを備えたものである。

また、本発明の画像処理プログラムは、第１の視環境下で観察される撮影画像に対して見え変換処理を施すことにより、１の視環境とは異なる第２の視環境下での撮影画像の見えを、第１の視環境下での画像の見えと同じにする変換手順と、前記撮影画像から被写体の存在する被写体領域を検出すると共に、前記被写体領域に存在する被写体の被写体属性を検出する検出手順と、見え変換処理のパラメータを、前記撮影画像内の前記被写体領域ごと、かつ前記被写体属性ごとに設定する設定手順とをコンピュータに実行させるものである。

また、本発明の画像処理プログラムは、第１の視環境下で観察される撮影画像に対して見え変換処理を施すことにより、前記第１の視環境とは異なる第２の視環境下での前記撮影画像の見えを、前記第１の視環境下での前記撮影画像の見えと同じにする変換手順と、前記撮影画像から被写体の存在する被写体領域を検出すると共に、前記被写体領域に存在する被写体の被写体属性を検出する検出手順と、前記被写体属性が食物であった場合には、前記見え変換処理の順応度パラメータを、前記第１の視環境及び前記第２の視環境に拘わらず、最高値に設定する設定手順とをコンピュータに実行させる。

本発明によると、変換の対象がカメラで撮影された画像であったとしても適切な見え変換処理を行うことのできる画像処理装置、撮像装置、画像処理プログラムが実現する。

電子カメラの概略構成を示すブロック図 ＣＰＵ１８による見え変換処理を説明するフローチャート 領域分割を説明する図

［実施形態］
以下、本発明の一の実施形態を説明する。図１は、電子カメラの概略構成を示すブロック図である。図１に示すとおり、電子カメラ１１は、撮像光学系１２と、レンズ駆動部１３と、絞り１４と、絞り駆動部１５と、カラーの撮像素子１６と、ＡＦＥ１７と、ＣＰＵ１８と、第１メモリ１９と、第２メモリ２０と、メディアＩ／Ｆ２１と、通信Ｉ／Ｆ２２と、モニタ２３と、レリーズ釦２４と、測光センサ３０と、環境センサ３１とを有している。ここで、レンズ駆動部１３、絞り駆動部１５、ＡＦＥ１７、第１メモリ１９、第２メモリ２０、メディアＩ／Ｆ２１、通信Ｉ／Ｆ２２、モニタ２３、レリーズ釦２４、測光センサ３０、環境センサ３１は、それぞれＣＰＵ１８と接続されている。

撮像光学系１２は、フォーカシングレンズを含む複数のレンズで構成されている。撮像光学系１２の焦点位置は、レンズ駆動部１３によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１２を１枚のレンズとして図示する。また、絞り１４は、撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１４の開口量は、ＣＰＵ１８からの指示に応じて絞り駆動部１５が調整する。

撮像素子１６は、撮影時、撮像光学系１２が形成する被写体像を撮像して撮像画像の画像信号を生成する。この撮像素子１６から出力された画像信号はＡＦＥ１７に入力される。

ＡＦＥ１７は、撮像素子１６から出力される画像信号に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ信号処理には、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換などが含まれる。このＡＦＥ１７から出力されたデジタルの画像信号はＣＰＵ１８に入力される。

ＣＰＵ１８は、電子カメラ１１の動作を統括的に制御するプロセッサである。また、ＣＰＵ１８は、撮影時、Ａ／Ｄ変換後の画像信号に対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す画像処理部２５として機能する。なお、ＣＰＵ１８は、画像処理部２５による全ての画像処理が施された撮像画像のデータ（通常形式の撮像画像データ）と、画像処理部２５による色補間処理のみが施された撮像画像のデータ（ＲＡＷ形式の撮像画像データ）との双方を取得する。

また、ＣＰＵ１８は、撮像画像に対してパターンマッチングなどの認識処理を施す認識処理部２６として機能する。

また、ＣＰＵ１８は、画像処理部２５及び認識処理部２６を利用し、記憶媒体２８に書き込まれたＲＡＷ形式の撮像画像データに対して見え変換処理を施すことができる。見え変換処理の詳細は、後述する。

第１メモリ１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、ＣＰＵ１８による画像処理の前工程や後工程で撮像画像を一時的に記憶する。また、第２メモリ２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２０には、ＣＰＵ１８によって実行されるプログラムが記憶される。

メディアＩ／Ｆ２１は、不揮発性の記憶媒体２８を着脱可能に接続できる。また、メデイアＩ／Ｆ２１は、記憶媒体２８に対し、画像処理後の撮像画像のデータ（ここでは、通常形式の撮像画像データ及びＲＡＷ形式の撮像画像データ）を書き込んだり、記憶媒体２８から撮像画像のデータ（ここでは、通常形式の撮像画像データ及びＲＡＷ形式の撮像画像データ）を読み込んだりする。

記憶媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１に示したのは、記憶媒体２８の一例としてのメモリカードである。

通信Ｉ／Ｆ２２は、有線または無線の公知の通信回線を介して接続された外部装置とのデータ送受信を、所定の通信規格に準拠して制御する。

モニタ２３は、ＣＰＵ１８の制御下で、記憶媒体２８に書き込まれた撮像画像の再生表示を行う。モニタ２３の表示輝度、表示色バランスの各々は、ユーザーによって任意に設定することが可能であり、ユーザーによるモニタ２３の設定内容は、ＣＰＵ１８によって適宜に検出される。

測光センサ３０は、撮影時、電子カメラの被写界の明るさ（撮影シーンの明るさ）を検出し、その明るさを示す信号（被写界測光値）をＣＰＵ１８へ送出する。この被写界測光値は、撮影で取得された撮像画像のデータ（ここでは、通常形式の撮像画像データ及びＲＡＷ形式の撮像画像データ）と共に、撮像画像データの付加情報として記憶媒体２８へ書き込まれる。

環境センサ３１は、撮影時、電子カメラの周囲の明るさ（ユーザーの周囲の明るさ）を検出し、その明るさを示す信号（環境測光値）をＣＰＵ１８へ送出する。この環境測光値は、撮像で取得された撮像画像のデータ（ここでは、通常形式の撮像画像データ及びＲＡＷ形式の撮像画像データ）と共に、撮像画像データの付加情報として記憶媒体２８へ書き込まれる。

操作釦２４は、撮影時、ＡＦ動作開始の指示入力と、撮像動作開始の指示入力とをユーザーから受け付ける。また、操作釦２４は、撮像画像に関する見え変換処理の開始指示をユーザーから受け付ける。また、見え変換処理に当たり、操作釦２４は、その見え変換処理に必要な情報の入力をユーザーから受け付ける。なお、見え変換処理に必要な情報には、見た側の視環境条件（入力側の視環境条件）と、見せる側の視環境条件（出力側の視環境条件）とがある。

ここで、本実施形態の見え変換処理は、「ユーザーが過去に或る視環境下で撮影した撮像画像を、別の或る視環境下でモニタ２３に再生表示させるときに、撮影時に感じた被写界の見えと同じに見せるための見え変換処理」であると仮定する。この場合、入力側の視環境条件（撮影時における視環境条件）と、出力側の視環境条件（再生時における視環境条件）との双方を電子カメラが自動取得することができる。

そこで本実施形態では、入力側の視環境条件及び出力側の視環境条件の双方を電子カメラが自動取得することとする。

図２は、ＣＰＵ１８による見え変換処理を説明するフローチャートである。なお、この見え変換処理は、撮像画像の再生表示中に見え変換処理の開始指示が入力されたときに、ＣＰＵ１８がプログラムに従って実行する。また、ここでは、見え変換処理の見えモデル（視環境に依存しない色の見えモデル）として、ＣＩＥＣＡＭ０２が使用されるものとする。

ステップＳ１１：ＣＰＵ１８は、再生表示中の撮像画像に関するＲＡＷ形式の撮像画像データと、その撮像画像の付加情報（被写界測光値及び環境測光値）とを記憶媒体２８から読み出し、その撮像画像データ及び付加情報に基づき、入力側の視環境条件、すなわち、入力側の順応白色点（Ｘ_ｗｉ、Ｙ_ｗｉ、Ｚ_ｗｉ）、入力側の順応輝度Ｌａ_ｉ、入力側の周囲条件Ｆ_ｉを算出する。

また、ＣＰＵ１８は、現時点におけるモニタ２３の設定内容（表示輝度及び表示色バランス）と、現時点で環境センサ３１が検出する環境測光値とを参照し、その設定内容（表示輝度及び表示色バランス）及び環境測光値に基づき、出力側の視環境条件、すなわち出力側の順応白色点（Ｘ_ｗｏ、Ｙ_ｗｏ、Ｚ_ｗｏ）、出力側の順応輝度Ｌａ_ｏ、出力側の周囲条件Ｆ_ｏを算出する。

ここで、順応白色点（Ｘ_ｗｉ、Ｙ_ｗｉ、Ｚ_ｗｉ）、順応輝度Ｌａ_ｉ、周囲条件Ｆ_ｉ、順応白色点（Ｘ_ｗｏ、Ｙ_ｗｏ、Ｚ_ｗｏ）、順応輝度Ｌａ_ｏ、周囲条件Ｆ_ｏは、それぞれ以下のとおり定義される。

・順応白色点（Ｘ_ｗｉ、Ｙ_ｗｉ、Ｚ_ｗｉ）…撮影時における被写界の光源色である。その光源色は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）に基づき推定される。なお、その推定には、カメラのオートホワイトバランス制御に採用される公知の何れかの光源判定方法を採用することができる。

・順応輝度Ｌａ_ｉ…撮影時における被写界の明るさである。ここでは、撮像画像に付加された被写界測光値のうち、前述した順応白色点（Ｘ_ｗｉ、Ｙ_ｗｉ、Ｚ_ｗｉ）に対応する部分の被写界測光値の１／５倍とする。

・周囲条件Ｆ_ｉ…撮影時におけるユーザーの周囲の明るさである。ここでは、撮像画像に付加された環境測光値とする。

・順応白色点（Ｘ_ｗｏ、Ｙ_ｗｏ、Ｚ_ｗｏ）…再生時にモニタ２３が白として表示する色である。ここでは、現時点でモニタ２３に設定されている表示色バランスとする。

・順応輝度Ｌａ_ｏ…再生時におけるモニタ２３の明るさである。ここでは、現時点でモニタ２３に設定されている表示輝度の１／５倍とする。

・周囲条件Ｆ_ｏ…再生時におけるユーザーの周囲の明るさである。ここでは、現時点で環境センサ３１が検出する環境測光値とする。

ステップＳ１２：ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａ_ｉ及び周囲条件Ｆ_ｉを式（１）へ当てはめることにより、入力側の視環境に対するヒトの順応度Ｄ_ｉを算出する。但し、ここで算出される順応度Ｄ_ｉは暫定値であって、後で補正される可能性がある。

因みに、式（１）で算出される順応度Ｄ_ｉは、従来の見え変換処理おける入力側の色順応変換処理で使用されていた順応度と同じである。

また、ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａ_ｏ及び周囲条件Ｆ_ｏを式（２）へ当てはめることにより、出力側の視環境に対するヒトの順応度Ｄ_ｏを算出する。但し、ここで算出される順応度Ｄ_ｏは暫定値であって、後で補正される可能性がある。

因みに、式（２）で算出される順応度Ｄ_ｏは、従来の見え変換処理における出力側の色順応変換処理（色順応逆変換処理）で使用されていた順応度と同じである。

また、ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａ_ｉ、Ｌａ_ｏを式（３）へ当てはめることにより、彩度変換処理で使用されるべき彩度ゲインＧを算出する。但し、ここで算出される彩度ゲインＧは暫定値であって、後で補正される可能性がある。

因みに、式（３）で算出される彩度ゲインＧは、従来の見え変換処理における彩度変換処理で使用されていた彩度ゲインと同じである。

また、ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａ_ｉ及び周囲条件Ｆ_ｉを所定の式に当てはめることにより、式（４）で表されるコントラスト関数Ｔを算出する。但し、ここで算出されるコントラスト関数Ｔは暫定の関数であって、後で補正される可能性がある。

因みに、式（４）のコントラスト関数Ｔは、従来の見え変換処理において入力側のコントラスト変換処理で使用されていたコントラスト関数と同じである。

また、ＣＰＵ１８は、ステップＳ１１で算出した順応輝度Ｌａ_ｏ及び周囲条件Ｆ_ｏを所定の式に当てはめることにより、式（５）で表されるコントラスト関数Ｔ^−１を算出する。但し、ここで算出されるコントラスト関数Ｔ^−１は、暫定の関数であって、後で補正される可能性がある。

なお、式（５）のコントラスト関数Ｔ^−１は、従来の見え変換処理において出力側のコントラスト変換処理（コントラスト逆変換処理）で使用されていたコントラスト関数と同じである。

ステップＳ１３：ＣＰＵ１８は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）に対して被写体抽出処理を施し、その撮像画像を１又は複数の被写体領域と背景領域とに領域分割し、分割後の領域数Ｎを認識すると共に、それらＮ個の領域に対して１〜Ｎの値を有した領域ラベルを個別に付与する。

なお、本ステップにおける領域分割には、特許文献４、５に記載された領域分割方法や、グラフカット理論に基づく領域分割方法の少なくとも１つを採用することができる。

例えば、図３（Ａ）に示すとおり撮像画像中に、人物からなる第１の被写体４１と、大根（食物の一種である。）からなる第２の被写体４２と、トラック（人工物の一種である。）からなる第３の被写体４３とが存在していたとすると、図３（Ｂ）に示すとおり、撮像画像は、第１の被写体（人物）の存在領域Ａ１と、第２の被写体（大根）の存在領域Ａ２と、第３の被写体（トラック）の存在領域Ａ３と、背景の領域Ａ４とに分割される。この場合、領域数Ｎは４となる。また、例えば、領域Ａ１に付与された領域ラベルの値が１となり、領域Ａ２に付与された領域ラベルの値が２となり、領域Ａ３に付与された領域ラベルの値が３となり、領域Ａ４に付与された領域ラベルの値が４となる。

ステップＳ１４：ＣＰＵ１８は、処理対象となる領域ラベルＬ（以下、「処理対象ラベルＬ」と称す。）の値を初期値（１）に設定する。

ステップＳ１５：ＣＰＵ１８は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）のうち、処理対象ラベルＬに対応する領域（例えば、処理対象ラベルＬの値が１であったならば人物の領域Ａ１）へパターン認識処理を施すことにより、その領域に存在する物体が食物、人物、それ以外の何れに属するかを判別する。そして、ＣＰＵ１８は、その物体が食物であった場合にはステップＳ１７へ移行し、その物体が人物であった場合にはステップＳ１８へ移行し、その物体が食物でも人物でもなかった場合にはステップＳ１６へ移行する。

ステップＳ１６：ＣＰＵ１８は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）のうち、処理対象ラベルＬに対応する領域に対して光源判定処理を施すことにより、その領域に存在する物体を撮影時に照明していた光源の種類を判別し、その光源が自然光と人工光との何れであるかを判別する。なお、このような光源判定方法には、カメラのオートホワイトバランス制御に採用される公知の何れかの光源判定方法を適用することができる。

そして、ＣＰＵ１９は、その光源が自然光であった場合（すなわち物体が屋外の物体であったとき）にはステップＳ２０へ移行し、その光源の種類が人工光であった場合（すなわち物体が室内の物体であったとき）にはステップＳ２１へ移行する。また、光源の種類を判定することができなかった場合（光源色が自然光と人工光との混合色であった場合など）にはステップＳ２２へ移行する。

ステップＳ１７：ＣＰＵ１８は、ステップＳ１２における算出結果に関わらず順応度Ｄ_ｉ、Ｄ_ｏの各々を最高値（すなわち１）に置換し、ステップＳ２２へ移行する。

ステップＳ１８：ＣＰＵ１８は、順応度Ｄ_ｉ、Ｄ_ｏを以下の式（６）により補正する。

但し、本ステップにおける補正係数Ｃｄは、順応度Ｄ_ｉ、Ｄ_ｏを増加させるための係数、例えば１．１に設定される。また、補正により順応度Ｄ_ｉ、Ｄ_ｏの何れかが１を超過した場合には、その補正結果に関わらず１に置換される。その後、ＣＰＵ１８は、ステップＳ１９へ移行する。

ステップＳ１９：ＣＰＵ１８は、彩度ゲインＧが１を超過しているか否かを判別し、彩度ゲインＧが１を超過していた場合にのみ、彩度ゲインＧを以下の式（７）により補正する。

但し、本ステップにおける補正係数Ｍｄは、彩度ゲインＧを抑えるための係数、例えば０．９に設定される。その後、ＣＰＵ１８は、ステップＳ２２へ移行する。

ステップＳ２０：ＣＰＵ１８は、彩度ゲインＧを上記した式（７）により補正する。但し、本ステップにおける補正係数Ｍｄは、彩度ゲインＧを増加させるための係数、例えば１．１に設定される。その後、ＣＰＵ１８は、ステップＳ２２へ移行する。

ステップＳ２１：ＣＰＵ１８は、コントラスト関数Ｔ、Ｔ^−１を、以下の式（８）により補正する。

但し、本ステップにおける補正係数Ｔｄは、コントラスト関数Ｔ、Ｔ^−１を増加させるための係数、例えば１．１に設定される。その後、ＣＰＵ１８は、ステップＳ２２へ移行する。

ステップＳ２２：ＣＰＵ１８は、再生表示中の撮像画像（ＲＡＷ形式の撮像画像データ）のうち処理対象ラベルＬに対応する領域に対し、順応度Ｄ_ｉ、Ｄ_ｏ、彩度ゲインＧ、コントラスト関数Ｔ、Ｔ^−１を使用した見え変換処理を施す。見え変換処理の手順は、以下の（ａ）〜（ｇ）である。

（ａ）ＣＰＵ１８は、処理対象ラベルＬに対応する領域中の各画素の色を、それぞれＸＹＺ色空間上の座標（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）で表す。

（ｂ）ＣＰＵ１８は、ステップＳ１で算出した順応白色点（Ｘ_ｗｉ、Ｙ_ｗｉ、Ｚ_ｗｉ）と、現時点における順応度Ｄ_ｉとを式（９）へ当てはめることにより、座標（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）から色順応変換後の座標（Ｘ_ｉ’、Ｙ_ｉ’、Ｚ_ｉ’）への変換式を取得する。

但し、式（９）における（Ｘ_ｗｒ、Ｙ_ｗｒ、Ｚ_ｗｒ）は、ＣＩＥＣＡＭ０２色空間の白色点（参照白色点）であり、式（９）におけるマトリクスＭ_{ｃａｔ０２}は、ＣＩＥＣＡＭ０２で規定される既知のマトリクスである。

（ｃ）ＣＰＵ１８は、（ｂ）で取得した変換式により各画素の座標（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）を色順応変換後の座標（Ｘ_ｉ’、Ｙ_ｉ’、Ｚ_ｉ’）へと変換する。

（ｄ）ＣＰＵ１８は、色順応変換後の座標（Ｘ_ｉ’、Ｙ_ｉ’、Ｚ_ｉ’）に対し、コントラスト関数Ｔによる入力側のコントラスト変換処理（具体的には、コントラスト変換処理を含む、視覚の非線形性に対応した変換処理）を施すことにより、コントラスト変換後の座標（Ｊ、Ｃ_ｉ、ｈ）を取得する。なお、Ｊは明度成分、Ｃ_ｉは彩度成分、ｈは色相成分である。

（ｅ）ＣＰＵ１８は、座標（Ｊ、Ｃ_ｉ、ｈ）の彩度成分Ｃ_ｉに対して彩度ゲインＧを乗算することにより、彩度変換後の座標（Ｊ、Ｃ_ｏ、ｈ）を取得する。なお、この彩度調整を式にすると、Ｃ_ｏ＝Ｃ_ｉＧとなる。

（ｆ）ＣＰＵ１８は、彩度変換後の座標（Ｊ、Ｃ_ｏ、ｈ）に対し、コントラスト関数Ｔ^−１による出力側のコントラスト変換処理（コントラスト逆変換処理）を施すことにより、コントラスト逆変換後の座標（Ｘ_ｏ、Ｙ_ｏ、Ｚ_ｏ）を取得する。

（ｇ）ＣＰＵ１８は、コントラスト逆変換後の座標（Ｘ_ｏ、Ｙ_ｏ、Ｚ_ｏ）に対して、出力側の色順応変換処理（色順応逆変換処理）を施すことにより、色順応逆変換後の座標（Ｘ_ｏ’、Ｙ_ｏ’、Ｚ_ｏ’）を取得する。この座標（Ｘ_ｏ’、Ｙ_ｏ’、Ｚ_ｏ’）が、見え変換後の座標である。

なお、この色順応逆変換処理で使用される変換式は、式（９）で表される変換式の逆変換式において、順応度Ｄ_ｉの代わりに順応度Ｄ_ｏを当てはめ、かつ順応白色点（Ｘ_ｗｉ、Ｙ_ｗｉ、Ｚ_ｗｉ）の代わりに順応白色点（Ｘ_ｗｏ、Ｙ_ｗｏ、Ｚ_ｗｏ）を当てはめたものに相当する（以上、ステップＳ２２）。

ステップＳ２３：ＣＰＵ１８は、処理対象ラベルＬの値が領域数Ｎに達したか否かを判別し、達していなかった場合にはステップＳ２４へ移行し、達した場合にはステップＳ２５へ移行する。

ステップＳ２４：ＣＰＵ１８は、処理対象ラベルＬの値を１だけインクリメントしてから、ステップＳ１５へ戻る。

ステップＳ２５：ＣＰＵ１８は、見え変換後の座標（Ｘ_ｏ’、Ｙ_ｏ’、Ｚ_ｏ’）に対して出力機器向けの画像処理（ここでは、モニタ２３向けの画像処理であって、モニタ２３の出力特性に合わせた色域マッピングなどを含む画像処理）を施す。なお、この画像処理には、ユーザーの嗜好に合わせるための画像処理が含まれてもよい。そして、ＣＰＵ１８は、その画像処理後の撮像画像を、再生表示中の撮像画像に代えてモニタ２３へ表示する。その後、ユーザーから保存指示が入力されると、ＣＰＵ１８は、その画像処理後の撮像画像を、ＲＡＷ形式の撮像画像データと共に記憶媒体２８へ書き込み、フローを終了する。

以上、本実施形態の見え変換処理では、撮像画像中に存在する被写体の種類に応じてＣＰＵ１８が見え変換処理のパラメータを設定する（ステップＳ１５〜Ｓ１９）。

具体的に、本実施形態のＣＰＵ１８は、被写体が非人工物であった場合の順応度Ｄを、被写体が人工物であった場合の順応度Ｄと比較して高めに計上する（ステップＳ１７、Ｓ１８）。

ヒトは、被写体が非人工物（人物や食物）であるか否かで、同じ色であったとしても異なる色に感じる可能性があると考えられる。例えば、ヒトが全く同じ色のバナナとカップとを同じ光源下（例えば白熱灯下）で観察したとしても、非人工物であるバナナについては実際の色を良く知っているので光源による色付き（白熱灯ならばオレンジ色）を頭の中で完全に除去する（良く順応する）が、人工物であるカップについては実際の色を知らないことが多いので光源による色付き（白熱灯ならばオレンジ色）を頭の中であまり除去しない（あまり順応しない）と考えられる。

そこで、本実施形態の見え変換処理のように、被写体が非人工物（人物や食物）であった場合の順応度Ｄを被写体が人工物であった場合の順応度Ｄよりも高めに計上すれば、被写体が非人工物であるか否かに拘わらずユーザーの期待どおりの良好な画像再現を行うことができる。

因みに、従来の見え変換処理は、色票（すなわち人工物）に対するヒトの知覚にしか基づいていないので、人工物であるカップについてはユーザーが期待したとおりの良好な画像再現を行うことができるものの、非人工物であるバナナについてはユーザーが期待したとおりの良好な画像再現を行うことはできなかった。

また、本実施形態のＣＰＵ１８は、被写体が食物であった場合の順応度Ｄを最高値（すなわち１）に設定する（ステップＳ１７）。

ヒトは、食物の色を特に良く記憶していると考えられるので、この設定によれば、食物の画像再現をユーザーの期待に近づけることができると考えられる。

また、本実施形態のＣＰＵ１８は、被写体が人物であった場合に彩度ゲインＧが著しく高くならないように制御する（ステップＳ１９）。

ヒトは、通常、モノを暗いところから明るいところへ移動させたときに彩度感が増すという特性を有しているので、彩度ゲインＧによる彩度変換が有効だが、人肌に限っては、過去の記憶の影響で、さほど彩度感が増さないと考えられる。

そこで、本実施形態のように、被写体が人物であった場合に彩度ゲインＧが著しく高くならないように制御すれば、人物の画像再現がユーザーの期待から外れる可能性は低くなると考えられる。

また、本実施形態のＣＰＵ１８は、被写体が屋外の物体であった場合の彩度ゲインＧを、被写体が室内の物体であった場合の彩度ゲインＧより高めに計上する（ステップＳ２０）。

ヒトは、通常、モノを暗いところから明るいところへ移動させたときに彩度感が増すという特性を有しているので、彩度ゲインＧによる彩度変換が有効だが、被写体が屋外の物体であった場合には特に彩度感の向上量が顕著になると考えられる。

したがって、本実施形態のように、被写体が屋外の物体であった場合の彩度ゲインＧを高めに計上すれば、屋外の物体の画像再現をユーザーの期待に近づけることができると考えられる。

また、本実施形態のＣＰＵ１８は、被写体が室内の物体であった場合のコントラスト関数Ｔを、被写体が屋外の物体であった場合のコントラスト関数Ｔより高めに計上する（ステップＳ２１）。

ヒトは、通常、モノを暗いところで見るときにはコントラスト感が増すという特性を有しているので、コントラスト関数Ｔによるコントラスト変換が有効だが、被写体が室内の物体であった場合にはコントラスト感の向上量が特に顕著と考えられる。

したがって、本実施形態のように、被写体が室内の物体であった場合のコントラスト関数Ｔを高めに計上すれば、室内の物体の画像再現をユーザーの期待に近づけることができると考えられる。

また、本実施形態のＣＰＵ１８は、見え変換処理のパラメータ設定を、画像毎に行うのではなく、画像中に存在する物体毎（つまり領域毎）に行う。したがって、本実施形態では画像中に存在する全ての物体の画像再現をユーザーの期待に近づけることができる。

［変形例］
なお、本実施形態のＣＰＵ１８は、色の見えモデルとしてＣＩＥＣＡＭ０２を使用したが、ＣＩＥＣＡＭ９７ｓなどの他の見えモデルを使用してもよい。

また、本実施形態のＣＰＵ１８は、見え変換処理のパラメータ設定を、撮像画像中に存在する被写体の種類に応じて行ったが、電子カメラの撮影シーンの種類に応じて行ってもよい。例えば、撮影シーンが夏の風景であった場合のコントラスト関数Ｔ及び彩度ゲインＧを、撮影シーンが他の風景であった場合のコントラスト関数Ｔ及び彩度ゲインＧより大きめに計上してもよい（つまり補正係数Ｔｄ、Ｍｄを１以上にしてもよい）。また、例えば撮影シーンが記者会見の風景であった場合の順応度Ｄを、撮影シーンが他の風景であった場合の順応度Ｄより大きめに計上してもよい（つまり補正係数Ｃｄを１に近づけてもよい）。

また、本実施形態の電子カメラでは、撮像画像に対して見え変換処理を施すタイミングが撮像画像の再生時であったが、他のタイミング、例えば撮像画像の撮影時であってもよい。

但し、見え変換処理のタイミングを撮像画像の非再生時とする場合は、出力側の視環境条件を電子カメラが自動取得することができないので、ユーザーに入力させる必要がある。この場合、ユーザーは、どのような視環境条件で撮像画像の再生を行おうとしているかを電子カメラへ入力することになる。

また、本実施形態の見え変換処理では、入力側の視環境条件を、撮影時における視環境条件とし、出力側の視環境条件を、再生時における視環境条件としたが、入力側の視環境条件を、或る再生時における視環境条件とし、出力側の視環境条件を、別の再生時における視環境条件としてもよい。その場合の見え変換処理は、「ユーザーが或る視環境下でモニタ２３に再生表示した撮像画像を、別の或る視環境下でモニタ２３に再生表示させるときに、最初の再生時における見えと同じに見せるための見え変換処理」となる。

また、本実施形態の見え変換処理は、入力側の視環境条件と出力側の視環境条件との双方が、電子カメラの使用時における視環境条件であったが、入力側の視環境条件と出力側の視環境条件との少なくとも一方を、電子カメラの非使用時における視環境条件としてもよい。例えば、出力側の視環境条件を、コンピュータのモニタ上で撮像画像を観察するときの視環境条件としてもよい。また、出力側の視環境条件を、プリント上で撮像画像を観察するときの視環境条件としてもよい。但し、何れの場合も、電子カメラが自動取得することのできない情報は、ユーザーが入力する必要がある。

また、本実施形態では、見え変換処理の全部を電子カメラが実行したが、見え変換処理の一部又は全部を、電子カメラ以外の画像処理装置、例えば、画像蓄積装置、プリンタ、コンピュータへインストールされる画像処理ソフトウエアなどが実行してもよい。

１１…電子カメラ、１２…撮像光学系、１３…レンズ駆動部、１４…絞り、１５…絞り駆動部、１６…撮像素子、１８…ＣＰＵ、２５…画像処理部、２６…認識処理部

特開２００６−１３５８８７号公報 特開２００６−２１１０９３号公報 特開２０００−１４８９７９号公報 特開平４−２７１４８３号公報 特開２００１−４３３７６号公報

Claims (13)

1. 第１の視環境下で観察される撮影画像に対して見え変換処理を施すことにより、前記第１の視環境とは異なる第２の視環境下での前記撮影画像の見えを、前記第１の視環境下での前記撮影画像の見えと同じにする変換手段と、
   前記撮影画像から被写体の存在する被写体領域を検出すると共に、前記被写体領域に存在する被写体の被写体属性を検出する検出手段と、
   前記見え変換処理のパラメータを、前記撮影画像内の前記被写体領域ごと、かつ前記被写体属性ごとに設定する設定手段と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記見え変換処理には、
   色順応変換処理が含まれ、
   前記設定されるパラメータには、
   前記色順応変換処理で使用される順応度のパラメータが含まれる
   ことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記設定手段は、
   前記被写体属性が非人工物であった場合には、前記被写体属性が人工物であった場合と比較して前記順応度を高めに設定する
   ことを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置において、
   前記設定手段は、
   前記被写体属性が食物であった場合には、前記順応度を最高値に設定する
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記見え変換処理には、
   彩度変換処理が含まれ、
   前記設定手段が設定するパラメータには、
   前記彩度変換処理で使用される彩度ゲインのパラメータが含まれる
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記設定手段は、
   前記被写体属性が人物であった場合には、前記被写体属性が人物以外であった場合と比較して前記彩度ゲインを低めに設定する
   ことを特徴とする画像処理装置。
7. 請求項５に記載の画像処理装置において、
   前記設定手段は、
   前記被写体属性が屋外の物体であった場合には、前記被写体属性が室内の物体であった場合と比較して前記彩度ゲインを高めに設定する
   ことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記見え変換処理には、
   コントラスト変換処理が含まれ、
   前記設定手段が設定するパラメータには、
   前記コントラスト変換処理で使用されるコントラスト関数のパラメータが含まれる
   ことを特徴とする画像処理装置。
9. 請求項８に記載の画像処理装置において、
   前記設定手段は、
   前記被写体属性が室内の物体であった場合には、前記被写体属性が屋外の物体であった場合と比較して前記コントラスト関数を高めに設定する
   ことを特徴とする画像処理装置。
10. 第１の視環境下で観察される撮影画像に対して見え変換処理を施すことにより、前記第１の視環境とは異なる第２の視環境下での前記撮影画像の見えを、前記第１の視環境下での前記撮影画像の見えと同じにする変換手段と、
    前記撮影画像から被写体の存在する被写体領域を検出すると共に、前記被写体領域に存在する被写体の被写体属性を検出する検出手段と、
    前記被写体属性が食物であった場合には、前記見え変換処理の順応度パラメータを、前記第１の視環境及び前記第２の視環境に拘わらず、最高値に設定する設定手段と
    を備えたことを特徴とする画像処理装置。
11. 被写体の像を撮像して画像を生成する撮像手段と、
    請求項１〜請求項１０の何れか一項に記載の画像処理装置と
    を備えたことを特徴とする撮像装置。
12. 第１の視環境下で観察される撮影画像に対して見え変換処理を施すことにより、前記第１の視環境とは異なる第２の視環境下での前記撮影画像の見えを、前記第１の視環境下での前記撮影画像の見えと同じにする変換手順と、
    前記撮影画像から被写体の存在する被写体領域を検出すると共に、前記被写体領域に存在する被写体の被写体属性を検出する検出手順と、
    前記見え変換処理のパラメータを、前記撮影画像内の前記被写体領域ごと、かつ前記被写体属性ごとに設定する設定手順と
    をコンピュータに実行させることを特徴とする画像処理プログラム。
13. 第１の視環境下で観察される撮影画像に対して見え変換処理を施すことにより、前記第１の視環境とは異なる第２の視環境下での前記撮影画像の見えを、前記第１の視環境下での前記撮影画像の見えと同じにする変換手順と、
    前記撮影画像から被写体の存在する被写体領域を検出すると共に、前記被写体領域に存在する被写体の被写体属性を検出する検出手順と、
    前記被写体属性が食物であった場合には、前記見え変換処理の順応度パラメータを、前記第１の視環境及び前記第２の視環境に拘わらず、最高値に設定する設定手順と
    をコンピュータに実行させることを特徴とする画像処理プログラム。

Images