JP2018098582A

JP2018098582A - 画像処理装置及び方法、及び撮像装置

Info

Publication number: JP2018098582A
Application number: JP2016239774A
Authority: JP
Inventors: 太田　誠; Makoto Ota; 誠太田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-12-09
Filing date: 2016-12-09
Publication date: 2018-06-21
Anticipated expiration: 2036-12-09
Also published as: JP6742231B2

Abstract

【課題】リライティングを行う箇所の解像感をできるだけ保持した状態でノイズを低減したリライティング処理を行うこと。【解決手段】入力画像の各画素の第１の画像信号に対して、平滑化処理を行って第２の画像信号を生成する平滑化処理部（３０４）と、各画素について、第２の画像信号から、仮想光源から照射された仮想的な光の反射成分である第３の画像信号を生成し、当該第３の画像信号と第１の画像信号とを加算する仮想光源付加処理部（３０３）と、を有し、平滑化処理部による平滑化処理を、第１の画像信号の信号レベル及び前記仮想的な光の強度の少なくともいずれか一方に基づいて制御する。【選択図】図３

Description

本発明は、画像処理装置及び方法、及び撮像装置に関し、特に入力された画像の明るさを補正する画像処理装置及び方法、及び撮像装置に関するものである。

従来、撮影後の画像中の被写体に対して、仮想的な光源からの光を照射し、リライティングを行う技術が知られている。これにより、環境光によって生じた影などの暗部領域を明るくし、好ましい画像を得ることが可能となる。

特許文献１には、撮影画像に対して疑似的なライティング処理を行うライティング処理手段について開示されている。具体的には、顔領域全体の平均輝度よりも低い輝度領域を影領域として抽出し、抽出した影領域の明度を上げる処理を行うことにより、被写体の影を抑えることができる。

特開２０１０−１３５９９６号公報

上記の特許文献１の方法では、ゲインアップで輝度を上げる事で影領域を低減させているが、ゲインアップすることによって輝度を上げた場合、ノイズ成分も増幅されてしまい、Ｓ／Ｎ比が悪くなってしまう。これを解決するために、特許文献１ではノイズ除去フィルタをかけているが、単純にノイズ除去処理を行ってしまうと、必要以上にノイズを落とすことによって、被写体の解像感も低下してしまう可能性がある。

本発明は上記問題点を鑑みてなされたものであり、リライティングを行う箇所の解像感をできるだけ保持した状態でノイズを低減したリライティング処理を行うことを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力画像の各画素の第１の画像信号に対して、平滑化処理を行って第２の画像信号を生成する平滑化手段と、前記各画素について、前記第２の画像信号から、仮想光源から照射された仮想的な光の反射成分である第３の画像信号を生成し、当該第３の画像信号と前記第１の画像信号とを加算する処理手段と、を有し、前記平滑化手段による平滑化処理を、前記第１の画像信号の信号レベル及び前記仮想的な光の強度の少なくともいずれか一方に基づいて制御することを特徴とする。

本発明によれば、リライティングを行う箇所の解像感をできるだけ保持した状態でノイズを低減したリライティング処理を行うことが可能となる。

本発明の実施形態におけるデジタルカメラの構成を示すブロック図。実施形態における画像処理部の構成を示すブロック図。実施形態におけるリライティング処理部の構成を示すブロック図。実施形態における、リライティング処理を示すフローチャート。実施形態における、被写体と仮想光との関係を示す図。実施形態における、ノイズ低減処理のパラメータ特性を説明する図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本実施形態では、画像処理装置として、本発明をデジタルカメラに適用した例について説明する。

図１は、本発明の実施形態におけるデジタルカメラの構成例を示すブロック図である。以下、図１を参照して、デジタルカメラ１００の構成及び基本動作について説明する。図１に示すデジタルカメラ１００において、ズームレンズ、フォーカスレンズを含むレンズ群１０１（撮像光学系）、及び、絞り機能を備えるシャッター１０２を介して入射した光は、撮像部１０３において光電変換される。撮像部１０３は、ＣＣＤやＣＭＯＳ素子などで構成され、光電変換により得られた電気信号は、画像信号としてＡ／Ｄ変換器１０４へ出力される。Ａ／Ｄ変換器１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号（画像データ）に変換し、画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、または、メモリ制御部１０７を介して画像メモリ１０６から読み出された画像データに対し、ホワイトバランス処理などの色変換処理、ガンマ処理、輪郭強調処理、色補正処理などの各種画像処理を行う。画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、画像処理部１０５から出力された画像データや、表示部１０９に表示するための画像データを格納する。

また、画像処理部１０５では、撮像した画像データを用いて所定の評価値算出処理を行い、得られた評価値に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用のデジタルの画像データをアナログ信号に変換して表示部１０９に供給する。表示部１０９は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。

コーデック部１１０は、画像メモリ１０６に格納された画像データをＪＰＥＧ、ＭＰＥＧなどの規格に基いてそれぞれ圧縮符号化する。システム制御部５０は符号化した画像データを、インタフェース（Ｉ／Ｆ）１１１を介して、メモリカードやハードディスク等の記録媒体１１２に格納する。

また、Ｉ／Ｆ１１１を介して記録媒体１１２から読み出された画像データをコーデック部１１０により復号して伸長し、画像メモリ１０６に格納する。そして、画像メモリ１０６に格納された画像データを、メモリ制御部１０７、Ｄ／Ａ変換器１０８を介して表示部１０９に表示することで、画像を再生表示することができる。

リライティング処理部１１３は、撮影された画像にリライティング処理（再照明処理）を行う。なお、リライティング処理部１１３により行われるリライティング処理については、詳細に後述する。

システム制御部５０はデジタルカメラ１００のシステム全体を制御する。不揮発性メモリ１２１は、ＥＥＰＲＯＭなどのメモリにより構成され、システム制御部５０の処理に必要なプログラムやパラメータなどを格納する。システムメモリ１２２はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読みだしたプログラム等を展開するために用いられる。操作部１２０は、ユーザによる操作を受け付ける。

なお、上記の基本動作以外に、システム制御部５０は、不揮発性メモリ１２１に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムの事である。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２１から読み出したプログラム等をシステムメモリ１２２に展開する。

図２は、画像処理部１０５の構成を示すブロック図である。以下、図２を参照して、画像処理部１０５における処理について説明する。なお、本実施形態では、撮像部１０３はベイヤー配列のカラーフィルタにより覆われているものとする。従って、撮像部１０３の各画素からはＲ、Ｇ、Ｂいずれかの画像信号が出力される。

図１のＡ／Ｄ変換器１０４から画像処理部１０５に入力された画像信号は、まず、図２の輝度・色信号生成部２００に入力される。輝度・色信号生成部２００は、入力されたＲ、Ｇ、Ｂの画像データに対して同時化処理を行い、各画素について色信号ＲＧＢを生成する。また、輝度・色信号生成部２００は、色信号ＲＧＢから輝度信号Ｙを生成し、生成した輝度信号Ｙを輪郭強調処理部２０１へ、色信号ＲＧＢをＷＢ増幅部２０３へ出力する。

輪郭強調処理部２０１では、輝度信号Ｙに対して輪郭強調処理を行い、輝度ガンマ処理部２０２へ出力する。輝度ガンマ処理部２０２では輝度信号Ｙに対してガンマ補正を行い、メモリ制御部１０７を介して輝度信号Ｙを画像メモリ１０６に出力する。

ＷＢ増幅部２０３は、後述する処理によりシステム制御部５０が算出するホワイトバランスゲイン値に基づき、生成された各画素の色信号ＲＧＢにゲインをかけ、ホワイトバランスを調整する。色変換処理部２０４は、ホワイトバランス調整を行った色信号ＲＧＢに、例えば、マトリクス演算を行って、所望のカラーバランスへ変換する。色ガンマ処理部２０５では、色信号ＲＧＢにガンマ補正を行う。色差信号生成部２０６では、ＲＧＢ信号から色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。

このようにして生成された輝度信号Ｙ及び色差信号Ｒ−Ｙ、Ｂ−Ｙ（画像データ）は、画像メモリ１０６に一旦記憶され、コーデック部１１０によって圧縮符号化され、記録媒体１１２に記録される。

次に、画像処理部１０５から出力された画像に対して、リライティング処理部１１３でリライティング処理を行う動作について説明する。なお、リライティング処理部１１３の動作に先立ち、システム制御部５０は、リライティング処理部１１３に設定する制御パラメータを計算し、リライティング処理部１１３へパラメータを設定する。

図４（ａ）は、リライティング処理時のシステム制御部５０の処理を示すフローチャートである。以下、図４（ａ）に従って、リライティング処理時の、システム制御部５０の動作について説明する。

Ｓ４０１では、操作部１２０に対するユーザからの操作を受信し、リライティング処理に必要なパラメータをリライティング処理部１１３へ設定する。具体的には、操作部１２０に対するユーザ操作によって、不図示のメニューからリライティング処理が選択され、リライティング処理のパラメータが入力される。

リライティング処理のパラメータとしては、一例として、画像内でリライティングを行う領域、すなわち、仮想光源から照射される仮想的な光の中心位置、及び、仮想光源強度（α）（仮想的な光の強度）、仮想的な光の色ゲイン（Ｒｖ＿Ｇａｉｎ、Ｂｖ＿Ｇａｉｎ）とする。なお、本発明はこれらのパラメータに限られるものではなく、例えば、仮想光源から被写体までの距離など、他のパラメータを追加的または上記パラメータに変えて用いてもよい。これらのパラメータをユーザが入力し、リライティング処理部１１３へ設定する。なお、パラメータの設定方法としては、例えば、任意の値をユーザが入力する方法でも、予め決められたパラメータセットの中から選択する方法でも良い。

リライティングを行う領域の中心位置と、仮想的な光の照射範囲の例を図５（ａ）に示す。図５（ａ）において、５０１はリライティングを行う領域の中心位置、５０２は仮想的な光の照射範囲を示しており、この照射範囲５０２内の被写体が仮想的な光の影響を受けるものとする。仮想的な光の照射範囲５０２は、ユーザが入力した仮想光源強度（α）によって決定し、リライティングを行う領域の中心位置から円形の範囲を照射範囲としており、仮想光源強度（α）が強いほど、照射範囲が広くなる。

また、仮想的な光の色ゲイン（Ｒｖ＿Ｇａｉｎ、Ｂｖ＿Ｇａｉｎ）は、照射する仮想的な光の色を、撮影時の環境光に対するゲインとして設定し、リライティング処理部１１３へ設定する。環境光源と仮想光源が同じ場合には、
Ｒｖ＿Ｇａｉｎ＝１
Ｂｖ＿Ｇａｉｎ＝１
となる。

Ｓ４０２では、これらの設定された値に基づいて、リライティング処理部１１３を動作させる。

図３は、リライティング処理部１１３の構成を示すブロック図である。以下、図３を参照して、リライティング処理部１１３の構成および動作について説明する。

リライティング処理部１１３は、画像処理部１０５により処理されて画像メモリ１０６に記録された輝度信号Ｙ及び色差信号Ｂ−Ｙ、Ｒ−Ｙを読み出し、入力とする。ＲＧＢ信号変換部３０１は、入力された輝度信号Ｙ及び色差信号Ｂ−Ｙ、Ｒ−ＹをＲＧＢ信号に変換し、デガンマ処理部３０２へ出力する。

デガンマ処理部３０２は、画像処理部１０５の輝度ガンマ処理部２０２及び色ガンマ処理部２０５におけるガンマ補正のガンマ特性と逆の特性の演算（デガンマ処理）を行い、リニアデータに変換する。デガンマ処理部３０２は、リニアデータに変換後のＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）を、仮想光源付加処理部３０３及び平滑化処理部３０４へ出力する。

平滑化処理部３０４では、処理対象のＲＧＢ信号を周辺の画素も使用してノイズの平滑化処理を行う。仮想光源付加処理部３０３は、後述する処理により、平滑化処理部３０４により生成されたＲＧＢ信号（Ｒａ、Ｇａ、Ｂａ）を用いて、仮想光源によるライティング効果を付加し、生成したＲＧＢ信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）を出力する。

平滑化処理部３０４では、ノイズの平滑化処理として、例えば、処理対象画素を中心とした、例えば周辺３×３画素の領域に含まれる９画素を用いて、色成分毎に、周辺画素の色信号値との平均値で置き換える平均値処理を行う。もちろん、平均値処理に用いる周辺画素の領域は、３×３画素に限られるものではなく、適宜設定することができる。本実施形態では、この平均値処理を行う際、処理対象画素と複数の周辺画素の各画素との差分絶対値を算出し、差分絶対値がフィルタリング閾値以下の場合は、平均値処理に使用する画素として扱う。また、差分絶対値がフィルタリング閾値を超えた画素は除外して、平均値処理に使用しない。処理対象画素に近い値を有する画素のみを使用して平均値処理を行うことによって、エッジ等の解像感を維持したままノイズ低減が可能となる。

ここで、本実施形態における平滑化処理で用いるフィルタリング閾値の算出方法の例について説明する。まず、図６（ａ）に示すように、処理対象画素の信号レベルに応じたフィルタリング閾値を予め設定しておき、信号レベルに応じてその値を取得する。信号レベルが大きくなるほど、合成する仮想光源によるリライティング処理により増幅されるノイズ量が増えるため、フィルタリング閾値を大きくして、ノイズ抑圧効果が高くなるような特性としても良い。

または、図６（ｂ）に示すように、仮想光源強度の大きさに応じたフィルタリング閾値を予め設定しておき、信号レベルに応じてその値を取得する。仮想光源強度が大きくなるほど、仮想光源によるリライティング処理により増幅されるノイズ量が増えるため、フィルタリング閾値を大きくして、ノイズ抑圧効果が高くなるような特性とする。

ただし、本発明はこれに限らず、ある信号レベルからフィルタリング閾値が一定または小さくなるような特性としてもよいし、ある仮想光源強度からフィルタリング閾値が一定または小さくなるような特性としてもよい。

また、図６（ａ）に示すようなフィルタリング閾値と、図６（ｂ）に示すようなフィルタリング閾値とを合成したフィルタリング閾値を用いても良く、少なくとも、いずれか一方のフィルタリング閾値を用いれば良い。

更に、平滑化処理は上記の平均値処理に限らず、図６（ｃ）、（ｄ）に示すようなＬＰＦ特性を有するフィルタリング処理（ローパスフィルタ処理）で行っても良い。ここで行われるローパスフィルタ処理で用いるＬＰＦのフィルタ特性は、仮想光源強度に応じて適応的に変化する。仮想光源強度が大きいほど、仮想光源によるリライティング処理により増幅されるノイズ量が増えるため、フィルタ特性を狭帯域にして、より強いＬＰＦ効果が出るように制御する。例えば、ある仮想光源強度の時に図６（ｄ）に示すようなフィルタ特性で処理を行っていた場合、仮想光源強度がそれよりも大きくなった時には、図６（ｃ）に示すように、周波数ｆが高い帯域の出力が小さくなるようなフィルタ特性に変化させる。

さらに、このフィルタ特性の制御と、前述したフィルタリング閾値制御を組み合わせたεフィルタ処理でノイズの平滑化処理を行っても良い。

このようにして、ノイズを平滑化したＲＧＢ信号（Ｒａ、Ｇａ、Ｂａ）を仮想光源付加処理部３０３へ出力する。

仮想光源付加処理部３０３では、仮想光源によるリライティングの効果を入力画像に付加する処理を行う。以下、図４（ｂ）のフローチャートに従って、仮想光源付加処理部３０３の動作について説明する。仮想光源付加処理部３０３は、入力されたＲＧＢ画像全体に対して、画素単位で処理を行う。

Ｓ４１０では、処理対象の画素が仮想的な光の照射範囲５０２内であるかを判定する。処理対象画素５０３が照射範囲５０２内にある場合は、Ｓ４１１へ進み、仮想的な光の照射範囲５０２内ではない場合は、光源の付加処理は行わないため、処理は終了となる。

Ｓ４１１では、処理対象である画素に、仮想的な光をあてた場合の仮想光反射色成分（Ｒｖ、Ｇｖ、Ｂｖ）を決定する。この仮想光反射色成分（Ｒｖ、Ｇｖ、Ｂｖ）は、カメラで撮影した場合の特性も含んだ特性である。仮想光反射色成分（Ｒｖ、Ｇｖ、Ｂｖ）は、平滑化処理部３０４で算出した平滑化画像（Ｒａ、Ｇａ、Ｂａ）に対して、Ｓ３０１で設定された仮想的な光の色ゲイン（Ｒｖ＿Ｇａｉｎ、Ｂｖ＿Ｇａｉｎ）を乗算することで算出する。
Ｒｖ＝Ｒｖ＿Ｇａｉｎ×Ｒａ
Ｇｖ＝Ｇａ
Ｂｖ＝Ｂｖ＿Ｇａｉｎ×Ｂａ

Ｓ４１２では、図５（ｂ）に示すように、処理対象画素５０３と仮想的な光の照射範囲５０２の中心位置５０１との距離Ｄを算出する。距離Ｄは、処理対象画素５０３の画像上の座標（Ｘ，Ｙ）と、中心位置５０１の座標（Ｘｃ，Ｙｃ）とから、以下の式によって算出する。
Ｄ＝√（（Ｘｃ−Ｘ）²＋（Ｙｃ−Ｙ）²）

Ｓ４１３では、仮想光源強度（α）と距離Ｄに基づき、仮想光反射色成分（Ｒｖ、Ｇｖ、Ｂｖ）を処理対象画素のＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）に対して付加する。すなわち、本実施形態では、仮想的な光で照射された処理対象画素の出力ＲＧＢ信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）は、下記の式で算出するものとする。ただし、仮想光源強度（α）はα＜１である。
Ｒｏｕｔ＝Ｒｔ＋α×（１／（Ｄ²））×Ｒｖ
Ｇｏｕｔ＝Ｇｔ＋α×（１／（Ｄ²））×Ｇｖ
Ｂｏｕｔ＝Ｂｔ＋α×（１／（Ｄ²））×Ｂｖ

図３に戻り、仮想光源付加処理部３０３から出力されたＲＧＢ信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）は、ガンマ処理部３０５に入力される。ガンマ処理部３０５では、入力したＲＧＢ信号（Ｒｏｕｔ、Ｇｏｕｔ、Ｂｏｕｔ）に対してガンマ補正を行う。輝度色差信号変換部３０６では、入力したＲＧＢ信号を輝度信号Ｙ及び色差信号Ｂ−Ｙ、Ｒ−Ｙに変換して出力する。以上が、リライティング処理部１１３の動作である。

システム制御部５０は、リライティング処理部１１３が出力した輝度・色差信号を、メモリ制御部１０７の制御によって、画像メモリ１０６に蓄積したのち、コーデック部１１０で圧縮符号化を行う。また、Ｉ／Ｆ１１１を介して記録媒体１１２に記録する。

以上説明したように、本実施形態では、実際の環境光が被写体に反射した反射色成分を取得し、取得した反射色成分と、仮想光源強度及び仮想的な光の色ゲインから、仮想光的な光が反射した反射成分（Ｒｖ、Ｇｖ、Ｂｖ）を推定する。そして、推定した仮想光的な光の反射成分を処理対象画素（Ｒｔ、Ｇｔ、Ｂｔ）に加算することで、リライティング処理を行う構成を有する。

さらに、仮想的な光の反射成分（Ｒｖ、Ｇｖ、Ｂｖ）を算出する際に、ノイズ低減処理を適応的に制御することにより、ノイズ成分は抑えつつ、解像感を維持した反射成分を生成する。これにより、処理対象画素のＲＧＢ信号（Ｒｔ、Ｇｔ、Ｂｔ）に対して、単純にゲインを加える場合と比較して、ノイズ成分を持ちあげることなく、リライティング効果を付加することが可能となる。

また、本実施形態では、説明の簡略化のために、仮想的な光の照射範囲５０２を図５で示す円で説明したが、仮想的な光の影響範囲はどのようなものであっても構わない。例えば、図示しない顔検出処理を使用することによって、人物の顔領域を抽出し、その領域を基準として仮想的な光の影響範囲としてもよく、仮想的な光の照射方向や対象被写体との距離に応じて、円を変形させても良い。もしくは、図示しない測距センサを用いて、撮影画像の画素単位の距離情報を算出し、距離が近いものだけに仮想的な光をあてる処理を行っても良い。

また、リライティングを行う領域の中心位置と処理対象画素の距離Ｄの算出方法は、本実施形態に限定するものではなく、どのような算出方法を取っても良い。例えば、カメラの位置および被写***置を三次元位置として取得し、三次元での距離を計算しても良い。

また、仮想的な光を付加する場合に、距離Ｄの二乗に反比例する式で計算したが、仮想的な光の付加量をこの方式で算出するものに限定するものではない。例えば、距離Ｄに反比例するものや、ガウス分布的に照射範囲が変化する式であっても良い。

＜他の実施形態＞
なお、本発明は、撮像装置で得られた画像を外部の画像処理装置に送信し、当該画像処理装置において、送信された画像に対して上述したリライティング処理を実施する構成としてもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５０：システム制御部、１０３：撮像部、１０５：画像処理部、１１１：インタフェース、１１３：リライティング処理部、１２１：不揮発性メモリ、１２２：システムメモリ、１２０：操作部、３０３：仮想光源付加処理部、３０４：平滑化処理部

Claims

入力画像の各画素の第１の画像信号に対して、平滑化処理を行って第２の画像信号を生成する平滑化手段と、
前記各画素について、前記第２の画像信号から、仮想光源から照射された仮想的な光の反射成分である第３の画像信号を生成し、当該第３の画像信号と前記第１の画像信号とを加算する処理手段と、を有し、
前記平滑化手段による平滑化処理を、前記第１の画像信号の信号レベル及び前記仮想的な光の強度の少なくともいずれか一方に基づいて制御することを特徴とする画像処理装置。
前記処理手段は、予め設定されたパラメータに基づいて前記第２の画像信号を処理することにより、前記第３の画像信号を生成することを特徴とする請求項１に記載の画像処理装置。
前記パラメータは、少なくとも、前記入力画像における前記仮想的な光の照射の中心位置と、前記仮想的な光の強度及び色のゲインを含むことを特徴とする請求項２に記載の画像処理装置。
前記平滑化手段は、
前記平滑化処理を行う対象画素と、当該対象画素の複数の周辺画素の各画素との信号レベルの差の絶対値を求め、
前記複数の周辺画素のうち、前記絶対値が予め決められた閾値よりも大きい周辺画素を除外した周辺画素と、前記対象画素の信号レベルの平均値を求めることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
前記閾値は、前記対象画素の前記信号レベルが高いほど大きいことを特徴とする請求項４に記載の画像処理装置。
前記対象画素の信号レベルが予め決められたレベルまでは、前記閾値は前記信号レベルが高いほど大きく、前記予め決められたレベルより高くなると、前記閾値は一定または小さくなることを特徴とする請求項４に記載の画像処理装置。
前記閾値は、前記仮想的な光の強度が強いほど大きいことを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
前記仮想的な光の強度が予め決められた強度までは、前記閾値は、前記仮想的な光の強度が強いほど大きく、前記予め決められた強度より高くなると、前記閾値は一定または小さくなることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
前記平滑化手段は、ローパスフィルタ処理を行い、当該ローパスフィルタ処理のフィルタ特性は、前記仮想的な光の強度が強いほど、より狭帯域であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
入射した光を光電変換して得られた画像信号を出力する撮像手段と、
前記撮像手段から出力された前記画像信号を前記第１の画像信号として処理する、請求項１乃至９のいずれか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
平滑化手段が、入力画像の各画素の第１の画像信号に対して、平滑化処理を行って第２の画像信号を生成する平滑化工程と、
処理手段が、前記各画素について、前記第２の画像信号から、仮想光源から照射された仮想的な光の反射成分である第３の画像信号を生成する生成工程と、
前記処理手段が、前記第３の画像信号と前記第１の画像信号とを加算する処理工程と、を有し、
前記平滑化工程における平滑化処理を、前記第１の画像信号の信号レベル及び前記仮想的な光の強度の少なくともいずれか一方に基づいて制御することを特徴とする画像処理装置。
コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
請求項１２に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。