JP2009010711A - フィルタ処理装置及び方法、並びに撮影装置 - Google Patents

Abstract

【課題】フィルタ処理によるリンギングの発生を抑制する。
【解決手段】注目画素Ｐａの位置を変更しながら、注目画素Ｐａを中心とした局所領域Ｌを画像内に設定し、設定した局所領域Ｌ内の画素値に基づく所定の演算処理の結果に基づき、各注目画素Ｐａの画素値Ｘａの変換を行うフィルタ処理において、上記の演算処理に先立ち、局所領域Ｌ内の注目画素Ｐａ以外の各周辺画素Ｐｂの画素値Ｘｂについてリミット処理を行う。局所領域Ｌ内から周辺画素Ｐｂを順に選択し、注目画素Ｐａの画素値Ｘａとの差分｜Ｘａ−Ｘｂ｜を算出する。差分｜Ｘａ−Ｘｂ｜が制限値Ｘｒより大きい周辺画素Ｐｂについては、差分｜Ｘａ−Ｘｂ｜を制限値Ｘｒ（若しくは制限値Ｘｒ未満）とするように、画素値Ｘｂの変更を行う。制限値Ｘｒは、各周辺画素Ｐｂに対応付け、注目画素Ｐａから離れるに従い単調減少するように設定する。
【選択図】図６

Description

本発明は、顔検出処理などに先立ち、前処理として画像に対してフィルタ処理を施すフィルタ処理装置及び方法、並びに、そのフィルタ処理装置を備えた撮影装置に関する。

近年、デジタルカメラ等の撮影装置には、人物を含む撮影シーンにおいて顔部分にピントや露出が合った画像を容易かつ確実に撮影することができるように、人物の顔を自動検出し、検出した顔エリアに対して焦点調節や露出調節を行う顔検出機能を備えたものがある。この顔検出は、画像中から部分画像を順次に切り出し、切り出した部分画像が顔であるか否かを、予め学習したデータに基づいて判定することによりなされる（例えば、特許文献１参照）。

上記の撮影装置において、撮影条件が悪く、顔部分の明るさやコントラストが良好でない場合には、顔の検出率が低下するといった問題がある。例えば、逆光撮影時には、図１４（Ａ）に示すように、顔エリアは、暗くコントラストが低下するため、検出率は極端に低下する。

かかる問題を解決するために、前処理として、画像のコントラストを顔検出処理に適した所定レベルに揃えるように、画像に正規化処理と称されるフィルタ処理を施すことが提案されている。この正規化処理としては、画像内に注目画素を中心とした所定サイズ（例えば、７×７画素）の局所領域を設定し、注目画素の位置を変更しながら、その局所領域における画素値の分散の程度を一定レベルに揃えるべく、注目画素の画素値（輝度値）を変換（階調変換）する手法が知られている。図１４（Ａ）に示す画像にこの正規化処理を施すと、顔エリアは、図１４（Ｂ）に示すように、明るさ及びコントラストが拡大して顔の特徴が鮮明化し、その結果、検出率が改善される。
特開２００７−２５７６６号公報

しかしながら、上記の正規化処理により、図１４（Ｂ）に示すように、被写体の輪郭部にリンギングが発生するといった問題がある。このリンギングが生じた領域（リンギング領域）では、画素値が大きく変化し、オーバーシュート／アンダーシュートが生じている。このため、右側の人物のように顔の大きさが小さい場合には、顔エリアに対するリンギング領域の割合が大きく、リンギングが大きく影響するため、顔の検出率が特に低下する。

なお、このリンギングによる問題は、フィルタ処理としてエッジ検出処理（特徴抽出処理）を行う場合にも発生する。また、この問題は、顔以外の被写体の特定部分を検出する場合においても生じることは言うまでもない。

本発明は、上記課題を鑑みてなされたものであり、リンギングの発生を抑制することができるフィルタ処理装置及び方法、並びに、そのフィルタ処理装置を備えた撮影装置を提供することを目的とする。

上記目的を達成するために、本発明のフィルタ処理装置は、注目画素の位置を変更しながら、注目画素を中心とした局所領域を画像内に順次に設定し、設定した局所領域内の各画素値に基づく所定の演算処理の結果に基づいて、注目画素の画素値を変換するフィルタ処理装置において、前記演算処理に先立ち、局所領域内の注目画素以外の各周辺画素の画素値を、注目画素の画素値との差分が、各周辺画素に対応付けて設定した制限値以下となるように変更するリミット処理手段を備えたことを特徴とする。

また、本発明のフィルタ処理装置は、注目画素の位置を変更しながら、注目画素を中心とした局所領域を画像内に順次に設定する局所領域設定手段と、前記局所領域設定変更手段によって設定された局所領域内から注目画素以外の各周辺画素を順次に選択する周辺画素選択手段と、前記周辺画素選択手段によって選択された周辺画素の画素値と注目画素の画素値との差分を算出する差分算出手段と、前記差分算出手段によって算出された差分が、各周辺画素に対応付けて設定した制限値より大きいか否かを判定する判定手段と、前記判定手段によって差分が制限値より大きいと判定された場合に、差分を制限値以下とするように該周辺画素の画素値を変更する周辺画素値変更手段と、前記周辺画素値変更手段によって変更された周辺画素の画素値を含め、局所領域内の各画素値に基づいて所定の演算処理を行い、演算処理の結果に基づいて注目画素の画素値を変換する注目画素変換手段と、を備えたことを特徴とする。

なお、前記判定手段は、注目画素から離れるに従い単調減少するように前記制限値を設定していることが好ましい。

また、前記周辺画素値変更手段は、前記判定手段によって差分が制限値より大きいと判定された場合に、差分が制限値と一致するように該周辺画素の画素値を変更することが好ましい。

また、前記周辺画素値変更手段は、前記判定手段によって差分が制限値より大きいと判定された場合に、差分をゼロとするように該周辺画素の画素値を変更することも好ましい。

また、前記判定手段は、各周辺画素ごとに第１及び第２の制限値を設定しており、各周辺画素の画素値と注目画素の画素値との関係に基づき、前記第１及び第２の制限値を前記制限値として択一的に用いることが好ましい。

また、前記判定手段は、前記各第１の制限値を、対応する前記第２の制限値より大きい値に設定しており、各周辺画素の画素値と注目画素の画素値との差分の平均が所定の閾値以上である場合には前記第１の制限値を用い、各周辺画素の画素値と注目画素の画素値との差分の平均が前記閾値未満である場合には前記第２の制限値を用いることがさらに好ましい。

また、前記注目画素変換手段は、局所正規化処理またはエッジ検出処理を行うものであることが好ましい。

また、本発明のフィルタ処理方法は、注目画素の位置を変更しながら、注目画素を中心とした局所領域を画像内に順次に設定し、設定した局所領域内の各画素値に基づく所定の演算処理の結果に基づいて、注目画素の画素値を変換するフィルタ処理方法において、前記演算処理に先立ち、局所領域内の注目画素以外の各周辺画素の画素値を、注目画素の画素値との差分が、各周辺画素に対応付けて設定した制限値以下となるように変更することを特徴とする。

また、本発明の撮影装置は、上記のフィルタ処理装置を備え、撮像素子によって得た画像に対して前記フィルタ処理装置にてフィルタ処理を施した後、被写体の特定部分を画像中から検出する撮影装置において、多分割測光により前記画像が逆光状態であるか否かを判定し、前記画像が逆光状態である場合には前記リミット処理を行い、前記画像が逆光状態でない場合には前記リミット処理を行わないように前記フィルタ処理装置の制御を行う制御手段を備えたことを特徴とする。

なお、前記特定部分は、人物の顔であることが好ましい。

本発明は、フィルタ処理の演算処理に先立ち、局所領域内の注目画素以外の各周辺画素の画素値を、注目画素の画素値との差分が、各周辺画素に対応付けて設定した制限値以下とするように変更するので、注目画素と周辺画素との画素値の差分が大きい領域（逆光時の被写体の輪郭部など）にフィルタ処理を行うことによるリンギングの発生を抑制することができる。また、注目画素から離れるに従い単調減少するように制限値を設定することにより、注目画素から離れた周辺画素が及ぼす影響を低減し、リンギングの発生をより効果的に抑制することができる。また、各周辺画素ごとに第１及び第２の制限値を設定し、各周辺画素の画素値と注目画素の画素値との関係に基づき、第１及び第２の制限値を上記制限値として択一的に用いることにより、リンギングの発生をさらに効果的に抑制することができる。

また、多分割測光により画像が逆光状態であるか否かを判定し、画像が逆光状態である場合には前記リミット処理を行い、画像が逆光状態でない場合には前記リミット処理を行わないようにフィルタ処理装置の制御を行う撮影装置を構成することにより、フィルタ処理の効率化を図ることができる。

図１において、デジタルカメラ１０は、操作部１１、ＣＰＵ１２、フォーカスレンズ１３、絞り１４、撮像素子１５、レンズドライバ１６、レンズモータ１７、絞りドライバ１８、絞りモータ１９、画像処理回路２０、内蔵メモリ２１、ＡＥ／ＡＦ演算回路２２、顔検出回路２３、表示回路２４、メモリカードスロット２５、モニタ２６等により構成されている。

操作部１１は、ユーザがデジタルカメラ１０に撮影指示をなすためのレリーズボタン、各種設定操作を行うための十字キーや決定ボタン、顔検出を実行するための顔検出実行ボタンなどからなり、ユーザの操作に応じた操作信号をＣＰＵ１２に伝達する。ＣＰＵ１２は、操作部１１から入力された操作信号に基づいて、ＣＰＵ１２内のメモリに記憶されたプログラムを実行し、デジタルカメラ１０の各部の制御を行う。

フォーカスレンズ１３は、被写体像を絞り１４を介して撮像素子１５の受光面上に結像させる。レンズドライバ１６は、ＣＰＵ１２からの指令に基づいてレンズモータ１７を駆動して、フォーカスレンズ１３を光軸方向に沿って移動させ、ピント調節を行う。絞り１４は、撮像素子１５への入射光量を開閉状態に応じて増減させる。絞りドライバ１８は、ＣＰＵ１２からの指令に基づいて絞りモータ１９を駆動して、絞り１４の開閉状態を変化させ、入射光量の調節を行う。

撮像素子１５は、フォーカスレンズ１３及び絞り１４を介して入射した被写体像を光電変換し、電気的な画像信号に変換するＣＣＤ型やＣＭＯＳ型のイメージセンサであり、ＣＰＵ１２からの指令に基づいて撮像を行う。なお、撮像素子１５は、電子的に露光時間（電荷蓄積時間）を調節する電子シャッタ機能を備えている。画像処理回路２０は、撮像素子１５から出力された画像信号に画像処理を施し、画像データを生成する。具体的には、画像処理回路２０は、撮像素子１５から出力された画像信号をアナログ／デジタル変換してデジタル信号を生成したうえで、色補間、ＹＣ（輝度・色差）変換、ガンマ補正などの各種信号処理を施し、生成した画像データを内蔵メモリ２１に記録する。内蔵メモリ２１としては、例えば、フラッシュメモリなどの不揮発性の半導体メモリを用いる。

ＡＥ／ＡＦ演算回路２２は、内蔵メモリ２１に記録された画像データに基づいて、自動露出調節（ＡＥ）のためのＡＥデータ（被写体輝度）と、自動焦点調節（ＡＦ）のためのＡＦデータ（コントラスト値）とを画像中の所定領域について算出し、算出値をＣＰＵ１２に入力する。ＡＥの実行時には、ＣＰＵ１２は、ＡＥ／ＡＦ演算回路２２から入力されるＡＥデータに基づいて絞りドライバ１８及び撮像素子１５を制御し、絞り値及びシャッタ速度で決定される露出量の調節を行う。また、ＡＦの実行時には、ＣＰＵ１２は、ＡＥ／ＡＦ演算回路２２から入力されるＡＦデータに基づいてレンズドライバ１６を制御し、ＡＦデータが最大となる位置へフォーカスレンズ１３を移動させることにより、焦点調節（ピント調節）を行う。

顔検出回路２３は、詳しくは後述するが、内蔵メモリ２１に記録された画像データに基づき、被写体の顔エリアの位置及び大きさの検出を行う。デジタルカメラ１０の顔検出機能が有効となっている場合には、ＡＥ／ＡＦ演算回路２２は、顔検出回路２３によって検出された顔エリアからＡＥデータ及びＡＦデータの算出を行い、ＣＰＵ１２は、この算出結果に基づいてＡＥ／ＡＦ制御を実行する。なお、１つの画像から複数の顔エリアが検出された場合には、ＡＥ制御は、全ての顔エリアを対象として行うが、ＡＦ制御は、種々の条件（顔エリアの大きさや位置）から１つの顔エリアを選択し、選択した顔エリアを対象として行う。

表示回路２４は、内蔵メモリ２１に格納された画像データ、あるいはメモリカードスロット２５に装着されたメモリカードに格納された画像データに基づき、モニタ２６に表示を行うための画面データを生成する。モニタ２６は、液晶ディスプレイなどからなる画像表示装置であり、表示回路２４が生成した画面データを表示する。メモリカードスロット２５は、挿入されたメモリカードに対する画像データの書き込みや読み出し、あるいは消去を行う。

図２において、顔検出回路２３は、輝度信号抽出部３０、多重解像度化部３１、フィルタ処理部３２、顔検出処理部３４、及び重複検出判定部３５によって構成されており、フィルタ処理部３２はリミット処理部３３を備えている。輝度信号抽出部３０は、内蔵メモリ２１に格納された画像データから輝度信号（Ｙ信号）のみを抽出して、グレー階調の画像Ｓ０を生成する。ここで、輝度の階調数は８ビット（画素値の範囲は０から２５５）とする。

多重解像度化部３１は、輝度信号抽出部３０によって生成された画像Ｓ０の解像度（画像サイズ）を変換することにより、短辺が４１６画素の矩形サイズに規格化し、そして、規格化がなされた画像Ｓ０’を基準としてさらに解像度を変換することにより、解像度の異なる複数の画像からなる多重解像度画像群Ｓ１を生成する。具体的には、図３に示すように、画像Ｓ０’を基準画像Ｓ１_１とし、短辺及び長辺を２^−１／３倍ずつ縮小することにより、短辺がそれぞれ、３３０画素，２６２画素，２０８画素，１６５画素，・・・の複数枚の画像Ｓ１_２，Ｓ１_３，Ｓ１_４，Ｓ１_５，・・・を生成し、これらを多重解像度画像群Ｓ１とする。このように、多重解像度画像群Ｓ１を生成する理由は、一定の大きさの顔サンプル画像を用いて、様々なサイズの顔を検出するためである。

フィルタ処理部３２は、顔検出の精度を高めるための前処理として、多重解像度画像群Ｓ１の各画像に対して、明るさ及びコントラストのばらつきを抑制すべく正規化処理を施す。具体的には、図４に示す手順で処理を行う。まず、多重解像度画像群Ｓ１から１つの画像を選択する（ステップＳ１）。次いで、図５に示すように、選択した画像中における１つの画素を注目画素Ｐａとして設定し、この注目画素Ｐａを中心として所定サイズ（７×７画素）の局所領域Ｌを設定する（ステップＳ２）。

次いで、設定した局所領域Ｌにおいて、注目画素Ｐａ以外の周辺画素Ｐｂについて、リミット処理部３３によりリミット処理を行う（ステップＳ３）。具体的には、リミット処理部３３は、図６に示すように、まず、１つの周辺画素Ｐｂを選択し（ステップＳ３−１）、注目画素Ｐａとの画素値の差分｜Ｘａ−Ｘｂ｜を算出する（ステップＳ３−２）。ここで、Ｘａは注目画素Ｐａの画素値、Ｘｂは周辺画素Ｐｂの画素値である。次いで、差分｜Ｘａ−Ｘｂ｜が制限値Ｘｒ（Ｘｒ＞０）より大きいか否かを判定する（ステップＳ３−３）。なお、制限値Ｘｒは、図７に示すように、各周辺画素Ｐｂの位置に対応付けられ、注目画素Ｐａの位置から離れるに従い単調に減少するように設定されている。

ステップＳ３−３において、差分｜Ｘａ−Ｘｂ｜が制限値Ｘｒより大きいと判定された場合には、差分符号方向（注目画素値Ｘａと周辺画素値Ｘｂとの大小関係）を同一に保ったまま周辺画素値Ｘｂの変換を行う（ステップＳ３−４〜ステップＳ３−６）。具体的には、まず、注目画素値Ｘａが周辺画素値Ｘｂより大きいか否かを判定する（ステップＳ３−４）。ステップＳ３−４において注目画素値Ｘａが周辺画素値Ｘｂより大きいと判定された場合には、注目画素値Ｘａとの画素値の差分を制限値Ｘｒとすべく、周辺画素値Ｘｂを数式「Ｘｂ’＝Ｘａ＋Ｘｒ」に基づいて変更する（ステップＳ３−５）。ステップＳ３−４において注目画素値Ｘａが周辺画素値Ｘｂ以下であると判定された場合には、注目画素値Ｘａとの画素値の差分を制限値Ｘｒとすべく、周辺画素値Ｘｂを数式「Ｘｂ’＝Ｘａ−Ｘｒ」に基づいて変更する（ステップＳ３−６）。ここで、Ｘｂ’は、周辺画素Ｐｂの変更後の画素値である。

一方、ステップＳ３−３において、差分｜Ｘａ−Ｘｂ｜が制限値Ｘｒ以下であると判定された場合には、周辺画素値Ｘｂの変更は行わない。そして、ステップＳ３−１で選択した周辺画素Ｐｂが局所領域Ｌ内の最終画素であるか否かを判定する（ステップＳ３−７）。ステップＳ３−７において、その周辺画素Ｐｂが最終画素でないと判定された場合には、ステップＳ３−１に戻り、同じ局所領域Ｌ内の次の画素を周辺画素Ｐｂとして選択する。一方、ステップＳ３−７において、その周辺画素Ｐｂが最終画素であると判定された場合には、図４のフローチャートのステップＳ４に移行する。このように、ステップＳ３により、各局所領域Ｌについて注目画素Ｐａとの距離が大きい周辺画素Ｐｂほどより厳しくリミット処理が行われるため、続く正規化処理において注目画素Ｐａから離れた周辺画素Ｐｂの画素値Ｘｂの注目画素値Ｘａとの差分が強く相関して生じる「リンギング」が抑制される。

ステップＳ４では、局所領域Ｌ内の画素値（Ｘａを含む）の分散Ｖlocalを算出する。次いで、算出した分散Ｖlocalが閾値Ｃ１以上であるか否かを判定する（ステップＳ５）。ステップＳ５において、分散Ｖlocalが閾値Ｃ１以上であると判定された場合には、第１の階調変換処理として、下記の式（１）に基づいて注目画素値Ｘａの変換を行う（ステップＳ６）。一方、ステップＳ５において、分散Ｖlocalが閾値Ｃ２未満であると判定された場合には、第２の階調変換処理として、下記の式（２）に基づいて注目画素値Ｘａの変換を行う（ステップＳ７）。

ここで、Ｘａ’は注目画素Ｐａの変換後の画素値、ｍlocalは局所領域Ｌ内の画素値（Ｘａを含む）の平均、ＳＤlocalは局所領域Ｌ内の画素値（Ｘａを含む）の標準偏差（分散Ｖlocalの平方根）、Ｃ２は基準値、ＳＤｃは所定の定数である。つまり、上記の式（１）は、分散Ｖlocalが所定レベルＣ１以上である局所領域Ｌに対して、この分散の程度を所定レベルより高い一定レベル（Ｃ２×Ｃ２）に近づけるように変換を行い、上記の式（２）は、分散Ｖlocalが所定レベルＣ１未満である局所領域Ｌに対して、この分散の程度を一定レベル（Ｃ２×Ｃ２）より低いレベルに抑えるように変換を行うものである。なお、ステップＳ４，Ｓ６，Ｓ７の分散Ｖlocal及び平均ｍlocalの演算時には、ステップＳ３にてリミット処理が行われた周辺画素Ｐｂについては、変更後の画素値Ｘｂ’を用いる。

ステップＳ５〜Ｓ７は、局所領域Ｌの単位ごとに処理を施す局所正規化処理であり、この処理が終了すると、次いで、ステップＳ２で設定した注目画素Ｐａが画像内の最終画素であるか否かを判定する（ステップＳ８）。ステップＳ８において、その注目画素Ｐａが最終画素でないと判定された場合には、ステップＳ２に戻り、同じ画像上の次の画素を注目画素Ｐａとして設定し、これと同時に新たな注目画素Ｐａを中心とした局所領域Ｌを設定する。なお、新たな局所領域Ｌを設定した際、その局所領域Ｌ内の画素値は変換前の画素値Ｘａ，Ｘｂとする。一方、ステップＳ８において、その注目画素Ｐａが最終画素であると判定された場合には、ステップＳ１で選択した画像が多重解像度画像群Ｓ１の最終画像であるか否かを判定する（ステップＳ９）。ステップＳ９において、その画像が最終画像でないと判定された場合には、ステップＳ１に戻り、次の画像を選択する。一方、ステップＳ９において、その画像が最終画像であると判定された場合には、多重解像度画像群Ｓ１に対するフィルタ処理を終了する。つまり、図８に示すように、多重解像度画像群Ｓ１の各画像について上記のフィルタ処理を施すことにより、リンギングの発生が抑えられながら適切な正規化処理が施された多重解像度画像群Ｓ１’が得られる。

図２に戻り、顔検出処理部３４は、フィルタ処理部３２によって生成された多重解像度画像群Ｓ１’の各画像Ｓ１’_１，Ｓ１’_２，Ｓ１’_３，・・・において、図９に示すように、所定サイズ（３２×３２画素）の部分画像Ｗを、切り出し位置を１画素ずつ変更しながら順次に切り出し、切り出した部分画像Ｗが顔画像であるか否かを判別することにより、画像上の顔エリアを検出する。部分画像Ｗが顔画像であるか否かを判別は、顔であることが分かっている複数の顔サンプル画像群と、顔でないことが分かっている複数の非顔サンプル群とを用いて、顔であることの特徴を学習した判別器を用いて行う。この判別器については、特開２００７−２５７６６号公報において詳しく開示されている。

顔検出処理部３４による顔検出処理では、多重解像度画像群Ｓ１’の異なる画像間で同一の顔を重複して検出してしまうことがある。これは、部分画像Ｗのサイズに対して検出可能な顔の大きさにある程度の幅があるためである。重複検出判定部３５は、顔検出処理部３４によって検出された顔エリアの位置情報に基づいて、多重解像度画像群Ｓ１’の各画像上で検出された顔エリアのうち、同一のものを１つの顔エリアとしてまとめる処理を行い、画像Ｓ０上の真の顔エリアの位置及び大きさを特定する。この顔検出情報は、ＣＰＵ１２に入力される。

次に、以上のように構成されたデジタルカメラ１０の作用について説明する。デジタルカメラ１０は、静止画撮影モードに設定が行われると、撮像素子１５が所定の周期で撮像動作を行い、画像処理回路２０にて画像処理を施した画像をスルー画像としてモニタ２６に順次に表示する。ユーザは、モニタ２６に表示されるスルー画像により被写体のフレーミングを行うことができる。この際、ユーザにより、操作部１１に含まれる顔検出実行ボタンが押下されると、デジタルカメラ１０は、前述のように、画像から人物の顔を自動検出し、検出した顔エリアに対して自動的にピント及び露出を設定する、いわゆる「顔認識ＡＦ＆ＡＥ」を実行する。そして、ユーザによりシャッタボタンが押下されると、顔エリアに対してピント及び露出が最適化された画像をデータとして取得し、内蔵メモリ２１あるいはメモリカードスロット２５に装着されたメモリカードに記録する。

デジタルカメラ１０は、顔検出実行ボタンの押下に応じて顔検出を行う際、顔検出の精度を高めるために、前処理として画像に正規化処理を施すが、この正規化処理時に設定する局所領域Ｌ内の各周辺画素Ｘｂについて、注目画素値Ｘａとの差分を制限値Ｘｒ以内とするように画素値Ｘｂを変更するリミット処理を行うため、顔エリアの周囲等に発生するリンギングが抑制され、顔検出の検出率が向上する。特に、リンギングの影響が大きい小さな顔エリアに関しては、検出率が飛躍的に向上する。なお、このリンギング抑制方法は、前述した逆光時だけでなく、スポットライトや反射光の部分的な写り込みなどの影響に対しても効果的である。

なお、上記実施形態では、リミット処理に用いる制限値Ｘｒを、図７に示すように、周辺画素Ｐｂの位置に応じて変化させているが、本発明はこれに限定されるものではなく、制限値Ｘｒを周辺画素Ｐｂの位置に依らない固定値としてもよく、この場合にもリンギング抑制の効果が得られる。図１０は、制限値Ｘｒを「６４」に固定した例を示している。

また、上記実施形態では、１つの周辺画素Ｐｂに対して１つの制限値Ｘｒを設定しているが、本発明はこれに限定されるものではなく、１つの周辺画素Ｐｂに対して複数の制限値を設定し、種々の条件に基づき、これらの制限値を切り替えながらリミット処理を行っても良い。例えば、図１１（Ａ）に示すように第１の制限値Ｘｒ_１を設定し、図１１（Ｂ）に示すように第２の制限値Ｘｒ_２を設定し、これらを注目画素値Ｘａと周辺画素値Ｘｂとの関係から切り替えて使用する。なお、同一周辺画素Ｐｂの位置において、第２の制限値Ｘｒ_２は、第１の制限値Ｘｒ_１より小さく設定している。

図１２は、第１及び第２の制限値Ｘｒ_１，Ｘｒ_２の具体的な切り替え手順を示す。この手順は、リミット処理部３３により、図６のステップＳ３−２とステップＳ３−３との間にて実施される。つまり、リミット処理部３３は、ステップＳ３−２の後、局所領域Ｌにおける差分｜Ｘａ−Ｘｂ｜の平均Ａｖｅ（｜Ｘａ−Ｘｂ｜）の算出を行う（ステップＳ１０）。次いで、算出した平均Ａｖｅ（｜Ｘａ−Ｘｂ｜）が所定の閾値Ｃ３以上であるか否かの判定を行う（ステップＳ１１）。ステップＳ１１において、平均Ａｖｅ（｜Ｘａ−Ｘｂ｜）が閾値Ｃ３以上である場合には、第１の制限値Ｘｒ_１を選択し、これを以降のステップにて制限値Ｘｒとして用いる。一方、ステップＳ１１において、平均Ａｖｅ（｜Ｘａ−Ｘｂ｜）が閾値Ｃ３未満である場合には、第２の制限値Ｘｒ_２を選択し、これを以降のステップにて制限値Ｘｒとして用いる。これにより、差分｜Ｘａ−Ｘｂ｜が大きい周辺画素Ｐｂの影響をより効果的に抑制することができる。

また、上記実施形態では、差分｜Ｘａ−Ｘｂ｜が制限値Ｘｒより大きい場合に、その周辺画素Ｐｂの画素値Ｘｂを、注目画素値Ｘａとの差分が制限値Ｘｒとなるように変更（図６のステップＳ３−５，Ｓ３−６）しているが、本発明はこれに限定されるものではなく、注目画素値Ｘａとの差分を制限値Ｘｒ未満とするように該周辺画素Ｐｂの画素値Ｘｂを変更しても良い。例えば、差分｜Ｘａ−Ｘｂ｜が制限値Ｘｒより大きい場合に、その差分をゼロとするように、該周辺画素Ｐｂの画素値Ｘｂを注目画素値Ｘａの値で置換する（つまり、「Ｘｂ’＝Ｘａ」とする）ことも好ましい。

また、上記実施形態では、顔検出処理を行う場合に、画像の露光状態とは無関係にリミット処理（図４のステップＳ３）を施しているが、本発明はこれに限定されるものではなく、画像の露光状態に基づいてリミット処理のオン／オフを切り替えても良い。例えば、ＣＰＵ１２により、図１３に示すように、まず、画像Ｓ０に基づいて多分割測光（複数のエリアに分割して、各エリアごとに露出値を算出する測光方式）を行い（ステップＳ２０）、画像Ｓ０の中央部と周辺部との輝度差を比較することにより、逆光状態であるか否かの判定を行う（ステップＳ２１）。ステップＳ２１において、中央部の輝度が周辺部の輝度より所定値以上低く逆光状態である場合には、リミット処理部３３によるリミット処理をオンと設定する（ステップＳ２２）。一方、ステップＳ２１において、中央部と周辺部とで輝度差がなく逆光状態でない場合には、リミット処理部３３によるリミット処理をオフと設定する（ステップＳ２３）。ステップＳ２３にてオフと設定された場合には、図４のフローチャートにて、ステップＳ３のリミット処理をスキップする。これにより、画像の露光状態が悪く、リンギングが発生しやすい場合にのみリミット処理を実行するため、フィルタ処理の効率化が図られる。

また、上記実施形態では、フィルタ処理部３２が行うフィルタ処理として正規化処理を例に挙げて説明しているが、本発明はこれに限定されるものではなく、フィルタ処理としてエッジ検出処理を行う場合にも適用可能である。このエッジ検出処理としては、例えば、ラプラシアンフィルタを用いたフィルタ処理が知られている。このラプラシアンフィルタ処理は、注目画素を中心とした局所領域を設定し、局所領域内の各画素にフィルタ係数を乗算し、係数が乗算された画素値をすべて加算したものを新しい注目画素値とする演算処理である。リンギングは、注目画素を中心とした局所領域内の画素値に基づく演算により注目画素値の変換を行うフィルタ処理に共通した問題であり、本発明を適用することによりリンギングを抑制することができる。

また、上記実施形態では、画像処理回路２０、ＡＥ／ＡＦ演算回路２２、及び顔検出回路２３をハードウェア的な回路として機能ブロックにて示しているが、本発明はこれに限定されるものではなく、前述の各処理手順を記述したプログラムと、このプログラムに基づいて処理を実行するコンピュータにて構成することも可能である。

また、上記実施形態では、多重解像度画像群Ｓ１の各画像のサイズ、局所領域Ｌのサイズ、部分画像Ｗのサイズとして具体的な数値を示しているが、これらは一例であり、適宜変更可能である。

また、上記実施形態では、人物の顔を検出対象とした顔検出処理を例示しているが、顔に限られず、被写体の特定部分を検出する特定部分検出処理の全般に適用可能である。

最後に、特許請求の範囲中の構成要件と実施形態の対応関係について説明する。局所領域設定手段は、図４中のステップＳ２，Ｓ８で表されたフィルタ処理部３２の機能に対応する。周辺画素選択手段は、図６中のステップＳ３−１，Ｓ３−７で表されたリミット処理部３３の機能に対応する。差分算出手段は、図６中のステップＳ３−２で表されたリミット処理部３３の機能に対応する。判定手段は、図６中のステップＳ３−３で表されたリミット処理部３３の機能に対応する。周辺画素値変更手段は、図６中のステップＳ３−４〜Ｓ３−６で表されたリミット処理部３３の機能に対応する。注目画素変換手段は、図４中のステップＳ４〜Ｓ７で表されたフィルタ処理部３２の機能に対応する。そして、制御手段は、図１３のフローチャートで表されたＣＰＵ１２の機能に対応する。

デジタルカメラの構成を示すブロック図である。 顔検出回路の構成を示すブロック図である。 多重解像度画像群の生成工程を示す図である。 正規化処理の手順を示すフローチャートである。 注目画素を中心として設定する局所領域の例を示す図である。 リミット処理の手順を示すフローチャートである。 リミット処理に用いる制限値を例示する図である。 正規化処理を概念的に示す図である。 顔検出処理を概念的に示す図である。 周辺画素の位置に依らず制限値を固定した例を示す図である。 同一周辺画素に関して切り替えて用いる２つの制限値を例示する図であり、（Ａ）は第１の制限値、（Ｂ）第２の制限値を示す。 第１及び第２の制限値の切り替え手順を示すフローチャートである。 画像の露光状態に基づき、リミット処理を切り替える例を示すフローチャートである。 従来技術の問題点を説明するための図である。

符号の説明

１０ デジタルカメラ（撮影装置）
１２ ＣＰＵ（制御手段）
１５ 撮像素子
２０ 画像処理回路
２１ 内蔵メモリ
２２ ＡＥ／ＡＦ演算回路
２３ 顔検出回路
３０ 輝度信号抽出部
３１ 多重解像度化部
３２ フィルタ処理部（フィルタ処理装置）
３３ リミット処理部（リミット処理手段）
３４ 顔検出処理部
３５ 重複検出判定部

Claims (11)

1. 注目画素の位置を変更しながら、注目画素を中心とした局所領域を画像内に順次に設定し、設定した局所領域内の各画素値に基づく所定の演算処理の結果に基づいて、注目画素の画素値を変換するフィルタ処理装置において、
   前記演算処理に先立ち、局所領域内の注目画素以外の各周辺画素の画素値を、注目画素の画素値との差分が、各周辺画素に対応付けて設定した制限値以下となるように変更するリミット処理手段を備えたことを特徴とするフィルタ処理装置。
2. 注目画素の位置を変更しながら、注目画素を中心とした局所領域を画像内に順次に設定する局所領域設定手段と、
   前記局所領域設定変更手段によって設定された局所領域内から注目画素以外の各周辺画素を順次に選択する周辺画素選択手段と、
   前記周辺画素選択手段によって選択された周辺画素の画素値と注目画素の画素値との差分を算出する差分算出手段と、
   前記差分算出手段によって算出された差分が、各周辺画素に対応付けて設定した制限値より大きいか否かを判定する判定手段と、
   前記判定手段によって差分が制限値より大きいと判定された場合に、差分を制限値以下とするように該周辺画素の画素値を変更する周辺画素値変更手段と、
   前記周辺画素値変更手段によって変更された周辺画素の画素値を含め、局所領域内の各画素値に基づいて所定の演算処理を行い、演算処理の結果に基づいて注目画素の画素値を変換する注目画素変換手段と、
   を備えたことを特徴とするフィルタ処理装置。
3. 前記判定手段は、注目画素から離れるに従い単調減少するように前記制限値を設定していることを特徴とする請求項２に記載のフィルタ処理装置。
4. 前記周辺画素値変更手段は、前記判定手段によって差分が制限値より大きいと判定された場合に、差分が制限値と一致するように該周辺画素の画素値を変更することを特徴とする請求項２または３に記載のフィルタ処理装置。
5. 前記周辺画素値変更手段は、前記判定手段によって差分が制限値より大きいと判定された場合に、差分をゼロとするように該周辺画素の画素値を変更することを特徴とする請求項２または３に記載のフィルタ処理装置。
6. 前記判定手段は、各周辺画素ごとに第１及び第２の制限値を設定しており、各周辺画素の画素値と注目画素の画素値との関係に基づき、前記第１及び第２の制限値を前記制限値として択一的に用いることを特徴とする請求項２から５いずれか１項に記載のフィルタ処理装置。
7. 前記判定手段は、前記各第１の制限値を、対応する前記第２の制限値より大きい値に設定しており、各周辺画素の画素値と注目画素の画素値との差分の平均が所定の閾値以上である場合には前記第１の制限値を用い、各周辺画素の画素値と注目画素の画素値との差分の平均が前記閾値未満である場合には前記第２の制限値を用いることを特徴とする請求項６に記載のフィルタ処理装置。
8. 前記注目画素変換手段は、局所正規化処理またはエッジ検出処理を行うものであることを特徴とする請求項２から７いずれか１項に記載のフィルタ処理装置。
9. 注目画素の位置を変更しながら、注目画素を中心とした局所領域を画像内に順次に設定し、設定した局所領域内の各画素値に基づく所定の演算処理の結果に基づいて、注目画素の画素値を変換するフィルタ処理方法において、
   前記演算処理に先立ち、局所領域内の注目画素以外の各周辺画素の画素値を、注目画素の画素値との差分が、各周辺画素に対応付けて設定した制限値以下となるように変更することを特徴とするフィルタ処理方法。
10. 請求項１に記載のフィルタ処理装置を備え、撮像素子によって得た画像に対して前記フィルタ処理装置にてフィルタ処理を施した後、被写体の特定部分を画像中から検出する撮影装置において、
    多分割測光により前記画像が逆光状態であるか否かを判定し、前記画像が逆光状態である場合には前記リミット処理を行い、前記画像が逆光状態でない場合には前記リミット処理を行わないように前記フィルタ処理装置の制御を行う制御手段を備えたことを特徴とする撮影装置。
11. 前記特定部分は、人物の顔であることを特徴とする請求項１０に記載の撮影装置。

Images