JP2010252293A - 画像処理装置及び撮影装置 - Google Patents

Abstract

【課題】撮像素子やレンズの口径の大きさに依存することなく、撮影者がピントを合わせた被写体が強調された強調画像を比較的簡易に取得できる画像処理装置及撮像装置を提供する。
【解決手段】入力画像のうちピントの合っている部分（合焦部分）とピントがあっていない部分（非合焦部分）とでは、そのエッジ部分における輝度の遷移パターンが異なるため、（極局所領域の輝度差分値）／（局所領域の輝度差分値）により算出されるエッジ差分比が相違する。入力画像にぼかし処理を施して出力画像を生成する際に、エッジ差分比に応じて当該ぼかし処理におけるぼかし度合を変更する。
【選択図】図５

Description

本発明は、撮影者が焦点を合わせた被写体が強調された撮影画像を取得できる画像処理装置及び撮影装置に関する。

現在、CCD（Charge Coupled Device）センサやCMOS（Complimentary Metal Oxide Semiconductor）センサ等の固体撮像素子を用いたデジタルカメラやデジタルビデオカメラ等の撮影装置が広く普及している。

ところで、撮影対象のうち、ピントの合った被写体が鮮明に撮影され、ピントの合った被写体を除く他の被写体がピントがぼけたように撮影され、この結果、全体としてピントの合った被写体が強調されて浮き立ったような、いわゆる“ぼけ味”のある撮影画像を取得するためには、例えば、固体撮像素子のサイズやこの固体撮像素子に撮影画像を結像させるためのレンズの口径が大きいタイプの撮影装置を用いる必要がある。このようなタイプの撮影装置によると、被写界深度を十分に浅くして撮影することができるため、ピントの合った被写体を浮き立たせた、いわゆる“ぼけ味”のある撮影画像を取得することができる。

しかしながら、固体撮像素子のサイズやレンズの口径の小さい、いわゆるコンパクトタイプのデジタルカメラのような撮影装置を用いた場合には、被写界深度を十分に浅くして撮影ができないため“ぼけ味”のある撮像画像を取得することが困難であった。また、どちらのタイプの撮影装置であっても、ピントの合った被写体と他の被写体との間に輝度差や彩度差等を付与することによってピントの合った被写体が強調された撮影画像を取得することは困難であった。

尚、下記特許文献１には、画像処理によりぼけ味のある画像を取得する発明が開示されている。かかる画像処理によると、まず、１つの基準画像データを被写体領域の画像データと背景領域の画像データという別個独立した２つの画像データに分離して出力する。そして、分離された背景画像データにぼかし処理を施した後、ぼかし処理後の背景画像データと基準画像データとを合成する。合成後、背景領域と被写体領域の境界線がギザギザとなり違和感が生じることを防ぐためにアンチエイリアジング処理を施す。かかる一連の処理により”ぼけ味”の或る画像を取得することができる。このように、下記特許文献１では、”ぼけ味”の或る画像を取得できるものの、上記した一連の複雑な処理を必要とするものである。

特開2005-229198号

そこで本願発明は、上記課題に鑑みてなされたものであり、撮像素子やレンズの口径の大きさに依存することなく、ピントの合った被写体が強調された撮影画像を、比較的簡易に取得できる画像処理装置及び撮影装置を提供することを目的とする。

本願の第１発明に係る画像処理装置は、複数の小領域からなる第１撮影画像に対して、第１撮影画像に含まれる合焦状態にある被写体を強調するための第１画像処理を施すことによって出力画像を生成する第１画像処理手段と、各小領域の合焦度合を導出する合焦度導出手段とを備えている。ここで、合焦状態にある被写体とは、いわゆるピントの合った被写体のことである。そして、第１画像処理手段は、合焦度導出手段によって導出された各小領域の合焦度合に応じた強調度合で、各小領域に対して第１画像処理を施す。本願の第１発明によると、第１撮影画像を構成する各小領域の合焦度合に応じた強調度合で、当該各小領域に対して第１画像処理が施されることから、ピントの合った被写体が強調された出力画像を生成することができる。

本願の第２発明に係る画像処理装置は、第１画像処理がぼかし処理であって、
第１画像処理手段は、合焦度導出手段によって導出された各小領域の合焦度合が小さいほど、ぼかし度合を大きくして各小領域にぼかし処理を施すことを特徴とする。本願の第２発明によると、第１撮影画像の各領域のうち、合焦度合の小さい領域ほどぼかし度合の大きいぼかし処理が施されるため、合焦度合の大きいピントの合った被写体の領域に対しては、ぼかし処理がなされないか、或いはぼかし度合が非常に小さいぼかし処理がなされることになる。この結果、ピントの合った被写体が強調された出力画像を生成することができる。

本願の第３発明に係る画像処理装置は、第１画像処理が輝度低減処理であって、第１画像処理手段は、合焦度導出手段によって導出された各小領域の合焦度合が小さいほど、低減度合を大きくして各小領域に輝度低減処理を施すことを特徴とする。本願の第３発明によると、第１撮影画像の各領域のうち、合焦度合の小さい領域ほど低減度合の大きい輝度低減処理が施される。従って、合焦度合の大きくいピントの合った被写体の領域に対しては、輝度低減処理がなされないか、或いは低減度合の非常に小さい輝度低減処理がなされることになる。この結果、ピントの合った被写体が強調された出力画像を生成することができる。

本願の第４発明に係る画像処理装置は、第１画像処理が彩度低減処理であって、第１画像処理手段は、合焦度導出手段によって導出された各小領域の合焦度合が小さいほど、低減度合を大きくして各小領域に対して彩度低減処理を施すことを特徴とする。本願の第４発明によると、第１撮影画像の各領域のうち、合焦度合の小さい領域ほど低減度合の大きい彩度低減処理が施される。従って、合焦度合の大きいピントの合った被写体の領域に対しては、彩度低減処理がなされないか、或いは低減度合の非常に小さい彩度低減処理がなされることになる。この結果、ピントの合った被写体が強調された出力画像を生成することができる。

本願の第５発明に係る画像処理装置は、第１画像処理手段が、第１撮影画像に画像信号を低減する第２画像処理を施し第２撮影画像を生成する第２撮影画像生成手段と、合焦度導出手段により導出された各小領域の合焦度合が小さいほど第２撮影画像の混合割合を大きくして、第１撮影画像における各小領域と第２撮影画像における各小領域に対応する第２小領域を合成処理する合成処理手段とを備えることを特徴とする。本願の第５発明によると、第１撮影画像における各小領域の合焦度合が大きいほど第２撮影画像の混合割合を小さくして、第２撮影画像と第１撮影画像を合成処理することから、ピントの合った被写体が強調された出力画像を生成することができる。

本願の第６発明に係る画像処理装置は、第２画像処理がぼかし処理、輝度低減処理又は彩度低減処理のいずれかであることを特徴とする。本願の第６発明によると、ピントの合っていない背景がぼかされ、或いは、背景の輝度又は彩度が低減される結果、ピントの合った被写体が強調された出力画像を生成することができる。

本願の第７発明に係る画像処理装置は、合焦度導出手段が、各小領域における輝度信号の遷移パターンに応じて合焦度合を導出することを特徴とする。第１撮影画像内においてピントの合っている位置とピントの合っていない位置とでは輝度信号の遷移パターンが相異する。本願の第７発明はこのような輝度信号の遷移パターンに応じて合焦度合を導出することから、合焦度合を精度よく導出できる。この結果、ピントの合った被写体が強調された出力画像を精度よく生成することができる。

本願の第８発明に係る画像処理装置は、合焦度導出手段が、各小領域における輝度信号に含まれる周波数成分に応じて合焦度合を導出することを特徴とする。

第１撮影画像内においてピントの合っている位置とピントの合っていない位置とでは輝度信号に含まれる周波数成分が相違する。本願の第８発明はこのような輝度信号に含まれる周波数成分に応じて合焦度合を導出することから、合焦度合を精度よく導出できる。この結果、ピントの合った被写体が強調された出力画像を精度よく生成することができる。

本願の第９発明に係る撮影装置は、撮影により複数の小領域からなる第１撮影画像を取得する撮影手段と、第１発明乃至第８発明のいずれかに記載の画像処理装置と、画像処理装置によって生成された出力画像を記録する記録手段とを備えたことを特徴とする。

本願発明によると、ピントの合った被写体が強調された撮影画像を比較的簡易に取得することができる。本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施の形態に係る撮像装置の全体構成図である。 図１のレンズ部３の内部構成図である。 第１実施例の強調画像生成処理の概要を説明するための図である。 第１実施例の強調画像生成処理の概要を説明するための図である。 第１実施例に係る強調画像生成処理の動作を説明するための図である。 第１実施例に係る極局所領域差分抽出、局所領域差分抽出、及びエッジ差分比算出処理を説明するための図である。 第１実施例に係る拡張処理を説明するための図である。 第１実施例に係る拡張処理を説明するための図である。 第１実施例に係るぼかし処理及びエッジ強調処理を説明するための図である。 第２実施例に係る強調画像生成処理の動作を説明するための図である。 第２実施例にＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の動作を説明するための図である。 第３実施例に係る強調画像生成処理の動作を説明するための図である。 第４実施例に係る強調画像生成処理の動作を説明するための図である。 第４実施例に係る位置情報テーブル６０の動作を説明するための図である。 第５実施例に係る強調画像生成処理の動作を説明するための図である。 第５実施例に係る位置情報テーブル６３の動作を説明するための図である。 第６実施例に係る強調画像生成処理の動作を説明するための図である。 第６実施例に係る変換テーブル６７の動作を説明するための図である。 撮像装置１が強調画像を生成する手順を示すフローチャートである。 第７実施例に係る強調画像生成処理の動作を説明するための図である。 第７−２実施例において、ぼかし処理部６９が用いるぼかしフィルタを説明するための図である。 第７−２実施例において、ぼかし処理部６９の動作を説明するための図である。 第７−２実施例において、ぼかし処理部６９が位置Ａで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。 第７−２実施例において、ぼかし処理部６９が位置Ｂで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。 第７−３実施例において、ぼかし処理部６９の動作を説明するための図である。 第７−３実施例において、ぼかし処理部６９が位置Ｃで生成するマスクフィルタ及び補正ぼかしフィルタを説明するための図である。 第７−４実施例において、ぼかし処理部６９の動作を説明するための図である。 第７−４実施例において、ぼかし処理部６９によるぼかし処理の効果を説明するための図である。 第７−５実施例において、ぼかし処理部６９の動作を説明するための図である。

＜実施形態＞
本発明に係る画像処理をデジタルカメラやデジタルビデオカメラなどの撮像装置に実施した形態について、図面を参照して説明する。撮像装置は静止画を撮影できるものであれば、動画撮影が可能なものであっても構わない。尚、本願においては、「撮像」と「撮影」を同義で使用する。

（撮像装置の構成）
図１は、本発明の実施形態に係る撮像装置１の内部構成を示すブロック図である。図１において、撮像装置１は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどのイメージセンサ(固体撮像素子)２と、ズームレンズやフォーカスレンズを備え被写体の光学像をイメージセンサ２に結像させるレンズ部３と、イメージセンサ２から出力されるアナログ電気信号である画像信号を増幅する増幅回路（図示せず。）及び当該画像信号をデジタルの画像信号に変換するＡ/Ｄ（Analog/Digital）変換回路（図示せず。）を備えたＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される複数フレーム分のデジタル画像信号をフレーム単位で一時的に格納するフレームメモリ５と、外部から入力された音声信号を電気信号に変換するマイクロフォン（以下、マイクと記載する。）６と、フレームメモリ５に一時的に格納され画像信号に対して画像処理を施す画像処理部７と、マイク６からのアナログの音声信号をデジタル信号に変換し、音声処理を施す音声処理部８と、静止画を撮影する場合は画像処理部７からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部７からの画像信号と音声処理部８からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部９を備える。

また、撮像装置１は、圧縮処理部９で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部１０と、ドライバ部１０で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸張処理部１１と、伸長処理部１１で復号されて得られた画像信号をアナログ信号に変換する画像信号出力部１２と、画像信号出力部１２で変換された画像信号に基づく画像の表示を行うＬＣＤ等を有する表示部１３と、伸張処理部１１からのデジタルの音声信号をアナログの音声信号に変換して出力する音声信号出力部１４と、音声信号出力部１４からのアナログの音声信号を再生するスピーカ部１５と、を備える。

また、撮像装置１は、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ(Timing Generator)１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッタボタンを含むユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス２１と、を備える。

図２は、レンズ部３の内部構成図である。レンズ部３は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り３２の開口量（換言すると、開口部の大きさである。）の調節を実現するためのモータ等から構成される。

撮像装置１は、「自動的にフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像をイメージセンサ２の撮像面（受光面と呼ぶこともできる。）に結像させる」いわゆるＡＦ（Automatic Focus）機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点がイメージセンサ２の撮像面上の点と一致する。ここで本願では、被写体を表す光学像をイメージセンサ２の撮像面に結像させることを被写体にピントを合わせる、或いは焦点を合わせると記載する。また、ピントが合わせられた被写体をピントの合った被写体、或いは焦点の合った被写体と記載する。逆に、ピントが合っていない場合をピントがぼけていると記載する。

また、撮像装置１は、「自動的に絞り３２の開口量、イメージセンサ２の露光時間及びＡＦＥ４の増幅率を制御することにより、撮影画像の明るさを略一定に保つ」いわゆるＡＥ(Automatic Exposure)機能を備えている。さらに、撮像装置１は、「被写体に照射される光の光源を判定し、当該光源に応じて、白色の色相を自動的に決定するとともに、当該白色の色相に応じてその他の色の色相を決定する」いわゆるＡＷＢ(Automatic White Balance)機能を備えている。

撮像装置１では、撮影者から操作部１９に対してズーム倍率を変更する操作が行なわれた場合には、ＣＰＵ１７が、当該操作に従って、ズームレンズ３０を光軸に沿って移動させる、いわゆるズーム制御を行う。これによりイメージセンサ２による撮影の画角が変更される（換言すれば、イメージセンサ２の撮像面上に形成される被写体の像が拡大または縮小される）。

図１の撮像装置１は、静止画撮影の際、画像処理部７の画像処理により、ピントの合っている被写体（以下、特定被写体とも記載する。）画像がピントのあっていない被写体（以下、背景とも記載する。）画像よりも強調された撮影画像（以下、強調画像とも記載する。）を比較的簡易に生成することができる。以下、画像処理部７で実現する強調画像生成処理の各実施例について説明する。

＜第１実施例＞
図３は、第１実施例に係る強調画像生成処理の概要を説明するための図である。図３（ａ）は、撮像装置１による静止画撮影により取得された入力画像１００を示している。図３（ａ）において、人物１０１は、特定被写体の画像であり、建物１０２は、背景画像の一つである。図３（ｂ）は、人物１０１の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。人物１０１はピントが合っているため、輝度変化の境界部分（以下、エッジ部分とも記載する。）であるＥ地点付近で輝度値が急峻に変化している。従って、Ｅ地点を中心とするＡＢ間を極局所領域と、Ｅ地点を中心とする極局所領域よりも広いＣＤ間を局所領域と定義すると、極局所領域における輝度の最大値と最小値の差分である輝度差分値と局所領域における輝度差分値は等しくなる。即ち、
（極局所領域の輝度差分値）／（局所領域の輝度差分値）＝１
となる。

一方、図３（ｃ）は、建物１０２の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。建物１０２はピントが合っていないため、輝度変化の境界部分であるＪ地点付近では輝度値は緩慢に変化している。従って、Ｊ地点を中心とする極局所領域ＦＧ間における輝度差分値はＪ地点を中心とする局所領域ＨＩ間における輝度差分値よりも非常に小さくなる。即ち、
（極局所領域の輝度差分値）／（局所領域の輝度差分値）＜＜１
となる。尚、以下では（極局所領域の輝度差分値）／（局所領域の輝度差分値）をエッジ差分比と記載する。

このように、入力画像のうちピントの合っている部分（即ち、合焦部分。）とピントがあっていない部分（即ち、非合焦部分。）とでは、そのエッジ部分における輝度信号の遷移パターンが異なるため、エッジ差分比が相違する。即ち、入力画像の各画素では、ピントがどの程度合っているか（以下、合焦度合とも記載する。）によって当該画素周辺における輝度信号の遷移パターンが相異し、これによりエッジ差分比も相異する。

第１実施例では、入力画像にぼかし処理を施して出力画像を生成する際に、エッジ差分比に応じて当該ぼかし処理におけるぼかし度合を変更する。

図４は、入力画像に当該ぼかし処理を施すことによって生成される出力画像を説明するための図である。エッジ差分比画像１０３は、入力画像１００の各画素について、エッジ差分比を算出してプロットすることにより生成された画像である。

出力画像１００ａは、入力画像に対してエッジ差分比に応じたぼかし度合によるぼかし処理を施すことによって生成された画像である。

エッジ差分比が小さいほどぼかし度合が強くなるように設定することによって、ピントの合っていない建物１０２は、ぼかし度合の強いぼかし処理が施されることとなる。 他方、ピントの合った人物１０１に対しては、ぼかし処理が施されない、あるいはぼかし度合の弱いぼかし処理が施される。この結果、出力画像１００ａは入力画像１００と比較して、ピントの合っていない建物１０２ａを含む背景画像のぼけ度合いがより一層大きくなり、いわゆるぼけ味のある撮影画像となっている。

図５は、第１実施例に係る強調画像生成処理の動作を説明するための図である。上述したようにフレームメモリ５にはＡＦＥ４から出力されるデジタル画像信号が一時的に格納されている。このデジタル画像信号はＲＡＷデータの形式で格納されている。ＹＵＶ生成部４１は、フレームメモリ５に一時的に格納されたＲＡＷデータ形式の画像信号に対し、いわゆる色分離処理（色同時化処理ともいう。）を施すとともに、色分離されたデジタル画像信号からＹ、Ｕ、Ｖ信号を生成する。

極局所領域差分抽出部４２は、ＹＵＶ生成部４１から出力される輝度信号から、画素毎に極局所領域の輝度差分値を抽出し出力する。局所領域差分抽出部４３は、ＹＵＶ生成部４１から出力される輝度信号から画素毎に局所領域の輝度差分値を抽出し出力する。エッジ差分比算出部４４は、極局所領域の輝度差分値及び局所領域の輝度差分値に基づいて画素毎にエッジ差分比を算出し出力する。

図６は、極局所領域差分抽出部４２による極局所領域差分抽出処理、局所領域差分抽出部４３による局所領域差分抽出処理、及びエッジ差分比算出部４４によるエッジ差分比算出処理を説明するための図である。図６（ａ）は、ＹＵＶ生成部４１から出力される輝度信号のうち、例として７×７画素分を取り出した図である。図６（ａ）において、「ａｉｊ」は、画素ｉｊにおける輝度値を示している。例えば、「ａ１２」は、画素１２の輝度値を示している。ここで、極局所領域を、注目画素を中心とし、当該注目画素から比較的狭い範囲の周辺領域と定義し、局所領域を注目画素を中心とし、当該注目画素から極局所領域よりも広い範囲の周辺領域と定義する。

図６（ａ）では、例として、３×３画素からなる領域を極局所領域とし、７×７画素からなる領域を局所領域としている。具体的には、注目画素を画素４４とし、画素ｉｊ（ｉ＝３,４,５、ｊ＝３,４,５）からなる領域を極局所領域とし、画素ｉｊ（ｉ＝１,２・・７、ｊ＝１,２・・７）からなる領域を局所領域としている。

極局所領域差分抽出部４２は、注目画素の極局所領域における輝度の最大値と最小値の差分を極局所領域の輝度差分値として抽出する。図６（ａ）において、例えば、注目画素４４の極局所領域においてａ５５が最大値、ａ３３が最小値であるとすると、注目画素４４の極局所領域の輝度差分値ｂ４４はｂ４４＝ａ５５−ａ３３となる。極局所領域差分抽出部４２は極局所領域を１画素単位でシフトするとともに、全画素の極局所領域の輝度差分値を抽出する。

図６（ｂ）は、各画素における極局所領域の輝度差分値を示す。例えば、ｂ４４は、画素４４における極局所領域の輝度差分値を示す。

局所領域差分抽出部４３は、注目画素の局所領域における輝度の最大値と最小値の差分を局所領域の輝度差分値として抽出する。図６（ａ）において、例えば、注目画素４４の局所領域においてａ１１が最大値、ａ１７が最小値であるとすると、注目画素４４に対する局所領域の輝度差分値ｃ４４は、ｃ４４＝ａ１１−ａ１７となる。局所領域差分抽出部４３は局所領域を１画素単位でシフトするとともに、全画素の局所領域の輝度差分値を抽出する。図６（ｃ）は、各画素における局所領域の輝度差分値を示す。例えば、ｃ４４は、画素４４における局所領域の輝度差分値を示す。

図５のエッジ差分比算出部４４は、各画素について、極局所領域の輝度差分値と局所領域の輝度差分値に微小なオフセット値αを加えた値との比、即ち（極局所領域の輝度差分値）／（局所領域の輝度差分値＋α）を補正エッジ差分比として算出する。尚、局所領域の輝度差分値にオフセット値αを加えるのは、分母がゼロになるのを防ぐためである。図６（ｄ）は、各画素における補正エッジ差分比を示す。例えば、ｄ４４は、画素４４における補正エッジ差分比を示す。

図５の拡張処理部４５は、算出された各画素の補正エッジ差分比に基づいて、エッジ部分の領域を拡張する。図７は、拡張処理部４５による拡張処理の概要を説明するための図である。図７（ａ）は、図３（ａ）における人物１０１の或る領域におけるＸ軸方向の輝度信号の遷移を示す模式図である。図７（ａ）において、Ｌ地点がエッジ部分であり、Ｌ地点を中心とする所定範囲であるＫＭ間を拡張処理対象領域とする。

図７（ｂ）は、図７（ａ）と同じ領域におけるＸ軸方向の補正エッジ差分比の遷移を示す模式図である。図７（ｂ）から明らかなように、エッジ差分比算出部４４により算出された補正エッジ差分比は、エッジ部分であるＬ地点で最大となる。拡張処理部４５は、拡張処理対象領域における各画素の補正エッジ差分比を、最大値を取るＬ地点の補正エッジ差分比に置換する。

図７（ｃ）は、図７（ａ）と同じ領域におけるＸ軸方向の拡張処理後の補正エッジ差分比の遷移を示す模式図である。図７（ｃ）では、拡張処理対象領域の補正エッジ差分比がエッジ部分Ｌ地点の補正エッジ差分比に置換されている。即ち、拡張処理部４５は、注目画素を中心する拡張処理対象領域において、注目画素の補正エッジ差分比を、拡張処理対象領域内の最も大きい補正エッジ差分比と置換する。

図８は拡張処理部４５による拡張処理を説明するための図である。図８（ａ）、（ｂ）、（ｃ）、（ｄ）は、エッジ差分比算出部４４から出力される入力画像に対する補正エッジ差分比のうち、７×７画素分の補正エッジ差分比を示す。図８（ａ）では、拡張処理部４５は注目画素を画素４４として、拡張処理対象領域を注目画素４４を中心とする３×３画素からなる領域としている。今、図８（ａ）において、注目画素４４のｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素４４の値は置換せずそのまま維持する。図８（ｅ）は、図８（ａ）の場合における拡張処理の結果を示している。図８（ｂ）は、拡張処理対象領域を１画素分右へシフトし、注目画素を画素４５とした場合を示している。

図８（ｂ）において、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素４５の値をｄ４４の値に置き換える。図８（ｆ）は、図８（ｂ）の場合における拡張処理の結果を示している。図８（ｆ）において、画素４５の値がｄ４５からｄ４４に置換されている。図８（ｃ）は、図８（ａ）の状態から拡張処理対象領域を１画素分上へシフトし、注目画素を画素３４とした場合を示している。

図８（ｃ）においても、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部３５は、注目画素３４の値をｄ４４の値に置き換える。図８（ｇ）は、図８（ｃ）の場合における拡張処理の結果を示している。図８（ｇ）において、画素３４の値がｄ３４からｄ４４に置換されている。図８（ｄ）は、図８（ａ）の状態から拡張処理対象領域を１画素分下へシフトし、注目画素を画素５４とした場合を示している。

図８（ｄ）においても、ｄ４４が最も大きい補正エッジ差分比であるとすると、拡張処理部４５は、注目画素５４の値をｄ４４の値に置き換える。図８（ｈ）は、図８（ｄ）の場合における拡張処理の結果を示している。図８（ｈ）において、画素５４の値がｄ５４からｄ４４に置換されている。

このようにして、拡張処理部４５は、全画素について拡張処理を行なう。拡張処理によるとエッジ部分の領域が拡張されるため、ピントの合っている被写体とピントのあっていない被写体の境界が明確になり、より一層ぼけ味のある強調画像を生成することができる。

図５の変換テーブル４６は、拡張処理部４５から出力される画素毎の補正エッジ差分比に応じて画素毎にぼかし度合およびエッジ強調度合を導出して出力する。

図９（ａ）は、変換テーブル４６が、補正エッジ差分比からぼかし度合を導出するための関数を示している。図９（ａ）において、変換テーブル４６は、補正エッジ差分比が閾値ＴＨ_Ｂよりも小さければ、ぼかし度合を最大とし、補正エッジ差分比が閾値ＴＨ_Ａ以上であれば最小とする。補正エッジ差分比が閾値ＴＨ_Ｂ以上であり閾値ＴＨ_Ａより小さければ、補正エッジ差分比が増加するにつれてぼかし度合を線形的に減少させる。なお、非線形に減少させるものとしても構わないが単調減少するものが好ましい。

図９（ｂ）は、変換テーブル４６が、エッジ強調度合を導出するための関数を示している。図９（ｂ）において、変換テーブル４６は、補正エッジ差分比が閾値ＴＨ_Ｃよりも小さければ、エッジ強調度合を１．０とし、補正エッジ差分比が閾値ＴＨ_Ｄ以上であれば最大とする。補正エッジ差分比が閾値ＴＨ_Ｃ以上であり閾値ＴＨ_Ｄより小さければ、補正エッジ差分比が増加するにつれてエッジ強調度合を線形的に増加させる。なお、非線形に増加させるものとしても構わないが単調増加するものが好ましい。

図５のぼかし処理部４７は、変換テーブル４６から出力される画素毎のぼかし度合に応じてＹＵＶ生成部４１から出力されるＹ、Ｕ、Ｖ信号に対し画素毎にぼかし処理を施す。ぼかし処理部４７は、例えば、単純な平均化フィルタではなく、注目画素に近いほど大きな重みを付け、その重みをガウス分布に近づけたガウシアンフィルタを採用することができる。この場合、変換テーブル４６から出力されるぼかし度合を当該ガウス分布の分散値とすることができる。

エッジ強調処理部４８は、ぼかし処理部４７から出力されるＹ、Ｕ、Ｖ信号に対し画素毎にエッジ強調処理を施す。エッジ強調処理部４８は、例えば、変換テーブル４６から出力される画素毎のエッジ強調度合に応じて、エッジ強調度合を変更できる鮮鋭化フィルタを採用することができる。尚、上記ガウシアンフィルタ及び鮮鋭化フィルタは、例えば、CG-ARTS協会から発行されている「デジタル画像処理」（２００７年３月１日第２版第２印刷）の１０８頁から１１０頁、及び１２２頁から１２４頁に記載されているものを採用することができる。また、上記実施例１では、極局所領域を３×３画素、局所領域を７×７画素及び拡張処理対象領域を３×３画素からなる領域としているが、これらに限られるものではなく実施例１で採用した領域よりも広い範囲、或いは狭い範囲からなる領域とすることも可能である。

＜第２実施例＞
図１０は、画像処理部７における強調画像生成処理の第２実施例を説明する図である。図１０において、図５と同一の番号を付している部位は、第１実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。

尚、第２実施例では、拡張処理部４５には後述する周波数成分比が入力されることになるが、拡張処理部４５は第１実施例の場合と同一の処理を行なう。

また、変換テーブル４６には、拡張処理部４５からの画素毎の周波数成分比が入力されるが、変換テーブル４６は、実施例１の場合と同一の処理を行なう。従って、図９（ａ）、（ｂ）においてその横軸が周波数成分比となる。

ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１は、ＹＵＶ生成部４１から出力されるＹ信号（以下、輝度信号とも記載する。）からそれぞれ所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦ（Band Pass Filter）である。

図１１は、ＢＰＦ−Ｈ５０とＢＰＦ−Ｌ５１の周波数特性を示している。図１１において、Ｆ_ＨはＢＰＦ−Ｈ５０の中心周波数、Ｆ_Ｈｃ１及びＦ_Ｈｃ２は遮断周波数（カットオフ周波数）を示しており、（Ｆ_Ｈｃ２−Ｆ_Ｈｃ１）をＢＰＦ−Ｈ５０の通過帯域という。同様に、Ｆ_ＬはＢＰＦ−Ｌ５１の中心周波数、Ｆ_Ｌｃ１及びＦ_Ｌｃ２は遮断周波数であり、（Ｆ_Ｌｃ２−Ｆ_Ｌｃ１）がＢＰＦ−Ｈ５０の通過帯域である。ＢＰＦ−Ｈ５０は中心周波数Ｆ_Ｈの輝度信号を１００％通過させ、ＢＰＦ−Ｌ５１は中心周波数Ｆ_Ｌの輝度信号を１００％通過させる。

ＢＰＦ−Ｈ５０では、輝度信号の高周波成分を抽出できるようにＦ_Ｈが比較的高い周波数に設定されている。他方、ＢＰＦ−Ｌ５１では、ＢＰＦ−Ｈ５０よりも低い周波数成分を抽出できるようにＦ_ＬはＦ_Ｈよりも低い周波数に設定されている。

周波数成分比算出部５２は、ＢＰＦ−Ｈ５０から出力される輝度信号値とＢＰＦ−Ｌ５１から出力される輝度信号値とから下記式（１）により画素毎に周波数成分比を算出する。
周波数成分比＝｜（ＢＰＦ−Ｈ５０の出力値）／（ＢＰＦ−Ｌ５１の出力値）｜
・・・（１）
図３（ａ）の入力画像１００において、ピントの合っている人物１０１の或る領域には、高周波成分の輝度信号が多く含まれている。他方、ピントの合っていない建物１０２は、ピントがあっていないことから高周波成分の輝度信号は少なく、中域成分あるいは低域成分の輝度信号が多く含まれている。

従って、ピントの合っている位置（即ち、合焦位置）では、
｜ＢＰＦ−Ｈ５０の出力値｜＞｜ＢＰＦ−Ｌ５１の出力値｜
となり、ピントの合っていない位置（即ち、非合焦位置）では、
｜ＢＰＦ−Ｈ５０の出力値｜＜｜ＢＰＦ−Ｌ５１の出力値｜
となる。

第２実施例では、入力画像にぼかし処理を施して出力画像を生成する際に、上記（１）式により算出される周波数成分比に応じて当該ぼかし処理におけるぼかし度合を変更する。具体的には、周波数成分比が大きい画素ほど、ぼかし度合を小さくするぼかし処理を施し、小さい画素ほど、ぼかし度合を大きくするぼかし処理を施す。これにより、ピントの合っている被写体が強調された強調画像を生成することができる。

＜第３実施例＞
図１２は、画像処理部７における強調画像生成処理の第３実施例を説明する図である。図１２において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。尚、第３実施例では、拡張処理部４５には後述する水平周波数成分比又は垂直周波数成分比が入力されることになるが、拡張処理部４５は第２実施例の場合と同一の処理を行なう。また、変換テーブル４６には、拡張処理部４５からの画素毎の水平周波数成分比又は垂直周波数成分比が入力されるが、変換テーブル４６は、実施例２の場合と同一の処理を行なう。従って、図９（ａ）、（ｂ）においてその横軸が水平周波数成分比又は垂直周波数成分比となる。

Ｈ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４は、ＹＵＶ生成部４１から出力される輝度信号から水平方向（図３（ａ）のＸ軸方向）における所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。

Ｈ−ＢＰＦ−Ｈ５３では、輝度信号の高周波成分を抽出できるようにその中心周波数Ｆ_ＨＨが比較的高い周波数に設定されている。他方、Ｈ−ＢＰＦ−Ｌ５４では、Ｈ−ＢＰＦ−Ｈ５３よりも低い周波数成分を抽出できるようにその中心周波数Ｆ_ＨＬはＦ_ＨＨよりも低い周波数に設定されている。

水平周波数成分比算出部５７は、Ｈ−ＢＰＦ−Ｈ５３から出力される輝度信号値とＨ−ＢＰＦ−Ｌ５４から出力される輝度信号値とから下記式（２）により水平周波数成分比を算出する。
水平周波数成分比＝｜（Ｈ−ＢＰＦ−Ｈ５３の出力値）／（Ｈ−ＢＰＦ−Ｌ５４
の出力値）｜ ・・・（２）
Ｖ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６は、ＹＵＶ生成部４１から出力される輝度信号から垂直方向（図３（ａ）のＹ軸方向）における所定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。

Ｖ−ＢＰＦ−Ｈ５５では、輝度信号の高周波成分を抽出できるようにその中心周波数Ｆ_ＶＨが比較的高い周波数に設定されている。他方、Ｖ−ＢＰＦ−Ｌ５６では、Ｖ−ＢＰＦ−Ｈ５５よりも低い周波数成分を抽出できるようにその中心周波数Ｆ_ＶＬはＦ_ＶＨよりも低い周波数に設定されている。

垂直周波数成分比算出部５７は、Ｖ−ＢＰＦ−Ｈ５５から出力される輝度信号値とＶ−ＢＰＦ−Ｌ５６から出力される輝度信号値とから下記式（３）により垂直周波数成分比を算出する。

垂直周波数成分比＝｜（Ｖ−ＢＰＦ−Ｈ５５の出力値）／（Ｖ−ＢＰＦ−Ｌ５６
の出力値）｜ ・・・（３）
選択部５９は、水平周波数成分比算出部５７から出力される水平周波数成分比と垂直周波数成分比算出部５８から出力される垂直周波数成分比のうち、大きい方を選択し、拡張処理部４５へ出力する。

このように、第３実施例では、入力画像の水平、垂直の両方向について合焦度合を考慮してぼかし処理部４７のぼかし度合、及びエッジ強調処理部４８のエッジ強調度合を制御することができる。従って、第３実施例によると、よりきめ細かくぼかし処理及びエッジ処理が施された強調画像を生成することができる。

＜第４実施例＞
図１３は、画像処理部７における強調画像生成処理の第４実施例を説明する図である。図１３において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。

撮像装置１のレンズ部３が備えるレンズは、通常、撮影画像の中心点から遠ざかるに連れてＭＴＦ（Modulation Transfer Function）が劣化する。尚、撮影画像の中心とは、図３（ａ）の入力画像１００を例にとると、Ｘ軸方向の中点を通るＹ軸に平行な直線と、Ｙ軸方向の中点を通るＸ軸に平行な直線との交点を意味する。このため、例えば、図３（ａ）の人物１０１に対して、撮影画像の中心点から離れた４隅周辺でピントを合わせた場合の輝度信号の高域成分の大きさは、中心点付近でピントを合わせた場合と比較して小さくなってしまう。よって、撮影画像全体に同じ特性のＢＰＦを施し、上記（１）で周波数差分比を算出したとしても精度のよい特性（合焦度合を表わす正しい特性、換言すると合焦位置からのズレを表わす正しい特性）が得られない。

そこで、周波数差分比の特性の精度を向上させるための方策の一つとして、入力画像内の画素位置に応じてＢＰＦの特性（中心周波数）を変更し、合焦度合の検出精度を高めることが考えられる。

図１３において、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、ＹＵＶ生成部４１から出力される輝度信号からそれぞれ一定範囲の周波数帯域の成分を含む輝度信号を抽出するＢＰＦである。そして、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、後述の位置情報テーブル６０から出力されるパラメータに応じてその中心周波数を変更することができる。従って、輝度信号から抽出する周波数帯域の範囲を変更することができる。

位置情報テーブル６０には、予めＹＵＶ生成部４１から出力される輝度信号の各画素位置に応じた、ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２が抽出すべき周波数帯域の範囲を設定するためのパラメータが格納されている。

具体的には、各画素の位置が入力画像の中心点に存在する画素、或いは中心点に最も近い画素（以下、これらをまとめて中心画素と記載する。）から離れるにつれてＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２が抽出する周波数帯域の範囲を低周波数側へシフトさせるようなフィルタ係数が格納されている。ＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２は、入力される輝度信号にフィルタ処理を施す際に、位置情報テーブル６０から出力されるフィルタ係数を取得して、フィルタ処理を行う。

図１４（ａ）は、入力画像１００と入力画像１００上の中心画素１０３及び隅にある画素（以下、隅画素と記載する。）１０４を示す図である。図１４（ｂ）は、入力画像１００の画素位置に応じて変動するＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２の周波数特性を示す図である。

ＢＰＦ−Ｈ６１は、入力画像１００の中心画素１０３に対してフィルタ処理を行う場合は、位置情報テーブル６０から周波数特性が曲線１０３Ｈとなるパラメータを取得しフィルタ処理を行う。そして、ＢＰＦ−Ｌ６２は、位置情報テーブル６０から周波数特性が曲線１０３Ｌとなるパラメータを取得しフィルタ処理を行う。

一方、ＢＰＦ−Ｈ６１は、入力画像１００の隅画素１０４に対してフィルタ処理を行う場合は、位置情報テーブル６０から周波数特性が曲線１０４Ｈとなるパラメータを取得しフィルタ処理を行う。そして、ＢＰＦ−Ｌ６２は、位置情報テーブル６０から周波数特性が曲線１０４Ｌとなるパラメータを取得しフィルタ処理を行う。

実施例４によると、撮像装置１のレンズ部３が備えるレンズのＭＴＦ特性を考慮し、入力画像内の各画素に対して、各画素位置に応じた周波数特性を有するＢＰＦ−Ｈ６１及びＢＰＦ−Ｌ６２によりフィルタ処理を行うことができる。これにより、周波数成分比算出部５２は、高精度に周波数成分比を算出することができ、この結果、より高精度に強調画像を生成することができる。

尚、当然のことながら、実施例３も、位置情報テーブル６０を採用するとともに、位置情報テーブル６０からのパラメータに応じてＨ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４、並びにＶ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６が抽出する周波数帯域の範囲を可変とすることにより、実施例４と同様の効果を奏することができる。

＜第５実施例＞
図１５は、画像処理部７における強調画像生成処理の第５実施例を説明する図である。図１５において、図１０と同一の番号を付している部位は、第２実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。

位置情報テーブル６３には予め、入力画像に含まれる輝度信号の周波数毎に、入力画像の中心画素におけるＭＴＦと入力画像の各画素位置におけるＭＴＦとの差に応じたゲイン値が格納されている。

位置情報テーブル６３は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１からそれぞれの中心周波数を取得し、当該周波数に対応するゲイン値を導出し後述の乗算部６４及び６５に出力する。

図１６は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の周波数特性、図１４（ｂ）の中心画素１０３及び隅画素１０４におけるＭＴＦを示している。曲線１０５及び曲線１０６はそれぞれＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の周波数特性を示し、Ｆ_Ｈ及びＦ_Ｌは、それぞれの周波数特性の中心周波数を示している。曲線１０３ｍは、中心画素１０３における輝度信号の周波数に対するＭＴＦを示している。曲線１０４ｍは、隅画素１０４における輝度信号の周波数に対するＭＴＦを示している。

今、例えば、輝度信号の周波数がＦ_Ｓのときの曲線１０３ｍの値が０．６５、曲線１０４ｍの値が０．４であるとする。これは、中心画素１０３における周波数Ｆ_ｓの輝度信号の大きさが、本来有するべき大きさの６５％となっていることを示している。同様に、隅画素１０４における周波数Ｆ_ｓの輝度信号の大きさが、本来有するべき大きさの４０％となっていることを示している。

図１６において、ｇ_Ｈｎは、ＢＰＦ−Ｈ５０の周波数特性の中心周波数Ｆ_Ｈにおける、中心画素１０３のＭＴＦと隅画素１０４のＭＴＦとの差を示している。同様に、ｇ_Ｌｎは、ＢＰＦ−Ｈ５０の周波数特性の中心周波数Ｆ_Ｌにおける、中心画素１０３のＭＴＦと隅画素１０４のＭＴＦとの差を示している。位置情報テーブル６３には、ｇ_Ｈｎに応じたゲインＧ_Ｈｎ及びｇ_Ｌｎに応じたゲインＧ_Ｌｎが格納されている。

乗算部６４は、位置情報テーブル６３からゲインＧ_Ｈｎを取得し、これを隅画素１０４に対するＢＰＦ−Ｈ５０によるフィルタ処理結果に乗じて出力する。同様に、乗算部６５は、位置情報テーブル６３からゲインＧ_Lｎを取得し、これを隅画素１０４に対するＢＰＦ−Ｌ５１のフィルタ処理結果に乗じて出力する。尚、乗算部６４及び乗算部６５は、ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１の中心画素１０３に対するフィルタ処理結果には１．０を乗じる。

実施例５によると、撮像装置１のレンズ部３が備えるレンズのＭＴＦ特性を考慮し、各画素位置に応じたゲイン値をＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１からの出力に乗じる。これにより、周波数成分比算出部５２は、実施例４と同様、高精度に周波数成分比を算出することができ、この結果、より高精度に強調画像を生成することができる。

尚、当然のことながら、実施例３についても位置情報テーブル６３を採用するとともに、位置情報テーブル６３からのゲイン値それぞれを、Ｈ−ＢＰＦ−Ｈ５３及びＨ−ＢＰＦ−Ｌ５４、並びにＶ−ＢＰＦ−Ｈ５５及びＶ−ＢＰＦ−Ｌ５６ＢＰＦ−Ｈ５０及びＢＰＦ−Ｌ５１それぞれからの出力に乗じることにより実施例５と同様の効果を奏することができる。

＜第６実施例＞
図１７は、画像処理部７における強調画像生成処理の第６実施例を説明する図である。図１７において、図５と同一の番号を付している部位は、第１実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。

図１７において、ぼかし処理部６０は、入力画像にぼかし処理を施し、ぼかし画像を出力する。ぼかし処理部６０は、例えば、隣接する画素信号の濃淡変化を滑らかにする平均化フィルタ、或いは画像信号に含まれる空間周波数成分のうち、低周波成分は残し、高周波成分を除去するようなＬＰＦ（Low Pass Filter）を採用することができる。上記平均化フィルタやＬＰＦは、例えば、CG-ARTS協会から発行されている「デジタル画像処理」（２００７年３月１日第２版第２印刷）の１０８頁から１１０頁、及び１３１頁から１３３頁に記載されているものを採用することができる。変換テーブル６７は、拡張処理部４５から出力される補正エッジ差分比に基づいて、入力画像とぼかし画像との合成度合いを表わす加算比率Ｋを、入力画像の画素毎に導出する。

図１８は、変換テーブル６７が、加算比率Ｋを導出するための関数を示している。図１８において、変換テーブル６７は、補正エッジ差分比が閾値ＴＨ_Ｅよりも小さければ、加算比率を０とし、補正エッジ差分比が１．０以上であれば１とする。補正エッジ差分比が閾値ＴＨ_Ｅ以上であり１．０より小さければ、補正エッジ差分比が増加するにつれて加算比率Ｋを線形的に増加させる。なお、非線形に増加させるものとしても構わないが単調増加するものが好ましい。

加重加算処理部６８は、入力画像とぼかし画像を加算比率Ｋに基づいて合成し、出力画像を生成する。具体的には、画素毎に下記式（４）の加重加算処理により出力画像を生成する。
出力画像＝（入力画像×加算比率Ｋ）＋（ぼかし画像×（１−加算比率Ｋ））
・・・（４）
上記式（４）によると、例えば、入力画像が、図３（ａ）の入力画像１００場合、人物１０１については、補正エッジ差分比が大きくなるため人物１０１の画像に対応する画素の加算比率ＫはＫ＝１或いは１に近い値となる。従って出力画像における人物１０１の画像は、入力画像１００の人物１０１の画像とほぼ等しくなる。

一方、入力画像１００の建物１０２の画像については、ピントが合っていないことから、補正エッジ差分比は１より小さい値となる。従って、加算比率Ｋがゼロに近づき、出力画像における建物１０２の画像は、入力画像１００の建物１０２の画像にぼかし画像の建物１０２の画像が混合されるため、入力画像１００の建物１０２の画像よりもぼかし効果が大きい画像となる。この結果、出力画像は、人物１０１が強調されて見える画像となる。

尚、当然のことながら、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例における変換テーブル４６、ぼかし処理部４７及びエッジ強調処理部４８それぞれに替えて、図１７の第６実施例における変換テーブル６７、ぼかし処理部６６及び加重加算処理部６８それぞれを採用することができる。

第２、第４又は第５実施例を変形した場合、変換テーブル６７へは、周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が周波数成分比となる。

第３実施例を変形した場合には、水平周波数成分比又は垂直周波数成分比が入力され、図１８における変換テーブル６７の関数の横軸が水平周波数成分比又は垂直周波数成分となる。

図５の第１実施例、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例におけるぼかし処理部４７に替えて変換テーブル４６から出力されるぼかし度合に応じてＹ信号の大きさのみを低減する可変輝度低減処理部（図示せず。）を採用することができる。また、図１７の第６実施例におけるぼかし処理部６６に替えてＹ信号の大きさのみを低減する固定輝度低減処理部（図示せず。）を採用することができる。これにより、例えば、入力画像が、図３（ａ）の入力画像１００の場合、ピントの合っていない建物１０２の輝度が低減され、人物１０１が強調されて浮き立って見える出力画像を取得することができる。

また、図５の第１実施例、図１０の第２実施例、図１２の第３実施例、図１３の第４実施例及び図１５の第５実施例におけるぼかし処理部４７に替えて変換テーブル４６から出力されるぼかし度合に応じてＵ、Ｖ信号の大きさのみを低減する可変彩度低減処理部（図示せず。）を採用することができる。また、図１７の第６実施例におけるぼかし処理部６６に替えてＵ、Ｖ信号の大きさのみを低減する固定彩度低減処理部（図示せず。）を採用することができる。これにより、例えば、入力画像が、図３（ａ）の入力画像１００の場合、ピントの合っていない建物１０２の彩度が低減され、人物１０１が強調されて浮き立って見える出力画像を取得することができる。

また、上記各実施例及び変形例では、強調画像生成処理を入力画像の画素単位で行なっているが、これに限られるものではない。例えば、複数の画素からなる小領域を強調画像生成処理を施す単位とすることもできる。これによると、強調画像生成処理の処理量を軽減することができる。

図１９は、撮像装置１が強調画像を生成するまでの一連の処理を示すフローチャートである。ステップＳ１００において、撮像装置１の電源がＯＮされると、ステップＳ１０１へ進む。

ステップＳ１０１では、撮影者が撮像装置１の動作モードを選択する。撮像装置１は、動画及び静止画を撮影する撮影モードと既に撮影され外部メモリ２２に記録された撮影画像を再生する再生モードを有する。ここでは、撮影者により撮影モードが選択され、さらに強調画像生成モードが選択されているものとする。

ステップＳ１０２では、撮像装置１は、プレビューモードへ移行する。プレビューモードでは、レンズ部３を経由してイメージセンサ２の光電変換によって得られたアナログの画像信号がＡＦＥ４においてデジタルの画像信号に変換されて画像処理部７へ出力される。そして、画像処理部７において、当該デジタルの画像信号は、ＡＦ処理、ＡＥ処理及びホワイトバランス処理等の画像処理が施され、画像信号出力部１２を経て表示部１３に表示される。

ステップＳ１０３では、撮影者によって撮影対象の構図やズーム倍率が調整される。

ステップＳ１０４では、撮像装置１が、ステップＳ１０３で設定された構図やズーム倍率の下でＡＦ／ＡＥ／ＡＷＢ制御を実行する。

ステップＳ１０５では、ＣＰＵ１７は、操作部１９のシャッタボタンがいわゆる半押しされたかどうかを判定する。

撮像装置１の操作部１９には、静止画撮影のためのシャッタボタン（図示せず。）が備えられている。シャッタボタンは２段階スイッチとなっており、撮影者がシャッタボタンを略半分まで押し込むと第１スイッチがＯＮされる。シャッタボタンが最後まで押し込まれる（以下、シャッタボタンを最後まで押し込むことを全押しと記載する。）と第２スイッチがＯＮされる。

シャッタボタンが半押しされたと判断されると、ステップＳ１０６へ進む。そうでなければステップＳ１０２へ戻り、撮像装置１はプレビューモードを継続する。

ステップＳ１０６では、撮像装置１が、ＡＦ機能により撮影者が注目する被写体（例えば、図３（ａ）の人物１０１。）にピントを合わせるとともに、ＡＥ機能により絞り３２の開口量の設定、イメージセンサ２の露光時間（即ち、シャッタスピード。）の設定及びＡＷＢ機能による色相の設定を行なう。

ステップＳ１０７では、ＣＰＵ１７は、シャッタボタンが全押しされたかどうかを判断する。全押しされたと判断した場合は、ステップＳ１０８へ進む。そうでない場合、即ち半押しの状態が維持されている場合は、撮像装置１は、全押しされるまでステップＳ１０７で設定された撮影条件を維持する。

ステップＳ１０８では、撮像装置１は、ステップＳ１０６で設定された撮影条件で静止画撮影することにより、例えば、図３（ａ）の入力画像１００を取得し、ＲＡＷデータあるいはＹＵＶ形式で入力画像をフレームメモリ５に格納し、ステップＳ１０９へ進む。

ステップＳ１０９では、ＣＰＵ１７は、強調画像生成モードに設定されているか否かを判断する。強調画像生成モードに設定されている場合は、ステップＳ１１０へ進む。そうでない場合は、ステップＳ１１１へ進む。

ステップＳ１１０では、撮影により取得した入力画像から、前述の各実施例及び変形例のいずれかに記載の強調画像生成処理により強調画像を生成し、ステップＳ１１２へ進む。

ステップＳ１１１では、ＣＰＵ１７の制御の下、画像処理部７によって撮影により取得した入力画像に対し画像処理が施され、続いて圧縮処理部９により圧縮処理が施され、外部メモリ２２に格納される。そして、ステップＳ１０２へ戻る。

ステップＳ１１２では、ＣＰＵ１７の制御の下、画像処理部７によって撮影により取得した入力画像１００及び強調画像に対し画像処理が施され、続いて圧縮処理部９により圧縮処理が施され、外部メモリ２２に格納される。そして、ステップＳ１０２へ戻る。

＜実施例７＞
図２０は、画像処理部７における強調画像生成処理の第７実施例を説明する図である。図２０において、図１７と同一の番号を付している部位は、第６実施例の場合と同一の機能及び動作を有する部位であるため、その機能及び動作の説明は省略する。図２０において、ぼかし処理部６９は、入力画像にぼかし処理を施すことによりぼかし画像を生成し出力する。ぼかし処理部６９は、例えば、入力画像に対し画素信号の濃淡変化を滑らかにする平均化フィルタ、画像信号に含まれる空間周波数成分のうち低周波成分を残しつつ高周波成分を除去するようなＬＰＦ（Low Pass Filter）、或いは、処理の対象となる画素に近いほど大きな重みを付け、その重みをガウス分布に近づけたガウシアンフィルタ等を用いることによりぼかし処理を実現する。以下、ぼかし処理を実現するフィルタをぼかしフィルタと記載する。

ぼかし処理部６９は、拡張処理部４５から出力される入力画像の各画素の補正エッジ差分比を０．０以上１．０以下の範囲に収まるように正規化し、かかる正規化された補正エッジ差分比を各画素の合焦度合として利用する。ぼかし処理部６９は、ぼかし処理の対象となる画素（以下、注目画素と記載する。）にぼかし処理を施す際に、当該注目画素の合焦度合に応じて、ぼかし処理によるぼかし度合を変更する。
以下、ぼかし処理部６９によるぼかし処理の実施例について説明する。

＜実施例７−１＞
ぼかし処理部６９は、入力画像における注目画素の合焦度合に応じて、ぼかしフィルタのフィルタサイズを変更する。ぼかし処理部６９は、注目画素の合焦度合が、予め定められた所定の閾値ＴＨ１以上の場合には、ぼかしフィルタのフィルタサイズを小さくし、注目画素の合焦度合が所定の閾値ＴＨ１より小さい場合には、フィルタサイズを大きくする。

例えば、所定の閾値を０．５とした場合、ぼかし処理部６９は、注目画素の合焦度合が０．５以上の場合には、当該注目画素はピントが合っている状態に近いと判断し、フィルタサイズを３×３とする。他方、注目画素の合焦度合が０．５より小さい場合には、当該注目画素はピントが合っていない状態に近いと判断し、フィルタサイズを５×５とする。

画像処理部６９による上記ぼかし処理によると、注目画素が、ピントの合っている状態に近い場合は、注目画素の極近傍、例えば、当該注目画素に隣接する画素のみの画素値を利用してフィルタ処理がなされる。このため当該注目画素のぼかし度合は小さくなる傾向となる。他方、注目画素がピントの合っていない状態に近い場合には、当該注目画素の極近傍の画素のみならず、注目画素から離れた位置にある画素の画素値を利用してフィルタ処理がなされる。このため当該注目画素のぼかし度合は大きくなる傾向となる。即ち、入力画像は、ピントの合っている状態に近い画素に対してはぼかし度合が小さくなるように、ピントの合っていない状態に近い画素に対してはぼかし度合が大きくなるように、ぼかし処理が施されることになる。この結果、ピントの合った被写体が強調された画像をより一層効果的に生成することができる。

＜実施例７−２＞
ぼかし処理部６９は、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。ぼかし処理部６９は、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。今、ぼかし処理部６９が、フィルタサイズ５×５のぼかしフィルタを用いるものとする。

図２１（ａ）は、フィルタサイズが５×５のぼかしフィルタを示している。ぼかしフィルタは、２５個の要素が配列されて構成される。ぼかしフィルタを構成する２５個の要素それぞれをぼかしフィルタ要素と呼ぶ。図２１（ａ）においてａ〜ｙは、各ぼかしフィルタ要素を示している。各ぼかしフィルタ要素はそれぞれ所定のフィルタ係数を有している。図２１（ｂ）においてＣａ〜Ｃｙは、各ぼかしフィルタ要素が有するフィルタ係数である。尚、各ぼかしフィルタ要素の係数Ｃａ〜Ｃｙをまとめてぼかしフィルタのフィルタ係数と記載する場合もある。ここで、ぼかしフィルタによるぼかし処理の対称となる入力画像中の注目画素は、ぼかしフィルタ要素ｍに対応する画素となる。

ぼかし処理部６９は、注目画素（ぼかしフィルタ要素ｍに対応する画素）と各ぼかしフィルタ要素（ぼかしフィルタ要素ｍを除く）に対応する画素の合焦度合に基づいて、ぼかしフィルタにマスク処理を施すためのマスクフィルタを生成する。生成されるマスクフィルタのフィルタサイズはぼかしフィルタのフィルタサイズと同じである。ここで、マスクフィルタについてのマスクフィルタ要素及びマスクフィルタのフィルタ係数の用語の意味は、ぼかしフィルタの場合と同様である。次に、ぼかし処理部６９は、ぼかしフィルタのフィルタ係数それぞれにマスクフィルタのフィルタ係数を乗じることにより補正ぼかしフィルタを生成する。

ぼかし処理部６９は、例えば、以下のような規則に従いマスクフィルタを生成する。

（１）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１より大きい場合、
（１−１） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。

（１−２） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。

（２）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１以下である場合、
（２−１） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。

（２−２） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。

図２２は、ぼかし処理部６９による、入力画像２００に対するぼかし処理を説明するための図である。入力画像２００では、人物２０１にピントが合っているものとする。ぼかし処理部６９は、ぼかしフィルタの位置を水平方向および垂直方向に１画素ずつシフトさせつつ、各位置においてマスクフィルタを生成する。そして、生成したマスクフィルタ及びぼかしフィルタに基づいて補正ぼかしフィルタを生成し、該補正ぼかしフィルタにより注目画素にぼかし処理を施す。

ぼかしフィルタが位置Ａにある場合に、ぼかし処理部６９がどのようにぼかし処理を施すかを説明する。
ぼかしフィルタが位置Ａにある場合、ぼかしフィルタ要素ｍに対応する画素は、ピントの合っている人物２０１の顔の一部の画素であり、その合焦度合がＴＨ１より大きいく１以下であるものとする。また、ぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕ、ｖ、ｗに対応する画素のそれぞれの合焦度合が０以上、ＴＨ１以下で、ぼかしフィルタ要素ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｘ、ｙに対応する画素のそれぞれの合焦度合がＴＨ１より大きく１以下であるものとする。

この場合、ぼかし処理部６９は、規則（１−２）に従ってぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕ、ｖ、ｗに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（１−１）に従ってぼかしフィルタ要素ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を１として、図２３（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２３（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は、生成した補正ぼかしフィルタを用いて、位置Ａにおける入力画像２００の注目画素にぼかし処理を施す。
即ち、ぼかし処理部６９は、合焦度合がＴＨ１以上の注目画素にぼかし処理を施す場合には、合焦度合がＴＨ１以上の画素の画素値のみを用いてぼかし処理を施す。これにより、ピントの合っている注目画素に対するぼかし処理において、ピントのあっていない画素の色が混ざることにより起こる色にじみを軽減することができる。

ぼかしフィルタが位置Ｂにある場合、ぼかしフィルタ要素ｍに対応する画素は、ピントの合っていない人物２０２の体の一部の画素であり、その合焦度合が０以上、ＴＨ１以下であるものとする。また、ぼかしフィルタ要素ａ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕに対応する画素のそれぞれの合焦度合がＴＨ１より大きく１以下、ぼかしフィルタ要素ｂ、ｃ、ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｖ、ｗ、ｘ、ｙに対応する画素のそれぞれの合焦度合が０以上、ＴＨ１以下であるものとする。

このとき、ぼかし処理部６９は、規則（２−１）に従ってぼかしフィルタ要素ａ、ｆ、ｇ、ｋ、ｌ、ｐ、ｑ、ｕに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（２−２）に従ってぼかしフィルタ要素ｂ、ｃ、ｄ、ｅ、ｈ、ｉ、ｊ、ｍ、ｎ、ｏ、ｒ、ｓ、ｔ、ｖ、ｗ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を１として、図２４（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２４（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は生成した補正ぼかしフィルタを用いて、位置Ｂにおける入力画像２００の注目画素にぼかし処理を施す。
即ち、ぼかし処理部６９は、合焦度合がＴＨ１より小さい注目画素にぼかし処理を施す場合には、合焦度合がＴＨ１より小さい画素の画素値のみを用いてぼかし処理を施す。これにより、ピントの合っていない注目画素に対するぼかし処理において、ピントのあっている画素の色が混ざることにより起こる色にじみを軽減することができる。

＜実施例７−３＞
ぼかし処理部６９は、実施例７−２と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２との相違点について説明する。

ぼかし処理部６９は、０．０以上１．０以下の範囲の合焦度合を予め定められた所定範囲毎に区切ることにより３つ以上の小範囲に細分化する。そして、注目画素（ぼかしフィルタ要素ｍに対応する画素）と各ぼかしフィルタ要素（ぼかしフィルタ要素ｍを除く）に対応する画素の合焦度合が細分化された小範囲のいずれに属するかに基づいてマスクフィルタを生成する。そして、ぼかしフィルタと生成されたマスクフィルタに基づいて補正ぼかしフィルタを生成し、当該補正ぼかしフィルタを用いて注目画素にぼかし処理を施す。

ぼかし処理部６９は、例えば、合焦度合を３つの小範囲に細分化し、以下のような規則に従いマスクフィルタを生成する。

（３）注目画素の合焦度合が予め定められた所定の閾値ＴＨ１より大きく、予め定められた所定の閾値ＴＨ２以下の場合、
（３−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。

（３−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。

（３−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。

（４）注目画素の合焦度合が予め定められた所定の閾値ＴＨ２より大きく１以下である場合、
（４−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。

（４−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。

（４−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。

（５）注目画素の合焦度合が０以上で予め定められた閾値ＴＨ１以下である場合、
（５−１） ＴＨ２＜ぼかしフィルタ要素に対応する画素の合焦度合≦１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。

（５−２） ＴＨ１＜ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ２
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を０とする。

（５−３） ０≦ぼかしフィルタ要素に対応する画素の合焦度合≦ＴＨ１
であれば、当該ぼかしフィルタ要素に対応するマスクフィルタ要素のフィルタ係数を１とする。

図２５は、ぼかし処理部６９による、ぼかし処理を説明するための図である。図２５の入力画像３００において、人物３０１は、顔部分３０１ａ、胴体部分３０１ｂ、腕部分３０１ｃから成る。人物３０１は青色の衣服を着ているものとする。このため胴体部分３０１ｂ及び腕部分３０１ｃは青色である。また、ハンドル３０２は赤色、背景３０３は緑色であるものとする。

入力画像３００では、ハンドル３０２及び腕部分３０１ｃにピントが合っており、その合焦度合がＴＨ２より大きいものとする。また、人物３０１の胴体部分３０１ｂの合焦度合がＴＨ１より大きくＴＨ２以下であり、背景３０３の合焦度合が０以上、ＴＨ１以下であるものとする。
以下、ぼかしフィルタが位置Ｃにある場合に、ぼかし処理部６９が、どのようにぼかし処理を施すかを説明する。

図２５において、ぼかし処理の注目画素は、補正フィルタのフィルタ要素ｍに対応する画素である。当該注目画素は、ハンドル３０２の隙間に存在する人物３０１の胴体３０１ｂの一部分の画素である。従って、その合焦度合は上記したようにＴＨ１より大きくＴＨ２以下となる。
今、フィルタ要素ｄ、ｇ、ｋ、ｍ、ｑの合焦度合はＴＨ１より大きくＴＨ２以下であるものとする。

また、フィルタ要素ａ、ｂ、ｃ、ｆ、ｈ，ｉ、ｌ、ｎ、ｐ、ｒ、ｓ、ｕ、ｖ、ｗの合焦度合はＴＨ２より大きく１以下であるものとする。

また、フィルタ要素ｅ、ｊ、ｏ、ｔ、ｘ、ｙの合焦度合は０以上、ＴＨ１以下であるものとする。

このとき、ぼかし処理部６９は、規則（３−１）に従い、ぼかしフィルタ要素ａ、ｂ、ｃ、ｆ、ｈ，ｉ、ｌ、ｎ、ｐ、ｒ、ｓ、ｕ、ｖ、ｗに対応するマスクフィルタ要素のフィルタ係数を０とし、規則（３−２）に従い、ぼかしフィルタ要素ｄ、ｇ、ｋ、ｍ、ｑに対応するマスクフィルタ要素のフィルタ係数を１とし、規則（３−３）に従い、ぼかしフィルタ要素ｅ、ｊ、ｏ、ｔ、ｘ、ｙに対応するマスクフィルタ要素のフィルタ係数を０として、図２６（ａ）のようなマスクフィルタを生成する。ぼかし処理部６９は、図２６（ｂ）に示すように、ぼかしフィルタのフィルタ係数とマスクフィルタのフィルタ係数を乗算し、補正ぼかしフィルタを生成する。ぼかし処理部６９は生成した補正ぼかしフィルタを用いて、位置Ｃにおける入力画像３００の注目画素にぼかし処理を施す。

かかる補正ぼかしフィルタによるぼかし処理によると、合焦度合が注目画素と同じ範囲にある画素の画素値のみを用いてぼかし処理が施されるため、合焦度合が異なる画素の画素値が混ざることにより起こる色にじみを軽減することができる。従って、入力画像３００において、青色の注目画素（ハンドル３０２の隙間に存在する青色の胴体３０１ｂの一部分の画素）のぼかし処理には、赤色や緑色の割合の多い画素は用いられず、青色の割合の多い画素が用いられることになるため、ぼかし処理後の注目画素に赤色や緑色が混ざることを軽減することができる。

＜実施例７−４＞
ぼかし処理部６９は、実施例７−２、実施例７−３と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２及び実施例７−３との相違点について説明する。

ぼかし処理部６９は、例えば、ピントの合った被写体が水平方向へ移動しているシーンの画像が入力された場合、その移動のスピード感を強調する、所謂流し取りの効果を奏するぼかし処理を施す。

図２７は、ぼかし処理部６９による、流し取り効果を奏するぼかし処理を説明するための図である。図２７（ａ）において、入力画像４００では、人物４０１にピントが合っているものとする。入力画像４００は、人物４０１が水平方向左側から右側へ移動しているシーンの画像である。

ぼかし処理部６９は、人物４０１の水平移動方向（左側から右側へ向かう方向）とは反対の水平方向（右側から左側へ向かう方向）に進むに連れて、ぼかし処理に用いるぼかしフィルタの最後尾の列に新たなぼかしフィルタ要素の列を追加することにより新たなぼかしフィルタを生成していく。尚、ぼかしフィルタの最後尾の列とは、人物４０１の水平移動方向と反対の方向を進行方向とした場合の最後尾の列である。

図２７（ｂ）において、ぼかし処理部６９が、位置Ｄにおいて注目画素（フィルタ要素ｍに対応する画素）に対するぼかし処理を施す際に用いるぼかしフィルタ４０２のフィルタサイズは、５×５である。

図２７（ｃ）において、図２７（ｂ）から１画素左側にシフトした位置Ｅ（即ち、水平右方向から左方向へ進めたと見ることができる。）で注目画素（フィルタ要素ｍに対応する画素）にぼかし処理を施す場合、ぼかし処理部６９は、ぼかしフィルタ４０２の右端の列（ぼかしフィルタ要素ｅ、ｊ、ｏ、ｔ、ｙからなる列）にぼかしフィルタ要素イ、ロ、ハ、ニ、ホからなる列を追加し、フィルタサイズが５×６のぼかしフィルタ４０３を生成する。そして、かかるぼかしフィルタ４０３にマスク処理を施した補正ぼかしフィルタを生成し、ぼかし処理を施す。

さらに、図２７（ｄ）において、図２７（ｃ）から１画素左側にシフトした位置Ｆ（即ち、更に水平右方向から左方向へさらに進めたと見ることができる。）で注目画素（フィルタ要素ｍに対応する画素）にぼかし処理を施す場合、ぼかし処理部６９は、ぼかしフィルタ４０３の右端の列（ぼかしフィルタ要素イ、ロ、ハ、ニ、ホからなる列）にフィルタ要素ヘ、ト、チ、リ、ヌからなる列を追加し、フィルタサイズが５×７のぼかしフィルタ４０４を生成する。そして、かかるぼかしフィルタ４０４にマスク処理を施した補正ぼかしフィルタを生成し、ぼかし処理を施す。

図２８は、図２７（ａ）の入力画像４００に、上記のようにぼかし処理を施すことによって生成されたぼかし画像を示している。

このように、ピントの合った特定被写体が水平方向に移動するシーンの入力画像にぼかし処理を施す場合において、ぼかし処理部６９が、特定被写体の水平移動方向と反対方向に向って配列されている画素にぼかし処理を施す際に、当該反対方向に進むに連れてぼかし処理に用いるぼかしフィルタのフィルタサイズを特定被写体の水平移動方向に向って大きくしていくことにより、移動する特定被写体のスピード感を強調したぼかし画像を生成することができる。

＜実施例７−５＞
ぼかし処理部６９は、実施例７−２、実施例７−３と同様に、ぼかしフィルタによるぼかし処理で利用する画素の合焦度合に基づいて当該ぼかしフィルタにマスク処理を施し、補正ぼかしフィルタを生成する。そして、当該補正ぼかしフィルタを用いて入力画像にぼかし処理を施す。以下、実施例７−２及び実施例７−３との相違点について説明する。

ぼかし処理部６９は、例えば、入力画像が、ピントの合った被写体が撮影時に撮影方向を撮像装置に向って移動しているようなシーンの画像である場合、その移動のスピード感を強調する、所謂ズーム流し取りの効果を奏するぼかし処理を施す。

図２９は、ぼかし処理部６９による、ズーム流し取り効果を奏するぼかし処理を説明するための図である。図２９において、入力画像５００は、人物５０１が撮影時に撮影方向を撮像装置に向って移動しているシーンの画像である。入力画像５００では、人物５０１にピントが合っているものとする。

ぼかし処理部６９は、人物５０１を除くその他の被写体に対してぼかし処理を施す場合、人物５０１の重心の位置を導出し、当該重心の位置から離れるに連れて、ぼかし処理に用いるぼかしフィルタのサイズを大きくしていく。即ち、ピントの合っていないと判断される画素に対してぼかし処理を施す場合には、ピントの合っていると判断される画素群の重心を導出し、当該重心から離れるに連れて、ぼかし処理に用いるぼかしフィルタのサイズを大きくしていく。

図２９において、ぼかし処理部６９が、位置Ｇにおいて注目画素（ぼかしフィルタ要素ｍに対応する画素）に対するぼかし処理を施す際に用いるぼかしフィルタ５０２のフィルタサイズは、５×５である。尚、ぼかしフィルタ要素ｍに対応する画素が人物５０１の重心であるとする。

図２９において、位置Ｈにおける注目画素（フィルタ要素ｍに対応する画素）は、ピントの合っていないと判断される画素であるものとする。この場合、ぼかし処理部６９は、ぼかしフィルタ５０３のフィルタサイズを７×７とする。さらに、位置Ｈにおける注目画素（フィルタ要素ｍに対応する画素）は、ピントの合っていないと判断される画素であり、当該注目画素は、位置Ｈにおける注目画素よりも人物５０１の重心から離れている。従って、ぼかし処理部６９が、ぼかしフィルタ５０４のフィルタサイズを８×８とする。

このようなぼかし処理によると、ピントの合っていないと判断される画素については、ピントの合っている被写体の重心から遠ざかるにつれてぼかし処理によるぼかし度合が大きくなる傾向となる。これにより、ピントの合った被写体が撮影方向を撮像装置に向ってくるときのスピード感を強調したぼかし画像を生成することができる。

以上述べたように、本願発明では、入力画像の各画素或いは各領域（以下、各画素等と記載する。）の合焦度合（換言すると、各画素等の画像信号が、ピントが合っている画素等の画像信号からどの程度ずれているかの度合。）を導出し、当該合焦度合に応じて、各画素等の画像信号を低減する。具体的には、合焦度合が小さいほど、画像信号の高周波成分、Ｙ信号（輝度信号）又はＵ及びＶ信号（彩度信号）を低減する。

かかる処理により、撮像装置１の撮影者は、例えば、入力画像１００の背景１０２をぼかすとともに人物１０１を強調して、その結果人物１０１が浮き立ったような“ぼけ味”のある強調画像を取得することができる。

１ 撮像装置
５ 画像処理部
４１ ＹＵＶ生成部
４２ 極局所領域抽出部
４３ 局所領域抽出部
４４ エッジ差分比算出部
４５ 拡張処理部
４６ 変換テーブル部
４７ ぼかし処理部
４８ エッジ強調処理部

Claims (11)

1. 複数の小領域からなる第１撮影画像に対して、該第１撮影画像に含まれる合焦状態にある被写体を強調するための第１画像処理を施すことによって出力画像を生成する第１画像処理手段と、
   前記各小領域の合焦度合を導出する合焦度導出手段と、
   を備え、
   前記第１画像処理手段は、前記合焦度導出手段によって導出された前記各小領域の合焦度合に応じた強調度合で、前記各小領域に前記第１画像処理を施すことを特徴とする画像処理装置。
2. 前記第１画像処理はぼかし処理であって、
   前記第１画像処理手段は、前記合焦度導出手段によって導出された前記各小領域の合焦度合が小さいほど、ぼかし度合を大きくして前記各小領域に前記ぼかし処理を施すことを特徴とする請求項１記載の画像処理装置。
3. 前記第１画像処理は輝度低減処理であって、
   前記第１画像処理手段は、前記合焦度導出手段によって導出された前記各小領域の合焦度合が小さいほど、低減度合を大きくして前記各小領域に前記輝度低減処理を施すことを特徴とする請求項１記載の画像処理装置。
4. 前記第１画像処理は彩度低減処理であって、
   前記第１画像処理手段は、前記合焦度導出手段によって導出された前記各小領域の合焦度合が小さいほど、低減度合を大きくして前記各小領域に前記彩度低減処理を施すことを特徴とする請求項１記載の画像処理装置。
5. 前記第１画像処理手段は、
   前記第１撮影画像に画像信号を低減する第２画像処理を施し第２撮影画像を生成する第２撮影画像生成手段と、
   前記合焦度導出手段により導出された前記各小領域の合焦度合が小さいほど前記第２撮影画像の混合割合を大きくして、前記第１撮影画像における前記各小領域と前記第２撮影画像における前記各小領域に対応する第２小領域を合成処理する合成処理手段と、
   を備えることを特徴とする請求項１記載の画像処理装置。
6. 前記第２画像処理はぼかし処理、輝度低減処理又は彩度低減処理のいずれかであることを特徴とする請求項５記載の画像処理装置。
7. 前記第１画像処理手段は、
   前記第１撮影画像にぼかし処理を施し第３撮影画像を生成する第３撮影画像生成手段と、
   前記合焦度導出手段により導出された前記各小領域の合焦度合が小さいほど前記第３撮影画像の混合割合を大きくして、前記第１撮影画像における前記各小領域と前記第３撮影画像における前記各小領域に対応する第３小領域を合成処理する合成処理手段と、
   を備え、
   前記第３撮影画像生成手段は、前記合焦度導出手段によって導出された前記各小領域の合焦度合に応じたぼかし度合で、前記各小領域に前記ぼかし処理を施すことを特徴とする請求項１記載の画像処理装置。
8. 前記第３撮影画像生成手段は、前記合焦度導出手段によって導出されたぼかし処理の対象となる小領域である注目小領域の合焦度合が所定範囲に属する場合には、
   前記合焦度導出手段によって導出された合焦度合が前記所定範囲に属する複数の小領域の一部が有する画像信号のみを用いて前記注目小領域にぼかし処理を施すことを特徴とする請求項７記載の画像処理装置。
9. 前記合焦度導出手段は、前記各小領域における輝度信号の遷移パターンに応じて前記合焦度合を導出することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
10. 前記合焦度導出手段は、前記各小領域における輝度信号に含まれる周波数成分に応じて前記合焦度合を導出することを特徴とする請求項１乃至８のいずれかに記載の画像処理装置。
11. 撮影により複数の小領域からなる第１撮影画像を取得する撮影手段と、
    請求項１乃至１０のいずれかに記載の画像処理装置と、
    前記画像処理装置によって生成された出力画像を記録する記録手段と、
    を備えたことを特徴とする撮影装置。