JP6218377B2

JP6218377B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP6218377B2
Application number: JP2012285260A
Authority: JP
Inventors: 宣和吉田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-12-27
Filing date: 2012-12-27
Publication date: 2017-10-25
Anticipated expiration: 2032-12-27
Also published as: US9204034B2; US20140185870A1; JP2014127963A

Description

本発明は、ぼかし処理を行う画像処理装置及び画像処理方法に関する。

従来の画像処理装置には、画像処理により撮影画像にぼかし効果を付加するものがある。例えば特許文献１では複数の被写体までの距離を測定し、距離に応じてぼかし処理を行う技術が開示されている。

特開平１１−２６６３８８号公報

しかしながら、距離情報の精度が低いと、距離に応じたぼかし処理を行うと本来ぼかすべきでない領域がぼかされるなどの問題があった。

上記課題に鑑み、本発明の目的は、複数の被写体を撮影する場合に、ぼかし処理をより自然に施した画像を生成することが可能な画像処理装置を提供することとする。

本発明の画像処理装置は、画像データを取得する取得手段と、前記画像データから被写体を検出する検出手段と、前記検出された被写体から主被写体を選択する選択手段と、前記検出された被写体に対する距離情報を取得する被写体距離情報取得手段と、前記画像データを小領域に分割し、前記小領域ごとの被写体距離の距離情報を取得する距離情報取得手段と、前記小領域ごとにぼかしレベルを決定する決定手段と、前記ぼかしレベルに基づいて、前記画像データにぼかし処理を施すぼかし処理手段とを備え、前記決定手段は、前記小領域が前記検出手段により検出された被写体と重複するか否かに基づき、前記ぼかしレベルの決定方法を変更するものであり、前記小領域が前記被写体検出手段により検出された被写体領域と重複しない場合には、前記主被写体の領域と前記小領域の距離情報の差が第一の閾値以内であれば当該領域をぼかさない領域に決定する一方、前記小領域が前記被写体検出手段により検出された被写体領域と重複する場合には、前記主被写体の領域と前記小領域の距離情報の差が、前記第一の閾値よりも大きな第二の閾値以内であれば前記小領域をぼかさない領域に決定することを特徴とする。

また、本発明の画像処理方法は、画像データを取得する取得ステップと、前記画像データから被写体を検出する検出ステップと、前記検出された被写体から主被写体を選択する選択ステップと、前記検出された被写体に対する距離情報を取得する被写体距離情報取得ステップと、前記画像データを小領域に分割し、前記小領域ごとの被写体距離の距離情報を取得する距離情報取得ステップと、前記小領域ごとにぼかしレベルを決定する決定ステップと、前記ぼかしレベルに基づいて、前記画像データにぼかし処理を施すぼかし処理ステップとを備え、前記決定ステップは、前記小領域が前記検出ステップにより検出された被写体と重複するか否かに基づき、前記ぼかしレベルの決定方法を変更するものであり、前記小領域が前記被写体検出手段により検出された被写体領域と重複しない場合には、前記主被写体の領域と前記小領域の距離情報の差が第一の閾値以内であれば当該領域をぼかさない領域に決定する一方、前記小領域が前記被写体検出手段により検出された被写体領域と重複する場合には、前記主被写体の領域と前記小領域の距離情報の差が、前記第一の閾値よりも大きな第二の閾値以内であれば前記小領域をぼかさない領域に決定することを特徴とする。

複数の被写体を撮影する場合に、ぼかし処理をより自然に施した画像を生成することができる。

本発明の一実施形態に係る画像処理装置としての撮像装置の構成を示すブロック図である。本発明の一実施形態に係る静止画記録モード処理のフローチャート図である。本発明の一実施形態に係るぼかし領域設定処理のフローチャート図である。本発明の一実施形態に係る距離ヒストグラムの例を示す図である。本発明の一実施形態に係るグルーピングの例を示す図である。本発明の第二の実施形態に係るぼかし領域設定処理のフローチャート図である。

（第１の実施形態）
図１に本実施形態に係る撮像装置の構成を示す。

撮像部１０は撮像光学系に入射される光束を受光し、Ａ／Ｄ（アナログ／デジタル）変換によってデジタル化された画像信号を出力する。撮像部１０は撮像光学系を構成するものとしてフォーカスレンズを含むレンズ群、シャッター、絞り、そして撮像センサを有し、シャッターおよび絞りは露出制御部２０によって、フォーカスレンズはフォーカス制御部３０によってそれぞれ制御することが可能である。撮像センサとしては、本実施形態ではＸ−Ｙアドレス型、ＲＧＢ画素のＢａｙｅｒ配列のＣＭＯＳセンサであるものとするが、これに限らない。例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）であってもよいし、補色の画素を配列したセンサなどであってもよい。また、撮像光学系としてのフォーカスレンズを含むレンズ群、シャッター、絞りの一部あるいは全部は、撮像装置と着脱可能なアクセサリとして構成されていても良い。

撮像部１０から出力された画像データは画像処理部６０へ入力すると同時に、メモリ５０に記憶することができる。メモリ５０に記憶した画像データは再度読み出すことができ、システム制御部４０から画像データを参照したり、読み出した画像データを画像処理部６０に入力することが可能である。画像処理部６０は入力される画像に対して、シャッタースピード、絞り、ＩＳＯ感度等の撮影条件や画像解析によって得られる情報に基づいて、デモザイキング処理、ホワイトバランス処理、歪み補正処理、γ補正処理、色変換処理などを行う。画像処理部６０で画像処理した画像データをメモリ５０に書き戻したり、システム制御部４０から任意のデータを書き込むことも可能である。画像処理部６０は入力画像に対してぼかし効果を付与することができる他、入力画像の特徴を抽出することで顔を検出したり入力画像を似た色のグループに領域分割することもできる。

表示部７０は画像処理部６０で画像処理されメモリ５０に記憶されたデジタル画像データをＤ／Ａ変換して、液晶ディスプレイのような表示媒体に画像を表示することができる。また、画像データだけでなく任意の情報を単独、もしくは画像と共に表示することが可能であり、撮影時の露出情報を表示したり、検出された顔領域に枠を表示することも可能である。

記録部８０は撮影した画像データをＲＯＭ、ＳＤカード等の記録媒体に記憶することができる。

操作部９０は特に撮影指示を行うためのシャッタースイッチＳＷ１（９２）、ＳＷ２（９４）を含む。９２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でＯＮとなり、露出やピントの自動制御等の撮影準備動作の開始を指示する。９４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でＯＮとなり、静止画撮影の指示を行う操作が実現可能である。操作部９０は、他にも静止画撮影モード、動画撮影モード、再生モードなどのカメラ動作モードを切り替えるモード切替スイッチや、カメラ設定を変更可能なパラメータ選択スイッチなどを含む。図２は本実施形態における静止画記録処理を示すフローチャートである。

各ステップの動作はシステム制御部４０またはシステム制御部４０の指示により画像処理部６０などの各部で行われる。

この静止画記録処理の出力として、ぼかし処理を行わない通常の画像が１枚目の画像として記録された後、主要被写体以外にぼかし効果を付加して主要被写体を際立たせた画像が２枚目の画像として記録される。

Ｓ２０１では、システム制御部４０は、第一シャッター信号ＳＷ１がＯＮしているか否かを判断し、ＯＮであればＳ２０２に進む。

Ｓ２０２においてシステム制御部４０は測光処理を行い、被写体の輝度値を算出する。被写体の輝度値は、撮像部１０から出力される画像データの輝度値と、その画像が露光された時点の露出条件とから算出される。

次にシステム制御部４０（被写体距離情報取得手段）は距離マップ（被写体距離情報）を取得する。距離マップは、本実施形態では画角中の小領域ごとの距離情報を示すマトリックス状のデータテーブルの体をなしている。本実施形態の被写体距離の測定方法例として、コントラスト評価値による測定方法を例にとり説明する。まず画角に対してＭ×Ｎの測距領域を設定（画像データを小領域に分割）し、フォーカス制御部３０によってフォーカスレンズを移動させながら、撮像部１０から出力される画像データのコントラストを示すＡＦ（オートフォーカス）評価値を各測距領域に対して求めていく。ＡＦ評価値は画像処理部６０から出力される他、システム制御部４０において画像データもしくは画像処理部６０の出力から演算により求めることもできる。求まったフォーカスレンズ位置に対する各測距領域のＡＦ評価値から、測距領域ごとに評価値が極大となるフォーカスレンズ位置（以下、ピークポジション）が求まり、これが領域ごとの被写体距離の距離情報に相当する。すなわち、ここでの距離マップはＭ×Ｎのピークポジション情報である。

また、領域ごとの被写体距離の距離情報を取得する方法としては、上記の方法に限らない。例えば同一画角のピント位置の異なる２つ以上の画像を比較して被写体距離を測定する方法として、エッジ差分で距離を推定する方法や、ＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）を用いた方法などが考えられる。また、撮像部１０とは別に位相差による距離測定のための測距センサを設けていても良い。撮像部１０の撮像素子の画素配列の中に位相差による焦点検出が可能な瞳分割された画素を配して、当該焦点検出用の画素からの出力に基づいて距離を測定しても良い。

Ｓ２０４では、撮像部１０から出力される画像データ中に特徴的な被写体、例えば顔が検出されかどうかを判定する。ここで、顔領域が検出される場合、Ｓ２０５に進み、顔領域を測距領域として顔領域のＡＦ評価値が極大となるフォーカスレンズ位置（ピークポジション）も求めておく。本実施形態ではこれが、顔領域の距離情報に相当する。顔の検出については、画像データを画像処理部６０に入力することで顔検出結果を得ることができる。顔検出方法としてはパターンマッチング、特徴点抽出など、公知の方法を適用可能で特に限定されない。また、検出する被写体の例として本実施形態では顔としたが、公知の被写体検出方法を用いて他の被写体（被写体領域）を検出するものであってもよく、検出される被写体は限定されない。

Ｓ２０６では、被写体にピントを合わせるために移動させるフォーカスレンズ位置を合焦位置として決定する。合焦位置は、Ｓ２０３で得られた距離マップおよびＳ２０５で得られた顔領域の距離情報から決定される。例えば顔が検出されていれば顔領域を、検出されていない場合は至近の領域に優先してピントが合うようなフォーカスレンズ位置を合焦位置として決定する。複数の顔が検出された場合は、検出された顔領域の画面内でのサイズや位置に基づいて主被写体の顔を推定し、主被写体の領域にピントが合うようなフォーカスレンズ位置を合焦位置として決定する。

Ｓ２０３、Ｓ２０５で領域ごとの距離情報を取得した後、Ｓ２０７にてぼかし処理でぼかす領域およびぼかさない領域を設定する。ぼかす領域については領域ごとのぼかし量もここで設定する。このぼかし領域設定処理Ｓ２０７は図３を用いて後述する。

Ｓ２０８ではフォーカスレンズをＳ３００で決定した合焦位置に移動させて被写体にピントを合わせる。

Ｓ２０９では、システム制御部４０が、第２シャッタースイッチ信号ＳＷ２がＯＮしているか否かを判断し、ＯＦＦの場合はＳ２１０に、ＯＮの場合はＳ２１１に進む。

Ｓ２１０では第１シャッタースイッチ信号ＳＷ１がＯＮしているか否かを判断し、ＯＮの場合はＳ２０９に、ＯＦＦの場合はＳ２０１に戻る。ＳＷ１がＯＮ、ＳＷ２がＯＦＦの間は、Ｓ２０９〜Ｓ２１０が繰り返される。

Ｓ２１１に進むと静止画撮影のための露出制御を行う。Ｓ２０２で求めた輝度値に応じて静止画撮影用の露出を決定し、露出制御部２０によって絞りやシャッターを制御する。

露出制御が完了するとＳ２１２の本露光動作に進む。撮像部１０の撮像素子にて露光され、出力された画像データはメモリ５０に記憶される。

次に撮像された画像データの現像処理Ｓ２１３を行う。ここではぼかし処理は行わない。

Ｓ２１４では、現像されたデータは記録部８０を通じてメディアに記録される。

Ｓ２１５からは２枚目の静止画撮影に進む。２枚目に撮影される画像はぼかし処理を施す対象の画像である。

まずＳ２１５で２枚目の静止画撮影のための露出制御を行う。基本的には１枚目と同じ露出に設定すればよいので、必要に応じて制御を省いてもよい。また、ここで１枚目の評価値と所定値以上の差がある評価値である場合には、ぼかし処理を行わず、１枚目あるいは本露出によって得られる２枚目の画像を記録するような仕様にしても良い。

次に、Ｓ２１６にてフォーカスレンズを移動させる。２枚目の画像にはぼかし処理を施すため、Ｓ２０７で設定したぼかさない領域にピントが合う位置にフォーカスレンズを移動させる。１枚目の静止画撮影時と同じフォーカスレンズ位置でよい場合は制御を省くことも可能である。

Ｓ２１７に進むと２枚目の静止画撮影用の本露光を行う。露光されたデータはメモリ５０に記憶される。Ｓ２１５で設定される露出およびＳ２１６で移動させるフォーカスレンズ位置が１枚目の静止画撮影時と同じであれば、Ｓ２１５〜Ｓ２１７を省き、１枚目の露光データを２枚目の露光データとして再利用することもできる。

次に、Ｓ２１８では、撮像されたデータの現像処理を行う。Ｓ２０７で設定したぼかし領域およびぼかし量（ぼかしレベル）に基づき、ここでぼかし処理を行う。

ここで、本実施形態では、ぼかし処理として予め元の画像データ全体に一律なぼけ付加処理を施して、それを複数段階のぼかし量の処理でぼかしレベルが多段階のぼかし画像を生成する。それらを画像内の領域毎に、その被写体距離に応じて適切なぼかし画像をレイヤ合成する手法をとるものとする。ただし、ぼかし処理としてはこれに限らず、領域ごとにタップ数の異なるフィルタ処理を行い、領域ごと、多段階のぼかしレベルのぼかし処理を実現しても良い。

Ｓ２１９では、現像されたデータは記録部８０を通じてメディアに記録される。

図３はＳ２０７で行われる図２のぼかし領域設定処理を示すフローチャートである。各ステップの動作はシステム制御部４０またはシステム制御部４０の指示により画像処理部６０などの各部で行われる。

まずＳ２０３で取得した距離マップから距離ヒストグラムを作成する（Ｓ３０１）。距離マップが距離情報としてＭ×Ｎの領域のピークポジションを有している場合、Ｍ×Ｎ個のピークポジションを要素とするヒストグラム（以下、距離ヒストグラム）を作成する。

次にＳ３０１で作成した距離ヒストグラムに基づいて、距離情報（ピークポジション）を複数のグループに分ける（距離グルーピング）（Ｓ３０２）。例えばまずヒストグラムの極大点を見つけ、極大点から次の条件を満たす点を探索する。
・値が所定値以下（ここでは０）になる点
・その点の２倍以上の値となる点が存在する極小点
・単調減少区間が所定区間を超える点

以上の条件を満たす点をグループ境界とし、ピークポジションをグループ化する。図４に距離ヒストグラムの例を示す。まず最も頻度の大きな極大点Ａを見つけ、上記条件を満たす点を探索していく。左に探索していくと、２倍以上の値となる点が存在する極小点としてＢが見つかり、右に探索していくと、単調減少区間が所定区間（ここでは８区間）を超える点Ｃが見つかる。そこでＢとＣをグループ境界とした距離１を１つのグループとする。次に残りの区間で最も頻度の大きな極大点Ｄを見つけ、同様に条件を満たす点を探索する。すると値が０になる点Ｅが見つかり、Ｅをグループ境界とした距離２を１つのグループとする。同様に距離３も１つのグループとなり、ピークポジションが３つのグループに分割される。また、極小点の探索条件としては、上記に限らず、その点より所定度数以上の値の点が存在する極小点でもよいし、所定区間内で最小値を取る点としてもよい。

Ｓ３０３では、画像データをその色情報を基に領域分割する。すなわち、似た色の領域を同じ色グループとしてグループ化する。まず画像データをｍ×ｎの小領域に分割し、それぞれの色情報を求める。例えば撮像部１０から出力される画像データを輝度／色相／彩度の情報に変換し、得られた色相情報を色情報として用いればよい。ｍ×ｎ個の色情報から色ヒストグラムを作成し、Ｓ３０２と同様の処理で色ヒストグラムに基づき色情報を複数のグループにグループ化する。ｍ×ｎの各領域の色情報がどのグループに属するかによって、ｍ×ｎの領域を複数の領域に分割することができる。この分割により生成された、同一グループの色情報を持つ領域のまとまりを以下、色グループと呼ぶ。

次にＳ３０４において、Ｓ３０３で分割した色グループとＳ２０３で取得した距離マップ、およびＳ３０２でグループ化した距離を参照し、ピークポジションが同じ距離に属する色グループを同じ分割領域としてまとめる。まず各色グループの領域に対応する距離マップのピークポジションを参照し、そのピークポジションが属する距離をＳ３０２の結果から求め、その色グループの所属距離とする。１つの色グループの領域がＭ×Ｎの小領域に複数またがる場合など、対応する距離マップ上のピークポジションが複数存在する場合は、例えばピークポジション平均値が属する距離を求めてその色グループの所属距離とすればよい。また、色グループの領域とＭ×Ｎの小領域の重なり具合に応じて各ピークポジションの重みを変えてもよい。最後に同じ所属距離の色グループを１つの距離グループとしてまとめる。距離グループは、色情報および距離情報を用いて分割された領域で、所属距離の同じ領域のまとまりとなる。

図５（ａ）のような被写体を撮影した場合、距離マップが図５（ｂ）、色グループが図５（ｃ）のようになったとする。ここでは簡単のため、Ｍ＝ｍ＝８、Ｎ＝ｎ＝１２としている。Ｓ３０２でピークポジションが８〜９（距離０）、１２〜１３（距離１）、１７〜１９（距離２）、８８〜９３（距離３）のグループに分かれたとすると、距離グループは図５（ｄ）のようになる。

Ｓ３０５では、システム制御部４０は、画像データ中に特徴的な被写体、例えば顔が検出されたかどうかを判定する。顔が検出されていた場合、検出された顔のうち主被写体と見なされる主顔の領域をぼかさない領域に決定する（Ｓ３０６）。主顔とは、前述したとおり、画像処理部６０にて検出された顔のうち、画角中心に近い、サイズが大きいなどの指標から最も主被写体である可能性が高いと判断された顔のことで、それ以外の顔は主顔と区別として副顔と呼ぶことにする。

Ｓ３０７〜Ｓ３１０では、各距離グループに対して領域をぼかすか否かを判定する。本実施形態では、Ｓ３０５にて顔が検出された場合は、主顔および主顔と所定深度内の副顔、さらにそれらの顔に対応する胴体領域についてぼかさない領域に設定する。なぜなら、被写体距離の測定精度が低い場合、本来近しい被写体距離の被写体のぼけの程度が異なり、不適切なぼかし処理が行われる可能性があるからである。特に、本実施形態のようなコントラスト検出方式により被写体までの距離を求める場合、人物の顔のようなコントラストが低い被写体に対しては得られる距離情報の精度が低いので、本実施形態のような処理が特に有効である。まずＳ３０７で距離グループが主顔領域と同じ距離グループか否かを判定する。主顔のピークポジションはＳ２０５で求まっており、距離グループの所属距離が主顔のピークポジションが属する距離と同じであれば、その距離グループが主顔と同じ距離グループであると判定する。主顔と同じ距離グループであると判定されれば、Ｓ３０９に進み、対応する領域をぼかさない領域に設定する。

次に主顔と所定深度内（所定距離以内）の副顔と同じ距離グループか否かを判定する（Ｓ３０８）。本実施形態では、主顔以外の顔の距離情報（ピークポジション）についてもＳ２０５で求まっており、それらを参照してまず主顔と所定深度内の副顔を探す。そして距離グループの所属距離が、見つかった所定深度内の副顔のピークポジションが属する距離と同じか否かを判定する。同じであれば、その距離グループは主顔と所定深度内の副顔と同じ距離グループであると判定し、Ｓ３０９に進み、対応する領域をぼかさない領域に設定する。ここで、主顔と所定深度内の副顔と同じ距離グループ全体をぼかさない領域に設定するのではなく、当該副顔の領域のみを主顔と同じぼかさない領域に設定しても良い。

Ｓ３１０では全ての距離グループに対して、対応する領域をぼかすか否かのチェックを完了したかを判断し、全ての距離グループに対してチェックが完了していればＳ３１１に進む。

Ｓ３１１では、ぼかさない顔（ここでは主顔および主顔と所定深度内の副顔）の胴体領域を、さらに非ぼかし領域として追加する。胴体領域については各顔の下方に存在するある範囲の領域を胴体領域と推定し、その領域に対応する色グループを探す。範囲については検出された顔の大きさに応じてサイズを変更したり、検出された顔の角度に応じて位置を補正したりすることができる。見つかった色グループに対して、対応する領域をぼかさない領域に設定する。

図５の例の場合、Ｓ３０５で左の顔が主顔、右の顔が副顔と検出されたとする。ピークポジションについては主顔は９、副顔は１２とＳ２０５で求まったとすると、Ｓ３０６で左の顔をぼかさない領域に設定し、左の顔のピークポジション（９）が属する距離０を所属距離とする距離グループはぼかさない領域に設定される（Ｓ３０７、Ｓ３０９）。したがって、左の人物については胴体を含めてぼかし効果が付与されないことになる。しかし右の人物については距離グループが異なるため非ぼかし領域にはこの時点では設定されていない。次にＳ３０８で主顔と所定深度内の副顔を探す。例えばピークポジションの差が５以内であれば所定深度内であると判定するとすると、右の顔は主顔と所定深度内の副顔になり、右の顔のピークポジション（１２）が属する距離１を所属距離とする距離グループもぼかさない領域に追加される（Ｓ３０９）。さらにＳ３１１にて右の顔の下方の領域を含む色グループを非ぼかし領域に追加することで右の人物についても胴体を含めてぼかし効果が付与されないようにすることができる。体と背景については色情報を用いたほうが比較的分離しやすいことが多く、ここでは顔の下方の色グループを非ぼかし領域としているが、色グループでなく顔の下方の領域を含む距離グループを非ぼかし領域に設定してもよい。

Ｓ３０５にて顔が検出されなかった場合には、Ｓ３１２にてぼかさない領域を決定する。Ｓ２０６でピントを合わせる対象となった領域や、距離グループの中から面積が広いものや画角中心に近いものを選択して対応する領域をぼかさない領域とする。

Ｓ３１３〜Ｓ３１５では、各距離グループに対して領域をぼかすか否かを判定する。Ｓ３０５にて顔が検出されなかった場合は、Ｓ３１２で決定した領域に対応する距離グループのみをぼかさない領域として設定する。

まずＳ３１３で距離グループがＳ３１２で決定した領域と同じ距離グループか否かを判定する。同じ距離グループであれば、Ｓ３１４に進み、対応する領域をぼかさない領域に設定する。

Ｓ３１５では全ての距離グループに対して、対応する領域をぼかすか否かのチェックを完了したかを判断し、全ての距離グループに対してチェックが完了していればＳ３１６に進む。

Ｓ３１６ではＳ３０９、Ｓ３１１、Ｓ３１３で設定された非ぼかし領域以外の領域を、Ｓ２１８におけるぼかし処理でぼかす領域に設定する。なお、Ｓ３１６にて各領域の属する距離グループに応じてぼかし量（ぼかしの程度）も設定しておく。Ｓ３１６でぼかし領域の設定を終えたら、ぼかし領域設定処理Ｓ２０７を終了する。

以上のように、本実施形態では、画像内の小領域ごとの被写体距離の距離情報に基づいてぼかし処理を施す際に、被写体距離の近い領域をグループ化し、グループごとにぼかし処理の程度を変える（ぼかしレベルを変える）。このとき、主被写体から所定深度内に検出された副被写体については、異なるグループに分類されていたとしても、主被写体と同様にぼかさないように設定するか、あるいは同グループの他の領域に比べて弱くぼかし処理がかかるようにする。これにより、複数の被写体を撮影する場合に、ぼかし処理をより自然に施した画像を生成することができる。

（第２の実施形態）
第一の実施例では色情報と距離情報を用いて距離グループを作成したが（Ｓ３０４）、第二の実施例では距離グループを作成せずにぼかし領域の設定を行う。ぼかし設定処理Ｓ２０７以外の処理については第一の実施例と同様である。

図６に第二の実施形態に係るぼかし領域設定処理Ｓ２０７のフローチャートを示す。

画像データ中に顔が検出された場合は（Ｓ６０１）、検出された主顔の領域をぼかさない領域に設定する（Ｓ６０２）。

Ｓ６０３〜Ｓ６０７では、距離マップのＭ×Ｎの各領域に対してぼかし処理を施すか否かを判定する。ぼかしの設定を行う領域の分割数についてはＭ×Ｎに限られるものではないが、ここでは距離マップとの対応をとりやすいことからＭ×Ｎの分割領域を扱うものとする。

まずＳ６０３で領域が、検出された顔領域と重複するか否かを判断する。

領域が顔領域と重複する場合はＳ６０４に進み、Ｓ２０３で得られた距離マップを参照して領域に対応する距離情報を求め、主顔領域の距離情報との差が第一の閾値（距離Ａとする）以内であれば、その領域をぼかさない領域に設定する（Ｓ６０６）。距離ＡをＳ３０８の所定深度と同様に設定すれば、実施例一のように主顔と所定深度内の副顔をぼかさないようにすることができる。

一方、領域が顔領域と重複しない場合はＳ６０５に進み、同じく距離マップを参照して領域に対応する距離情報を求め、主顔領域の距離情報との差が第二の閾値（距離Ｂとする）以内であれば、その領域をぼかさない領域に設定する（Ｓ６０７）。ここで距離Ａ＞距離Ｂとすることで、顔領域については距離情報の精度が多少低下しても当該領域をぼかさない領域に設定可能となる。

Ｓ６０７では全ての領域に対して、領域をぼかすか否かのチェックを完了したかを判断し、全ての領域に対してチェックが完了していればＳ６１２に進む。

Ｓ６０１にて顔が検出されなかった場合には、まず６０８にてぼかさない領域を決定する。例えばＳ２０６でピントを合わせる対象となった領域をぼかさない領域とすればよい。

Ｓ６０９〜Ｓ６１１では、距離マップのＭ×Ｎの各領域に対して領域をぼかすか否かを判定する。

Ｓ２０３で得られた距離マップを参照して領域に対応する距離情報を求め、Ｓ６０８で決定した非ぼかし領域の距離情報との差が所定距離以内（距離Ｃとする）であれば（Ｓ６０９）、その領域をぼかさない領域に設定する（Ｓ６１０）。距離Ｃは距離Ｂと同じ設定でよい。

Ｓ６１１では全ての領域に対して、領域をぼかすか否かのチェックを完了したかを判断し、全ての領域に対してチェックが完了していればＳ６１２に進む。

Ｓ６１２ではＳ６０６、Ｓ６１０で設定された非ぼかし領域以外の領域を、Ｓ２１８におけるぼかし処理でぼかす領域に設定する。なお、Ｓ６１２にて各領域の距離情報に応じてぼかし量（ぼかしの程度）も設定しておく。Ｓ６１２でぼかし領域の設定を終えたら、ぼかし領域設定処理Ｓ２０７を終了する。

なお実施例１および実施例２において、条件に応じて領域を非ぼかし領域に設定している部分（Ｓ３０９、Ｓ３１１、Ｓ３１４、Ｓ６０６、Ｓ６１０）については、完全にぼかさない領域に設定するのではなくぼかしの程度を弱めるようにしてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１０撮像部
２０露出制御部
３０フォーカス制御部
４０システム制御部
５０メモリ
６０画像処理部
７０表示部
８０記録部
９０操作部

Claims

画像データを取得する取得手段と、
前記画像データから被写体を検出する検出手段と、
前記検出された被写体から主被写体を選択する選択手段と、
前記検出された被写体に対する距離情報を取得する被写体距離情報取得手段と、
前記画像データを小領域に分割し、前記小領域ごとの被写体距離の距離情報を取得する距離情報取得手段と、
前記小領域ごとにぼかしレベルを決定する決定手段と、
前記ぼかしレベルに基づいて、前記画像データにぼかし処理を施すぼかし処理手段とを備え、
前記決定手段は、前記小領域が前記検出手段により検出された被写体と重複するか否かに基づき、前記ぼかしレベルの決定方法を変更するものであり、前記小領域が前記被写体検出手段により検出された被写体領域と重複しない場合には、前記主被写体の領域と前記小領域の距離情報の差が第一の閾値以内であれば当該領域をぼかさない領域に決定する一方、前記小領域が前記被写体検出手段により検出された被写体領域と重複する場合には、前記主被写体の領域と前記小領域の距離情報の差が、前記第一の閾値よりも大きな第二の閾値以内であれば前記小領域をぼかさない領域に決定することを特徴とする画像処理装置。
前記決定手段は、前記小領域と主顔領域の距離情報の差に応じて第一のぼかしレベルを決定し、前記小領域が前記顔検出手段により検出された顔領域と重複しない場合には前記第一のぼかしレベルを、前記小領域が前記顔検出手段により検出された顔領域と重複する場合には前記第一のぼかしレベルよりもぼかしの程度を弱めた第二のぼかしレベルを前記小領域のぼかしレベルとして決定することを特徴とする請求項１に記載の画像処理装置。
前記被写体検出手段は、前記画像データから顔検出処理によって被写体として顔を検出することを特徴とする請求項１または２のいずれか１つに記載の画像処理装置。
前記ぼかし処理手段は、複数の異なるぼかし処理を画像データ全体にそれぞれ掛けて生成される多段階のぼかし画像データを、前記距離情報に基づいて前記小領域ごとに合成することで前記ぼかし処理を行うことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
前記ぼかし処理手段は、前記小領域ごとに異なるタップ数のフィルタをそれぞれ掛けることで前記ぼかし処理を行うことを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
前記取得手段は、フォーカスレンズを含む撮像光学系から入射される光束を受光して画像データを生成することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理装置。
前記被写体距離情報取得手段は、前記フォーカスレンズを動かして得られる前記小領域ごとの評価値に基づいて、前記小領域ごとの距離情報を取得することを特徴とする請求項６に記載の画像処理装置。
前記被写体距離情報取得手段は、位相差による距離測定が可能な測距センサであることを特徴とする請求項１乃至６のいずれか１つに記載の画像処理装置。
画像データを取得する取得ステップと、
前記画像データから被写体を検出する検出ステップと、
前記検出された被写体から主被写体を選択する選択ステップと、
前記検出された被写体に対する距離情報を取得する被写体距離情報取得ステップと、
前記画像データを小領域に分割し、前記小領域ごとの被写体距離の距離情報を取得する距離情報取得ステップと、
前記小領域ごとにぼかしレベルを決定する決定ステップと、
前記ぼかしレベルに基づいて、前記画像データにぼかし処理を施すぼかし処理ステップとを備え、
前記決定ステップは、前記小領域が前記検出ステップにより検出された被写体と重複するか否かに基づき、前記ぼかしレベルの決定方法を変更するものであり、前記小領域が前記被写体検出手段により検出された被写体領域と重複しない場合には、前記主被写体の領域と前記小領域の距離情報の差が第一の閾値以内であれば当該領域をぼかさない領域に決定する一方、前記小領域が前記被写体検出手段により検出された被写体領域と重複する場合には、前記主被写体の領域と前記小領域の距離情報の差が、前記第一の閾値よりも大きな第二の閾値以内であれば前記小領域をぼかさない領域に決定することを特徴とする画像処理方法。
請求項９に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
コンピュータに、請求項９に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。