JP7373297B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関し、特に画像中の所望の被写体の領域を好適に抽出する技術に関する。

撮像した画像に含まれる画素群を、該画素の像のデフォーカス量で分類し、特定のデフォーカス範囲に属する画素に対して画像処理を適用することで、異なる被写界深度の表現を示す画像を生成する技術がある（特許文献１）。

特開２００８－０１５７５４号公報

ところで、印象的な画像表現の１つとして、注目したい被写体の距離範囲にのみ合焦し、その他の領域がボケた状態となっている、所謂、被写界深度の浅い表現がある。特許文献１の技術でも、所望の被写体の含まれる領域のデフォーカス範囲以外の画素に対してボケ付加処理を行うことで、同様の表現の画像を生成することができる。

しかしながら、特許文献１のようにデフォーカス量で画素を特定して処理を行う方式では、被写体の分布によっては、所望の表現の画像が生成されない可能性がある。例えば、所望の被写体とは異なる被写体が、所望の被写体の被写体距離を含む、奥行き方向に拡がった距離範囲に配置されているような分布では、上述の画像処理を行った場合に、特許文献１の方式ではこれらの被写体を分離して特定することができない。即ち、例えば被写界深度の浅い表現の画像を生成しようとした場合に、所望の被写体だけでなく、該異なる被写体も含んだ距離範囲も合焦した状態で画像に現れることになり、好適な表現が実現されない可能性がある。

本発明は、上述の問題点に鑑みてなされたものであり、注目の被写体の領域を被写体の距離分布に基づいて好適に抽出する画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、撮像範囲の被写体を撮像した撮像画像と、該撮像画像と対応する領域についての、撮像範囲における被写体の奥行き方向の距離分布を示す値を格納した距離情報と、を取得する取得手段と、撮像画像について注目被写体を決定する決定手段と、撮像画像における注目被写体の位置に基づいて、距離分布を解析する解析領域を設定する設定手段と、距離情報のうちの解析領域に含まれる値の頻度分布に基づいて、該解析領域に含まれる被写体が分布する値範囲を特定する特定手段と、値範囲に含まれる情報を示す距離情報の領域を抽出することで、少なくとも注目被写体を含む被写体領域を抽出する抽出手段と、を有することを特徴とする。

このような構成により本発明によれば、注目の被写体の領域を被写体の距離分布に基づいて好適に抽出することが可能となる。

本発明の実施形態及び変形例に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態及び変形例に係る撮像部１０５が備える撮像素子の構成を示した図 本発明の実施形態及び変形例に係る画像処理部１０７の構成を説明するためのブロック図 本発明の実施形態及び変形例に係るデジタルカメラ１００で実行される画像加工処理を例示したフローチャート 本発明の実施形態で例示する撮像範囲の被写体分布を説明するための図 本発明の実施形態及び変形例に係るデフォーカス量の導出を説明するための図 本発明の実施形態及び変形例に係るデフォーカス量の導出を説明するための別の図 本発明の実施形態に係るデフォーカスマップを例示した図 従来技術に係るデフォーカスマップの全域について構成されたヒストグラムを例示した図 従来技術に係る、所定のデフォーカス範囲の領域の抽出を説明するための図 本発明の実施形態に係る注目被写体についてヒストグラムを構成する解析領域を説明するための図 本発明の実施形態に係る注目被写体に対応する領域について構成されたヒストグラムを例示した図 本発明の実施形態に係るヒストグラムに基づいて抽出される領域を説明するための図 本発明の実施形態に係るヒストグラムに基づいて抽出される領域を説明するための別の図 本発明の変形例に係る注目被写体についてヒストグラムを構成する領域を説明するための図 本発明の実施形態に係る処理負荷の低いヒストグラムの構成について説明するための図 本発明の実施形態に係る処理負荷の低いヒストグラムの構成について説明するための別の図 本発明の実施形態に係る処理負荷の低いヒストグラムの構成について説明するためのさらに別の図

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、撮像範囲の被写体の奥行き方向（深度方向）の距離分布と対応する情報（距離情報）を取得可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像と、該撮像画像の撮像範囲に係る距離情報を取得することが可能な任意の機器に適用可能である。

また、本明細書において、「距離情報」とは、撮像画像の各画素の像のデフォーカス量分布を示す２次元情報であるものとし、以下では「デフォーカスマップ」として言及する。しかしながら、距離情報は、上述したように撮像範囲の被写体の奥行き方向の距離分布と対応する情報であればよく、例えば各画素の被写体距離を示す深度マップであってもよいし、デフォーカス量の導出に用いられた像ずれ量を示す２次元情報であってもよい。即ち、距離情報は、奥行き方向の距離分布に応じた変化を示す情報であれば、これらに限られず該当する。

《デジタルカメラの構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図である。

システム制御部１０１は、例えばＣＰＵ等の、デジタルカメラ１００が備える各ブロックを制御する制御装置である。システム制御部１０１は、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２から読み出して、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、例えばフラッシュＲＯＭ等の書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。一方、ＲＡＭ１０３は、書き換え可能な揮発性メモリである。ＲＡＭ１０３は、デジタルカメラ１００が備える各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作により出力された中間データの一時的な記憶領域としても用いられる。本実施形態では、システム制御部１０１と後述の画像処理部１０７が、ＲＡＭ１０３をワークメモリとして使用するものとする。

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。

撮像部１０５は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。撮像部１０５は、光学系１０４により撮像素子の撮像面に結像された光学像を光電変換してアナログ画像信号を得る。撮像部１０５は、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用することで、デジタル画像データ（以下では簡単に画像データとして言及）を得る。Ａ／Ｄ変換部１０６は、得られた画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、各種の画像処理を行う。具体的には、画像処理部１０７は、例えば、ホワイトバランス調整、色補間、縮小／拡大に係る処理等の画像処理を行う。画像処理部１０７は、画像処理後の画像データを記録媒体１０８に記録する。

また、画像処理部１０７は、本発明に係る機能を実現すべく、図３に示されるような処理を行うブロックを含む。詳細については後述するが、画像処理部１０７は、撮像を行った撮像範囲について、デフォーカス量の分布を示すデフォーカスマップ（距離情報）を生成する生成部３００と、撮像範囲中の特定の被写体を検出する検出部３０１を含む。また画像処理部１０７は、検出部３０１による検出結果に基づいて設定された注目被写体について、解析用の領域を設定する領域設定部３０２と、該設定された領域についてのデフォーカス量の頻度マップ（ヒストグラム）を構成する構成部３０３を含む。さらに、画像処理部１０７は、最終的に決定した注目被写体の領域を抽出する領域抽出部３０４と、撮像画像を所望の画像表現を示す態様にするための画像処理を行う効果処理部３０５を含む。

記録媒体１０８は、例えば、メモリカード等の、デジタルカメラ１００に着脱可能に構成されていてよい記録装置である。記録媒体１０８には、画像処理部１０７により画像処理が適用された画像データ（撮像画像）やＡ／Ｄ変換部１０６によりＡ／Ｄ変換された画像信号（ＲＡＷ画像）等が、記録画像として記録される。

表示部１１０は、例えばＬＣＤ等の表示装置であり、デジタルカメラ１００における各種の情報提示を行う。表示部１１０は、撮像部１０５により撮像が行われている際、Ａ／Ｄ変換された画像データを表示（スルー表示）することで、デジタルビューファインダとして機能する。

操作入力部１０９は、例えばレリーズスイッチ、設定ボタン、モード設定ダイアル等のユーザ入力インタフェースを含み、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号をシステム制御部１０１に出力する。また表示部１１０がタッチパネルセンサを備えている態様においては、操作入力部１０９は、表示部１１０に対してなされたタッチ操作を検出するインタフェースとしても機能する。

デジタルカメラ１００が備えるこれらの機能ブロックは、基本的にはバス１１１によって接続され、バス１１１を介してブロック間の信号のやり取りが可能に構成される。

本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。

《撮像部の構成》
次に、本実施形態の撮像部１０５が備える撮像素子の詳細構成について、図２を参照して説明する。

撮像素子は、図２（ａ）に示されるように、複数の画素２００が２次元に規則的に配列されている。具体的には、複数の画素２００は、例えば二次元格子状に配列されている。なお、画素２００の配列構成は、格子状の配列構成に限定されるものではなく、他の配列構成が採用されるものであってもよい。

撮像面位相差測距方式の測距機能を実現すべく、各画素２００は、図２（ｂ）に示されるようにマイクロレンズ２０１と、一対の光電変換部２０２ａ及びｂ（以下、それぞれ瞳分割画素２０２ａ及びｂとして言及）を有している。瞳分割画素２０２ａ及びｂは、撮像面がｙ軸方向を長手方向とする長方形状を有する、同形同大に構成された光電変換部である。各画素２００において、瞳分割画素２０２ａ及びｂは、マイクロレンズ２０１のｙ軸方向に沿った垂直二等分線を対称軸として、線対称に配置されている。なお、瞳分割画素２０２ａ及びｂの撮像面形状は、これに限定されるものではなく、形状であってもよい。また、瞳分割画素２０２ａ及びｂの配置態様も、ｘ方向に並列に配置されるものに限られれるものではなく、他の配置態様が採用されるものであってよい。

このような構成により、本実施形態の撮像部１０５は、撮像素子の全ての画素が有する瞳分割画素２０２ａから出力された画像信号に係るＡ像と、同様に瞳分割画素２０２ｂから出力された画像信号に係るＢ像とを出力する。Ａ像とＢ像とは、合焦している位置との距離に応じた視差を有する関係にある。

より詳しくは、各画素２００において、瞳分割画素２０２ａとｂは、マイクロレンズ２０１を介して入光した光束のうちの異なる光束を受光するよう構成されているため、光学系１０４の射出瞳の異なる領域を通過した光束に係る光学像を光電変換する。即ち、この射出瞳の異なる領域（瞳分割領域）を通過した光束について、Ａ像とＢ像は生成されるものであるため、被写体を瞳分割領域の重心位置の差の分ずれた撮影位置で撮像された関係になっており、視差が生じることになる。換言すれば、Ａ像とＢ像とは、異なる視点について撮像範囲を撮像して得られた画像群に相当する。

なお、本実施形態では、撮像部１０５の撮像素子を図２のように構成することで、撮像範囲の被写体の距離分布の導出に用いられるＡ像とＢ像とを取得するものとして説明するが、Ａ像とＢ像の取得方法はこれに限られるものではない。例えば、基線長離間させて設置した複数台の撮像装置により撮像された画像群をＡ像、Ｂ像とするものでもよいし、複数の光学系と撮像部を有する１台の撮像装置（所謂、両眼カメラ等）により取得された画像群をそれぞれＡ像、Ｂ像とするものでもよい。

《デフォーカス量の導出》
生成部３００は、撮像範囲の奥行き方向における被写体の距離分布を示す情報として、撮像画像に含まれる各被写体の像のデフォーカス量を含む、撮像画像と対応する画素構造を有したデフォーカスマップを生成する。デフォーカス量は、本実施形態のように取得した視差を有する画像群（Ａ像及びＢ像）に基づいて導出する場合、例えば以下のように行えばよい。

デフォーカス量の導出は、例えば図７に示されるように画像（Ａ像とＢ像）７００を、破線で示される微小ブロック７０１に分割する処理を含む。微小ブロック７０１は、例えば対象であるＡ像の各画素を着目画素とした場合に、該画素を中心とする予め定められたサイズの領域に対して設定されるものであってよい。なお、以下の説明では微小ブロック７０１は、着目画素を中心とするｍ×ｍ画素の正方領域として設定されるものとして説明するが、微小ブロック７０１の形状やサイズはいずれであってもよい。また微小ブロック７０１は着目画素ごとに設定されるものであり、異なる着目画素間で微小ブロック７０１の重複が生じてもよい。また、生成部３００は、位相差を検出するＡ像とＢ像に対して、予めバンドパスフィルタをかける処理を適用した後に、デフォーカス量の導出を行うものとしてもよい。

例えばＡ像及びＢ像の各画素について微小ブロック７０１が設定されると、両画像間で画素（着目画素）ごとに相関演算処理を行い、該画素に対応する微小ブロック７０１に含まれる像のずれ量（像ずれ量）を導出する。Ａ像及びＢ像とで同一位置の着目画素について定められた（一対の）微小ブロック７０１のデータ数（画素数）がｍである場合、該一対の微小ブロック７０１の画素データをそれぞれＥ（１）～Ｅ（ｍ）、Ｆ（１）～Ｆ（ｍ）として表現する。この場合、相関演算は、（データの）ずらし量をｋ（整数）[pixel]とすると、相関量Ｃ（ｋ）は
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）－Ｆ（ｎ＋ｋ）｜
で導出できる。ここで、Σ演算はｎについて行われ、ｎ及びｎ＋ｋは１～ｍの範囲に限定されるものとする。また、ずらし量ｋは、一対の画像データの検出ピッチを単位とした相対的シフト量である。このように、１つの着目画素に係る一対の瞳分割画像（一対の微小ブロック７０１）について相関量を導出すると、ずらし量ｋと相関量Ｃ（ｋ）は、例えば図６のグラフに離散的に示されるような関係となる。このとき、相関が最も高い像ずれ量において相関量Ｃ（ｋ）が最小になるため、下記の３点内挿の手法を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与えるずらし量ｘを導出する。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ
Ｃ（ｘ）＝Ｃ（ｋｊ）－｜Ｄ｜
Ｄ＝{Ｃ（ｋｊ－１）－Ｃ（ｋｊ＋１）}／２
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）－Ｃ（ｋｊ），Ｃ（ｋｊ－１）－Ｃ（ｋｊ）}
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるずらし量ｋである。このようにして求めたずらし量ｘが、１つの着目画素における像ずれ量として、距離情報に含められる。なお、像ずれ量ｘの単位も[pixel]であるものとする。

従って、各着目画素におけるデフォーカス量ＤＥＦは、像ずれ量ｘを用いて、
ＤＥＦ＝ＫＸ・ＰＹ・ｘ
で導出することができる。ここで、ＰＹは、撮像素子の画素ピッチ（撮像素子を構成する画素間距離。単位[mm/pixel]）であり、ＫＸは、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。なお、一対の測距瞳を通過する光束の重心の開き角の大きさは、レンズの絞り開口の大きさ（Ｆ値）に応じて変化するため、撮像時の設定の情報に応じて決定されるものとする。

このように、生成部３００は、着目画素位置を１画素ずつずらしながら繰り返し計算することで、撮像画像の各画素における被写体のデフォーカス量を導出することができる。生成部３００は、各画素のデフォーカス量を導出すると、これを画素値とする、撮像画像と同一の構造の２次元情報であるデフォーカスマップを、距離情報として生成する。即ち、デフォーカス量は、撮像画像において合焦している被写体距離からの奥行き方向の位置のずれ量に応じて変化する値であるため、デフォーカスマップは、撮像時の被写体の奥行き方向の距離分布と等価な情報である。

《画像加工処理》
以下、本実施形態のデジタルカメラ１００において、撮像画像とデフォーカスマップとに基づいて、注目被写体の距離範囲のみに合焦した、撮像時よりも被写界深度を狭めた表現の画像を生成する画像加工処理について、図４のフローチャートを用いて説明する。該フローチャートに対応する処理は、システム制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。本画像加工処理は、例えばデジタルカメラ１００が撮像後に表現を変更した画像を生成する撮影モードに設定され、撮像指示に係る操作入力が検出された際に開始されるものとして説明する。

Ｓ４０１で、撮像部１０５はシステム制御部１０１の制御の下、被写体の撮像を行う。撮像によりアナログ画像信号が得られると、Ａ／Ｄ変換部１０６はこれをＡ／Ｄ変換し、ＲＡＭ１０３に格納する。本画像加工処理においてＲＡＭ１０３に格納される画像データは、瞳分割画素２０２ａに係り撮像されたＡ像及び瞳分割画素２０２ｂに係り撮像されたＢ像と、該Ａ像とＢ像とを加算することで構成された撮像画像（瞳分割していない状態に対応する画像）である。

以下の説明では、撮像範囲において被写体は図５に示されるように分布しているものとする。図示されるように、撮像範囲には手を挙げた状態の人物被写体５００、人物被写体５００よりもデジタルカメラ１００に近い位置から人物被写体５００よりも遠い位置にかけて延びた生垣５０１、生垣５０１よりも更に遠方に存在する木５０２が含まれる。また、撮像画像は、人物被写体５００に合焦する撮像設定で撮像されているものとする。本実施形態の画像加工処理では、後述のステップにおいて該人物被写体５００が注目被写体として選択され、該注目被写体に距離範囲にのみ合焦し、他の距離範囲の被写体についてはぼかしを付与することで、被写界深度の浅い画像を生成するものとして説明する。また簡単のため、奥行き方向の距離分布は、撮像範囲に分布する地面については除外し、人物被写体５００、生垣５０１及び木５０２についてのみ導出されるものとして説明する。

Ｓ４０２で、生成部３００はシステム制御部１０１の制御の下、Ｓ４０１においてＲＡＭ１０３に格納されたＡ像及びＢ像に基づき、撮像画像と対応するデフォーカスマップを生成する。図８に、デフォーカスマップを、画素値であるデフォーカス量をグレースケール値に変換して可視化して例示する。説明をわかりやすくするため、図８の例では、被写体距離が近い画素ほど白に近い値（画素値が高い）を有し、遠離するほど黒に近い値（画素値が低い）となるように変換されているものとする。

ところで、上述したような分布で人物被写体５００、生垣５０１及び木５０２が配置されている場合、特許文献１の技術のように該デフォーカスマップについてデフォーカス量に基づくヒストグラム（頻度分布）を構成した場合、図９のような分布となる。図９において、９０１で示されるヒストグラムの山は、遠方に配置された木５０２に係る画素群におけるデフォーカス量の分布を示している。一方、９００で示されるヒストグラムの山は、人物被写体５００及び生垣５０１に係る画素群におけるデフォーカス量の分布を示している。

ここで、引用文献１に記載のように所定の閾値９０２を上回るの頻度を示す、ｄ１～ｄ２で示されるデフォーカス範囲の画素を抽出したとしても、図１０に示されるように、人物被写体５００と生垣５０１に係る領域（図中の白領域）が抽出されるだけである。従って、このような抽出結果に基づいて処理をしたとしても、本実施形態のように注目被写体としたい人物被写体５００の距離範囲にのみ合焦させる、被写界深度の浅い表現の画像を得ることはできない。換言すれば、生垣５０１が奥行き方向に広く延びた形状をしており、人物被写体５００の被写体距離の範囲を含んで配置されている態様では、人物被写体５００の距離範囲のみを、引用文献１に記載の技術では分離抽出することができない。故に、抽出された領域外についてぼかし処理を適用したとしても、生垣５０１の奥行き方向の距離範囲について合焦してしまうため、被写界深度を好適に狭めることができず、所望の表現の画像とならない。

このため、本発明に係る画像加工処理では、デフォーカス量のヒストグラムに基づいて抽出するデフォーカス量の値範囲を特定する際に、撮像画像の全域についてのヒストグラムではなく、注目被写体とする被写体の領域についてのヒストグラムを用いる。以下、処理の詳細についてさらに説明する。

Ｓ４０３で、検出部３０１はシステム制御部１０１の制御の下、撮像画像中に含まれる所定の被写体を検出する処理を行う。上述したように、本実施形態では人物被写体５００の領域を特定する必要があるため、検出部３０１は、撮像画像に含まれる人物の顔領域を検出し、該顔領域の位置及びサイズ（FACE_SIZE_X, FACE_SIZE_Y）の情報を取得する。なお、本実施形態では検出部３０１は人物の顔領域を検出するものとして説明するが、本発明の実施はこれに限られるものではなく、例えば人物の胴体、乗用車、ペット、植物等が検出対象として設定されるものであってもよい。

なお、本実施形態では、検出部３０１が、予め定められた種類の被写体が撮像画像に含まれるか否かを検出し、該検出結果に基づいて注目被写体を設定するものとして説明するが、本発明の実施はこれに限られるものではないことは容易に理解されよう。即ち、撮像画像中から注目被写体を設定する方法は、画像解析に基づくものである必要はなく、例えばユーザによる注目被写体の選択操作に基づいて設定されるものであってもよいし、撮像画像中の特定の領域について設定されるものとして定められていてもよい。

Ｓ４０４で、領域設定部３０２はシステム制御部１０１の制御の下、Ｓ４０３における検出部３０１の検出結果に基づいて、撮像画像に対応するデフォーカスマップ中のヒストグラムを構成する解析領域を設定する。本実施形態では、人物の顔領域が検出部３０１により検出されるため、領域設定部３０２は、例えば図１１に示されるように顔領域１１００のサイズに対して相対的に定められた解析領域１１０２を、ヒストグラムを構成する解析領域として設定する。図１１の例では、解析領域１１０２は、人物被写体５００の顔領域１１００のサイズ（FACE_SIZE_X, FACE_SIZE_Y）に対して、予め設定した拡大率（MAG_X, MAG_Y）を乗じたサイズとなっている。解析領域１１０２の配置位置は、顔領域１１００の上端から、顔領域１１００のサイズに応じたFACE_MARGIN分（１１０１）だけＹ軸方向に移動した位置を上端とするように決定される。

ここで、解析領域１１０２のサイズを決定するための拡大率は、撮像画像における被写界深度に応じて変更することが好ましい。例えば、被写界深度が浅くなる撮像条件で、人物被写体５００の顔に合焦させてポートレート撮影を行うと、該被写体の胴体の像の境界部分が光学的なボケによって、被写界深度が深い撮像条件の場合よりも外側に膨張する傾向がある。故に、拡大率は、撮像画像における被写界深度が浅くなっているほど、デフォーカス量の範囲抽出に用いる領域が大きくなるよう設定されるものであってよい。

なお、本実施形態では人物の顔領域を検出するため、顔領域１１００と解析領域１１０２を図１１のような態様で設定するものとして説明するが、ヒストグラムを構成する解析領域の設定は、これに限られるものではない。例えば、人物の胴体も検出する態様においては、人体の検出結果に基づいて、人物被写体５００により合致した領域を設定することができる。また、ヒストグラムを構成する解析領域は、検出する被写体の種類、あるいは注目被写体として選択された被写体の種類に応じて、動的にサイズが変更され、設定されるものであってもよい。ここで、図示されるように解析領域１１０２は、厳密に被写体の輪郭に合致するよう設定される必要はない。

Ｓ４０５で、構成部３０３はシステム制御部１０１の制御の下、Ｓ４０４において設定されたヒストグラムを構成する解析領域について、デフォーカスマップに基づくヒストグラムを構成する。本ステップで生成されるヒストグラムは、図１１で示したように、人物被写体５００について設定された解析領域１１０２に含まれる画素のみで構成されるため、例えば図１２のように現れる。換言すれば、本ステップでは単純にデフォーカスマップの全域についてヒストグラムを生成する場合よりも、より人物被写体５００に合わせた領域でヒストグラムを構成できる。このため、人物被写体５００と共通する被写体距離に存在する他の被写体が存在していても、該他の被写体の距離範囲に依らず、人物被写体５００に係る画素が分布するデフォーカス量の範囲を取得することができる。

Ｓ４０６で、システム制御部１０１は、構成された解析領域１１０２についてのデフォーカス量のヒストグラムに基づいて、閾値１２０１を上回る数の頻度を示すデフォーカス量の範囲（最小デフォーカス量ｄ１及び最大デフォーカス量ｄ２）を特定する。システム制御部１０１は、特定したデフォーカス量の範囲の情報を、ＲＡＭ１０３に格納する。

Ｓ４０７で、領域抽出部３０４はシステム制御部１０１の制御の下、デフォーカスマップの全域から、Ｓ４０６において特定した範囲に含まれるデフォーカス量を示す画素（領域）を抽出する。このようにして、人物被写体５００の顔領域１１００に合わせて設定された解析領域１１０２に基づいて特定したデフォーカス量の範囲に含まれる画素を抽出すると、図１３に示されるようになる。図示されるように、解析領域１１０２に基づいて特定したデフォーカス量の範囲に含まれる画素のみを抽出すると、人物被写体５００と、生垣５０１のうちの該範囲に含まれる位置の像のみが抽出される。

本実施形態のデジタルカメラ１００では、輝度情報や色情報のヒストグラムとは異なり、デフォーカス量に係るヒストグラムに基づいて被写体領域の抽出を行うため、１つの被写体は一定の距離範囲に分布するとの特徴を生かした抽出を行うことができる。故に、解析領域１１０２に基づいてデフォーカス量の範囲を設定したとしても、図１３に示されるように、人物被写体５００が挙げている手や胴体のその他の部位も抽出され得る。

なお、デフォーカスマップのヒストグラムの山は、被写界深度が浅い撮像条件で撮像画像が取得されている場合ほど、山の裾野が広がり、かつ、デフォーカス量の頻度の変動も大きくなる傾向にある。このため、被写界深度が浅い撮像条件の場合には、システム制御部１０１は、デフォーカス量の範囲抽出に用いる閾値を低減させるようにし、より広範囲の領域を抽出できるように範囲の設定をすることが好適である。このように構成することで、例えばポートレート撮影のような、人物被写体５００の顔部分に合焦した、被写界深度が浅い撮像条件で撮像が行われた場合に、顔領域に比べてデフォーカスしているような胴体部についても、抽出が可能になる。

Ｓ４０８で、領域抽出部３０４はシステム制御部１０１の制御の下、撮像画像のうちのＳ４０７において抽出された領域の画像を分離する。即ち、領域抽出部３０４は、デフォーカスマップと対応する撮像画像中から、図１３において白色で示した領域の部分画像を分離する。

なお、本実施形態では人物被写体５００の距離範囲に合焦する表現の画像を生成するものとしたため、該範囲に存在する生垣５０１の領域についても分離するものとして説明するが、人物被写体５００にのみ合焦する表現では、生垣５０１の領域も除外してよい。この場合、領域抽出部３０４は、例えば人物被写体５００の距離範囲に該当する領域のうち、解析領域１１０２の基準となった顔領域１１００と連続性のない領域を除外するよう処理すれば、図１４のように人物被写体５００の領域のみを分離することができる。

Ｓ４０９で、効果処理部３０５はシステム制御部１０１の制御の下、撮像画像のうちのＳ４０８において分離されなかった領域に対して、例えばローパスフィルタを適用することでぼかし処理を行う。また画像処理部１０７は、ぼかし処理が適用された画像とＳ４０８において分離された画像とを合成することで、撮像時よりも被写界深度の浅い表現の加工画像を生成して記録媒体１０８に記録させ、本画像加工処理を完了する。

以上説明したように、本実施形態の画像処理装置によれば、注目の被写体の領域を被写体の距離分布に基づいて好適に抽出することができる。より詳しくは、画像処理装置は、撮像画像と、該撮像画像とに対応して得られた被写体の距離分布を示す距離情報に基づき、所望の被写体の領域に限定して、該被写体の距離範囲を特定する。そして、特定した距離範囲に基づき、所望の被写体の距離範囲に含まれる被写体の領域を、撮像画像中から抽出することができるため、画像処理装置は、これを用いた種々の表現の画像生成を行うことができる。

なお、本実施形態では、注目被写体の距離範囲にのみ合焦し、その他の距離範囲の被写体はぼけた状態の、被写界深度の浅い表現の画像を生成するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、分離した領域または分離しなかった領域に対して、効果処理部３０５が適用する画像処理は、ぼかし処理に限らず、例えば明るさ補正やコントラスト補正等、種々の画像処理を含むものであってよい。換言すれば、本発明は、注目被写体の距離範囲か範囲外であるかに応じて、画像処理の適用を分けることで実現される表現であれば、適用可能である。

また、本実施形態ではデジタルカメラ１００が撮像面位相差測距方式の測距機能を有する撮像素子を有し、撮像画像とともに視差を有する関係の画像群を取得し、デフォーカスマップを生成するものとして説明したが、本発明の実施はこれに限られない。撮像範囲に係るデフォーカスマップは、撮像画像と同時に取得されるものでなく、予め記録媒体１０８等に記録されているものであってもよい。

また本実施形態では、デフォーカスマップは視差を有する関係にある画像群に基づいて生成されるものとして説明したが、撮像画像に対応し、撮像範囲における被写体の距離分布を取得可能であれば、この方式に限られるものではない。デフォーカスマップの生成方式は、例えばピントや絞り値が異なる２枚の画像の相関からデフォーカス量を導出するＤＦＤ（Depth From Defocus）方式であってもよい。あるいは、被写体の距離分布は、ＴＯＦ（Time of Flight）方式等の測距センサモジュールから得た距離分布に関連する情報を用いて導出されるものであってもよい。いずれの方式で得た距離分布であっても、距離分布に係るヒストグラムを取得する領域を、注目被写体に係る領域に限定する態様とすることで、同様に本発明を実現することができる。

本実施形態では、撮像範囲における被写体の距離分布を示す距離情報として、デフォーカス量を参照するデフォーカスマップを用いるものとして説明したが、本発明の実施はこれに限られるものではない。即ち、被写体の距離分布を示す情報は、デフォーカス量ではなく、例えばデフォーカス量の導出において導出されたずらし量（像ずれ量）や、デフォーカス量にもとづいて導出される被写体距離を値として格納するものであってもよい。前者の場合、撮像素子の画素ピッチＰＹや一対の測距瞳を通過する光束の重心の開き角で定まる変換係数ＫＸを保持しておく必要がなく、情報量を減らすことができる。また後者の場合は、ユーザが把握しやすい数値となっているため、例えば表示部１１０を介して処理の過程で提示することで、どのような表現の画像が生成されるかをユーザに好適に伝えることができる。

また本実施形態の画像加工処理では、注目被写体とする人物被写体５００に合焦している条件で撮像が行われた態様について説明したが、本発明の実施はこれに限られるものではない。即ち、本発明によれば、合焦していない状態の被写体を注目被写体とした場合であっても、該被写体の領域のデフォーカス量を参照して被写体の距離範囲に存在する画素を特定することができるため、撮像時における合焦の有無は本発明の実施に無関係である。

なお、処理負荷やヒストグラム自体のデータ量の低減の観点からは、ヒストグラムの横軸で表される階級数を低減させることで、ヒストグラム構成に係る演算量を低減することができる。

例えば、図１６に示されるように、撮像範囲に複数の被写体が分布している態様について検討する。図１６は、撮像範囲における被写体の配置を示した鳥瞰図である。図において、撮像地点１６００はデジタルカメラ１００が設置される位置（撮像面の位置）を示し、光学系１０４として焦点距離が２００ｍｍのレンズが採用されて撮像が行われるものとする。ここで、被写体Ａ１６０１は、撮像地点１６００よりも２ｍ奥に存在し、デジタルカメラ１００は被写体Ａ１６０１に合焦させた状態で撮像を行うものとする。また被写体Ｂ１６０２は撮像地点１６００よりも２．１ｍ奥、被写体Ｃ１６０３は撮像地点１６００よりも１ｍ奥、被写体Ｄ１６０４は撮像地点１６００よりも１００ｍ奥に存在するよう分布しており、奥行方向に広範囲に被写体が存在するシーンとなっている。このような配置態様において、合焦させた被写体Ａ１６０１の距離範囲のみをデフォーカスマップから抽出するとする。なお、ヒストグラムの階級数は３２階級（０～３１）に設定されるものとし、ヒストグラムの構成時には、デフォーカス量の値は、最小値が０～最大値が３１までのいずれかの分類となるように正規化される。

レンズを境界とする被写体側（物体側）と撮像素子の（像面側）の結像関係を、図１８のように表される。該レンズの焦点距離をｆとすると、
１／Ｚｏ＋１／Ｓｏ＝１／ｆ
１／Ｚｄｅｆ＋１／（Ｓｏ＋ｄｅｆ）＝１／ｆ
となる。ここで、Ｚｏは合焦被写体の物体側距離、Ｚｄｅｆはデフォーカス被写体の物体側距離、Ｓｏは合焦被写体の像面側距離、Ｓｄｅｆはデフォーカス被写体の像面側距離である。これらの式から
Ｓｏ＝（Ｚｏ・ｆ）／（Ｚｏ－ｆ）
Ｓｄｅｆ＝（Ｚｄｅｆ・ｆ）／（Ｚｄｅｆ－ｆ）
を導くことができるため、デフォーカス被写体に係るデフォーカス量ｄｅｆは、
ｄｅｆ＝Ｓｄｅｆ－Ｓｏ
として導出できる。

図１７に示されるように、各被写体の被写体距離とデフォース量との関係が導かれた場合、撮像画像に対応するデフォーカスマップの全域についてヒストグラムを構成しようとすると、少なくとも被写体Ｄから被写体Ｃまでのデフォーカス量を含める必要がある。より詳しくは、少なくとも被写体Ｄ１６０４のデフォーカス量－２１．８２ｍｍをヒストグラムの０とし、被写体Ｃのデフォーカス量２７．７８ｍｍをヒストグラムの３１に分類するように会長の正規化が必要となる。そのため、ひとつの階級におけるデフォーカス量の階級幅は（｜－２１．８２｜＋｜２７．７８｜）／３１＝１．６ｍｍとなる。故に、ヒストグラムにおけるデフォーカス量の分解能よりも、被写体Ｂ１６０２のデフォーカス量の方が小さくなり、被写体Ａ１６０１と被写体Ｂ１６０２とをヒストグラムに基づいて分離することができない。ここで、例えば得られたデフォーカス分布に応じて、ヒストグラムの階級幅を狭めて階級数を上げれば、被写体Ａ１６０１と被写体Ｂ１６０２を分離することは可能であるが、先に述べたようにヒストグラムの階級数は低い方が、演算量の観点で有利である。

一方で、本発明によればヒストグラムの構成を、注目被写体に係る領域に限定してヒストグラムを構成するため、そもそもサンプル数が少なくて済むだけでなく、領域に含まれない被写体の距離を除外できる。即ち、ヒストグラムの取得領域を被写体Ａ１６０１の近傍に限定するため、例えば被写体Ｃ１６０３や被写体Ｄ１６０４のデフォーカス量を正規化に含める必要がなくなるため、ヒストグラムの階級をデフォーカス量０ｍｍ近傍で割り当てることができる。つまり、ヒストグラムの取得領域に含まれるデフォーカス量の分布に対して予め定められた階級数を割り振ることができるため、階級幅を狭めるように設定してより精査に解析を行うことができる。故に、ヒストグラムの階級数を上げなくても被写体Ａ１６０１と被写体Ｂ１６０２とを、デフォーカスマップのヒストグラムを参考にして分離することができる。その結果、被写体Ａ１６０１のみの距離範囲をデフォーカスマップから好適に抽出することが実現できる。

［変形例］
上述した実施形態では、撮像画像から人物被写体の顔領域を検出して注目被写体を特定する態様について説明したが、このような態様において、例えば、検出部３０１が顔領域を複数検出するケースも存在し得る。このとき、１人の人物被写体についてのみ合焦するよう、該被写体の距離範囲を特定するためには、以下のように処理すればよい。

例えば、図１５に示されるように、撮像範囲中に、人物被写体１５００ａと、その後方に位置する人物被写体１５００ｂとが存在し、検出部３０１によって検出された各被写体の顔領域の中心が顔中心１５０１ａと顔中心１５０１ｂが配置されているとする。このとき、人物被写体１５００ａの距離範囲の被写体の領域のみを抽出すべく、人物被写体１５００ａの顔領域に対して予め設定した拡大率（MAG_X, MAG_Y）を乗じた、破線で示される解析領域１５０２を設定したとする。しかしながら、図示されるように、人物被写体１５００ａと人物被写体１５００ｂとが近接している態様では、解析領域１５０２に人物被写体１５００ｂの像が含まれ得る。結果、解析領域１５０２についてデフォーカス量のヒストグラムを構成したとしても、人物被写体１５００ａと人物被写体１５００ｂの距離範囲を好適に分離することができない可能性がある。

従って、このように検出部３０１が複数の顔領域を演出し、いずれかの顔領域に係る被写体の距離範囲のみを抽出したい場合、拡大率は、ヒストグラムを構成する解析領域が人物被写体１５００ｂの領域を除外した調整領域１５０３となるよう、調整されてよい。具体的には領域設定部３０２は、顔中心１５０１ａの座標（FACE1_POS_X, FACE1_POS_Y）と顔中心１５０１ｂの座標（FACE2_POS_X, FACE2_POS_Y）とがなす距離応じて拡大率を補正することで、調整領域１５０３を設定すればよい。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：デジタルカメラ、１０１：システム制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：記録媒体、１０９：操作入力部、１１０：表示部、３００：生成部、３０１：検出部、３０２：領域設定部、３０３：構成部、３０４：領域抽出部、３０５：効果処理部

Claims (14)

1. 撮像範囲の被写体を撮像した撮像画像と、該撮像画像と対応する領域についての、前記撮像範囲における被写体の奥行き方向の距離分布を示す値を格納した距離情報と、を取得する取得手段と、
   前記撮像画像について注目被写体を決定する決定手段と、
   前記撮像画像における前記注目被写体の位置に基づいて、距離分布を解析する解析領域を設定する設定手段と、
   前記距離情報のうちの前記解析領域に含まれる値の頻度分布に基づいて、該解析領域に含まれる被写体が分布する値範囲を特定する特定手段と、
   前記値範囲に含まれる情報を示す前記距離情報の領域を抽出することで、少なくとも前記注目被写体を含む被写体領域を抽出する抽出手段と、
   を有することを特徴とする画像処理装置。
2. 前記撮像画像のうちの、前記抽出手段により抽出された前記被写体領域に含まれる画素と、前記被写体領域に含まれない画素に対して異なる画像処理を適用することで、加工画像を生成する生成手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記被写体領域から前記注目被写体の領域をさらに抽出し、前記撮像画像の前記被写体領域に含まれる画素のうち、該注目被写体の領域に含まれる画素と、該注目被写体の領域に含まれない画素に対して異なる画像処理を適用することを特徴とする請求項２に記載の画像処理装置。
4. 前記特定手段は、前記距離情報の前記解析領域に含まれる値の頻度分布において、閾値を上回る頻度を示す値に基づいて前記値範囲を特定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記特定手段は、前記撮像画像の被写界深度が浅いほど、頻度の前記閾値を低減させて前記値範囲を特定することを特徴とする請求項４に記載の画像処理装置。
6. 前記特定手段は、前記解析領域に含まれる値の範囲に応じて、前記頻度分布における階級幅を変更することを特徴とする請求項４または５に記載の画像処理装置。
7. 前記決定手段は、前記撮像画像に含まれる所定の被写体を検出することで、検出した該所定の被写体のうちから前記注目被写体を決定し、
   前記設定手段は、前記注目被写体に対応する前記所定の被写体の像が現れる領域を含む所定の大きさの領域を、前記解析領域として設定する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記設定手段は、前記撮像画像の被写界深度が浅いほど、前記所定の大きさの領域を拡大させて前記解析領域を設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記設定手段は、前記注目被写体に対応する前記所定の被写体の像が現れる領域を含む所定の大きさの領域に、前記決定手段により検出された、前記注目被写体とは異なる前記所定の被写体の像が現れる領域が含まれる場合に、該異なる所定の被写体の像が現れる領域を含まないように、前記解析領域を変形することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記距離情報は、前記撮像画像と同一の画素構造を有する２次元情報であり、
    前記距離情報の各画素に格納される値は、前記撮像画像において該画素に存在する被写体の像のデフォーカス量である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記距離情報は、前記撮像画像と同一の画素構造を有する２次元情報であって、異なる複数の視点で前記撮像範囲を撮像した画像群に基づいて値が格納される情報であり、
    前記距離情報の各画素に格納される値は、前記撮像画像において該画素に存在する被写体の、前記画像群における相対的な像ずれ量である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
12. 前記距離情報は、前記撮像画像と同一の画素構造を有する２次元情報であり、
    前記距離情報の各画素に格納される値は、前記撮像画像において該画素に存在する被写体の奥行き方向の距離である
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
13. 撮像範囲の被写体を撮像した撮像画像と、該撮像画像と対応する領域についての、前記撮像範囲における被写体の奥行き方向の距離分布を示す値を格納した距離情報と、を取得する取得工程と、
    前記撮像画像について注目被写体を決定する決定工程と、
    前記撮像画像における前記注目被写体の位置に基づいて、距離分布を解析する解析領域を設定する設定工程と、
    前記距離情報のうちの前記解析領域に含まれる値の頻度分布に基づいて、該解析領域に含まれる被写体が分布する値範囲を特定する特定工程と、
    前記値範囲に含まれる情報を示す前記距離情報の領域を抽出することで、少なくとも前記注目被写体を含む被写体領域を抽出する抽出工程と、
    を有することを特徴とする画像処理方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images