JP6218378B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は撮影された画像データの背景領域にぼけ効果を付与した画像データを生成する画像処理装置に関する。

撮像センサのセンササイズが比較的小さいデジタルカメラでセンササイズが大きい一眼レフカメラ並みのぼけ量を得るために画像処理によりぼかし処理を施す方法が知られている。特許文献１では、主被写体と背景の深度差によりぼかし処理可否を判定する提案があり、主被写体と背景の距離差がないためにぼかし処理が不要な場合にぼかし処理を実施しないというものである。

特開２０１２−１２９６２７号公報

しかしながら、得られる深度情報の精度や信頼度が十分でない場合、ぼかし処理を実施したい背景領域をぼかさなかったり、ぼかし処理を実施したくない主被写体領域をぼかすという誤判定を生じる。さらに、ぼかし処理を強めに行う領域が小さい場合、ブロック分割の粗さや合成性能などにより主被写体領域と背景領域の境界部分が不自然になりやすく、違和感がある場合がある。

上述した課題に鑑み、本発明の目的は、撮影シーンに応じて効果的にぼかし処理を行うことを目的とする。

上記目的を達成するために、本発明の撮像装置は、
画像データから被写体を検出する検出手段と、前記画像データにぼかし処理を実施するぼかし処理手段と、前記画像データの画像領域ごとの距離情報を取得する距離情報取得手段と、前記画像データの輝度信号及び色信号の類似性に基づいて、前記画像データの構図情報を取得する構図情報取得手段と、前記画像データの画像領域ごとに前記被写体に対応する被写体領域からの距離差を、前記距離情報及び前記構図情報に基づいて算出し、前記距離差が閾値よりも大きい背景領域の大きさに応じて前記ぼかし処理の実施の可否を制御する制御手段と、を有することを特徴とする。

本発明によれば、撮影シーンの解析を行なうことによって、撮影シーンに応じて効果的にぼかし処理を行うことができる。

本実施形態のデジタルカメラの構成 本実施形態のベストピントの取得方法 本実施形態の距離マップの取得方法 本実施形態のぼかし処理、合成処理の方法 本実施形態の動作フロー

図１において、１００は画像処理装置である。なお、本実施形態では画像処理装置１００の一例としてデジタルカメラの構成を示している。

１０はフォーカスレンズを含む撮影レンズ、１２は絞り機能を備える機械式シャッターである。１４は撮影レンズ１０及びシャッター１２などの光学系から入射される光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ（アナログ／デジタル）変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また２０の画像処理回路によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露光）処理、ＥＦ（フラッシュ調光）処理を行う。さらに、画像処理回路２０においてはＡＷＢ（オートホワイトバランス）処理も行っている。さらに、画像処理回路２０は被写体検出回路を含む。被写体検出方法としてはパターンマッチング、特徴点抽出など、公知の方法を適用可能で特に限定されない。また、検出する被写体の例として本実施形態では顔とするが、公知の被写体検出方法を用いて他の被写体（被写体領域）を検出するものであってもよく、検出される被写体は限定されない。本実施形態では被写体検出回路は顔検出回路とし、検出結果の出力として顔領域の座標（領域情報）、目の座標などを出力する。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

２８はＴＦＴ、ＬＣＤ等から成る画像表示部であり、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路である。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。また、撮像素子１４から読み出した信号を記録媒体２００に書き込む記録処理までの一連の処理の動作開始を指示する。より具体的には、Ａ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２での圧縮を行う、などである。

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は通信手段でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。

記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

上述した画像処理装置１００内の各構成は、ハードで構成しても、その一部あるいは全部をソフトウェアモジュールとして構成しても良い。

次にシステム制御部５０による距離マップの取得方法について説明する。距離マップは、撮影される画角内の各領域の距離情報の分布を示したもので、本実施形態では画角中のブロックごとの距離情報を示すマトリックス状のデータテーブルの体をなしているが、これに限らない。本実施形態の被写体距離の測定方法例として、コントラスト評価値による測定方法を例にとり説明する。まず画角に対してＭ×Ｎの測距領域を設定（画像データをブロックに分割）する。フォーカス制御部３０によってフォーカスレンズを移動させながら、撮像部１４から出力される画像データのコントラストを示すＡＦ（オートフォーカス）評価値を各測距領域に対して求めていく。ＡＦ評価値は画像処理部６０から出力される他、システム制御部４０において画像データもしくは画像処理部６０の出力から演算により求めることもできる。求まったフォーカスレンズ位置に対する各測距領域のＡＦ評価値から、測距領域ごとに評価値が極大となるフォーカスレンズ位置（ベストピント位置）が求まり、これが領域ごとの被写体距離の距離情報（ピント情報）に相当する。すなわち、ここでの距離マップはＭ×Ｎのピークポジション情報である。後述する実施形態では、６×６の分割とする。図２は横軸がフォーカスレンズの位置であり、縦軸がオートフォーカス（ＡＦ）評価値を表すもので、ベストピント位置を説明するための図である。本実施形態では、ＡＦ評価値は撮像部１４から所定の周期で順次出力されるライブ画像にバンドパスフィルタを施した信号のコントラストを数値化したものである。フォーカスレンズを無限遠側から至近側に動かしたとき、近距離にある被写体のＡＦ評価値はＳ２０１に示す曲線となり、ベストピント位置（極大値）はＳ２０２となる。また、遠距離にある背景のＡＦ評価値はＳ２０３に示す曲線となり、ベストピント位置は被写体よりも無限遠側のＳ２０４となる。

領域ごとの被写体距離の距離情報を取得する方法としては、上記の方法に限らない。例えば同一画角のピント位置の異なる２つ以上の画像を比較して被写体距離を測定する方法として、エッジ差分で距離を推定する方法や、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）を用いた方法などが考えられる。また、撮像部１４とは別に位相差による距離測定のための測距センサを設けていても良い。撮像部１４の撮像素子の画素配列の中に位相差による焦点検出が可能な瞳分割された画素を配して、当該焦点検出用の画素からの出力に基づいて距離を測定しても良い。いずれの手段も距離情報取得手段となり得る。

上述した被写体距離の測定手段による距離マップに加えて、本実施形態では、画角内の画像データから画像の構図情報を取得し、より適切な距離情報を生成する。図３（ａ）は撮影する構図であり、Ｓ３０１は人物、Ｓ３０２は背景に存在する木、Ｓ３０３は山及び地面、Ｓ３０４は空である。

図３（ｂ）ではブロック分割した領域毎に色差信号（色信号）、輝度信号の平均値を求め、構図の情報を得る。ブロック分割は例として縦横各６等分としている。左上のブロックから順次色差平均値、輝度平均値の隣接ブロックとの差分を比較して、差分が小さい場合は類似性が高く、同一グループとして結合する。結果として、Ｓ３１１は青色領域、Ｓ３１２は茶色領域、Ｓ３１３は黒領域、Ｓ３１４は茶色領域、Ｓ３１５は緑色領域、Ｓ３１６は肌色領域、Ｓ３１７は白領域、Ｓ３１８は茶色領域となる。

図３（ｃ）では、さらに、画像処理回路２０に含まれる前述した顔検出回路から得られた顔情報を用いて図３（ｂ）の構図情報を補正する。Ｓ３２１が顔領域としたとき、髪にあたる黒領域Ｓ３１３と顔にあたる肌色領域Ｓ３１６と胴体にあたる白領域Ｓ３１７を結合して人領域Ｓ３２２とする。顔領域Ｓ３２１に基づく人領域Ｓ３２２の設定方法としてはこれに限らず、たとえば色に依存しない結合方法で領域を結合し、人領域Ｓ３２２を設定しても良い。例えば顔領域ｓ３２１の周辺に、顔の向きも勘案して胴体の領域に相当する所定の大きさの領域を設定して、当該領域内に少なくとも一部が存在する、グルーピングされた領域を、顔領域Ｓ３２１と結合して、人領域Ｓ３２２としても良い。その他、Ｓ３２３は青色領域、Ｓ３２４は茶色領域、Ｓ３２５も茶色領域、Ｓ３２６が緑色領域、Ｓ３２７が茶色領域となる。

図３（ｄ）は前述したオートフォーカス動作から得られたピント情報であり、簡単のため図３（ｂ）の構図情報のブロック分割と合わせてブロック分割を縦横各６等分している。図３（ｄ）は、基準ピント位置と各ブロックのベストピント位置との差分絶対値を図示しており、主被写体の領域を基準ピント位置として差分絶対値が０の領域Ｓ３３１としている。Ｓ３３２の領域は差分絶対値が１の、基準ピント位置からややベストピント位置が異なるブロックを示しており、Ｓ３３３の領域は差分絶対値が２の、さらに基準ピント位置からベストピント位置が離れたブロックであることを示している。尚、Ｓ３３４の領域はｘとしているが、コントラストが低いことによりＡＦ評価値が測定出来なかった、あるいは信頼性の低い評価値しか得られなかった、つまり適切なベストピント位置を得られなかった領域を示している。

図３（ｅ）では、図３（ｃ）で補正した構図情報と図３（ｄ）のピント情報をマージした図を示す。マージの仕方としては、構図情報とピント情報それぞれの孤立ブロックの除去を行ない、同一ピント位置のブロックを結合する。Ｓ３４１が人、つまり主被写体領域であり、ぼかし処理を実施しない領域とする。ここで、図３（ｅ）のＳ３４１の領域に対応する領域では、例えば左から３列目、上から４行目の差分絶対値２のブロックが孤立点として周囲の０の領域（ぼかし処理を実施しない領域）に置換された。左から４番目、上から６行目の差分絶対値が１の領域が同じく孤立点として０の領域（ぼかし処理を実施しない領域）に置換された。同様に、Ｓ３２６の緑色領域とＳ３２７の茶色領域は同一ピント位置と判断しＳ３４２の弱ぼかし処理領域とする。Ｓ３４３の茶色領域、Ｓ３４４の茶色領域、Ｓ３４５の青色領域については強ぼかし処理領域とする。

以上により、画像データ内を被写体領域と、被写体領域以外の背景領域（複数段）に分けた図３（ｆ）のぼかし処理マップが得られる。主被写体領域Ｓ３５１がぼかし処理を実施しない領域、Ｓ３５２が弱ぼかし処理を実施する領域、Ｓ３５３、Ｓ３５４、Ｓ３５５が強ぼかし処理を実施する領域となり、各強度のぼかし領域がそれぞれ１つの連続した領域となっている。

ここで、本実施形態では、得られたぼかし処理マップを用いて、ぼかし処理の実施の可否の判定を行う。例えば、ぼかし処理を実施する基準の閾値として、基準ピント位置との差の閾値を１、背景のブロック数の閾値を１０とすると、図３（ｅ）において該当枠は１５となり、ぼかし処理を実施するという判定となる。しかし、基準ピント位置との差の閾値を２とすると、該当枠は７となり、閾値１０を超えず、ぼかし処理を実施しないという判定となる。また、本判定は、ぼかし処理マップからではなく、前述したピント情報（被写体距離情報）のみから行ってもよい。

尚、本実施形態では、ぼかし強度を強と弱の多層としているが、ぼかし処理有無の二層で処理してもよい。もちろん、その逆にぼかし強度を４段階以上の複数層で処理してもよい。

図４を用いて、ぼかし処理及び合成処理について説明する。図４は、最終的な背景ぼかし画像の生成を行うためのデータフロー図である。本処理は画像処理回路２０によって実行される。

入力としてＹＵＶ（輝度、色差信号）画像を入力し、Ｓ４０１で１段目の縮小を行ない、弱ぼかし相当の画像を得る。その際、プレフィルタを用いて高周波信号の折返りを防ぐ。Ｓ４０２では２段目の縮小を行ない、強ぼかし相当の画像を得る。その後Ｓ４０３で拡大しＳ４０１の出力画像サイズに合わせ、Ｓ４０５で合成する。その際、Ｓ４０４の合成マップ（Ｍａｐ１）を用いて合成する。図３（ｆ）の距離マップの合成を行なう場合のＳ４０４のＭａｐ１は図４（ｂ）であり、Ｓ４１１の白領域は弱ぼかし相当のＳ４０１の出力とし、Ｓ４１２の黒領域は強ぼかし相当のＳ４０３の出力とする。ここで、図４（ｂ）のＳ４１１の白領域は図３（ｅ）のピント情報の０及び１の領域であり、Ｓ３４１、Ｓ３４２で示す領域であり、残りの領域をＳ４１２の黒領域とする。さらにＳ４０６で拡大し元のＹＵＶ画像サイズに合わせ、Ｓ４０８で合成する。その際、Ｓ４０７の合成マップ（Ｍａｐ２）を用いて合成する。図３（ｆ）の距離マップの合成を行なう場合のＳ４０７のＭａｐ２は図４（ｃ）であり、Ｓ４２１の白領域はぼかし処理を実施しない主被写体領域であり元のＹＵＶ画像とし、Ｓ４２２の黒領域は弱ぼかし相当と強ぼかし相当を合成したＳ４０６の出力とする。ここで、図４（ｃ）のＳ４２１の白領域は図３（ｅ）のピント情報の０の領域であり、Ｓ３４１で示す領域であり、残りの領域をＳ４２２の黒領域とする。

以上により、図３（ｆ）の距離マップのＳ３５１をぼかし処理を実施しない領域、Ｓ３５２が弱ぼかし領域、残りのＳ３５３−Ｓ３５５が強ぼかし領域となる。

図５を用いて、本実施形態の動作フローを説明する。

Ｓ５０１の構図情報取得は前述したようなライブ画像の表示中に行う動作であり、一定周期で繰返し行う。ライブ画像を用いて色差信号、輝度信号、顔検出情報を用いてブロック分割のグルーピングを行なう。図３（ｂ）及び図３（ｃ）の情報を取得、生成する処理に相当する。

Ｓ５０２のピント情報取得はブロック分割した領域毎のベストピント情報を取得する動作であり、ＳＷ１押下時に行なう。ライブ中に行なってもよいがピンボケ画像が表示されるため、本実施形態ではＳＷ１押下時に行なうこととする。図３（ｄ）の情報を取得、生成する処理に相当する。

Ｓ５０３の撮影条件取得は、本撮影の撮影条件を設定する際に、焦点距離や絞り値などぼけに関係する条件を取得する。

以降はＳＷ２押下時の動作である。

Ｓ５０４の閾値設定では、Ｓ５０７の距離差判定に用いる閾値を決定するが、撮影条件や主被写体のピント位置により閾値を可変にしてもよい。また、Ｓ５０８の領域サイズ判定に用いる閾値を決定するが、ぼかし処理の強度により閾値を可変してもよい。

Ｓ５０５ではＳ５０１で得られる構図情報とＳ５０２で得られるピント情報をマージすることによりぼかし処理マップを生成する。孤立ブロックの除去や顔情報の利用によりぼかし処理マップの補正も行なう。図３（ｅ）及び図３（ｆ）の情報を取得、生成する処理に相当する。

Ｓ５０６はＳ５０５で得られる距離マップから主被写体有無を判定し、主被写体があると判定したらＳ５０６に進み、主被写体がないと判定したらぼかし処理を実施せず終了する。

Ｓ５０７の距離差判定では主被写体と背景との距離差があらかじめ指定した閾値以上あるかを判定し、距離差があると判定したらＳ５０８に進み、距離差がないと判定したらぼかし処理を実施せず終了する。ここで、距離差の閾値は焦点距離や主被写体の距離により可変してもよい。

Ｓ５０８の領域サイズ判定では背景領域のブロック数があらかじめ指定した閾値以上あるかを判定し、ブロック数があると判定したらＳ５０９に進み、ブロック数が少ないと判定したらぼかし処理を実施せず終了する。ＳＳ５０９のぼかし処理、及びＳ５１０の合成処理は図４にて説明した縮小・拡大処理を実施し、合成する。尚、ぼかし処理について本実施形態では縮小・拡大処理と合成処理を混合して実施しているが、独立に行ってもよい。また、本実施形態ではぼかし処理を縮小・拡大、及びプレフィルタにて実施しているが、多タップの二次元フィルタや一次元フィルタにより実現してもよい。

さらに、構図情報取得について、本実施形態ではＳ５０１の構図情報取得をライブ画像から実施しているが、ＳＷ２にて得られる本撮影画像でやり直してもよい。また、各判定について、本実施形態ではＳ５０６の主被写体有無の判定、Ｓ５０７の主被写体と背景との距離差判定、Ｓ５０８の背景領域のブロック数判定をＳＷ２押下後に行っているが、ＳＷ２押下前に行ってもよい。

以上のように、本実施形態では、撮影シーンを解析することで得られる、画角内の各領域の被写体距離情報と構図情報に基づいて、領域ごとのぼかし処理情報（ぼかし処理マップ）を生成しぼかし処理を行う。これにより、撮影シーンに応じて効果的にぼかし処理を行うことができる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

Claims (7)

1. 画像データから被写体を検出する検出手段と、
   前記画像データにぼかし処理を実施するぼかし処理手段と、
   前記画像データの画像領域ごとの距離情報を取得する距離情報取得手段と、
   前記画像データの輝度信号及び色信号の類似性に基づいて、前記画像データの構図情報を取得する構図情報取得手段と、
   前記画像データの画像領域ごとに前記被写体に対応する被写体領域からの距離差を、前記距離情報及び前記構図情報に基づいて算出し、前記距離差が閾値よりも大きい背景領域の大きさに応じて前記ぼかし処理の実施の可否を制御する制御手段と、
   を有することを特徴とする画像処理装置。
2. フォーカスレンズを含む光学系から入射される光学像を変換し、像データを出力する撮像手段を有し、
   前記距離情報取得手段は、前記フォーカスレンズを移動させながら前記撮像手段から出力される画像データの領域ごとのコントラスト評価値を取得し、該コントラスト評価値に基づいて、前記距離情報を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記距離情報において、距離が測定出来ないあるいは信頼性が低い領域は、前記被写体領域にも前記背景領域にも該当しない領域とすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、前記距離情報及び前記構図情報を比較し、孤立点となる領域を周囲の情報に置換して、前記距離差を得ることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理装置。
5. 画像データから被写体を検出する検出ステップと、
   前記画像データにぼかし処理を実施するぼかし処理ステップと、
   前記画像データの画像領域ごとの距離情報を取得する距離情報取得ステップと、
   前記画像データの輝度信号及び色信号の類似性に基づいて、前記画像データの構図情報を取得する構図情報取得ステップと、
   前記画像データの画像領域ごとに前記被写体に対応する被写体領域からの距離差を、前記距離情報及び前記構図情報に基づいて算出し、前記距離差が閾値よりも大きい背景領域の大きさに応じて前記ぼかし処理の実施の可否を制御する制御ステップと、
   を有することを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
7. コンピュータに、請求項５に記載の画像処理方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images