JP6516410B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、特に、ぼかし処理を行うために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。

従来、コンパクトデジタルカメラで撮影すると、一眼レフカメラで撮影する場合に比べて相対的に広い距離範囲に対して焦点が合ってしまうため、一眼レフカメラのように背景を大きくぼかした画像を撮影することができない。このため、従来のコンパクトデジタルカメラでは、大きなぼかし効果を得るために、デジタルフィルタ処理で一眼レフカメラ相当の大きさのボケを撮影画像に付与している。

例えば特許文献１には、縮小した画像に小さいサイズのフィルタ処理を施したのちに元のサイズに拡大して、小さいサイズのフィルタ処理で大きなボケを画像に付与する技術が開示されている。また、例えば特許文献２には、焦点条件の異なる２枚の画像から主被写体領域と背景領域とを検出し、この結果に応じて背景をぼかす効果を付与した画像を形成する技術が開示されている。

特開２００４−１０２９０４号公報 特開平１０−２３３９１９号公報

しかしながら、上述の特許文献１及び２に開示された従来技術では、フィルタサイズが小さいため、一眼レフカメラのような背景ボケを忠実に再現することができない。例えば一眼レフカメラでは、背景の点光源を大きく丸くぼかすような撮影を行うことができるが、特許文献１及び２に開示されている小さいサイズのフィルタ処理では、丸ボケの形状の詳細を十分に表現できない。また、被写体距離によってぼかし度合を変える場合には、被写体距離の種類が増えると全体の処理時間が増大するという問題がある。

本発明は前述の問題点に鑑み、被写体距離によってぼかし度合を変える際に、被写体の数が多い場合にも回路規模及び処理時間を抑えて背景ボケを忠実に再現できるようにすることを目的としている。

本発明に係る画像処理装置は、焦点までの距離が互いに異なる少なくとも２つの被写体を含む撮影画像を入力する入力手段と、前記撮影画像における各被写体までの距離と、合焦位置までの距離との情報を取得する取得手段と、前記取得手段によって取得された各被写体までの距離及び合焦位置までの距離に基づいて前記各被写体に対して異なるフィルタ処理を施す第１の処理手段と、前記第１の処理手段によるフィルタ処理を適用するか否かを選択する選択手段と、前記選択手段によって前記第１の処理手段によるフィルタ処理を適用しないことが選択された場合に、前記第１の処理手段によるフィルタ処理よりも再現性の高いフィルタ処理を行って処理後の画像を生成する第２の処理手段とを有し、前記第１の処理手段は、前記各被写体までの距離及び合焦位置までの距離に基づいた回数で前記各被写体に対してそれぞれフィルタ処理を行い、前記フィルタ処理ごとに生成される画像を合成し、前記選択手段は、前記撮影画像に含まれる被写体までの距離と前記合焦位置までの距離との関係に応じて前記第１の処理手段によるフィルタ処理を適用するか否かを選択することを特徴とする。

本発明によれば、被写体距離によってぼかし度合を変える際に、被写体の数が多い場合にも回路規模及び処理時間を抑えて背景ボケを忠実に再現することができる。

実施形態に係るデジタルカメラの構成例を示すブロック図である。 画像処理部に含まれる構成の一部を説明するための図である。 撮影画像に適用する２次元フィルタ処理のフィルタ係数を説明するための図である。 図３の２次元フィルタを撮影画像に適用する様子を説明するための図である。 デジタルカメラと撮影される被写体との位置関係を示した図である。 図５に示した位置関係の例で撮影された撮影画像を示す図である。 撮影画像における被写体の距離マップの例を示す図である。 実施形態におけるぼかし処理を行う一連の処理手順の一例を示すフローチャートである。 輝度ヒストグラムの一例を示す図である。 実施形態におけるぼかし処理の詳細な手順の一例を示すフローチャートである。 ぼかしモードごとのフィルタの選択条件の一例を示す図である。 ぼかし度合を決定する条件の一例を示す図である。 フィルタの種類とぼかし度合とにより適用するフィルタの一例を示す図である。 フィルタの形状の一例を示す図である。 簡略フィルタの詳細な構成を説明するための図である。 簡略フィルタによるフィルタ処理の詳細な手順の一例を示すフローチャートである。

以下、本発明の好ましい実施形態について、添付の図面に基づいて詳細に説明する。本実施形態では、画像処理装置としてデジタルカメラに適用した例について説明する。

図１は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。
図１において、撮影レンズ１０３はフォーカスレンズを含むレンズであり、シャッター１０１は絞り機能を備えている。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成されている。Ａ／Ｄ変換器２３はアナログ信号をデジタル信号に変換するための回路であり、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像ユニットを覆うことにより、撮影レンズ１０３、シャッター１０１、及び撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３から出力されるデータ、又は、メモリ制御部１５から出力されるデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像して得られた画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御及び測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。システム制御部５０によるＡＦ処理では、主被写体に対する合焦制御が行われ、主被写体距離として合焦距離が得られる。画像処理部２４では更に、撮像して得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、さらに画像処理部２４では、撮像して得られた画像データに対して所望のボカシ効果を付与した画像を形成する。

距離マップ生成部１０４は、例えば焦点条件の異なる２枚の画像から被写体の距離マップを生成する。例えば、２枚の画像のエッジ成分、すなわち高周波数成分や中周波数成分を取り出し、これらの絶対値成分の差分値とることによってこの差分値から被写体距離を抽出する。焦点条件の種類を増やして複数枚の撮影画像から被写体距離情報を抽出することにより、被写体距離の分解能及び精度を高くすることもできる。これにより、撮影画像に対する距離マップを生成する。

Ａ／Ｄ変換器２３から出力される出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られ、Ａ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声のデータを格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３から出力されたアナログ信号に応じた表示を行う。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶されている。この不揮発性メモリ５６に記憶されているプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記憶されたプログラムを実行することにより、後述する本実施形態の各処理を実現する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。システムメモリ５２は例えばＲＡＭが用いられ、システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出されたプログラム等を展開する。

モード切替スイッチ６０、シャッターボタン６１、第１シャッタースイッチ６２、第２シャッタースイッチ６４、及び操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。

シャッターボタン６１は撮影指示を行うための操作手段であり、第１シャッタースイッチ６２および第２シャッタースイッチによって構成されている。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１がシステム制御部５０に入力されると、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作が開始される。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。第２シャッタースイッチ信号ＳＷ２がシステム制御部５０に入力されると、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作が開始される。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。インターフェース１８はメモリカードやハードディスク等の記録媒体２００と接続するためのインターフェースである。記録媒体２００は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。電源スイッチ７２は、電源オン、電源オフを切り替えるためのスイッチである。

次に、図２から図４を参照しながら、再現性の高いフィルタ処理を行うための、画像処理部２４の詳細な構成及び動作について説明する。

図３は、撮影画像に適用する２次元フィルタ処理のフィルタ係数を説明するための図である。図３に示すように、フィルタの形状は、円柱形のフィルタ形状となっており、撮影画像にこのフィルタ処理を適用することにより一眼レフカメラのような丸ボケを表現することができる。また、フィルタのサイズは、円柱部分が（４７タップ）×（４７タップ）である。ｆ１、ｆ２、・・・、ｆ３６は、サイズが（９タップ）×（９タップ）の２次元フィルタ係数であり、縦６ブロック×横６ブロックで最大（５４タップ）×（５４タップ）の２次元フィルタ係数を表現することができる。

図４は、図３の２次元フィルタを撮影画像に適用する様子を説明するための図である。図４において、領域４０１は撮影された入力画像の領域である。領域４０２は（５４タップ）×（５４タップ）の２次元フィルタを適用した後の出力画像の領域である。

図２は、画像処理部２４に含まれる構成の一部を説明するための図である。
図２（ａ）に示す２次元フィルタ回路２０１は、（９タップ）×（９タップ）の２次元フィルタ処理を施す回路である。信号２０３は、２次元フィルタ回路２０１に入力される２次元フィルタ係数の信号であり、信号２０４は、２次元フィルタ回路２０１に入力される入力画像である。また、２次元フィルタ回路２０１から出力される信号２０５は、２次元フィルタが適用された画像信号である。

２次元フィルタ回路２０１は、入力画像の所望の領域を読み出し、２次元コンボリューション処理を施す。まず、２次元フィルタ回路２０１は、図３に示す２次元フィルタ係数ｆ１を入力画像に適用する。その際、図４に示すように入力画像中の領域４０３を部分的に読み出してフィルタ処理を適用することによって、第１の中間画像を生成する。同様に、図３に示す２次元フィルタ係数ｆ２で図４に示す領域４０４をフィルタ処理することによって第２の中間画像を生成する。

図２（ｂ）には、画像合成回路２０６を示している。本実施形態では、加算処理により画像を合成する例について説明する。まず、画像合成回路２０６は、入力信号２０７、２０８として第１の中間画像及び第２の中間画像を入力して第１の合成画像を生成し、出力信号２０９として出力する。次に、図３に示す２次元フィルタ係数ｆ２の処理と同様に、２次元フィルタ回路２０１において、入力画像の領域をずらして図３に示す２次元フィルタ係数ｆ３によるフィルタ処理を行って第３の中間画像を生成する。そして、画像合成回路２０６において、第１の合成画像と第３の中間画像とを加算合成することによって第２の合成画像を生成する。以下、図３に示す２次元フィルタ係数ｆ４〜ｆ３６についても同様の処理を行って、最終的に第３５の合成画像を生成する。

本実施形態において図３に示す２次元フィルタ係数ｆ１〜ｆ３６は、それぞれ不揮発性メモリ５６に予め記憶されており、メモリ３２上に展開されて２次元フィルタ回路２０１に入力される。ただし、これに限定されるものではなく、システム制御部５０が、図３に示す（５４タップ）×（５４タップ）の２次元フィルタ係数をメモリ３２上に生成し、図３に示す３６個の２次元フィルタ係数ｆ１〜ｆ３６に分割してもよい。これにより、不揮発性メモリ５６に記憶される２次元フィルタ係数のデータを削減するように構成してもよい。

図２（ｃ）には、画像除算回路２１０が示されている。画像除算回路２１０には、入力信号２１１、２１３として第３５の合成画像及び正規化係数が入力され、第３５の合成画像を正規化係数で除算し、処理後の出力信号２１２として最終的なぼかし画像を出力する。図３に示す２次元フィルタ係数の係数値の合計は１６５３なので、正規化係数として「１６５３」が入力される。

次に、図５〜図７を参照しながら、距離マップ生成部１０４で生成される距離マップについて説明する。

図５は、本実施形態に係るデジタルカメラと撮影される被写体との位置関係を示した図である。図５（ａ）には、第１の被写体５０４と背景５０６との位置関係を示しており、デジタルカメラ５０１で撮像された被写体の距離（以下、被写体距離Ｄ）が２種類の場合を示している。図５（ａ）において、画角５０２、５０３は、デジタルカメラ５０１で撮像される範囲を示しており、第１の被写体５０４の距離５０５で合焦している。以下、合焦距離をＤＦとし、図５（ａ）に示す例では、ＤＦ＝２００である。

図５（ｂ）は、第１の被写体５１４と、第２の被写体５１５と、第３の被写体５１６と、背景５２０との位置関係を示しており、デジタルカメラ５１１で撮像される被写体の距離が４種類の場合を示している。図５（ｂ）において、画角５１２、５１３はデジタルカメラ５１１で撮像される範囲を示している。また、第１の被写体５１４、第２の被写体５１５、第３の被写体５１６、及び背景５２０は、それぞれ距離５１７、５１８、５１９、５２０の位置にあり、それぞれの距離は２００、１００、３００、１０００である。また、図５（ｂ）に示す例では、第１の被写体５１４で合焦しており、合焦距離はＤＦ＝２００である。

図６は、図５に示した位置関係の例で撮影された撮影画像を示す図である。図６（ａ）は、図５（ａ）に示した位置関係での撮影画像を示しており、デジタルカメラ５０１で撮影された撮影画像６０１において、第１の被写体６０２及び背景６０３が含まれている。図６（ｂ）は、図５（ｂ）に示した位置関係での撮影画像を示しており、デジタルカメラ５１１で撮影された撮影画像６１１において、第１の被写体６１２、第２の被写体６１３、第３の被写体６１４、及び背景６１５が含まれている。

図７は、図６に示す撮影画像における被写体の距離マップの例を示す図である。距離マップ生成部１０４は、図６に示すような撮影画像から図７に示す距離マップを生成する。図７（ａ）は、図６（ａ）に示す撮影画像における距離マップ７０１を示しており、第１の被写体７０２での距離が２００であり、背景７０３での距離が１０００であることを示している。

一方、図７（ｂ）は、図６（ｂ）に示す撮影画像における距離マップ７１１を示している。図７（ｂ）において、第１の被写体７１２での距離が２００であり、第２の被写体７１３での距離が１００であり、第３の被写体７１４での距離が３００であり、背景７１５での距離が１０００であることを示している。

図８は、本実施形態において、ぼかし処理を行う一連の処理手順の一例を示すフローチャートである。
まず、ステップＳ８０１において、距離マップ生成部１０４は、例えば図７に示したような距離マップを取得する。そして、ステップＳ８０２において、システム制御部５０は、距離の種類の数ＮＤを取得する。例えば、図７（ａ）に示す例の場合は、ＮＤ＝２であり、図７（ｂ）に示す例の場合は、ＮＤ＝４である。

次に、ステップＳ８０３において、システム制御部５０は、合焦距離ＤＦを取得する。図７（ａ）及び図７（ｂ）に示す例の場合は、ＤＦ＝２００である。そして、ステップＳ８０４において、システム制御部５０は、高輝度の分布情報を取得する。例えば、撮影画像６０１、６１１に対して水平方向にＭ個、垂直方向にＮ個のＭ×Ｎのブロック領域に分割し、各ブロック領域に対して図９に示すような輝度ヒストグラムを取得する。図９（ａ）に示す例の場合は、輝度ヒストグラムのピークの輝度値はＹｐ１であり、図９（ｂ）に示す例の場合は、輝度ヒストグラムのピークの輝度値はＹｐ２である。このようにステップＳ８０４の処理では、Ｍ×Ｎのブロック領域のピークの輝度値ＹｐＭＮを取得する。

次のステップＳ８０５はぼかし処理であり、ステップＳ８０４までに取得した距離マップ、距離の種類の数ＮＤ、合焦距離ＤＦ、及び高輝度の分布情報を用いて、画像処理部２４により各被写体距離に応じたぼかし処理を施す。

図１０は、画像処理部２４により行われる、ステップＳ８０５のぼかし処理の詳細な処理手順の一例を示すフローチャートである。以下、図１０を参照しながらぼかし処理の手順について説明する。
ステップＳ１００１において、撮影画像内の全ての被写体距離Ｄに対して以下のステップＳ１００２〜Ｓ１０１２のループ処理を開始する。まず、ステップＳ１００２において、図８のステップＳ８０２で取得した距離の種類の数ＮＤと閾値ＮＤ０とを比較する。この比較の結果、距離の種類の数ＮＤが閾値ＮＤ０よりも大きい場合はステップＳ１００３へ進み、距離の種類の数ＮＤが閾値ＮＤ０以下（所定値以下）である場合はステップ１００９へ進む。

ステップＳ１００３においては、図８のステップＳ８０３で取得した合焦距離ＤＦと被写体距離Ｄとの関係から、ぼかしフィルタが簡略フィルタ条件に該当するか否かを判定する。ぼかしフィルタとして簡略フィルタを用いるか否かについては、例えば図１１に示すテーブルを参照して決定する。この判定の結果、再現性の低い簡略フィルタを用いる場合はステップ１００４へ進み、再現性の高いフィルタを用いる場合はステップＳ１００９へ進む。

ここで、図１１に示すテーブルでは、ぼかしモードごとに、合焦距離ＤＦが被写体距離Ｄよりも大きいか否かによって選択されるフィルタが異なっている。すなわち、被写体の前後関係に基づいてぼかしフィルタが再現性の高いフィルタか再現性の低い簡略フィルタかを定義している。図１１において、「○」は再現性の高いフィルタＡ（高級フィルタ）を使用することを示し、「×」は再現性の低いフィルタＢ（簡略フィルタ）を使用することを示している。

図１１に示す例の場合、ぼかしモード１では、被写体距離Ｄによらず再現性の高いフィルタＡを使用する。ぼかしモード２では、対象となる被写体が合焦距離ＤＦに位置する被写体よりも手前である場合にはフィルタＡを用い、後ろである場合にはフィルタＢを用いる。一方、ぼかしモード３では、対象となる被写体が合焦距離ＤＦに位置する被写体よりも手前である場合にはフィルタＢを用い、後ろである場合にはフィルタＡを用いる。また、ぼかしモード４では、被写体距離Ｄによらず再現性の低いフィルタＢを用いる。なお、これらのぼかしモード１〜４はデジタルカメラ１００で表示されるメニュー画面などから操作者によって選択されてよいし、連写を行うか否か、複数枚合成をともなう撮影モードか、など撮影モードや撮影条件によって選択されるようにしてもよい。

次に、ステップＳ１００４において、図８のステップＳ８０１で取得した距離マップから得られる被写体距離Ｄの領域と、図８のステップＳ８０４で取得した高輝度の分布情報とから被写体距離Ｄの領域の高輝度情報を取得する。そして、ステップＳ１００５において、ステップＳ１００４で取得した被写体距離Ｄの領域の高輝度情報から被写体距離Ｄの領域に高輝度領域が存在するか否かを判定する。すなわち、ステップＳ８０４で取得した輝度値のうち、被写体距離Ｄの領域における輝度値が所定値以上であるか否かを判定する。この判定の結果、高輝度領域が存在しない場合はステップＳ１００６に進み、高輝度領域が存在する場合はステップＳ１００９に進む。

以下に説明するステップＳ１００６〜Ｓ１００８までの処理では、簡略フィルタによるフィルタ処理を行う。
まず、ステップＳ１００６において、合焦距離ＤＦと被写体距離Ｄとからぼかし度合を決定する。以下、図１２に示すテーブルを例に、ぼかし度合の決定方法について説明する。まず、合焦位置からの相対位置ＤＤを以下の式（１）により算出する。
（合焦位置からの相対位置ＤＤ）＝（被写体距離Ｄ）−（合焦距離ＤＦ） 式（１）

次に、図１２に示すテーブルで相対位置ＤＤがどの条件に該当するかを判別し、ぼかし度合を決定する。ここで、Ｄ１、Ｄ２、Ｄ３、Ｄ４は相対位置ＤＤに対してぼかし度合を決定するために必要な閾値であり、仮想的な絞り値によって決定される。また、前方被写界深度、及び後方被写界深度に関しても、仮想的な絞り値、光学レンズ特性などによって決定される。なお、仮想的な絞り値は、デジタルカメラ１００の操作者によってダイヤル、ボタン、タッチパネルなどにより指定される。

図１２に示す例では、相対位置ＤＤが閾値Ｄ１より小さい場合は、ぼかし度合は「大」である。相対位置ＤＤが閾値Ｄ１以上であって閾値Ｄ２より小さい場合は、ぼかし度合は「中」である。相対位置ＤＤが閾値Ｄ２以上であって、かつ前方被写界深度より手前である場合は、ぼかし度合は「小」である。相対位置ＤＤが前方被写界深度と後方被写界深度との間である場合は、合焦位置でぼかし度合は「無し」である。相対位置ＤＤが後方被写界深度より後方であって、かつ閾値Ｄ３以下である場合は、ぼかし度合は「小」である。相対位置ＤＤが閾値Ｄ３より大きく閾値Ｄ４以下の場合は、ぼかし度合は「中」である。そして、相対位置ＤＤが閾値Ｄ４より大きい場合は、ぼかし度合は「大」である。

なお、本実施形態では、ぼかし度合に関して「無し」を含め４段階の場合を例として説明したが、より細かくぼかし度合と閾値を設けることにより、相対位置ＤＤに対してより多段階のぼかし度合を設けてもよい。

次に、ステップＳ１００７においては、被写体距離Ｄ用の簡略フィルタを取得する。ここで、フィルタの種類は図１３に示すようなテーブルで管理されている。ステップＳ１００６で決定されたぼかし度合に従って、ぼかし度合が「小」の場合はフィルタ１Ｂを取得し、「中」の場合はフィルタ２Ｂを取得し、「大」の場合はフィルタ３Ｂを取得する。また、図１４（ｂ）に示す簡略フィルタ１４０４〜１４０６は、それぞれフィルタ１Ｂ、フィルタ２Ｂ、フィルタ３Ｂの形状を表している。

そして、ステップＳ１００８において、ステップＳ１００７で取得した簡略フィルタを用いてフィルタ処理を行う。この処理の詳細については後述する。

一方、ステップＳ１００９〜Ｓ１０１１までの処理では、ぼかし像の再現性の高い高級フィルタによるフィルタ処理を行う。まず、ステップＳ１００９においては、合焦距離ＤＦと被写体距離Ｄとからぼかし度合を決定する。ぼかし度合の決定方法についてはステップＳ１００６と同様である。

次に、ステップＳ１０１０においては、被写体距離Ｄ用の高級フィルタを取得する。フィルタの種類は、図１３に示すようなテーブルで管理されている。ステップＳ１００９で決定されたぼかし度合に従って、ぼかし度合が「小」の場合はフィルタ１Ａを取得し、「中」の場合はフィルタ２Ａを取得し、「大」の場合はフィルタ３Ａを取得する。また、図１４（ａ）に示す高級フィルタ１４０１〜１４０３は、それぞれフィルタ１Ａ、フィルタ２Ａ、フィルタ３Ａの形状を表しており、例えば図３で示したような分割フィルタで構成される２次元フィルタである。

次にステップＳ１０１１においては、ステップ１０１０で取得した高級フィルタを用いてフィルタ処理を行う。高級フィルタによるフィルタ処理は、図２〜図４を参照しながら説明した手順と同様の処理によって行われる。

最後にステップＳ１０１２においては、フィルタ処理の結果と、それまでのぼかし処理が施された中間画像との合成処理を行い、新たな中間画像を生成する。以上のように全ての被写体距離Ｄについてループ処理を行うと、処理を終了する。

次に簡略フィルタであるフィルタ１Ｂ、フィルタ２Ｂ、フィルタ３Ｂのフィルタ構成について説明する。図１５は、フィルタ１Ｂ、フィルタ２Ｂ、フィルタ３Ｂの構成例を説明するための図である。図１５に示すように、フィルタ１ＢはフィルタＢ０（０，０）の構成で表現されており、２次元フィルタのフィルタＢ０が１個で構成されている。図１４（ｃ）に示す簡略フィルタ１４０７は、フィルタＢ０の形状を表しており、（９タップ）×（９タップ）の２次元フィルタであって、係数が全て１のフィルタである。

一方、フィルタ２Ｂは、図１５に示すように、２次元フィルタのフィルタＢ０が５個で構成されており、図１４（ｂ）に示す簡略フィルタ１４０５のように、フィルタＢ０が十字に５個連結された２次元形状を有している。このフィルタ２Ｂによるフィルタ処理では、（９タップ）×（９タップ）を基準として、フィルタＢ０のフィルタ処理結果を座標（ｘ，ｙ）に従って水平に（９×ｘ）画素、垂直に（９×ｙ）画素シフトして加算合成する。

また、フィルタ３Ｂは、図１５に示すように、２次元フィルタのフィルタＢ０が１３個で構成されており、図１４（ｂ）に示す簡略フィルタ１４０６のような配置で連結された形状を有している。フィルタ３Ｂのフィルタ処理では、フィルタ２Ｂと同様に、フィルタＢ０の処理結果を座標（ｘ，ｙ）に従って水平に（９×ｘ）画素、垂直に（９×ｙ）画素シフトして加算合成する。

図１６は、図１０のステップＳ１００８における簡略フィルタによるフィルタ処理の詳細な処理手順の一例を示すフローチャートである。
ステップＳ１６０１において、簡略フィルタを構成する全ての構成フィルタ（フィルタＢ０）についてのループ処理を開始する。例えば、図１５に示すフィルタ２Ｂの場合、５個のフィルタＢ０によって構成されているので、５回のループ処理となる。以下、フィルタ２Ｂを用いてフィルタ処理を行う例を参照しながら説明する。

まず、ステップＳ１６０２において、処理対象であるフィルタによって処理された画像データが既に存在するか否かを判定する。この判定の結果、既に存在する場合はステップＳ１６０５に進み、存在しない場合はステップＳ１６０３に進む。

ステップＳ１６０３においては、処理対象であるフィルタの係数情報を取得する。例えば、図１４（ｃ）に示すような２次元フィルタ係数ｆ１の情報を取得する。次に、ステップＳ１６０４において、構成されているフィルタＢ０によるフィルタ処理を行う。そして、ステップＳ１６０５において、フィルタ処理結果である出力画像Ｆを一時記憶管理する。

一方、ステップＳ１６０６においては、フィルタの処理結果が存在するため、出力済みのフィルタ処理結果である出力画像Ｆを取得する。

次に、ステップＳ１６０７において、処理対象であるフィルタのシフト量（ｘ，ｙ）を取得する。このシフト量は、図１５の各フィルタＢ０に示される（ｘ，ｙ）に該当する。

次に、ステップＳ１６０８において、ステップＳ１６０５又はＳ１６０６で取得した出力画像Ｆを、ステップＳ１６０７で取得したシフト量（ｘ，ｙ）に従ってシフトし、これまでの処理結果である中間画像に対して合成処理を行って新たな中間画像を生成する。構成されているフィルタが（９タップ）×（９タップ）の場合０、シフト量（ｘ，ｙ）は水平に（９×ｘ）画素、垂直に（９×ｙ）画素となり、合成した結果が得られる。例えば、フィルタＢ０（１，２）の場合、フィルタＢ０の処理結果を水平に（９×１）画素、垂直に（９×２）画素シフトして合成した結果を中間画像として出力する。以上のように全ての構成フィルタに関してフィルタの数の回数分処理が終了すると、ループ処理を終了する。

なお、図１０のステップＳ１００７でフィルタ１Ｂを取得した場合には、フィルタＢ０を１つしか有していないため、ステップＳ１６０５でフィルタ処理した結果がそのまま出力される。したがってこの場合は、ステップＳ１６０７及びＳ１６０８の処理が行われないことになる。

また、ステップＳ１６０２の判定の結果、出力済みのフィルタ処理結果が存在する場合、実際のフィルタ処理が不要となるため、出力画像Ｆをシフトして中間画像と合成処理を行うのみでよい。これにより、例えば同じぼかし度合である、高級フィルタであるフィルタ２Ａに対して簡略フィルタであるフィルタ２Ｂ、高級フィルタであるフィルタ３Ａに対して簡略フィルタであるフィルタ３Ｂの処理時間を大幅に抑えることができる。

なお、図１５のフローチャートでは、図１４（ｃ）に示した（９タップ）×（９タップ）で全て係数が１のフィルタＢ０を構成フィルタとする例について説明したが、これに限定されない。また、構成フィルタの組み合わせについても図１５に示した例について説明したが、これに限定されない。例えば、基本となる構成フィルタを数種類用意し、複数種類の構成フィルタを組み合わせて簡略フィルタを構成することにより、簡略フィルタの形状の自由度を広げることができる。

以上のように本実施形態によれば、９タップのような小さいサイズの２次元フィルタによる処理で、５４タップの２次元フィルタによる処理で得られるような大きなぼかし処理を撮像画像に付与することができる。つまり、フィルタ処理の回路規模を抑えつつ、一眼レフカメラのような大きな背景ぼかしを再現することができる。

さらに本実施形態によれば、被写体距離、合焦位置、および仮想的な絞り情報に従って背景ぼかし処理を行う際に、被写体距離の種類が多い場合でも、ぼかし度合の効果を残しつつ全体の処理時間を抑えることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２４ 画像処理部
５０ システム制御部
１０４ 距離マップ生成部

Claims (9)

1. 焦点までの距離が互いに異なる少なくとも２つの被写体を含む撮影画像を入力する入力手段と、
   前記撮影画像における各被写体までの距離と、合焦位置までの距離との情報を取得する取得手段と、
   前記取得手段によって取得された各被写体までの距離及び合焦位置までの距離に基づいて前記各被写体に対して異なるフィルタ処理を施す第１の処理手段と、
   前記第１の処理手段によるフィルタ処理を適用するか否かを選択する選択手段と、
   前記選択手段によって前記第１の処理手段によるフィルタ処理を適用しないことが選択された場合に、前記第１の処理手段によるフィルタ処理よりも再現性の高いフィルタ処理を行って処理後の画像を生成する第２の処理手段とを有し、
   前記第１の処理手段は、前記各被写体までの距離及び合焦位置までの距離に基づいた回数で前記各被写体に対してそれぞれフィルタ処理を行い、前記フィルタ処理ごとに生成される画像を合成し、
   前記選択手段は、前記撮影画像に含まれる被写体までの距離と前記合焦位置までの距離との関係に応じて前記第１の処理手段によるフィルタ処理を適用するか否かを選択することを特徴とする画像処理装置。
2. 前記選択手段は、前記被写体の数が所定値以下である場合は、前記第１の処理手段によるフィルタ処理を適用しないことを選択することを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記撮影画像に含まれる被写体の輝度値に応じて前記第１の処理手段によるフィルタ処理を適用するか否かを選択することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第２の処理手段は、円柱形のフィルタを用いてフィルタ処理を行うことを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記フィルタ処理は、前記撮影画像に背景ボケ効果を付与するためのフィルタ処理であることを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記第１の処理手段によるフィルタ処理に要する時間は、前記第２の処理手段によるフィルタ処理に要する時間よりも短いことを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記第１の処理手段によるフィルタ処理では、所定単位の構成フィルタの組み合わせからなる簡略フィルタを用いることを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 焦点までの距離が互いに異なる少なくとも２つの被写体を含む撮影画像を入力する入力工程と、
   前記撮影画像における各被写体までの距離と、合焦位置までの距離との情報を取得する取得工程と、
   前記取得工程において取得された各被写体までの距離及び合焦位置までの距離に基づいて前記各被写体に対して異なるフィルタ処理を施す第１の処理工程と、
   前記第１の処理工程によるフィルタ処理を適用するか否かを選択する選択工程と、
   前記選択工程において前記第１の処理工程によるフィルタ処理を適用しないことが選択された場合に、前記第１の処理工程によるフィルタ処理よりも再現性の高いフィルタ処理を行って処理後の画像を生成する第２の処理工程とを有し、
   前記第１の処理工程においては、前記各被写体までの距離及び合焦位置までの距離に基づいた回数で前記各被写体に対してそれぞれフィルタ処理を行い、前記フィルタ処理ごとに生成される画像を合成し、
   前記選択工程においては、前記撮影画像に含まれる被写体までの距離と前記合焦位置までの距離との関係に応じて前記第１の処理工程によるフィルタ処理を適用するか否かを選択することを特徴とする画像処理方法。
9. 焦点までの距離が互いに異なる少なくとも２つの被写体を含む撮影画像を入力する入力工程と、
   前記撮影画像における各被写体までの距離と、合焦位置までの距離との情報を取得する取得工程と、
   前記取得工程において取得された各被写体までの距離及び合焦位置までの距離に基づいて前記各被写体に対して異なるフィルタ処理を施す第１の処理工程と、
   前記第１の処理工程によるフィルタ処理を適用するか否かを選択する選択工程と、
   前記選択工程において前記第１の処理工程によるフィルタ処理を適用しないことが選択された場合に、前記第１の処理工程によるフィルタ処理よりも再現性の高いフィルタ処理を行って処理後の画像を生成する第２の処理工程とをコンピュータに実行させ、
   前記第１の処理工程においては、前記各被写体までの距離及び合焦位置までの距離に基づいた回数で前記各被写体に対してそれぞれフィルタ処理を行い、前記フィルタ処理ごとに生成される画像を合成し、
   前記選択工程においては、前記撮影画像に含まれる被写体までの距離と前記合焦位置までの距離との関係に応じて前記第１の処理工程によるフィルタ処理を適用するか否かを選択することを特徴とするプログラム。

Images