JP2019083580A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】撮影者の意図を反映した高品質な画像処理を行うための技術を提供する。【解決手段】本発明に係る画像処理装置は、撮影画像に対しぼけを付加する画像処理装置であって、前記撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得する距離マップ取得手段と、前記撮影画像上の合焦位置を取得する合焦位置取得手段と、前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定する基準距離決定手段と、前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行う画像処理手段と、を有する。【選択図】図１

Description

本発明は、デジタル画像処理に関し、特に撮影画像に対し画像処理を行う画像処理技術に関する。

カメラの撮影テクニックの一つに、被写体以外の部分（背景等）を意図的にぼけさせることで、注目する被写体を際立たせるという撮影手法が知られている。しかし、コンパクトカメラのように光学系の性能があまり高くない場合には、被写界深度を浅くすることができず、十分なぼけをつくることができない。そこで最近では、デジタル画像処理によって後からぼけを付加することで、背景等がぼけた画像を生成する技術が提案されている。例えば特許文献１の撮像装置では、合焦対象である被写体の画像上の位置を基準点と定め、画像上で基準点から離れるほどぼけが大きくなるように、ぼけ加工を施している。また特許文献２には、３次元計測カメラで撮影した３次元画像データと、ユーザが指定した仮想的なカメラパラメータ及びピント位置とから、適当なぼけ効果を付けた画像を生成する画像処理装置が開示されている。

特開２０１１−０９１５７０号公報 特開２０００−２０７５４９号公報

特許文献１の方法は、奥行き距離ではなく、画像上の位置に応じてぼけの大きさを決めている。そのため、奥行き距離が合焦物体と同じであっても（つまり、ピント位置に存在する物体であるにも拘わらず）ぼけが付加されるなど、不自然なぼけ画像が生成される可能性がある。一方、特許文献２の方法は、高品質なぼけ画像が得られるかもしれないが、３次元計測カメラという特殊な装置が必要であり、一般的な小型カメラ等への適用が困難である。しかも、カメラパラメータやピント位置などの条件をユーザが指定しなければならず、操作が難しいという問題もある。

そこで本発明者らは、画像を撮影する際に、その画像中の各点の奥行き距離を記録したデータ（距離マップ又はデプスマップと呼ぶ）を作成し、この距離マップをぼけ付加処理に利用することを検討している。オートフォーカスの情報から撮影画像のピント位置（合焦距離）がわかれば、距離マップ中の各点の距離情報との差分を計算することで、画像中の各点でのピント位置からのずれ量（デフォーカス量）を算出できる。このデフォーカス量に基づいてぼけの大きさを制御すれば、ピント位置にある合焦物体のシャープさを維持しつつ、ピント位置からずれるほどぼけが大きくなる画像を生成することができる。

しかしながら、本発明者らが検討を進める中で、上記の方法には次のような課題があることを見出した。距離マップは、例えば、ＤＦＤ（Depth from Defocus）法やステレオ法などの手法により作成できるが、いずれの方法の場合でも、ノイズや空間周波数の影響により距離推定結果に誤差が生じる。図１１を参照して詳しく説明する。球８０、三角錐８１、円柱８２をカメラから３ｍ、４ｍ、１０ｍの位置に配置し、球８０にピントを合わせて撮影及び距離マップの作成を行ったとする。符号８３が撮影画像、符号８４が距離マップの例である。距離マップ８４には、４×６の２４個のエリアについて測距結果が記録されているが、実際の物体距離に比べて多少の誤差が生じている。この距離マップ８４と、
オートフォーカスの情報から得たピント位置（３ｍ）とから、各エリアのデフォーカス量を計算すると符号８５のようになる。距離マップの誤差に起因して、合焦物体である球８０のエリア（ドットの部分）の方が、背景である三角錐８１のエリア（ハッチングの部分）よりも、デフォーカス量が大きくなってしまっている。このようなデフォーカス量に従ってぼけを付加すると、撮影者がピントを合わせた被写体である球８０がぼけてしまい、撮影者の意図と異なるぼけ画像８６が生成されることとなる。
また、ぼけ付加処理だけでなく、例えば、被写体の切り出し処理に関しても同様な課題が生じる。つまり、距離マップ８４と、オートフォーカスの情報から得たピント位置とから、合焦物体である球８０のエリア（ドットの部分）を切り出すはずが、デフォーカス量の小さい三角錐８１のエリア（ハッチングの部分）を切り出してしまう。このため、撮影者の意図した被写体を切り出すことができなくなる。

本発明は上記実情に鑑みなされたものであって、その目的とするところは、撮影者の意図を反映した高品質な画像処理を行うための技術を提供することにある。

本発明に係る画像処理装置は、撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得する距離マップ取得手段と、前記撮影画像上の合焦位置を取得する合焦位置取得手段と、前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定する基準距離決定手段と、前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行う画像処理手段と、を有することを特徴とする画像処理装置である。

本発明に係る撮像装置は、撮像手段と、本発明に係る画像処理装置と、を有し、前記画像処理装置が、前記撮像手段で撮影された撮影画像に対して画像処理を行うことを特徴とする撮像装置である。

本発明に係る画像処理方法は、画像処理装置が、撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得するステップと、前記撮影画像上の合焦位置を取得するステップと、前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定するステップと、前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行うステップと、を実行することを特徴とする画像処理方法である。

本発明に係るプログラムは、本発明に係る画像処理方法の各ステップを画像処理装置に実行させるプログラムである。

本発明によれば、撮影者の意図を反映した高品質な画像処理を行うことができる。

第１実施形態に係る撮像装置の構成を示す図。 第１実施形態のぼけ画像撮影処理の流れを示すフローチャート。 撮影画像と距離マップからぼけ画像を生成する方法を説明する図。 ぼけ量の決定方法を説明する図。 第２実施形態に係る撮像装置の構成を示す図。 第２実施形態の追尾処理部の処理を示すフローチャート。 第４実施形態におけるデフォーカス量の調整を説明する図。 第５実施形態に係る撮像装置の構成を示す図。 奥行き距離のヒストグラム。 第５実施形態の切り出し画像生成処理の流れを示すフローチャート。 距離マップの誤差による課題を説明する図。

本発明は、距離マップを利用することで、撮影画像に対し奥行き距離に応じたぼけの付加や、被写体の切り出しなどを行うための技術に関する。かかる技術は、例えば、デジタルカメラやデジタルビデオカメラ等の撮像装置に搭載される画像処理装置（画像処理エンジン）の一機能として実装され、被写界深度が深い撮影画像に対しぼけ効果を付加する処理や被写体の切り出し処理などの画像処理に利用される。

なお本明細書において、「合焦領域」という用語は、ピント（焦点）が合っている被写体の像が存在する画像上の領域のことを意味し、「合焦位置」とは、画像上における合焦領域の位置（ＸＹ位置）をいう。また、「合焦距離」とは、撮像光学系の光軸方向（Ｚ方向）における、ピント（焦点）が合っている被写体とカメラとの距離のことをいい、「ピント位置」も同義である。「焦点距離」は、撮像光学系の主点から焦点までの距離をいい、一般にｆで表記されるパラメータである。

＜第１実施形態＞
（撮像装置の構成）
図１は、本発明の第１実施形態に係る撮像装置の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、画像処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像光学系１０としては可変焦点の光学系が用いられており、制御部１２のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。

画像処理装置１３は、信号処理部１３０、メモリ１３１、距離マップ生成部１３２、データ取得部１３３、合焦位置取得部１３４、基準距離決定部１３５、ぼけ画像生成部１３６などを有している。信号処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能である。信号処理部１３０から出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離計測（距離マップ生成）などに供される。距離マップ生成部１３２は、撮影条件を変えて撮影したぼけの異なる画像を用いて、画像中の各点の奥行き距離を計算し、距離マップを生成する機能である。距離マップ生成部１３２で生成された距離マップは記憶部１４などに格納される。データ取得部１３３は、ぼけ付加処理の対象となる撮影画像のデータを記憶部１４から読み込む機能（画像取得機能）と対応する距離マップのデータを記憶部１４から読み込む機能（距離マップ取得機能）を有する。合焦位置取得部１３４は、撮影画像上の合焦位置を取得する機能である。基準距離決定部１３５は、ぼけ付加処理の基準となる奥行き距離（基準距離）を決定する機能である。ぼけ画像生成部１３６は、距離マップに基づいて撮影画像に対しぼけを付加する機能である。画像処理装置１３の詳細については後述する。

記憶部１４は、撮影画像のデータ、距離マップのデータ、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例え
ばフラッシュメモリやＤＲＡＭなどが好ましい。入力部１５は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御、記憶部１４や入力部１５や表示部１６の制御などがある。

（処理フロー）
次に、図２を用いて撮像装置１の動作について説明する。図２は、撮像装置１によるぼけ画像撮影処理の流れを示すフローチャートである。

ユーザ（撮影者）が、入力部１５を操作してぼけ画像撮影モードに設定すると、撮像素子１１から画像の取り込みが開始され、信号処理部１３０及びメモリ１３１を介して取り込まれた画像が表示部１６に順次表示される（ステップＳ２０）。ユーザが表示部１６で構図を確認しながら、オートフォーカスにより所望の被写体にピントを合わせ（ステップＳ２１）、シャッタボタンを押すと、撮影画像が取り込まれる（ステップＳ２２）。取り込まれたデータは記憶部１４に格納される。

このとき制御部１２は、オートフォーカスの際にピント合わせに使われた測距点（測距フレーム）の情報を合焦位置として記録する（ステップＳ２３）。合焦位置は例えば画像座標系の座標値（ＸＹ）で与えられる。合焦位置は１点の座標値で定義してもよいし、フレームの左上と右下の２点の座標値で定義してもよい。或いは、測距点の番号と座標の対応関係が予め決まっていれば、座標値ではなく測距点の番号を合焦位置として記録してもよい。

続いて、制御部１２は、距離マップの生成に用いる測距用画像の取り込みを行う（ステップＳ２４）。本実施形態ではＤＦＤ法を利用するため、距離計算にはぼけの異なる２枚の画像が必要となる。それゆえ、制御部１２は、ステップＳ２２の撮影時からフォーカス位置を若干移動させて、測距用画像の撮影を行う。なおこのときの撮影条件（フォーカス位置の移動量、Ｆ値など）は予め設定されているものとする。

次に、距離マップ生成部１３２が、ＤＦＤ法により撮影画像と測距用画像のぼけの違いから画像上の各点の奥行き距離を推定し、距離マップを生成する（ステップＳ２５）。奥行き距離の推定は、画素ごとに行うこともできるし、離散的もしくはエリア単位で行うこともできる。距離マップの解像度は、要求精度、処理速度、データ容量などのバランスを考慮して適宜設計すればよい。以下では説明の簡単のため、４×６の２４個のエリアをもつ距離マップを例示する。生成された距離マップは記憶部１４に格納される。なお距離マップの生成には、ＤＦＤ法の他、視差のある２画像を用いて三角測量の原理で距離を推定するステレオ法や、超音波や赤外線などで直接物体までの距離を測定するＴＯＦ法なども利用できる。いずれの方法も公知であるため、ここでは詳しい説明を割愛する。

図３は、ステップＳ２２で撮影された画像３３とステップＳ２５で生成された距離マップ３４の一例を示している。図１１と同じく、球３０、三角錐３１、円柱３２を撮像装置１から３ｍ、４ｍ、１０ｍの位置に配置し、球３０にピントを合わせて撮影を行ったものとする。距離マップ３４には、４×６の２４個のエリアについて奥行き距離が記録されているが、実際の物体距離に比べて多少の誤差があることがわかる。被写体の空間周波数、照明条件、各種ノイズ、光学系の収差などのさまざまな影響により、距離推定の誤差が生
じるためである。なお図３の距離マップでは、各点（各エリア）の物体距離の値をそのまま記録しているが、奥行き距離と対応関係があれば、どのような情報を記録してもよい。例えば、像面側の距離（デフォーカス量）でもよいし、物体側の距離でもよいし、ＤＦＤ法での距離計算で得られる指標値（スコア）でも構わない。特に、像面側の情報を記憶すると、距離マップの誤差補正時に単純なオフセットでぼけ効果に合った補正をすることができるので、好ましい。なお、物体側の情報を記憶する場合には、光学系の情報（縦倍率等）による換算を予め行うことが更に必要となる。

次に、距離マップ３４を使って撮影画像３３に対しぼけ効果を与える処理を行う。まずデータ取得部１３３が、記憶部１４から撮影画像３３のデータと距離マップ３４のデータを取得する（ステップＳ２６）。続いて合焦位置取得部１３４が、制御部１２からステップＳ２３で記録された合焦位置のデータを取得する（ステップＳ２７）。そして、基準距離決定部１３５が、距離マップ３４の中から合焦位置に対応する奥行き距離を取得し、これを基準距離に設定する（ステップＳ２８）。図３の例では、合焦位置の座標（ｘ１，ｙ１）は距離マップ３４上の左から２番目かつ上から３番目のエリア内に属するため、当該エリアの奥行き距離の値「２．２ｍ」が基準距離として選ばれる。基準距離とは、後段のぼけ付加処理において、合焦距離（ピント位置）とみなす奥行き距離のことである。

なお、基準距離の決定方法は、上記の例に限られない。例えば、図３では、１点（１エリア）のみの奥行き距離から基準距離を決定したが、複数の点の奥行き距離に基づいて基準距離を決定してもよい。複数の点の奥行き距離の平均、線形補間、最頻値、中間値などを計算し、それを基準距離に選ぶことで、ノイズの影響を低減できる効果が期待できる。この方法は、距離マップの解像度が高い場合に特に有利である。なお、図３のように、合焦位置が１点の座標で指定される場合には、その座標を中心とする所定範囲に含まれる複数点の奥行き距離を用いればよい。また、合焦位置がエリア指定される場合には、当該エリアに含まれる複数点の奥行き距離を用いればよい。

次に、ぼけ画像生成部１３６が、距離マップに基づいて奥行き距離に応じたぼけを撮影画像に付加する（ステップＳ２９）。このとき、ぼけ画像生成部１３６は、ステップＳ２８で求めた基準距離を合焦距離（ピント位置）とみなし、距離マップの値が基準距離と一致するエリアに対してはぼけを加えない。一方、距離マップの値が基準距離から外れたエリアに対しては、基準距離からのずれ量（デフォーカス量）に応じてぼけが大きくなるようにぼけ量を制御する。図１１に示したデフォーカス量８５と比較すると分かるように、基準距離を基準にしてデフォーカス量３５を計算したことにより、合焦位置に対応する物体（球３０）の領域でのデフォーカス量が最も小さくなっている。また、物体間の相対距離に応じたデフォーカス量が得られていることが分かる。この結果、図３に示すように、基準距離にある物体である球３０はコントラストが維持され、それよりも奥に存在する三角錐３１、円柱３２はそのデフォーカス量に応じたぼけが付加される。生成されたぼけ画像３６は表示部１６に表示されるとともに記憶部１４に格納される。

（ぼけ量の制御）
以下、ステップＳ２９の処理におけるぼけ量の決定方法の一例を説明する。
図４は、基準距離（球体３０）から外れた位置に存在する物体（三角錐３１）の像面におけるぼけ量（ぼけサイズr）を示している。図４において、doは三角錐３１の物体距離
、dsは三角錐３１の像面距離、dobpは基準距離（物体側）、dsbpは基準距離（像面側）、Dは瞳サイズ、diはデフォーカス量（像面側）を示す。また光学系の焦点距離をf、Ｆ値をFnoとする。

ぼけサイズrは、図４の幾何学的な関係、及び、

の関係から、以下のようになる。

図３の例のように距離マップに物体距離が記録されている場合は、（２）式及び（３）式より、基準距離（物体側）dobpと三角錐３１の物体距離doとから、像面側のデフォーカス量diを算出できる。そして、デフォーカス量diと三角錐３１の物体距離doを（１）式に代入することで、三角錐３１の像のぼけサイズrを決定することができる。焦点距離f、Ｆ値Fnoは撮影時の条件を用いてもよいし、適宜設定してもよい。ぼけサイズrが導出できれば、撮像素子の条件から、フィルタサイズを一意に決定することができる。この処理を画像中のすべての画素（又はエリア）に対して行うことで、デフォーカス量に応じたぼけを付加することができる。

（本実施形態の利点）
以上述べた本実施形態の方法によれば、撮影時の合焦位置に対応する距離マップの値を基準距離に選んだので、ユーザがピントを合わせた物体の像がぼけ付加後も合焦した状態に維持され、ユーザの意図どおりのぼけ画像が得られる。また、基準距離に対する奥行き距離のずれ量に応じてぼけ量を制御したので、基準距離と同距離の物体はぼけない、基準距離から遠ざかるほどぼけが大きくなるなど、実際の光学系で撮影したような自然なぼけ効果を表現できる。また、ぼけ付加処理に必要なパラメータ（合焦位置）が自動で取得されるので、ユーザの操作負担が小さいという利点もある。また、これらの効果は、距離マップの誤差の大小にかかわらず有効である。したがって、本実施形態の方法は、距離マップの誤差が比較的大きい場合、例えば、ＤＦＤ法やステレオ法のように画像処理によって距離マップを生成する場合や、距離マップにおける奥行き距離が２値でなく多値の情報の場合など、に特に有利である。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。第１実施形態ではオートフォーカスの測距点の座標を合焦位置として利用したが、この方法では、フォーカスロック撮影が行われた場合に問題が生じる。フォーカスロック撮影とは、オートフォーカスにおいて、ピント位置を固定したまま構図をずらし撮影を行うテクニックである。例えば画面中央にある被写体にオートフォーカスでピントを合わせた後、シャッタボタンを半押ししながらカメラを右に向けていくと、被写体の距離に合焦したまま被写体を画面左端に配置した構図で撮影できる。この場合、測距点の座標（画像の中央）と合焦領域の座標（画像の左端）が一致しないため、第１実施形態のように測距点の座標に基づき距離マップを参照すると、不適切な基準距離が設定される結果となる。

図５は、第２実施形態の撮像装置１の構成を模式的に示す図である。第１実施形態との違いは、画像処理装置１３が追尾処理部１３７を有している点である。図６のフローチャ
ートを用いて、追尾処理部１３７の動作を説明する。

ユーザ（撮影者）が、撮像装置１をぼけ画像撮影モードに設定し、オートフォーカスにより所望の被写体にピントを合わせると（ここまでは図２のステップＳ２０〜Ｓ２１と同じ）、図６の追尾ルーチンが実行される。まず追尾処理部１３７は、ピントが固定されているか否かを判断し（ステップＳ６０）、固定されていなければルーチンを抜けて、通常のオートフォーカス動作に戻す。シャッタボタンの半押しなどによりピントが固定されると（ステップＳ６０のＹＥＳ）、追尾処理部１３７は、ピントを合わせた被写体の特徴及び初期位置を記憶する（ステップＳ６１）。例えば、ピント合わせに使われた測距点（測距フレーム）を含む局所領域から画像特徴が抽出され、測距点の座標値とともに記録される。

その後、追尾処理部１３７は、この画像特徴に基づき追尾対象である被写体の追尾を行う。具体的には、追尾処理部１３７は、構図確認用（ライブビュー用）の画像が取り込まれるたびに、画像の中から画像特徴が一致又は類似する領域を探索することにより、追尾対象を検出する。追尾対象が見つかった場合には、その位置（座標値）を更新する。追尾処理部１３７は、ピントが解除されるまで追尾対象の追尾を継続する（ステップＳ６３）。なお、ユーザがシャッタボタンを全押しすると、割り込みが発生し、追尾ルーチンから抜けて、図２のステップＳ２２へ進む。ステップＳ２２で撮影画像が取り込まれた後、ステップＳ２３では、追尾処理部１３７によって記録された追尾対象の位置（撮影時の位置）が合焦位置に設定される。それ以降の処理は第１実施形態と同じである。

以上述べた第２実施形態の構成によっても、第１実施形態と同様の効果を得ることができる。加えて、第２実施形態では、ピント合わせに使われた物体を自動で追尾し、その物体の撮影時の位置を合焦位置として記録するようにしたので、フォーカスロック撮影が行われた場合でも、ユーザの意図どおりのぼけ画像を生成することができる。

＜第３実施形態＞
次に、本発明の第３実施形態について説明する。第１及び第２実施形態では撮影時のオートフォーカスの情報から合焦位置を取得した。これに対し、第３実施形態では撮影画像から所定の物体を検出し、その検出された位置を合焦位置とみなす。所定の物体とは、ユーザが被写体として選ぶ蓋然性が高い物体であれば何でもよい。例えば、人の顔、半身、全身などが想定される。ポートレートや集合写真を撮る場合、人の顔や半身にピントを合わせることが殆どだからである。本実施形態はこの傾向を利用したものといえる。以下、人の顔を検出する例を説明する。

第１実施形態との違いは、合焦位置取得部１３４の動作である。すなわち、合焦位置取得部１３４は、図２のステップＳ２７の処理において、撮影画像を解析し、人の顔を検出する。画像からの顔検出方法は公知の技術を利用できるため詳しい説明は割愛する。そして、合焦位置取得部１３４は、顔が検出された画像上の位置を合焦位置に設定する。それ以降の処理は第１実施形態と同じである。なお、画像から複数の顔が検出された場合には、顔のサイズ（例えば一番大きい顔）や位置（例えば画像の中央にある顔）などに基づいて、合焦位置とみなす顔を選定すればよい。或いは、複数の顔を包含する領域を合焦位置に設定してもよい。

以上述べた第３実施形態の構成によれば、被写体の蓋然性が高い物体（顔など）を自動で検出し、その物体以外の領域にのみぼけを付加するので、ユーザの意図にマッチしたぼけ画像を自動で生成することが可能となる。第３実施形態の構成は、撮影時のオートフォーカスの情報を利用できない場合に（例えば、ＰＣの画像処理ソフトでぼけ画像を生成する場合など）、特に好ましく適用できる。

＜第４実施形態＞
次に、本発明の第４実施形態について説明する。第１から第３実施形態では、合焦位置が１つである。これに対し、第４実施形態では複数の合焦位置を指定する例を説明する。例えば、第３実施形態の方法において、画像から複数の顔が検出された場合に、それぞれの顔の位置を別個の合焦位置に指定することを想定する。

図７の上段に示すように、画像中の３つの顔の位置がそれぞれ合焦位置に指定された場合、それらの顔の奥行き距離が一致しているとは限らない。仮に、中間の顔の奥行き距離を基準距離に選んで第１実施形態と同じ処理を適用すると、手前側の顔と奥側の顔がぼけてしまい、ユーザの望む結果と相違する可能性がある。

そこで本実施形態では、図７の下段のように、ぼけ画像生成部１３６が、複数の合焦位置に対応する奥行き距離がすべて同距離（基準距離）であるとみなしデフォーカス量の計算を行うことで、すべての合焦位置のぼけ量をゼロにする。単純な方法としては、図７の上段のように第１実施形態と同じ方法で距離マップの各点（各エリア）のデフォーカス量ｄを計算した後、
ｄ＜−ｂの場合： ｄ←ｄ＋ｂ
−ｂ≦ｄ≦ａの場合：ｄ←０
ｄ＞ａの場合： ｄ←ｄ−ａ
のようにデフォーカス量ｄを調整し、調整後のデフォーカス量ｄに基づいてぼけ付加処理を行うとよい。

以上述べた本実施形態の構成によれば、複数の合焦位置が指定された場合に、それらの合焦位置に対応する奥行き距離に存在する物体がいずれもぼけていない画像を生成できる。言い換えると、複数の合焦位置のそれぞれに写る被写体の奥行き距離の分布（ばらつき）をちょうど包含するように被写界深度が制御されたぼけ画像を自動で生成することができる。

＜第５実施形態＞
次に、本発明の第５実施形態について説明する。本実施形態では、撮影画像から被写体の切り出し処理を行う技術について説明する。被写体の切り出しとは、着目した被写体のみを画像上から切り出し、その他の背景と区別する技術である。切り出した被写体の画像は、例えば、画像合成や高画質化処理等に応用される。

図８は、本実施形態に係る撮像装置の構成を模式的に示している。本実施形態の画像処理装置１３は、ぼけ画像生成部１３６の代わりに切り出し画像生成部１３８を有する点が、第１実施形態の画像処理装置１３（図１参照）と異なる。切り出し画像生成部１３８は、基準距離決定部１３５で決定された基準距離を基準に特定の距離範囲に含まれるエリアを同一の被写体として、撮影画像から切り出す機能を有する。つまり、切り出し画像生成部１３８は、距離マップと基準距離とを用いて撮影画像に対して画像処理を行う画像処理部である。

特定の距離範囲とは、例えば、基準距離を含んでいても、含まなくてもよい。基準距離を含まない場合には、特定の距離範囲は、例えば、「基準距離＋５ｍ乃至基準距離＋６ｍの範囲」のように指定される。

特定の距離範囲の指定は、ユーザが、基準距離を基準にした上限値、下限値を指定する方法や、基準範囲を含む距離範囲の値を指定する方法が挙げられる。ユーザが指定する場合には、入力部１５を用いて上限値及び下限値などの数値、距離範囲の数値などを入力す
る。

また、特定の距離範囲は、予め決定されていてもよいし、画像処理装置１３内で、距離マップや他の情報から自動的に設定されてもよい。例えば、図９のように奥行き距離のヒストグラムを用いて、基準距離が含まれるように隣り合った極小値間を特定の距離範囲と設定する方法が挙げられる。

次に、図１０を用いて本実施形態の撮像装置１の動作について説明する。図１０は、撮像装置１による被写体の切り出し画像生成処理の流れを示すフローチャートである。本実施形態の動作は、第１実施形態の動作とは、ステップＳ２８までは同じであり、ぼけ画像の生成（ステップＳ２９）の代わりに、切り出し画像の生成（ステップＳ３０）を有する点が異なっている。

ステップＳ３０では、切り出し画像生成部１３８が、特定の距離範囲に含まれる被写体を、距離マップと基準距離とを用いて撮影画像から切り出す。このとき、ユーザが特定の距離範囲を指定する場合には、切り出し画像生成部１３８は、ユーザに対して、基準距離を基準にした上限値及び下限値、距離範囲を指定するように要求する。例えば、表示部１６に「切り出す距離範囲を入力してください」というガイドメッセージをオーバーレイ表示すればよい。

なお、撮影者が切り出したい被写体以外の被写体が特定の距離範囲に含まれる場合は、切り出し画像に含まれる場合があるが、その場合は、切り出し画像生成部１３８が、切り出す必要ない被写体を消すような処理を切り出し画像に適宜施してもよい。

以上述べた本実施形態の構成によれば、撮影時の合焦位置に対応する距離マップの値を基準距離に選んだので、ユーザがピントを合わせた物体に対して切り出し処理が行われ、ユーザの意図どおりの被写体が切り出される。また基準距離に対する特定の距離範囲によって、同一の被写体を判断しているため、画像上の位置が離れていても適切にピントを合わせた距離にある被写体を切り出すことができる。

上述した本発明の技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

１：撮像装置、１３：画像処理装置、１３３：データ取得部、１３４：合焦位置取得部、１３５：基準距離決定部、１３６：ぼけ画像生成部、１３８：切り出し画像生成部

本発明に係る画像処理装置は、撮影画像上の各領域に対応する、像面側での奥行きの分布を示す距離マップを取得する距離マップ取得手段と、前記撮影画像上の基準領域の情報を取得する取得手段と、前記基準領域および前記距離マップに基づいて、前記基準領域との奥行きの差に応じた大きさのぼけを付加するように前記撮影画像に画像処理を施す画像処理手段と、を有することを特徴とする画像処理装置である。

本発明に係る画像処理方法は、撮影画像上の各領域に対応する、像面側での奥行きの分布を示す距離マップを取得する取得ステップと、前記撮影画像上の基準領域の情報を取得する取得ステップと、前記基準領域および前記距離マップに基づいて、前記基準領域との奥行きの差に応じた大きさのぼけを付加するように前記撮影画像に画像処理を施す画像処理ステップと、を有することを特徴とする画像処理方法である。

本発明に係るプログラムは、本発明に係る画像処理装置の各手段の機能をコンピュータに実現させるためのプログラムである。

Claims (19)

1. 撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得する距離マップ取得手段と、
   前記撮影画像上の合焦位置を取得する合焦位置取得手段と、
   前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定する基準距離決定手段と、
   前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行う画像処理手段と、を有することを特徴とする画像処理装置。
2. 前記画像処理手段は、前記基準距離に対する奥行き距離のずれ量に応じたぼけを前記撮影画像に付加することにより、前記基準距離に存在する物体以外の像をぼけさせた画像を生成するぼけ画像生成手段を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、特定の距離範囲に含まれる被写体を、前記距離マップと前記基準距離とを用いて前記撮影画像から切り出すことにより、切り出し画像を生成する切り出し画像生成手段を有することを特徴とする請求項１に記載の画像処理装置。
4. 前記基準距離決定手段は、前記合焦位置に対応する複数の点の奥行き距離を取得し、前記複数の点の奥行き距離に基づいて前記基準距離を決定することを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
5. 前記合焦位置取得手段は、前記撮影画像を撮影したときのオートフォーカスの情報から前記合焦位置を取得することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
6. 前記オートフォーカスの情報は、オートフォーカスの際にピント合わせに使われた測距点の情報であることを特徴とする請求項５に記載の画像処理装置。
7. 前記奥行き距離を示す情報は、像面側の情報であることを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
8. オートフォーカスにおいてピントが固定された場合に、ピントを合わせた物体を追尾することによって、前記物体の画像上の位置を更新する追尾処理手段を有し、
   前記合焦位置取得手段は、前記撮影画像を撮影したときに前記追尾処理手段により得られた前記物体の画像上の位置を前記合焦位置とすることを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
9. 前記合焦位置取得手段は、前記撮影画像を解析することにより前記撮影画像から所定の物体を検出し、前記所定の物体が検出された前記撮影画像上の位置を前記合焦位置とすることを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
10. 前記所定の物体は、人の顔であることを特徴とする請求項９に記載の画像処理装置。
11. 前記合焦位置取得手段により複数の合焦位置が取得された場合に、前記ぼけ画像生成手段は、前記複数の合焦位置に対応する奥行き距離に存在する物体がいずれもぼけていない画像を生成することを特徴とする請求項２に記載の画像処理装置。
12. 前記距離マップは、奥行き距離を多値の情報でもつ距離マップであることを特徴とする請求項１乃至１１のうちいずれか１項に記載の画像処理装置。
13. 前記距離マップは、ＤＦＤ法又はステレオ法によって生成された距離マップであることを特徴とする請求項１乃至１２のうちいずれか１項に記載の画像処理装置。
14. 撮像手段と、請求項１乃至１３のうちいずれか１項に記載の画像処理装置と、を有し、
    前記画像処理装置が、前記撮像手段で撮影された撮影画像に対して画像処理を行うことを特徴とする撮像装置。
15. 画像処理装置が、
    撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得するステップと、
    前記撮影画像上の合焦位置を取得するステップと、
    前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定するステップと、
    前記距離マップと前記基準距離を用いて、前記撮影画像に対して画像処理を行うステップと、を実行することを特徴とする画像処理方法。
16. 前記画像処理を行うステップにおいて、前記基準距離に対する奥行き距離のずれ量に応じたぼけを前記撮影画像に付加することにより、前記基準距離に存在する物体以外の像をぼけさせた画像を生成することを特徴とする請求項１５に記載の画像処理方法。
17. 前記画像処理を行うステップにおいて、特定の距離範囲に含まれる被写体を、前記距離マップと前記基準距離とを用いて前記撮影画像から切り出すことにより、切り出し画像を生成することを特徴とする請求項１５に記載の画像処理方法。
18. 請求項１５乃至１７のうちいずれか１項に記載の画像処理方法の各ステップを画像処理装置に実行させることを特徴とするプログラム。
19. 撮影画像上の各点に対応する奥行き距離を示す情報が記録された距離マップを取得する距離マップ取得手段と、
    前記撮影画像上の合焦位置を取得する合焦位置取得手段と、
    前記距離マップから前記合焦位置に対応する奥行き距離を取得して、基準距離に設定する基準距離決定手段と、を有することを特徴とする画像処理装置。

Images