JP2017050605A - 画像処理装置及び方法、撮像装置、プログラム - Google Patents

Abstract

【課題】必要なデータ量を抑えつつ目標の撮影条件の光学特性を再現する。【解決手段】領域分割部１０２は、画像入力部１０１から撮影条件１１３及び距離マップ１１２を取得し、距離マップ１１２に基づいて、画像１１１の領域を、閾値１１６を用いて撮影距離の異なる複数の領域に分割する。ボケコントロール部１０３は、ＯＴＦ適用領域を決定する。撮影時ＯＴＦ取得部１０４は撮影時の撮影条件１１３から、撮影時のフォーカス位置に対応する撮影時ＯＴＦを取得する。目標ＯＴＦ取得部１０５は、領域ごとに目標撮影条件１１７に対応する目標ＯＴＦを取得する。フィルタ生成部１０６は、撮影時ＯＴＦと目標ＯＴＦとボケ係数とから、入力画像に適用するフィルタを生成する。フィルタ適用部１０７は、フィルタ生成部１０６により生成されたフィルタを画像１１１に適用する。【選択図】図２

Description

本発明は、撮像により得られた画像に対して光学特性の復元処理を行う技術に関する。

従来、撮影された画像に生じたボケ(Blur)を復元するための画像復元アルゴリズムが知られている。ボケには、収差、焦点ずれ、露光時間中の撮像装置の移動(手ぶれを含む)、露光時間中の被写体の移動、大気のゆらぎ等の要因がある。画像復元に関する技術が特許文献１に開示されている。

画像のボケが起こる要因は、撮像系の球面収差、コマ収差、像面湾曲および非点収差等である。これら収差は、点像分布関数（ＰＳＦ、Point Spread Function）により表すことができる。点像分布関数（以下、ＰＳＦ）をフーリエ変換することにより得ることができる光学伝達関数（ＯＴＦ、Optic Transfer Function）は、収差の周波数空間における情報である。この光学伝達関数（以下、ＯＴＦ）は複素数で表すことができる。画像復元に関する技術について特許文献１を参考に簡単に説明する。

ＰＳＦは、一般には入力及び出力の位置に依存してその値が変わるが、２次元システムの応答が均一で入力の位置による応答が変わらないとみなせる領域内では、次の式１が成り立つ。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）・・・（式１）

ここで、＊は、畳み込み積分(convolution integral)を表している。これをフーリエ変換して空間周波数領域で表現すると、式１は次の式２のようになる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）・・・（式２）

ここで、ｕ、ｖはそれぞれｘ方向、ｙ方向の空間周波数、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）は、ｆ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｈ（ｘ，ｙ）を２次元フーリエ変換したものである。Ｈ（ｕ，ｖ）は、システムの周波数応答特性を示す空間周波数伝達関数、即ち、２次元フィルタの周波数特性を示すもので、これがＯＴＦと呼ばれるものである。撮像された画像ｇ（ｘ，ｙ）から画像復元を行うには、式２を変形した次の式３を利用すればよい。
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）・・・（式３）

ＯＴＦの逆フィルタである１／Ｈ（ｕ，ｖ）をかけて求めたＦ（ｕ，ｖ）を、逆フーリエ変換して実空間に戻すことで、原画像ｆ（ｘ，ｙ）を回復画像として求めることができる。また、次の式４のように、１／Ｈ（ｕ，ｖ）を逆フーリエ変換して求めた画像復元フィルタを、撮像された画像ｇ（ｘ，ｙ）に対して畳み込み積分することで、原画像ｆ（ｘ，ｙ）を求めることができる。
ｆ（ｘ，ｙ）＝ｇ（ｘ，ｙ）＊Ｆ＾(−１){１／Ｈ（ｕ，ｖ）}・・・式４

実際に画像を復元処理する際には、撮影された画像ｇ（ｘ，ｙ）にノイズ成分が含まれるため、画像復元フィルタであるＦ＾(−１){１／Ｈ（ｕ，ｖ）}をそのまま用いるとノイズが増幅された画像となってしまう。この問題については、例えば、ウィーナフィルタのようにノイズ成分が存在することを考慮した方法を用いればよい。なお、ＰＳＦであるｈ（ｘ，ｙ）は、ズーム、絞り、被写***置、像高で変わる。

像平面上に焦点の合った像を形成するのは、物体空間の面である焦平面（focal plane）である。撮像装置では、ＡＦやマニュアル操作で光学系のフォーカス用レンズ群を繰り出し、物体空間の一つの面(焦平面)に焦点を合わせて撮影する。画像復元を行う場合、フォーカス用レンズ群の繰り出しにより焦点の合った被写体距離（以下、合焦被写体距離と称す)に基づく画像復元フィルタが適用されることになる。データを膨大に持つことで、合焦被写体距離以外の被写体についても、撮影距離からフィルタを生成して画像へ適用することで、画像復元や画像のシミュレートを行うことができる。

このようなシステムにおける、実際に撮影で得られた画像にはデフォーカスした領域がある。そのため、焦点合わせをした被写体距離でのＰＳＦに基づいて復元処理を行うと、デフォーカスや絞り状態に応じたぼけをもつ良好な復元画像を得ることができないという問題がある。この問題について、画像の中にデフォーカスした領域がある場合でも、撮像光学系の光学収差によるぼけを補正し、デフォーカスや絞り状態に応じたぼけを出す良好な復元画像を得る技術が特許文献２で提案されている。

この技術を応用することで、撮影時とは異なる撮影条件を再現することが可能である。例えば、プロ仕様のレンズ交換式の一眼レフカメラのような撮像装置を考える。交換できるレンズには複数の特性を持つレンズが存在し、特性の１つに開放Ｆ値が存在する。レンズが選択できる絞りの値のうち、一番明るい絞りの値がレンズごとに決まっており、それを開放Ｆ値と呼ぶ。開放Ｆ値が小さい、いわゆる明るいレンズであれば、一般的にはレンズ本体の重量は重い傾向がある。しかし、明るいレンズであれば被写界深度の浅い画像を撮影することができ、特にポートレート撮影などの場面ではできる限り明るいレンズを用いたいと思うユーザは多い。そのため、重くて持ち運びがしにくい明るいレンズを持っていくか、軽くて暗いレンズを持っていくかを、ユーザは常に選択する必要があり、撮影を行うによっては明るいレンズの使用を断念することもあった。

この場合、上記技術を応用すれば、撮影時は開放Ｆ値が大きい軽量なレンズで撮影し、復元技術を用いて、より明るいレンズで撮影されたのと同様の画像を後処理により再現し、ユーザのニーズを満たすことができる。撮影時のレンズと再現したいレンズのＰＳＦをはじめとした光学特性を用いることで、撮影時のレンズの開放Ｆ値よりも小さいＦ値のレンズでの撮影を擬似的に再現することもできる。すなわち、撮影時のレンズの特性で一度復元し、その後、目標のＦ値を実現するＰＳＦから収差を含めた光学特性を適用することで、収差によるボケ具合等のレンズの味とよばれる特性も再現できる。この場合、撮影距離については、撮影時のフォーカス位置と、実際の被写体距離の組み合わせごとに光学特性を求めることで、どのようなフォーカス位置でどの撮影距離であっても等しく光学特性を再現することが可能になる。

特許文献２に示される手法は従来から知られており、撮影条件の取得や、撮影時の条件にあったＰＳＦの取得なども、周辺技術の技術革新により、昨今、精度の高い実用的な結果が得られるようになってきた。その一方で、特許文献２の手法のように、フォーカス位置のみではなく、画面全体における全ての被写体距離に応じたＯＴＦを用いる方法では、精度が上がりデータ量が増大したＯＴＦデータを扱うことが現実的に難しくなってきている。

特開昭６２−１２７９７６号公報 特開２０１２−５０５６号公報

しかしながら、従来技術では、画像復元によって目標の撮影条件の光学特性を精度良く再現するためには、全てのフォーカス位置に対する撮影距離の組み合わせの光学特性を保持しておく必要があった。通常、ＰＳＦやＯＴＦのデータは、任意の１点に対して数百から数千倍以上のデータが必要となるため、全てのフォーカス位置に対応して全撮影距離のＯＴＦデータを保持することは、データ量が膨大になり過ぎ現実的でない。例えば、目標の撮影条件の光学特性を、撮影距離ごとではなく、フォーカス位置のみの撮影時のＯＴＦと目標のＯＴＦとから再現することが実現できなかった。

ところで、デフォーカスを算出する際に関連する技術として、撮影時に画像全域に亘って被写体の距離を取得するという技術も存在する。その代表的なものとして、視差画像という異なる位置から同じ領域を撮影した２つの画像を用い、その位置の差と写っている被写体のずれ具合を検出し、それぞれについて距離を求めるという手法がある。この場合、撮像装置に予め視差画像を取得する機構を用意しておく必要があるが、撮影は１回行うだけで画像中の被写体の距離が求まるというメリットがある。

本発明の目的は、必要なデータ量を抑えつつ目標の撮影条件の光学特性を再現することである。

上記目的を達成するために本発明は、撮影により得られた画像、該画像の撮影時の撮影条件、及び該画像に関する距離マップを取得する第１の取得手段と、前記第１の取得手段により取得された距離マップに基づいて、前記第１の取得手段により取得された画像の領域を、閾値を用いて撮影距離の異なる複数の領域に分割する分割手段と、前記分割手段により分割された複数の領域のうち、ＯＴＦ（光学伝達関数）を適用するＯＴＦ適用領域を決定する決定手段と、前記第１の取得手段により取得された撮影時の撮影条件に基づいて、撮影時のフォーカス位置に対応する撮影時ＯＴＦを取得する第２の取得手段と、前記複数の領域ごとに、指定された目標撮影条件に基づいて目標ＯＴＦを取得する第３の取得手段と、前記第２の取得手段により取得された撮影時ＯＴＦと前記第３の取得手段により取得された目標ＯＴＦとに基づいて、画像復元を行うためのフィルタを生成する生成手段と、前記生成手段により生成されたフィルタを前記画像に適用することで、前記画像の前記ＯＴＦ適用領域の光学収差を補正する補正手段と、を有することを特徴とする。

本発明によれば、必要なデータ量を抑えつつ目標の撮影条件の光学特性を再現することができる。

画像処理装置の構成を示す図である。 デジタルカメラの処理部を示すブロック図である。 領域分割部による処理を示すフローチャートである。 画像の全領域を５つの領域に分割した例を示す図（図（ａ））、分割した領域の撮影レンズからの距離を示す図（図（ｂ））である。 ボケコントロール部による処理を示すフローチャートである。 撮影時ＯＴＦ取得部、目標ＯＴＦ取得部による各処理を示すフローチャートである。 フィルタ生成部、フィルタ適用部による各処理を示すフローチャートである。

以下、本発明の実施の形態を図面を参照して説明する。

図１は、発明の一実施の形態に係る画像処理装置の構成を示す図である。図１では、画像処理装置の一例として、撮像装置であるデジタルカメラ１００を示す。図１のデジタルカメラ１００において、撮像素子や表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

また、本画像処理装置は、デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置として構成してもよい。あるいは、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダとして構成してもよい。

カメラ１００において、撮像光学系を構成する撮影レンズ１１０を介して入射した被写体からの反射光は、撮像素子１４２上で光学像として結像し被写体像を形成する。当該被写体像は画素単位に電気信号に変換（光電変換）され、アナログ画素信号が生成される。アナログ画素信号はＡ／Ｄ変換器１４４においてデジタル信号に変換され、画像処理部１４６で画像処理される。画像処理部１４６は、Ａ／Ｄ変換器１４４からのデータ或いはメモリ制御部１２０からのデータに対して所定のデモザイク処理や色変換処理を行う。メモリ制御部１２０は、Ａ／Ｄ変換器１４４や画像処理部１４６の動作を制御する。

Ａ／Ｄ変換器１４４から出力されたデジタル信号は、画像処理部１４６、メモリ制御部１２０を介して、或いは直接にメモリ制御部１２０を介して、画像表示メモリ１２６或いはメモリ１２８に書き込まれる。画像表示メモリ１２６は、画像表示部１２４の表示用の画像データを記憶するメモリであって、画像表示メモリ１２６が記憶するデータはＤ／Ａ変換器１２２を介して画像表示部１２４により表示される。システム制御部１３２はＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、カメラ１００の全体的な動作制御を行う。

シャッタースイッチ１３４は、ユーザからの撮影のための前処理の開始指示（ＳＷ１）を受け付けるための操作部であって、不図示のシャッターボタンの操作途中でオンとなる。シャッタースイッチ１３６は、ユーザからの撮影指示（ＳＷ２）を受け付けるための操作部であって、不図示のシャッターボタンの完全な押下でオンとなる。撮影指示がなされると撮像素子１４２から読み出されたアナログ信号がＡ／Ｄ変換器１４４、メモリ制御部１２０を介して、画像処理部１４６やメモリ制御部１２０で演算により現像処理される。現像処理の結果はメモリ１２８に画像データとして記憶される。画像データはメモリ１２８から読み出されて画像処理部１４６にて圧縮処理が行われ、ＳＤカードなどの記録媒体を含む記録部１３０に書き込まれる。なお、記録媒体はカメラ１００に対して取り外し可能に装着されていてもよい。操作部１４０は、画像表示部１２４に表示されたメニュー画面に対する操作や、表示画像の選択など、各種の選択操作をユーザから受け付けるためのユーザ・インタフェースである。操作部１４０が検出した信号は、システム制御部１３２に入力される。

図２は、本発明を実現するためのデジタルカメラ１００の処理部を示すブロック図である。このカメラ１００は、距離マップを取得可能な撮像装置である。以下、光学伝達関数をＯＴＦ（Optic Transfer Function）と記す。カメラ１００は、処理部として、画像入力部１０１、領域分割部１０２、ボケコントロール部１０３、撮影時ＯＴＦ取得部１０４、目標ＯＴＦ取得部１０５、フィルタ生成部１０６、フィルタ適用部１０７を有する。これらの処理部は画像処理部１４６に含まれる。

カメラ１００では、被写体を撮影して画像１１１を得る際に、撮影時の撮影条件１１３が取得されると共に、視差センサ１１４（図１には図示せず）により距離マップ１１２が取得される。画像１１１が画像入力部１０１に入力され、これにより、第１の取得手段としての画像入力部１０１は画像１１１を取得する。画像１１１が画像入力部１０１に入力される際、撮影条件１１３及び距離マップ１１２は、画像１１１に対応付けられるかまたは画像１１１の属性情報として画像入力部１０１に入力される。撮影条件１１３には、シャッタ速度、絞り値、撮影感度、露出時間、フォーカス位置等が含まれるが、例示に限定されず、また、撮影条件１１３に含まれる項目のうち少なくとも１つが、実際に算出や処理に利用される。

領域分割部１０２は、画像入力部１０１から撮影条件１１３及び距離マップ１１２を取得する。閾値設定部１１５により閾値１１６が設定され、設定された閾値１１６が領域分割部１０２へ入力される。閾値設定部１１５は操作部１４０に含まれ、閾値１１６はユーザが指定できる。なお、閾値１１６は固定値としてもよい。分割手段としての領域分割部１０２は、距離マップ１１２に基づいて、画像１１１の領域を、閾値１１６を用いて撮影距離の異なる複数の領域に分割する。

ボケコントロール部１０３は、分割された領域ごとに、被写界深度と撮影距離に応じたボケ係数を算出する。ボケコントロール部１０３は、領域分割部１０２を通じて撮影時の撮影条件１１３を取得する。第２の取得手段としての撮影時ＯＴＦ取得部１０４は、画像入力部１０１から撮影条件１１３を取得する。撮影時ＯＴＦ取得部１０４は、撮影時の撮影条件１１３から、撮影時のフォーカス位置に対応する撮影時ＯＴＦを取得する。目標撮影条件１１７がボケコントロール部１０３及び目標ＯＴＦ取得部１０５に入力される。目標撮影条件１１７に含まれ得る項目は撮影条件１１３と同様であり、例えば操作部１４０によって指定される。第３の取得手段としての目標ＯＴＦ取得部１０５は、分割された領域ごとに目標撮影条件１１７に対応する目標ＯＴＦを取得する。生成手段としてのフィルタ生成部１０６は、撮影時ＯＴＦと目標ＯＴＦとボケ係数とから、入力画像に適用するフィルタを生成する。補正手段としてのフィルタ適用部１０７は、フィルタ生成部１０６により生成されたフィルタを画像１１１に適用する。

次に、図３〜図７を用いて、画像復元等のための画像処理部１４６による各種の処理について説明する。この処理は、撮影が完了した直後、または所定の操作によって開始される。なお、撮像機能を備えない画像処理装置でこの処理を実行する場合は、所定の指示操作により開始されるようにしてもよい。

図３は、領域分割部１０２による処理を示すフローチャートである。領域分割部１０２は、視差センサ１１４を用いて取得された距離マップ１１２を取得する（ステップＳ２０１）。距離マップ１１２では、画像１１１中の各位置において、被写体までの距離が記録されているが、それぞれの値はある程度の階調を持って連続的に変化する値である。次に、領域分割部１０２は、閾値１１６を取得する（ステップＳ２０２）。ここで、閾値１１６は、処理の精度に関わる値であり、値が大きくなるとその後の処理の精度が下がる。次に、領域分割部１０２は、画像１１１における領域を距離マップ１１２及び閾値１１６を元に複数に分割する。そして、領域分割部１０２は、領域を分割した結果、分割後の領域の数が２つ以上存在するか否かを判別し（ステップＳ２０３）、分割後の領域の数が１つしかなかった場合は処理を終了させる。一方、領域分割部１０２は、分割後の領域の数が２つ以上であればその情報をメモリ１２８等に記録してから（ステップＳ２０４）、処理を終了させる。

ここで、領域分割の例を説明する。図４（ａ）は、画像１１１の全領域を５つの領域Ａ、Ｂ、Ｃ、Ｄ、Ｅに分割した例を示している。図４（ｂ）は、分割した領域の撮影レンズ１１０からの距離を示す図である。画像１１１の撮影時のフォーカス位置（ピント位置）を中心とする閾値１１６の範囲が領域Ｄとされる。領域Ｄはピント面を含んでいて最もピントが合っている領域である。領域Ｄを基準として、画像１１１の他の領域は、距離に応じて閾値１１６ごとに区切られる。例えば、領域Ｄより閾値１１６だけ遠い側の領域であって閾値１１６の範囲の領域が領域Ｅである。領域Ｅより閾値１１６だけ遠い側の領域であって閾値１１６の範囲の領域が領域Ｆである。同様に、領域Ｄより閾値１１６だけ近い側の領域であって閾値１１６の範囲の領域が領域Ｃである。なお、分割数の上限を予め決め、ピント面を含んでいる領域から定まる領域数が上限に達したらそれより遠い領域及び近い領域をそれぞれ１つの領域としてもよい。その場合、例えば、分割数の上限が７つであるとすると、領域Ｇ、Ａはそれぞれ閾値１１６よりも長い領域となる。領域Ｇは無限遠を含んでいる。なお、分割の手法については、距離マップを用いて距離に応じて領域を分割すればよく、例示の手法に限定されない。

図５は、ボケコントロール部１０３による処理を示すフローチャートである。ボケコントロール部１０３では、撮影条件が変わったことで変化したボケをコントロールするためのボケ係数が算出される。

まず、ボケコントロール部１０３は、撮影時の撮影条件１１３及び目標撮影条件１１７を取得する（ステップＳ３０１）。そしてボケコントロール部１０３は、領域分割部１０２により分割された画像１１１の複数の領域を、ボケを付加するボケ付加領域とボケを付加しない領域とにグループ分けする（ステップＳ３０２）。ここで、ボケを付加しない領域は、ＯＴＦフィルタを適用するＯＴＦ適用領域となる。従って、ボケ付加領域を決定することは、ＯＴＦ適用領域を決定することでもあり、ボケコントロール部１０３が、本発明における決定手段としての役割を果たす。ここで、ＯＴＦ適用領域の決定手法の例として、例えばボケコントロール部１０３は、目標撮影条件下において、撮影距離が被写界深度に含まれる領域をＯＴＦ適用領域として決定する。

具体例を示す。例えば、撮影時の絞り値が５．６であって、ピント位置の前後１ｍの領域まで被写界深度に含まれているとする。図４（ａ）を例にとると、撮影時には、フォーカス位置を中心とする５つの領域Ｂ、Ｃ、Ｄ、Ｅ、Ｆが被写界深度に含まれていたとする。一方、目標撮影条件１１７では絞り値が２．６であって、ピント面の前後５０ｃｍの範囲にまで被写界深度は浅くなる。その結果、５つの領域Ｂ、Ｃ、Ｄ、Ｅ、Ｆのうち、前後両外側の２つの領域Ｂ、Ｆは被写界深度の範囲外となることがわかる。従って、この場合は、３つの領域Ｃ、Ｄ、ＥがＯＴＦ適用領域として決定され、それ以外がボケ付加領域とされる。

なお、ＯＴＦ適用領域の決定の詳細なルールは例示したものに限定されない。例えば、目標撮影条件１１７における絞り値によると被写界深度の限界位置を含む領域は、ＯＴＦ適用領域としてもよいが、ボケ付加領域としてもよい。

次に、ボケコントロール部１０３は、決定したボケ付加領域の各々に対するボケ係数を算出する（ステップＳ３０３）。ここで、撮影条件の主に絞り値に基づき、撮影時と目標との絞り値の差分から、現在のピント面を中心としてボケ状態がどのように変化するかを考慮してボケ係数が算出される。

具体的にはまず、ボケコントロール部１０３は、全てのボケ付加領域に対するボケ係数の算出が完了したか否かを判別する（ステップＳ３０４）。その判別の結果、ボケコントロール部１０３は、ボケ係数の算出が完了していない場合は、今回の算出対象のボケ付加領域に関する撮影時の撮影条件１１３から撮影距離を取得する（ステップＳ３０５）。さらにボケコントロール部１０３は、撮影時のフォーカス位置を取得する（ステップＳ３０６）。そして、ボケコントロール部１０３は、取得した撮影距離とフォーカス位置との差分からボケ係数を算出する（ステップＳ３０７）。その後、処理はステップＳ３０４に戻る。図５の全てのボケ付加領域に対するボケ係数の算出が完了した場合は、図５の処理は終了する。

例えば、領域Ｂ、Ｆは、撮影時は被写界深度内であったが、目標撮影条件下では被写界深度外となり、ボケを付加する必要がある。そこでボケコントロール部１０３は、撮影距離とフォーカス位置との差分（図４の例では５０ｃｍ）に対応したボケ係数を領域Ｂ、Ｆに対して割り当てる。

なお、後述するフィルタを画像１１１に適用することで、実際にぼかしが画像１１１に作用する。従って、ＯＴＦ適用領域に対しては、ボケ係数は、フィルタを適用しても実質的にぼかしが作用しないような値が設定される。

図６（ａ）、（ｂ）はそれぞれ、撮影時ＯＴＦ取得部１０４、目標ＯＴＦ取得部１０５による各処理を示すフローチャートである。

まず、撮影時ＯＴＦ取得部１０４は、撮影時の撮影条件１１３を取得し（ステップＳ４０１）、撮影条件１１３に基づいて、撮影時のフォーカス位置に対応する撮影時ＯＴＦを取得する（ステップＳ４０２）。すなわち、撮影時ＯＴＦ取得部１０４は、上記特許文献２（特開２０１２−５０５６号公報）と同様に、絞り値やフォーカス位置から求めた撮影距離、レンズの焦点距離等の設計データ等から、光学的な特性であるＰＳＦ及びＯＴＦを取得する。これにより、撮影時の撮影条件１１３にマッチした撮影時ＯＴＦが取得される。

一方、目標ＯＴＦ取得部１０５は、目標撮影条件１１７を取得し（ステップＳ５０１）、分割された複数の領域ごとに、目標撮影条件１１７に基づいて目標ＯＴＦを取得する（ステップＳ５０２）。すなわち、目標ＯＴＦ取得部１０５は、上記特許文献２（特開２０１２−５０５６号公報）と同様に、絞り値やフォーカス位置から求めた撮影距離、レンズの焦点距離等の設計データ等から、光学的な特性であるＰＳＦ及びＯＴＦを取得する。これにより、目標撮影条件１１７にマッチした目標ＯＴＦが取得される。

図７（ａ）、（ｂ）はそれぞれ、フィルタ生成部１０６、フィルタ適用部１０７による各処理を示すフローチャートである。

図７（ａ）では、フィルタ生成部１０６は、分割された全ての領域に対し、ボケ係数と撮影時ＯＴＦと目標ＯＴＦとに基づいてフィルタを生成する。フィルタは、ＯＴＦから光学特性を元にして算出するものと、先に求めたボケ係数を元にローパス処理をかけるものとを組み合わせて生成される。

まず、フィルタ生成部１０６は、分割された全ての領域に対する処理が完了したか否かを判別する（ステップＳ６０１）。処理が完了していない場合は、フィルタ生成部１０６は、撮影時ＯＴＦを取得し（ステップＳ６０２）、目標ＯＴＦを取得し（ステップＳ６０３）、今回の対象領域のボケ係数を取得する（ステップＳ６０４）。次に、フィルタ生成部１０６は、これら取得した撮影時ＯＴＦ、目標ＯＴＦ及びボケ係数を加味して、適用すべきフィルタを生成する（ステップＳ６０５）。

具体的には、フィルタ生成部１０６は、撮影時ＯＴＦからは逆特性としてのフィルタを生成し、目標ＯＴＦからは特性を掛け合わせるためのフィルタを生成する。ボケ係数に関しては、一般的に行われる平滑化フィルタを用い、フィルタに用いる強度を、ボケ係数の値を用いて変動させることで、間接的に撮影条件やフォーカス位置に応じた領域ごとの制御が行われる。つまり、フィルタ生成部１０６は、撮影時ＯＴＦから生成したフィルタ、目標ＯＴＦから生成したフィルタ、ボケ係数から生成したフィルタを合成する。全ての領域について処理が完了すると、図７（ａ）の処理は終了し、その時点で合成されているフィルタが、実際に画像１１１に適用されるフィルタとなる。

図７（ｂ）において、フィルタ適用部１０７は、フィルタ生成部１０６で生成されたフィルタを取得し（ステップＳ７０１）、画像１１１に対してそれを適用することで画像復元を行う（ステップＳ７０２）。上記数式４で説明したように、フィルタを画像１１１に適用することで、画像１１１のＯＴＦ適用領域の光学収差が補正され、目標撮影条件１１７に応じた特性となる。また、ボケ付加領域には目標撮影条件１１７に応じたボケが付加される。従って、光学収差及びボケに関し、目標の撮影条件の光学特性を再現することができる。

図４に示す例で、撮影時の撮影条件１１３では絞り値が５．６で、目標撮影条件１１７では絞り値が２．６である場合を考える。３つの領域Ｃ、Ｄ、ＥがＯＴＦ適用領域として決定される。フィルタの適用によって、ＯＴＦ適用領域である領域Ｃ、Ｄ、Ｅには目標撮影条件１１７に応じた光学収差の画像となる。ボケ付加領域である領域Ａ、Ｂ、Ｆ、Ｇにはそれぞれのボケ係数に応じたボケが付加される。必要なデータについては、撮影距離がフォーカス位置のデータのみあればよく、フォーカス位置とは異なる被写体に関するデータは不要となるので、必要なデータ量を抑えることができる。

本実施の形態によれば、撮影時ＯＴＦと目標ＯＴＦとに基づいて生成されたフィルタを画像１１１に適用してＯＴＦ適用領域の光学収差を補正するので、必要なデータ量を抑えつつ目標の撮影条件の光学特性を再現することができる。しかも、フィルタの生成はボケ係数にも基づくので、撮影条件１１３と目標撮影条件１１７とに応じたボケがＯＴＦ適用領域でない領域に施される。従って、所望の撮影条件のボケを含む光学特性を再現することができる。このように、ユーザは、撮影時には暗い軽量なレンズや機材を用いて撮影を行い、後処理において、より明るいレンズをシミュレートした画像を再現することができるようになる。

ところで、閾値１１６はユーザが指定できるか、または固定値であるとしたが、これに限定されない。撮影条件１１３等を考慮し、閾値設定部１１５が自動的に閾値１１６を指定するようにしてもよい。例えば、距離マップ１１２を出力する視差センサ１１４の精度に応じて複数のパターンを持つことが考えられる。すなわち閾値設定部１１５は、閾値１１６を、視差センサ１１４の精度が高い場合は小さい値に設定し、視差センサ１１４の精度が低い場合は大きい値に設定する。また、領域の分割数の上限を定め、一定数を超えないように制御する場合は、閾値１１６を小さい値から大きくしていき、領域数が上限以下になるところの閾値１１６を採用することで、閾値１１６を動的に決める手法も考えられる。さらに、撮影条件１１３そのものに応じて閾値設定部１１５が閾値１１６を決めるようにしてもよい。特に高感度では精度が低くなる可能性があるため閾値１１６を大きくし、低感度の場合には閾値１１６を小さく設定する、等の態様が考えられる。これら例示したいずれかまたは複数の手法の組み合わせによって閾値１１６を指定してもよい。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

１０１ 画像入力部
１０２ 領域分割部
１０３ ボケコントロール部
１０４ 撮影時ＯＴＦ取得部
１０５ 目標ＯＴＦ取得部
１０６ フィルタ生成部
１１２ 距離マップ
１１３ 撮影条件
１１７ 目標撮影条件

Claims (8)

1. 撮影により得られた画像、該画像の撮影時の撮影条件、及び該画像に関する距離マップを取得する第１の取得手段と、
   前記第１の取得手段により取得された距離マップに基づいて、前記第１の取得手段により取得された画像の領域を、閾値を用いて撮影距離の異なる複数の領域に分割する分割手段と、
   前記分割手段により分割された複数の領域のうち、ＯＴＦ（光学伝達関数）を適用するＯＴＦ適用領域を決定する決定手段と、
   前記第１の取得手段により取得された撮影時の撮影条件に基づいて、撮影時のフォーカス位置に対応する撮影時ＯＴＦを取得する第２の取得手段と、
   前記複数の領域ごとに、指定された目標撮影条件に基づいて目標ＯＴＦを取得する第３の取得手段と、
   前記第２の取得手段により取得された撮影時ＯＴＦと前記第３の取得手段により取得された目標ＯＴＦとに基づいて、画像復元を行うためのフィルタを生成する生成手段と、
   前記生成手段により生成されたフィルタを前記画像に適用することで、前記画像の前記ＯＴＦ適用領域の光学収差を補正する補正手段と、を有することを特徴とする画像処理装置。
2. 前記補正手段は、前記第１の取得手段により取得された撮影条件と前記目標撮影条件とに応じたボケを、前記画像の前記ＯＴＦ適用領域でない領域に施すことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像の前記ＯＴＦ適用領域でない領域ごとに、前記第１の取得手段により取得された撮影条件と前記目標撮影条件とに応じたボケ係数を算出する算出手段を有し、
   前記生成手段は、前記算出手段により算出されたボケ係数と前記撮影時ＯＴＦと前記目標ＯＴＦとに基づいて前記フィルタを生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記目標撮影条件下において、撮影距離が被写界深度に含まれる領域を前記ＯＴＦ適用領域として決定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記閾値は、前記撮影時の撮影条件に基づいて設定されることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 請求項１〜５に記載の画像処理装置を備える撮像装置であって、被写体を撮像する機能を有することを特徴とする撮像装置。
7. 撮影により得られた画像、該画像の撮影時の撮影条件、及び該画像に関する距離マップを取得する第１の取得ステップと、
   前記第１の取得ステップにより取得された距離マップに基づいて、前記第１の取得ステップにより取得された画像の領域を、閾値を用いて撮影距離の異なる複数の領域に分割する分割ステップと、
   前記分割ステップにより分割された複数の領域のうち、ＯＴＦ（光学伝達関数）を適用するＯＴＦ適用領域を決定する決定ステップと、
   前記第１の取得ステップにより取得された撮影時の撮影条件に基づいて、撮影時のフォーカス位置に対応する撮影時ＯＴＦを取得する第２の取得ステップと、
   前記複数の領域ごとに、指定された目標撮影条件に基づいて目標ＯＴＦを取得する第３の取得ステップと、
   前記第２の取得ステップにより取得された撮影時ＯＴＦと前記第３の取得ステップにより取得された目標ＯＴＦとに基づいて、画像復元を行うためのフィルタを生成する生成ステップと、
   前記生成ステップにより生成されたフィルタを前記画像に適用することで、前記画像の前記ＯＴＦ適用領域の光学収差を補正する補正ステップと、を有することを特徴とする画像処理方法。
8. 請求項７に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

Images