JP2017050605A - 画像処理装置及び方法、撮像装置、プログラム - Google Patents
画像処理装置及び方法、撮像装置、プログラム Download PDFInfo
- Publication number
- JP2017050605A JP2017050605A JP2015170517A JP2015170517A JP2017050605A JP 2017050605 A JP2017050605 A JP 2017050605A JP 2015170517 A JP2015170517 A JP 2015170517A JP 2015170517 A JP2015170517 A JP 2015170517A JP 2017050605 A JP2017050605 A JP 2017050605A
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- otf
- image
- unit
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 38
- 238000003384 imaging method Methods 0.000 title claims description 29
- 238000000034 method Methods 0.000 title description 37
- 230000003287 optical effect Effects 0.000 claims abstract description 34
- 230000004075 alteration Effects 0.000 claims description 15
- 238000012546 transfer Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】必要なデータ量を抑えつつ目標の撮影条件の光学特性を再現する。【解決手段】領域分割部102は、画像入力部101から撮影条件113及び距離マップ112を取得し、距離マップ112に基づいて、画像111の領域を、閾値116を用いて撮影距離の異なる複数の領域に分割する。ボケコントロール部103は、OTF適用領域を決定する。撮影時OTF取得部104は撮影時の撮影条件113から、撮影時のフォーカス位置に対応する撮影時OTFを取得する。目標OTF取得部105は、領域ごとに目標撮影条件117に対応する目標OTFを取得する。フィルタ生成部106は、撮影時OTFと目標OTFとボケ係数とから、入力画像に適用するフィルタを生成する。フィルタ適用部107は、フィルタ生成部106により生成されたフィルタを画像111に適用する。【選択図】図2
Description
本発明は、撮像により得られた画像に対して光学特性の復元処理を行う技術に関する。
従来、撮影された画像に生じたボケ(Blur)を復元するための画像復元アルゴリズムが知られている。ボケには、収差、焦点ずれ、露光時間中の撮像装置の移動(手ぶれを含む)、露光時間中の被写体の移動、大気のゆらぎ等の要因がある。画像復元に関する技術が特許文献1に開示されている。
画像のボケが起こる要因は、撮像系の球面収差、コマ収差、像面湾曲および非点収差等である。これら収差は、点像分布関数(PSF、Point Spread Function)により表すことができる。点像分布関数(以下、PSF)をフーリエ変換することにより得ることができる光学伝達関数(OTF、Optic Transfer Function)は、収差の周波数空間における情報である。この光学伝達関数(以下、OTF)は複素数で表すことができる。画像復元に関する技術について特許文献1を参考に簡単に説明する。
PSFは、一般には入力及び出力の位置に依存してその値が変わるが、2次元システムの応答が均一で入力の位置による応答が変わらないとみなせる領域内では、次の式1が成り立つ。
g(x,y)=f(x,y)*h(x,y)・・・(式1)
g(x,y)=f(x,y)*h(x,y)・・・(式1)
ここで、*は、畳み込み積分(convolution integral)を表している。これをフーリエ変換して空間周波数領域で表現すると、式1は次の式2のようになる。
G(u,v)=H(u,v)・F(u,v)・・・(式2)
G(u,v)=H(u,v)・F(u,v)・・・(式2)
ここで、u、vはそれぞれx方向、y方向の空間周波数、F(u,v)、G(u,v)、H(u,v)は、f(x,y)、g(x,y)、h(x,y)を2次元フーリエ変換したものである。H(u,v)は、システムの周波数応答特性を示す空間周波数伝達関数、即ち、2次元フィルタの周波数特性を示すもので、これがOTFと呼ばれるものである。撮像された画像g(x,y)から画像復元を行うには、式2を変形した次の式3を利用すればよい。
F(u,v)=G(u,v)/H(u,v)・・・(式3)
F(u,v)=G(u,v)/H(u,v)・・・(式3)
OTFの逆フィルタである1/H(u,v)をかけて求めたF(u,v)を、逆フーリエ変換して実空間に戻すことで、原画像f(x,y)を回復画像として求めることができる。また、次の式4のように、1/H(u,v)を逆フーリエ変換して求めた画像復元フィルタを、撮像された画像g(x,y)に対して畳み込み積分することで、原画像f(x,y)を求めることができる。
f(x,y)=g(x,y)*F^(−1){1/H(u,v)}・・・式4
f(x,y)=g(x,y)*F^(−1){1/H(u,v)}・・・式4
実際に画像を復元処理する際には、撮影された画像g(x,y)にノイズ成分が含まれるため、画像復元フィルタであるF^(−1){1/H(u,v)}をそのまま用いるとノイズが増幅された画像となってしまう。この問題については、例えば、ウィーナフィルタのようにノイズ成分が存在することを考慮した方法を用いればよい。なお、PSFであるh(x,y)は、ズーム、絞り、被写***置、像高で変わる。
像平面上に焦点の合った像を形成するのは、物体空間の面である焦平面(focal plane)である。撮像装置では、AFやマニュアル操作で光学系のフォーカス用レンズ群を繰り出し、物体空間の一つの面(焦平面)に焦点を合わせて撮影する。画像復元を行う場合、フォーカス用レンズ群の繰り出しにより焦点の合った被写体距離(以下、合焦被写体距離と称す)に基づく画像復元フィルタが適用されることになる。データを膨大に持つことで、合焦被写体距離以外の被写体についても、撮影距離からフィルタを生成して画像へ適用することで、画像復元や画像のシミュレートを行うことができる。
このようなシステムにおける、実際に撮影で得られた画像にはデフォーカスした領域がある。そのため、焦点合わせをした被写体距離でのPSFに基づいて復元処理を行うと、デフォーカスや絞り状態に応じたぼけをもつ良好な復元画像を得ることができないという問題がある。この問題について、画像の中にデフォーカスした領域がある場合でも、撮像光学系の光学収差によるぼけを補正し、デフォーカスや絞り状態に応じたぼけを出す良好な復元画像を得る技術が特許文献2で提案されている。
この技術を応用することで、撮影時とは異なる撮影条件を再現することが可能である。例えば、プロ仕様のレンズ交換式の一眼レフカメラのような撮像装置を考える。交換できるレンズには複数の特性を持つレンズが存在し、特性の1つに開放F値が存在する。レンズが選択できる絞りの値のうち、一番明るい絞りの値がレンズごとに決まっており、それを開放F値と呼ぶ。開放F値が小さい、いわゆる明るいレンズであれば、一般的にはレンズ本体の重量は重い傾向がある。しかし、明るいレンズであれば被写界深度の浅い画像を撮影することができ、特にポートレート撮影などの場面ではできる限り明るいレンズを用いたいと思うユーザは多い。そのため、重くて持ち運びがしにくい明るいレンズを持っていくか、軽くて暗いレンズを持っていくかを、ユーザは常に選択する必要があり、撮影を行うによっては明るいレンズの使用を断念することもあった。
この場合、上記技術を応用すれば、撮影時は開放F値が大きい軽量なレンズで撮影し、復元技術を用いて、より明るいレンズで撮影されたのと同様の画像を後処理により再現し、ユーザのニーズを満たすことができる。撮影時のレンズと再現したいレンズのPSFをはじめとした光学特性を用いることで、撮影時のレンズの開放F値よりも小さいF値のレンズでの撮影を擬似的に再現することもできる。すなわち、撮影時のレンズの特性で一度復元し、その後、目標のF値を実現するPSFから収差を含めた光学特性を適用することで、収差によるボケ具合等のレンズの味とよばれる特性も再現できる。この場合、撮影距離については、撮影時のフォーカス位置と、実際の被写体距離の組み合わせごとに光学特性を求めることで、どのようなフォーカス位置でどの撮影距離であっても等しく光学特性を再現することが可能になる。
特許文献2に示される手法は従来から知られており、撮影条件の取得や、撮影時の条件にあったPSFの取得なども、周辺技術の技術革新により、昨今、精度の高い実用的な結果が得られるようになってきた。その一方で、特許文献2の手法のように、フォーカス位置のみではなく、画面全体における全ての被写体距離に応じたOTFを用いる方法では、精度が上がりデータ量が増大したOTFデータを扱うことが現実的に難しくなってきている。
しかしながら、従来技術では、画像復元によって目標の撮影条件の光学特性を精度良く再現するためには、全てのフォーカス位置に対する撮影距離の組み合わせの光学特性を保持しておく必要があった。通常、PSFやOTFのデータは、任意の1点に対して数百から数千倍以上のデータが必要となるため、全てのフォーカス位置に対応して全撮影距離のOTFデータを保持することは、データ量が膨大になり過ぎ現実的でない。例えば、目標の撮影条件の光学特性を、撮影距離ごとではなく、フォーカス位置のみの撮影時のOTFと目標のOTFとから再現することが実現できなかった。
ところで、デフォーカスを算出する際に関連する技術として、撮影時に画像全域に亘って被写体の距離を取得するという技術も存在する。その代表的なものとして、視差画像という異なる位置から同じ領域を撮影した2つの画像を用い、その位置の差と写っている被写体のずれ具合を検出し、それぞれについて距離を求めるという手法がある。この場合、撮像装置に予め視差画像を取得する機構を用意しておく必要があるが、撮影は1回行うだけで画像中の被写体の距離が求まるというメリットがある。
本発明の目的は、必要なデータ量を抑えつつ目標の撮影条件の光学特性を再現することである。
上記目的を達成するために本発明は、撮影により得られた画像、該画像の撮影時の撮影条件、及び該画像に関する距離マップを取得する第1の取得手段と、前記第1の取得手段により取得された距離マップに基づいて、前記第1の取得手段により取得された画像の領域を、閾値を用いて撮影距離の異なる複数の領域に分割する分割手段と、前記分割手段により分割された複数の領域のうち、OTF(光学伝達関数)を適用するOTF適用領域を決定する決定手段と、前記第1の取得手段により取得された撮影時の撮影条件に基づいて、撮影時のフォーカス位置に対応する撮影時OTFを取得する第2の取得手段と、前記複数の領域ごとに、指定された目標撮影条件に基づいて目標OTFを取得する第3の取得手段と、前記第2の取得手段により取得された撮影時OTFと前記第3の取得手段により取得された目標OTFとに基づいて、画像復元を行うためのフィルタを生成する生成手段と、前記生成手段により生成されたフィルタを前記画像に適用することで、前記画像の前記OTF適用領域の光学収差を補正する補正手段と、を有することを特徴とする。
本発明によれば、必要なデータ量を抑えつつ目標の撮影条件の光学特性を再現することができる。
以下、本発明の実施の形態を図面を参照して説明する。
図1は、発明の一実施の形態に係る画像処理装置の構成を示す図である。図1では、画像処理装置の一例として、撮像装置であるデジタルカメラ100を示す。図1のデジタルカメラ100において、撮像素子や表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをCPU等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
また、本画像処理装置は、デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、PDA、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置として構成してもよい。あるいは、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、電子ブックリーダとして構成してもよい。
カメラ100において、撮像光学系を構成する撮影レンズ110を介して入射した被写体からの反射光は、撮像素子142上で光学像として結像し被写体像を形成する。当該被写体像は画素単位に電気信号に変換(光電変換)され、アナログ画素信号が生成される。アナログ画素信号はA/D変換器144においてデジタル信号に変換され、画像処理部146で画像処理される。画像処理部146は、A/D変換器144からのデータ或いはメモリ制御部120からのデータに対して所定のデモザイク処理や色変換処理を行う。メモリ制御部120は、A/D変換器144や画像処理部146の動作を制御する。
A/D変換器144から出力されたデジタル信号は、画像処理部146、メモリ制御部120を介して、或いは直接にメモリ制御部120を介して、画像表示メモリ126或いはメモリ128に書き込まれる。画像表示メモリ126は、画像表示部124の表示用の画像データを記憶するメモリであって、画像表示メモリ126が記憶するデータはD/A変換器122を介して画像表示部124により表示される。システム制御部132はCPU、ROM、RAMを有し、CPUがROMに格納されたプログラムをRAMの作業エリアに展開し、実行することにより、カメラ100の全体的な動作制御を行う。
シャッタースイッチ134は、ユーザからの撮影のための前処理の開始指示(SW1)を受け付けるための操作部であって、不図示のシャッターボタンの操作途中でオンとなる。シャッタースイッチ136は、ユーザからの撮影指示(SW2)を受け付けるための操作部であって、不図示のシャッターボタンの完全な押下でオンとなる。撮影指示がなされると撮像素子142から読み出されたアナログ信号がA/D変換器144、メモリ制御部120を介して、画像処理部146やメモリ制御部120で演算により現像処理される。現像処理の結果はメモリ128に画像データとして記憶される。画像データはメモリ128から読み出されて画像処理部146にて圧縮処理が行われ、SDカードなどの記録媒体を含む記録部130に書き込まれる。なお、記録媒体はカメラ100に対して取り外し可能に装着されていてもよい。操作部140は、画像表示部124に表示されたメニュー画面に対する操作や、表示画像の選択など、各種の選択操作をユーザから受け付けるためのユーザ・インタフェースである。操作部140が検出した信号は、システム制御部132に入力される。
図2は、本発明を実現するためのデジタルカメラ100の処理部を示すブロック図である。このカメラ100は、距離マップを取得可能な撮像装置である。以下、光学伝達関数をOTF(Optic Transfer Function)と記す。カメラ100は、処理部として、画像入力部101、領域分割部102、ボケコントロール部103、撮影時OTF取得部104、目標OTF取得部105、フィルタ生成部106、フィルタ適用部107を有する。これらの処理部は画像処理部146に含まれる。
カメラ100では、被写体を撮影して画像111を得る際に、撮影時の撮影条件113が取得されると共に、視差センサ114(図1には図示せず)により距離マップ112が取得される。画像111が画像入力部101に入力され、これにより、第1の取得手段としての画像入力部101は画像111を取得する。画像111が画像入力部101に入力される際、撮影条件113及び距離マップ112は、画像111に対応付けられるかまたは画像111の属性情報として画像入力部101に入力される。撮影条件113には、シャッタ速度、絞り値、撮影感度、露出時間、フォーカス位置等が含まれるが、例示に限定されず、また、撮影条件113に含まれる項目のうち少なくとも1つが、実際に算出や処理に利用される。
領域分割部102は、画像入力部101から撮影条件113及び距離マップ112を取得する。閾値設定部115により閾値116が設定され、設定された閾値116が領域分割部102へ入力される。閾値設定部115は操作部140に含まれ、閾値116はユーザが指定できる。なお、閾値116は固定値としてもよい。分割手段としての領域分割部102は、距離マップ112に基づいて、画像111の領域を、閾値116を用いて撮影距離の異なる複数の領域に分割する。
ボケコントロール部103は、分割された領域ごとに、被写界深度と撮影距離に応じたボケ係数を算出する。ボケコントロール部103は、領域分割部102を通じて撮影時の撮影条件113を取得する。第2の取得手段としての撮影時OTF取得部104は、画像入力部101から撮影条件113を取得する。撮影時OTF取得部104は、撮影時の撮影条件113から、撮影時のフォーカス位置に対応する撮影時OTFを取得する。目標撮影条件117がボケコントロール部103及び目標OTF取得部105に入力される。目標撮影条件117に含まれ得る項目は撮影条件113と同様であり、例えば操作部140によって指定される。第3の取得手段としての目標OTF取得部105は、分割された領域ごとに目標撮影条件117に対応する目標OTFを取得する。生成手段としてのフィルタ生成部106は、撮影時OTFと目標OTFとボケ係数とから、入力画像に適用するフィルタを生成する。補正手段としてのフィルタ適用部107は、フィルタ生成部106により生成されたフィルタを画像111に適用する。
次に、図3〜図7を用いて、画像復元等のための画像処理部146による各種の処理について説明する。この処理は、撮影が完了した直後、または所定の操作によって開始される。なお、撮像機能を備えない画像処理装置でこの処理を実行する場合は、所定の指示操作により開始されるようにしてもよい。
図3は、領域分割部102による処理を示すフローチャートである。領域分割部102は、視差センサ114を用いて取得された距離マップ112を取得する(ステップS201)。距離マップ112では、画像111中の各位置において、被写体までの距離が記録されているが、それぞれの値はある程度の階調を持って連続的に変化する値である。次に、領域分割部102は、閾値116を取得する(ステップS202)。ここで、閾値116は、処理の精度に関わる値であり、値が大きくなるとその後の処理の精度が下がる。次に、領域分割部102は、画像111における領域を距離マップ112及び閾値116を元に複数に分割する。そして、領域分割部102は、領域を分割した結果、分割後の領域の数が2つ以上存在するか否かを判別し(ステップS203)、分割後の領域の数が1つしかなかった場合は処理を終了させる。一方、領域分割部102は、分割後の領域の数が2つ以上であればその情報をメモリ128等に記録してから(ステップS204)、処理を終了させる。
ここで、領域分割の例を説明する。図4(a)は、画像111の全領域を5つの領域A、B、C、D、Eに分割した例を示している。図4(b)は、分割した領域の撮影レンズ110からの距離を示す図である。画像111の撮影時のフォーカス位置(ピント位置)を中心とする閾値116の範囲が領域Dとされる。領域Dはピント面を含んでいて最もピントが合っている領域である。領域Dを基準として、画像111の他の領域は、距離に応じて閾値116ごとに区切られる。例えば、領域Dより閾値116だけ遠い側の領域であって閾値116の範囲の領域が領域Eである。領域Eより閾値116だけ遠い側の領域であって閾値116の範囲の領域が領域Fである。同様に、領域Dより閾値116だけ近い側の領域であって閾値116の範囲の領域が領域Cである。なお、分割数の上限を予め決め、ピント面を含んでいる領域から定まる領域数が上限に達したらそれより遠い領域及び近い領域をそれぞれ1つの領域としてもよい。その場合、例えば、分割数の上限が7つであるとすると、領域G、Aはそれぞれ閾値116よりも長い領域となる。領域Gは無限遠を含んでいる。なお、分割の手法については、距離マップを用いて距離に応じて領域を分割すればよく、例示の手法に限定されない。
図5は、ボケコントロール部103による処理を示すフローチャートである。ボケコントロール部103では、撮影条件が変わったことで変化したボケをコントロールするためのボケ係数が算出される。
まず、ボケコントロール部103は、撮影時の撮影条件113及び目標撮影条件117を取得する(ステップS301)。そしてボケコントロール部103は、領域分割部102により分割された画像111の複数の領域を、ボケを付加するボケ付加領域とボケを付加しない領域とにグループ分けする(ステップS302)。ここで、ボケを付加しない領域は、OTFフィルタを適用するOTF適用領域となる。従って、ボケ付加領域を決定することは、OTF適用領域を決定することでもあり、ボケコントロール部103が、本発明における決定手段としての役割を果たす。ここで、OTF適用領域の決定手法の例として、例えばボケコントロール部103は、目標撮影条件下において、撮影距離が被写界深度に含まれる領域をOTF適用領域として決定する。
具体例を示す。例えば、撮影時の絞り値が5.6であって、ピント位置の前後1mの領域まで被写界深度に含まれているとする。図4(a)を例にとると、撮影時には、フォーカス位置を中心とする5つの領域B、C、D、E、Fが被写界深度に含まれていたとする。一方、目標撮影条件117では絞り値が2.6であって、ピント面の前後50cmの範囲にまで被写界深度は浅くなる。その結果、5つの領域B、C、D、E、Fのうち、前後両外側の2つの領域B、Fは被写界深度の範囲外となることがわかる。従って、この場合は、3つの領域C、D、EがOTF適用領域として決定され、それ以外がボケ付加領域とされる。
なお、OTF適用領域の決定の詳細なルールは例示したものに限定されない。例えば、目標撮影条件117における絞り値によると被写界深度の限界位置を含む領域は、OTF適用領域としてもよいが、ボケ付加領域としてもよい。
次に、ボケコントロール部103は、決定したボケ付加領域の各々に対するボケ係数を算出する(ステップS303)。ここで、撮影条件の主に絞り値に基づき、撮影時と目標との絞り値の差分から、現在のピント面を中心としてボケ状態がどのように変化するかを考慮してボケ係数が算出される。
具体的にはまず、ボケコントロール部103は、全てのボケ付加領域に対するボケ係数の算出が完了したか否かを判別する(ステップS304)。その判別の結果、ボケコントロール部103は、ボケ係数の算出が完了していない場合は、今回の算出対象のボケ付加領域に関する撮影時の撮影条件113から撮影距離を取得する(ステップS305)。さらにボケコントロール部103は、撮影時のフォーカス位置を取得する(ステップS306)。そして、ボケコントロール部103は、取得した撮影距離とフォーカス位置との差分からボケ係数を算出する(ステップS307)。その後、処理はステップS304に戻る。図5の全てのボケ付加領域に対するボケ係数の算出が完了した場合は、図5の処理は終了する。
例えば、領域B、Fは、撮影時は被写界深度内であったが、目標撮影条件下では被写界深度外となり、ボケを付加する必要がある。そこでボケコントロール部103は、撮影距離とフォーカス位置との差分(図4の例では50cm)に対応したボケ係数を領域B、Fに対して割り当てる。
なお、後述するフィルタを画像111に適用することで、実際にぼかしが画像111に作用する。従って、OTF適用領域に対しては、ボケ係数は、フィルタを適用しても実質的にぼかしが作用しないような値が設定される。
図6(a)、(b)はそれぞれ、撮影時OTF取得部104、目標OTF取得部105による各処理を示すフローチャートである。
まず、撮影時OTF取得部104は、撮影時の撮影条件113を取得し(ステップS401)、撮影条件113に基づいて、撮影時のフォーカス位置に対応する撮影時OTFを取得する(ステップS402)。すなわち、撮影時OTF取得部104は、上記特許文献2(特開2012−5056号公報)と同様に、絞り値やフォーカス位置から求めた撮影距離、レンズの焦点距離等の設計データ等から、光学的な特性であるPSF及びOTFを取得する。これにより、撮影時の撮影条件113にマッチした撮影時OTFが取得される。
一方、目標OTF取得部105は、目標撮影条件117を取得し(ステップS501)、分割された複数の領域ごとに、目標撮影条件117に基づいて目標OTFを取得する(ステップS502)。すなわち、目標OTF取得部105は、上記特許文献2(特開2012−5056号公報)と同様に、絞り値やフォーカス位置から求めた撮影距離、レンズの焦点距離等の設計データ等から、光学的な特性であるPSF及びOTFを取得する。これにより、目標撮影条件117にマッチした目標OTFが取得される。
図7(a)、(b)はそれぞれ、フィルタ生成部106、フィルタ適用部107による各処理を示すフローチャートである。
図7(a)では、フィルタ生成部106は、分割された全ての領域に対し、ボケ係数と撮影時OTFと目標OTFとに基づいてフィルタを生成する。フィルタは、OTFから光学特性を元にして算出するものと、先に求めたボケ係数を元にローパス処理をかけるものとを組み合わせて生成される。
まず、フィルタ生成部106は、分割された全ての領域に対する処理が完了したか否かを判別する(ステップS601)。処理が完了していない場合は、フィルタ生成部106は、撮影時OTFを取得し(ステップS602)、目標OTFを取得し(ステップS603)、今回の対象領域のボケ係数を取得する(ステップS604)。次に、フィルタ生成部106は、これら取得した撮影時OTF、目標OTF及びボケ係数を加味して、適用すべきフィルタを生成する(ステップS605)。
具体的には、フィルタ生成部106は、撮影時OTFからは逆特性としてのフィルタを生成し、目標OTFからは特性を掛け合わせるためのフィルタを生成する。ボケ係数に関しては、一般的に行われる平滑化フィルタを用い、フィルタに用いる強度を、ボケ係数の値を用いて変動させることで、間接的に撮影条件やフォーカス位置に応じた領域ごとの制御が行われる。つまり、フィルタ生成部106は、撮影時OTFから生成したフィルタ、目標OTFから生成したフィルタ、ボケ係数から生成したフィルタを合成する。全ての領域について処理が完了すると、図7(a)の処理は終了し、その時点で合成されているフィルタが、実際に画像111に適用されるフィルタとなる。
図7(b)において、フィルタ適用部107は、フィルタ生成部106で生成されたフィルタを取得し(ステップS701)、画像111に対してそれを適用することで画像復元を行う(ステップS702)。上記数式4で説明したように、フィルタを画像111に適用することで、画像111のOTF適用領域の光学収差が補正され、目標撮影条件117に応じた特性となる。また、ボケ付加領域には目標撮影条件117に応じたボケが付加される。従って、光学収差及びボケに関し、目標の撮影条件の光学特性を再現することができる。
図4に示す例で、撮影時の撮影条件113では絞り値が5.6で、目標撮影条件117では絞り値が2.6である場合を考える。3つの領域C、D、EがOTF適用領域として決定される。フィルタの適用によって、OTF適用領域である領域C、D、Eには目標撮影条件117に応じた光学収差の画像となる。ボケ付加領域である領域A、B、F、Gにはそれぞれのボケ係数に応じたボケが付加される。必要なデータについては、撮影距離がフォーカス位置のデータのみあればよく、フォーカス位置とは異なる被写体に関するデータは不要となるので、必要なデータ量を抑えることができる。
本実施の形態によれば、撮影時OTFと目標OTFとに基づいて生成されたフィルタを画像111に適用してOTF適用領域の光学収差を補正するので、必要なデータ量を抑えつつ目標の撮影条件の光学特性を再現することができる。しかも、フィルタの生成はボケ係数にも基づくので、撮影条件113と目標撮影条件117とに応じたボケがOTF適用領域でない領域に施される。従って、所望の撮影条件のボケを含む光学特性を再現することができる。このように、ユーザは、撮影時には暗い軽量なレンズや機材を用いて撮影を行い、後処理において、より明るいレンズをシミュレートした画像を再現することができるようになる。
ところで、閾値116はユーザが指定できるか、または固定値であるとしたが、これに限定されない。撮影条件113等を考慮し、閾値設定部115が自動的に閾値116を指定するようにしてもよい。例えば、距離マップ112を出力する視差センサ114の精度に応じて複数のパターンを持つことが考えられる。すなわち閾値設定部115は、閾値116を、視差センサ114の精度が高い場合は小さい値に設定し、視差センサ114の精度が低い場合は大きい値に設定する。また、領域の分割数の上限を定め、一定数を超えないように制御する場合は、閾値116を小さい値から大きくしていき、領域数が上限以下になるところの閾値116を採用することで、閾値116を動的に決める手法も考えられる。さらに、撮影条件113そのものに応じて閾値設定部115が閾値116を決めるようにしてもよい。特に高感度では精度が低くなる可能性があるため閾値116を大きくし、低感度の場合には閾値116を小さく設定する、等の態様が考えられる。これら例示したいずれかまたは複数の手法の組み合わせによって閾値116を指定してもよい。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
101 画像入力部
102 領域分割部
103 ボケコントロール部
104 撮影時OTF取得部
105 目標OTF取得部
106 フィルタ生成部
112 距離マップ
113 撮影条件
117 目標撮影条件
102 領域分割部
103 ボケコントロール部
104 撮影時OTF取得部
105 目標OTF取得部
106 フィルタ生成部
112 距離マップ
113 撮影条件
117 目標撮影条件
Claims (8)
- 撮影により得られた画像、該画像の撮影時の撮影条件、及び該画像に関する距離マップを取得する第1の取得手段と、
前記第1の取得手段により取得された距離マップに基づいて、前記第1の取得手段により取得された画像の領域を、閾値を用いて撮影距離の異なる複数の領域に分割する分割手段と、
前記分割手段により分割された複数の領域のうち、OTF(光学伝達関数)を適用するOTF適用領域を決定する決定手段と、
前記第1の取得手段により取得された撮影時の撮影条件に基づいて、撮影時のフォーカス位置に対応する撮影時OTFを取得する第2の取得手段と、
前記複数の領域ごとに、指定された目標撮影条件に基づいて目標OTFを取得する第3の取得手段と、
前記第2の取得手段により取得された撮影時OTFと前記第3の取得手段により取得された目標OTFとに基づいて、画像復元を行うためのフィルタを生成する生成手段と、
前記生成手段により生成されたフィルタを前記画像に適用することで、前記画像の前記OTF適用領域の光学収差を補正する補正手段と、を有することを特徴とする画像処理装置。 - 前記補正手段は、前記第1の取得手段により取得された撮影条件と前記目標撮影条件とに応じたボケを、前記画像の前記OTF適用領域でない領域に施すことを特徴とする請求項1に記載の画像処理装置。
- 前記画像の前記OTF適用領域でない領域ごとに、前記第1の取得手段により取得された撮影条件と前記目標撮影条件とに応じたボケ係数を算出する算出手段を有し、
前記生成手段は、前記算出手段により算出されたボケ係数と前記撮影時OTFと前記目標OTFとに基づいて前記フィルタを生成することを特徴とする請求項2に記載の画像処理装置。 - 前記決定手段は、前記目標撮影条件下において、撮影距離が被写界深度に含まれる領域を前記OTF適用領域として決定することを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記閾値は、前記撮影時の撮影条件に基づいて設定されることを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
- 請求項1〜5に記載の画像処理装置を備える撮像装置であって、被写体を撮像する機能を有することを特徴とする撮像装置。
- 撮影により得られた画像、該画像の撮影時の撮影条件、及び該画像に関する距離マップを取得する第1の取得ステップと、
前記第1の取得ステップにより取得された距離マップに基づいて、前記第1の取得ステップにより取得された画像の領域を、閾値を用いて撮影距離の異なる複数の領域に分割する分割ステップと、
前記分割ステップにより分割された複数の領域のうち、OTF(光学伝達関数)を適用するOTF適用領域を決定する決定ステップと、
前記第1の取得ステップにより取得された撮影時の撮影条件に基づいて、撮影時のフォーカス位置に対応する撮影時OTFを取得する第2の取得ステップと、
前記複数の領域ごとに、指定された目標撮影条件に基づいて目標OTFを取得する第3の取得ステップと、
前記第2の取得ステップにより取得された撮影時OTFと前記第3の取得ステップにより取得された目標OTFとに基づいて、画像復元を行うためのフィルタを生成する生成ステップと、
前記生成ステップにより生成されたフィルタを前記画像に適用することで、前記画像の前記OTF適用領域の光学収差を補正する補正ステップと、を有することを特徴とする画像処理方法。 - 請求項7に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015170517A JP2017050605A (ja) | 2015-08-31 | 2015-08-31 | 画像処理装置及び方法、撮像装置、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015170517A JP2017050605A (ja) | 2015-08-31 | 2015-08-31 | 画像処理装置及び方法、撮像装置、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017050605A true JP2017050605A (ja) | 2017-03-09 |
Family
ID=58280319
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015170517A Pending JP2017050605A (ja) | 2015-08-31 | 2015-08-31 | 画像処理装置及び方法、撮像装置、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017050605A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113795862A (zh) * | 2019-11-27 | 2021-12-14 | 深圳市晟视科技有限公司 | 一种景深合成***、相机和显微镜 |
-
2015
- 2015-08-31 JP JP2015170517A patent/JP2017050605A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113795862A (zh) * | 2019-11-27 | 2021-12-14 | 深圳市晟视科技有限公司 | 一种景深合成***、相机和显微镜 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
US10282822B2 (en) | Digital correction of optical system aberrations | |
JP5709911B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
EP2574039B1 (en) | Image pickup device, image processing device, image processing method, and image processing program | |
JP6218377B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5535053B2 (ja) | 画像処理装置、及び画像処理方法 | |
TWI626500B (zh) | 攝影裝置、透鏡單元以及訊號處理裝置 | |
JP4958806B2 (ja) | ぶれ検出装置、ぶれ補正装置及び撮像装置 | |
JP2005332381A (ja) | 画像処理方法および装置並びにプログラム | |
US20150161771A1 (en) | Image processing method, image processing apparatus, image capturing apparatus and non-transitory computer-readable storage medium | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7191588B2 (ja) | 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体 | |
JP2017050605A (ja) | 画像処理装置及び方法、撮像装置、プログラム | |
JPWO2014157348A1 (ja) | 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム | |
JP6157238B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6385206B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6468751B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017173920A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体 | |
CN104125385B (zh) | 影像编辑方法以及影像处理装置 | |
JP2015109681A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
JP2016010080A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016019017A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2019096364A (ja) | 画像評価装置 | |
US20230146844A1 (en) | Image processing apparatus and image processing method | |
JP4770965B2 (ja) | 画像マッチング装置、およびカメラ |