JP2013179564A - 画像処理方法、画像処理装置および撮像装置 - Google Patents

Abstract

【課題】複数回の撮像を行わずに撮影画像に含まれる不要画像成分を精度良く決定する。
【解決手段】画像処理方法は、撮像により生成された互いに視差を有する複数の視差画像を取得するステップ（図１（ｂ），（ｃ））と、少なくとも撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得するステップと、該撮影条件情報に基づいて不要画像成分を決定する画像処理を行うか否かを決定するための判定情報を用意し、撮影条件情報と判定情報を用いて不要画像成分を決定する画像処理を行うか否かを決定するステップと、不要画像成分を決定する画像処理を行うと判定された場合に複数の視差画像の位置合わせを行って該複数の視差画像の差分を求めるステップ（図１（ｄ））と、該差分に含まれる被写体の視差成分とは異なる不要画像成分を決定するステップ（図１（ｅ））とを有する。
【選択図】図１

Description

本発明は、撮影画像の画質を向上させるための画像処理技術に関する。

カメラ等の撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射して、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、密度の高いスポット像を形成したり被写体像の広範囲に被ったりしてゴーストやフレアとなり、これらゴーストやフレアは不要画像成分として撮影画像中に現れる。

また、望遠レンズにおいて、軸上色収差や倍率色収差の補正のために最も物体側のレンズに回折光学素子を用いると、撮像画角外に存在する太陽等の高強度物体からの光が回折光学素子に当たることで、画像全体にぼんやりとした不要光が現れる場合がある。この場合の不要光も、不要画像成分として撮影画像中に現れる。

そして、不要光を光学的に低減したり、不要画像成分をデジタル画像処理によって除去したりする方法が従来提案されている。後者の方法の１つとして、特許文献１には、被写体に対して撮像光学系が合焦状態にあるときの画像（合焦画像）と撮像光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴーストを検出する方法が開示されている。

特開２００８−５４２０６号公報

しかしながら、特許文献１にて開示された方法では、合焦状態と非合焦状態のそれぞれでの撮像、すなわち複数回の撮像が必要であり、動きのある被写体の静止画撮像や動画撮像には適さない。

本発明は、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を精度良く決定できるようにした画像処理方法、画像処理装置および撮像装置を提供する。

本発明の一側面としての画像処理方法は、被写体の撮像により生成された互いに視差を有する複数の視差画像を取得するステップと、少なくとも撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得するステップと、該撮影条件情報に基づいて不要画像成分を決定する画像処理を行うか否かを決定するための判定情報を用意し、撮影条件情報と判定情報を用いて不要画像成分を決定する画像処理を行うか否かを決定するステップと、不要画像成分を決定する画像処理を行うと判定された場合に複数の視差画像の位置合わせを行って該複数の視差画像の差分を求めるステップと、該差分に含まれる被写体の視差成分とは異なる不要画像成分を決定するステップとを有することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、被写体の撮像により生成された互いに視差を有する複数の視差画像を取得する画像取得部と、少なくとも撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得する撮影条件情報取得部と、該撮影条件情報に基づいて不要画像成分を決定する画像処理を行うか否かを決定するための判定情報を有し、撮影条件情報と判定情報を用いて不要画像成分を決定する画像処理を行うか否かを決定する判定部と、不要画像成分を決定する画像処理を行うと判定された場合に、複数の視差画像の位置合わせを行って該複数の視差画像の差分を求める差分演算部と、該差分に含まれる被写体の視差成分とは異なる不要画像成分を決定する不要画像成分決定部とを有することを特徴とする。

なお、被写体の撮像により互いに視差を有する複数の視差画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明のさらに他の一側面としての画像処理プログラムは、コンピュータに、被写体の撮像により生成された互いに視差を有する複数の視差画像を取得するステップと、少なくとも撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得するステップと、該撮影条件情報に基づいて不要画像成分を決定する画像処理を行うか否かを決定するための判定情報を用意し、撮影条件情報と判定情報を用いて不要画像成分を決定する画像処理を行うか否かを決定するステップと、不要画像成分を決定する画像処理を行うと判定された場合に、複数の視差画像の位置合わせを行って該複数の視差画像の差分を求めるステップと、該差分に含まれる被写体の視差成分とは異なる不要画像成分を決定するステップとを有する画像処理を実行させることを特徴とする。

本発明によれば、複数回の撮像を行うことなく撮影画像に含まれる不要成分を精度良く決定することができる。そして、決定された不要画像成分を良好に低減または除去することができる。

本発明の実施例１である画像処理方法の手順を示す図。 実施例１の画像処理方法を用いる撮像装置の撮像系における撮像素子の受光部と撮像光学系の瞳との関係を示す図。 上記撮像系を模式的に示す図。 上記撮像装置の構成を示すブロック図。 上記撮像装置における撮像光学系とそこに発生する不要光を説明する図。 図５に示した撮像光学系の絞りを透過する不要光を説明する図。 上記撮像系の絞りと不要光の関係を説明する図。 画像中の高輝度領域と不要光を決定する対象領域を説明する図。 上記画像処理方法の手順を示すフローチャート。 実施例２の画像処理方法の手順を示すフローチャート。 実施例３の画像処理方法の手順を示すフローチャート。 実施例３の画像処理方法の変形例の手順を示すフローチャート。 撮像系の撮影条件を用いた処理の実行判定を説明する図。 被写体の距離情報を説明する図。 本発明の実施例４である画像処理方法を用いる撮像装置における撮像光学系とそこに発生する不要光を説明する図。 図１５に示した撮像光学系の絞りを透過する不要光を説明する図。 実施例４の画像処理方法の手順を示す図。 本発明の実施例５である撮像装置の撮像系を示す図。 実施例５として別の撮像装置の撮像系を示す図。 実施例５としてさらに別の撮像装置の撮像系を示す図。 従来タイプの撮像素子を示す図。 図１８の撮像系により得られた画像を示す図。 図１９および図２０の撮像系により得られた画像を示す図。 実施例５としての他の撮像の例を示す図。 実施例５として他の撮像装置を示す図。 本発明の実施例６における画素欠陥と塵埃付着による不要画像成分の発生例を示す図。

以下、本発明の実施例について図面を参照しながら説明する。

本発明の各実施例で用いる複数の視差画像を生成可能な撮像装置は、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

図２には、撮像系における撮像素子の受光部と撮像光学系の瞳との関係を示す。図２において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは撮像光学系の射出瞳を示している。Ｇ１，Ｇ２は受光部（以下それぞれ、Ｇ１画素およびＧ２画素という）であり、１つのＧ１画素と１つのＧ２画素とが互いに対をなしている。撮像素子には、Ｇ１画素とＧ２画素の対（画素対）が複数配列されている。対のＧ１画素とＧ２画素は、共通の（つまりは画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群ともいい、同様に撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群ともいう。

図３には、図２に示したマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像系を模式的に示している。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。ＯＳＰは撮像している物点である。物点ＯＳＰには必ずしも物体が存在している必要は無く、この点を通った光束はそれが通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１およびＧ２画素のうち、Ｇ１画素からの出力信号を用いて生成された画像とＧ２画素からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割ともいう。

また、図２および図３において、射出瞳ＥＸＰの位置がずれる等して、上述した共役関係が完全ではなくなったりＰ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像を各実施例では視差画像として扱う。

図４には、本発明の実施例１である画像処理方法を使用する撮像装置の基本構成を示している。絞り２０１ａおよびフォーカスレンズ２０１ｂを含む撮像光学系２０１は、不図示の被写体からの光を撮像素子２０２上に結像させる。ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成される撮像素子２０２は、図２および図３にて説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する、瞳分割を行う。

撮像素子２０２での光電変換により生成されたアナログ電気信号は、Ａ／Ｄコンバータ２０３でデジタル信号に変換されて画像処理部２０４に入力される。画像処理部２０４は、デジタル信号に対して一般に行われる画像処理と併せて、不要光の決定処理およびこれを低減または除去する補正処理とを行う。なお、画像処理部２０４は、撮像装置に搭載された画像処理装置に相当する。また、画像処理部２０４は、視差画像を取得（生成）する画像取得部、不要画像成分の決定処理を行うか否かを決定する判定部、視差画像の差分を求める差分演算部および該差分に含まれる不要画像成分を決定する不要画像成分決定部に相当する機能を有する。

画像処理部２０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録媒体２０９に保存される。また、出力画像を、表示部２０５に表示してもよい。

撮像素子２０２の駆動、画像処理部２０４での処理および撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の動作の制御はシステムコントローラ２１０が行う。撮像光学系２０１における絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動は、システムコントローラ２１０からの制御指示に応じて撮像光学系制御部２０６が行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じてその開口径が制御される。絞り２０１ａの開口径やフォーカスレンズ２０１ｂの位置は、システムコントローラ２１０または撮像光学系制御部２０６を通じて状態検知部２０７により検出され、画像処理部２０４に入力される。

フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。なお、撮像光学系２０１は、図４では撮像装置の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。

図５（ａ）には、撮像光学系２０１の具体的な構成例を示す。ＳＴＰは絞りである。ＩＭＧは撮像面を示しており、この位置には図４に示した撮像素子２０２が配置される。図５（ｂ）には、撮像光学系に高輝度物体の例としての太陽ＳＵＮからの強い光が入射し、撮像光学系を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。

また、図６には、絞りＳＴＰ（言い換えれば、撮像光学系の射出瞳）のうち、図３に示したＧ１画素とＧ２画素に入射する光束が通過する領域（以下、瞳領域という）Ｐ１，Ｐ２を示している。高輝度物体からの光束は絞りＳＴＰのほぼ全域を通過するが、Ｇ１画素とＧ２画素に入射する光束が通過する領域は、瞳領域Ｐ１，Ｐ２に分けられる。

このような撮像装置による撮像により生成される撮影画像において、上記不要光が光電変換されることで現れる画像成分である不要画像成分を決定する方法について、図１を用いて説明する。

図１（ａ）は、瞳分割を行わない撮像により生成された撮影画像を示す。この撮影画像には、ビル等の建物とその周辺に存在する樹木とが被写体として映っている。また、撮影画像中に黒い四角部分として示すＧＳＴは、不要光（ゴースト）の画像成分である不要画像成分である。なお、図１中には不要画像成分ＧＳＴを黒く塗りつぶして示しているが、実際には、被写体がある程度透けている。このことは、後述する他の実施例を示す図でも同じである。

図１（ｂ）および図１（ｃ）はそれぞれ、瞳領域Ｐ１，Ｐ２を通過した光束をＧ１，Ｇ２画素群にて光電変換した結果として得られた一対の視差画像を示す。これら一対の視差画像には、被写体（建物および樹木）の画像成分に視差に対応した差が存在する。また、該一対の視差画像にも黒い四角として模式的に示す不要画像成分ＧＳＴが含まれているが、その位置は視差画像間で異なる。ここでは、不要画像成分ＧＳＴが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でも良い。すなわち、黒い四角の不要画像成分の位置や輝度が互いに異なった状態であれば良い。

図１（ｄ）は、これら一対の視差画像の位置合わせ（重ね合わせ）を行った状態の画像を示す。位置合わせ方法については後述する。この画像（以下、差分画像という）には、一対の視差画像が有する差分（差分情報ともいう）として、被写体の視差成分と上述した不要画像成分とが含まれている。被写体の視差成分（以下、被写体視差成分という）とは、図１（ｂ）と図１（ｃ）に示した一対の視差画像のそれぞれに含まれる被写体（建物および樹木）の画像成分間での視差に対応した差の成分であり、被写体距離に応じて変化する。

図１（ｅ）には、図１（ｄ）の差分画像に対して、被写体視差成分を除去する処理を行った後に残った不要画像成分を示している。このようにして差分画像における不要画像成分のみを残存させる（言い換えれば、分離する又は抽出する）処理を行うことで、不要画像成分を決定することができる。

そして、出力すべき画像（例えば、対のＧ１画素とＧ２画素を合成して得られる再構成画像や一対の視差画像）において、上述のようにして決定された不要画像成分を除去または低減する補正処理を行う。これにより、図１（ｆ）に示すように不要画像成分が概ね無くなった出力画像を得ることができる。

上記のように、不要画像成分を決定するには差分画像の生成や被写体視差成分との分離の処理を要するため、出力画像を生成するまでの画像処理速度が低下してしまう。また、誤検出による画質の低下も懸念される。そこで、本発明では、上記の不要画像成分の決定および除去の画像処理を実行するか実行しないかの判定を、撮像装置の撮影条件情報と用意した判定情報を参照して行う。ここで判定する内容としては、不要画像成分の決定の処理の実行についてのみでも良い。例えば、不要画像成分の決定の処理を実行した結果、不要画像成分が決定されなかった場合には、当然ながら除去の処理を実行する必要が無いためである。

図１３は、前記判定情報である。図１３の横軸はズーム光学系の場合の焦点距離であり、縦軸は絞り値である。実線で囲まれた撮影条件領域Ｐで撮影された場合には画像に不要画像成分が発生する可能性が高く、撮影条件領域Ｑで撮影された場合には画像に不要画像成分が発生する可能性が低い。図７（ａ）、（ｂ）は、それぞれ異なる撮影条件において、不要光が光学系を透過する様子を表している。絞りＳＴＰよりも被写体側にもレンズが存在しているがここでは省略している。図７（ａ）の場合は絞りＳＴＰを小さくしても不要光は撮像素子ＩＭＧに到達するが、図７（ｂ）の場合は、絞りＳＴＰで遮られるため撮像素子ＩＭＧには到達しない。従って、例えばこの例では撮影条件が図７（ｂ）の場合には絞りを小さくしていくと画像に不要画像成分が発生する可能性は低くなる。

したがって、画像の撮影条件が撮影条件領域Ｐに含まれる場合には、上記の方法で不要画像成分の決定および除去の画像処理を実行し、撮影条件領域Ｑに含まれる場合には、不要画像成分の決定および除去の画像処理を実行しない。このようにすることによって、不要な画像処理速度の低下や誤検出による画質低下を回避することができる。

ここで、撮影条件領域ＰおよびＱの境界や領域の分割数はこれに限らず、撮像装置の特性に応じて変更して用いることができる。また、領域分割の指標は上記のような不要画像成分が発生する可能性の他に、予め不要画像成分の決定が困難である撮影条件として分割してもよい。さらに、撮影条件は、焦点距離および絞り値に限らず、例えば撮影距離を用いることもできる。

図９のフローチャートには、上述した不要画像成分の決定処理（画像処理）の手順を示している。この処理は、システムコントローラ２１０および画像処理部２０４が、コンピュータプログラムとしての画像処理プログラムに従って実行する。

ステップＳ１１では、システムコントローラ２１０は、撮像光学系２０１および撮像素子２０２により構成される撮像部を制御して被写体の撮像を行う。

ステップＳ１２では、システムコントローラ２１０は、状態検知部２０７に撮影条件情報を取得させる。即ち、本実施例においては、状態検知部２０７が、撮影条件情報取得部として機能する。

ステップＳ１３では、システムコントローラ２１０は、上記の撮影条件情報と判定情報から不要画像成分の決定および除去の画像処理を実行するか実行しないかを判定する。

ステップＳ１３で、不要画像成分の決定および除去の画像処理を実行しないと判定された場合は、所定の処理を行って出力画像を生成する。所定の処理とは、現像処理や各種の画像補正処理である。また、不要画像成分の決定および除去以外の目的で必要に応じて視差画像を生成しても良い。以降は、不要画像成分の決定および除去の画像処理を実行すると判定された場合について説明する。

ステップＳ１４では、システムコントローラ２１０は、画像処理部２０４に、撮像素子２０２（Ｇ１画素群およびＧ２画素群）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて入力画像としての一対の視差画像を生成させる。

次に、ステップＳ１５では、画像処理部２０４は、一対の視差画像の位置合わせを行う。位置合わせは、一対の視差画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながらこれら画像間の相関が最大となるシフト位置を決定することで行うことができる。また、視差画像間の差分の２乗和が最小化するシフト位置を決定することで行ってもよい。さらに、視差画像中の合焦領域を位置合わせのためのシフト位置の決定の対象としてもよい。

また、予めそれぞれの視差画像においてエッジ検出を行い、検出されたエッジを用いて位置合わせのためのシフト位置を決定してもよい。この方法によると、合焦領域はコントラストの高いエッジが検出され、背景のような非合焦領域はコントラストが低く、エッジとして検出されにくいため、必然的に合焦領域が重視されたシフト位置の決定が行われる。

さらに、図１（ｂ）および図１（ｃ）に示した不要画像成分ＧＳＴも、エッジ検出を行うとその輪郭部分のみが検出されるため、上述した相関の最大化や差分２乗和の最小化によって位置合わせを行う際に画像全体に与える影響が小さくなる。

次に、ステップＳ１６では、画像処理部２０４は、一対の視差画像の差分を求める。すなわち、差分画像を生成する。撮像面に到達した不要光が撮像光学系の異なる瞳領域を通過する場合、図１（ｂ）および図１（ｃ）に示すように視差画像ごとに不要画像成分の発生位置が異なる。該不要画像成分の差分の絶対値は、図１（ｄ）に示すように、被写体視差成分の絶対値よりも大きくなる。

そこで、ステップＳ１７では、画像処理部２０４は、差分画像のうち被写体視差成分の絶対値よりも大きい所定の閾値以上の差分（または所定の閾値より大きい差分）、つまりは不要画像成分のみが残存するように該差分画像を補正する。この補正としては、検出ノイズを抑制するためのスムージング等の画像処理を行ってもよい。また、図１（ｄ）に示すように不要画像成分は被写体視差成分に比べて面積をもっている特長を用いて、細線や孤立点を除去することにより補正することもできる。こうして、図１（ｅ）に示すように、差分画像から不要画像成分のみを分離（または抽出）した画像が得られる。

次に、ステップＳ１８では、画像処理部２０４は、ステップＳ１７にて得られた画像中に残存した成分を不要画像成分（図では不要成分と記す）と決定する。

さらにステップＳ１９では、画像処理部２０４は、出力すべき画像から不要画像成分を除去（または低減）する補正処理を行う。ここでは、出力すべき画像として、図３に示したＧ１画素とＧ２画素を合成して１画素とすることで得られる再構成画像を生成する。この場合、不要画像成分が含まれる画像領域（以下、不要画像成分領域ともいう）では、Ｇ１画素とＧ２画素のうち不要画像成分が含まれていない画素の値を用いる。これにより、図１（ｆ）に示すように不要画像成分が除去（または低減）された出力画像を生成することができる。この際、不要画像成分領域の明るさをゲイン調整するとよい。

なお、図１（ｂ）に示したＧ１画素群により得られる視差画像の全体と図１（ｃ）に示したＧ２画素群により得られる視差画像の全体とを合成して再構成画像を生成する。そして、該再構成画像から不要画像成分領域を差し引いて、不要画像成分を除去（低減）した出力画像を得てもよい。

最後に、ステップＳ２０では、システムコントローラ２１０は、不要画像成分が除去（低減）された出力画像を、画像記録媒体２０９に保存したり表示部２０５に表示したりする。

以上説明したように、本実施例では、１回の撮像で得られた複数の視差画像を用いて不要光（ゴースト）により形成された不要画像成分を決定することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を決定することができる。

さらに、撮影条件を用いて不要画像成分の決定を実行するか実行しないかを判定するため、例えば予め不要画像成分が発生しないと分かっている場合には不要な画像処理を行わずに処理速度の低下や誤検出による画質の低下を回避することができる。そして、決定した不要画像成分を良好に除去または低減した高画質の撮影画像を得ることができる。

図１０のフローチャートには、上述した不要画像成分の決定処理（画像処理）の手順の変形例を示している。

ステップＳ１１〜ステップＳ１４までは実施例１と同様であるため説明を省略する。

ステップＳ１５では、システムコントローラ２１０は、画像処理部２０４に視差画像を用いて被写体の距離情報を生成させる。視差成分から被写体の距離情報が導出できることは既に公知技術であるため説明は省略し、図１４に図１に示した被写体の距離情報を示す。図１４では近点から無限遠までを複数の距離の段階に分離して示している。

次に、ステップＳ１６では、画像処理部２０４は、上記距離情報を用いて一対の視差画像の位置合わせを行う。位置合わせは、一対の視差画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながらこれら画像間の相関が最大となるシフト位置を決定することで行うことができる。また、視差画像間の差分の２乗和が最小化するシフト位置を決定することで行ってもよい。このシフト量を被写体の距離に応じて変更することで、複数の被写体の距離がそれぞれ異なる場合にも視差によるずれを最小にすることができる。

ステップＳ１７〜ステップＳ２１は、実施例１のステップＳ１６〜ステップＳ２０に対応しているため説明を省略する。

以上説明したように、本実施例では、１回の撮像で得られた複数の視差画像を用いて不要光（ゴースト）により形成された不要画像成分を決定することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を決定することができる。

さらに、撮影条件を用いて不要画像成分の決定を実行するか実行しないかを判定するため、予め不要画像成分が発生しないと分かっている場合には不要な画像処理を行わずに処理速度の低下や誤検出による画質の低下を回避することができる。そして、決定した不要画像成分を良好に除去または低減した高画質の撮影画像を得ることができる。

図１１のフローチャートには、上述した不要画像成分の決定処理（画像処理）の手順の変形例を示している。

ステップＳ１１〜ステップＳ１２までは実施例１と同様であるため説明を省略する。

ステップＳ１３では、システムコントローラ２１０は、画像処理部２０４に入力画像から高輝度領域を検出させる。言い換えれば、画像処理部２０４は、視差画像内の高輝度領域の検出を行う。高輝度領域の例としては、図８のＳＵＮ（太陽）や、太陽光の反射で光っている部分などが上げられる。また、夜間の車のヘッドライトや街灯など、周辺の明るさに比べて高輝度な領域を指す。

次に、ステップＳ１４では、システムコントローラ２１０は、上記の撮影条件情報と判定情報と高輝度領域の検出結果から不要画像成分の決定および除去の画像処理を実行するか実行しないかを判定する。図５（ｂ）に示したように、不要光は太陽などの高輝度光源からの強い光が主な原因であるため、画像内に高輝度領域が存在する場合には不要光の発生する可能性が高まる。そのため、高輝度領域が検出された場合には、上述した図１３の撮影条件領域Ａを拡大した判定情報を用いて判定するとよい。

ステップＳ１５〜ステップＳ２１は、実施例１のステップＳ１４〜ステップＳ２０に対応しているため説明を省略する。

さらに、図１２のフローチャートには、上述した不要画像成分の決定処理（画像処理）の手順の変形例を示している。

ステップＳ１１〜ステップＳ１２までは実施例１と同様であるため説明を省略する。

ステップＳ１３では、上記と同様にシステムコントローラ２１０は、画像処理部２０４に入力画像から高輝度領域の有無を検出する。さらに、高輝度領域が存在する場合にはその位置（画像の座標）を検出する。

次に、ステップＳ１４では、システムコントローラ２１０は、上記の撮影条件情報と判定情報と高輝度領域の検出結果から不要画像成分の決定および除去の画像処理を実行するか実行しないかを判定する。

次に、ステップＳ１５では、システムコントローラ２１０は、画像処理部２０４に高輝度領域の位置に応じて、画像中の不要画像成分の決定を行う対象領域を決定させる。この対象領域について図８を用いて説明する。図８中のＳＵＮは高輝度領域である。画像処理部２０４は、高輝度領域の位置からＡ、Ｂ、Ｃのように画像を領域に分割する。この場合、領域Ｂ内で不要画像成分が発生するため、画像中の不要画像成分の決定は領域Ｂのみついて行う。一方、領域ＡおよびＣでは不要画像成分が発生しないことが予め分かっているため処理を行う必要が無い。

ステップＳ１６〜ステップＳ１９は、実施例１のステップＳ１４〜ステップＳ１７に対応しているため説明を省略する。

次に、ステップＳ２０では、画像処理部２０４は、ステップＳ１９にて得られた画像に対して、ステップＳ１５で決定した対象領域内に残存した成分を不要画像成分と決定する。

ステップＳ２１〜ステップＳ２２は、実施例１のステップＳ１９〜ステップＳ２０に対応しているため説明を省略する。

以上説明したように、本実施例では、１回の撮像で得られた複数の視差画像を用いて不要光（ゴースト）により形成された不要画像成分を決定することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を決定することができる。さらに、撮影条件と高輝度領域の検出結果を用いて不要画像成分の決定を実行するかしないかを判定するため、例えば予め不要画像成分が発生しないと分かっている場合には不要な画像処理を行わずに処理速度の低下や誤検出による画質の低下を回避することができる。そして、決定した不要画像成分を良好に除去または低減した高画質の撮影画像を得ることができる。

図１５には、本発明の実施例４である画像処理方法を使用する撮像装置に設けられる撮像光学系の構成を示す。撮像装置の基本構成は、図４に示したものと同じである。図１５において、ＳＴＰは絞りである。また、ＩＭＧは撮像面を示しており、この撮像面ＩＭＧの位置には、図４に示した撮像素子２０２が配置されている。

図１５は、撮像光学系に高輝度物体の例としての太陽ＳＵＮからの強い光が入射することで回折光学素子ＤＯＥの回折面で発生した不要回折光が撮像面ＩＭＧに到達する様子を示している。また、図１６には、絞りＳＴＰ（つまりは撮像光学系の射出瞳）のうち、図３に示したＧ１画素とＧ２画素に入射する光束が通過する瞳領域Ｐ１，Ｐ２を示している。この例では、高輝度物体からの光は概ね絞りＳＴＰの片側を通過する。すなわち、不要回折光の大部分が瞳領域Ｐ１を通過し、瞳領域Ｐ２を通過する不要回折光はほんどない。したがって、Ｇ１画素には不要回折光が入射するが、Ｇ２画素にはほとんど入射しない。

本実施例において、撮像により生成された一対の視差画像において不要回折光の成分としての不要画像成分を決定する方法を、図１７を用いて説明する。図１７（ａ）は、瞳分割を行わない撮像により生成された撮影画像を示す。この撮影画像には、ビル等の建物とその周辺に存在する樹木とが被写体として映っている。また、撮影画像中に黒く針のような形状の部分として示すＧＳＴは、不要光（ゴースト）の画像成分である不要画像成分である。

図１７（ｂ）および図１０（ｃ）はそれぞれ、瞳領域Ｐ１，Ｐ２を通過した光束をＧ１，Ｇ２画素群にて光電変換した結果として得られた一対の視差画像を示す。これら一対の視差画像では、被写体（建物および樹木）の画像成分に視差に対応した差が存在する。また、図１７（ｂ）に示す視差画像には、針の根元近くから先端まで延びたような形状の不要画像成分ＧＴＳが含まれ、図１７（ｃ）に示す視差画像には、該根元の部分のような不要画像成分ＧＳＴが含まれている。

図１７（ｄ）は、これら一対の視差画像の位置合わせ（重ね合わせ）を行った状態の画像（差分画像）を示す。この差分画像には、一対の視差画像が有する差分として、被写体視差成分と不要画像成分ＧＳＴとが含まれている。

図１７（ｅ）には、図１７（ｄ）の差分画像に対して、被写体視差成分を除去する補正処理を行った後に残った不要画像成分を示している。このようにして差分画像における不要画像成分のみを残存させる（分離又は抽出する）処理を行うことで、不要画像成分を決定することができる。

そして、実施例１でも説明した出力すべき画像に対して、決定された不要画像成分を除去または低減する補正処理を行うことで、図１７（ｆ）に示すように不要画像成分が概ね無くなった出力画像を得ることができる。

図１７に示した処理は、図４に示した撮像装置のシステムコントローラ２１０および画像処理部２０４が実施例１（図９）、実施例２（図１０）、実施例３（図１１、図１２）にて説明したフローチャートに従って行う。

本実施例によれば、１回の撮像で得られた複数の視差画像を用いて、不要回折光により形成された不要画像成分を決定することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要画像成分を決定することができる。さらに、撮影条件を用いて不要画像成分の決定を実行するか実行しないかを判定するため、例えば予め不要画像成分が発生しないと分かっている場合には不要な画像処理を行わずに処理速度の低下や誤検出による画質の低下を回避することができる。そして、決定した不要画像成分を良好に除去または低減した高画質の撮影画像を得ることができる。

次に本発明の実施例５について説明する。Ren.Ng, 他5名による「Light Field Photography with a Hand-held Plenoptic Camera」(Stanford Tech Report CTSR 2005-2)では、「Plenoptic Camera」が提案されている。この「Plenoptic Camera」において「Light Field Photography」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図１８には、「Plenoptic Camera」の撮像系の構成を示している。主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとで構成される撮像光学系３０１の結像位置にマイクロレンズアレイ３０１ｃが配置され、さらにその後方に撮像素子３０２が配置されている。

マイクロレンズアレイ３０１ｃは、例えば点Ｍのような被写体空間のある一点を通る光線群と、点Ｍの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータの役割をしている。

図１８から分かるように、点Ｍからの上線、主光線および下線はそれぞれ異なる画素によって受光されるため、点Ｍを通る光線群を光線の角度ごとに分離して取得することができる。

また、Todor Georgive, 他1名による「Full Resolution Light Field Rendering」(Adobe Technical Report January 2008)では、光線の位置と角度の情報(Light Field)を取得する方法として、図１９および図２０に示す手法を提案している。

図１９に示す撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方に配置し、点Ｍを通る光線群を撮像素子３０２上に再結像させることで、該光線群を光線の角度ごとに分離して取得することができる。また、図２０に示す撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方に配置し、点Ｍを通る光線群を撮像素子３０２上に結像させることで、該光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、撮像光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。

そして、これらの構成では、撮像素子３０２は、図２１に示すように１つのマイクロレンズと１つの受光部とが対になっている従来タイプの撮像素子を用いることができる。

図１８に示した撮像光学系３０１を用いると、図２２（ａ）に示すような画像が得られる。図２２（ｂ）には、図２２（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１，２，３，…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。

また、図１９および図２０に示した撮像光学系３０１を用いると、図２３に示すような視差画像が得られる。図２２（ａ）に示した画像において各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２３に示すような複数の視差画像が得られる。

実施例１〜４で説明したように、ゴーストや不要回折光といった不要光は瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜４で説明した画像処理方法を使用することで、不要画像成分を決定することができる。言い換えれば、実施例１〜４では撮像光学系の瞳を２分割した例を示したが、本実施例はさらに多分割している。

さらに別の例として、図２４に示すような複数のカメラを用いて同一被写体を撮像する場合も視差画像が得られるため、実施例１〜４にて説明した画像処理方法を用いることができる。Ｃ１，Ｃ２，Ｃ３は実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。

また、図２５に示すように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１，２，３，…）を設けることで瞳分割を行うこともできる。

上記各実施例では、ゴーストや不要回折光等の不要光が画像上に形成した不要画像成分を決定したり除去したりする場合について説明したが、これに限られない。不要画像成分は不要光により形成されるものだけではなく、例えば、撮像素子の画素欠陥や撮像光学系に付着した塵埃によっても形成される。図２６（ａ）には画素欠陥がある場合の視差画像の例を示す。図２６（ｂ）には撮像光学系に塵埃が付着したときに得られる視差画像の例を示す。これらの図中において黒く塗りつぶした画素が欠陥画素（機能していない画素）により形成された不要画像成分や、塵埃によって光が遮られることで形成された不要画像成分である。これらの場合にも、視差画像から実施例１〜４と同様の画像処理方法を用いて不要画像成分を決定したり除去したりすることができる。

また、上記各実施例では、不要成分を除去または低減する場合について説明したが、決定した不要成分に関する情報を用いて、別の不要成分を付加する補正処理を行うようにしてもよい。例えば図２３に示した複数の視差画像の個々について、ゴースト（不要画像成分）が存在する画像と存在しない画像が発生する。再構成後の画像にもゴーストを残したい場合には、決定したゴーストを各視差画像に付加してもよい。また、再構成した画像に対してゴーストを付加してもよい。

上記各実施例では、本発明の画像処理方法を使用する（画像処理装置を搭載した）撮像装置について説明したが、本発明の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが本発明の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像処理を行って、その結果得られた画像を出力する。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

高画質の撮影画像を生成可能な画像処理装置および撮像装置を提供することができる。

２０１ 撮像光学系
２０２ 撮像素子
２０４ 画像処理部

Claims (11)

1. 被写体の撮像により生成された互いに視差を有する複数の視差画像を取得するステップと、
   少なくとも撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得するステップと、
   該撮影条件情報に基づいて不要画像成分を決定する画像処理を行うか否かを決定するための判定情報を用意し、前記撮影条件情報と前記判定情報を用いて前記不要画像成分を決定する画像処理を行うか否かを決定するステップと、
   前記不要画像成分を決定する画像処理を行うと判定された場合に、前記複数の視差画像の位置合わせを行って該複数の視差画像の差分を求めるステップと、
   前記差分に含まれる前記被写体の視差成分とは異なる前記不要画像成分を決定するステップとを有することを特徴とする画像処理方法。
2. 前記視差画像から被写体までの距離に関する情報を生成するステップを有し、
   前記不要画像成分を決定する前記画像処理を行うと判定された場合に、前記距離に応じて前記視差画像の位置合わせを行うことを特徴とする請求項１に記載の画像処理方法。
3. 前記視差画像内の高輝度領域の検出を行うステップと、
   該高輝度領域の検出結果と前記撮影条件情報とから前記不要画像成分を決定する前記画像処理を行うか否かを判定するステップを有することを特徴とする請求項１に記載の画像処理方法。
4. 前記視差画像内の高輝度領域の位置を検出するステップと、
   前記不要画像成分を決定する対象の領域を決定するステップと、
   前記高輝度領域の検出結果と前記撮影条件情報から前記不要画像成分を決定する画像処理を行うか否かを判定するステップとを有し、
   前記不要画像成分を決定する前記画像処理を行うと判定された場合に、前記対象の領域内において前記不要画像成分を決定することを特徴とする請求項１に記載の画像処理方法。
5. 前記複数の視差画像は、
   前記撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる画素に導いて光電変換を行わせる撮像装置により生成された画像であることを特徴とする請求項１に記載の画像処理方法。
6. 前記複数の視差画像は、
   前記撮像光学系の瞳のうちそれぞれ異なる領域からの光束を光電変換する複数の画素対と、該画素対ごとに１つずつ設けられたマイクロレンズとを含む撮像素子とを有する撮像装置により生成された画像であることを特徴とする請求項１に記載の画像処理方法。
7. 前記複数の視差画像を用いて、前記不要画像成分を除去または低減した出力画像を生成するステップをさらに有することを特徴とする請求項１に記載の画像処理方法。
8. 前記不要画像成分に関する情報を用いて、前記視差画像に別の不要画像成分を付加する補正処理を行うステップをさらに有することを特徴とする請求項１に記載の画像処理方法。
9. 被写体の撮像により生成された互いに視差を有する複数の視差画像を取得する画像取得部と、
   少なくとも撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得する撮影条件情報取得部と、
   該撮影条件情報に基づいて不要画像成分を決定する画像処理を行うか否かを決定するための判定情報を有し、前記撮影条件情報と前記判定情報を用いて前記不要画像成分を決定する画像処理を行うか否かを決定する判定部と、
   前記不要画像成分を決定する前記画像処理を行うと判定された場合に、前記複数の視差画像の位置合わせを行って該複数の視差画像の差分を求める差分演算部と、
   前記差分に含まれる前記被写体の視差成分とは異なる前記不要画像成分を決定する不要画像成分決定部とを有することを特徴とする画像処理装置。
10. 被写体の撮像により互いに視差を有する複数の視差画像を生成する撮像系と、
    請求項９に記載の画像処理装置とを有することを特徴とする撮像装置。
11. コンピュータに、
    被写体の撮像により生成された互いに視差を有する複数の視差画像を取得するステップと、
    少なくとも撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得するステップと、
    該撮影条件情報に基づいて不要画像成分を決定する画像処理を行うか否かを決定するための判定情報を用意し、前記撮影条件情報と前記判定情報を用いて前記不要画像成分を決定する画像処理を行うか否かを決定するステップと、
    前記不要画像成分を決定する画像処理を行うと判定された場合に、前記複数の視差画像の位置合わせを行って該複数の視差画像の差分を求めるステップと、
    前記差分に含まれる前記被写体の視差成分とは異なる前記不要画像成分を決定するステップとを有する画像処理を実行させることを特徴とする画像処理プログラム。