JP2016054354A - 画像処理装置及び方法、及び撮像装置 - Google Patents

Abstract

【課題】 空気中の微粒子による散乱の影響を受けた遠景被写体を適切に強調すること。
【解決手段】 可視光画像と赤外領域画像とを入力する入力手段（１０２、１０３）と、赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出部（１０４）と、可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出部（１０５）と、可視光画像の被写体までの距離を算出する被写体距離算出部（１０６）と、分割領域ごとに、赤外領域画像のコントラスト値と可視光画像のコントラスト値との差分値を、被写体までの距離に応じて重み付けした値に応じて、コントラストを調整するか否かを判定するブラー領域判定手段（１０７）と、調整すると判定された場合に、可視光画像の対応する分割領域のコントラストを調整するコントラスト調整部（１０８）とを有する。
【選択図】 図１

Description

本発明は画像処理装置及び方法、及び撮像装置に関する。

従来、コンパクトデジタルカメラや一眼レフレックスカメラ及びビデオカメラなどの撮像装置において、例えば、山等の遠景被写体を撮影したときに、空気中の微粒子による散乱を受けて、被写体のディテールが損なわれてしまう問題がある。撮像装置はもとより、肉眼でもいわゆるかすみがかかった状況では遠景をはっきりと認識することは不可能である。従来から知られている技術に、撮影後の現像において「風景モード」を設けるものがある。「風景モード」を撮像装置のユーザーが選択した場合は、現像処理の過程において画像信号全体のコントラストを上げたり、エッジを強調させるなどして、遠景被写体を際立たせる処理を行う（特許文献１参照）。

特開平１１−２９８８４７号公報

空気中の微粒子による散乱現象は遠景と近景で異なり、遠景の方が撮像装置までの空間的な実距離が長いためより多く散乱されることが知られているが、従来の技術では画像信号中の遠景部分のみを適切に際立たせることができない問題がある。また、従来の技術では撮影された遠景被写体が空気中の微粒子による散乱を受けているのか否かを、画像信号、特にＲＧＢの原色フィルタを持つ撮像素子で撮影された画像信号から特定することは非常に困難であるという問題がある。

本発明は上記問題点を鑑みてなされたものであり、空気中の微粒子による散乱の影響を受けた遠景被写体を適切に強調することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、可視光画像と赤外領域画像とを入力する入力手段と、前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出手段と、前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出手段と、前記可視光画像の被写体までの距離を算出する距離算出手段と、前記分割領域ごとに、前記赤外領域画像のコントラスト値と前記可視光画像のコントラスト値との差分値を、前記被写体までの距離に応じて重み付けした値に応じて、コントラストを調整するか否かを判定する判定手段と、前記判定手段により調整すると判定された場合に、前記可視光画像の対応する分割領域のコントラストを調整するコントラスト調整手段とを有する。

本発明の撮像装置では、空気中の微粒子による散乱の影響を受けた遠景被写体を適切に強調することができる。

本発明の実施形態における撮像装置の概略構成を示すブロック図。 実施形態におけるコントラスト調整処理を示すフローチャート。 実施形態における可視光画像信号による可視光画像と、赤外領域画像信号による赤外領域画像の一例を示す図。 実施形態における可視光画像と赤外領域画像の一部の領域のコントラスト値の様子を示した模式図。 実施形態における可視光画像中の各被写体を撮像装置までの距離に応じて領域分けして示した模式図。 実施形態における可視光画像に対するコントラスト調整の処理内容を、入力レベルと出力レベルとの関数で示した模式図。 変形例における撮像装置の概略構成を示すブロック図。 変形例におけるコントラスト調整処理を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。光学系１０１は、複数枚のレンズ及びミラー、絞り機構及びフォーカスやズームのための駆動機構から構成され、不図示の被写体から放射された光を後述する可視光撮像素子１０２及び赤外領域撮像素子１０３上に結像させる。可動式光路変更ミラー１０９は、光学系１０１を通過した被写体からの光の光路を変更させ、後述する可視光撮像素子１０２や、赤外領域撮像素子１０３上で結像させるために可動式になっている。なお、半透過型ミラーなどの反射率が低いミラーで構成することで、可動せずとも同時刻に画像信号を取得することもできる。光路変更ミラー１１０は、可動式光路変更ミラー１０９により光路が変更された光を、後述する赤外領域撮像素子１０３へ結像させる。

可視光撮像素子１０２は、光学系１０１を介して入射した光を電気信号に変換し、画像信号として出力する。可視光画像信号を出力するために、可視光撮像素子１０２の像面には特定の波長帯域を透過するような、いわゆる色フィルタを備え、可視光撮像素子１０２を構成する画素部は、この色フィルタを通った光を電気信号に変換する。また、可視光撮像素子１０２の画素部は、光学系１０１の射出瞳のうち一部の瞳領域を通る光線を受光する構造を有する焦点検出画素群と、その焦点検出画素群とは異なる瞳領域を通る光線を受光する焦点検出画素群とを持ち合わせている。このようなそれぞれの焦点検出画素群から得られた画像信号から構成した画像間には視差が生じる。例えば、単一画素において、射出瞳を撮像素子の垂直一辺と平行な線で等分割し、分割された片方を遮光する構造を採る焦点検出画素群から構成した画像信号と、もう一方を遮光する構造を採る焦点検出画素群から構成した画像信号の一対の画像間の視差を利用する。これにより焦点検出やステレオ画像処理が可能となる。

赤外領域撮像素子１０３は、光学系１０１、可動式光路変更ミラー１０９及び光路変更ミラー１１０を介して入射した光を電気信号に変換し、画像信号として出力する。赤外領域画像信号を出力するために、赤外領域撮像素子１０３の像面には赤外波長帯域を透過する特殊フィルタを備え、赤外領域撮像素子１０３を構成する画素部は、この特殊フィルタを通った光を電気信号に変換する。なお、図示の都合上、光学系１０１を通過した光の光路長が可視光撮像素子１０２と赤外領域撮像素子１０３とで、大きく異なるように示してあるが、実際は、各々の結像面に撮像素子を配するように構成する。

第１のコントラスト算出部１０４は、赤外領域撮像素子１０３から得られた赤外領域画像信号のコントラスト値を算出する。第２のコントラスト算出部１０５は、可視光撮像素子１０２から得られた可視光画像信号のコントラスト値を算出する。被写体距離算出部１０６は、可視光画像信号から被写体距離を算出する。前述したように、可視光撮像素子１０２を構成する画素部のうち、一部の画素について視差画像が取得できるような構造を採ることで、視差画像と光学系１０１の条件から三角測量の原理で被写体までの距離を算出する。

ブラー領域判定部１０７は得られた可視光画像信号のコントラスト値、赤外領域画像信号のコントラスト値及び、可視光画像信号の被写体距離から、空気中の微粒子による散乱の影響を受けて霞んで（ぼやけて）しまっている遠景被写体領域を判定する。コントラスト調整部１０８は、ブラー領域判定部１０７で得られた情報を元に、可視光画像信号に対してコントラスト調整を施す。

次に、図２のフローチャートを参照しながら、実施形態におけるコントラスト調整処理について説明する。Ｓ２０１において、撮像装置は可視光撮像素子１０２に対して、被写体からの光を画素部に蓄積する時間を制御して可視光画像信号を取得する。

次にＳ２０２において、第２のコントラスト算出部１０５により、得られた可視光画像信号からコントラスト値を算出する。なお、可視光撮像素子１０２から得られる可視光画像信号は、可視光撮像素子１０２に配されている色フィルタごとの画素信号値を持っているため、輝度信号値Ｙに変換する。輝度信号値Ｙは、一般的によく知られているマトリクス演算により、Ｒ、Ｇ、Ｂ信号値から算出することができる。また、色フィルタは１つの画素に対して１つの色を配置しているため、画素単位で輝度信号値Ｙを得るためには、着目画素の周囲の画素から補間して生成する。この所作自体はごく一般的なコントラスト値を算出するための前処理である。

次に、画素ごとに得られた輝度信号値Ｙの画像信号を基にコントラスト値を算出するため、該画像信号を複数の小領域（分割領域）に区分する。たとえば２×２画素の小領域の場合、該小領域における画像信号をP(x,y)と置いたとき、式（１）及び式（２）により、該当領域内の最大輝度信号値Ｙmaxと最小輝度信号値Ｙminを算出する。

式（１）中のMAX( )は、エレメンツの最大値を返す関数、式（２）中のMIN( )はエレメンツの最小値を返す関数である。コントラスト値Cyは、最大輝度信号値Ymaxと最小輝度信号値Yminから、式（３）により算出する。

上記演算を該小領域ごとに行うことで、輝度信号値Ｙの画像信号に対して領域区分されたコントラスト値のマップが生成される。

なお、コントラスト値Cyの算出を該小領域の単位ではなく、画素単位で算出してもよい。その場合は、たとえば、仮小領域として３×３画素を設定し、その中心画素のコントラスト値Cyは該仮小領域のエレメンツである９画素から算出する。さらに該中心画素の１つ右隣の画素については、その周囲に存在する8 画素を含めた9 画素をエレメンツとして算出すればよい。

次に、Ｓ２０３において、被写体距離算出部１０６において、可視光撮像素子１０２から得られる可視光画像信号から被写体距離を算出する。前述したように、得られた視差画像を基に、視差画像のズレ量と光学系１０１のパラメータから、被写体までの距離を算出する。

Ｓ２０４において、撮像装置は赤外領域撮像素子１０３に対して被写体からの光を画素部に蓄積する時間を制御して赤外領域画像信号を取得する。そして、Ｓ２０５において、第１のコントラスト算出部１０４により、得られた赤外領域画像信号からコントラスト値を算出する。なお、赤外領域画像信号の場合、輝度信号値Ｙを生成することができないため、そのまま得られた信号値を基に、上記式（１）〜式（３）の演算によりコントラスト値Ciを生成する。

次に、Ｓ２０６において、ブラー領域判定部１０７により、Ｓ２０２で得られたコントラスト値Cy、Ｓ２０５で得られたコントラスト値Ci、及びＳ２０３で得られた被写体までの距離情報に基づいて、ブラー領域を判定する。

図３（ａ）は、可視光撮像素子１０２から得られた可視光画像信号による可視光画像の一例を表し、図３（ｂ）は、赤外領域撮像素子１０３から得られた赤外領域画像信号による赤外領域画像の一例を表している。また、図３（ａ）において、空気中の微粒子による散乱の影響を受けて霞んでいる遠景被写体を点線で表現している。対して、図３（ｂ）の赤外領域画像信号では遠景被写体がはっきりと撮影されている様子を示している。空気中の微粒子による散乱はレイリー散乱として広く知られており、その特徴として、散乱の度合い（散乱の強さ）が光の波長の４乗に反比例する性質を持っている。すなわち、波長が長い赤外領域と、それよりも波長が短い可視光領域では、可視光領域の方が散乱の影響を強く受ける。また、撮影者からの距離が大きくなるほど、空気中の微粒子と光子が衝突する確率が高くなるため、より遠景の被写体になるほど、撮像装置で結像される可視光領域の像はよりぼやけてしまうという特徴を持っている。

そこで、ブラー領域判定部１０７では、このようなレイリー散乱の特徴を基に、空気中の微粒子による散乱の影響が少ない赤外領域画像信号と、該散乱の影響を多く受ける可視光画像信号の２つを比較し、かつ被写体までの距離情報を参照する。これにより、遠景被写体の領域と遠景被写体の霞みの度合いを判定する。図３において、微小領域３０１、３０２のコントラスト値Cy, Ciを模式的に表したものが、図４である。図４（ａ）は、図３の３０１内の微小領域の集合を、図４（ｂ）は図３の微小領域３０２の集合を示しており、微小領域の色が濃いほどコントラスト値が大きいことを示している。可視光画像信号ではレイリー散乱によってコントラストが落ちてしまっているのに対し、赤外領域画像信号では散乱の影響を受けづらいためにこのようなコントラストの差が生じる。そこで、ブラー領域判定部１０７では、下記の式（４）により、可視光画像信号のコントラスト値Cyと、赤外領域画像信号のコントラスト値Ciとの差分値Cdを算出する。
Cd = Ci - Cy （Ci ＞ Cy）
Cd = 0 （Ci ≦ Cy） …（４）

一方で、可視光撮像素子１０２と赤外領域撮像素子１０３では分光特性が異なる。そのため、同じ被写体であっても、第２のコントラスト算出部１０５で算出されたコントラスト値Cyと、第１のコントラスト算出部１０４で算出されたコントラスト値Ciとで差分が生じる可能性がある。そこで、ブラー領域判定部１０７は、被写体距離算出部１０６から得られる被写体距離情報を元に、コントラスト値の差分値Cdが、遠景被写体において発生しているか、あるいは、近景被写体において発生しているかの判定を行う。

図５の画像５０１は、撮影された可視光画像信号を模式的に示している。５０２、５０３、５０４は、画像５０１内に存在する被写体を、被写体距離算出部１０６で得られた被写体距離情報を基に、領域分けしたものである。被写体５０２は近景の例で、撮影者のすぐ近くに被写体がいる様子を、被写体５０４は遠景の例で、遠くの山が撮影されている様子を、被写体５０３はその中間に被写体が位置している例で、建物などが撮影されている様子を示している。これまでに述べたように、空気中の微粒子による散乱の影響は遠景の方が強く受けるため、特に近景に位置する被写体におけるコントラスト値の差分値Cdはレイリー散乱によるコントラスト値の差分値では無く、分光特性の差が支配的である。そこで、ブラー領域判定部１０７は、算出したコントラスト値の差分値Cdに対して、以下の式（６）のように被写体距離による重み付けを施して、新たな指標Cd’を生成する。
Cd’ = Cd × D × K …（６）
式（６）において、Dは被写体距離を、Kは被写体距離Dを正規化する係数である。この処理により得られるブラー領域判定結果Cd’が、レイリー散乱によるかすみが発生している領域の新たな指標となる。

Ｓ２０７において、コントラスト調整部１０８はブラー領域判定部１０７で算出されたブラー領域判定結果Cd’を基に、可視光画像信号の対応する小領域に対して、コントラスト調整を行う。図６は、横軸にコントラスト調整部１０８へ入力される可視光画像信号の信号レベルを、縦軸にコントラスト調整部１０８から出力される可視光画像信号の信号レベルを示している。点線６０１は、入力信号レベルがそのまま出力信号レベルとして出力される入出力特性を指している。コントラスト調整部１０８は、ブラー領域判定部１０７から得られるブラー領域判定結果Cd’の大きさに応じて、実線６０２に示すように、入出力特性を変更する。点線６０１に示す入出力特性から実線６０２に示す入出力特性に変更する条件は、ブラー領域判定結果Cd’が予め定められた所定の値より大きい時である。あるいは、ブラー領域判定結果Cd’の値に応じて入出力特性の傾きを大きくするようにしてもよい。これにより、ブラー領域と判定された画素に対してのみコントラスト調整を施すことが可能となる。

これまで述べてきたように、可視光画像信号のコントラスト値Cy及び赤外領域画像信号のコントラスト値Ci、さらに被写体距離情報Dを元に、空気中の微粒子による散乱の影響を受けた遠景被写体のコントラストを、より適切に調整することが可能となる。これにより、遠景のみのコントラストを際立たせることが実現できる。また、遠景以外の被写体に対して、コントラスト調整の影響を極力少なくすることが可能となり、肉眼でもとらえきれなかった遠景の被写体のディテールを強調することが可能となる。さらに、たとえ遠景被写体であっても、ブラー領域判定結果Cd’がごく小さい時は、過度なコントラスト調整を施さないようにすることも可能となり、被写体の状況に応じた画像信号を生成することが可能となる。

また、本実施形態では可視光画像信号を取得するための可視光撮像素子１０２と赤外領域画像信号を取得するための赤外領域撮像素子１０３をそれぞれ配した例を示している。しかしながら、本発明はこれに限るものではなく、例えば、１つの撮像素子上に、色フィルタと、特殊フィルタ、すなわち赤外領域のみを透過させるフィルタを混在させて混合画像信号を取得し、画像信号分離手段を設けてもよい。画像信号分離手段により可視光画像信号と赤外領域画像信号に分離することで、図１を参照して説明した構成の撮像装置と同様の効果を得ることができる。

また、上述したように、可視光撮像素子１０２はカラー信号を得るために、例えばＲ、Ｇ、Ｂ等の色フィルタを備えており、可視光画像信号のコントラスト値Cyの算出に輝度信号値Ｙを用いる場合について説明した。しかしながら、赤外領域撮像素子１０３との分光感度の差分を極力少ないものにしたい場合は、輝度信号値Ｙの代わりに、波長が最も近いＲの画像信号（赤の波長帯）でコントラスト値Cyを算出してもよい。また、輝度信号値Ｙを生成するときにＲの成分の重みを強くしてもよく、このようにすることで、分光感度の差を抑えることができる。

逆に、ブラー領域を強調したい場合は、赤外線と波長が最も遠いＢの画像信号（青の波長帯）でコントラスト値Cyを算出することも効果的である。どの色信号を用いるかは被写体の色温度や被写体色そのものに応じて選択することで、効果的にブラー領域のコントラスト調整を施すことができる。

また、本実施形態では、可視光撮像素子１０２に色フィルタを設けてカラー画像信号を取得できる構成にしていたが、色フィルタを備えない撮像素子の場合でも同様に分光感度の差からコントラスト値の差分値Cdを算出可能である。

＜変形例＞
被写体距離算出部１０６で算出される被写体距離情報の代わりに、被写体の彩度を用いることで遠景被写体のコントラストを調整することも可能である。図７はその構成を示したものである。図１と同じ参照番号を付しているブロックについては説明を省略する。彩度算出部７０１は、得られた可視光画像信号から彩度を算出する。

図８は彩度算出部７０１を構成に含んだ場合のコントラスト調整処理フローチャートを示している。図２に示す処理との違いは、Ｓ２０３では被写体距離を算出したのに対し、図８では、Ｓ８０１で、彩度算出部７０１により可視光画像信号から彩度Ｓを算出する。また、Ｓ８０２におけるブラー領域の判定方法が、図２のＳ２０６と異なる。その他の処理は図２と同様であるため、同じ参照番号を付して説明を省略する。

Ｓ８０１において、彩度Ｓは、一般的に知られているHSV(Hue Saturation Value)色空間で表現される定量値で、以下の式（７）、（８）、（９）で示される演算式により得られる。

Hmaxは着目画素の信号値R,G,B, の最大値、Hminは着目画素の信号値Ｒ、Ｇ、Ｂの最小値である。また、MAX( )はエレメンツの最大値を返す関数、MIN( ) はエレメンツの最小値を返す関数である。

また、Ｓ８０２において、ブラー領域判定部１０７は、Ｓ２０２で得られたコントラスト値Cyと、Ｓ２０５で得られたコントラスト値Ci、さらに、彩度算出部７０１で得られた彩度Ｓを基に、ブラー領域を判定する。レイリー散乱によって霞んでいる遠景被写体は一般的に彩度も落ちているため、コントラストの差分値Cdが大きくかつ、彩度Ｓの低い領域または画素が霞んでいる遠景被写体に該当する。よって、式（１０）に示す指標Cd’’を算出することで、ブラー領域を判定することができる。

ここでK’は彩度Ｓを正規化する係数である。そして、Ｓ２０７において、コントラスト調整部１０８がブラー領域判定結果Cd”に応じて、対応する小領域のコントラスト調整を行う。これにより、可視光画像信号のコントラスト値Cy及び赤外領域画像信号のコントラスト値Ci、さらに彩度Ｓを基に、空気中の微粒子による散乱の影響を受けた遠景被写体のコントラストを、より適切に調整することが可能となる。そして、遠景のみのコントラストを際立たせることが実現できる。また、コントラスト調整部１０８において、ブラー領域判定結果Cd’’が予め定められた所定の値より小さい場合においてのみ、可視光画像信号のコントラスト調整をすることでも、上述した実施形態と同様の効果が得られる。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラ本体など）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、撮像装置など）に適用してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：光学系、１０２：可視光撮像素子、１０３：赤外領域撮像素子、１０４：第１のコントラスト算出部１０４、１０５：第２のコントラスト算出部１０５、１０６：被写体距離算出部、１０７：ブラー領域判定部、１０８：コントラスト調整部、７０１：彩度算出部

Claims (19)

1. 可視光画像と赤外領域画像とを入力する入力手段と、
   前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出手段と、
   前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出手段と、
   前記可視光画像の被写体までの距離を算出する距離算出手段と、
   前記分割領域ごとに、前記赤外領域画像のコントラスト値と前記可視光画像のコントラスト値との差分値を、前記被写体までの距離に応じて重み付けした値に応じて、コントラストを調整するか否かを判定する判定手段と、
   前記判定手段により調整すると判定された場合に、前記可視光画像の対応する分割領域のコントラストを調整するコントラスト調整手段と
   を有することを特徴とする画像処理装置。
2. 可視光画像と赤外領域画像とを入力する入力手段と、
   前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出手段と、
   前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出手段と、
   前記可視光画像から、前記分割領域ごとに彩度を算出する彩度算出手段と、
   前記分割領域ごとに、前記赤外領域画像のコントラスト値と前記可視光画像のコントラスト値との差分値を前記彩度に応じて重み付けした値に応じて、前記可視光画像のコントラストを調整するか否かを判定する判定手段と、
   前記判定手段により調整すると判定された場合に、対応する分割領域のコントラストを調整するコントラスト調整手段と
   を有することを特徴とする画像処理装置。
3. 前記コントラスト調整手段は、前記重み付けした値の大きさに応じて、コントラストの強調の度合いを変更することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記判定手段は、前記重み付けした値が予め決められた値よりも大きい場合に、前記可視光画像のコントラストを調整すると判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 可視光画像と赤外領域画像とを入力する入力手段と、
   前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出手段と、
   前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出手段と、
   前記可視光画像の被写体までの距離を算出する距離算出手段と、
   前記分割領域ごとに、前記赤外領域画像のコントラスト値と、前記可視光画像のコントラスト値と、前記被写体までの距離とに基づいて、ぼやけが生じた遠景被写体の分割領域であるかどうかを判定する判定手段と、
   前記判定手段により前記ぼやけが生じた遠景の被写体であると判定された場合に、前記可視光画像の対応する分割領域のコントラストを強調する処理を行うコントラスト調整手段と
   を有することを特徴とする画像処理装置。
6. 可視光画像と赤外領域画像とを入力する入力手段と、
   前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出手段と、
   前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出手段と、
   前記可視光画像から、前記分割領域ごとに彩度を算出する彩度算出手段と、
   前記分割領域ごとに、前記赤外領域画像のコントラスト値と、前記可視光画像のコントラスト値と、前記彩度とに基づいて、ぼやけが生じた遠景の被写体の分割領域であるかどうかを判定する判定手段と、
   前記判定手段により前記ぼやけが生じた遠景被写体であると判定された場合に、前記可視光画像の対応する分割領域のコントラストを強調する処理を行うコントラスト調整手段と
   を有することを特徴とする画像処理装置。
7. 請求項１または５に記載された画像処理装置と、
   前記可視光画像と前記赤外領域画像とを撮影する撮像手段と、
   を有することを特徴とする撮像装置。
8. 前記撮像手段は、可視光領域の光を透過するフィルタに覆われた可視光撮像素子と、赤外領域の光を透過するフィルタに覆われた赤外領域撮像素子とを有することを特徴とする請求項７に記載の撮像装置。
9. 前記可視光撮像素子は、画素の一部が遮光された焦点検出画素群と、画素の異なる一部が遮光された焦点検出画素群とを含み、
   前記距離算出手段は、前記焦点検出画素群それぞれから得られた視差の異なる一対の画像から、被写体までの距離を算出することを特徴とする請求項８に記載の撮像装置。
10. 前記撮像手段は、可視光領域の光を透過するフィルタに覆われた画素と、赤外領域の光を透過するフィルタに覆われた画素と、画素の一部が遮光された焦点検出画素群と、画素の異なる一部が遮光された焦点検出画素群とを含み、
    前記画像処理装置は、前記撮像手段から出力された電気信号を、前記可視光画像と、前記赤外領域画像と、視差の異なる一対の画像とに分離する分離手段を更に有することを特徴とする請求項７に記載の撮像装置。
11. 請求項２または６に記載された画像処理装置と、
    前記可視光画像と前記赤外領域画像とを撮影する撮像手段と、
    を有することを特徴とする撮像装置。
12. 前記撮像手段は、可視光領域の光を透過するフィルタに覆われた可視光撮像素子と、赤外領域の光を透過するフィルタに覆われた赤外領域撮像素子とを有することを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像手段は、可視光領域の光を透過するフィルタに覆われた画素と、赤外領域の光を透過するフィルタに覆われた画素とを含み、
    前記画像処理装置は、前記撮像手段から出力された電気信号を、前記可視光画像と、前記赤外領域画像とに分離する分離手段を更に有することを特徴とする請求項１１に記載の撮像装置。
14. 入力手段が、可視光画像と赤外領域画像とを入力する入力工程と、
    第１のコントラスト算出手段が、前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出工程と、
    第２のコントラスト算出手段が、前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出工程と、
    距離算出手段が、前記可視光画像の被写体までの距離を算出する距離算出工程と、
    判定手段が、前記分割領域ごとに、前記赤外領域画像のコントラスト値と前記可視光画像のコントラスト値との差分値を、前記被写体までの距離に応じて重み付けした値に応じて、コントラストを調整するか否かを判定する判定工程と、
    コントラスト調整手段が、前記判定工程で調整すると判定された場合に、前記可視光画像の対応する分割領域のコントラストを調整するコントラスト調整工程と
    を有することを特徴とする画像処理方法。
15. 入力手段が、可視光画像と赤外領域画像とを入力する入力工程と、
    第１のコントラスト算出手段が、前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出工程と、
    第２のコントラスト算出手段が、前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出工程と、
    彩度算出手段が、前記可視光画像から、前記分割領域ごとに彩度を算出する彩度算出工程と、
    判定手段が、前記分割領域ごとに、前記赤外領域画像のコントラスト値と前記可視光画像のコントラスト値との差分値を前記彩度に応じて重み付けした値に応じて、前記可視光画像のコントラストを調整するか否かを判定する判定工程と、
    コントラスト調整手段が、前記判定工程で調整すると判定された場合に、対応する分割領域のコントラストを調整するコントラスト調整工程と
    を有することを特徴とする画像処理方法。
16. 入力手段が、可視光画像と赤外領域画像とを入力する入力工程と、
    第１のコントラスト算出手段が、前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出工程と、
    第２のコントラスト算出手段が、前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出工程と、
    距離算出手段が、前記可視光画像の被写体までの距離を算出する距離算出工程と、
    判定手段が、前記分割領域ごとに、前記赤外領域画像のコントラスト値と、前記可視光画像のコントラスト値と、前記被写体までの距離とに基づいて、ぼやけが生じた遠景被写体の分割領域であるかどうかを判定する判定工程と、
    コントラスト調整手段が、前記判定工程で前記ぼやけが生じた遠景の被写体であると判定された場合に、前記可視光画像の対応する分割領域のコントラストを強調する処理を行うコントラスト調整工程と
    を有することを特徴とする画像処理方法。
17. 入力手段が、可視光画像と赤外領域画像とを入力する入力工程と、
    第１のコントラスト算出手段が、前記赤外領域画像を分割した分割領域ごとにコントラスト値を検出する第１のコントラスト算出工程と、
    第２のコントラスト算出手段が、前記可視光画像を分割した分割領域ごとにコントラスト値を検出する第２のコントラスト算出工程と、
    彩度算出手段が、前記可視光画像から、前記分割領域ごとに彩度を算出する彩度算出工程と、
    判定手段が、前記分割領域ごとに、前記赤外領域画像のコントラスト値と、前記可視光画像のコントラスト値と、前記彩度とに基づいて、ぼやけが生じた遠景の被写体の分割領域であるかどうかを判定する判定工程と、
    コントラスト調整手段が、前記判定工程で前記ぼやけが生じた遠景被写体であると判定された場合に、前記可視光画像の対応する分割領域のコントラストを強調する処理を行うコントラスト調整工程と
    を有することを特徴とする画像処理方法。
18. コンピュータに、請求項１４乃至１７のいずれか１項に記載の画像処理方法の各工程を実行させるためのプログラム。
19. 請求項１８に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images