JP6640555B2 - カメラシステム - Google Patents

Description

本発明は、測距と画像表示とのための撮影を行うカメラシステムに関する。

近年、監視カメラ等における画像認識技術の向上や、自動車の自動運転に使用されるカメラの開発が進められている。また、映画では、コンピュータグラフィックスによる３Ｄ映像が用いられる場合が増えており、コンピュータグラフィックスだけではなく、実写による３Ｄ映像の使用頻度も高まる可能性がある。また、ビデオゲームにおける操作入力方法として、ステレオカメラを使用可能である。

例えば、監視カメラでは、ステレオカメラを用いて距離検出を行い、不審者の侵入を検出するシステムが知られている（例えば、特許文献１参照）。特許文献１には、物体の形状や距離を計測する方法として、「ステレオ画像を用いた距離計測用画像認識装置」が記載されており、ステレオ画像から距離を求めるステレオ法と呼ばれる技術が知られている。このステレオ法においては、まずステレオ画像と呼ばれる左右２枚の画像を入力し、画像中の特徴量の計算により左右画像の対応点を求める。この対応点とは、左画像のある位置の対象物体が、右画像ではどこの位置に写っているかを示している。こういった対応点の求め方の詳細は、例えば。特許文献２に「画像マッチング方法」として記載されている。そして、左右２枚の画像の対応点が求められたならば、三角測量の原理で物体表面までの距離を計算できる。従って、物体までの距離や物体表面の形状を知ることができる。

また、特許文献１には、ステレオ画像の既知の対応関係を利用することで、高精度かつ高速に動物体を検出しその形状や距離を測定することができる動物体認識装置が提案されている。

このようなステレオ法による測距技術を用いた画像認識技術は、監視カメラや自動運転用カメラやビデオゲーム機等を含む電子機器におけるユーザインターフェース等に有用と思われる。監視カメラや自動運転用カメラでは、その撮影範囲で夜間撮影が行われることになるが、状況によっては、十分な照明が得られない場合がある。例えば、監視カメラの位置を分かり辛くするために、監視カメラの撮影範囲に可視光照明を設けない場合も有りえる。このような場合に、人間には見えない赤外照明を用いて赤外撮影することが考えられる。また、自動運転用カメラにおいても、夜間の対向車へのヘッドライトの影響を考慮して、遠方を照らす照明として赤外光を用いて赤外撮影を行うことが考えられる。いずれにしろ、照明を用いなくとも可視光の光量が十分である可能性が高い昼間は、照明無しで可視光撮影を行い夜間照明を必要とする場合に人間の目には見え難い赤外照明を用いて赤外撮影を行うことが考えられる。

このような状況を考慮すると、用途にもよるが、カメラが可視光と赤外光との撮影を併用できることが好ましい。
例えば、昼夜連続で撮影を行う監視カメラ等の撮像装置においては、夜間時には赤外光を検出して撮影することが行われている。ＣＣＤセンサやＣＭＯＳセンサといった撮像センサの受光部であるフォトダイオード（受光素子）は、１３００ｎｍ程度の近赤外の波長帯域まで受光可能であるため、これらの撮像センサを用いた撮像装置であれば、赤外帯域まで撮影することが原理的に可能である。

なお、人間の視感度が高い光の波長帯域は４００ｎｍ〜７００ｎｍであることから、撮像センサにおいて近赤外光を検出すると、人間の目には映像が赤みを増して見えることになる。このため、昼間や屋内の明るい場所での撮影時は、撮像センサの感度を人間の視感度に合わせるために、撮像センサの前に赤外帯域の光を遮断する赤外カットフィルタを設けて、波長が７００ｎｍ以上の光を除去することが望ましい。一方、夜間や暗い場所での撮影時には、赤外カットフィルタを設けずに撮影を行う必要がある。

このような撮像装置としては、手動で赤外カットフィルタの取り付け・取り外しを行う撮像装置や、自動的に赤外カットフィルタを抜き差しする撮像装置が、従来から知られている。さらに、上述した赤外カットフィルタの抜き差しを不要とした撮像装置が開示されている。例えば、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタが提案されている（例えば、特許文献３参照）。このフィルタによれば、可視光帯域と、可視光帯域の長波長側、すなわち、赤外側で、可視光帯域から離れた第２の波長帯域との両方で光が透過可能となっている。

例えば、第２の波長帯域は、赤外照明の波長帯域と重なっており、このフィルタは、可視光撮影と、赤外光照明を用いた夜間の赤外光撮影の両方を可能とする光学フィルタである。以下に、上述のように可視光帯域と、赤外側の第２の波長帯域との光を透過し、他の波長帯域の光を遮断する光学フィルタをＤＢＰＦ（ダブル・バンド・パス・フィルタ）と称する。

特開平３−８１８７８号公報 特開昭６２−１０７３８６号公報 特許第５００９３９５号公報

ところで、特許文献３のＤＢＰＦでは、赤外（近赤外）の波長帯域に含まれる第２の波長帯域の光（赤外波長帯域に含まれる比較的狭い波長帯域）が常時遮断されずに光が透過することになる。すなわち、可視光帯域より長波長側をカットする赤外カットフィルタを用いた場合と異なり、可視光帯域での撮影において、第２の波長帯域を透過した赤外光の影響を少なからず受けることになる。

可視光帯域での撮影として、カラーの撮影を行う撮像センサには、カラーフィルタが用いられている。カラーフィルタは、撮像センサの各画素に対応して赤、緑、青の各色の領域（フィルタ部）が所定のパターンで配置されている。これら各色の領域は、基本的には、各色の波長帯域に光の透過率のピークを有し、他の色の波長帯域の光の透過を制限（遮断）する。

しかし、可視光帯域より長波長側では、各色の領域および波長によって光透過率が異なるが、基本的に光を透過してしまう。したがって、赤外カットフィルタを用いれば、可視光帯域より長波長側の光がカットされるので問題ないが、上述のＤＢＰＦのように赤外側の第２の波長帯域で赤外光を透過すると、この赤外光がカラーフィルタを通過して撮像センサのフォトダイオード（受光素子）に至ってフォトダイオードにおける光電効果による電子の発生量を多くしてしまう。

ここで、可視光でのカラー撮影と、赤外光照明での撮影との両方を行う上では、例えば、赤、緑、青の各色の領域が所定のパターンで配置されたカラーフィルタに、上述の第２の波長帯域に光透過率のピークを有するような赤外光用の領域（赤外領域）を設けることになる。すなわち、カラーフィルタの配列（パターン）は、赤Ｒ、緑Ｇ、青Ｂ、赤外ＩＲの４つの領域からなる。この場合に赤外光用の領域は、可視光帯域の光を遮断し、第２の波長帯域の光を主に透過させるものであるから、カラーフィルタの赤外光用の領域を通過した光を受ける撮像センサから出力される赤外光の画像信号を利用して、赤、緑、青の各色の画像信号から赤外光成分を除去することが考えられる。しかし、このような信号処理によっても、赤外カットフィルタを用いた場合のカラー撮影時と略同等の色再現を行うことが難しかった。また、ステレオ化して距離を算出する場合に、左右の信号レベルにずれがあると、視差算出において誤差を発生させる要因となっていた。

ここで、例えば、監視カメラをステレオ法で測距可能な構成とするとともに、可視光と赤外光との両方を用いて昼および夜の撮影を行うことを可能とし、さらに、撮影された像をできるだけノイズの少なく鮮明で解像度の高いものにできれば、犯罪発生時の状況解析の能力が格段に高まると思われる。また、自動運転用カメラにおいても、上述のように赤外と可視による撮影を併用する場合に、ノイズの少ない鮮明な画像を得られることで、画像認識の精度の向上を図ることができる。以上のことから、ステレオ撮影用の２つのカメラで赤外画像と可視画像の両方のステレオ撮影が可能で、かつ、ノイズや解像度、色再現性等の画質を、通常の赤外画像を含まない可視画像と同レベル以上とすることが望まれている。

本発明は、前記事情に鑑みてなされたものであり、可視画像と赤外画像の両方でステレオ撮影可能で、可視光撮影時の色再現性を向上することができるカメラシステムを提供することを目的とする。

前記課題を解決するために、本発明のカメラシステムは、各画素に受光素子が配置された２つの撮像センサと、
可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有するとともに、２つの前記撮像センサにそれぞれ対応して２つ設けられた光学フィルタと、
前記可視光帯域における波長に応じた分光透過特性が互いに異なるとともに前記第２の波長帯域における透過率が互いに近似する少なくとも４種類のフィルタ部を有するとともに、２つの前記撮像センサにそれぞれ対応して２つ設けられたカラーフィルタと、
各撮像センサ上に像を結ぶレンズをそれぞれ有するとともに、２つの前記撮像センサにそれぞれ対応して２つ設けられた光学系と、
各撮像センサから出力される信号を処理して２つの可視画像信号および２つの赤外画像信号を出力可能な信号処理デバイスと、
前記信号処理デバイスから出力される２つの可視画像信号および／または２つの赤外画像信号を用いて可視画像信号による可視画像および／または赤外画像信号による赤外画像に写った被写体までの距離を算出する測距算出デバイスとを備え、
前記信号処理デバイスは、前記カラーフィルタの各種類の前記フィルタ部を透過した光に対応して前記撮像センサから出力された信号を用いて、前記第２の波長帯域に対応する赤外成分に基づく赤外画像信号と、前記赤外成分が減算された前記可視光帯域に対応する少なくとも３種類の色成分に基づく可視画像信号とを算出し、
かつ、前記色成分から前記赤外成分を減算するに際して、前記色成分が画素飽和レベル以上となる場合に、前記色成分から減算される前記赤外成分の値を下げるように補正する制御を行う減算制御デバイスを備えることを特徴とする。

このような構成によれば、赤外成分を含む各色信号がダイナミックレンジを越えて画素飽和レベルに達することにより、クリップされた状態で、未だダイナミックレンジを越えずにクリップされておらず、出力レベルが高くなる可能性がある赤外成分（赤外信号）を各色成分（色信号）から減算した場合に、各色信号がクリップされてから赤外信号の出力レベルが高くなることによって、各色信号の出力レベルが下がってしまう。

これにより、ハイライト部の輝度が低下する場合に、色信号から減算される赤外信号の値を下げるように補正する制御を行うことによって、色信号が上述のようにクリップされる際に、赤外信号が高くなって、赤外信号が減算された後の色信号の輝度が下がってしまうのを防止できる。例えば、ＲＧＢの各色信号の出力レベルおよび赤外信号の出力レベルが高くなる際に、赤外成分を含むＲＧＢの各色信号の出力レベルが先にダイナミックレンジを越えてクリップされた状態で、略赤外成分だけからなる赤外信号がダイナミックレンジを越えずにさらに高くなることにより、色信号から赤外信号を減算した場合に、クリップされなければ、ＲＧＢの各色信号の出力レベルがさらに高くなる状態なのに、ＲＧＢの各色信号の出力レベルが逆に低下し、白飛びするようなハイライト部の輝度が低下してしまうのを防止できる。

以上のことから、ステレオ撮影用の２つの撮像装置で赤外画像と可視画像の両方のステレオ撮影が可能で、かつ、ノイズや解像度、色再現性等の画質を、通常の赤外画像を含まない可視画像と同レベル以上とすることができる。これにより、可視画像を用いた距離の測定における誤差を抑制し、より正確な距離を計測可能とするとともに、十分な画質の可視の撮影画像を表示することが可能となる、また、２つの画像信号を用いて距離の算出を行う場合に、２つの画像信号の信号レベルを合わせるようにすることも可能で有り、距離の誤差を縮小することができる。すなわち、２つの画像信号の信号レベルやその変化の違いにより被写体の違う部分を同じ部分と認識することなどによる誤差の発生を抑止することができる。なお、被者体までの距離とは、カメラシステムと被写体との間の距離である。この際にカメラシステムの位置をレンズユニットや撮像センサの位置としてもよい。

本発明の前記構成において、前記カラーフィルタは、前記赤外成分と前記可視光帯域の赤成分の光を透過する赤の前記フィルタ部と、前記赤外成分と前記可視光帯域の緑成分の光を透過する緑の前記フィルタ部と、前記赤外成分と前記可視光帯域の青成分の光を透過する青の前記フィルタ部と、前記赤外成分と前記赤成分、前記緑成分および前記青成分を合わせた白成分の光を透過する白の前記フィルタ部とを備えることが好ましい。

このような構成によれば、可視画像と赤外画像との同時撮影において、赤外画像を出力可能とするカラーフィルタにおいて、例えば、可視成分を透過せずに赤外成分だけを透過する赤外成分の赤外の前記フィルタ部を用いた場合に比較して、白成分のフィルタ部を用いることにより、カラーフィルタにおける輝度成分の情報量が多くなり、より人間の目の特性に対応して、解像度の高い画像を出力可能となる。

また、本発明の前記構成において、前記減算制御デバイスは、
前記赤外成分の値を下げる補正として、前記赤外成分の値を前記色成分に基づいて決定される制限値より高くならないように制御することが好ましい。

このような構成によれば、色信号から減算される赤外信号の値を制限値で制限して、制限値でクリップされた状態とすることにより、各色信号が飽和レベルに達してクリップされた状態で、未だ飽和レベルを超えていない赤外信号の値が高くなっても、色信号から減算される値は、基本的に制限値となり、赤外信号を減算された色信号の出力レベルが低くなってしまのを防止できる。

また、本発明の前記構成において、前記減算制御デバイスは、前記赤外成分の前記制限値を、ホワイトバランス処理で得られる各色の利得に基づいて、前記色成分毎に決定することが好ましい。

このような構成によれば、各色成分（色信号）、例えば、ＲＧＢの各信号において、それぞれ適切な制限値で制限された赤外信号を減算することが可能になる。

また、本発明の前記構成において、前記信号処理デバイスは、前記色成分の前記画素飽和レベルから前記赤外成分の前記制限値を減算した値に対応する信号飽和レベルが各色で略同じになるように制御することが好ましい。

このような構成によれば、各色信号において、最も出力レベルが高くなった場合、すなわち、信号飽和レベルになった場合に、各色信号の出力レベルが略同じになることで、略白となり、ハイライト部に青などの色が付くことがなく、ハイライト部を白くすることにより、自然な色再現性を維持することができる。信号飽和レベルとは、可視光の各色信号が画素飽和レベルでクリップされた状態で、制限値で制限された赤外信号を減算した場合の値のレベルである。

また、本発明の前記構成において、前記信号処理デバイスは、２つの可視画像信号の信号レベルおよび／または２つの赤外画像信号の信号レベルが互いに近似するように補正することが好ましい。

このような構成によれば、２つ可視画像信号や、２つの赤外画像信号から得られるステレオ画像から対象物（被写体）までの距離を測定する場合に、ステレオ画像としての２つの画像における対象物（２つの画像の対応点）が信号レベルの違いにより正確に認識できず、正確な視差が求められなくなって誤差が大きくなるのを抑制できる。

本発明によれば、赤外画像と可視画像の両方で、対象物の距離をより正確に測定できる。

本発明の第１の実施の形態のカメラシステムの像センサを示す概略図である。 同、前記撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルを示すグラフである。 同、前記撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルと、赤外照明の発光スペクトルを示すグラフである。 同、前記撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルと、赤外照明の発光スペクトルを示すグラフである。 同、撮像センサのカラーフィルタの配列を説明するための図であって、（ａ）は赤外のフィルタ部がない従来の配列を示す図であり、（ｂ）、（ｃ）、（ｄ）は赤外のフィルタ部を有する配列を示す図である。 同、前記カメラシステムの前記撮像センサを有する撮像装置を示す概略図である。 同、前記撮像装置の信号処理部における信号処理を説明するためのブロック図である。 同、前記撮像装置の信号処理における内装処理を説明するための図である。 本発明の第２の実施の形態の撮像装置を示す概略図である。 本発明の第３の実施の形態の撮像センサのカラーフィルタの配列を説明するための図である。 同、前記撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルを示すグラフである。 同、撮像センサのカラーフィルタの配列を説明するための図である。 同、カラーフィルタの配列を説明するための図である。 同、カラーフィルタの配列を説明するための図である。 同、各カラーフィルタの特性を説明するための図である。 同、撮像装置における信号処理を説明するためのブロック図である。 本発明の第４の実施の形態のカラーフィルタの配列を説明するための図である。 同、前記撮像センサのＤＢＰＦとカラーフィルタの青Ｂの透過率スペクトルを示すグラフである。 同、前記撮像センサのＤＢＰＦとカラーフィルタの緑Ｇの透過率スペクトルを示すグラフである。 同、前記撮像センサのＤＢＰＦとカラーフィルタの赤Ｒの透過率スペクトルを示すグラフである。 同、前記撮像センサのＤＢＰＦとカラーフィルタのクリアＣの透過率スペクトルを示すグラフである。 本発明の第５の実施の形態の撮像センサを示すブロック図である。 同、撮像センサを示す断面図である。 同、撮像センサの他の例を示す断面図である。 同、撮像センサによる２系統の画像信号の出力を説明するための図である。 本発明の第６の実施の形態の撮像装置を示すブロック図である。 同、撮像センサを示す概略図である。 同、赤外領域を有するカラーフィルタの配列パターンを説明するための図である。 同、前記撮像センサのＤＢＰＦとカラーフィルタの透過率スペクトルを示すグラフである。 同、ハイライト部で輝度が下がる理由を説明するためのＲ信号の図である。 同、ハイライト部で輝度が下がる理由を説明するためのＧ信号の図である。 同、ハイライト部で輝度が下がる理由を説明するためのＢ信号の図である。 同、ハイライト部で輝度が下がる理由を説明するためのＩＲ信号の図である。 同、ＩＲ信号のＲＧＢの各色信号に対応したクリップレベルを示す図である。 同、ＲＧＢの各色信号からクリップされたＩＲ信号を減算することを説明するための図であって、（ａ）はＲ信号の場合を示し、（ｂ）はＧ信号の場合を示し、（ｃ）はＢ信号の場合を示す図である。 同、ホワイトバランス処理を説明するための図であって、（ａ）は、Ｒ−Ｙ信号とＢ−Ｙ信号の平面における白に設定される領域を示し、（ｂ）は白に設定される輝度レベルの範囲を示す図である。 同、ＩＲ信号が減算された後のＲＧＢの各信号のクリップの出力レベルを合わせる方法を説明するための図である、 同、前記撮像処理装置の信号処理部を示すブロック図である。 同、別例としての信号処理部を示すブロック図である。 本発明の第７の実施の形態のＲＧＢＣのカラーフィルタの飽和レベルを説明するための図である。 同、計算により求められるＩＲ信号が実際のＩＲ信号より信号レベルが高くなることを説明するための図である。 同、ハイライト部で輝度が下がる理由を説明するためのＲＧＢＣ信号の図である。 同、分離デバイスを説明するためのブロック図である。 同、クリップレベル計算デバイスを説明するためのブロック図である。 同、ＲＧＢＣ信号のクリップレベルを説明するための図である。 同、ＩＲ信号のクリップレベルを説明するための図である。 同、ＲＧＢＣ信号のクリップレベルを説明するための図である。 同、分離デバイスを説明するためのブロック図である。 同、ＲＧＢＣＹ信号のクリップ処理を説明するための図である。 本発明の第８の実施の形態のＩＲ信号のクリップレベルを説明するための図である。 同、ＲＧＢＣＹ信号のクリップ処理を説明するための図である。 同、分離デバイスを説明するためのブロック図である。 同、ＩＲ信号生成デバイスを説明するためのブロック図である。 本発明の実施の形態のカメラシステムによる信号処理を説明するためのブロック図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。
ここで、本実施の形態のカメラシステムを説明する前に、カメラシステムに用いられる撮像センサ１を説明するとともに、撮像センサ１を備える撮像装置１０を説明する。撮像センサ１および撮像装置１０には、形態が異なるものがあり、カメラシステムを説明する前にこれら撮像センサ１および撮像装置１０の第１〜第４の実施の形態を説明する。なお、カメラシステムは、撮像装置１０を用いて可視画像のステレオ画像と、赤外画像のステレオ画像を同時に撮影できるようにしたものである。また、基本的に２組の撮像装置１０を組み合わせて（一部共用できる部分有り）カメラシステムが構成されるが、各撮像装置１０は、可視画像と赤外画像とを１つの光学系と１つの撮像センサ１で撮影可能な構造となっている。

撮像センサ（イメージセンサ）１は、例えば、図１に示すように、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであるセンサ本体２と、センサ本体２の各画素に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（ＩＲ）の各領域（各色のフィルタ）を所定の配列で配置したカラーフィルタ３と、センサ本体２およびカラーフィルタ３上を覆うカバーガラス４と、カバーガラス４上に形成されたＤＢＰＦ（ダブル・バンド・パス・フィルタ）５とを備える。

センサ本体２は、ＣＣＤイメージセンサであり、各画素に受光素子としてのフォトダイオードが配置されている。なお、センサ本体２は、ＣＣＤイメージセンサに代えてＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ・Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであってもよい。

センサ本体２には、カラーフィルタ３が設けられている。カラーフィルタ３は、図５（ａ）に示す一般的なベイヤ配列で各画素に配列されるＲ，Ｇ，Ｂの３つのフィルタ部を有するカラーフィルタ３ｘに対して、ＩＲのフィルタが加えられている。なお、ベイヤ配列のフィルタにおいては、基本のパターンは、４行（横の並び）×４列（縦の並び）の１６個の各色のフィルタ部からなっており、例えば、各フィルタ部をＦと行数と列数で表すと、１行目がＦ１１，Ｆ１２，Ｆ１３，Ｆ１４で、２行目がＦ２１、Ｆ２２，Ｆ２３，Ｆ２４で、３行目がＦ３１，Ｆ３２，Ｆ３３，Ｆ３４で、４行目がＦ４１，Ｆ４２，Ｆ４３、Ｆ４４である。

ベイヤ配列では、Ｆ１２，Ｆ１４，Ｆ２１，Ｆ２３，Ｆ３２，Ｆ３４，Ｆ４１，Ｆ４３の８個のフィルタ部がＧとされ、Ｆ１１，Ｆ１３，Ｆ３１，Ｆ３３の４個のフィルタ部がＲとされ、Ｆ２２，Ｆ２４，Ｆ４２，Ｆ４４の４個のフィルタ部がＢとされている。なお、Ｇのフィルタ部の数をＲ，Ｂのフィルタ部の数の２倍としているのは、人間の目が緑に対して高い感受性を有することに基づく。なお、感受性の低い方を高解像度としても人間の目では認識できない可能性があるが、感受性の高い方を高解像度とすれば人間の目で認識できる可能性が高く、より解像度の高い画像と認識される。このベイヤ配列においては、Ｇのフィルタが行方向（水平方向）および列方向（垂直方向）にそれぞれ一つ置きに配置されて市松模様状とされ、残りの部分にＲのフィルタ部と、Ｂのフィルタ部が互いに隣接することなく配置されている。

それに対して、本実施の形態のカラーフィルタ３としては、図５（ｂ）に示すように、ベイヤ配列における８個のＧのフィルタ部うちの４個をＩＲとすることにより、Ｒが４個、Ｇが４個、Ｂが４個、ＩＲが４個となるカラーフィルタ３ａが含まれる。すなわち、４行４列の基本配列において、Ｒ，Ｇ，Ｂ，ＩＲの４種類のフィルタ部が、それぞれ４つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置され、各列にＲ，Ｇ，Ｂ，ＩＲのフィルタ部がそれぞれ１つずつ配置され、１行置きにＲ，Ｇ，Ｂ，ＩＲのフィルタ部のうちの２種類のフィルタ部がそれぞれ２つずつ配置されている。

具体的には、Ｆ１１，Ｆ１３，Ｆ３２，Ｆ３４の４個のフィルタ部がＲとされ、Ｆ１２，Ｆ１４，Ｆ３１，Ｆ３３の４個のフィルタ部がＩＲとされ、Ｆ２１，Ｆ２３，Ｆ４２，Ｆ４４の４個のフィルタ部がＧとされ、Ｆ３２，Ｆ３４，Ｆ４１，Ｆ４２の４個のフィルタ部がＢとされている。

この場合にＧのフィルタ部が減ることにより、人間の目からは解像度が悪くなったように見える虞があるが、ＩＲを含む各色が均等に配置され、補完（内挿）処理が容易になる。また、１、２行目と、３，４行目とで、各色の位置が横に一列ずれるように配置されている。言い換えれば、１、２行目と、３，４行目とで、色の配置が左右反転した配置となっている。

このようにすることで、４×４の配置において、各列に各色が１つずつ配置され、１行置きに各色が２つずつ配置されるので、縦方向（垂直方向）より横方向（水平方向）の解像度が高くなり、ＩＲのフィルタ部を設けることによる水平方向の解像度の低下を抑制できる。なお、カラーフィルタ３ａには、図５（ｂ）に示すカラーフィルタ３ａのパターンを左右反転したもの、上下反転したもの、１８０回転させたものも含まれる。また、時計回りに９０度回転したもの、２７０度回転したものを含めてもよい。ただし、９０度および２７０度回転したものは、水平方向より垂直方向の解像度が高くなる。

また、カラーフィルタ３では、図５（ｃ）に示すカラーフィルタ３ｂのように、人間の感受性が高いＧを減らさずに、上述のベイヤ配列のカラーフィルタ３ｘのパターンの４つのＢのうちの２つをＩＲとしてもよい。このカラーフィルタ３ｂは、４行４列の基本配列において、Ｒ，Ｇ，Ｂ，ＩＲの４種類のフィルタ部のうちのＧのフィルタ部が８つ、Ｒのフィルタ部が４つ、Ｂのフィルタ部およびＩＲのフィルタ部が２つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置されている。

具体的には、カラーフィルタ３ｂでは、Ｆ１２，Ｆ１４，Ｆ２１，Ｆ２３，Ｆ３２，Ｆ３４，Ｆ４１，Ｆ４３の８個のフィルタ部がＧとされ、Ｆ１１，Ｆ１３，Ｆ３１，Ｆ３３の４個のフィルタ部がＲとされ、Ｆ２２，Ｆ４４の２個のフィルタ部がＢとされ、Ｆ２４，Ｆ４２の２個のフィルタ部がＩＲとされている。この場合、ベイヤ配列よりＢの解像度が劣るがＧ、Ｒは、ベイヤ配列と同様の解像度となる。なお、カラーフィルタ３ｂには、図５（ｃ）に示すカラーフィルタ３ｂのパターンを左右反転したもの、上下反転したもの、１８０回転させたものも含まれる。また、時計回りに９０度回転したもの、２７０度回転したものは、左右反転したもの、上下反転したものと同じパターンとなる。

また、ＩＲの解像度を上げるために、図５（ｄ）に示すカラーフィルタ３ｃのようにＧを減らさずに、上述のベイヤ配列のカラーフィルタ３ｘのパターンの４つのＢのうちの２つをＩＲとし、４つのＲのうちの２つをＩＲとしてもよい。すなわち、カラーフィルタ３ｃは、４行４列の基本配列において、Ｒ，Ｇ，Ｂ，ＩＲの４種類のフィルタ部のうちのＧのフィルタ部が８つ、ＩＲのフィルタ部が４つ、Ｒのフィルタ部およびＢのフィルタ部が２つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置されている。

より具体的には、図５（ｄ）に示すように、カラーフィルタ３ｃでは、Ｆ１２，Ｆ１４，Ｆ２１，Ｆ２３，Ｆ３２，Ｆ３４，Ｆ４１，Ｆ４３の８個のフィルタ部がＧとされ、Ｆ１１、Ｆ３３の２個のフィルタ部がＲとされ、Ｆ２２、Ｆ４４の２個のフィルタ部がＢとされ、Ｆ１３，Ｆ２４，Ｆ３１，Ｆ４２の４個のフィルタ部がＩＲとされている。この場合には、ＲとＢの解像度はベイヤ配列より低下するが、Ｇの解像度は維持され、ＩＲの解像度を確保することができる。なお、カラーフィルタ３ｃには、図５（ｄ）に示すカラーフィルタ３ｂのパターンを左右反転したもの、上下反転したもの、１８０回転させたものも含まれる。また、時計回りに９０度回転したもの、２７０度回転したものは、左右反転したもの、上下反転したものと同じパターンとなる。

カラーフィルタ３のＲのフィルタ部、Ｇのフィルタ部およびＢのフィルタ部は、それぞれ周知のフィルタを用いることができる。本実施の形態におけるＲのフィルタ部、Ｇのフィルタ部およびＢのフィルタ部の透過率スペクトルは、図２、図３および図４のグラフに示すようになっている。図２、図３および図４には、カラーフィルタ３の赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（ＩＲ）の各フィルタの透過率スペクトルが示されており、縦軸が透過率を示し、横軸が波長となっている。グラフにおける波長の範囲は、可視光帯域と近赤外帯域の一部を含むもので、例えば、３００ｎｍ〜１１００ｎｍの波長範囲を示している。

例えば、Ｒのフィルタ部は、グラフのＲ（二重線）に示すように、波長６００ｎｍで略最大の透過率となり、その長波長側は、１０００ｎｍを超えても透過率が略最大の状態が維持された状態となる。

Ｇのフィルタ部は、グラフのＧ（間隔の広い破線）に示すように、波長が５４０ｎｍ程度の部分に透過率極大となるピークを有し、その長波長側の６２０ｎｍ程度の部分に、透過率極小となる部分がある。また、Ｇのフィルタ部は、透過率極小となる部分より長波長側が上昇傾向となり、８５０ｎｍ程度で透過率が略最大となる。それより長波長側では、１０００ｎｍを超えても透過率が略最大となった状態となっている。Ｂのフィルタ部は、グラフのＢ（間隔の狭い破線）に示すように、波長が４６０ｎｍ程度の部分に透過率が極大となるピークを有し、その長波長側の６３０ｎｍ程度の部分に、透過率が極小となる部分がある。また、それより長波長側が上昇傾向となり、８６０ｎｍ程度で透過率が略最大となり、それより長波長側では、１０００ｎｍを超えても透過率が略最大となった状態となっている。ＩＲのフィルタ部は、７８０ｎｍ程度から短波長側の光を遮断し、１０２０ｎｍ程度から長波長側の光を遮断し、８２０ｎｍ〜９２０ｎｍ程度の部分が透過率が略最大となっている。

Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部の透過率スペクトルは、図２等に示すものに限られるものではないが、現在、一般的に使用されているカラーフィルタ３では、これに近い透過率スペクトルを示すと思われる。なお、透過率を示す横軸の１は、光を１００％透過することを意味するものではなく、カラーフィルタ３において、例えば、最大の透過率を示すものである。

カバーガラス４は、センサ本体２およびカラーフィルタ３を覆って保護するものである。
ＤＢＰＦ５は、ここでは、カバーガラス４に成膜された光学フィルタである。ＤＢＰＦ５は、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタである。

すなわち、図２のグラフに示すように、ＤＢＰＦ５は、グラフでＤＢＰＦ（実線）に示すように、ＤＢＰＦ（ＶＲ）で示す可視光帯域と、可視光帯域に対して長波長側の少し離れた位置のＤＢＰＦ（ＩＲ）で示す赤外帯域（第２の波長帯域）の２つの帯域の透過率が高くなっている。また、可視光帯域の透過率の高い帯域としてのＤＢＰＦ（ＶＲ）は、例えば、３７０ｎｍ〜７００ｎｍ程度の波長帯域となっている。また、赤外側で透過率が高い第２の波長帯域としてのＤＢＰＦ（ＩＲ）は、例えば、８３０ｎｍ〜９７０ｎｍ程度の帯域となっている。

本実施の形態では、上述のカラーフィルタ３の各フィルタ部の透過率スペクトルと、ＤＢＰＦ５の透過率スペクトルの関係が以下のように規定されている。すなわち、ＤＢＰＦ５の透過率スペクトルの赤外光を透過する第２の波長帯域となるＤＢＰＦ（ＩＲ）は、Ｒのフィルタ部、Ｇのフィルタ部、Ｂのフィルタ部の全てがほぼ最大の透過率となって各フィルタ部で透過率が略同じとなる図２に示す波長帯域Ａ内に含まれ、かつ、ＩＲのフィルタ部の略最大の透過率で光を透過する波長帯域Ｂ内に含まれるようになっている。

ここで、Ｒ，Ｇ，Ｂの各フィルタ部の透過率が略同じになる波長帯域Ａとは、各フィルタ部の透過率の差が透過率で１０％以下である部分とする。なお、この波長帯域Ａより短波長側では、透過率が略最大のＲのフィルタ部に対して、Ｇ、Ｂのフィルタ部の透過率が低くなる。ＤＢＰＦ５では、このＲ，Ｇ，Ｂの各フィルタ部の透過率に差がある部分が、可視光帯域の透過率が高い部分であるＤＢＰＦ（ＶＲ）と、赤外光帯域の第２の波長帯域の透過率の高い部分であるＤＢＰＦ（ＩＲ）との間のＤＢＰＦ５の光を略遮断する透過率が極小となる部分に対応する。すなわち、赤外側では、Ｒ，Ｇ，Ｂの各フィルタ部の透過率の差が大きくなる部分の光の透過がカットされ、それより長波長側で各フィルタ部の透過率が略最大となって透過率が略同じになる波長帯域Ａで光を透過するようになっている。

以上のことから、本実施の形態において、赤外光カットフィルタに代えて用いられるＤＢＰＦ５では、可視光帯域だけではなく、赤外光側の第２の波長帯域にも光を透過する領域があるため、可視光によるカラー撮影に際して、第２の波長帯域を通過した光の影響を受けることになるが、上述のように第２の波長帯域がＲ，Ｇ，Ｂの各フィルタ部で透過率が異なる部分の光を透過せず、各フィルタ部の透過率が略最大となって略同じ透過率となる波長帯域の光だけを透過するようになっている。

また、ＤＢＰＦ５の第２の波長帯域においては、ＩＲのフィルタ部で透過率が略最大となる部分の光を透過するようになっている。したがって、略同じ光が照射される極めて近接した４つの画素にＲ，Ｇ，Ｂ，ＩＲのフィルタ部がそれぞれ設けられていると仮定した場合に、第２の波長帯域においては、Ｒのフィルタ部、Ｇのフィルタ部、Ｂのフィルタ部、ＩＲのフィルタ部で略同様に光が通過することになり、赤外側の光としては、ＩＲを含む各フィルタ部で略同じ光量の光が撮像センサ本体の上述の画素のフォトダイオードに至ることになる。すなわち、Ｒ，Ｇ，Ｂの各フィルタを透過する光のうちの赤外側の第２の波長帯域を通過する光の光量は、ＩＲのフィルタ部を通過する光の光量と同様となる。上述のように仮定した場合に、基本的にＲ，Ｇ，Ｂの各フィルタを透過した光を受光したセンサ本体２からの上述のように仮定された画素の出力信号とＩＲのフィルタを通過した光を受光したセンサ本体２からの上述のように仮定された画素の出力信号との差分が、各Ｒ，Ｇ，Ｂのフィルタ部で通過した赤外側の光をカットしたＲ，Ｇ，Ｂそれぞれの可視光部分の出力信号となる。

実際には、カラーフィルタ３（３ａ，３ｂ，３ｃ）の各パターンに示したように、センサ本体２の各画素にＲ，Ｇ，Ｂ，ＩＲのいずれか１つのフィルタ部が配置されることになり、各画素に照射される各色の光のそれぞれの光量が異なるものとなる可能性が高いので、例えば、各画素において、周知の内挿法（補間法）を用いて、各画素の各色の輝度を求め、この補間された各画素のＲ，Ｇ，Ｂの輝度と、同じく補間されたＩＲの輝度との差分をそれぞれＲ，Ｇ，Ｂの輝度とすることが可能である。なお、Ｒ，Ｇ，Ｂの各色の輝度から赤外光成分を除く画像処理方法は、これに限られるものではなく、最終的にＲ，Ｇ，Ｂの各輝度から第２の波長帯域を通過した光の影響をカットできる方法であれば、いずれの方法を用いてもよい。いずれの方法においても、ＤＢＰＦ５が、赤外側でＲ，Ｇ，Ｂのフィルタ部の透過率が１０％より異なる部分、すなわち、透過率が所定割合より異なる部分をカットしているので、各画素において、赤外光の影響を除く処理が容易となる。

また、この撮像センサ１の用途としては、カラー撮影と、赤外光撮影との両方が可能な撮像装置において、撮像センサとして用いることである。一般的には、通常の撮影をカラー撮影で行い、夜間に可視光の照明を用いることなく、人間には認識困難な赤外光の照明を用いて赤外撮影することが考えられる。例えば、各種監視カメラ等において、夜間照明を必要としないか、夜間照明されないことが好ましい場所での夜間撮影に際し、赤外光照明を用いた赤外光による夜間撮影を行うことが考えられる。また、野生動物の観察のための昼間の撮影と夜間の撮影などの用途にも用いることができる。

赤外光撮影を夜間撮影として用いる場合には、赤外光であっても可視光と同様に、夜間は光量が不足するので、赤外光照明が必要となる。図３に示すＤＢＰＦ５の透過率スペクトルは、Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部の透過率スペクトルと、赤外光照明用の光、例えば、照明用赤外光ＬＥＤの発光スペクトルを考慮して決定されたものである。図３では、図２と同様の各色のフィルタ部の透過率スペクトルＲ，Ｇ，Ｂ，ＩＲと、ＤＢＰＦ５の透過率スペクトルＤＢＰＦに加えて、ＬＥＤ照明の発光スペクトルＩＲ−ｌｉｇｈｔが図示されている。

図３に示すＤＢＰＦの赤外光を透過する部分であるＤＢＰＦ（ＩＲ）で示す第２の波長帯域は、図２に示すＤＢＰＦと同様に、Ｒのフィルタ部、Ｇのフィルタ部、Ｂのフィルタ部の全てが略最大の透過率となって各フィルタ部で透過率が略同じとなる図２に示す波長帯域Ａ内に含まれ、かつ、ＩＲのフィルタ部の最大の透過率で光を透過する波長帯域Ｂ内に含まれるようになっている。

それに加えて、上述の波長帯域Ａと波長帯域Ｂとの両方に含まれる赤外光照明の発光スペクトルのピークとなる波長帯域の略全体がＤＢＰＦ（ＩＲ）の波長帯域に含まれるようになっている。なお、赤外光撮影を夜間の自然光ではなく、赤外光照明下で行う場合にＤＢＰＦ（ＩＲ）で示す第２の波長帯域が赤外光照明の光学スペクトルのピーク幅より広い必要はなく、赤外光照明のスペクトルが上述の波長帯域Ａおよび波長帯域Ｂの両方に含まれる場合に、赤外光照明の発光スペクトルの例えば８６０程度を頂点とするピークのピーク幅と略同様のピーク幅で第２の波長帯域としてＤＢＰＦ（ＩＲ）で示されるＤＢＰＦ５の透過率のピーク部分を設けてもよい。

すなわち、図３においては、ＩＲ−ｌｉｇｈｔで示す赤外光照明の発光スペクトルにおけるピークが上述の波長帯域Ａおよび波長帯域Ｂの短波長側にあり、ＤＢＰＦ（ＩＲ）で示すＤＢＰＦの第２の波長帯域が波長帯域Ａおよび波長帯域Ｂの短波長側部分のＩＲ−ｌｉｇｈｔにおける発光スペクトルのピークと略重なるようになっている。

また、図４に示すグラフも、図３に示すフラフと同様に、図２に示すグラフに赤外光照明の発光スペクトルを加えるとともに、ＤＢＰＦ５の透過率スペクトルの赤外側の透過率が高い部分であるＤＢＰＦ（ＩＲ）で示す第２の波長帯域を上述の赤外光照明のＩＲ−ｌｉｇｈｔで示す発光スペクトルのピークに合わせたものである。

図４においては、赤外光照明として、図３に示す場合よりも発光スペクトルのピークの波長が長いものを用いており、このピークは、上述の波長帯域Ａおよび波長帯域Ｂに含まれるとともに、波長帯域Ａおよび波長帯域Ｂの長波長側に存在する。それに対応してＤＢＰＦ５のＤＢＰＦ（ＩＲ）で示す第２の波長帯域が上述の波長帯域Ａおよび波長帯域Ｂ内で赤外照明のＩＲ−ｌｉｇｈｔで示されるピークと略重なるように設けられている。

なお、ＤＢＰＦ５の第２の波長帯域は、図２、図３、図４のいずれに示すものであってもよく、第２の波長帯域が上述の波長帯域Ａと波長帯域Ｂとの両方に含まれていればよい。また、夜間の赤外光撮影で用いられる赤外光照明の発光スペクトルのピークとなる波長帯域が決まっている場合に、その波長帯域を上述の波長帯域Ａと波長帯域Ｂの両方に含まれるようにするとともに、赤外光照明の発光スペクトルのピークにＤＢＰＦ５の第２の波長帯域を合わせることが好ましい。

このような撮像センサにあっては、ＤＢＰＦ５の赤外側で光を透過する第２の波長帯域が、Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部の赤外側で、各フィルタ部の透過率が略最大となって、各フィルタ部の透過率が略同じと波長帯域Ａに含まれるとともに、ＩＲのフィルタ部の透過率が略最大となる波長帯域Ｂに含まれる。言い換えれば、可視光帯域より長波長側で、Ｒ，Ｇ，Ｂの各フィルタの透過率がＲのフィルタ部だけ略最大となって、Ｇ、Ｂのフィルタ部は透過率が略最大となっていないことにより、Ｒ，Ｇ，Ｂの各フィルタ部の透過率が略同じとならずに異なる部分の光は、ＤＢＰＦ５によりカットされる。

すなわち、Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部では、赤外側で第２の波長帯域の光が透過するようになっていることから各フィルタ部における赤外側の透過率が全て略同じとなり、第２の波長帯域となる光が同じ光量で照射されれば、Ｒ，Ｇ，Ｂ，ＩＲの各フィルタ部における透過光量が同じになる。これにより、上述のようにＲ，Ｇ，Ｂの各フィルタ部に対応する画素からの出力信号に基づく色を補正し、カラー撮影時の色の第２の波長帯域を通過する赤外光による影響を抑制した画像を容易に得ることができる。

また、第２の波長帯域を上述の波長帯域Ａと波長帯域Ｂに含まれる赤外光照明の発光スペクトルのピークに対応させることにより、赤外光照明の光を効率的に用いられるとともに、第２の波長帯域の幅を狭めて、カラー撮影時に、第２の波長帯域を通過する赤外光の影響を小さくすることができる。

図６は、本実施の形態の撮像センサ１を用いた撮像装置１０を示すものである。撮像装置１０は、撮影用のレンズ１１と、ＤＢＰＦ５を備えた撮像センサ１と、撮像センサ１から出力される出力信号１３を処理して、上述の内装処理や、カラー撮影時の第２の波長帯域を通過した赤外光の影響を除去する画像処理や、ガンマ補正や、ホワイトバランスや、ＲＧＢマトリックス補正等の画像処理を画像信号に施す信号処理部（信号処理デバイス）１２とを備える。画像処理部からは可視のカラー画像の出力信号１４と、赤外光画像の出力信号１５が出力可能になっている。

レンズ１１は、撮像装置１０の撮像センサ１上に像を結ぶ光学系を構成するものである。レンズ１１は、例えば、複数のレンズから構成されている。

図７は、撮像装置１０の信号処理部１２における信号処理をブロック図で示したものである。Ｒ，Ｇ，Ｂ，ＩＲの各画素の出力信号は、各内装処理ブロック２１ｒ、２１ｇ、２１ｂ、２１ｉｒに送られる。各内装処理ブロック２１ｒ、２１ｇ、２１ｂ、２１ｉｒでは、例えば、図８に示すように、上述のカラーフィルタ３ｂの場合に、内挿処理（補間処理）により各フレーム毎の画像データにおいて、それぞれ、全ての画素が赤Ｒで表された画像データ２０ｒ、全ての画素が緑Ｇで表された画像データ２０ｇと、全ての画素が青Ｂで表された画像データ２０ｂと、全ての画素が赤外ＩＲで表された画像データ２０ｉｒとするようにＲ，Ｇ，Ｂ，ＩＲの信号を変換する。なお、内挿処理方法は、周知の方法を用いることができる。

次に、赤外光除去信号作成ブロック２２ｒ、２２ｇ、２２ｂ、２２ｉｒにおいて、上述の第２の波長帯域から受光される赤外光の影響を除去するために、Ｒ，Ｇ，Ｂの各色の信号から減算する信号をＩＲの信号から生成する。この赤外光除去信号作成ブロック２２ｒ、２２ｇ、２２ｂでＲ，Ｇ，Ｂ毎に作成された信号を、Ｒ，Ｇ，Ｂの各色の信号から減算する。この場合に、上述のように同じ画素では、基本的にＲ，Ｇ，Ｂの各信号からＩＲの信号を除去すればいいので、処理が容易になる。実際には、各画素のフィルタ部の特性等により各色の画素毎に感度が異なるので、Ｒ，Ｇ，Ｂの各画像毎にＲ，Ｇ，Ｂの各信号から減算する信号をＩＲの信号から作成する。

次に、Ｒ，Ｇ，Ｂの各信号は、画像処理ブロック２３において、行列式を用いてＲ，Ｇ，Ｂの各信号を変換して色を補正する周知のＲＧＢマトリックス処理と、画像で白となる部分でＲ，Ｇ，Ｂの各信号の出力値が同じとなるようにする周知のホワイトバランス処理、ディスプレイ等への画像出力のための補正である周知のガンマ補正を行う。次いで、輝度マトリックスブロック２４において、Ｒ，Ｇ，Ｂの各色の信号に係数を乗算して輝度Ｙの信号を生成する。また、青Ｂの信号と、赤Ｒの信号から輝度Ｙの信号を除算することにより、Ｒ−ＹとＢ−Ｙの色差信号を算出し、Ｙ、Ｒ−Ｙ、Ｂ−Ｙの信号を出力する。
また、ＩＲの信号は、基本的に白黒のグラディエーションの画像として出力される。

このような撮像装置１０では、上述の撮像センサ１で説明したように、カラー画像から赤外光の影響を除去する画像処理を容易に行うことができ、色再現性に優れた可視のカラー画像を得られる。また、このような撮像装置の開発コストの低減を図ることができる。
上述のように、可視光撮影における画像処理により第２の波長帯域を通過した赤外光の影響をカットする際に、Ｒ，Ｇ，Ｂの各フィルタ部の互いに透過率が大きく異なる部分は、ＤＢＰＦにより物理的にカットされていることになり、画像処理では、Ｒ，Ｇ，Ｂの各フィルタ部の赤外側で透過率が略最大となった部分のＩＲ光をカットする処理を行えばいいことになる。この場合に、画像処理が容易になり、従来の赤外光カットフィルタを用いた場合と同様の色再現性を有するカラー画像データを得ることが可能となる。

例えば、Ｒ，Ｇ，Ｂの各フィルタ部を通過してフォトダイオードに至る光は、可視光域の各フィルタ部を透過した可視光と、Ｒ，Ｇ，Ｂの各フィルタ部で同様となるとともに、ＩＲのフィルタ部で同様となる第２の波長帯域を通過した赤外光となる。したがって、撮像センサ１のＲ，Ｇ，Ｂの内挿処理後の各出力信号から、例えば、各色のフィルタ部に基づく感度等の特性に合わせて補正した内挿処理後のＩＲの出力信号を減算することにより、赤外カットフィルタを用いた場合に近い色再現性を得ることができる。

なお、光を透過する第２の波長帯域に、Ｒ，Ｇ，Ｂの各フィルタ部での透過率に透過率で１０％より大きな差がある波長帯域が含まれると、実質的に各フィルタ部を通過した光からカットすべき赤外光の量を求めることが困難になり、赤外光カットフィルタを用いた場合と同様の色再現性を有する画像データを画像処理で得ることが困難である。

次に、本発明の第２の実施の形態の撮像装置を説明する。図９に示すように第２の実施の形態の撮像装置１０ａは、撮像センサ１にＤＢＰＦ５を設けるのではなく、レンズ１１にＤＰＢＦ５を設けたものである。撮像装置１０ａは、ＤＢＰＦ５を備えた撮影用のレンズ１１と、撮像センサ１と、撮像センサ１から出力される出力信号１３を処理して、上述の内装処理や、カラー撮影時の第２の波長帯域を通過した赤外光の影響を除去する画像処理や、ガンマ補正や、ホワイトバランスや、ＲＧＢマトリックス補正等の画像処理を画像信号に施す信号処理部１２とを備える。画像処理部からは可視のカラー画像の出力信号１４と、赤外光画像の出力信号１５が出力可能になっている。

ＤＢＰＦ５とカラーフィルタ３は、第１の実施の形態のＤＢＰＦ５とカラーフィルタ３と同様のものであり、カラーフィルタ３のＲ，Ｇ，Ｂ，ＩＲの各フィルタ部の透過率と、ＤＰＢＦ５の第２の波長帯域ＤＢＰＦ（ＩＲ）の関係も第１の実施の形態と同様になっている。したがって、第１の実施の形態と異なり、レンズ１１にＤＢＰＦ５が設けられていても、第１の実施の形態の撮像装置１０と同様の作用効果を奏することができる。なお、ＤＢＰＦ５は、撮像装置１０ａの光学系に設けられ、撮像センサ１に至る光に対して、可視光帯域（ＤＢＰＦ（ＶＲ））と、赤外側の第２の波長帯域（ＤＢＰＦ（ＩＲ））との光を透過させ、可視光帯域の短波長側と、第２の波長帯域の長波長側と、可視光帯域と第２の波長帯域との間の波長帯域とで光を遮断するようになっていればどこに設けられていてもよい。

次に、本発明の第３の実施の形態の撮像センサおよび撮像装置を説明する。第３の実施の形態の撮像センサ１および撮像装置は、カラーフィルタ３の一部の構成と、ＲＧＢの各信号からのＩＲ成分の除去方法が異なるものとなっているが、その他の構成は第１の実施の形態と同様となっており、以下にカラーフィルタ３と、ＩＲ成分の除去方法について説明する。

本実施の形態において、カラーフィルタ３ｅ（ＲＧＢＣの構成１）は、例えば、図１０に示すように、上述のベイヤ配列のカラーフィルタ３ｘのパターンの４つのＢのうちの２つをＣとし、４つのＲのうちの２つをＣとし、８つのＧのうちの４つをＣとしている。すなわち、カラーフィルタ３ｅは、４行４列の基本配列において、Ｒ，Ｇ，Ｂ，Ｃの４種類のフィルタ部のうちのＧのフィルタ部が４つ、Ｃのフィルタ部が８つ、Ｒのフィルタ部およびＢのフィルタ部が２つずつ配置されるとともに、同じ種類のフィルタ部同士は互いに行方向および列方向で隣接しないように離れて配置されている。したがって、８つ配置されるＣのフィルタ部は市松模様となるように配置される。ここで、Ｃとは、クリアなフィルタ部として素通しの状態を示すもので、基本的に可視光帯域から近赤外の波長帯域まで透過特性を有するものとなっており、ここでは、可視光帯域においてＣ＝Ｒ＋Ｇ＋Ｂとしている。なお、クリアとなるＣは、ＲＧＢの３色が透過することから白色光、すなわちホワイト（Ｗ）ということができ、Ｃ＝Ｗ＝Ｒ＋Ｇ＋Ｂとなる。したがって、Ｃは、可視光帯域の略全波長帯域の光量に対応することになる。

ここで、図１１のカラーフィルタ３ｅおよびＤＢＰＦ５の透過率スペクトル（分光透過特性）を示すグラフに示すように、Ｒ、Ｇ、Ｂの各フィルタ部で可視光帯域の長波長側では透過特性があり、クリアなフィルタ部であるＣのフィルタ部においても可視光帯域の長波長側で光が透過するようにうなっている。これに対してＤＢＰＦ５を用いることにより、第１の実施の形態と同様に、可視光帯域より長波長側を透過する赤外を第２の波長帯域となるように制限することになり、Ｒ、Ｇ、Ｂ、Ｃのフィルタ部とＤＢＰＦ５を通過する光量がＲ、Ｇ、Ｂ、Ｃの各フィルタ部でほぼ同じ（近似）になり、可視光帯域では、Ｒ、Ｇ、Ｂ、Ｃの各フィルタ部の波長に応じた透過特性が異なる。

なお、第１および第２の実施の形態においても、可視光帯域より長波長側を透過する赤外を第２の波長帯域となるように制限することになり、Ｒ、Ｇ、Ｂ、ＩＲのフィルタ部とＤＢＰＦ５を通過する光量がＲ、Ｇ、Ｂ、ＩＲの各フィルタ部でほぼ同じになり、可視光帯域では、Ｒ、Ｇ、Ｂ、ＩＲの各フィルタ部の波長に応じた透過特性が異なる。

これにより、第３の実施の形態においても、各画素のＩＲ補正を精度良く行い、色再現性が高い可視画像の生成が可能になる。すなわち、第１の実施の形態のように可視光帯域の略全波長域に遮断特性を有し、可視光帯域より長波長側の赤外に透過特性を有する上述のＩＲのフィルタ部を備えなくても、Ｃのフィルタ部を備えることにより、ＩＲ信号を下記の式で計算できる。

以下の説明で、Ｃ（Ｗ）、Ｒ、Ｇ、Ｂ、ＩＲは、撮像センサ１からの出力信号のレベルを示すが、Ｃ（Ｗ）、Ｒ、Ｇ、Ｂは、可視光帯域のレベルを示し、赤外成分を含まないものとする。
ここで、カラーフィルタ３ｅをＣ＝Ｗ≒Ｒ＋Ｇ＋Ｂと設計し、ＲＧＢの各信号から除去すべきＩＲ信号をＩＲ’とすると、
ＩＲ’＝（（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）−（Ｃ＋ＩＲ））／２＝ＩＲ＋（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
ＩＲ’≒ＩＲとなる。なお、ＩＲは計測等により求められる実際の値を示し、ＩＲ’は、計算により求められる値を示す。各フィルタより、ＩＲ’を減算することにより、ＩＲ補正ができる。
すなわち、
Ｒフィルタ（Ｒ＋ＩＲ）：
Ｒ’＝（Ｒ＋ＩＲ）−ＩＲ’＝Ｒ−（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
Ｇフィルタ（Ｇ＋ＩＲ）：
Ｇ’＝（Ｇ＋ＩＲ）−ＩＲ’＝Ｇ−（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
Ｂフィルタ（Ｂ＋ＩＲ）：
Ｂ’＝（Ｂ＋ＩＲ）−ＩＲ’＝Ｂ−（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
Ｃ（＝Ｗ）フィルタ（Ｗ＋ＩＲ）：
Ｗ’＝（Ｃ＋ＩＲ）−ＩＲ’＝Ｃ−（Ｒ＋Ｇ＋Ｂ−Ｃ）／２
となる。

これにより、カラーフィルタ３において、ＩＲのフィルタ部に代えてクリアなＣのフィルタ部を用いてもＤＢＰＦ５により各フィルタ部のＩＲの透過率を近似させることができ、上述のようにＩＲ成分を求めて、これを各フィルタ部の信号から取り除くことで、色再現性を向上することができる。

なお、このような計算は、上述のように内挿法により、例えば、各画素で、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、Ｃ＋ＩＲを求め、各画素で上述の計算を行うことになる。なお、Ｃ＝Ｗ≒Ｒ＋Ｇ＋Ｂと設計するものとしたが、必ずしも略正確にこの式に一致する必要はなく、近似していれば、誤差やその他の要によりずれがあってもよく、例えば、１０％程度のずれがあってもよい。

また、Ｃについては、Ｒ＋Ｇ＋Ｂとなることで、画素の受光量が多く飽和し易くなることから、Ｃのフィルタ部において、可視光帯域における受光量を下げたり、赤外の波長帯域と可視光帯域とを含む波長帯域に渡って受光量を下げたり、各画素における画素を構成する素子部において、受光量に対して蓄積される電荷を減少させたりしてもよい。その際には、それに応じて上述の式を変更する必要がある。

なお、図１２は、Ｒ、Ｇ、Ｂ、Ｃのカラーフィルタの別の配列を示すもので、２×２の配列において、Ｒ、Ｇ、Ｂ、Ｃが均等に１つずつ配置されたものである。
また、従来のＲ、Ｇ、Ｂのベイヤ配列の場合に、図１３に示すように、２×２の配列中では、Ｒ，Ｂが１つずつ配置されるとともにＧが２つ配置される。
また、この従来のＣやＩＲを含まない配列のうちの１つのＧをＩＲに変更したＲ、Ｇ、Ｂ、ＩＲのカラーフィルタの２×２の配列は、図１４に示すように、Ｒ、Ｇ、Ｂ、ＩＲが１つずつ配置された配列となる。

このようなカラーフィルタとして、図１０に示すＲＧＢ−Ｃの構成１、図１２に示すＲＧＢ-Ｃの構成２、図１３に示す従来のＲＧＢ配列（ベイヤ配列）、図１４に示すＲＧＢ―ＩＲ配列の一例では、図１５に示すような特性の違いがある。なお、Ｃは、ＲＧＢ等の色の情報を含まないが、光量として輝度の情報を含むものである。
したがって、ＲＧＢ−Ｃ（構成１）センサは、Ｃの市松配置により、輝度解像度は高いが、ＲＧＢの画素がまばらであり、かつ、非対称な配置になるため、解像度が低く、モアレが生じやすい。但し、色信号は、輝度信号に対して、求められる解像度は、１／２以下であり低いので、問題ない。また感度が高い。

ＲＧＢ−Ｃ（構成２）は、従来のＲＧＢセンサと輝度解像度、色解像度は、同程度であり、感度はＲＧＢセンサより高い。ＲＧＢ−ＩＲセンサは、可視光帯域に透過特性を持たないＩＲを設けていることで、ＲＧＢセンサより、感度が低く、輝度の解像度も低くなる。すなわち、上述の第１の実施の形態および第２の実施の形態のＩＲを有するカラーフィルタより、Ｃを有するカラーフィルタの方が、解像度や感度で有利になる可能性が高い。

図１６は、図９の信号処理部１２における信号処理をブロック図で示したものである。撮像センサ１として、上述のＲＧＢ−Ｃのカラーフィルタ３ｅを備えたＲＧＢ−Ｃセンサ（撮像センサ）１を備えるとともに、光学系を構成するレンズ１１と、ＤＢＰＦ５を備えている。
ＲＧＢ−Ｃセンサ１からＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、Ｃ＋ＩＲの信号が色分離、ＩＲ分離、ＩＲ補正を行う分離デバイス５１に入力され、内挿処理とＩＲ補正等により、各画素において、Ｒ、Ｇ、Ｂ、Ｗ、ＩＲの各信号が求められて出力される。この処理は、上述の式を用いた演算に基づいて行われる。

分離デバイス５１から出力されるＲ、Ｇ、Ｂ、Ｗ、ＩＲ信号のうちのＲ，Ｇ、Ｂの各信号が色マトリクスデバイス５２に送られ、周知のＲＧＢマトリックス補正等が行われ、ＲＧＢの信号が出力される。また。分離デバイス５１からのＲ、Ｇ、Ｂ、Ｗ、ＩＲ信号は、輝度生成デバイス５３に送られ、設定された輝度を求める式に基づいて、各信号から輝度信号を生成する。

色マトリクスデバイスから出力されたＲＧＢ信号は、ガンマ処理および色差生成デバイス５４に入力されて、周知のガンマ処理が施されるとともに、色差信号として、例えば、Ｂ−ＹおよびＲ−Ｙ信号が生成される。また、分離デバイス５１およびＲＧＢ−Ｃセンサ１から出力された信号は、ＢＰＦ（バンドパスフィルタ）５５を介して、所定の波長帯域の信号として、ノイズ低減デバイス５６でノイズを低減された後に、輝度生成デバイス５３から出力される輝度信号とともにエンハンス処理デバイス５７で増幅されて、ガンマ処理デバイス５８でのガンマ処理を経て輝度・色差信号の輝度信号（Ｙ信号）として出力される。また、分離デバイス５１から出力されるＩＲ信号は、エンハンス処理デバイス５９、ガンマ処理デバイス６０を経てＩＲ信号として出力される。なお、画像信号の処理においては、後述のクリップ処理が行われるようになっており、クリップ処理については後述する。

次に、本発明の第４の実施の形態の撮像センサおよび撮像装置を説明する。第４の実施の形態は、カラーフィルタの各色を一般化したものであり、本発明のカラーフィルタがＲＧＢ−ＩＲやＲＧＢ−Ｃに限定されるものでないことを示すものである。以下に、一般化した４色のフィルタ部を持つカラーフィルタを備えた撮像センサにおけるＩＲ成分の除去方法を説明する。なお、４色（４種類）のフィルタ部は、基本的に可視光帯域における波長に応じた透過特性が異なり、かつ、上述のＤＢＰＦの第２の波長帯域が含まれる波長帯域に、可視光帯域より長波長側の他のフィルタ部との透過率の差が１０％以下となる第３の波長帯域を備え、この第３の波長帯域に、ＤＢＰＦ５の第２の波長帯域が含まれるものとなっている。これにより、カラーフィルタとＤＰＢＦ５とを用いた場合に、可視光帯域より赤外側の波長に応じた透過特性が各色のフィルタ部で近似することになる。

さらに、４種類の画素のフィルタ配置において、カラーフィルタを下記の条件で、設計するとＩＲを分離できる。フィルタ配置は、図１７に示すように２×２の配置において、４類のフィルタ部Ａ、Ｂ、Ｃ、Ｄが１つずつ備えられることが好ましい。
また、可視の波長帯においてなるべく下記の関係が成り立つようにＡ，Ｂ，Ｃ，Ｄの各フィルタ部を設計することが好ましい。すなわち、可視光帯域において、
ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ≒０
とする。なお、Ａ，Ｂ，Ｃ，Ｄは、各フィルタ部の可視光帯域の撮像センサ１からの出力信号のレベルを示すものである。

可視光帯域より長波長側のＩＲ領域は、ＩＲの透過率が、Ａ、Ｂ、Ｃ、Ｄの各フィルタ部の上述の第３の波長帯域で略一定となるものとする。なお、ＩＲの透過率が、Ａ、Ｂ、Ｃ、Ｄの各フィルタ部で、あるＩＲ透過率の略整数倍になるものであってもよい。このように設計すると（ここでは、ＩＲの透過率が上述のように一定とする）、
Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ）≒ＩＲ（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
であるから、ＩＲ信号は、
ＩＲ’＝（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
により計算できる。
下記の計算により、Ａ，Ｂ，Ｃ，Ｄの各画素に含まれるＩＲ成分を補正できる。
Ａ’＝（Ａ＋ＩＲ）−（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）＝Ａ−（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
Ｂ’＝Ｂ＋ＩＲ−（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）＝Ｂ−（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
Ｃ’＝Ｃ＋ＩＲ−（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）＝Ｃ−（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
Ｄ’＝Ｄ＋ＩＲ−（Ｋａ（Ａ＋ＩＲ）＋Ｋｂ（Ｂ＋ＩＲ）＋Ｋｃ（Ｃ＋ＩＲ）＋Ｋｄ（Ｄ＋ＩＲ））／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）＝Ｄ−（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）
ここで、誤差分は、
（ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ）／（Ｋａ＋Ｋｂ＋Ｋｃ＋Ｋｄ）である。この誤差分は、ＲＧＢマトリクスにおいて補正ができる。
実際、各フィルタ部についてのＩＲ成分の透過率は、多少異なるため、下記のとおり、係数補正した信号で補正する。

Ａ’＝Ａ＋ＩＲ＊ＫＩＲａ−ＫＩＲａ（Ｋａ（Ａ＋ＩＲ＊ＫＩＲａ）＋Ｋｂ（Ｂ＋ＩＲ＊ＫＩＲｂ）＋Ｋｃ（Ｃ＋ＩＲ＊ＫＩＲｃ）＋Ｋｄ（Ｄ＋ＩＲ＊ＫＩＲｄ）） ／（Ｋａ＊ＫＩＲａ＋Ｋｂ＊ＫＩＲｂ＋Ｋｃ＊ＫＩＲｃ＋Ｋｄ＊ＫＩＲｄ）

Ｂ’＝Ｂ＋ＩＲ＊ＫＩＲｂ−ＫＩＲｂ（Ｋａ（Ａ＋ＩＲ＊ＫＩＲａ）＋Ｋｂ（Ｂ＋ＩＲ＊ＫＩＲｂ）＋Ｋｃ（Ｃ＋ＩＲ＊ＫＩＲｃ）＋Ｋｄ（Ｄ＋ＩＲ＊ＫＩＲｄ）） ／（Ｋａ＊ＫＩＲａ＋Ｋｂ＊ＫＩＲｂ＋Ｋｃ＊ＫＩＲｃ＋Ｋｄ＊ＫＩＲｄ）

Ｃ’＝Ｃ＋ＩＲ＊ＫＩＲｃ−ＫＩＲｃ（Ｋａ（Ａ＋ＩＲ＊ＫＩＲａ）＋Ｋｂ（Ｂ＋ＩＲ＊ＫＩＲｂ）＋Ｋｃ（Ｃ＋ＩＲ＊ＫＩＲｃ）＋Ｋｄ（Ｄ＋ＩＲ＊ＫＩＲｄ））／（Ｋａ＊ＫＩＲａ＋Ｋｂ＊ＫＩＲｂ＋Ｋｃ＊ＫＩＲｃ＋Ｋｄ＊ＫＩＲｄ）

Ｄ’＝Ｄ＋ＩＲ＊ＫＩＲｄ−ＫＩＲｄ（Ｋａ（Ａ＋ＩＲ＊ＫＩＲａ）＋Ｋｂ（Ｂ＋ＩＲ＊ＫＩＲｂ）＋Ｋｃ（Ｃ＋ＩＲ＊ＫＩＲｃ）＋Ｋｄ（Ｄ＋ＩＲ＊ＫＩＲｄ）） ／（Ｋａ＊ＫＩＲａ＋Ｋｂ＊ＫＩＲｂ＋Ｋｃ＊ＫＩＲｃ＋Ｋｄ＊ＫＩＲｄ）

なお、ＤＢＰＦを使った時の各フィルタの分光透過特性は、図１１に示すようになる。なお、フィルタ部の例としては、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、Ｃ＋ＩＲとなる４種類のフィルタ部を使った例であるが、ＩＲの部分が一定または互いに整数倍の関係となり、ＫａＡ＋ＫｂＢ＋ＫｃＣ＋ＫｄＤ≒０となるようにカラーフィルタが設計されていれば、各フィルタ部は、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲ、Ｃ＋ＩＲに限られるものではない。

図１８に、Ｂのフィルタ部とＤＢＰＦ５を合わせた分光透過を示し、図１９に、Ｇのフィルタ部とＤＢＰＦ５を合わせた分光透過を示し、図２０に、Ｂのフィルタ部とＤＢＰＦ５を合わせた分光透過を示し、図２１に、Ｃ（Ｗ）のフィルタ部とＤＢＰＦ５を合わせた分光透過を示す。

各分光透過特性は、上述の各式に示すように、可視のＲ透過域、可視のＧ透過域、可視のＢ透過域、ＩＲ透過領域の４つの透過率を足し合わせたものになっている。このことから、４種類以上のフィルタの値から、各可視のＲ透過域、可視のＧ透過域、可視のＢ透過域、ＩＲ透過領域の信号値を計算できる。なお、分光透過特性は、上述の各Ａ、Ｂ、Ｃ、Ｄの各分光透過特性を示す式に基づいて決定され。これらのうちの二つのフィルタの分光透過特性の組み合わせから６通り決定される。

次に、本発明の第５の実施の形態を説明する。可視光帯域の信号と、それより長波長側の赤外の信号を出力する撮像センサ１をスマートフォン等に搭載する場合に、スマートフォン側では、撮像センサ１からの信号を処理する回路が、メインの演算処理装置として機能するＳＯＣ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ）上にある場合に、撮像センサから出力されるＲＧＢの信号が上述のようにＩＲ成分を含み、このＩＲ成分を除去するような処理を必要とすると、ＳＯＣの設計変更を余儀なくされる可能性がある。また、スマートフォンにＳＯＣ以外に上述のＩＲ補正を行う回路を設ける必要が生じる。これらの場合に、可視光と赤外の両方の画像信号を出力可能な撮像センサのスマートフォン等の機器への導入に際して、撮像センサ以外の部分でもコストの増加が生じてしまう。

そこで、本実施の形態では、撮像センサ１からの可視光帯域から出力される画像信号を従来と同様の信号とする回路を撮像センサに組み込んだものである。図２２に示すように、撮像センサ１０１は、上述の撮像センサ１と略同様の構成となる撮像部１０２と、ＩＲ補正・分離回路１０３を備えるものとなっており、ＩＲ補正・分離回路１０３からは、例えば、可視のＲＧＢ信号と、ＩＲ信号が出力される。なお、ＩＲ補正・分離回路１０３は、字後述の信号レベルのクリップに係わる処理行う回路を含む。

この場合に、ＲＧＢ信号とＩＲ信号を出力するため、撮像センサ１０１のピン数が増加するが、ＣＳＩ−２などのシリアル出力規格で出力することにより、ピン数の増加を抑えることができる。ここで、可視のＲＧＢ信号は、ＲＧＢＧのベイヤ配列の撮像センサのＲＡＷ信号出力、または、ＹＵＹＶ（ＹＣｂ、ＹＣｒ）信号として出力する。また、ＩＲ信号を単色の信号として出力することにより、スマートフォンやフューチャーフォンのＳＯＣを変更することなく、ＲＧＢ−ＩＲセンサ、ＲＧＢ−Ｃセンサにより、可視と近赤
外の同時撮像を活用できる。

撮像センサ１０１の構造は、例えば、図２３に示すように積層型のスタック構造となり、例えば、１枚の基板１１０上にＩＲ補正・分離回路１０３を構成する集積回路のチップを搭載するとともに、その上に重ねて、撮像部１０２を構成するチップが配置される。撮像部１０２の上にはカバーガラス１１１が配置されている。基板１１０の底面には、半田ボール１１５が配置されている。

また、図２４に示すように、撮像センサ１０１の構造は、２枚の基板１１０を上下に間隔をあけて上下に重ねて配置し、下の基板１１０上にＩＲ補正・分離回路１０３のチップを配置し、上の基板１１０上に撮像部１０２のチップを配置し、その上にカバーガラス１１１を配置するようになっていてもよい。

現在、積層のスタック構造で、小型のパッケージを実現することが可能である。すなわち、ＩＲ補正・分離回路１０３と撮像部１０２を上述のように上下に積層して、１パッケージのセンサとすることは可能である。この方法でも、１パッケージで、ＩＲ補正・分離回路を内蔵する撮像センサ１０１を実現することができる。このように、補正分離回路を内蔵しなくても、小型の可視／近赤外光の同時撮像が可能で、スマートフォンなどに活用できる小型のセンサを実現できる。スマートフォンでは、ＩＲセンサにより虹彩認証などの生体認証、３Ｄキャプチャなどの機能をもち、かつ、可視の動画／静止画の撮像を、１つのセンサで実現できる。

すなわち、赤外センサを用いて、生体認証等を行う場合には、例えば、赤外センサをカメラと別に設置することが考えられるが、この場合に新たな赤外センサの追加により、コストアップやスペース効率の悪化等が考えられるがこれらを抑制することができる。

図２５に、ＩＲ補正＋内挿によるＲＧＢのベイヤ配置と同様の信号出力の模式図を示す。水平垂直走査で、Ｒ、ＩＲ、Ｒ、ＩＲ、・・・／Ｇ、Ｂ、Ｇ、Ｂ、・・・と線順次で、Ｒ／ＩＲとＧ／Ｂが出力され、この信号に対して、ＩＲ補正／ＩＲ分離を行い、また、ＩＲの画素の位置は、近傍のＧ信号より内挿してＧ’信号を生成して、Ｒ、Ｇ’、Ｒ、Ｇ’、・・・／Ｇ、Ｂ、Ｇ、Ｂ、・・・と線順次で、可視のＲ／Ｇ’とＧ／Ｂ信号、および、分離したＩＲ信号を出力する。可視のＲ／Ｇ’とＧ／Ｂ信号は、従来のＲＧＢのベイヤ配列のセンサの出力形式と同じであるため、信号処理側では、従来と同じ信号処理回路で処理を行うことができる。また、ＩＲ信号は、そのまま、単色の信号であるため、信号処理部では、やはり、通常の白黒信号の処理で処理が可能である。

以上の構成により、従来の信号処理回路で、処理回路の変更を最少にして、ＲＧＢ−ＩＲセンサの出力を処理することができ、また、スマートフォンなどで、スペースの増加なく、ＩＲ撮像による生体認証、３Ｄキャプチャなどの新規の機能を実装することが可能となる。

また、以上は、ＲＧＢ−ＩＲセンサについて、説明したが、ＲＧＢ−Ｃセンサを使う可視／近赤外同時撮像においても、ＩＲ補正分離の回路をセンサに内蔵して、従来のＲＧＢのベイヤ配列のセンサの出力形式の可視信号と、ＩＲ信号を出力するように構成することにより、同様の効果を得ることができる。

次に、本発明の第６の実施の形態を説明する。
図２６に示すように、本実施の形態の撮像装置１０は、撮影用の光学系であるレンズ１１と、ＤＢＰＦ５を備えた撮像センサ１と、撮像センサ１から出力される出力信号１３を処理して、上述の内装処理や、カラー撮影時の第２の波長帯域を通過した赤外光の影響を除去する画像処理や、ガンマ補正や、ホワイトバランスや、ＲＧＢマトリックス補正等の画像処理を画像信号に施す信号処理部（信号処理デバイス：減算制御デバイス）１２とを備える。信号処理部１２からは可視のカラー画像の出力信号１４（可視画像信号）と、赤外光画像の出力信号１５（赤外画像信号）が出力可能になっている。

レンズ１１は、撮像装置１０の撮像センサ１上に像を結ぶ光学系を構成するものである。レンズ１１は、例えば、複数のレンズから構成されている。

撮像センサ（イメージセンサ）１は、例えば、図２７に示すように、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであるセンサ本体２と、センサ本体２の各画素に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（ＩＲ）の各領域（各色のフィルタ）を所定の配列で配置したカラーフィルタ３と、センサ本体２およびカラーフィルタ３上を覆うカバーガラス４と、カバーガラス４上に形成されたＤＢＰＦ（ダブル・バンド・パス・フィルタ）５とを備える。

センサ本体２は、ＣＣＤイメージセンであり、各画素に受光素子としてのフォトダイオードが配置されている。なお、センサ本体２は、ＣＣＤイメージセンサに代えてＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ・Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサであってもよい。

センサ本体２には、カラーフィルタ３が設けられている。ここで、赤Ｒ、緑Ｇ、青Ｂの各領域があるが赤外ＩＲの領域がないベイヤー配列のカラーフィルタは、基本パターンとなる縦４×横４の１６個の領域を有し、８個の領域がＧの領域とされ、４個の領域がＲとされ、４個の領域がＢとされている。それに対して、本実施の形態のカラーフィルタ３としては、図２８に示すように、ベイヤー配列における８個のＧの領域のうちの４個をＩＲの領域とすることにより、Ｒが４個、Ｇが４個、Ｂが４個、ＩＲが４個となっている。なお、ＩＲの領域を含むカラーフィルタは、図２８に示すカラーフィルタ３に限られるものではなく、様々な配列のカラーフィルタを用いることができる。また、ＲＧＢの各領域は、一般的なＲＧＢのフィルタであるが、各色の波長範囲に透過率のピークを備えるとともに、近赤外の波長域に透過性を備えることから、図２８において、赤の領域をＲ＋ＩＲとし、緑の領域をＧ＋ＩＲとし、青の領域をＢ＋ＩＲとした。

本実施の形態におけるＲの領域、Ｇの領域およびＢの領域の透過率スペクトルは、図２９のグラフに示すようになっている。すなわち、カラーフィルタ３の赤（Ｒ）、緑（Ｇ）、青（Ｂ）、赤外（ＩＲ）の各フィルタの透過率スペクトルが示されており、縦軸が透過率を示し、横軸が波長となっている。グラフにおける波長の範囲は、可視光帯域と近赤外帯域の一部を含むもので、例えば、３００ｎｍ〜１１００ｎｍの波長範囲を示している。

例えば、Ｒの領域は、グラフのＲ（二重線）に示すように、波長６００ｎｍで略最大の透過率となり、その長波長側は、１０００ｎｍを超えても透過率が略最大の状態が維持された状態となる。Ｇの領域は、グラフのＧ（間隔の広い破線）に示すように、波長が５４０ｎｍ程度の部分に透過率極大となるピークを有し、その長波長側の６２０ｎｍ程度の部分に、透過率極小となる部分がある。また、Ｇの領域は、透過率極小となる部分より長波長側が上昇傾向となり、８５０ｎｍ程度で透過率が略最大となる。それより長波長側では、１０００ｎｍを超えても透過率が略最大となった状態となっている。Ｂの領域は、グラフのＢ（間隔の狭い破線）に示すように、波長が４６０ｎｍ程度の部分に透過率が極大となるピークを有し、その長波長側の６３０ｎｍ程度の分部に、透過率が極小となる部分がある。また、それより長波長側が上昇傾向となり、８６０ｎｍ程度で透過率が略最大となり、それより長波長側では、１０００ｎｍを超えても透過率が略最大となった状態となっている。ＩＲの領域は、７８０ｎｍ程度から短波長側の光を遮断し、１０２０ｎｍ程度から長波長側の光を遮断し、８２０ｎｍ〜９２０ｎｍ程度の部分が、透過率が略最大となっている。

Ｒ，Ｇ，Ｂ，ＩＲの各領域の透過率スペクトルは、図２９に示すものに限られるものではないが、現在、一般的に使用されているカラーフィルタ３では、これに近い透過率スペクトルを示すと思われる。なお、透過率を示す縦軸の１は、光を１００％透過することを意味するものではなく、カラーフィルタ３において、例えば、最大の透過率を示すものである。

カバーガラス４は、センサ本体２およびカラーフィルタ３を覆って保護するものである。ＤＢＰＦ５は、ここでは、カバーガラス４に成膜された光学フィルタである。ＤＢＰＦ５は、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタである。なお、ＤＢＰＦ５の配置位置は、カバーガラス４に限られるものではなく、撮像センサ１の他の場所に配置されてもよい。また、ＤＢＰＦ５の配置位置は、撮像センサ１に限られるものではなく、レンズ１１を含み、撮像センサ１に像を結ばせる光学系に配置されてもよい。

図２９のグラフに示すように、ＤＢＰＦ５は、グラフでＤＢＰＦ（実線）に示すように、ＤＢＰＦ（ＶＲ）で示す可視光帯域と、可視光帯域に対して長波長側の少し離れた位置のＤＢＰＦ（ＩＲ）で示す赤外帯域（第２の波長帯域）の２つの帯域の透過率が高くなっている。また、可視光帯域の透過率の高い帯域としてのＤＢＰＦ（ＶＲ）は、例えば、３７０ｎｍ〜７００ｎｍ程度の波長帯域となっている。また、赤外側で透過率が高い第２の波長帯域としてのＤＢＰＦ（ＩＲ）は、例えば、８３０ｎｍ〜９７０ｎｍ程度の帯域となっている。

本実施の形態では、上述のカラーフィルタ３の各領域の透過率スペクトルと、ＤＢＰＦ５の透過率スペクトルの関係が以下のように規定されている。すなわち、ＤＢＰＦ５の透過率スペクトルの赤外光を透過する第２の波長帯域となるＤＢＰＦ（ＩＲ）は、Ｒの領域、Ｇの領域、Ｂの領域の全てがほぼ最大の透過率となって各領域で透過率が略同じとなる図２９に示す波長帯域Ａ内に含まれ、かつ、ＩＲの領域の略最大の透過率で光を透過する波長帯域Ｂ内に含まれるようになっている。

ここで、Ｒ，Ｇ，Ｂの各領域の透過率が略同じになる波長帯域Ａとは、各領域の透過率の差が透過率で１０％以下である部分とする。なお、この波長帯域Ａより短波長側（波長帯域Ｃ）では、透過率が略最大のＲの領域に対して、Ｇ、Ｂの領域の透過率が低くなる。ＤＢＰＦ５では、このＲ，Ｇ，Ｂの各領域の透過率に差がある部分が、可視光帯域の透過率が高い部分であるＤＢＰＦ（ＶＲ）と、赤外光帯域の第２の波長帯域の透過率の高い部分であるＤＢＰＦ（ＩＲ）との間のＤＢＰＦ５の光を略遮断する透過率が極小となる部分に対応する。すなわち、赤外側では、Ｒ，Ｇ，Ｂの各領域の透過率の差が大きくなる部分の光の透過がカットされ、それより長波長側で各領域の透過率が略最大となって透過率が略同じになる波長帯域Ａで光を透過するようになっている。

以上のことから、本実施の形態において、赤外光カットフィルタに代えて用いられるＤＢＰＦ５では、可視光帯域だけではなく、赤外光側の第２の波長帯域にも光を透過する領域があるため、可視光によるカラー撮影に際して、第２の波長帯域を通過した光の影響を受けることになるが、上述のように第２の波長帯域がＲ，Ｇ，Ｂの各領域で透過率が異なる部分の光を透過せず、各領域の透過率が略最大となって略同じ透過率となる波長帯域の光だけを透過するようになっている。

また、ＤＢＰＦ５の第２の波長帯域においては、ＩＲの領域で透過率が略最大となる部分の光を透過するようになっている。したがって、略同じ光が照射される極めて近接した４つの画素にＲ，Ｇ，Ｂ，ＩＲの領域がそれぞれ設けられていると仮定した場合に、第２の波長帯域においては、Ｒの領域、Ｇの領域、Ｂの領域、ＩＲの領域で略同様に光が通過することになり、赤外側の光としては、ＩＲを含む各領域で略同じ光量の光が撮像センサ本体２の上述の画素のフォトダイオードに至ることになる。すなわち、Ｒ，Ｇ，Ｂの各フィルタを透過する光のうちの赤外側の第２の波長帯域を通過する光の光量は、ＩＲの領域を通過する光の光量と同様となる。上述のように仮定した場合に、基本的にＲ，Ｇ，Ｂの各フィルタを透過した光を受光したセンサ本体２からの上述のように仮定された画素の出力信号とＩＲのフィルタを通過した光を受光したセンサ本体２からの上述のように仮定された画素の出力信号との差分が、各Ｒ，Ｇ，Ｂの領域で通過した赤外側の光をカットしたＲ，Ｇ，Ｂそれぞれの可視光部分の出力信号となる。

実際には、カラーフィルタ３（３ａ，３ｂ，３ｃ）の各パターンに示したように、センサ本体２の画素毎にＲ，Ｇ，Ｂ，ＩＲのいずれか１つの領域が配置されることになり、各画素に照射される各色の光のそれぞれの光量が異なるものとなる可能性が高いので、例えば、各画素において、周知の内挿法（補間法）を用いて、各画素の各色の輝度を求め、この補間された各画素のＲ，Ｇ，Ｂの輝度と、同じく補間されたＩＲの輝度との差分をそれぞれＲ，Ｇ，Ｂの輝度とすることが可能である。なお、Ｒ，Ｇ，Ｂの各色の輝度から赤外光成分を除く画像処理方法は、これに限られるものではなく、最終的にＲ，Ｇ，Ｂの各輝度から第２の波長帯域を通過した光の影響をカットできる方法であれば、いずれの方法を用いてもよい。いずれの方法においても、ＤＢＰＦ５が、赤外側でＲ，Ｇ，Ｂの領域の透過率が１０％より異なる部分、すなわち、透過率が所定割合より異なる部分をカットしているので、各画素において、赤外光の影響を除く処理が容易となる。

また、この撮像センサ１の用途としては、カラー撮影と、赤外光撮影との両方が可能な撮像装置において、撮像センサとして用いることである。一般的には、通常の撮影をカラー撮影で行い、夜間に可視光の照明を用いることなく、人間には認識困難な赤外光の照明を用いて赤外撮影することが考えられる。例えば、各種監視カメラ等において、夜間照明を必要としないか、夜間照明されないことが好ましい場所での夜間撮影に際し、赤外光照明を用いた赤外光による夜間撮影を行うことが考えられる。また、野生動物の観察のための昼間の撮影と夜間の撮影などの用途にも用いることができる。

赤外光撮影を夜間撮影として用いる場合には、赤外光であっても可視光と同様に、夜間は光量が不足するので、赤外光照明が必要となる。図２９に示すＤＢＰＦ５の透過率スペクトルは、Ｒ，Ｇ，Ｂ，ＩＲの各領域の透過率スペクトルと、赤外光照明用の光、例えば、照明用赤外光ＬＥＤの発光スペクトルを考慮して決定する。

このような撮像センサにあっては、ＤＢＰＦ５の赤外側で光を透過する第２の波長帯域が、Ｒ，Ｇ，Ｂ，ＩＲの各領域の赤外側で、各領域の透過率が略最大となって、各領域の透過率が略同じとなる波長帯域Ａに含まれるとともに、ＩＲの領域の透過率が略最大となる波長帯域Ｂに含まれる。言い換えれば、可視光帯域より長波長側で、Ｒ，Ｇ，Ｂの各フィルタの透過率がＲのフィルタ部だけ略最大となって、Ｇ、Ｂの領域は透過率が略最大となっていないことにより、Ｒ，Ｇ，Ｂの各領域の透過率が略同じとならずに異なる部分の光は、ＤＢＰＦ５によりカットされる。

すなわち、Ｒ，Ｇ，Ｂ，ＩＲの各領域では、赤外側で第２の波長帯域の光が透過するようになっていることから各領域における赤外側の透過率が全て略同じとなり、第２の波長帯域となる光が同じ光量で照射されれば、Ｒ，Ｇ，Ｂ，ＩＲの各領域における透過光量が同じになる。これにより、上述のようにＲ，Ｇ，Ｂの各領域に対応する画素からの出力信号に基づく色を補正し、カラー撮影時の色の第２の波長帯域を通過する赤外光による影響を抑制した画像を容易に得ることができる。

また、第２の波長帯域を上述の波長帯域Ａと波長帯域Ｂに含まれる赤外光照明の発光スペクトルのピークに対応させることにより、赤外光照明の光を効率的に用いられるとともに、第２の波長帯域の幅を狭めて、カラー撮影時に、第２の波長帯域を通過する赤外光の影響を小さくすることができる。

すなわち、ＤＢＰＦ５を使うことにより、撮像センサ１のＲＧＢの各信号の値からそれぞれＩＲの信号の値を減算することにより高精度の補正が可能になる。ここで、信号処理部１２を詳細に説明する前に撮像装置における撮像処理方法を説明する。例えば、撮像センサ１の各色の画素の受光成分は、以下に示すように、各色の成分にＩＲの成分を加えた状態となっている。

Ｒ画素Ｒ＋ＩＲ
Ｇ画素Ｇ＋ＩＲ
Ｂ画素Ｂ＋ＩＲ
ＩＲ画素ＩＲ

そこで、以下に示すように、ＩＲの画素を除くＲＧＢの各画素の受光成分からＩＲ成分を除くＩＲ補正を行う。

Ｒ信号（Ｒ画素出力）―（ＩＲ画素出力）＝（Ｒ＋ＩＲ）−ＩＲ＝Ｒ
Ｇ画素（Ｒ画素出力）―（ＩＲ画素出力）＝（Ｇ＋ＩＲ）−ＩＲ＝Ｇ
Ｂ画素（Ｒ画素出力）―（ＩＲ画素出力）＝（Ｂ＋ＩＲ）−ＩＲ＝Ｂ
これにより、ＤＢＰＦ５を透過するとともにカラーフィルタを透過するＩＲ成分をカラーフィルタのＩＲ以外の各色の領域から除外することができる。

但し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれ各光源に対する感度が異なることと、撮像センサ１の各画素にはダイナミックレンジがあり、ダイナミックレンジを超えた電荷は読み出せず、撮像センサからの出力はクリップされて頭打ちとなる。すなわち、入力される光がダイナミックレンジを越えると、出力される信号がクリップされて切り取られた状態となる。この結果、下記のとおり、補正後のＲ信号、Ｇ信号、Ｂ信号には、誤差が生じ、不自然な輝度レベル（ハイライト部の輝度が落ちる）、ハイライトでの色付きなどの問題が生じる。

図３０〜図３２は、ダイナミックレンジを越えた状態で、各色の成分からＩＲの成分を減算した場合の問題を説明するための図であり、図３０がＲの場合を示し、図３１がＧの場合を示し、図３２がＢの場合を示す。図３０〜図３２に示されるグラフは、縦軸が撮像センサ１の各色の画素からの信号の出力レベルを示し。横軸が撮像センサ１の１つの画素の出力レベルの時間経過を示すか、または、画素の列上の位置（例えば、Ｙ軸上の各画素の位置）を示す。ここでは、例えば、横軸をＹ軸上の画素の位置とする。したがって、グラフは、各色の各画素におけるＹ軸上の位置による信号の出力レベルの変化を示している。図３３は、図３０〜図３２に示す各色に対して、ＩＲの信号の出力レベルを示すもので、上述の各グラフのＲＧＢの各画素の場合と同様にＹ軸上の各画素の位置の出力レベルを示している。

図３０〜図３２のそれぞれに示す上側のグラフがＹ軸上の位置の違いに伴ってダイナミックレンジを越えた状態の信号の出力レベルを示している、すなわち、各画素の信号の出力レベルは、Ｙ軸上の位置が右方向に変化するのに伴って上昇した後に下降し、ＩＲを除くＲＧＢでは、ダイナミックレンジを越えてクリップされた状態となっている。なお、撮像センサ１の各画素においては、画素飽和レベルまでしか電荷を読み取ることができず、画素飽和レベル以上は電荷を読み出せずに出力レベルがクリップされた状態となる。また、ＲＧＢの各画素の信号の出力レベルには、ＩＲの信号の出力レベルが含まれているので、それぞれ、Ｒ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲとなり、ＲＧＢの出力レベルはＩＲの信号の出力レベルよりそれぞれＲＧＢのＩＲを含まない単独の出力レベル分だけ高くなっている。したがって、ＩＲの画素ではダイナミックレンジを越えず、ＲＧＢではダイナミックレンジを越える状態が発生し易い

図３０〜図３２において、画素飽和レベルを超えて点線で示されるグラフは、クリップされなかった場合の出力レベルを示すものである。図３０〜図３２に示す下側のグラフは、上側のＩＲを含む出力レベルからＩＲの出力レベルを減算した場合を示す。ここで、上に凸となった部分は、上述の点線で示されるクリップされなかった場合のＲＧＢの各信号の出力レベルからＩＲの信号の出力レベルを減算した場合を示している。しかし、実際には、減算前のＲＧＢの各信号は、クリップされた状態なので、ここから出力レベルが位置の違いに伴って山状となったＩＲの出力レベルを減算した場合が、上に凸となった下側のグラフから矢印で示すように下側に凹んだ状態の下側のグラフで示される状態となる。

このように元々は、一列の各画素の中央部の出力レベルが高くなる山状の出力レベルのはずが、上述のように元の出力レベルがダイナミックレンジを越えてクリップされ、画素飽和レベルで水平となった出力レベルからダイナミックレンジを越えずに山状となっているＩＲの出力レベルを減算することによって、本来は、最も出力レベルが高い部分が逆に凹んだ状態となっている。

画素飽和レベルを超えた場合に、各色の画素の画像信号の出力レベルは頭打ちとなるが、その時にＩＲは、未だ、画素飽和レベルより低く、他の色が画素飽和レベルを超えた後も輝度が高くなればなるほど、ＩＲの出力レベルが高くなる。すなわち、輝度がさらに高くなってもＲＧＢの各画素の信号の出力レベルは、クリップされて高くならないのに、これらから減算されるＩＲの出力信号は高くなる。したがって、ＲＧＢの各出力レベルからＩＲの出力レベルを減算した出力レベルは輝度が高くなると下がることになる。これにより、出力レベルが最も高いはずの部分で出力レベルが逆に落ちてしまうことになり、ハイライト部で輝度が落ちることになる。また、ＲＧＢの各出力レベルが全て画素飽和レベルを超えた部分は、白となるはずが、ＲＧＢそれぞれで下に凸となる際の出力レベルに差が生じ、ハイライト部が白とならずに色が付いた状態となってしまう。

そこで、ＲＧＢの各画素の信号の出力レベルからＩＲの信号の出力レベルを減算する際に、ＲＧＢの各画素の信号の出力レベルがダイナミックレンジを越えることにより、画素飽和レベルでクリップされる場合に、減算するＩＲの出力レベルを下げてから減算する。すなわち、ＲＧＢの各出力レベルから減算されるＩＲ信号の出力レベルの値においては、図３３、図３４に示すように、ＲＧＢの各画素の信号の出力レベルから減算されるＩＲの信号の出力レベルは、ダイナミックレンジを越えずに、画素飽和レベルより下側であっても、出力レベルがクリップされるように、ＲＧＢの各信号（各成分）に対応して制限値を設定し、当該制限値以上となる出力レベルは、設定された制限値でクリップ（頭打ちとなるように制限）された状態とする。

このようにＲＧＢ毎に設定された制限値でクリップされるＩＲ信号をＲＧＢの各信号から減算した場合に、図３０〜３２に示した場合と異なり、減算するＩＲ信号が制限値でクリップされているので、図３５（ａ）、（ｂ）、（ｃ）に示すように、輝度が高くなった際に逆にＲＧＢの各信号の出力レベルが低くなるようなことなく、減算後の信号飽和レベルでクリップされた状態となる。この信号飽和レベルは、ＲＧＢの各信号の画素飽和レベルからＩＲ信号のＲＧＢに対応する各制限値を減算した値である。したがって、ハイライト部での輝度の低下といった現象が生じなくなる。なお、ＲＧＢの各信号のＩＲ信号減算後に生じる信号飽和レベルは、ＲＧＢの各信号がダイナミックレンジを越えた場合に、画素飽和レベルからＩＲ信号の制限値が減算されることから、画素飽和レベルより低いレベルとなる。また、ＩＲ信号減算後のＲＧＢの各信号の信号飽和レベルは、後述のように色毎に異なる。なお、図３４に示すＩＲ信号の出力レベルのクリップされる位置（ＩＲ信号の制限値）は、減算されるＲＧＢの信号毎に異なるとともに状況により変化する。

すなわち、各ＲＧＢ信号の補正を行う時のＩＲ信号の出力レベルの制限値（クリップレベル）は、ＲＧＢの各色に対応して、撮像センサ１の分光感度、光源の色温度、光源の種類により、適切なクリップレベルは変わる。このレベルは、計算により一律に求めるのは難しいが、各光源（色温度）に対してセンサより出力される各ＲＧＢ信号の出力レベル、ＩＲ信号の出力レベルを測定することにより、決定できる。なお、撮像センサ１の分光感度は、撮像センサ１によって決まる。また、光源の種類によって、色温度がある程度決まることになる。したがって、色温度に基づいて、上述のＩＲの出力レベルがクリップされる各ＲＧＢの信号に対応したＩＲ信号の値の制限値を求める必要がある。

カメラでは、光源の色温度の変化により、各ＲＧＢ信号のレベルが変わる。例えば、色温度が低い光源に対しては、Ｒ信号が増加し、Ｂ信号が減少する。また、色温度が高い光源に対しては、Ｂ信号が増加し、Ｒ信号が減少する。この結果、色温度が低い場合は、赤みがかった画像になり、色温度が高い場合は、青みがかった画像となる。このため、色の再現性が、光源の色温度変化により変わる。この色再現性を安定化するため、ＲＧＢ信号のレベルを一定にするホワイトバランス処理（ＷＢ）が行われる。

ホワイトバランス処理は、色信号より、光源の色温度を測定して、ＲＧＢの各色信号の利得を調整することにより行う。現在は、画像信号よりホワイトバランス検出を行い、検出した結果により、制御する方式が一般的である。例えば、ＲＧＢのゲイン調整回路（図３８の制御回路２１に含まれる）と、ホワイトバランス検出回路２６（図３８に図示）とにより、フィードバック制御ループを構成して、ホワイトバランス検出回路２６で、Ｒ−Ｙ信号、Ｂ−Ｙ信号、または、Ｒ、Ｇ、Ｂ信号を積分する。Ｒ−Ｙ信号、Ｂ−Ｙ信号を積分する場合は、これらの積分値が０となるように制御し、また、Ｒ、Ｇ、Ｂ信号を積分する場合は、各積分値が等しくなるように各ＲＧＢ信号の利得を制御する。

この時、各ＲＧＢ信号の利得より、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれの比を求めることができ、光源の色温度を決定する情報となる。この情報により、ＩＲ補正時のＩＲ信号の各ＲＧＢ信号に対する制限値（クリップレベル）を決定する。

なお、映像信号のコンポーネント方式は、三原色に対応したＲＧＢを成分とするＲＧＢ方式と、ＲＧＢから輝度信号および色差信号に変換した輝度−色差を用いる色差方式とがある。色差方式には、Ｙ、Ｃｂ、Ｃｒを用いる方式やＹ、Ｐｂ、Ｐｒ用いる方式などが知られている。Ｙは輝度であり、ＣｂおよびＰｂは、（Ｂ（青）−Ｙ（輝度））に係数を乗算したものであり、ＣｒおよびＰｒは、（Ｒ（赤）−Ｙ（輝度））に係数を乗算したものであり、ＣｂおよびＰｂがＢ−Ｙ信号であり、ＣｒおよびＰｒがＲ−Ｙ信号である。

例えば、Ｙ、Ｃｂ、Ｃｒは、Ｒ、Ｇ、Ｂに対して以下の式で表される。
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ
Ｃｂ＝０．５６４＊（Ｂ−Ｙ）＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５００＊Ｂ
Ｃｒ＝０．７１３＊（Ｒ−Ｙ）＝０．５００＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ
色差方式は、明るさを表す成分（輝度）と、二つの色信号と輝度信号の差分を表す成分（色差）とにＲＧＢ信号を再構成するもので、人間の目は色の解像度が劣化しても気づきにくいことから、例えば、伝送時には色差の情報量を１／２に削減することで、ＲＧＢと比較すると２／３の処理量となる。

以下、このクリップレベル（制限値）の設定方法を、例を用いて説明する。まず、ホワイトバランス処理において、ＲＧＢの各信号の利得を求める処理を説明する。ホワイトバランス検出は、白色と考える領域を設定するとともに、設定された白色の領域を検知して、この領域において行う。すなわち、白と考えられる領域の各画素の色差信号のＢ−Ｙ信号とＲ−Ｙ信号とをそれぞれ積分した場合に、これらの積分した値が０となるように、Ｂ−Ｙ信号とＲ−Ｙ信号の利得を調整する。または、ＲＧＢの各信号をそれぞれ積分した値が互いに等しくなるように各Ｒ、Ｇ、Ｂ信号の利得を調整する。

ホワイトバランス検出における白と考えらえる領域の一例を図３６（ａ）、（ｂ）に示す。図３６（ａ）に示すように、Ｂ−Ｙ、Ｒ−Ｙ平面上において、白となる点の色温度による移動軌跡の近傍に、白の検出エリアを設定する。また、図３６（ｂ）に示すように、輝度信号レベルに対して白の検出範囲（例えば白レベルの７０％以上１０５％未満）を設定する。色差方式において、色差信号が白の検出エリアにあり、かつ、輝度信号が白の検出範囲内にある時に、その画素が白の領域にあることになり、この領域内にある画素のＲ、Ｇ、Ｂの各信号または色差方式のＢ−Ｙ信号およびＲ−Ｙ信号を積分する。
または、Ｒ、Ｇ、Ｂの積分値が等しくなるように各Ｒ、Ｇ、Ｂ信号の利得を調整する。

例えば、Ｒ、Ｇ、Ｂの積分値が等しくなるように各Ｒ、Ｇ、Ｂ信号の利得を調整した際のＲ、Ｇ、Ｂ、の調整された各利得が色温度情報を示す情報になる。ホワイトバランス処理においては、このように調整されたＲＧＢの各利得をそれぞれ対応するＲＧＢの各信号に乗算することにより、ホワイトバランス処理後のＲＧＢの各信号を得ることができる。すなわち、ホワイトバランス後のＲＧＢの各信号は、
（ＷＢ後のＲ信号）＝（Ｒ信号の利得）×（ＷＢ前のＲ信号）
（ＷＢ後のＧ信号）＝（Ｇ信号の利得）×（ＷＢ前のＧ信号）
（ＷＢ後のＢ信号）＝（Ｂ信号の利得）×（ＷＢ前のＢ信号）
となる。

次に、上述のようにホワイトバランス処理で調整されたＲＧＢの各利得を用いて、Ｒ（Ｒ＋ＩＲ）、Ｇ（Ｇ＋ＩＲ）、Ｂ（Ｂ＋ＩＲ）のそれぞれの信号から減算されるＩＲ信号の値の補正値としての制限値を求める方法を説明する。なお、Ｒ（Ｒ＋ＩＲ）、Ｇ（Ｇ＋ＩＲ）、Ｂ（Ｂ＋ＩＲ）の各信号から減算されるＩＲ信号の制限値は、Ｒ（Ｒ＋ＩＲ）、Ｇ（Ｇ＋ＩＲ）、Ｂ（Ｂ＋ＩＲ）の各色信号が画素飽和レベルを超える状態となって、画素飽和レベルでクリップされた場合に、各色信号からＩＲ信号の値を減算する場合の上限となる値である。

ＩＲ信号のＲＧＢの各信号に対応する制限値（クリップレベル）は、画素の飽和レベルをＬｓａｔ、ある色温度において、白色を撮像した時、ＩＲ信号に対してのＲ信号の比をＫｒとして、Ｒ信号におけるＩＲ信号の制限値（クリップレベル）をＬｃｌｉｐ−Ｒとすると次式で表される。

Ｌｓａｔ ＝ Ｌｃｌｉｐ−Ｒ ＋ Ｋｒ＊Ｌｃｌｉｐ−Ｒ
Ｌｃｌｉｐ−Ｒ＝Ｌｓａｔ／（１＋Ｋｒ）
同様に、ＩＲ信号に対してのＧ信号の比をＫｇとし、ＩＲ信号に対してのＢ信号の比をＫｂとするとともに、Ｇ信号におけるＩＲ信号の制限値（クリップレベル）をＬｃｌｉｐ−Ｇとし、Ｂ信号におけるＩＲ信号の制限値（クリップレベル）をＬｃｌｉｐ−Ｂとすると
Ｌｃｌｉｐ−Ｇ ＝ Ｌｓａｔ／（１＋Ｋｇ）
Ｌｃｌｉｐ−Ｂ ＝ Ｌｓａｔ／（１＋Ｋｂ）
となる。
今、白色を撮像した時、Ｒ信号に対してのＧ信号比率をＫｇ／ｒとし、Ｒ信号に対してＢ信号の比率をＫｂ／ｒとすると、上述のように、
（ＷＢ後のＲ信号）＝（Ｒ信号の利得）×（ＷＢ前のＲ信号）
（ＷＢ後のＧ信号）＝（Ｇ信号の利得）×（ＷＢ前のＧ信号）
（ＷＢ後のＢ信号）＝（Ｂ信号の利得）×（ＷＢ前のＢ信号）
であり、よって、
（ＷＢ前のＲ信号）＝（ＷＢ後のＲ信号）／（Ｒ信号の利得）
（ＷＢ前のＧ信号）＝（ＷＢ後のＧ信号）／（Ｇ信号の利得）
（ＷＢ前のＢ信号）＝（ＷＢ後のＢ信号）／（Ｂ信号の利得）
となる。

また、ＷＢ後のＲ信号、Ｇ信号、Ｂ信号は、白色に対しては、等しくなる。したがって、
Ｋｇ／ｒ ＝ （Ｒ信号の利得）／（Ｇ信号の利得）
Ｋｂ／ｒ ＝ （Ｒ信号の利得）／（Ｂ信号の利得）
であり、また、
Ｋｇ ＝ Ｋｒ × Ｋｇ／ｒ
Ｋｂ ＝ Ｋｒ × Ｋｂ／ｒ
であるから、
Ｌｃｌｉｐ−Ｇ ＝ Ｌｓａｔ／（１＋ Ｋｒ×Ｋｇ／ｒ）
Ｌｃｌｉｐ−Ｂ ＝ Ｌｓａｔ／（１＋ Ｋｒ×Ｋｂ／ｒ）
となり、ＩＲ信号の赤のクリップレベルＬｃｌｉｐ−Ｒ、緑のクリップレベルＬｃｌｉｐ−Ｇ、青のクリップレベルＬｃｌｉｐ−Ｂを求めることができる。また、Ｋｂ／ｒは、色温度を示すパラメータとして使用することができる。各色温度において、Ｋｂ／ｒに対するＫｒを測定して、メモリなどに予め記録しておくことにより、ホワイトバランス検出により得た利得と上述の式に基づいて、Ｋｂ／ｒ、および、このＫｂ／ｒに対するＫｒより、各色補正用のＩＲ信号のクリップレベルが決定できる。

また、上記のようにＩＲ補正（ＩＲ信号のクリップレベルの算出）を行った場合、ＲＧＢの各信号のハイライトでの信号飽和レベル（画素飽和レベルに達してクリップされたＲＧＢの各信号から補正後のＩＲ信号（制限値：クリップレベル）を減算した際の各信号のレベル）が必ずしも同じにならない。これは、ハイライトの色付きの原因となり、画質を劣化させる要因になる。このため、ホワイトバランス後に、図３７（ａ）、（ｂ）、（ｃ）に示すように、ＲＧＢのハイライト部分を同じレベル（ＲＧＢクリップレベル）でクリップするように補正する。このことにより、ハイライトでの色付き、輝度の諧調の不自然さはなくなる。

図３７において、縦軸は、ＲＧＢ（Ｒ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲ）の各信号からＩＲ信号を減算した際の出力レベルであり、横軸は、例えば、撮像センサ１上のＹ軸方向の画素の位置または１画素の時間経過を示している。図３７の各グラフにおいて、ＲＧＢそれぞれの信号が画素飽和レベルに達した状態で、光源の色温度が変わらず、上述のように求められたＲＧＢそれぞれのクリップレベル（制限値）が一定の場合に、画素飽和レベルのＲＧＢの各信号から制限値（クリップレベル）で制限された（クリップされた）Ｉ
Ｒ信号を減算した場合に、ＲＧＢの各信号がそれぞれ画素飽和レベルが一定で、ＲＧＢにそれぞれ対応するＩＲ信号の各制限値が一定なので、減算後のＲＧＢ信号は一定の状態すなわち、信号飽和レベルで一定の状態となる。しかし、図３７に示すように、信号飽和レベルは、ＲＧＢで異なり、このままでは、ハイライト部で、ＲＧＢの信号の出力レベルが異なることにより、白とならない。そこで、信号飽和レベルが最も低いＲ信号の信号飽和レベルをＲＧＢのそれぞれの信号で共通のＲＧＢクリップレベル（Ｒ信号飽和レベル）として、ＲＧＢ各信号の信号飽和レベルを共通のＲＧＢクリップレベルに合わせる。

すなわち、図３７（ａ）に示すように、Ｒ信号に対応するクリップレベル（制限値）が設定されたＩＲ信号をＲ信号から減算することにより、減算後のＲ信号に生じた信号飽和レベル（クリップレベル）を基準とする。ＩＲ信号を減算した後のＲＧＢの各信号の信号飽和レベルは、Ｒ信号が最も低くなるので、上述のようにＲ信号を基準とし、ＩＲ信号を減算した後のＧ信号の信号飽和レベルとＢ信号の信号飽和レベルを図３７（ｂ）および図３７（ｃ）に示すように、Ｒ信号の信号飽和レベルと等しいＲＧＢクリップレベルに合わせて下げることで、ＲＧＢの各信号のＩＲ信号減算後の信号飽和レベルを合わせる。これにより、ハイライト部での各信号のハイレベルが同じになり、ハイライトの色付きを防ぐことができる。

なお、以上説明した構成では、ＩＲ信号をクリップしてから、Ｒ信号、Ｇ信号、Ｂ信号より、減算する構成としているが、ＩＲ信号が上記のＲ信号、Ｇ信号、Ｂ信号が飽和するレベルに（上記のＩＲ信号のクリップレベル）以上になった時に、ＩＲ信号を乗算器により利得を下げた後にＲ信号、Ｇ信号、Ｂ信号より減算するものとしてもよい。このように、減算量を抑制するように構成することによって、ハイライト部でのＲ信号、Ｇ信号、Ｂ信号の輝度諧調の不自然さを防止してもよい。また、ＲＧＢ信号から輝度信号を生成して、ＲＧＢ信号の信号飽和レベルが異なることにより色付きが起きる部分以上のレベルにおいて、Ｒ−Ｙ信号、Ｂ−Ｙ信号の利得を減少させ、色を消す処理により、色付きを防止しても良い。

図３８は、撮像装置１０（図２６に図示）の信号処理部１２（図２６に図示）における信号処理をブロック図で示したものである。撮像センサ１からのＲ，Ｇ，Ｂ，ＩＲの各画素の出力信号（この信号処理では撮像センサ１からの入力信号）は、通常、ＲＡＷ出力であれば、Ｒ、Ｇ、Ｂ、ＩＲが線順次または点順次で出力されるため、例えば、撮像センサ１からのＲＡＷ信号の入力部に各色信号の同時化回路（図示略）を設ける。

この場合に、同時化回路において、内挿処理（補間処理）によりフレーム毎の画像データにおいて、それぞれ、全ての画素が赤Ｒで表された画像データ、全ての画素が緑Ｇで表された画像データ、全ての画素が青Ｂで表された画像データと、全ての画素が赤外ＩＲで表された画像データとするようにＲ，Ｇ，Ｂ，ＩＲの信号を変換する。言い換えれば全ての画素において、Ｒ、Ｇ、ＢおよびＩＲの信号が出力される状態とする。なお、内挿処理方法は、周知の方法を用いることができる。

すなわち、信号処理部１２は、図示しないＲ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲおよびＩＲのセンサ出力それぞれのための同時化回路を備え、図３８のＲ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲおよびＩＲの各センサ出力は、同時化回路を経た後の信号である。信号処理部１２は、ＲＧＢ信号から減算されるＩＲ信号をＲＧＢ毎に決められるクリップレベル（制限値）でクリップするためのリミッタ２７ｒ、２７ｇ、２７ｂと、各リミッタ２７ｒ，２７ｇ，２７ｂから出力されるＩＲ信号に補正値を乗算して補正するための乗算器２８ｒ、２８ｇ、２８ｂと、乗算器２８ｒ、２８ｇ、２８ｂから出力されるクリップされたＩＲ信号をＲ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲの各信号から減算する減算器２３ｒ、２３ｇ、２３ｂと、ホワイトバランス用のＲＧＢの各利得を、ＩＲ信号が減算されたＲＧＢの各信号に乗算する乗算器２４ｒ、２４ｇ、２４ｂと、ＩＲ信号が減算されるとともにホワイトバランスがとられたＲＧＢの各信号における信号飽和レベルを合わせるためのリミッタ２５ｒ、２５ｇ、２５ｂとが設けられている。

また、信号処理部１２は、リミッタ２７ｒ、２７ｇ、２７ｂに、ＲＧＢの信号毎のＩＲ信号のクリップレベル（制限値）を算出して出力する制御回路２１を備える。また、制御回路２１は、乗算器２８ｒ、２８ｇ、２８ｂに補正値を出力し、乗算器２４ｒ、２４ｇ、２４ｂにホワイトバランス用に算出されたＲＧＢの各利得を出力し、リミッタ２５ｒ、２５ｇ、２５ｂにＲＧＢの各信号の信号飽和レベルを合わせるためのＲＧＢクリップレベル（Ｒ信号飽和レベル）を出力する。また、信号処理部は、信号処理部１２からのＲＧＢの出力信号からホワイトバランス用の利得を求めるためのホワイトバランス検出回路２６を備える。

ＩＲのセンサ出力としてのＩＲ信号は、信号処理部１２に設けられたＲ用リミッタ２７ｒ、Ｇ用リミッタ２７ｇ、Ｂ用リミッタ２７ｂにそれぞれ送られ、上述のように色毎に設定されるＩＲ信号用の制限値（クリップレベル）でクリップされる。この際には、制御回路２１で算出されるＩＲ信号の上述の赤のクリップレベルＬｃｌｉｐ−Ｒ、緑のクリップレベルＬｃｌｉｐ−Ｇおよび青のクリップレベルＬｃｌｉｐ−Ｂがそれぞれ対応するＲ用リミッタ２７ｒ、Ｇ用リミッタ２７ｇ、Ｂ用リミッタ２７ｂに出力され、それぞれのＲ用リミッタ２７ｒ、Ｇ用リミッタ２７ｇ、Ｂ用リミッタ２７ｂのリミット値となる。これにより、ＩＲ信号は、各リミッタ２７ｒ、２７ｇ、２７ｂにより、クリップレベル（制限値）を超える出力レベルは、クリップレベルでクリップされる。

また、Ｒ用リミッタ２７ｒ、Ｇ用リミッタ２７ｇ、Ｂ用リミッタ２７ｂから出力された各値は、ＲＧＢの各信号から減算されるＩＲの信号であるが、このＩＲの各信号に乗算器２８ｒ、２８ｇ、２８ｂにより制御回路２１から出力される補正値を乗算する。Ｒ画素、Ｇ画素、Ｂ画素に含まれるＩＲ成分は、本構成では、ほぼ、ＩＲ画素と同じレベルであるが、Ｒ画素、Ｇ画素、Ｂ画素のそれぞれの開口差、または、センサ内部のアンプ利得のバラツキなどにより、信号レベルに多少の誤差が生じる可能性がある。すなわち、リミッタ２７ｒ、２７ｇ、２７ｂから出力された値は、例えば、必要な値より少しだけ大きくなる傾向があり、ＲＧＢの各信号に対応して乗算器２８ｒ、２８ｇ、２８ｂにより補正値を乗算して補正するようになっている。

減算器２３ｒ、２３ｇ、２３ｂは、このようにクリップされるとともに補正されたＲＧＢそれぞれに対応するＩＲ信号をＲ＋ＩＲ，Ｇ＋ＩＲ，Ｂ＋ＩＲのそれぞれの信号から減算する。各乗算器２４ｒ、２４ｇ、２４ｂは、各減算器２３ｒ、２３ｇ、２３ｂから出力される信号に、ホワイトバランス処理で算出されるＲＧＢの各利得を乗算してホワイトバランスをとる。各乗算器２４ｒ、２４ｇ、２４ｂには、ホワイトバランス検出回路２６で検出される各ＲＧＢの信号に基づいて制御回路２１で算出されたＲＧＢそれぞれの利得が入力される。また、各乗算器２４ｒ、２４ｇ、２４ｂから出力されたＲＧＢの各信号はクリップされたＩＲ信号が減算されることで、クリップされた状態となる。

すなわち、ＲＧＢの各信号が画素飽和レベルでクリップされた状態で、上述のように制限値で制限されたＩＲ信号が減算されると、画素飽和レベルから制限値を減算した値である信号飽和レベルでクリップされる。これらＲＧＢの各信号の信号飽和レベルが異なると、ハイライト部に色が付くことになるので、リミッタ２５ｒ、２５ｇ、２５ｂは、ＲＧＢの各信号飽和レベルを合わせるために、ＲＧＢの各信号で同じＲＧＢクリップレベルとなるようにリミット値がセットされる。ここでは、Ｒ信号の信号飽和レベルをＲＧＢクリップレベルをリミット値としてＧ信号およびＢ信号のクリップレベルを合わせるようになっている。

上述のような信号処理を、Ｒ（Ｒ＋ＩＲ）信号を例に取って説明する。撮像センサ１から出力されたＲ信号は、同時化回路により内挿されて撮像センサ１で画像として利用される全ての画素毎のＲ信号とされる。同様にＧ信号、Ｂ信号、ＩＲ信号も同時化回路で処理され、画像として利用される全ての画素毎のＧ信号、Ｂ信号、ＩＲ信号とされる。

ＩＲ信号は、リミッタ２７ｒに送られる。リミッタ２７ｒには、制御回路２１で上述のように算出されたＲ信号用のＩＲ信号の制限値であるＬｃｌｉｐ−Ｒが出力され、これがリミッタ２７ｒのリミット値となる。したがって、リミッタ２７ｒを通過したＩＲ信号は、制限値で頭打ちとなるようにクリップされる。すなわち、制限値を超えるＩＲ信号の出力レベルは、制限値となる。

このように制限値でクリップされるＩＲ信号は、乗算器２８ｒに送られ、制御回路２１で算出される（または、記憶されている）補正値が乗算されて補正された後に減算器２３ｒに送られる。減算器２３ｒには、上述の同時化されたＲ信号が入力されるとともに、上述のように制限されるとともに補正されたＩＲ信号が入力され、Ｒ信号からＩＲ信号の値が減算される。次に、ＩＲ信号が減算されたＲ信号は、乗算器２４ｒに送られる。乗算器２４ｒには、Ｒ信号と、上述のホワイトバランス検出回路２６と制御回路２１により求められたＲ信号の利得が入力されＲ信号に利得が乗算される。

乗算器２４ｒからホワイトバランス処理が施されたＲ信号が出力される。このＲ信号は、リミッタ２５ｒに入力される。リミッタ２５ｒには、制御回路２１から上述のＲＧＢクリップレベルが送られ、これがリミット値とされ、ＲＧＢクリップレベルを超えるＲ信号は、クリップされる。但し、この信号処理部１２では、ＲＧＢクリップレベルは、Ｒ信号飽和レベルと等しく、ＩＲ信号を減算されたＲ信号は、既に、Ｒ信号飽和レベルでクリップされた状態なので、Ｒ信号に関しては、リミッタ２５ｒの処理は必ずしも必要ない。なお、Ｇ信号およびＢ信号は、リミッタ２５ｇ、２５ｂで、Ｒ信号飽和レベルに等しい、ＲＧＢクリップレベルをリミット値として、ＲＧＢクリップレベルでクリップされる。

同様にＧ信号、Ｂ信号が処理され、処理されたＲＧＢの各信号が、図１に示すように、可視光のカラー画像の出力信号１４として出力される。また、ＩＲ信号は、同時化回路を経た後に、赤外光画像の出力信号１５として出力される。なお、赤外画像信号として出力されるＩＲ信号は、上述の制限値で制限されることはない。

図３９に示すブロック図は、図３８に示すブロック図の変形例である。図３９に示すブロック図の図３８に示すブロック図との違いは、図３８のブロック図において、ホワイトバランス用の乗算器２４ｒ、２４ｇ、２４ｂの後に、ＩＲ信号を減算した後の各ＲＧＢ信号の信号飽和レベルを合わせるためのリミッタ２５ｒ、２５ｇ、２５ｂが配置されていたのに対して、図３９では、ＩＲ信号を減算した後の各ＲＧＢ信号のクリップレベルを合わせるためのリミッタ２５ｒ、２５ｇ、２５ｂの後に、ホワイトバランス用の乗算器２４ｒ、２４ｇ、２４ｂが配置されている。

これにより、図３８では、ホワイトバランスを取った後のＲＧＢの各信号において信号飽和レベルが合わせられるのに対して、図３９では、ＲＧＢの各信号の信号飽和レベルを合わせた後にホワイトバランス処理を行うことになる。

このような撮像処理システムおよび撮像処理方法によれば、ＤＢＰＦ５を用いることにより、赤外カットフィルタの使用、非使用を切り替えることなく、可視光でのカラー撮影と、赤外光での撮影を可能とするカメラ（撮像装置）において、上述のように、ハイライト部の輝度の低下と、ハイライト部が白ではなく、色が付いた状態となるのを防止できる。

次に、第７の実施の形態について説明する。上述の第６の実施の形態では、ＲＧＢ−ＩＲのカラーフィルタを用いた場合におけるクリップレベル（制御値）を説明したが、本実施の形態では、ＲＧＢ−Ｃのクリップレベルについて説明する。

ＲＧＢ−ＩＲの撮像センサ１では、ＲＧＢの各信号にＩＲ成分が含まれるのに対して、ＩＲの信号は、ＩＲ成分のみとなるので、ＲＧＢの各信号が飽和してもＩＲの信号は飽和しない。ここで、ＲＧＢの信号が飽和した後も、レベルが高くなるＩＲ成分を除くと、上述のようにＲＧＢが飽和に達した後に、ＩＲ成分を除去することで、飽和レベル以下に下がるとともに、基本的にＩＲの光量が多くなるほど、ＲＧＢの飽和後の値が低くなってしまう。それに対して、ＲＧＢ−Ｃの撮像センサ１では、可視光帯域において、Ｃ＝Ｒ＋Ｇ＋Ｂとなるので、ＲＧＢにレンジを合わせた場合に、図４０に示すように、Ｃの画素が飽和レベルに達することになる。

この場合に、Ｃの画素が飽和レベルに達した際に、可視光帯域では、Ｃ＜Ｒ＋Ｇ＋Ｂとなる。これにより、上述のように計算により、ＩＲ’を求めた場合に、ＩＲ’＝ＩＲ＋（Ｒ＋Ｇ＋Ｂ−Ｃ）／２となることから、Ｃが飽和レベルに達すると、（Ｒ＋Ｇ＋Ｂ−Ｃ）が０より大きくなるので、図４１に示すように、計算で求めたＩＲ’＞実際のＩＲとなる。

このようにＣが飽和レベルに達した際に、Ｒ、Ｇ、Ｂ、Ｃから計算で求めたＩＲ’成分を除去すると、Ｃに関しては、飽和レベルで信号レベルが頭打ちとなっているのに、ＩＲ成分は、Ｃが飽和レベルに達した後も上昇可能であり、かつ、Ｃが飽和した後には、図４１に示すように、ＩＲ’＞ＩＲとなるので、これを飽和したＣから除去すると、図４２に示すように、実際の光量のレベルが高くなると信号レベルが下がることになる。また、Ｃ以外のＲＧＢの信号レベルもＣが飽和した後にＩＲ’＞ＩＲとなるので、Ｃほどではないが、実際の光量のレベルが高くなるにつれて、信号レベルが低下する虞がある。

そこで、第７の実施の形態では、各信号が所定の値以上とならないようにクリップし、かつ、このＲＧＢの各信号からＩＲの信号を分離するようになっている。
まず。Ｒ／Ｇ／Ｂ／Ｗ／ＩＲの信号レベルを検出する。
次に、以下のようにＲ、Ｇ、Ｂ、Ｗでクリップレベルを求める。
（Ｗクリップレベル）＝（Ｗ画素（Ｃ画素）の飽和レベルにより算出）
（Ｒクリップレベル）＝（Ｗクリップレベル）（Ｒレベル＋ＩＲレベル）／（Ｗレベル＋ＩＲレベル）
（Ｇクリップレベル）＝（Ｗクリップレベル）（Ｇレベル＋ＩＲレベル）／（Ｗレベル＋ＩＲレベル）
（Ｂクリップレベル）＝（Ｗクリップレベル）（Ｂレベル＋ＩＲレベル）／（Ｗレベル＋ＩＲレベル）

Ｗクリップのレベルは、Ｗの信号レベルを検出した際に、この信号レベルが頭打ちとなって、それ以上高くならない飽和レベルに基づいて算出される。ＲＧＢの各クリップレベルは、上述の式により算出され、Ｗレベルが飽和レベルに達することによりクリップレベルが算出される。

このようなクリップ処理を行う場合に、上述の分離デバイス５１は、図４３に示すようなブロック図となる。色分離デバイス６１で内挿法等により各画素のＲ、Ｇ、Ｂ、Ｗの信号レベルが分離されて、レベル検出・クリップレベル計算デバイス６３と、クリップ処理デバイス６２に送られる。レベル検出・クリップレベル計算デバイス６３においては、上述の式と、検出されたＲ、Ｇ、Ｂ、Ｗのレベルに基づいて、Ｒ、Ｇ、Ｂ、Ｗの各クリップレベルが算出される。クリップレベル計算デバイス６３で算出されたＲ、Ｇ、Ｂ、Ｗそれぞれのクリップレベルがクリップ処理デバイス６２に送られ、クリップ処理デバイス６２に入力されたＲ、Ｇ、Ｂ、Ｗの信号レベルがクリップレベルを超える場合にクリップする処理が行われる。このようなクリップ処理デバイス６２から出力されたＲ、Ｇ、Ｂ、Ｗの信号レベルがＩＲ補正・ＩＲ生成デバイス６４に入力される。ＩＲ補正・ＩＲ生成デバイス６４では、Ｒ、Ｇ、Ｂ、Ｗの各信号からＩＲ信号が除去されるとともに、ＩＲ信号が生成される。クリップレベル計算デバイス６３は、図４４に示すように、色分離デバイス６１で分離されたＲ、Ｇ、Ｂ、Ｗの各信号レベルに基づいて、ＩＲマトリクスデバイス６６でＩＲ信号レベルを求め、ＩＲ補正デバイス６７にＩＲ信号とＩＲ成分を含むＲ、Ｇ、Ｂ、Ｗの各信号レベルを入力し、Ｒ、Ｇ、Ｂ、Ｗの各信号レベルからＩＲ信号レベルを取り除くＩＲ補正を行う。レベル検出デバイス６８に、ＩＲマトリクスデバイス６６からＩＲの信号レベルが入力され、ＩＲ補正デバイス６７からＩＲ成分を除去したＲ、Ｇ、Ｂ、Ｗの各信号レベルが入力される。

レベル検出デバイス６８で検出されたＲ、Ｇ、Ｂ、Ｗ、ＩＲの各信号レベルがクリップレベル計算デバイス６９に入力され、クリップレベル計算デバイス６９では、上述のようにＲ、Ｇ、Ｂ、Ｗの各信号レベルのクリップレベルが算出される。このように求められたＲ、Ｇ、Ｂ、Ｗの各クリップレベルに基づいて、クリップ処理デバイス６２では、Ｒ、Ｇ、Ｂ、Ｗの各信号レベルがクリップレベルを超える場合に、図４５に示すように、各信号レベルをクリップレベルで頭打ちとする。

このようにクリップされるＲ、Ｇ、Ｂ、Ｗの各信号に基づいて、上述の第３の実施の形態と同様に、ＩＲ成分を求めるとともに、ＩＲ成分を含むＲ、Ｇ、Ｂ、Ｗ信号からＩＲ成分を分離する。この際に、図４６に示すように計算で求められるＩＲ信号もＷが飽和レベルとなる際のＩＲの信号レベルでクリップされて頭打ち状態となる。これにより、図４７に示すようにＲ、Ｇ、Ｂ、Ｗの各信号レベルからＩＲ成分を除去した後も、ＩＲ成分除去後のクリップレベルでクリップされた状態となる。

この場合に、Ｒ、Ｇ、Ｂ、Ｗの各信号レベルから求められる輝度信号もクリップされた状態となってしまう。そこで、図４８に示すように色分離、ＩＲ分離、ＩＲ補正を行う分離デバイス５１の変形例を用いることにより、輝度レベルがクリップされるのを防止、Ｗの画素が飽和レベルに達した後も、輝度レベルに諧調を持たせることができる。

この分離デバイス５１の変形例は、図４８に示すように、色分離デバイス６１で内挿法等により各画素のＲ、Ｇ、Ｂ、Ｗの信号レベルが分離されて、レベル検出・クリップレベル計算・ＩＲ信号生成デバイス６３と、クリップ処理デバイス６２に送られる。レベル検出・クリップレベル計算デバイス６３においては、上述の式と、検出されたＲ、Ｇ、Ｂ、Ｗのレベルに基づいて、Ｒ、Ｇ、Ｂ、Ｗの各クリップレベルが算出される。クリップレベル計算デバイス６３で算出されたＲ、Ｇ、Ｂ、Ｗそれぞれのクリップレベルがクリップ処理デバイス６２に送られ、クリップ処理デバイス６２に入力されたＲ、Ｇ、Ｂ、Ｗの信号レベルがクリップレベルを超える場合にクリップする処理が行われる。このようなクリップ処理デバイス６２から出力されたＲ、Ｇ、Ｂ、Ｗの信号レベルが第１のＩＲ補正・ＩＲ生成デバイス６４に入力される。第１のＩＲ補正・ＩＲ生成デバイス６４では、クリップされるＲ、Ｇ、Ｂ、Ｗの各信号からＩＲ信号が除去されるとともに、ＩＲ信号が生成される。第１のＩＲ補正・ＩＲ生成デバイス６４で求められたＲＧＢの信号は色信号、例えば、色差信号として利用される。また、この変形例の第２のＩＲ補正：ＩＲ生成デバイス６５を有する。第２のＩＲ補正・ＩＲ生成デバイス６５には、色分離デバイス６１からクリップされることがないＲ、Ｇ、Ｂ、Ｗ信号が入力され、ＩＲ生成およびＩＲ補正が行われ、ＩＲ成分が除去されたＲＧＢ信号が出力される。ここで、ＲＧＢ信号は、Ｗ信号に比べて飽和レベルに達しづらいものとなっており、頭打ちとなりづらい。輝度の算出にこのＲＧＢ信号を用いることにより、図４９に示すように、輝度レベルがクリップされるのを防止し、輝度が高い状態でも、輝度に少しであるが諧調を持たせることができる。

次に、第８の実施の形態を説明する。第８の実施の形態では、第７の実施の形態と同様にＲ、Ｇ、Ｂ、Ｗの各信号のクリップレベルを決めるようになっている。第８の実施の形態では、第７の実施の形態のように、Ｒ、Ｇ、Ｂの各信号のクリップレベルを決定することなく、ＩＲ信号とＷ信号のクリップレベルを決定するようになっており、図５０に示すように、リミット処理により制御値でクリップされるＩＲ信号により、ＩＲ補正を行う。Ｗのクリップレベルは、Ｗの飽和レベルに基づいて設定される。
（Ｗクリップレベル）＝（Ｗ画素（Ｃ画素）の飽和レベルにより算出）
ＩＲのクリップレベルは、以下の式に基づいて決定される。
（ＩＲクリップレベル）＝（Ｗクリップレベル）（ＩＲレベル）／（Ｗレベル＋ＩＲレベル）
これにより、図５０に示すように。飽和レベルに達するＷの信号レベルからＷの信号が略飽和した際に、上述のようにクリップされるＩＲの信号レベルを除去する場合に、Ｗの信号レベルが飽和レベルより低い信号レベルでクリップされることになる。

ＲＧＢの各信号レベルからクリップされるＩＲ信号を除去する補正を行う場合に、ＲＧＢの各信号レベルが使用条件の範囲内で飽和レベルに達しないものとすると、図５１に示すように、ＲＧＢの各信号レベルは、ＩＲ信号を除去する場合に、ＩＲ信号がクリップレベルに達した後も、ＲＧＢの信号レベルが上昇することが可能なので、ＲＧＢの各信号は、クリップされずに上昇することが可能となっている。

第８の実施の形態の図５２に示す分離デバイス５１では、色分離デバイス６１で内挿法等により各画素のＲ、Ｇ、Ｂ、Ｗの信号レベルが分離されて、ＩＲ信号生成デバイス７１と、ＩＲ補正デバイス６４に分離されたＲ、Ｇ、Ｂ、Ｗの信号が出力される。ＩＲ信号生成デバイス７１では、生成さるＩＲ信号のクリップレベルが求められ、クリップレベルを超えるとクリップされるＩＲ信号がＩＲ補正デバイス６４に出力される。ＩＲ補正デバイス６４では、Ｒ、Ｇ、Ｂ、Ｗの各信号レベルからＩＲ信号が除去される。

図５３に示すように、ＩＲ信号生成デバイス７１では、色分離デバイス６１からＲ、Ｇ、Ｂ、Ｗの各信号がＩＲ補正デバイス７２と、ＩＲマトリックスデバイス７３に送られ、ＩＲマトリックスデバイス７３で生成されたＩＲ信号は、ＩＲ補正デバイス７２とリミット処理デバイス７４に出力され、ＩＲ補正デバイス７２では、Ｒ、Ｇ、Ｂ、Ｗの各信号レベルからＩＲ信号が除去されるＩＲ補正が行われ、補正されたＲ、Ｇ、Ｂ、Ｗ信号とＩＲ信号がレベル検出デバイス７５に送られ、Ｒ、Ｇ、Ｂ、Ｗ信号とＩＲ信号がリミットレベル計算デバイス７６に送られ、ＩＲ信号のリミットレベル（クリップレベル）がリミット処理デバイス７４に入力される。リミット処理デバイス７４には、ＩＲマトリックスデバイス７３からＩＲ信号レベルが入力しており、ＩＲ信号レベルがリミットレベルを超える場合に、リミットレベルにクリップされた状態となる。

このような第８の実施の形態においては、第７の実施の形態と同様に、Ｒ、Ｇ、Ｂ、Ｗの信号レベルが上がる状況で逆に下がってしまうような事態を防止できるとともに、Ｗの信号レベルが飽和した状態でも、ＲＧＢの各信号レベルに諧調を持たせることができる。また、これにより輝度信号にもＷの信号レベルが飽和する状況で、諧調を持たせることができる。なお、輝度信号の生成式は、
Ｙ＝（Ｋｒ＊Ｒ＋Ｋｇ＊Ｇ＋Ｋｂ＊Ｂ＋Ｋｗ＊Ｗ）＋Ｋｉｒ＊ＩＲ
とすることができる。
ＩＲの比率を変えることにより、感度のコントロールができる。なお、夜間において、ＩＲ照明を行う場合、可視信号はなくなり全画素ＩＲ信号のみとなる。この場合は、ＩＲ補正をＯＦＦして、全画素の信号から輝度信号を生成することにより、高解像度で高感度の輝度信号が生成できる。カメラにＩＲ照明を内蔵した場合、これに連動して、信号処理を切り替える。
この場合のＩＲ照明時の輝度生成式は、
Ｙ＝Ｋｒ＊Ｒ＋Ｋｇ＊Ｇ＋Ｋｂ＊Ｂ＋Ｋｗ＊Ｗ （ＩＲ補正ＯＦＦ）
となる。
なお、各画素では、可視光帯域の受光量よりＤＢＰＦ５の第２の波長帯域と各フィルタを透過する赤外照明の光の受光量が多くなり、基本的に各画素では、赤外光の信号レベルを出力している状態となる。

次に、上述のような第１〜第４の実施の形態の撮像センサ１および撮像装置１０、１０ａを用いたカメラシステムを説明する。カメラシステムにおいては、上述のいずれかの実施の形態の撮像装置１０（１０ａ）を２つ左右に配置し、可視光と赤外光とでそれぞれ左右２つの画像からなるステレオ画像を撮影可能となっている。

この実施の形態のカメラシステムについて、図５４を用いて説明する。対象（被写体）２００からの光がレンズユニット（レンズ、光学系）２０１で集光され、ＤＢＰＦ５、カラーフィルタ３を通して撮像センサ１にて電気信号に変換される。撮像センサ１から出力された信号は、上述の信号処理部１２としての画像入力部２０２、画像信号補正処理部２０３および補正パラメータ算出部２０４に入力される。

信号処理部１２では、画像入力部２０２、画像信号補正処理部２０３、補正パラメータ算出部２０４の順に信号が入出力されることになり、例えば、画像入力部２０２で上述の内挿処理が行われ、画像信号補正処理部２０３で上述の赤外成分の算出、上述の各色成分からの赤外成分の除去（減算）、赤外成分を算出および除去する際の上述のクリップ処理等が行われる。補正パラメータ算出部２０４では、上述のクリップ処理におけるクリップレベルの決定等が行われ、画像信号補正処理部２０３に出力され、上述の赤外信号の除去の際に利用される。また、補正パラメータ算出部２０４は、左右２つの画像信号補正処理部２０３から出力されるそれぞれの可視画像の信号強度（信号レベル）を近似させるようにクリップレベルや信号レベルの補正値（例えば、上述の可視画像信号や赤外画像信号や上述の赤外信号や各色信号等の信号に加算や減算や乗算や除算される補正値）等のパラメータを設定して、２つの可視画像信号（２つの赤外画像信号）の信号レベルが近似するようにしている。画像信号補正処理部２０３における補正量については、２つの画像信号補正処理部２０３からの出力を見て、それぞれに設定することで画像信号のレベル合わせ込む。左右の画像信号のレベルを合わせ込む処理は、赤外画像信号と可視画像信号の両方で行うことが可能である。

すなわち、補正パラメータ算出部２０４が２つの画像信号補正処理部２０３から出力される画像信号の信号レベルに基づいて補正量を決定して、２つの画像信号補正処理部２０３から出力される画像信号の信号レベルが近似するようにする。これにより、２つの画像データで例えば輝度レベルが異なることにより、被写体の異なる部分を同じ部分（対応点）と認知して、測定する距離に誤差が生じたり、エラーが発生したりするのを抑制することができる。

なお、カメラシステムの撮像センサ１は、カラーフィルタ３としてＲＧＢ−Ｃ（Ｗ）を用いることが好ましい。カラーフィルタ３の赤外用のフィルタとして可視光を透過せずに赤外を透過させるフィルタを用いることもできるが、上述のように赤Ｒ、緑Ｇ、青Ｂのフィルタ部と、クリアＣ（ホワイトＷ）のフィルタ部を有するカラーフィルタ３を用いることにより、上述のように可視光の輝度が０の赤外のフィルタ部に代えて可視光の輝度の高いＣのフィルタ部が設けられることになり、輝度解像度が高くなる。

また、カメラシステムは、上述のようにレンズユニット２０１、ＤＢＰＦ５、カラーフィルタ３、撮像センサ１、画像入力部２０２、画像信号補正処理部２０３等からなる撮像装置１０を２組有するものであり、左右２箇所から撮影することによりステレオ画像が得られるようになっている。また、２つのレンズユニット２０１は、それぞれの光軸が互いに平行になるように配置されている。カメラシステムの距離算出デバイスとしての距離算出部２０５は、２つの画像信号補正処理部２０３からそれぞれ入力される左右２つの可視画像信号および左右２つの赤外画像信号を用いて対象２００までの距離を計測する。この場合に、２つの画像から同一の被写体（対応点）を決定し、これら同一の被写体の画像上の位置の違いとしての視差を検出し、従来と同様に距離を求める。すなわち、差の測定用の対応点は、画像認識により決定し、対応点の画像中の位置の違いである視差に基づいて距離を算出する。また、このカメラシステムには、不審者検出部２０６を有し、上述の可視画像および赤外画像と対象２００までの距離に基づいて不審者か否かを判定するようになっている。

この場合に、例えば、対象２００となる人物までの距離と画像上の位置から立ち入り禁止区域に、対象となっている人物が入っているか否かを判定し、立ち入り禁止区域に入っていると判定した場合に不審者と判定してもよい。また、予め登録された人物の顔のデータ等に基づいて、顔認識により登録された人物か否かを判定するものであってもよい。

このようなカメラシステムは、例えば、監視カメラに用いられ、二次元画像や、三次元画像を人間の目で確認できるとともに、例えば、被写体までの距離を計測可能なものである。これにより、画像に写っている人間や車や障害物等の位置関係を距離から把握可能であり、自動車事故の検証（解析）等に用いることが可能である。また、人間の顔の各部分までの距離により、人間の顔の凹凸を計測したりすることも可能であり、例えば、顔認識において、顔の三次元データを取得したり、三次元データを人物の認証や、人物の特定に利用することができる。

また、このカメラシステムによれば、昼間は自然光により可視光で撮影し、夜は赤外照明を用いて赤外撮影を行うことができ、かつ、可視画像から距離を求めことができるとともに赤外画像から距離を求めることができる。この際に、可視の撮影と赤外の撮影は、同じ撮像装置１０で同じ撮像センサ１やレンズユニット２０１を用いることになり、可視画像と赤外画像が同じ対象を同じ範囲で撮影したものとなり、同じ画角で撮影されたものとなる。例えば、昼と夜との境となる時間で、赤外撮影と可視撮影を切り替えるようなことがあっても切り替え時に対象２００の位置が変わらず、距離の測定を継続することが可能である。また、このカメラシステムの製造時やメンテナンス時に赤外画像と可視画像の位置合わせ等の処理が不要である。

また、自動車の自動運転等にこのカメラシステムを利用する場合に赤外画像と可視画像との両方で測距できるので、夜間にヘッドライトの明かりで可視画像により距離を測定するとともに、ヘッドライトの明かりが届かない遠方を対向車への影響を考慮して赤外照明を用いた赤外画像で測距することができる。この際に、ヘッドライトの照明範囲と赤外照明の照明範囲との境界部分における距離の計測に際して、上述のように赤外画像と可視画像の位置があっているので、計測される距離が変化してしまうのを防止できる。

１ 撮像センサ
３ カラーフィルタ
５ ＤＢＰＦ（光学フィルタ）
１１ レンズ（光学系）
１２ 信号処理部（信号処理デバイス：減算制御デバイス）
１０１ レンズユニット（光学系）
１０５ 距離算出部（距離算出デバイス）

Claims (5)

1. 各画素に受光素子が配置された２つの撮像センサと、
   可視光帯域に透過特性を有し、前記可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、前記第１の波長帯域内の一部分である第２の波長帯域に透過特性を有するとともに、２つの前記撮像センサにそれぞれ対応して２つ設けられた光学フィルタと、
   前記可視光帯域における波長に応じた分光透過特性が互いに異なるとともに前記第２の波長帯域における透過率が互いに近似する少なくとも４種類のフィルタ部を有するとともに、２つの前記撮像センサにそれぞれ対応して２つ設けられたカラーフィルタと、
   各撮像センサ上に像を結ぶレンズをそれぞれ有するとともに、２つの前記撮像センサにそれぞれ対応して２つ設けられた光学系と、
   各撮像センサから出力される信号を処理して２つの可視画像信号および２つの赤外画像信号を出力可能な信号処理デバイスと、
   前記信号処理デバイスから出力される２つの可視画像信号および／または２つの赤外画像信号を用いて可視画像信号による可視画像および／または赤外画像信号による赤外画像に写った被写体までの距離を算出する距離算出デバイスとを備え、
   前記信号処理デバイスは、前記カラーフィルタの各種類の前記フィルタ部を透過した光に対応して前記撮像センサから出力された信号を用いて前記第２の波長帯域に対応する赤外成分に基づく赤外画像信号と、前記赤外成分が減算された前記可視光帯域に対応する少なくとも３種類の色成分に基づく可視画像信号とを算出し、
   かつ、前記色成分から前記赤外成分を減算するに際して、前記色成分が画素飽和レベル以上となる場合に、前記色成分から減算される前記赤外成分の値を下げるように補正する制御を行う減算制御デバイスを備え、
   前記減算制御デバイスは、
   前記赤外成分の値を下げる補正として、前記赤外成分の値を前記色成分に基づいて決定される制限値より高くならないように制御することを特徴とするカメラシステム。
2. 前記カラーフィルタは、前記赤外成分と前記可視光帯域の赤成分の光を透過する赤の前記フィルタ部と、前記赤外成分と前記可視光帯域の緑成分の光を透過する緑の前記フィルタ部と、前記赤外成分と前記可視光帯域の青成分の光を透過する青の前記フィルタ部と、前記赤外成分と前記赤成分、前記緑成分および前記青成分を合わせた白成分の光を透過する白の前記フィルタ部とを備えることを特徴とする請求項１に記載のカメラシステム。
3. 前記減算制御デバイスは、前記赤外成分の前記制限値を、ホワイトバランス処理で得られる各色の利得に基づいて、前記色成分毎に決定することを特徴とする請求項１または請求項２に記載のカメラシステム。
4. 前記信号処理デバイスは、前記色成分の前記画素飽和レベルから前記赤外成分の前記制限値を減算した値に対応する信号飽和レベルが各色で略同じになるように制御することを特徴とする請求項１から請求項３のいずれか１項に記載のカメラシステム。
5. 前記信号処理デバイスは、２つの可視画像信号の信号レベルおよび／または２つの赤外画像信号の信号レベルが互いに近似するように補正することを特徴とする請求項１から請求項４のいずれか１項に記載のカメラシステム。

Images