JP4386096B2 - 画像入力処理装置、および、その方法 - Google Patents

Description

本発明は、近赤外光成分を含む被写体からの光（像）を撮像し、得られた撮像信号の画像データから近赤外光成分を分離する画像入力処理装置、および、その方法に関する。

人間の色や明るさに対する感度特性は、可視光領域に感度を持つ。可視光領域は定義が様々であるが、一般には、７００乃至７５０［nm］付近（例えば７８０［nm］）を上限とし、４００［nm］弱（例えば３８０［nm］）を下限とする電磁波の波長領域である。可視光領域に隣接した赤外領域を近赤外領域といい、この領域は、７００乃至８００［nm］の下限から、１.５乃至３[μm]（例えば２.５[μm]）の上限までの電磁波の波長領域である。
ただし、人間の目は約７００［nm］より長波長側では殆ど感度を有さない。また、近赤外光は、色再現性を低下させるなどの弊害があるため、通常、撮像デバイスに被写体からの光（像）を制御する光学部品内に赤外線遮断フィルタ（赤外カットフィルタ）が設けられる。

撮像デバイス自体は赤外光にも感度を有するため、夜間撮影や監視用の高感度カメラ装置では可視光から赤外光まで広い帯域の光（像）を撮像する。
蛍光灯や電球等の照明（光源）の違いにより、また、太陽光でも時刻によって含まれる赤外光が含まれる割合が異なるため、そのような撮影環境の変化に適応して赤外線を遮断すべきかどうかが決まる。

以上の要請に応え、撮影環境を選ばないカメラ装置を実現するために、入力光学系に回転式の波長分解光学系を使い、可視光と赤外光を同一の撮像素子で受光する技術が知られている（例えば、特許文献１参照）。
この技術では、たとえば、入射光路に対する赤外カットフィルタの挿入と抜出を回転機構等により切り替えて行ない、赤外カットフィルタを挿入している場合は近赤外光および赤外光の影響のない可視光カラー画像を、赤外カットフィルタを抜き出している場合は可視光および近赤外光の光強度を加算した画像を、それぞれ出力する。

近赤外光が加算された画像は、色再現性は低いが物体認識に適した画像であり、この画像を取得可能な機構と、人の目に見えない赤外光の照射機構とを組み合わせると、夜間でもくっきりとした画像が得られる監視カメラ装置が実現できる。監視カメラ装置では、昼間は赤外カットフィルタを入射光路から外して用いる。

一方、赤外カットフィルタを用いることなく、近赤外光が入射されたときに、撮像画像で色再現性を向上させる色補正回路が知られている（例えば特許文献２参照）。
特許文献２に記載された技術では、処理回路内に設けられている分光感度補正手段が、撮像信号の分光感度特性を変化させてＩＲ成分分離を行い、その前後の信号の差分を取って積算することでＩＲ成分を抽出する。分光感度補正手段は、単にＩＲ成分を除去するだけでは色再現性が低下するので、色再現性を改善するためマトリクス演算で、ＩＲ分離後の赤(Ｒ),緑(Ｇ),青(Ｂ)の各色データを、ターゲット（例えば、正常色覚者の等色関数）の色バランスに合わせる処理を行っている。現在の色とターゲットとの近似性を知るには、最小二乗法などが用いられる。

色フィルタの色配置に関し、色配置の繰り返し単位を４色の画素で構成した４色配置の撮像デバイスが知られている（例えば特許文献３参照）。
特許文献３には、赤(Ｒ),緑(Ｇ),青(Ｂ)の３原色の透過フィルタと、赤外領域に感度を持ち、赤外光を透過する赤外通過フィルタとから、繰り返し最小単位（画素ユニット）が構成されているカラーフィルタが開示されている。そして、特許文献３には、赤外通過フィルタは白(Ｗ)のフィルタであってよいことが記載されている。
特開平０９−１６６４９３号公報 特開２００５−３５４４５７号公報 特開２００５−００６０６６号公報

光の分光特性において、可視光成分の波長領域と、近赤外光成分の波長領域は周波数として連続しており、そのため、可視光成分を変化させることなく、近赤外光成分のみ除去することを、ローパスフィルタ等の回路的な手段で行うことは困難である。

前記特許文献２は、このＩＲ成分の除去を「分光感度補正手段」により行い、その前後でＩＲ成分の大きさを検出して、赤外透視撮影が行われているかを検出するものである。
この方法で検出されたＩＲ成分の大きさは、上記周波数が連続性しているという理由から正確ではないが、赤外透視撮影の検出の目的では十分であると考えられる。

ところで、ホワイトバランス補正や露出制御に用いる画面の明るさを検出する検出器がカメラ装置には通常備えられている。
この検出器は、入力画素信号を色ごとに、例えば１画面分積算（積分）する回路であり、輝度信号と色信号に分離する前あるいは後の所定の処理回路内位置に設けられる。例えば信号処理回路内の黒レベル補正部の後などに検出器が設けられる。そして、検出器から出力される色ごとの１画面分の積算値を用いてホワイトバランス補正を行い、あるいは、全色を合わせた１画面分の積算値を用いて露出補正を行う。

しかし、この積算値を求めた信号は、可視光成分のほかにＩＲ成分を含むため、その積算値に占めるＩＲ成分の大きさまたは比率を知ることができなければ、一般には、正確なホワイトバランス補正や露出制御はできない。

そのようなＩＲ成分の大きさを知る手段として、特許文献２に記載された方法および手段を適用可能である。
しかし、特許文献２に記載された方法および手段では、赤外透写撮影の有無を知る等の目的で大雑把にＩＲ成分の大きさを検出するには有用であるが、ホワイトバランス補正や露出制御など、正確な制御のための明るさに関するデータを必要とするカメラ制御処理に対しては、求めたＩＲ成分の大きさが正確性を欠くという理由から実用に耐えない。

特許文献２に記載された「分光感度補正手段」がどのようにＩＲ成分を除去するかが不明である。ただし、可視光領域と近赤外光領域との境界より短波長側を通すフィルタを用いることが一般的であり、これを用いるとすると、可視光領域と近赤外光領域が連続しているため可視光の一部まで除去する、あるいは、ＩＲ成分が残存することが生じ、ＩＲ成分除去といっても容易でない。したがって、正確なＩＲ成分の大きさは割合を求めることが困難である。

本発明は、簡単な演算で正確かつ直接に画素データからＩＲ成分の分離が行えるとともに、ＩＲ成分の大きさ、または、ＩＲ成分が除去された色成分の大きさを正確に知る必要がある場合とない場合などで適応的に、それらの積算値を検出し、精度よく所定のカメラ制御処理ができる画像入力処理装置を実現するためのものである。

本発明に係る画像入力処理装置は、光センサ部と、オンチップの色フィルタと、光学帯域分離フィルタと、データ分離部と、赤外分離部と、第１積算部と、第２積算部と、カメラ制御処理部とを有する。
光学帯域分離フィルタは、前記光センサ部の入射光経路に配置され、前記オンチップの色フィルタが形成された前記光センサ部の受光特性で全てのフィルタ色の感度が揃う波長を上限として近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側の可視光帯域、および、前記所定波長帯域の前記上限より大きく１０００ｎｍ以下の長波長側帯域を通過させる。
前記光センサ部は、入射した光を、画素を単位として受光し、撮像信号を発生する。
前記オンチップの色フィルタ（の繰り返し基本単位）は、前記光センサ部にオンチップで形成され、２色の和が他の１色と可視光領域で等価、または、３原色の和が他の１色の１倍と可視光領域で等価となる等価性を有する４色配置となっている。
前記データ分離部は、前記光学帯域分離フィルタおよび前記オンチップの色フィルタを通すことによって前記短波長側の可視光帯域で前記４色配置の各色が選択され、かつ、前記長波長側帯域において前記４色配置の色間で等価の近赤外光成分をもつ光を前記光センサ部が受光したときに得られる前記撮像信号の前記４色配置に対応する画素データを、４色の色ごとに分離する。
前記赤外分離部は、前記分離後の４色の画素データ間で、前記４色配置に基づく可視光領域の前記等価性を利用した減算によって、前記長波長側帯域の近赤外光成分を画素データから分離する。
前記第１積算部は、前記データ分離部から出力され前記赤外分離部へ入力される前の複数の画素データを、色ごとに積算する。第２積算部は、前記赤外分離部から出力される複数の画素データを、色ごとに積算する。
前記カメラ制御処理部は、前記第１積算部からの色ごとの第１積算値と、前記第２積算部からの色ごとの第２積算値との大きさから、赤外光成分が相対的に多い画像か相対的に少ない画像かを判別し、判別した画像に適したホワイトバランス補正または露光制御を実行する。

本発明では好適に、前記第１および第２積算部は、色積算値を色ごとに求める色積算部を含み、前記第２積算部は、色積算値を色ごとに求める色積算部と、前記赤外分離部で抽出された近赤外光成分の積算値（ＩＲ積算値）を求めるＩＲ積算部とを含む。
本発明では好適に、前記カメラ制御処理部は、前記ＩＲ積算値に基づいて、近赤外光成分の大きさ、または、画素データに含まれる近赤外光成分の割合に関係するパラメータを算出し、当該パラメータの大きさに応じて、ホワイトバランス補正または露出制御に用いる色積算値を、前記第１積算部または前記第２積算部のどちらから得るかを決定する。

以上の構成において、本発明の画像入力処理装置は光学帯域分離フィルタを備え、光学帯域分離フィルタは、入射光に対して、近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させる。

光センサ部から出力される撮像信号の色分光特性においては、通常、近赤外光がある波長から長波長側で色が異なっても等価な感度特性となる。これはデバイスの半導体材料、フィルタ材料の物性的限界（例えば飽和性）に起因すると考えられる。
一方、人間の目は、近赤外光領域でも約７００［nm］以上では殆ど感度を有さない。上記した色が異なっても等価な感度特性となる周波数下限は、７００［nm］より大きく、両者間の周波数領域は色ごとに感度が異なる。

本発明で上記光学帯域分離フィルタは、例えば、このように人の目では殆ど感度を有さないが色ごとに感度が異なる特定波長帯域を遮断させ、当該所定波長帯域の短波長側および長波長側の帯域を通過させることにより、入射光を２つの帯域に分離する。その帯域分離機能を上手に利用すると、光学帯域分離フィルタ通過後の長波長側の帯域で、色間で近赤外光成分が等価となる。

光学帯域分離フィルタ通過後の光は撮像デバイスの色フィルタに入射される。色フィルタは、上述したような４色配置を有している。色フィルタを透過した光が光センサ部で光電変換され、撮像信号が出力される。撮像信号はデータ分離部で色ごとの４色画素データに分離された後、赤外分離に入力される。
赤外分離部は、当該４色の画素データ間で演算を行う。このとき赤外分離部は、上記色フィルタの４色配置の特徴、即ち「２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる等価性」と、分離後の２帯域の長波長側で近赤外光成分が等価にできる構成とを利用する減算を行うことによって、画素データから長波長側帯域の近赤外光成分を分離する。

赤外分離部は、近赤外光成分を分離して出力することもできるし、近赤外光成分を除去した３原色データを出力することもできる。
近赤外光成分の分離は、上記等価性を示す２つの色の組（１色と２色、１色と３色の組み合わせ）間で行う減算により等価な可視光成分が相殺されることで達成できる。また、近赤外光成分を除去した３原色データは、１色と、２色または３色とで、可視光成分が相殺されるように減算を行うことによって達成できる。

このようにして演算により正確に近赤外光成分が分離された画素データは、第２積算部で積算され、第２積算部から第２積算値が出力される。
一方、赤外分離前の近赤外光成分を含む前の画素データは、第１積算部で積算され、第１積算部から第１積算値が出力される。

第１および第２積算値はカメラ制御処理部に入力され、色ごとに比較される（但し最低、１色での比較でもよい）。
そして、カメラ制御処理部は、比較結果に基づいて第１または第２積算値の何れか一方を決定し（または、所定の比率で混合した新たな積算値を算出し）、決定（または算出）した積算値に基づいて所定のカメラ制御処理を実行する。

本発明に係る他の画像入力処理装置は、色フィルタが、上記等価性を有しない補色系４色（Ｙｅ,Ｃｙ,Ｍｇ,Ｇ）の色フィルタである。この場合、赤外分離部は、分離後の４色の画素データ間で減算を行うことによって、前記光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する。第１および第２積算部、ならびに、カメラ制御処理部の動作は、上記と同様である。

本発明に係る画像入力処理方法は、オンチップの色フィルタが形成された光センサ部の受光特性で全てのフィルタ色の感度が揃う波長を上限として近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側の可視光帯域、および、前記所定波長帯域の前記上限より大きく１０００ｎｍ以下の長波長側帯域を通過させる光学帯域分離フィルタに、入射光を通すステップと、２色の和が他の１色と可視光領域で等価、または、３原色の和が他の１色の１倍と可視光領域で等価となる等価性を有する４色配置のオンチップの前記色フィルタが形成された前記光センサ部により、入射光を撮像するステップと、前記光学帯域分離フィルタおよび前記オンチップの色フィルタを通すことによって前記短波長側の可視光帯域で前記４色配置の各色が選択され、かつ、前記長波長側帯域において前記４色配置の色間で等価の近赤外光成分をもつ光を撮像することにより得られた撮像信号を、色ごとの画素データを分離するステップと、色ごとに分離された画素データを、色ごとに積算する第１積算ステップと、前記色ごとの画素データ間の、前記４色配置に基づく可視光領域の前記等価性を利用した減算によって、前記長波長側帯域の近赤外光成分を分離するステップと、赤外光分離後の画素データを、色ごとに積算する第２積算ステップと、前記第１積算ステップで得られた色ごとの第１積算値と、前記第２積算ステップで得られた色ごとの第２積算値との大きさから、赤外光成分が相対的に多い画像か相対的に少ない画像かを判別し、判別した画像に適したホワイトバランス補正または露出制御を実行するステップと、を含む。

本発明によれば、近赤外光成分が除去された色成分（または近赤外光成分自身）の大きさを正確に知る必要がある場合とない場合などで適応的に、それらの積算値を検出し、精度よくホワイトバランス補正または露出制御ができるという利益が得られる。

以下、本発明の実施形態を、図面を参照して説明する。
最初に、本発明の実施形態の前提となる高精度な赤外分離について説明する。なお、赤外分離では、入力信号（撮像信号）から近赤外光成分（ＩＲ成分）を除去する、ＩＲ成分を抽出して出力する、その両方、すなわちＩＲ成分が除去された信号とＩＲ成分の両方を出力することができる。

詳細は後述するが、本発明の特徴の１つは、赤外分離部の信号入力側と、出力側の各々に積算部を設けていることである。ここでは具体的な説明のため、赤外分離によって色補正を行うことができるカメラ装置について、まず、以下に説明し、その後、赤外分離部に対する積算部の接続と、動作について説明する。
但し、赤外分離を行う目的は様々存在する。そして発明の適用範囲は、色補正のためだけに赤外分離を設けるということに限定されるものでない。

《赤外分離の機能を有するカメラ装置》
図１は、本発明の実施形態に係る画素信号処理回路を内蔵したカメラ装置のブロック図である。
当該カメラ装置が、本発明の「画像入力処理装置」の一態様に該当する。カメラ装置は動画撮影を主体としたビデオカメラ、静止画撮影を主体としたデジタルスチルカメラ、ビデオカメラまたはデジタルスチルカメラの機能を備える他の電子機器の何れでもよい。

図解するカメラ装置は、レンズや光学フィルタを含む光学部品１、撮像デバイス２、アナログの画素信号を処理するアナログ・フロント・エンド（ＡＦＥ）回路３、アナログの画素信号をデジタル信号にＡ／Ｄ変換し、デジタルの映像信号として各種信号処理部に出力するＡＤコンバータ（ＡＤＣ）５、信号処理部４、混合回路（ＹＣ＿ＭＩＸ）９、および、各種信号処理がされた映像信号をアナログ信号にＤ／Ａ変換し、ビデオ信号１４として出力するＤＡコンバータ（ＤＡＣ）１２を有する。

光学部品１は、レンズ、絞り等をレンズ筐体に収納させている部品である。光学部品１は焦点制御、および、露光量制御のための絞り制御が可能であり、露光制御のための絞り駆動部、自動フォーカスのための駆動部、それらの制御回路も光学部品１内に含まれる。

撮像デバイス２は、ＣＣＤセンサまたはＣＭＯＳイメージセンサである。撮像デバイス２は、光学部品１を通して入射された被写体からの光（像）を、自身が持つ撮像面に結像可能にカメラ装置本体内に固定されている。また、撮像デバイス２は、光センサの画素をマトリックス状に多数配置させた画素アレイと、当該画素アレイの撮像面の光入射側に、隣接した数個の光センサの集合（画素ユニット）で一定の配列となるように形成された色フィルタ２Ａまたはオンチップ・多層フィルタ２Ｂとを有している。

図１に示すカメラ装置は、光学帯域分離フィルタを含む。
光学帯域分離フィルタは、近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側および長波長側の帯域を通過させる帯域分光特性を有する。
図１（Ａ）に示すように、光学帯域分離フィルタ１Ａを撮像デバイス２とは別に、例えば光学部品１内に設けることができる。この場合、撮像デバイス２の受光部の光入射側に色フィルタ２Ａが形成されている。
あるいは、図１（Ｂ）に示すように、撮像デバイス２の受光部の光入射側に形成されているオンチップ・多層フィルタ２Ｂに、色フィルタとともに光学帯域分離フィルタを一体形成してよい。

図２（Ａ）に、白(Ｗ)画素を含む原色系ＣＣＤデバイスの分光特性を示す。また、図２（Ｂ）に、白(Ｗ)画素を含む補色系ＣＣＤデバイスの分光特性を示す。これらのグラフは、横軸が入射光の波長を示し、縦軸が、白(Ｗ)画素出力のピークを「１」とした場合の相対的な透過率を示す。
撮像デバイスは、近赤外光領域の下限（７００〜８００［nm］）より周波数が高い領域でも、赤(Ｒ),緑(Ｇ),青(Ｂ)および白(Ｗ)のそれぞれで感度を有することが図２から分かる。近赤外光領域は定義に幅があるが、一般には７５０〜７８０［nm］付近以上が近赤外光領域とされる。

図２（Ａ）に分光特性を示す原色系ＣＣＤデバイスは、波長が８００［nm］を少し超える付近から長波長側、例えば８２０［nm］以上で、赤(Ｒ),緑(Ｇ),青(Ｂ)および白(Ｗ)の感度がほぼ揃ってくる。
これに対し、図２（Ｂ）に分光特性を示す補色系ＣＣＤデバイスは、波長が８５０［nm］付近から長波長側で、Ｙｅ(黄),Ｃｙ(シアン),Ｍｇ(マゼンダ),Ｇ(緑)およびＷ(白)の感度がほぼ揃ってくる。
このように撮像デバイスで色感度が長波長側で揃うのは半導体の物性に起因するが、色が揃う領域の下限の波長は、図示のように原色系か補色系の装置、また、撮像デバイスの種類によって異なる。

一般には、撮像デバイスの光入射側の光学部品として赤外カットフィルタが配置される。人の目が殆ど感度を有しない７００［nm］付近以上の可視光領域と近赤外光領域の境界を含む波長範囲を、ほぼ透過率０に近くまで減衰させるために、赤外カットフィルタの遮断波長は、６５０［nm］付近に設定される。
本実施形態では、そのような赤外カットフィルタを用いずに、図１に示すように光学帯域分離フィルタ１Ａ等を用いる。

図３（Ａ）に、光学部品の１つとして撮像デバイス２とは別に設けられている光学帯域分離フィルタ１Ａ（図１（Ａ））の分光特性を示す。また、図３（Ｂ）に、撮像デバイス２のオンチップ・多層フィルタ２Ｂに含まれる光学帯域フィルタ（図１（Ｂ））の分光特性を示す。
これらのグラフは、横軸を波長［nm］、縦軸を透過率（１を１００[％]透過とする）にとったものである。

光学部品の光学帯域分離フィルタ１Ａの場合、図３（Ａ）に示すように、透過率が１から２〜３割低下した箇所で遮断波長を定義すると、遮断帯域が、約６５０〜８２０［nm］の波長範囲となる。この遮断帯域よりも短波長側が可視光の通過帯域、長波長側が近赤外光の通過帯域となっている。この分光特性の光学帯域分離フィルタ１Ａを通過した光を、実際に撮像デバイス２で受光すると、遮断帯域幅の、例えば７００［nm］付近から８２０［nm］付近の光が遮断される。
この遮断帯域の波長範囲は、図２（Ａ）に示す原色系ＣＣＤデバイスの色間で感度が揃う長波長領域の下限（８２０［nm］）に対応したものである。

一方、オンチップ・多層フィルタの場合、図３（Ｂ）に示すように、多層膜の影響で周期的な変動が大きく、かつ、急峻な遮断帯域が形成できにくい。通常、オンチップ・多層フィルタでは長波長側の制御が困難であり、図示のように、長波長側の遮断帯域が９００［nm］付近となっている。但し、この分光特性の光学帯域分離フィルタ１Ａを通過した光を、実際に撮像デバイス２で受光すると、遮断帯域幅より内側の、例えば７００［nm］付近から８５０［nm］付近の光が遮断される。つまり、この遮断帯域の波長範囲は、図２（Ｂ）に示す補色系ＣＣＤデバイスの色間で感度が揃う長波長領域の下限（８５０［nm］）に対応したものである。

これら図３（Ａ）および図３（Ｂ）の分光特性は、使用する撮像デバイスに対応して設計されている。つまり、図２（Ａ）と図２（Ｂ）に示す撮像デバイスの分光特性で、８２０［nm］付近以上または８５０［nm］付近以上の長波長側で色間の感度がほぼ揃うことに着目し、実デバイスで８２０［nm］付近以上または８５０［nm］付近以上の近赤外光成分が通過可能に、フィルタ分光特性が設計されている。
なお、図２および図３は一例であり、デバイスの分光特性が変われば、それに適合した光学帯域通過フィルタの特性となるように変更を加えてよい。また、色フィルタの色配置の詳細は後述するが、原色系画素と補色系画素が混在する場合には、色が揃う波長下限がより大きな補色系画素に対応する８５０［nm］付近以上で近赤外光成分が通過可能に、フィルタ分光特性が設計される。

撮像デバイス２がＣＣＤセンサの場合、図１に示すように、撮像デバイス２にタイミングジェネレータ（ＴＧ）１３が接続されている。撮像デバイス２は、ＴＧ１３からのクロック信号、垂直同期信号、水平同期信号が入力可能になっている。撮像デバイス２がＣＣＤの場合、垂直同期信号や水平同期信号と同期した転送パルスも、ＴＧ１３から供給される。
ＴＧ１３は、これらのタイミング制御のための信号を、マイクロコンピュータ１０の制御を受けて、不図示のシステムクロック信号から発生する回路である。撮像デバイス２は、これらのタイミング制御のための信号によって、転送動作やシャッタスピード変更等の各種動作が制御される。
なお、撮像デバイス２がＣＭＯＳセンサの場合、ＴＧ１３の機能は撮像デバイス２内に持たせることができる。

色フィルタ２Ａは、少なくとも４色の色が光センサ（画素）ごとに割り当てられている。本発明の実施形態では、画素アレイの繰り返し基本単位となる、隣接した数個の画素の集合を画素ユニットと称する。本実施形態では、４色以上の色が１画素ユニットに配置されている。後述する赤外分離の演算のためには、少なくとも４色が必要であるため、４色以上を要件とするが、不必要に色が多いと画素ユニットの占有面積が大きく解像度が低下するため、４色配置が望ましい。以下、４色配置を前提とする。なお、色の組み合わせと、色データの用い方（演算方法）については後で詳しく述べる。

撮像デバイス２からの画素信号（アナログ信号）が入力されるＡＦＥ回路３は、アナログ信号に対して行うべき処理、例えば相関２重サンプリングによるリセットノイズの除去（ＣＣＤの場合）、その他のノイズ除去、増幅等を行う回路である。

ＡＤＣ５は、処理後のアナログ信号を所定ビット、例えば８、１０ビット等のデジタル信号に変換する。このデジタル信号は、画素ごとに上記所定ビットの階調値を有する画素信号列が含まれる。例えば、ＡＤＣ５から出力されるデジタル信号には、Ａ画素信号と他の色の画素信号とが交互に配置された画素信号列が含まれる。

信号処理部４は、ＡＤＣ５からのデジタルの撮像信号を処理する部分として、データ分離部５４１と赤外分離部５４８を含む。
データ分離部５４１は、デジタルの撮像信号の４色配置に対応する画素データを、４色の色ごとに分離する回路である。
赤外分離部５４８は、分離後の４色の画素データ間で、４色配置に基づく減算によって、光学帯域分離フィルタで分離された長波長側帯域の近赤外光成分を画素データから分離する回路である。
データ分離部５４１と赤外分離部５４８の、さらに詳細な機能および動作については後述する。

信号処理部４は、例えば、半導体チップとしてＩＣ化され、あるいは、複数の部品が実装されたモジュールや実装基板として提供され、当該カメラ装置に内蔵されてよい。信号処理部４は、ＡＤＣ５とＤＡＣ１２間に接続され、前述したデータ分離や赤外分離の他に、各種信号処理を行う。各種信号処理としては、信号増幅、ノイズ低減（ＮＲ）処理、輝度信号と色信号の分離、輝度信号処理、色信号処理等が例示できる。信号処理部４とＤＡＣ１２との間に、処理後の輝度信号と色信号の混合回路９が接続されている。信号処理部４と混合回路９を含めて信号処理部４としてよく、また、ＩＣ化またはモジュール化をしてよい。

つぎに、４色配置の色の組み合わせと、その組み合わせごとに、赤外分離部５４８が行う演算の内容について説明する。
以下に述べるように、赤外分離部５４８は減算を含む簡単な演算を実行するのみであり、マイクロコンピュータ１０とプログラムの機能から実現してよいし、専用回路でもよい。ただし、マイクロコンピュータ１０の処理負担が増えると望ましくなく、マイクロコンピュータ１０で行う場合は割り込み処理なので、処理同期が取りにくいため、減算器等を含むロジック回路で赤外分離部５４８を実現する方が望ましい。赤外分離部５４８の回路は簡単な（加算および）減算を行うのみであるため、以下の説明では、回路図を図示することなく、演算式で構成図の代用にする。

図４に、４色配置における色の組み合わせを分類した図表を示す。図５は、色分離のための処理手順を示すフローチャートである。
図５に示すステップＳＴ１で、図１（Ａ）の光学帯域分離フィルタ１Ａ、または、図１（Ｂ）のオンチップ・多層フィルタ２Ｂ内の光学帯域分離フィルタによって、被写体からの光（像）を、低波長側の可視光帯域と、長波長側の近赤外光帯域とに分離する（図３参照）。

続いて、図５に示すステップＳＴ２で、４色配置の色フィルタ２Ａ（図１（Ａ））またはオンチップ・多層フィルタ２Ｂ内の４色配置の色フィルタによって、色分離のための色フィルタリングを行って撮像デバイス２の受光部で撮像する。
撮像により、上記４色配置に対応する順序で画素データを含む撮像信号が、撮像デバイス２から出力される。

その後、撮像信号に対し、図１（Ａ）に示すＡＦＥ回路３で所定のアナログ信号処理が施され、ＡＤＣ５でデジタルの撮像信号（所定ビットの階調値を表す直列符号）に変換され、信号処理部４に入力される。
信号処理部４では、必要な処理が行われた後に、図５に示すステップＳＴ３で、データ分離部５４１（図１）によって、デジタルの撮像信号が色ごとの画素データに分離される。つまり、４色配置では、４つの色ごとの画素データが並列に、当該データ分離部５４１から出力される。

図５に示すステップＳＴ４で、４つの色ごとの画素データ間で所定の演算を実行して赤外分離を行う。ここで「赤外分離」とは、画素データから近赤外光成分（ＩＲ成分）を抽出して、「ＩＲ成分のみ出力する」、「ＩＲ成分が除去された色データのみ出力する」、「その両方を出力する」、の３通りの意味を含む。その何れの意味であるかは、赤外分離後のデータを用いる処理内容に依存する。例えば、ＩＲ成分の大きさを知りたいために当該赤外分離を行う場合は、ＩＲ成分のみを出力する。一方、例えば、ＩＲ成分を除去して色補正を行う場合は、ＩＲ成分が除去された色データのみを出力する。また、例えば、色補正の他に、ＩＲ成分を別の目的で用いる場合には、ＩＲ成分と、ＩＲ成分が除去された色データを別々に出力する。

上記処理方法において、ステップＳＴ２で行う色フィルタリングでは、図４に示すような種々の色の組み合わせが考えられる。
ここで画素信号に含まれるＩＲ成分は、厳密には色ごとに異なるが、前述したように光学帯域分離フィルタにより分離された近赤外光帯域ではほぼ等しい（等価）とみなすことができ、画素信号に含まれるこの等価なＩＲ成分を「(ir)」で表記する。また、補色とはＹｅ,Ｃｙ,Ｍｇの何れかを指す。

図４の色の組み合わせでは、補色系「Ｙｅ,Ｃｙ,Ｍｇ,Ｇ」を除く全てが、「２色の和が他の１色と可視光領域で等価、または、３色の和が他の１色の１倍あるいは２倍と可視光領域で等価となる」という定義の等価性を満たす。以下、図４に列挙した色の組み合わせと等価性、ならびに、その色の組み合わせにおける赤外分離時の演算について、順次説明する。

＜１補色＋２原色＋白＞
１つの補色と、２つの原色と、１つの白(Ｗ)で４色配置が構成される。具体的には、図４に示すように、「Ｙｅ,Ｒ,Ｇ,Ｗ」「Ｃｙ,Ｂ,Ｇ,Ｗ」「Ｍｇ,Ｂ,Ｒ,Ｗ」の３通りがある。
例えば「Ｙｅ,Ｒ,Ｇ,Ｗ」では、画素データ分離後の（Ｒ＋(ir)）データと（Ｇ＋(ir)）データの組と、(Ｙｅ(＝Ｒ＋Ｇ)＋(ir))データとが、「２色の和が他の１色と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。同様に、他の２通りも、この要件を満たし等価性を満足する。

図６（Ａ）に、撮像デバイス２の「１補色＋２原色＋白」の４色配列例（「Ｙｅ,Ｒ,Ｇ,Ｗ」）を示す。
ここで重要なのは色の組み合わせであり、どの色成分を最も多く配置するかは問わない。但し、白(Ｗ)データは、３原色データの和（＝Ｒ＋Ｇ＋Ｂ）と等価であるため情報量が最も多く高感度画素信号として、例えばエッジ検出や輝度信号の発生に有用である。よって、最も高感度画素となる色を、より多く配置することが望ましい。なお、より高感度とするには、白(Ｗ)画素データだけは、等価ＩＲ成分(ir)を除去しないで、次段の処理に供給することが望ましい。

図６（Ｂ）に、当該「Ｙｅ,Ｒ,Ｇ,Ｗ」の色フィルタをオンチップ・多層フィルタ２Ｂ内に有する撮像デバイス２（図１（Ｂ））からの撮像信号の色分光特性を示す。
図解した色分光特性の撮像信号は、光学帯域分離フィルタと色フィルタとを透過して撮像（光電変換）することにより得られたものである。ただし、オンチップ・多層フィルタ２Ｂの分光特性は、撮像デバイス２に積層することが可能な膜材料、膜厚、積層方法等の制限から、図３（Ｂ）に示すように遮断帯域（波長；６５０〜８５０［nm］）で完全な遮断特性が得られない。よって、図６（Ｂ）に示すように、撮像信号における色分光特性において、波長７００〜８００［nm］付近ではＧ(緑)と他の色との感度が多少異なっている。しかし、８００［nm］付近以上の波長では、図３（Ｂ）に示すように透過率を上昇させて、図２に示す色間の感度が揃う撮像デバイスの特性をよく反映させることによって、色間の感度のばらつきをほぼ無くした特性が実現できている。
本実施形態では、この点に着目して画素データ間で、以下のようにしてＩＲ光成分のキャンセルを行う。

図１（Ａ）に示すデータ分離部５４１が、撮像デバイス２からの撮像信号を、色ごとの画素データに分離した後、赤外分離部５４８が、次式(1-1)〜(1-3)に示す減算を実行する。

［数１］
(Ｙｅ＋(ir))−(Ｇ＋(ir))＝Ｒ…(1-1)
(Ｙｅ＋(ir))−(Ｒ＋(ir))＝Ｇ…(1-2)
(Ｗ＋(ir))−(Ｙｅ＋(ir))＝Ｂ…(1-3)

この式から分かるように、単に２色間の減算によって等価ＩＲ成分(ir)がキャンセルされる。
一方、等価ＩＲ成分(ir)を抽出したい場合は、画素データ(Ｒ＋(ir))から上記(1-1)で求めたＲデータを減算する、あるいは、画素データ(Ｇ＋(ir))から上記(1-2)で求めたＧデータを減算する。

図７に、赤外分離演算後の３原色データの色分光特性を示す。
図７から、特に８００［nm］以上ではＩＲ光成分がほぼ完全にキャンセルされ、７００〜８００［nm］の境界領域でも色間のばらつきは十分押さえられている。この境界領域で人間の色感度はほとんどなく、直接色のばらつきは認識できない。また、ＩＲ光成分がほぼキャンセルされていることから、色にオフセットがかかって全体が白っぽくなることが有効に防止された色補正がなされている。

ところで、図２（Ｂ）に特性を示すオンチップ・多層フィルタ２Ｂ（図１（Ｂ））は、一般に、生産ロット、半導体基板上の撮像デバイス２の位置、撮像デバイス２内の画素の位置などに依存してばらつくことが知られている。また、オンチップ・多層フィルタ２Ｂが形成された撮像デバイス２の特性、画素の特性によっても、得られる撮像信号の特性が多少なりともばらつく。しかし、１枚のウエハに形成された１つの撮像デバイス２内で、隣り合う画素のバラツキは無視できるほど小さい。したがって、画素ユニット内における４色配置の画素間のデータ間では、前述した式(1-1)〜(1-3)に示す演算が常に有効となる。

図８（Ａ）に、低色温度（３０００[Ｋ]）の光源下での撮像で得た撮像信号の色分光特性を示し、図８（Ｂ）に、図８（Ａ）に示す特性の撮像信号をデータ分離し、前記式(1-1)〜(1-3)に従う減算を行った後の画素データの色分光特性を示す。
また、図９（Ａ）に、ＬＥＤ照明による撮像で得た撮像信号の色分光特性を示し、図９（Ｂ）に、図９（Ａ）に示す特性の撮像信号をデータ分離し、前記式(1-1)〜(1-3)に従う減算を行った後の画素データの色分光特性を示す。

図８および図９から、光源の種類に応じて可視光の感度が大きく異なり、近赤外光でも感度レベルが異なるが、上記図で破線の楕円により示すように、光源を問わず約８００［nm］以上のＩＲ成分がキャンセルできることが分かる。
図８の光源下での撮像時に、図９に示す補助照明を用いて被写体を照らし、可視光での感度を増大させ信号の高感度化を図る応用が可能である。この場合でも、図８と図９から、ＩＲ成分のキャンセルが有効に働くことが容易に類推できる。

以上は、図４の図表における最初の「１補色＋２原色＋白」の例として「Ｙｅ,Ｒ,Ｇ,Ｗ」についての処理と、その効果についての記述であるが、演算式が異なるが処理の基本と、ＩＲ成分キャンセルの理由は他の色組み合わせでも共通する。また、光源を選ばずにＩＲ成分のキャンセルが可能なこと、ＬＥＤ補助照明を行ってもＩＲ成分キャンセルが有効に働くことは、色の組み合わせを問わず同様である。よって、以下、図４のその他の色組み合わせについて、主に、色組み合わせが等価性を満足することと、演算式とを列挙し、幾つかの色組み合わせについては、演算前後の特性グラフを示す。

＜２補色＋１原色＋白＞
２つの補色と、１つの原色と、１つの白(Ｗ)で４色配置が構成される。具体的には、図４に示すように、「Ｙｅ,Ｃｙ,Ｒ,Ｗ」「Ｙｅ,Ｃｙ,Ｂ,Ｗ」「Ｙｅ,Ｍｇ,Ｇ,Ｗ」「Ｙｅ,Ｍｇ,Ｂ,Ｗ」「Ｃｙ,Ｍｇ,Ｒ,Ｗ」「Ｃｙ,Ｍｇ,Ｇ,Ｗ」の６通りがある。
例えば「Ｙｅ,Ｃｙ,Ｒ,Ｗ」では、画素データ分離後の（Ｃｙ(＝Ｂ＋Ｇ)＋(ir)）データと（Ｒ＋(ir)）データの組と、(Ｗ(＝Ｒ＋Ｇ＋Ｂ)＋(ir))データとが、「２色の和が他の１色と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。同様に、他の５通りも、この要件を満たし等価性を満足する。

演算式は次式(2-1)〜(2-3)に示すものを用い、この演算過程で３原色データを求める際に等価ＩＲ成分(ir)をキャンセルする。求めた原色データを使って等価ＩＲ成分(ir)を求めるには次式(2-4)を、原色データを求めることなく最初から等価ＩＲ成分(ir)を求める場合は等価性を利用した次式(2-5)を、それぞれ用いる。

［数２］
(Ｗ＋(ir))−(Ｃｙ＋(ir))＝Ｒ …(2-1)
(Ｃｙ＋(ir))−(Ｒ＋(ir))＝Ｇ …(2-2)
(Ｗ＋(ir))−(Ｙｅ＋(ir))＝Ｂ …(2-3)
(Ｒ＋(ir))−Ｒ＝(ir) …(2-4)
{(Ｃｙ＋(ir))＋(Ｒ＋(ir))}−(Ｗ＋(ir))＝(ir)…(2-5)

＜３補色＋白＞
３つの補色と、１つの白(Ｗ)で４色配置が構成される。具体的には、図４に示すように、「Ｙｅ,Ｃｙ,Ｍｇ,Ｗ」の１通りがある。
「Ｙｅ,Ｃｙ,Ｍｇ,Ｗ」では、画素データ分離後の(Ｙｅ(＝Ｒ＋Ｇ)＋(ir))データと（Ｃｙ(＝Ｂ＋Ｇ)＋(ir)）データと(Ｍｇ(＝Ｂ＋Ｒ)＋(ir))データの組と、(Ｗ(＝Ｒ＋Ｇ＋Ｂ)＋(ir))データとが、「３色の和が他の１色の２倍と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。

演算式は次式(3-1)〜(3-3)を用い、３原色データを求める際に等価ＩＲ成分(ir)をキャンセルする。原色データを求めることなく最初から等価ＩＲ成分(ir)を求める場合は等価性を利用した次式(3-4)を用いる。

［数３］
(Ｗ＋(ir))−(Ｃｙ＋(ir))＝Ｒ …(3-1)
(Ｗ＋(ir))−(Ｍｇ＋(ir))＝Ｇ …(3-2)
(Ｗ＋(ir))−(Ｙｅ＋(ir))＝Ｂ …(3-3)
［{(Ｙｅ＋(ir))＋(Ｃｙ＋(ir))＋(Ｍｇ＋(ir))}−(Ｗ＋(ir))］／２＝(ir)…(3-4)

＜３原色＋白＞
３つの原色と、１つの白(Ｗ)で４色配置が構成される。具体的には、図４に示すように、「Ｒ,Ｇ,Ｂ,Ｗ」の１通りがある。
「Ｒ,Ｇ,Ｂ,Ｗ」では、画素データ分離後の(Ｒ＋(ir))データと（Ｇ＋(ir)）データと(Ｂ＋(ir))データの組と、(Ｗ(＝Ｒ＋Ｇ＋Ｂ)＋(ir))データとが、「３色の和が他の１色の１倍と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。

この色組み合わせでは、最初に等価ＩＲ成分(ir)を求めてから、その後に、等価ＩＲ成分(ir)をキャンセルする第１の方法と、３原色データを（３補色＋Ｇ）の補色系データに変換してから、通常の補色系から原色信号を求める方法によって、等価ＩＲ成分(ir)がキャンセルされた３原色データを求める第２の方法が採用可能である。第１の方法は、後述する第２実施形態で述べるため、ここでは第２の方法を、特性グラフを適宜用いながら説明する。

第２の方法では、最初に補色系データを求めるが、このとき３補色データ(Ｙｅ,Ｃｙ,Ｍｇ)については次式(4-1)〜(4-3)を用いる。これらの式から、求められた３補色データ(Ｙｅ,Ｃｙ,Ｍｇ)から等価ＩＲ成分(ir)がキャンセルされることが容易に分かる。

［数４］
(Ｗ＋(ir))−(Ｂ＋(ir))＝Ｙｅ …(4-1)
(Ｗ＋(ir))−(Ｒ＋(ir))＝Ｃｙ …(4-2)
(Ｗ＋(ir))−(Ｇ＋(ir))＝Ｍｇ …(4-3)

つぎに、等価ＩＲ成分(ir)を含まない３補色データ(Ｙｅ,Ｃｙ,Ｍｇ)を用いて、補色系データの残りの緑(Ｇ)データを次式(5)により求める。

［数５］
(Ｙｅ＋Ｃｙ−Ｍｇ)／２＝Ｇ…(5)

図１０（Ａ）と図１０（Ｂ）に、上記式(4-1)〜(4-3)ならびに式(5)による演算の前後での画素データの色分光特性を示す。但し、この特性が得られたときの入射光は、光学部品として配置されている光学帯域分離フィルタ１Ａからの光である。つまり、帯域分離特性は図３（Ａ）に示すものが使用されている。
これらの図から、良好な帯域分離特性を反映して、約７００［nm］付近以上はほぼゼロに等しくなり等価ＩＲ成分(ir)がキャンセルされていることが分かる。

つぎに、求めた補色系４データから、３原色を次式(6-1)〜(6-3)による演算で求める。

［数６］
(Ｙｅ＋(ir))−(Ｇ＋(ir))＝Ｒ…(6-1)
(Ｃｙ＋(ir))−(Ｇ＋(ir))＝Ｂ…(6-2)
(Ｙｅ＋(ir))−Ｒ＝Ｇ …(6-3)

この式から分かるように２色間の減算によって等価ＩＲ成分(ir)がキャンセルされる。
一方、等価ＩＲ成分(ir)を抽出したい場合は、画素データ(Ｇ＋(ir))から上記式(6-3)で求めたＧデータを減算する。

図１１（Ａ）と図１１（Ｂ）に、上記式(6-1)〜(6-3)による演算の前後での画素データの色分光特性を示す。このとき帯域分離特性は図３（Ａ）に示すものが使用されている。
これらの図から、良好な帯域分離特性を反映して、約７００［nm］付近以上はほぼゼロに等しくなり等価ＩＲ成分(ir)がキャンセルされていることが分かる。

得られた３原色データを用いて、等価ＩＲ成分(ir)を抽出するには、図１２（Ａ１）に示す、データ分離後の｛Ｒ＋(ir),Ｇ＋(ir),Ｂ＋(ir)｝データから、図１２（Ａ２）に示す、上記式(6-1)〜(6-3)により求めた（Ｒ,Ｇ,Ｂ）データを少なくとも１色減算する。これにより、図１２（Ｂ）に示すように等価ＩＲ成分(ir)のみの抽出が可能である。

以上が白(Ｗ)を４色配置に含む好ましい場合の説明である。
つぎに、図４に示す白(Ｗ)を含まない他の色の組み合わせについて簡単に説明する。

＜１補色＋３原色＞
この色の組み合わせは図４に示す３通りがあり、例えば「Ｙｅ,Ｒ,Ｇ,Ｂ」では、(Ｒ＋(ir)）データと（Ｇ＋(ir)）データの組と、(Ｙｅ(＝Ｒ＋Ｇ)＋(ir))データとが、「２色の和が他の１色と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。
演算は、例えば、前述した式(1-1)と(1-2)からＲとＧを求め、｛（Ｒ＋(ir)＋（Ｇ＋(ir)）データと（Ｙｅ＋(ir)）データの差分から(ir)を求めて、これを（Ｂ＋(ir)）データから引くことでＢデータを求める。

＜２補色＋２原色＞
この色の組み合わせは図４に示すように、例えば「Ｙｅ,Ｃｙ,Ｇ,Ｒ」があり、この例では、(Ｒ＋(ir)）データと（Ｇ＋(ir)）データの組と、(Ｙｅ(＝Ｒ＋Ｇ)＋(ir))データとが、「２色の和が他の１色と可視光領域で等価という要件に合致する」ため、前述した等価性を満たす。
演算は、例えば、｛（Ｇ＋(ir)）＋（Ｂ＋(ir)）｝−（Ｃｙ＋(ir)）の式から(ir)を求める方法と、＜１補色＋３原色＞と同様にＧデータとＲデータを先に求めてから(ir)を抽出する方法がある。

＜補色系＞
これは式(6-1)〜(6-3)で求めることができるし、等価ＩＲ成分(ir)の抽出も同様に可能である。
ただし、最初から色フィルタが補色系である場合は、先に記述した等価性は満足しない。

本実施形態では、図２に示す撮像デバイスの分光特性から、各色成分の分光についてある一定波長以上の分光曲線がほぼ等価な分布形状となることを利用し、Ｒ,Ｇ,Ｂの原色データを求める演算を行う際に、近赤外の漏れ光成分をキャンセルすることができる。このとき「近赤外領域の各カラーフィルタの感度が等価でない波長領域（例えば６５０〜８５０［nm］）を遮断し、その短波長側帯域と長波長側帯域を通過させる光学帯域分離フィルタと、前述した等価性を保持した４色配置の色フィルタとを組み合わせて用いることで、極めて簡単な演算でも効率よく正確にＩＲ成分を除去した３原色データの出力が可能である。
また、本実施形態では、ＩＲ成分を含んだ撮像信号から、上記赤外分離処理で取り出した可視光分を減算することで、ＩＲ成分のみからなる画像も取得可能となり「可視光」「ＩＲ画像」を１枚の撮像デバイスで分離し取得することが可能なカメラ装置を提供することができる。

図１に示すカメラ装置の、例えば信号処理部４内には、特に図示しないが、所定のカメラ制御処理のために撮像画面の明るさ情報を検出する手段が設けられている。所定のカメラ制御処理としては、赤外分離により色補正がされたＲ,Ｇ,Ｂ原色データ間で行うホワイトバランス補正、あるいは、光学部品１の絞りおよびその制御回路で行う露出制御を例示できる。

以下、撮像画面の明るさを検出し、マイクロコンピュータ１０の制御により、色ごとに画素データの値を、例えば１画面分積算する積算値について、説明する。

《データ分離部後での色成分検出》
図１３（Ｃ）は、図１に示すデータ分離部５４１から赤外分離部５４８の間の画素データを検出し、色成分ごとに積算する構成を示す。図１３（Ａ）と図１３（Ｂ）は画素データに占めるＩＲ光量成分比が異なる場合を、光源の色温度が５０００[Ｋ]と２４００[Ｋ]で比較して示す色分光特性のグラフである。

以下、図１３を用いて、データ積算箇所が単一の場合の検出と、その不都合を説明する。このため、図３（Ｃ）に図示するように色フィルタの構成（色配置）を、「Ｒ,Ｇ１,Ｇ２,Ｂ」であるとしている。本実施形態における色フィルタは上述した図４に示す４色配置であるが、ここでは「Ｒ,Ｇ１,Ｇ２,Ｂ」の色配置を便宜上、当該データ積算箇所の説明に限り用いる。

図１３（Ｃ）に示す積算部（第１積算部）６１は、色ごとの積算部（ここでは４つの積算部）からなり、データ分離部５４１により分離された色ごとの画素データを、それぞれ対応する積算部で、例えば１画面分積算する。この各積算部に入力される画素データは、赤外分離前であるため、ＩＲ成分を含む。第１積算部６１からの色ごとの積算値（第１積算値）は、不図示のカメラ制御処理部に出力され、当該処理（例えば露出制御やホワイトバランス補正）に供せられる。

この各積算部に入力される画素データは、赤外分離前であるため、ＩＲ成分を含み、ＩＲ成分比は撮像する被写体によって、あるいは撮像環境（特に光源の色温度等）によって大きく変化する。
具体的には、図１３（Ａ）に示す色温度５０００[Ｋ]の光源下ではＩＲ成分が含まれる割合は２５[％]程度と低いが、図１３（Ｂ）に示す色温度２４００[Ｋ]の光源下ではＩＲ成分が含まれる割合が７３[％]にも達する。なお、図１３（Ａ）と（Ｂ）は、図１に示す光学帯域分離フィルタ１Ａ等によって波長７００〜８００［nm］で帯域カットされているが、第１積算部６１は全波長での積算値を算出するため、同じような値の積算値でもＩＲ成分比は環境によって大きくことなる場合がある。

カメラ制御処理が露出制御であるとするならば、撮像デバイス２への入力画像の明るさ（光量）をある適正値にするようにカメラの露出が、絞り等によって制御される。そのとき入力画面の明るさは、例えば４つの積算部の合成値が用いられる。
したがって、露出制御が第１積算部６１からの積算値のみに基づいて行われると、その後に、赤外分離部５４８（図１）によって可視光とＩＲ光が分離された場合、光源にＩＲ光を非常に多く含んだ条件下で撮像がされていると（低色温度時などが該当する）、可視光成分は適正値より非常に少ないものとなるため、表示画面が暗くなってしまう。

画面が暗いときはゲイン調整する機能が、通常のカメラ装置に備わっている。このゲイン調整が働くと、比較的少ない可視光成分に対し、大きな増幅率（ゲイン）が掛けられて、適正出力信号レベルまで持ち上げる。その場合、非常にＳ／Ｎ比が低い結果を招いてしまう。

一方、カメラ制御処理がホワイトバランス補正である場合、ホワイトバランスのため、色ごとのゲインアンプの制御量（色ゲイン値）を決定する必要がある。この色ゲイン値は、図１３（Ｃ）に示す第１積算部６１を構成する色ごとの積算部の出力比に基づいて、例えばマイクロコンピュータ１０により決められる。
しかし、第１積算部６１が求める積算値は、ＩＲ成分を一定のオフセットとして含むものであるため、色ごとの積算値の比率は、適正比率と同じにならない。

具体的な例で説明すると、例えば光源の色温度が５０００[Ｋ]のときに（図１３（Ａ））、可視光成分で見た場合、Ｇ基準で青(Ｂ)および赤(Ｒ)の画素データに掛けられるべき色ゲイン値は、１.３３（Ｂ）、１.２５（Ｒ）とする。
しかし、ＩＲ成分を含んだ画素データの積算値から色ゲインを求めてしまうと、上記色ゲイン値が実際には、それぞれ１.２２(Ｂ)、１.１３(Ｒ)となり、適正ゲイン値とずれてしまう。よって、ホワイトバランス補正を行っても、白であるべき画像箇所が無彩色の白とならない不都合がある。

さらにＩＲ成分が多いと、とくに出力の情報量が多い特定色の画素で光センサ部が飽和しやすくなる。色が飽和すると、もはや、ＩＲ成分を含む画素データのみでの明るさ検出（積分値取得）では、正しい積分値が得られないためカメラ制御処理が精度よく行えなくなる。

以上の不都合を防止するため、本実施形態のカメラ装置では、信号処理部４内に、第１積算部６１に加え、もう１つの第２積算部６２を赤外分離部５４８の出力側に設けている。

図１４に、２つの積算部（第１積算部６１および第２積算部６２）の構成と、赤外分離部５４８との接続関係を示す。
第１積算部６１は赤外分離部５４８の前段に設けられ、Ｒ１データを積算する色積算部５８Ｒ、Ｇ１データを積算する色積算部５８Ｇ、Ｂ１データを積算する色積算部５８Ｂ、および、Ｗデータを積算する色積算部５８Ｗを備える。ここで入力データは、図示のように（Ｒ,Ｇ,Ｂ,Ｗ）４色配置の撮像デバイス２から出力され、所定の処理を経て、図１の分離部５４１で分離された４つの（Ｒ１,Ｇ１,Ｂ１,Ｗ）データである。
第１積算部６１はＩＲ成分と可視光成分の分離処理前のデータを入力とするため、ＩＲ成分と可視光成分を含む全波長の受光成分の大きさを検出し、積算値ΣＲ１、ΣＧ１、ΣＢ１およびΣＷ（以下、これらを第１積分値という）を出力する。

第２積算部６２は赤外分離部５４８の後段に設けられ、Ｒ１データを赤外分離して得られたＲ２データを積算する色積算部５８Ｒ、Ｇ１データを赤外分離して得られたＧ２データを積算する色積算部５８Ｇ、Ｂ１データを赤外分離して得られたＢ２データを積算する色積算部５８Ｂ、および、赤外分離で得られたＩＲデータを積算するＩＲ積算部５８ＩＲを備える。ここで入力データは、図示のように（Ｒ,Ｇ,Ｂ,Ｗ）データを基にＩＲ成分を除去した３原色の（Ｒ２,Ｇ２,Ｂ２）データと、ＩＲデータである。
第２積算部６２は、分離後のＩＲ成分または可視光成分の大きさを検出し、積算値ΣＲ２、ΣＧ２、ΣＢ２およびΣＩＲ（以下、これらを第２積分値という）を出力する。

図１５に、この第１積算部６１および第２積算部６２を用いて行うカメラ制御処理の優先度決定手法を模式的に示す。
カメラ制御処理部内のマイクロコンピュータ１０が、算出された第１および第２積分値を用いてパラメータＫを算出する。パラメータＫは、ＩＲ成分の大きさと可視光成分の大きさに関係する変数であり、ＩＲ成分比率が大きいほど大きくまたは小さくなるように変動する関係式に基づくならば、定義は任意である。ここではＩＲ成分比率１００[％]のＩＲ成分のみの場合に「１」をとり、逆に、可視光成分のみの場合に「０」をとる変数としてパラメータＫが定義されている。

図１５の横軸にパラメータＫをとり、縦軸に、第１積算部６１と第２積算部６２の何れの出力を優先的に用いるかを表す指標をとっている。この指標は、ここでは「後段検出器優先度」と称され、その値が「１」のときに第２積算部６２からの第２積算値を制御に用い、その値が「０」のときに第１積算部６１からの第１積算値を制御に用いる。

この図から分かるように、多くの場合、可視光優先で（露出等の）制御を行う。つまり、第１積算部６１からの第１積分値を用いてカメラ制御を実行する。
パラメータＫがやや小さい「ｋ１」を超えると、入力光の殆どがＩＲ成分とみなして、ＩＲ優先の露出等の制御を行う。具体的には、ＩＲデータを用いた露出制御を行う、あるいは、ＩＲ成分と等価とみなされる入力画素データを用いた露出等の制御を行う。
例えば、第１積算部６１で求められた値（入力）と、第２積算部６２で求められた値の比（ＩＲ成分比）を計算し、もし入力とＩＲ成分の比が“１”に近い場合は、撮影対象はＩＲ成分の光しか含んでいないこととなるため、ＩＲ画像の撮影を行うように、ＩＲ優先での露出制御を行う。

パラメータＫが「ｋ２（＜ｋ１）」未満になると、可視光優先の制御に戻す。
例えば、逆に入力に対しＩＲ成分の値が小さい場合は、赤外を含まずに、可視光が十分に明るい被写体を映していると想定できるため、ＩＲ／可視光分離処理後の可視光成分を、適正な明るさにするように露出制御を行うことが、可視光撮影には望ましい。
このように制御にヒステリシスを設けているのは、頻繁に制御モードが切り替わるのを防止するためである。

《高周波成分検出》
以上の構成に加えて、本実施形態では高周波成分検出が可能に第２積算部６２側に変更を加えることが可能である。
霧や煙などが多い環境下の撮影では、今まではユーザオペレーションにより撮影モード（例えばＡＥプログラムモード）の切り替えが行われていた。
「可視光」では霧や煙にさえぎられて、その奥の風景や道路等の物体が見えない場合でも、「ＩＲ光」が多い環境下、あるいは赤外線を意図的に照射すると、霧や煙を透かして、その奥が見えやすい。
風景や道路等の物体が見えているときは、より多くのエッジが含まれるため高周波成分が相対的に多くなり、見えていないときは高周波成分も少なくなる。
この性質を利用するならば、可視光成分とＩＲ成分のそれぞれで高周波成分比を求め、その違いがある、即ちＩＲデータにおける高周波成分比が、可視光データにおける高周波成分比より大きければ、霧や煙が立ち込めた環境であるとしてＩＲ優先の制御に自動的に切り替えることが可能である。
本変更例は、自動的な切り替え制御のための構成と動作に関する。

図１６（Ａ）に、高周波成分検出のための構成を示す。この図において図１４と共通する構成は同一符号を付している。
第２積算部６２と赤外分離部５４８との間に、色ごと、および、ＩＲに１つずつ高周波検出部としてのハイパスフィルタ（ＨＰＦ）６３を接続させている。このため第２積算部６２を構成する色積算部５８Ｒ,５８Ｇ,５８ＢとＩＲ積算部５８ＩＲは、それぞれ入力データの高周波成分を、例えば１画面分積算して第２積算値として出力する。第２積算値は、不図示のマイクロコンピュータ１０に送られ、マイクロコンピュータ１０がモード切り替えを判断する。

ＨＰＦ６３は、例えばラプラシアンフィルタから構成でき、その場合のフィルタ係数セットの例を、図１６（Ｂ）に示す。

図１７（Ａ）に、霧が発生した場合の車載カメラ装置がモニタしている可視光画像例を示し、図１７（Ｂ）に、同じ可視光画像を高周波検出したときのモニタ画像例を示す。また、図１７（Ｃ）に、霧がある場合に視程計値が２０[ｍ]と５０[ｍ]、さらには、霧がない場合とで、可視光、近赤外、遠赤外における視程（見える距離）を比較して示す。
図１７（Ｃ）のように、霧がある場合に、可視光より近赤外光では視程が２倍弱から３倍強ほど大きくなる。これは、霧が発生した場合、可視光では見えづらくなるため高周波成分は少なくなるが、赤外線は霧の中でも透過性が高く、赤外カメラには見えているために赤外成分でＨＰＦを掛けると画像が出力されてくる。

図１８に、制御例を示す。
横軸に高周波成分の、可視光に対するＩＲ光の成分比をとり、縦軸に可視光とＩＲ光の積算値の利用優先度を示す。利用優先度は撮影モードの違いと考えてよい。
ここではＩＲの高周波成分と可視光の高周波成分の比を求めており、その比でＩＲ成分が多く、可視光成分が少ない場合は、霧撮影状態と判定し、ＩＲ撮影（ＩＲ成分を用いた明るさ判定）へと切り替えを行うようになっている。ただし、このような状態は夜間でＩＲの照明を行った場合も同様となるため、必要があれば、「可視光が明るいが、高周波成分がない＋ＩＲは高周波成分が多い」という条件にしてもよい。
以上の構成により、可視光、ＩＲ光のそれぞれ必要な方を適正な露出で撮影をすることが可能となる。

本発明の実施形態に係る画素信号処理回路を内蔵したカメラ装置のブロック図である。 （Ａ）は白(Ｗ)画素を含む原色系ＣＣＤデバイスの分光特性、（Ｂ）に、白(Ｗ)画素を含む補色系ＣＣＤデバイスの分光特性を示すグラフである。 （Ａ）と（Ｂ）は、それぞれ光学部品として、および、オンチップとして設けられる光学帯域分離フィルタ特性例を示すグラフである。 ４色配置における色の組み合わせを分類した図表である。 実施形態に関わる画像入力処理方法の手順を示すフローチャートである。 （Ａ）は４色配列例（「Ｙｅ,Ｒ,Ｇ,Ｗ」）を示す模式図、（Ｂ）は「Ｙｅ,Ｒ,Ｇ,Ｗ」の４色配置色フィルタを通して得られた撮像信号の色分光特性を示すグラフである。 赤外分離演算後の３原色データの色分光特性を示すグラフである。 （Ａ）は、低色温度（３０００[Ｋ]）の光源下での撮像で得た撮像信号の色分光特性を示すグラフである。（Ｂ）は、（Ａ）に示す特性の撮像信号をデータ分離し、減算した後の色分光特性を示すグラフである。 （Ａ）と（Ｂ）は、それぞれ図８（Ａ）と（Ｂ）に対応する、ＬＥＤ照明による撮像で得た撮像信号の色分光特性を示すグラフである。 （Ａ）と（Ｂ）は、他の色組み合わせにおける演算前と後の色分光特性のグラフである。 （Ａ）と（Ｂ）は、補色系データから原色系データを求める演算前と後の色分光特性のグラフである。 （Ｂ）は、（Ａ１）から（Ａ２）を引いて抽出した等価ＩＲ成分(ir)の分光特性を示すグラフである。 （Ａ）と（Ｂ）は、光源の色温度が５０００[Ｋ]と２４００[Ｋ]の色分光特性のグラフである。（Ｃ）は、赤外分離の前段に設ける第１積算部の構成図である。 第１および第２積算部６１,６２の配置と構成を示す図である。 第１および第２積算部６１,６２を用いて行うカメラ制御処理の優先度決定手法を模式的に示す図である。 （Ａ）は高周波成分検出のための構成を示す図、（Ｂ）はフィルタ係数例を示す図である。 （Ａ）と（Ｂ）は霧が発生した場合の可視光画像と高周波検出画像の例を示す図、（Ｃ）は霧の有無および視程計値と視程との関係を示す図表である。 高周波検出を含むカメラ制御処理の優先度決定手法を模式的に示す図である。

符号の説明

１…光学部品、１Ａ…光学帯域分離フィルタ、２…撮像デバイス、２Ａ…色フィルタ、３…ＡＦＥ回路、４…信号処理部、５…ＡＤＣ、９…混合回路、１０…マイクロコンピュータ、１１…不揮発性メモリ、１２…ＤＡＣ、１３…ＴＧ、１４…ビデオ信号、５８Ｒ等…積算部、６１…第１積算部、６２…第２積算部、６３…ＨＰＦ、５４１…データ分離部、５４８…赤外分離部

Claims (5)

1. 入射した光を、画素を単位として受光し、撮像信号を発生する光センサ部と、
   前記光センサ部にオンチップで形成され、２色の和が他の１色と可視光領域で等価、または、３原色の和が他の１色の１倍と可視光領域で等価となる等価性を有する４色配置のオンチップの色フィルタと、
   前記光センサ部の入射光経路に配置され、前記オンチップの色フィルタが形成された前記光センサ部の受光特性で全てのフィルタ色の感度が揃う波長を上限として近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側の可視光帯域、および、前記所定波長帯域の前記上限より大きく１０００ｎｍ以下の長波長側帯域を通過させる光学帯域分離フィルタと、
   前記光学帯域分離フィルタおよび前記オンチップの色フィルタを通すことによって前記短波長側の可視光帯域で前記４色配置の各色が選択され、かつ、前記長波長側帯域において前記４色配置の色間で等価の近赤外光成分をもつ光を前記光センサ部が受光したときに得られる前記撮像信号の前記４色配置に対応する画素データを、４色の色ごとに分離するデータ分離部と、
   前記分離後の４色の画素データ間で、前記４色配置に基づく可視光領域の前記等価性を利用した減算によって、前記長波長側帯域の近赤外光成分を画素データから分離する赤外分離部と、
   前記データ分離部から出力され前記赤外分離部へ入力される前の複数の画素データを、色ごとに積算する第１積算部と、
   前記赤外分離部から出力される複数の画素データを、色ごとに積算する第２積算部と、
   前記第１積算部からの色ごとの第１積算値と、前記第２積算部からの色ごとの第２積算値との大きさから、赤外光成分が相対的に多い画像か相対的に少ない画像かを判別し、判別した画像に適したホワイトバランス補正または露光制御を実行するカメラ制御処理部と、
   を有する画像入力処理装置。
2. 前記第１および第２積算部は、色積算値を色ごとに求める色積算部を含み、
   前記第２積算部は、色積算値を色ごとに求める色積算部と、前記赤外分離部で抽出された近赤外光成分の積算値（ＩＲ積算値）を求めるＩＲ積算部とを含む
   請求項１に記載の画像入力処理装置。
3. 前記カメラ制御処理部は、前記ＩＲ積算値に基づいて、近赤外光成分の大きさ、または、画素データに含まれる近赤外光成分の割合に関係するパラメータを算出し、当該パラメータの大きさに応じて、ホワイトバランス補正または露出制御に用いる色積算値を、前記第１積算部または前記第２積算部のどちらから得るかを決定する
   請求項２に記載の画像入力処理装置。
4. 入射した光を、画素を単位として受光し、撮像信号を発生する光センサ部と、
   前記光センサ部にオンチップで形成されたオンチップの補色系４色（Ｙｅ,Ｃｙ,Ｍｇ,Ｇ）の色フィルタと、
   前記光センサ部の入射光経路に配置され、前記オンチップの色フィルタが形成された前記光センサ部の受光特性で全てのフィルタ色の感度が揃う波長を上限として近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側の可視光帯域、および、前記所定波長帯域の前記上限より大きく１０００ｎｍ以下の長波長側帯域を通過させる光学帯域分離フィルタと、
   前記光学帯域分離フィルタおよび前記オンチップの補色系４色フィルタを通すことによって前記短波長側の可視光帯域で補色系４色の各色が選択され、かつ、前記長波長側帯域において前記補色系４色の色間で等価の近赤外光成分をもつ光を前記光センサ部が受光したときに得られる前記撮像信号の前記補色系４色に対応する画素データを、色ごとに分離するデータ分離部と、
   前記分離後の補色系４色の画素データ間で減算を行うことによって、前記長波長側帯域の近赤外光成分を画素データから分離する赤外分離部と、
   前記データ分離部から出力され前記赤外分離部へ入力される前の複数の画素データを、色ごとに積算する第１積算部と、
   前記赤外分離部から出力される複数の画素データを、色ごとに積算する第２積算部と、
   前記第１積算部からの色ごとの第１積算値と、前記第２積算部からの色ごとの第２積算値との大きさから、赤外光成分が相対的に多い画像か相対的に少ない画像かを判別し、判別した画像に適したホワイトバランス補正または露出制御を実行するカメラ制御処理部と、
   を有する画像入力処理装置。
5. オンチップの色フィルタが形成された光センサ部の受光特性で全てのフィルタ色の感度が揃う波長を上限として近赤外光の所定波長帯域を遮断し、当該所定波長帯域の短波長側の可視光帯域、および、前記所定波長帯域の前記上限より大きく１０００ｎｍ以下の長波長側帯域を通過させる光学帯域分離フィルタに、入射光を通すステップと、
   ２色の和が他の１色と可視光領域で等価、または、３原色の和が他の１色の１倍と可視光領域で等価となる等価性を有する４色配置のオンチップの前記色フィルタが形成された前記光センサ部により、入射光を撮像するステップと、
   前記光学帯域分離フィルタおよび前記オンチップの色フィルタを通すことによって前記短波長側の可視光帯域で前記４色配置の各色が選択され、かつ、前記長波長側帯域において前記４色配置の色間で等価の近赤外光成分をもつ光を撮像することにより得られた撮像信号を、色ごとの画素データを分離するステップと、
   色ごとに分離された画素データを、色ごとに積算する第１積算ステップと、
   前記色ごとの画素データ間の、前記４色配置に基づく可視光領域の前記等価性を利用した減算によって、前記長波長側帯域の近赤外光成分を分離するステップと、
   赤外光分離後の画素データを、色ごとに積算する第２積算ステップと、
   前記第１積算ステップで得られた色ごとの第１積算値と、前記第２積算ステップで得られた色ごとの第２積算値との大きさから、赤外光成分が相対的に多い画像か相対的に少ない画像かを判別し、判別した画像に適したホワイトバランス補正または露出制御を実行するステップと、
   を含む画像入力処理方法。