JP4011039B2 - 撮像装置及び信号処理方法 - Google Patents

Description

この発明は、撮像装置に関し、特に赤外除去フィルタ（ＩＲＣＦ）を用いずに比視感度補正を行う信号処理手段を具備した撮像装置に関する。本発明はまた、そのような撮像装置における信号処理方法に関する。

従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号に対し信号処理を施すことにより所定の画像信号を得る信号処理手段とを有している。
通常撮像素子として用いるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサー又はＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ）センサを一枚だけで撮像装置を構成する場合、即ち、単板式のセンサーにおいては、色分解を行う色フィルタとして、画素ごとに異なる色のものがセンサー上に設けられている。
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得るには、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる、Ｒ、Ｇ、Ｂの原色フィルタを用いる場合と、マジェンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、Ｇの補色フィルタを用いる場合がある。上記のいずれの色フィルタも染料もしくは顔料を用いて目的の色を透過させるようにその分光透過特性が設計されているが、近赤外領域でも一定の透過率を有する。また、撮像素子の光電変換部は主にシリコン（Ｓｉ）などの半導体で構成されているため、光電変換部の分光感度特性は波長の長い近赤外光まで感度を有している。よって、色フィルタを具備した撮像素子から得られた信号は近赤外領域の光線にも反応している。

一方、人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性はその感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、撮像装置の色再現性を人間の色覚特性に合わせるためには、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外線除去フィルタ（以後、ＩＲＣＦ：Ｉｎｆｒａｒｅｄ Ｃｕｔ Ｆｉｌｔｅｒ）を設ける必要があった。

一方、例えば監視カメラ等のように色再現性よりも感度を重視する場合には、近赤外領域の光を利用するため、ＩＲＣＦを設けず撮像素子に近赤外光を受光させるほうが良い。

そこで、色再現性を必要とするときはＩＲＣＦを撮像素子の前に設置し、感度を優先するときは近赤外の光線を受光するために、ＩＲＣＦを移動させる機構手段を設けたり、入射光量を調整する絞りの一部にＩＲＣＦを設け、光量に応じてＩＲＣＦを撮像素子の前に設置したり除去したりする技術が種々提案されている（例えば、特許文献１参照）。
また、ＩＲＣＦを設置せずにホワイトバランスを取り、ＩＲＣＦを設置したときに輝度信号を生成するＲ、Ｇ、Ｂ信号の混色比とは異なる混色比で輝度信号を生成することで感度向上を図る技術も提案されている（特許文献２、３参照）。

特開２００１−３６８０７公報 特開２００３−１３４５２２公報 特開２００３−２６４８４３公報

しかしながら、特許文献１に挙げた従来の撮像装置はＩＲＣＦを移動させる機構手段が必要であり、撮像素子を含むユニットの小型化に不利であり、撮像素子の電子シャッタを用いて光量調整を行う簡易的な撮像装置（例えば、ピーシーカメラ（ＰＣカメラ）、携帯電話用カメラ、トイカメラ（ＴＯＹカメラ）、民生用監視カメラ）は絞り機構を有していないことが多いため、新たにＩＲＣＦを着脱する機構手段を設けなければならない。

また、特許文献２及び３に挙げた撮像装置は白黒の映像信号を得るときは問題ないが、カラーの映像信号を得るときは、色信号はホワイトバランスを合わせるのみであり、さらに輝度信号も人間の比視感度特性が考慮されていない色信号比であるため、そのカラーの映像信号は人間の色覚特性又はそれを線形変換することにより得られる分光感度特性で得られるＲ、Ｇ、Ｂ値と異なった映像信号、すなわちカラーの映像信号は人間の色覚特性又はそれを線形変換することにより得られる分光感度特性で得られるＲ、Ｇ、Ｂ値に対する色差ΔＥ＊ａｂ（ＪＩＳ Ｚ８７３０）の大きな映像信号となり、正確な色再現性が得られない。

本発明は、上述のような課題を解消するためになされたもので、ＩＲＣＦを用いることなく、近赤外光が入射されたときでも、色再現性の良好なカラーの映像信号を得ることができる撮像装置を提供することを目的とする。

本発明は、
赤、緑、青の光を抽出する第１、第２、第３のカラーフィルタ、および近赤外領域の光のみを抽出する第４のカラーフィルタとを有し、それぞれのカラーフィルタの分光透過率に対応した第１乃至第４の信号を出力する色信号生成手段と、
前記色信号生成手段から出力された第１乃至第４の信号から、赤、緑、青の色信号を生成する信号処理手段とを具備した撮像装置であって、
前記信号処理手段は、前記色信号生成手段が有する近赤外領域での応答特性を補正する分光感度補正手段を備え、前記分光感度補正手段は、前記色信号生成手段から前記分光感度補正手段までの総合的な分光感度特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとし、
前記分光感度補正手段は、前記第１乃至第４の信号に対して３行４列の係数マトリクスを掛けるマトリクス演算を行って、前記赤、緑、青の色信号を生成し、
前記信号処理手段は、前記分光感度補正手段により生成された赤、緑、青の色信号から輝度信号Ｙおよび２種の色差信号ＣｒＣｂを生成することができる輝度色差信号生成手段をさらに有し、
前記撮像装置は、第１の撮像モードと第２の撮像モードのいずれかにより選択的に動作可能であり、
前記第１の撮像モードでは、
前記分光感度補正手段が、前記第１乃至第４の信号に基づいて前記赤、緑、青の色信号を生成し、前記輝度色差信号生成手段が、前記分光感度補正手段により生成された赤、緑、青の色信号から輝度信号Ｙおよび２種の色差信号ＣｒＣｂを生成し、
前記第２の撮像モードでは、
前記分光感度補正手段は、前記第４の信号に対して乗算される係数をゼロとし、前記第１乃至第３の信号に基づいて前記赤、緑、青の色信号を生成し、
前記輝度色差信号生成手段は、前記分光感度補正手段により生成された赤、緑、青の色信号から輝度信号を生成する一方、前記２種の色差信号として値をゼロとする
ことを特徴とする撮像装置を提供する。

本発明によれば、ＩＲＣＦを用いることなく、良好な色再現性を得ることができるようにしたり、高感度での撮像を行なったりすることができる。

以下図面を参照して本発明の実施の形態を説明する。
実施の形態１．
図１は本発明の実施の形態１の撮像装置を示す。図１に示すように、この撮像装置は、撮像手段１と、増幅手段２と、Ａ／Ｄ変換器（ＡＤＣ）３と、信号処理手段４とを有する。

撮像手段１は、例えば図２及び図３に示すように、レンズを含む光学系２１と、２次元的に配列され、それぞれ画素を構成する複数の光電変換素子を有する撮像素子２２とを有する。撮像素子２２の複数の光電変換素子は、例えば図２に示すように、色分離手段としての色フィルタ群２３で覆われている。
複数の光電変換素子は第１乃至第４の群に分けられている。色フィルタ群２３は、第１の群の光電変換素子の各々に対して設けられた複数の赤フィルタ（Ｒ１フィルタ）３１と、第２の群の光電変換素子の各々に対して設けられた複数の緑フィルタ（Ｇフィルタ）３２と、第３の群の光電変換素子の各々に対して設けられた複数の青フィルタ（Ｂフィルタ）３３と、第４の群の光電変換素子の各々に対して設けられた複数の近赤外線フィルタ（Ｒ２フィルタ）３４とを含み、これらが図示のように配列されている。

Ｒ１フィルタ３１は、主として赤に対応する第１の波長帯域の光のみを通過させるものであり、
Ｇフィルタ３２は、主として緑に対応する第２の波長帯域の光のみを通過させるものであり、
Ｂフィルタ３３は、主として青に対応する第３の波長帯域の光のみを通過させるものであり、
Ｒ２フィルタ３４は、主として近赤外線に対応する第４の波長領域の光のみを通過させるものである。
近赤外領域においては、Ｒ２フィルタ３４の分光透過率特性は、Ｒ１フィルタ３１の分光透過率特性と略等しい。一方可視領域においては、Ｒ２フィルタ３４は殆ど分光感度を有しない。

図２に示すように、一つおきの行（図２で上から１番目、３番目及び５番目の行）では、Ｂフィルタ３３とＧフィルタ３２が交互に、即ち「Ｂ−Ｇ」を繰り返すように設けられ、上記の一つおきの行の間に位置する行（図２で上から２番目及び４番目の行）では、Ｇフィルタ３２とＲ１フィルタ３１もしくはＲ２フィルタ３４が交互に、即ち、「Ｇ−Ｒ１−Ｇ−Ｒ２」を繰り返すように設けられている。
また一つおきの列（図２で左から１番目、３番目及び５番目の列）では、Ｂフィルタ３３とＧフィルタ３２が交互に、即ち「Ｂ−Ｇ」を繰り返すように設けられ、上記の一つおきの列の間に位置する列（図２で左から２番目及び４番目の列）では、Ｇフィルタ３２とＲ１フィルタ３１もしくはＲ２フィルタ３４が交互に、即ち、「Ｇ−Ｒ１−Ｇ−Ｒ２」を繰り返すように設けられている。

この結果、画面全体における、Ｇフィルタ３２の密度、Ｂフィルタ３３の密度と、Ｒ１フィルタ３１の密度と、Ｒ２フィルタ３４の密度は互いに同じである。

なお、第１乃至第４の群の光電変換素子は、それぞれ異なる種類のフィルタに覆われているので、第１乃至第４の群の光電変換素子の配列は、４種類のフィルタの配列と同じである。即ち、第１乃至第４の群の光電変換素子は、４種類のフィルタと同じく、二次元空間的に交互に配置されている。

図４にはカラーフィルタ３１、３２、３３、３４を用いた撮像手段１の分光感度特性を示す。図４に示した分光感度特性は、カラーフィルタの透過率と撮像手段１の各画素を構成する光電変換素子（フォトダイオード）の分光感度特性との組合せの特性であり、撮像手段１の各画素を構成する光電変換素子は１０００ｎｍを超える波長まで感度を有する。

図４には、
Ｒ１フィルタが設けられた光電変換素子の分光感度特性（即ち、Ｒ１フィルタと光電変換素子の組合せの分光感度特性）ｒ１（λ）、
Ｇフィルタが設けられた光電変換素子の分光感度特性ｇ（λ）、
Ｂフィルタが設けられた光電変換素子の分光感度特性ｂ（λ）、
及び
Ｒ２フィルタが設けられた光電変換素子の分光感度特性ｒ２（λ）が示されている。
ｒ２（λ）は略７００ｎｍから感度を有し、７００ｎｍ以上の特性はｒ１（λ）の分光感度特性と相関が高い。
なお、図４において、ＩＲ（λ）は、赤外光のみを通過させるシャープカットフィルタの特性を表す。

レンズを含む光学系２１から入射した光は、撮像素子２２の受光面上に結像する。撮像素子２２は、上記のように、色フィルタ群２３で覆われており、各光電変換素子からは、色フィルタ群２３の分光透過率に対応した色成分、即ちＲ１、Ｒ２、Ｇ、Ｂのアナログ映像信号Ｒ１ａ、Ｒ１ａ、Ｇａ、Ｂａが出力される。

このようにして、撮像手段１から出力されるＲ１、Ｒ２、Ｇ、Ｂのアナログ信号（以下、それぞれ「Ｒ１信号」、「Ｒ２信号」、「Ｇ信号」、「Ｂ信号」と言うことがある）は、増幅手段２によって増幅される。増幅手段２から出力された映像信号はＡＤＣ３によってディジタル信号に変換される。

撮像手段１、増幅手段２及びＡＤＣ３により、入射光を受けて、入射光に対応した第１乃至第４の色信号（Ｒ１信号Ｒ１ｂ、Ｒ２信号Ｒ２ｂ、Ｇ信号Ｇｂ、Ｂ信号Ｂｂ）を出力する色信号生成手段５が構成されている。

デジタル信号に変換された映像信号Ｒ１ｂ、Ｒ２ｂ、Ｇｂ、Ｂｂに対して、信号処理手段４は、カラー信号として出力するまでの必要な信号処理を行う。

信号処理手段４は、直流成分再生手段（ＤＣ再生手段）６と、第１のホワイトバランス手段（前バランス手段）７と、分光感度補正手段８と、第２のホワイトバランス手段（後バランス手段）９と、ガンマ（γ）補正手段１１と、輝度色差信号生成手段１１とを含む。

ディジタル信号に変換された映像信号Ｒ１ｂ、Ｒ２ｂ、Ｇｂ、ＢｂはＤＣ再生手段６により、ＤＣレベルが再生される。ＤＣ再生は通常映像信号の黒レベルが「０」になるように、ＡＤＣ３によるＡ／Ｄ変換前に有していたオフセットレベルをＤＣシフトするか、クランプ処理を行う。ＤＣ再生手段６の出力Ｒ１ｃ、Ｒ２ｃ、Ｇｃ、Ｂｃが前ホワイトバランス手段７に供給される。

前ホワイトバランス手段７は、図５に示されるように、それぞれＲ１ｃ、Ｒ２ｃ、Ｇｃ、Ｂｃ信号を増幅して増幅信号Ｒ１ｄ、Ｒ２ｄ、Ｇｄ、Ｂｄを出力する４つの増幅手段７１ｒ１、７１ｒ２、７１ｇ、７１ｂと、増幅された信号Ｒ１ｄ、Ｇｄ、Ｂｄをそれぞれ１画面内のすべての画素（又は１画面以上にわたり）について積算して積算値ΣＲ１ｄ、ΣＧｄ、ΣＢｄを出力する積算手段７２ｒ１、７２ｇ、７２ｂと、積算手段７２ｒ１、７２ｇ、７２ｂの出力ΣＲ１ｄ、ΣＧｄ、ΣＢｄをそれぞれ積算対象となった画素の数で割った値が互いに等しくなるように、増幅手段７１ｒ１、７１ｇ、７１ｂの増幅率を制御するとともに、増幅手段７１ｒ２の増幅率を増幅手段７１ｒ１の増幅率と同じ値に制御する利得制御手段７３とを有する。

ホワイトバランス手段は、通常、被写体の無彩色の部分に対応する、Ｒ、Ｇ、Ｂ信号が互いに等しくなるようにするものであり、通常、ホワイトバランスは一般被写体の場合、１画面中の色は平均すれば無彩色に近くなる（エバンスの原理）という統計的結果を利用して、画面内のすべての画素について積算値をそれぞれ積算対象となった画素の数で割った値が互いに等しくなるように、それぞれの色の信号に対する増幅率を制御して行う。

但しこれは、Ｒ、Ｇ、Ｂ信号がそれぞれ人の色覚特性に対応することを前提としており、ホワイトバランス処理の対象となるＲ１、Ｇ、Ｂ信号が図４に示すように、近赤外領域において分光感度特性を有する場合、Ｒ１、Ｇ、Ｂ信号の積算値をそれぞれ積算対象となった画素の数で割った値が互いに等しくなるようにしても、人間の目で見える可視域内でホワイトバランスをとっているわけではなく、色再現性は必ずしも良好ではない。前ホワイトバランス手段７の役割は、ホワイトバランスは色再現性を良好にすることではなく、様々な色温度の照明に対して、Ｒ１、Ｒ２、Ｇ、Ｂの比率を揃えることにある。

即ち、Ｒ１、Ｒ２、Ｇ、Ｂの値は、撮像素子の分光感度と被写体の反射率、そして照明の分光特性の積の総和に対応するので、同じ無彩色の被写体を撮像していてもＲ１、Ｒ２、Ｇ、Ｂ信号の比は、照明の色温度の変化に伴って変化するが、前ホワイトバランス手段７によるホワイトバランス処理によって、照明の色温度による影響を除去することができる。

分光感度補正手段８は前ホワイトバランス手段５から出力されたホワイトバランス後のＲ１、Ｒ２、Ｇ、Ｂ信号Ｒ１ｄ、Ｒ２ｄ、Ｇｄ、Ｂｄを入力とし、この入力信号に対し後述するマトリクス演算することにより撮像素子の近赤外の感度特性による色再現性への影響を補正したカラー信号Ｒ、Ｇ、Ｂ信号Ｒｅ、Ｇｅ、Ｂｅを得る。

後ホワイトバランス手段９は、分光感度補正手段８によって補正されたＲ、Ｇ、Ｂ信号Ｒｅ、Ｇｅ、Ｂｅに対しホワイトバランス処理を行うものであり、図６に示すように、それぞれＲｅ、Ｇｅ、Ｂｅ信号を増幅して増幅信号Ｒｆ、Ｇｆ、Ｂｆを出力する３つの増幅手段９１ｒ、９１ｇ、９１ｂと、増幅された信号Ｒｆ、Ｇｆ、Ｂｆをそれぞれ１画面内のすべての画素（又は１画面以上にわたり）について積算して積算値ΣＲｆ、ΣＧｆ、ΣＢｆを出力する積算手段９２ｒ、９２ｇ、９２ｂと、積算手段９２ｒ、９２ｇ、９２ｂの出力ΣＲｆ、ΣＧｆ、ΣＢｆをそれぞれ積算対象となった画素の数で割った値が互いに等しくなるように、増幅手段９１ｒ、９１ｇ、９１ｂの増幅率を制御する利得制御手段９３とを有する。

ここで、増幅手段９１ｒ、９１ｇ、９１ｂに入力されるＲ、Ｇ、Ｂ信号Ｒｅ、Ｇｅ、Ｂｅは、分光感度補正手段８によって近赤外の感度特性が補正された信号であり、殆ど可視領域の成分のみからなる。従って、後ホワイトバランス手段９によるホワイトバランス処理によって得られるＲｆ、Ｇｆ、Ｂｆ信号は良好な色再現性を有する。

なお、上記した前ホワイトバランス手段７の利得制御手段７３及び後ホワイトバランス手段９の利得制御手段９３は、マイクロコンピュータなどにより構成された制御手段の一部として構成することができる。

ガンマ補正手段１０は後ホワイトバランス手段９から出力された映像信号Ｒｆ、Ｇｆ、Ｂｆに対し非線形な階調変換を行う。

輝度色差信号生成手段１１はガンマ補正手段１０から出力されたＲ、Ｇ、Ｂ信号Ｒｇ、Ｇｇ、Ｂｇを輝度信号（Ｙ信号）、及び２つの色差信号（Ｃｒ信号、Ｃｂ信号）に変換する。
輝度色差信号生成手段１１は、この変換（ＹＣｒＣｂ変換）においては、通常３行３列の係数マトリクスを掛ける、下記の式（１）の線形マトリクス演算を行ってＹ、Ｃｒ、Ｃｂ信号を生成する。

式（１）において３行３列のマトリクス係数は例えば、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）６１９６６−２−１に規定されているように、ｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３と定められる。

分光感度補正手段８は、例えば図７に示すように構成される。図示のようにこの分光感度補正手段８は、１２個の乗算手段（８１１乃至８３４）と３個の加算手段（８４１乃至８４３）とを有する。

乗算手段８１１、８１２、８１３、８１４は、それぞれ入力端子８０１、８０２、８０３、８０４に入力される信号Ｒ１ｄ、Ｒ２ｄ、Ｇｄ、Ｂｄに所定の係数ｄ１１、ｄ１２、ｄ１３、ｄ１４を掛けて、乗算結果を加算手段８４１に出力する。加算手段８４１は入力の総和を求め、信号Ｒｅとして出力端子８５１から出力する。
乗算手段８２１、８２２、８２３、８２４は、それぞれ入力端子８０１、８０２、８０３、８０４に入力される信号Ｒ１ｄ、Ｒ２ｄ、Ｇｄ、Ｂｄに所定の係数ｄ２１、ｄ２２、ｄ２３、ｄ２４を掛けて、乗算結果を加算手段８４２に出力する。加算手段８４２は入力の総和を求め、信号Ｇｅとして出力端子８５２から出力する。
乗算手段８３１、８３２、８３３、８３４は、それぞれ入力端子８０１、８０２、８０３、８０４に入力される信号Ｒ１ｄ、Ｒ２ｄ、Ｇｄ、Ｂｄに所定の係数ｄ３１、ｄ３２、ｄ３３、ｄ３４を掛けて、乗算結果を加算手段８４３に出力する。加算手段８４３は入力の総和を求め、信号Ｂｅとして出力端子８５３から出力する。

このような係数の乗算及び加算は以下に示す３行４列のマトリクス演算で表される。

なお、図７では分光感度補正手段８の一例として１２個の乗算手段を用いて構成していたが、Ｒ１、Ｒ２、Ｇ、Ｂを順次演算することとしても良く、この場合、３つの乗算器で式（２）のマトリクス演算を実現することができる。

次に、本発明の分光感度補正手段８による補正について詳しく説明する。
図８に人間の色覚特性を表した分光感度特性を示す。図８に示した特性は正常色覚者の等色関数の平均値であり、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄｅ ｌ‘Ｅ’ｃｌａｉｒａｇｅ）１９３１にて規定されている。人間が感じる色は色順応などの機能を無視し、簡単に表せば図８に示したＲ、Ｇ、Ｂの分光感度特性（等色関数）と被写体の反射分光特性と照明の分光特性とを乗算し、乗算結果を可視域にて積算することにより得られる値として表すことができる。図８に示したように人間の感度特性はいわゆる可視域と呼ばれるように略３８０ｎｍから７８０ｎｍまでしか感度が無く、７００ｎｍより長波長側では感度が極めて低い。

一方、撮像手段１に色分解を行うＲＧＢの色フィルタ群２３を設けた場合、撮像手段１の分光感度特性は、色フィルタ群２３の分光特性と撮像素子２２の感度特性の積で与えられる。撮像素子２２は光電変換を行うフォトダイオードがＳｉ（シリコン）などの半導体で形成されているため、感度特性は可視域から近赤外領域（１０００ｎｍ近辺）まで感度特性を有する。また、Ｒの色フィルタは近赤外領域の透過率も比較的高いため、近赤外線を撮像素子２２に入射させる。さらに、Ｂの光を入射するためのＢの色フィルタや、Ｇの光を入射するためのＧの色フィルタも同様に近赤外領域に一定の透過率を有する。これは、ＲＧＢの色フィルタは通常それぞれの色を含んだ染料や顔料を用いてフィルタを構成するが、その分光透過率は構成する材質に依存し、長波長側の可視域から近赤外領域に掛けて再び透過率が上がる特性を有しているためである。

従って、これらの積によって与えられる撮像手段１の分光感度特性は、図９に実線ｒ（λ）、ｇ（λ）、ｂ（λ）で示すごとくとなる。なお、図１０は長波長側の分光感度特性の拡大図である。

図９に実線で示した撮像手段１のＲＧＢの分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）は図８に示した等色関数とは異なり、特に近赤外領域では著しく異なるため、通常の撮像装置では近赤外領域の光を通過させず除去する赤外カットフィルタ（ＩＲＣＦ）を撮像素子の前に設けて分光感度の補正を行っていた。ＩＲＣＦの分光透過特性ＩＲＣＦ（λ）も図９に実線で示されている。ＩＲＣＦ（λ）とＲＧＢの分光感度特性（ｒ（λ）、ｇ（λ）、ｂ（λ））とを掛け合わせた特性が、従来のＩＲＣＦを具備した場合の撮像手段１のＲＧＢ信号に対応するそれぞれの色の分光感度特性ｒ’（λ）、ｇ’（λ）、ｂ’（λ）となり、図９に破線でその特性を示す。

また、従来の撮像装置では図９の破線で表した分光感度特性とした場合でも、図８で示した負の特性は実現できないため、撮像手段から得られたＲＧＢ信号に対し、式（３）で示すように３行３列の係数マトリクスを掛けるマトリクス演算を行い、これにより色補正を行うこともあった。

しかしながら、ＩＲＣＦを用いない場合には、近赤外線による感度特性によって出力される信号が色再現性に与える影響が大きく、上記のような３行３列の係数マトリクスを掛ける線形マトリクス演算を行っても良好な色再現性が得られない。以下この点につき、幾つかの代表的な色について説明する。

例えば、図１１に、自然界の２種類の緑の葉の分光反射率（図１１中ａ、ｂ）と評価用チャートとしてよく用いられる２４種のカラーパッチを有するマクベスチャート（Ｍａｃｂｅｔｈ Ｃｈａｒｔ（登録商標））の緑（ｇｒｅｅｎ：図１１中ｃ）と黄緑（ｙｅｌｌｏｗ ｇｒｅｅｎ：図１１中ｄ）の分光反射率を示す。上記４つの分光反射率は、人間の目に見える可視域（４００ｎｍ−７００ｎｍ）では、緑の色具合が異なるだけで曲線ｃで示すマクベスチャートの緑（ｇｒｅｅｎ）の特性と曲線ａで示す葉の色の特性は比較的良く似ている。しかし、近赤外域を加味した分光特性では大きく異なり、特に自然界の葉は７００ｎｍから急激に分光反射率が上がり、その後一定の反射率となるのに対し、曲線ｃで示すマクベスチャートの緑（ｇｒｅｅｎ）の分光反射率は６５０ｎｍから比較的緩やかに増加する。これは、葉の色を表す成分（クロロフィル）と、マクベスチャートのパッチに色付けを行っている塗料との分光反射率の差によるもので、マクベスチャートのパッチの色について上記した３行３列の係数マトリクスを掛ける線形マトリクス演算により補正をして、良好な色再現を行っても、葉の色に対し同じ補正を掛けると、葉の色は異なった色になってしまう。特に、撮像手段１は、図９に示すようにｒ（λ）が７００ｎｍから１０００ｎｍの範囲にも分高感度を有するため、マクベスチャートと自然界の葉とでは、７００ｎｍから８００ｎｍの分光反射率の差の影響が大きく反映され、葉の緑はＲ信号成分が大きくなってしまい、これらの信号をもとについて再現された色は、茶色や赤っぽい色となってしまうと言う問題があった。

そこで、本発明では、図４で示したように近赤外の赤の光のみを通過させる近赤外線フィルタ（Ｒ２フィルタ）３４を設けた光電変換素子を撮像手段に加えることで近赤外領域で分光感度を有することによる影響を除去している。

具体的には、上記のように、式（２）で示した３行４列の係数マトリクスを掛けるマトリクス演算を行う。以下、式（２）の３行４列の係数マトリクスを求める方法につき説明する。

まず、撮像手段１が近赤外領域において分光感度を有することによって含まれる不要な信号成分を除去するには、式（４ａ）、（４ｂ）、（４ｃ）の演算を行えば良い。

Ｒｄ’＝Ｒ１ｄ−Ｒ２ｄ …（４ａ）
Ｇｄ’＝Ｇｄ−ｋ１×Ｒ２ｄ …（４ｂ）
Ｂｄ’＝Ｂｄ−ｋ２×Ｒ２ｄ …（４ｃ）

式（４ａ）が成り立つのは、Ｒ１フィルタ３１が設けられた光電変換素子における分光感度特性ｒ１（λ）とＲ２フィルタ３４が設けられた光電変換素子における分光感度特性ｒ２（λ）とが、近赤外領域では略等しい値を有するためである。一方、Ｇフィルタ３２が設けられた光電変換素子の分光感度特性ｇ（λ）及びＢフィルタ３３が設けられた光電変換素子の分光感度特性ｂ（λ）が近赤外領域では、ｒ２（λ）よりも小さいので、式（４ｂ）、（４ｃ）に示すように、「１」より小さい係数ｋ１およびｋ２をｒ２（λ）に掛けた値を差し引くことで、近赤外領域での分光感度による信号成分を除去することができる。
式（４ａ）、（４ｂ）、（４ｃ）の演算を、マトリクス演算式で表すと下記の式（５）となる。

次に、式（５）で示すマトリクス演算で求められた数値Ｒｄ’、Ｇｄ’、Ｂｄ’に対し、以下の式（６）に示すように、３行３列の係数マトリクスを掛けるマトリクス演算を行うことで補正を行う。

係数ｅ１１乃至ｅ３３は、撮像手段１から分光感度補正手段８までの総合的な分光感度特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、撮像手段の近赤外域での応答特性を補正するように定められる。例えば、代表的な色について分光感度補正手段８の出力側に得られるべき信号（ターゲット信号）を計算で求め、それに近い値となるように、係数ｅ１１乃至ｅ３３を定める。
そこで、マクベスチャートの２４種の色パッチ、自然界の葉など、代表的な色の分光反射率と図８の等色関数との積により得られたＲＧＢの値を目標とすべき色（ターゲットカラー）を表す信号値とし、このターゲットカラーの信号値に、分光感度補正手段８の出力側に得られる信号の値が最も近くなるように、係数ｅ１１乃至ｅ３３の値を定める。最も近いかどうかの判定は、最小二乗法により、即ち両者のそれぞれ対応する値の差の二乗の総和を求めて、この総和が最小かどうかを判定することにより行われる。

このようにして求めた係数ｅ１１乃至ｅ３３から成る係数マトリクスと、式（５）の右辺の３行４列の係数マトリクスとの積が、式（２）の３行４列の係数マトリクスに相当する。
即ち、式（５）と式（６）とから、下記の式（７）が得られる。

分光感度補正手段８における補正演算に用いられる係数マトリクスの係数ｄ１１乃至ｄ３４を上記のようにして定めれば、撮像手段１に赤外光が入射した際にも、適切な色補正を行い、良好な色再現性を得ることができる。
ここでの色再現性とは人間の目で見える色に略一致させることであり、かつ目で違うものに見える色は違う色に、同じものに見える色は同じ色に再現することを意味する。

なお、従来の撮像装置では図９に示したようにＲＧＢ原色の３種のカラーフィルタに不要な赤外線をカットするＩＲＣＦを設けることで、いわば、不要な赤外線領域でのＲの分光感度特性Ｒｉｒと、Ｇの分光感度特性Ｇｉｒと、Ｂの分光感度特性Ｂｉｒとを設け、それを上気したＲＧＢの特性から減算することによって不要な赤外線領域での分光感度による影響を除去しているのと等価である。すなわち、Ｒ−Ｒｉｒ、Ｇ−Ｇｉｒ、Ｂ−Ｂｉｒを撮像手段の分光特性としていることになり、言い換えればＩＲＣＦを撮像素子上に具備することにより、６つの波長帯域の異なるカラーフィルタを生成し、図８に示した等色関数への近似を行っている。それに対して本発明では４つの波長帯域の異なるカラーフィルタを具備することで等色関数への近似を行う。よって、等色関数への近似結果に対する色差ΔＥ＊ａｂは従来の技術による方法の方がやや小さくなるが異なる波長帯域であるカラーフィルタの数（バンド数）を２チャンネル分削減したと同様の意味合いを持つ。

なお、上記の実施の形態では、ＡＤＣ３を設け、それ以降の演算をディジタル信号処理にて行ったが、アナログ信号処理を用いても同様の効果が得られる。

また、分光感度補正手段８以降の処理は、特に静止画の場合には、ソフトウェアによって、即ち、プログラムされたコンピュータによって実現することができる。

実施の形態２．
図１２はこの発明の実施の形態２の撮像装置を示す。実施の形態２の撮像装置は概して実施の形態１の撮像装置と同じである。
異なるのは、撮像モードを選択できる撮像モード選択手段１４及び撮像モード制御手段１５が設けられている点、並びに、分光感度補正手段８が行う式（２）のマトリクス演算で用いられるマトリクス係数ｄ１１乃至ｄ３４、及び輝度色差信号生成手段１１が行う式（１）のマトリクス演算で用いられるマトリクス係数の少なくとも一部即ちｃｒ１、ｃｒ２、ｃｒ３、ｃｂ１、ｃｂ２、ｃｂ３が、撮像モード制御手段１５により変更されるように構成されている点である。

なお、撮像モード制御手段１５は、実施の形態１で説明した前ホワイトバランス手段７の利得制御手段７３及び後ホワイトバランス手段９の利得制御手段９３とともに、マイクロコンピュータなどにより構成された制御手段の一部として構成することができる。この制御手段は、信号処理手段４の他の部分の制御にも用い得る。

撮像モードの選択は、例えばユーザによる選択操作によって行われる。この場合、撮像モード選択手段１４は、選択操作入力手段によって構成される。代わりに、他の機器、例えば被写体の明るさを検出する機器から信号によって撮像モードの選択を行うこととしても良い。
撮像モード制御手段１５は、撮像モード選択手段１４からの信号に応じて、信号処理手段４の制御、特に、分光感度補正手段８及び輝度色差信号生成手段１１に対する制御を行う。

図１２に示した撮像装置についてその動作を説明する。まず、人間の目に見える色再現性に近似した色再現性を持つカラー画像を撮像するためのモードを第１の撮像モード（通常カラー撮像モード）とする。撮像モード選択手段１４により第１の撮像モードが選択されたとき、撮像モード制御手段１５は分光感度補正手段８および輝度色差信号生成手段１１へカラー画像を撮像するためのマトリクス係数を選択するように制御する。ここで示すカラー画像を撮像するためのマトリクス係数とは、分光感度補正手段８においては、実施の形態１にて示したカラーターゲットを基準に算出したｄ１１乃至ｄ３４の値であり、輝度色差信号生成手段１１のマトリクス係数は、ｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３である。

次に、白黒画像を撮像するためのモードを第２の撮像モード（暗時撮像モード）とする。撮像モード選択手段１４により第２の撮像モードが選択されたとき、撮像モード制御手段１５は分光感度補正手段８および前記輝度色差信号生成手段１１へ白黒画像を撮像するためのマトリクス係数を選択するように制御する。ここで示す白黒画像を撮像するためのマトリクス係数は、分光感度補正手段８においては、式（２）の係数のうち、ｄ１１、ｄ１３、ｄ１４、ｄ２１、ｄ２３、ｄ２４、ｄ３１、ｄ３３、及びｄ３４が「１」であり、ｄ１２、ｄ２２、及びｄ３２が「０」である。また、輝度色差信号生成手段１１においては、式（１）の係数のうち、ｃｒ１、ｃｒ２、ｃｒ３、ｃｂ１、ｃｂ２、及びｃｂ３が「０」であり、この結果色差信号Ｃｒ、Ｃｂの値はゼロとなる。一方、係数ｙ１、ｙ２、ｙ３は実施の形態１と同様にｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０でも良いし、これとは異なる値であっても良い。

上記のように、ｄ１２、ｄ２２、ｄ３２が「０」であると、Ｒ２フィルタを備えた光電変換素子からの信号は輝度信号Ｙの生成には用いられない。輝度信号Ｙは、Ｒ１、Ｇ、Ｂフィルタを備えた光電変換素子からの信号に基づいて生成され、実施の形態１で説明したような近赤外領域での感度特性を補正していないため、人間の比視感度特性に近似した輝度信号とは異なる分光感度特性を持つものとなる。一方、近赤外領域での分光感度に対応する信号をも利用しているため、高い感度を実現することができる。

なお、上述したように、この場合、色再現性が大きく異なるものとなるため、仮にカラー画像を出力すると違和感が生じる。この違和感を軽減するため白黒の画像を出力することとしている。色差信号ＣｒＣｂの値がゼロとなるように係数ｃｒ１乃至ｃｒ３、ｃｂ１乃至ｃｂ３をゼロとするのはそのためである。

高感度を重視する撮像は例えば、監視カメラの場合に要求される。従来の監視カメラでは、通常のカラー画像を撮像するときにはＩＲＣＦを装着し、暗時に感度を優先した白黒画像を撮像するときはＩＲＣＦを外すと言った処理を行っている。この場合、着脱のための機構が必要であり、撮像装置の小型化、高信頼性化の点で障害となっていた。本実施の形態によれば、ＩＲＣＦの必要が無く、従ってその着脱機構が必要でなく、分光感度補正手段８および輝度色差信号生成手段１１のマトリクス係数を変化させることで両モードにおける撮像が可能となる。

実施の形態３．
以上の実施の形態１及び２において、分光感度補正手段８以降の処理は、特に静止画の場合には、ソフトウェアによって、即ち、プログラムされたコンピュータによって実現することができる。

実施の形態４．
以上の実施の形態の撮像装置は、動画や静止画を撮像するビデオカメラ、カメラ一体型ＶＴＲ、デジタルスチルカメラ、ＰＣカメラ、並びに携帯電話や携帯端末機に内蔵されるデジタルスチルカメラに適用可能であり、これらからＩＲＣＦを不要とし、かつ暗視に利用することが多い、監視カメラや車載カメラなどにも適用できる。
以下デジタルスチルカメラに適用した場合の構成を、図１３を参照して説明する。

図１３に示すように、このデジタルカメラは、図１に示した撮像装置を構成する各要素のうち、撮像手段１の代りに撮像手段５１を備え、さらにシャッタボタン５２、シャッタ駆動手段５３、表示駆動手段５４、モニタ５５、画像圧縮手段５６、及び書き込み手段５７を付加したものである。

シャッタ駆動手段５３は、シャッタボタン５２の操作に応じて色信号生成手段１内のシャッタを駆動する。
表示駆動手段５４は、輝度信号階調変換手段５及び利得調整手段８の出力を受けてビューファインダーとしてのモニタ５５に画像を表示させる。
モニタ５５は、例えば液晶表示装置で構成され、表示駆動手段５４に駆動されて、色信号生成手段５１内の撮像手段で撮像されている画像を表示する。
画像圧縮手段５６は、輝度信号階調変換手段５及び利得調整手段８の出力を受けて例えばＪＰＥＧに準拠した画像圧縮を行なう。
書き込み手段５７は、画像圧縮手段５６で圧縮されたデータを記録媒体５８に書き込む。

撮像装置を動画撮影に用いて、画像データを図示しない機器に伝送する場合、輝度色差信号生成手段の出力をエンコードしてＮＴＳＣ信号を生成して出力する。

この発明の実施の形態１の撮像装置を示すブロック図である。 図１の撮像装置の撮像手段１内の撮像素子２２上のカラーフィルタの配列を示した図である。 撮像素子２２とカラーフィルタ、光学系の配置を示す図である。 撮像素子の分光感度特性を示す図である。 図１の前ホワイトバランス手段の構成を示すブロック図である。 図１の後ホワイトバランス手段の構成を示すブロック図である。 図１の分光感度補正手段の構成を示すブロック図である。 ＣＩＥ１９３１に示す等色関数を示す図である。 従来の撮像素子、ＩＲＣＦ、およびその積に対応する分光感度特性を示す図である。 図９に示した撮像素子の分光感度特性の近赤外領域を拡大した図である。 葉とマクベスチャートのパッチの分光感度特性を示す図である。 この発明の実施の形態２の撮像装置を示すブロック図である。 この発明の実施の形態３のカメラを示すブロック図である。

符号の説明

１ 撮像手段、 ２ 増幅手段、 ３ ＡＤＣ、 ４ 信号処理手段、 ６ ＤＣ再生手段、 ７ 前ホワイトバランス手段、 ８ 分光感度補正手段、 ９ 後ホワイトバランス手段、 １０ ガンマ補正手段、 １１ 輝度色差信号生成手段、 １４ 撮像モード選択手段、 １５ 撮像モード制御手段、 ２２ 撮像素子、 ２３ フィルタ群、 ３１ 赤のカラーフィルタ、 ３２ 緑のカラーフィルタ、 ３３ 青のカラーフィルタ、 ３４ 近赤外線フィルタ、 ８１１〜８３４ 乗算手段、 ８４１〜８４３ 加算手段。

Claims (2)

1. 赤、緑、青の光を抽出する第１、第２、第３のカラーフィルタ、および近赤外領域の光のみを抽出する第４のカラーフィルタとを有し、それぞれのカラーフィルタの分光透過率に対応した第１乃至第４の信号を出力する色信号生成手段と、
   前記色信号生成手段から出力された第１乃至第４の信号から、赤、緑、青の色信号を生成する信号処理手段とを具備した撮像装置であって、
   前記信号処理手段は、前記色信号生成手段が有する近赤外領域での応答特性を補正する分光感度補正手段を備え、前記分光感度補正手段は、前記色信号生成手段から前記分光感度補正手段までの総合的な分光感度特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとし、
   前記分光感度補正手段は、前記第１乃至第４の信号に対して３行４列の係数マトリクスを掛けるマトリクス演算を行って、前記赤、緑、青の色信号を生成し、
   前記信号処理手段は、前記分光感度補正手段により生成された赤、緑、青の色信号から輝度信号Ｙおよび２種の色差信号ＣｒＣｂを生成することができる輝度色差信号生成手段をさらに有し、
   前記撮像装置は、第１の撮像モードと第２の撮像モードのいずれかにより選択的に動作可能であり、
   前記第１の撮像モードでは、
   前記分光感度補正手段が、前記第１乃至第４の信号に基づいて前記赤、緑、青の色信号を生成し、前記輝度色差信号生成手段が、前記分光感度補正手段により生成された赤、緑、青の色信号から輝度信号Ｙおよび２種の色差信号ＣｒＣｂを生成し、
   前記第２の撮像モードでは、
   前記分光感度補正手段は、前記第４の信号に対して乗算される係数をゼロとし、前記第１乃至第３の信号に基づいて前記赤、緑、青の色信号を生成し、
   前記輝度色差信号生成手段は、前記分光感度補正手段により生成された赤、緑、青の色信号から輝度信号を生成する一方、前記２種の色差信号として値をゼロとする
   ことを特徴とする撮像装置。
2. 赤、緑、青の光を抽出する第１、第２、第３のカラーフィルタ、および近赤外領域の光のみを抽出する第４のカラーフィルタとを有し、それぞれのカラーフィルタの分光透過率に対応した第１乃至第４の信号を出力する色信号生成手段を備えた撮像装置の信号処理方法において、
   前記色信号生成手段から出力された第１乃至第４の信号から、赤、緑、青の色信号を生成する信号処理工程を有し、
   前記信号処理工程は、前記色信号生成手段が有する近赤外領域での応答特性を補正する分光感度補正工程を備え、前記分光感度補正工程は、前記色信号生成手段における色信号生成から前記分光感度補正工程における分光感度補正までの総合的な分光感度特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとするものであり、
   前記分光感度補正工程は、前記第１乃至第４の信号に対して３行４列の係数マトリクスを掛けるマトリクス演算を行って、前記赤、緑、青の色信号を生成し、
   前記信号処理工程は、前記分光感度補正工程により生成された赤、緑、青の色信号から輝度信号Ｙおよび２種の色差信号ＣｒＣｂを生成することができる輝度色差信号生成工程をさらに有し、
   前記撮像装置は、第１の撮像モードと第２の撮像モードのいずれかにより選択的に動作可能であり、
   前記第１の撮像モードでは、
   前記分光感度補正工程が、前記第１乃至第４の信号に基づいて前記赤、緑、青の色信号を生成し、前記輝度色差信号生成手段が、前記分光感度補正工程により生成された赤、緑、青の色信号から輝度信号Ｙおよび２種の色差信号ＣｒＣｂを生成し、
   前記第２の撮像モードでは、
   前記分光感度補正工程は、前記第４の信号に対して乗算される係数をゼロとし、前記第１乃至第３の信号に基づいて前記赤、緑、青の色信号を生成し、
   前記輝度色差信号生成工程は、前記分光感度補正工程により生成された赤、緑、青の色信号から輝度信号を生成する一方、前記２種の色差信号として値をゼロとする
   ことを特徴とする色信号処理方法。

Images