JP2005006066A

JP2005006066A - Color filter for solid-state image pickup element and color image pickup device

Info

Publication number: JP2005006066A
Application number: JP2003167439A
Authority: JP
Inventors: Takaharu Aoki; 隆晴青木
Original assignee: Acutelogic Corp
Current assignee: Acutelogic Corp
Priority date: 2003-06-12
Filing date: 2003-06-12
Publication date: 2005-01-06
Anticipated expiration: 2023-06-12
Also published as: JP4311988B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a camera which can be continuously used day and night by making the color reproducibility in the daytime and the sensitivity at night compatible without providing a mechanical mechanism for turning ON/OFF an infrared cutoff filter. <P>SOLUTION: One G filter among the four pixels of RGBG constituting one unit of a normal Bayer array is replaced with an IR filter. RGB filters are distributed for a first mode. The IR filter is distributed for a second mode. The infrared cutoff filter is applied to the three pixels of RGB. And, when it is relatively bright such as in the daytime, the pixel interpolation is executed by mainly using the three pixels of RGB in the first mode. When it is relatively dark such as at night, the pixel interpolation is executed by mainly using one pixel of the IR in the second mode. As a result, it is possible to make the improvement of the color reproducibility with a bright object, and the improvement of the sensitivity with a dark object compatible only by the software type switching. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置に関し、特に、昼夜兼用で使用可能なカメラに用いて好適なものである。
【０００２】
【従来の技術】
近年、デジタルカメラや携帯電話等における画質の向上を実現するために、撮像素子の技術革新が進んでいる。これまでは、画素数を多くすることに主眼が置かれてきたが、画素数以外で画質を向上させる工夫も図られている。
【０００３】
一般に、撮像素子には、１画素につき１枚のカラーフィルタが取り付けられている。図６（ａ）のように赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色系３色を使うもの（いわゆるベイヤー配列）と、図６（ｂ）のようにシアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、緑（Ｇ）の補色系４色を使うものとがある。原色系は色の再現性に優れ、補色系は感度に優れる。
【０００４】
撮像素子で撮像された信号を用いて画像を生成するには、色情報の他に輝度情報が必要である。カラーフィルタとして原色系のベイヤー配列を用いた場合、緑は赤と青の中間の波長なので、緑のフィルタは赤や青の光も少し透過する。そのため、従来は緑の画素で撮像された信号を用いて輝度情報を得ていた。図６（ａ）に示すように、緑の画素は水平方向および垂直方向の各ラインに存在するので、水平解像度と垂直解像度は比較的高くなる。
【０００５】
ところで、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を用いたカラー撮像装置では、光学系に光が入射したときに撮像素子等による光の散乱や反射によって像面全体にかぶりが生じる現象であるフレアの防止、色再現性の改善のため、赤外成分をカットする赤外カットフィルタを撮像素子の前面に配置していることが多い。ただ、赤外カットフィルタを用いると感度が落ちるため、感度を重視する場合には、赤外カットフィルタは用いずに赤外領域の光も取り込むことで、感度の向上を図っている。
【０００６】
また、フレア防止および色再現性の改善と、感度の向上との双方を両立する方法として、赤外カットフィルタの使用をＯＮ／ＯＦＦできるようにした撮像装置も提供されている。この種の撮像装置は、照度が十分にある昼間は赤外カットフィルタをＯＮとし、カラーカメラとして使用する。一方、照度が不足する夜間は赤外カットフィルタをＯＦＦとし、赤外領域の光を使って白黒カメラとして使用することが可能となっている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、赤外カットフィルタをＯＮ／ＯＦＦするために、フィルタを機械的に移動させるための機構を設けることが必要となる。そのため、撮像装置の小型軽量化を阻むとともに、コストアップの要因になっているという問題があった。また、機械的な可動部の動作性能や耐久性などに信頼性の問題もあった。
【０００８】
本発明は、このような問題を解決するために成されたものであり、赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設けることなく、昼間の色再現性と夜間の感度とを両立して昼夜連続で利用することができるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の固体撮像素子用カラーフィルタは、赤緑青の３原色のフィルタと、少なくとも赤外領域に感度を有する赤外フィルタとを組み合わせて配置したものである。具体的には、緑のフィルタと他の１色（例えば青）のフィルタとを交互に配置した第１のラインと、残り１色（例えば赤）のフィルタと赤外フィルタとを交互に配置した第２のラインとを有し、第１のラインと第２のラインとを交互に配列して構成される。
【００１０】
好ましくは、３原色の色フィルタが配置される画素位置には、赤外光を遮断する赤外カットフィルタを更に配置する。あるいは、色フィルタの他に赤外カットフィルタを更に配置するのではなく、赤緑青の各分光特性に赤外カットフィルタの分光特性を掛け合わせたものを赤緑青の各分光特性として持たせた色フィルタを構成し、当該色フィルタを配置するようにしても良い。
【００１１】
赤外フィルタは、例えば白色のフィルタで構成する。その他の態様では、略赤外領域にのみ分光特性を有する赤外透過フィルタで構成する。
【００１２】
また、本発明のカラー撮像装置は、上述の固体撮像素子用カラーフィルタと、当該固体撮像素子用カラーフィルタが配置される固体撮像素子と、固体撮像素子により撮像された各画素の信号を補間処理して画像データを生成する信号処理手段と、色フィルタが配置された画素の情報および赤外フィルタが配置された画素の情報の利用比率を異ならせた画素補間演算により画像データを生成する複数のモードを切替制御するモード制御手段とを備えたことを特徴とする。
本発明のカラー撮像装置は、赤外照明用の発光素子を備えても良い。
【００１３】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明によるカラー撮像装置を実施したデジタルカメラ１０の全体構成を示すブロック図である。
【００１４】
図１に示すように、本実施形態のデジタルカメラ１０は、シャッタ１ａ、レンズ１ｂ、アイリス１ｃを備えた光学系１と、ＣＣＤあるいはＣＭＯＳ等の撮像素子２と、アナログ信号処理部３と、Ａ／Ｄ変換器４と、画像処理部５と、デジタルカメラ１０の全体を制御するコントローラ６と、操作部７とを備えて構成されている。撮像素子２の前面には、本実施形態のカラーフィルタ２ａが配置されている。
【００１５】
このように構成されたデジタルカメラ１０において、光学系１への入射光は、シャッタ１ａ、レンズ１ｂおよびアイリス１ｃを介して撮像素子２にて結像される。撮像素子２では、結像した入射光を光電変換して、当該入射光に応じたアナログの撮像信号を生成する。ここで生成された各画素ごとのアナログ信号は、アナログ信号処理部３でノイズが除去された後、Ａ／Ｄ変換器４に供給されて各画素ごとのデジタル信号に変換される。
【００１６】
Ａ／Ｄ変換器４で得られたデジタル信号は、画像処理部５に供給される。画像処理部５は、各画素ごとのデジタル信号に対して色補間処理、色補正処理等を含む各種信号処理を行う。撮像素子２の各画素は、カラーフィルタ２ａを通過した後の光の強さしか検出できないので、この時点ではまた１画素当たり１色分の情報しかない。画像処理部５は、各画素の信号を補間演算することによって１画素ごとの色を決定し、画像データを生成する。
【００１７】
補間演算の手法には様々なものがあり、本実施形態では任意の手法を適用することが可能である。例えば、ある画素の色を決定するときに、その周辺画素の平均値を演算するといったバイリニア補間を適用することが可能である。詳しくは後述するが、本実施形態ではこの補間演算に関して、３原色の色フィルタが配置された画素の情報を主に利用して補間演算を行う第１のモードと、赤外フィルタが配置された画素の情報を主に利用して補間演算を行う第２のモードとを有し、コントローラ６の制御によりモードを切り替えられるようになっている。何れのモードに切り替えるかは、例えば、ユーザが操作部７を操作することによって指定することが可能である。
【００１８】
以上の構成において、アナログ信号処理部３、Ａ／Ｄ変換器４および画像処理部５により本発明の信号処理手段が構成される。また、コントローラ６により本発明のモード制御手段が構成される。
【００１９】
図２は、カラーフィルタ２ａのフィルタ配列を示す図である。通常のベイヤー配列では、図６（ａ）に示したように、ＲＧＢ３原色のフィルタをモザイク状に配列し、ＲＧＢＧの４画素で１ユニットを形成している。これに対して、本実施形態のカラーフィルタ２ａは、図２に示すように、ＲＧＢＧのうち１つのＧフィルタを、少なくとも赤外領域に感度を有する赤外フィルタ（ＩＲフィルタ）に置き換えて構成する。
【００２０】
すなわち、本実施形態のカラーフィルタ２ａは、水平方向に見てＧフィルタとＢフィルタとを交互に配置した第１のラインと、ＲフィルタとＩＲフィルタとを交互に配置した第２のラインとを有し、第１のラインと第２のラインとを交互に配列して各フィルタをモザイク状に構成している。これを垂直方向に見ると、ＧフィルタとＲフィルタとを交互に配置した第１のラインと、ＢフィルタとＩＲフィルタとを交互に配置した第２のラインとを交互に配列した構成となっている。
【００２１】
ここで、３原色の色フィルタはそのまま用いても構わないが、好ましくは、当該３原色の色フィルタが配置される画素位置に、赤外光を遮断する赤外カット（ＩＲＣ）フィルタを更に配置する。または、３原色の色フィルタと赤外カットフィルタとを重ねて配置するのではなく、ＲＧＢの各分光特性に赤外カットフィルタの分光特性を掛け合わせた特性を有する色フィルタを構成し、これを配置するようにしても良い（ＲＧＢフィルタの各分光特性とＩＲＣフィルタの分光特性とを図３に示す）。
【００２２】
一方、赤外フィルタは、可視光および赤外光の両方に分光特性を持たせたものであっても良いし（例えば、白色のフィルタ）、昼間の明るい被写体撮影時におけるスミア（高輝度の光が入射した画素からあふれた電荷が信号線や転送部に流入し、当該画素から上下方向に帯状の偽信号が現れる現象）発生防止等のために、赤外領域にのみ分光特性を持たせたものであっても良い。赤外領域にのみ分光特性を持たせる場合は、赤外光のみを透過させる赤外透過フィルタを用いても良いし、赤外光照明のピーク波長となる８００ｎｍ付近で最大感度が得られる分光特性を持たせたフィルタを用いても良い。赤外カットフィルタで赤外領域をカットしないため、赤外領域の分光感度はできるだけ高くする。
【００２３】
図４および図５は、３原色の色フィルタおよび赤外フィルタの分光特性を示す図である。このうち図４は、赤外フィルタとして白色フィルタを用いた場合を示し、図５は、赤外フィルタとして赤外透過フィルタを用い場合の分光特性を示している。白色フィルタは、ＲＧＢの可視光を全て透過し、かつ、赤外領域の光も透過するような分光特性を有している。また、赤外透過フィルタは、ＲＧＢの可視光は殆ど透過せずに遮断し、赤外領域の光だけを透過するような分光特性を有している。
【００２４】
白色フィルタを用いる場合、可視光の感度に比べて赤外光の感度が良すぎて、スミアが発生するのを防止するために、白色フィルタの前面にＮＤ（ニュートラルデンシティ）フィルタを配置し、赤外光の透過光量を落とすことにより、可視光の感度と赤外光の感度とがほぼ同じ程度となるようにしても良い。また、白色フィルタとＮＤフィルタとを重ねて配置するのではなく、白色フィルタの分光特性にＮＤフィルタの分光特性を掛け合わせた特性を有するフィルタを構成し、これをＩＲフィルタとして配置するようにしても良い。
【００２５】
上述のように、図１の画像処理部５では、操作部７の操作に従ってコントローラ６の制御により切り替えられた何れかのモードの下で補間演算を行う。第１のモードでは、可視光の光電変換信号、すなわち、ＲＧＢの色フィルタ（赤外カットフィルタの分光特性が掛け合わされたもの）が配置された画素の情報を主に利用して補間演算を行う。ここで言う「主に利用する」とは、色フィルタが配置された画素の利用比率が、赤外フィルタが配置された画素の利用比率よりも大きいことを意味する。例えば、色フィルタが配置された画素の情報だけを利用して補間演算を行う。この第１のモードは色再現性が良く、昼間の撮影に適している。
【００２６】
一方、第２のモードでは、赤外光の光電変換信号、すなわち、赤外フィルタが配置された画素の情報を主に利用して補間演算を行う。ここで言う「主に利用する」とは、赤外フィルタが配置された画素の利用比率が、色フィルタが配置された画素の利用比率よりも大きいことを意味する。例えば、赤外フィルタが配置された画素の情報だけを利用して補間演算を行う。この第２のモードは感度が高く、夜間の撮影に適している。
【００２７】
なお、第１のモードにおいて赤外フィルタの画素情報を全く利用しない場合、輝度情報を抽出するＧフィルタの画素は、４画素の１ユニット中に１つしか存在しない。また、第２のモードにおいて色フィルタの画素情報を全く利用しない場合も、輝度情報を抽出するＩＲフィルタの画素は、４画素の１ユニット中に１つしか存在しない。そのため、通常のベイヤー配列に比べて、水平および垂直の解像度は共に半分に落ちてしまう。
【００２８】
しかし、最近のデジタルカメラは画素数が飛躍的に多くなっており、画素数自体で大きな解像度を確保できている。そのため、解像度が半減してもあまり問題はない。例えば、１３０万画素（水平１２８０×垂直１０２４）のＣＣＤを考えてみると、実効解像度は（水平６４０×垂直５１２）であり、ＶＧＡ（ＶｉｄｅｏＧｒａｐｈｉｃｓＡｒｒａｙ）やＮＴＳＣ（ＮａｔｉｏｎａｌＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍＣｏｍｍｉｔｔｅｅｓｔａｎｄａｒｄ）フォーマットで使用する分には十分な解像度を得ることができる。
【００２９】
以上詳しく説明したように、本実施形態によれば、ベイヤー配列の１ユニットを構成する４画素のうち１つのＧフィルタをＩＲフィルタに置き換えて、ＲＧＢフィルタを第１のモード用、ＩＲフィルタを第２のモード用に振り分ける。そして、昼間などの比較的明るいときは第１のモードでＲＧＢの３画素を主に用いて画素補間し、夜間などの比較的暗いときは第２のモードでＩＲの１画素を主に用いて画素補間するようにしている。このように、撮影条件に応じた補間処理を行うことにより、昼間の色再現性向上と夜間の感度向上との両立を図ることができる。
【００３０】
また、本実施形態では、カラーフィルタ２ａのフィルタ配列を工夫し、ＲＧＢの３画素に対してのみ赤外カットフィルタをかけ、ＩＲの１画素には赤外カットフィルタはかけないようにしている。そして、補間演算の際にどちらの画素を主に利用するのかをソフトウェア的に決めているので、赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設ける必要がなく、撮像装置の小型軽量化、コストダウン、信頼性の向上を図ることができる。
【００３１】
なお、上記実施形態では、第１のモードでは色フィルタの画素情報だけを利用し、第２のモードでは赤外フィルタの画素情報だけを利用する例について説明したが、この例に限定されない。すなわち、第１のモードにおいて、色フィルタの画素情報の利用比率が赤外フィルタの画素情報の利用比率よりも大きくなっていれば、赤外フィルタの画素情報を多少用いても良い。同様に、第２のモードにおいて、赤外フィルタの画素情報の利用比率が色フィルタの画素情報の利用比率よりも大きくなっていれば、色フィルタの画素情報を多少用いても良い。
【００３２】
また、上記実施形態では、第１のモードと第２のモードとの切り替えを、ユーザが操作部７を操作することによって行う例について説明したが、自動的に切り替えられるようにしても良い。例えば、撮像素子２で受光した光量に基づいて周囲の照度を検出し、照度が所定の閾値より大きいときは第１のモード、閾値より小さいときは第２のモードに自動的に切り替えるようにしても良い。撮像素子２の代わりに、照度を検出するための専用の受光素子を設けても良い。
【００３３】
また、上記実施形態ではカラー撮像装置１０を図１のように構成したが、これらの構成要素に加えて、赤外照明用の発光素子（赤外発光ＬＥＤなど）を更に備えるようにしても良い。赤外光に非常に強い感度を持つ赤外フィルタの画素情報を使う第２のモードにおいて、被写体に赤外光を照射して撮影を行うことにより、いままで撮影できなかったより暗い被写体の撮影（例えば、真っ暗闇での撮影）も可能となる。
【００３４】
また、上記実施形態では、第１のモードと第２のモードとの２つのモードの切り替えについて説明したが、３つ以上のモードを切り替えられるようにしても良い。例えば、第１〜第ｎ（ｎ≧３）のモードを有し、第１のモードでは色フィルタの画素情報だけを用いて画素補間を行う。第２のモードでは、色フィルタの画素情報に赤外フィルタの画素情報をある程度加えて画素補間を行う。第３のモードでは、赤外フィルタの画素情報の利用比率を第２のモードよりも大きくして画素補間を行うといったように、赤外フィルタの画素情報の利用比率を徐々に大きくしていく。そして、第ｎのモードでは赤外フィルタの画素情報だけを用いて画素補間を行うようにすることが可能である。
【００３５】
また、上記実施形態では、本実施形態のカラーフィルタをデジタルカメラに適用する例について説明したが、これに限定されない。例えば、デジタルビデオカメラ、カメラ付き携帯電話機、監視カメラ、カメラ付きＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）などにも適用することが可能である。これらの端末は、昼間の明るい被写体から夜間の暗い被写体を撮影する機会が多いので、本実施形態を適用して好適なものである。
【００３６】
また、以上に説明した撮像素子２は、光電変換信号の読み出し方式としてプログレッシブ方式（全画素読み出し方式）およびフレーム読み出し方式の双方に適用することが可能である。
【００３７】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３８】
【発明の効果】
以上説明したように本発明によれば、赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設ける必要もなく、明るい被写体での色再現性の改善と暗い被写体での感度の向上とを両立して、昼夜連続で利用可能なカラー撮像装置を提供することができる。機械的な機構部品が無くなることにより、撮像装置の小型軽量化、コストダウン、信頼性の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明によるカラー撮像装置を実施したデジタルカメラの全体構成を示すブロック図である。
【図２】本実施形態によるカラーフィルタのフィルタ配列を示す図である。
【図３】色フィルタおよび赤外カットフィルタの分光特性を示す図である。
【図４】色フィルタおよび赤外フィルタの分光特性を示す図である。
【図５】色フィルタおよび赤外フィルタの分光特性を示す図である。
【図６】従来のカラーフィルタのフィルタ配列を示す図である。
【符号の説明】
１光学系
１ａシャッタ
１ｂレンズ
１ｃアイリス
２撮像素子
２ａカラーフィルタ
３アナログ信号処理部
４Ａ／Ｄ変換器
５画像処理部
６コントローラ
７操作部
１０デジタルカメラ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a color filter for a solid-state imaging device and a color imaging device using the same, and is particularly suitable for a camera that can be used both day and night.
[0002]
[Prior art]
In recent years, in order to improve image quality in digital cameras, mobile phones, and the like, technological innovations in image sensors have advanced. Up to now, the main focus has been on increasing the number of pixels. However, in addition to the number of pixels, efforts have been made to improve image quality.
[0003]
Generally, one color filter is attached to each image sensor. As shown in FIG. 6A, one using three primary colors of red (R), green (G), and blue (B) (so-called Bayer array), as shown in FIG. 6B, cyan (Cy), Some use four complementary colors of magenta (Mg), yellow (Ye), and green (G). The primary color system has excellent color reproducibility, and the complementary color system has excellent sensitivity.
[0004]
In order to generate an image using a signal imaged by the image sensor, luminance information is required in addition to color information. When a primary color Bayer array is used as the color filter, since green has a wavelength intermediate between red and blue, the green filter transmits a little amount of red and blue light. For this reason, conventionally, luminance information has been obtained using signals picked up by green pixels. As shown in FIG. 6A, since the green pixels are present in the horizontal and vertical lines, the horizontal resolution and the vertical resolution are relatively high.
[0005]
By the way, in a color imaging device using an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), the entire image plane is caused by light scattering or reflection by the imaging device or the like when light enters the optical system. In order to prevent flare, which is a phenomenon of fogging, and to improve color reproducibility, an infrared cut filter that cuts infrared components is often disposed in front of the image sensor. However, since sensitivity decreases when an infrared cut filter is used, when importance is placed on sensitivity, sensitivity is improved by capturing light in the infrared region without using an infrared cut filter.
[0006]
In addition, an imaging apparatus that can turn on / off the use of an infrared cut filter is also provided as a method for achieving both of flare prevention and improvement of color reproducibility and improvement of sensitivity. In this type of image pickup apparatus, the infrared cut filter is turned on during daytime when the illuminance is sufficient, and is used as a color camera. On the other hand, at night when the illuminance is insufficient, the infrared cut filter is turned off, and it can be used as a monochrome camera using light in the infrared region.
[0007]
[Problems to be solved by the invention]
However, in the above conventional technique, it is necessary to provide a mechanism for mechanically moving the filter in order to turn on / off the infrared cut filter. For this reason, there has been a problem that the reduction in size and weight of the imaging apparatus is hindered and the cost is increased. There is also a problem of reliability in the operation performance and durability of the mechanical movable part.
[0008]
The present invention has been made to solve such a problem, and provides daytime color reproducibility and nighttime sensitivity without providing a mechanical mechanism for turning on / off the infrared cut filter. It aims at making it possible to use it day and night continuously.
[0009]
[Means for Solving the Problems]
The color filter for a solid-state imaging device of the present invention is a combination of a red, green, and blue primary color filter and an infrared filter having sensitivity at least in the infrared region. Specifically, a first line in which a green filter and another color (for example, blue) filter are alternately arranged, and a remaining one color (for example, red) filter and an infrared filter are alternately arranged. A second line, and the first line and the second line are alternately arranged.
[0010]
Preferably, an infrared cut filter for blocking infrared light is further arranged at a pixel position where the three primary color filters are arranged. Or, instead of further arranging an infrared cut filter in addition to the color filter, a color obtained by multiplying the spectral characteristics of red, green and blue by the spectral characteristics of the infrared cut filter as the spectral characteristics of red, green and blue A filter may be configured and the color filter may be arranged.
[0011]
The infrared filter is composed of, for example, a white filter. In another aspect, it is constituted by an infrared transmission filter having spectral characteristics only in a substantially infrared region.
[0012]
In addition, the color imaging device of the present invention interpolates the color filter for the solid-state imaging device described above, the solid-state imaging device on which the color filter for the solid-state imaging device is disposed, and the signal of each pixel captured by the solid-state imaging device A plurality of signal processing means for generating image data, and a plurality of image data generated by pixel interpolation calculation with different utilization ratios of the information of the pixel in which the color filter is arranged and the information of the pixel in which the infrared filter is arranged And a mode control means for switching the mode.
The color imaging device of the present invention may include a light emitting element for infrared illumination.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a digital camera 10 that implements a color imaging apparatus according to the present invention.
[0014]
As shown in FIG. 1, the digital camera 10 of this embodiment includes an optical system 1 including a shutter 1a, a lens 1b, and an iris 1c, an image sensor 2 such as a CCD or a CMOS, an analog signal processing unit 3, and an A A / D converter 4, an image processing unit 5, a controller 6 that controls the entire digital camera 10, and an operation unit 7 are provided. On the front surface of the image sensor 2, the color filter 2a of the present embodiment is disposed.
[0015]
In the digital camera 10 configured as described above, the incident light to the optical system 1 is imaged by the imaging device 2 via the shutter 1a, the lens 1b, and the iris 1c. The image sensor 2 photoelectrically converts the incident light that has been imaged to generate an analog image signal corresponding to the incident light. The analog signal generated here for each pixel is subjected to noise removal by the analog signal processing unit 3 and then supplied to the A / D converter 4 to be converted into a digital signal for each pixel.
[0016]
The digital signal obtained by the A / D converter 4 is supplied to the image processing unit 5. The image processing unit 5 performs various signal processing including color interpolation processing and color correction processing on the digital signal for each pixel. Since each pixel of the image sensor 2 can only detect the intensity of light after passing through the color filter 2a, there is only one color information per pixel at this time. The image processing unit 5 determines the color for each pixel by interpolating the signal of each pixel, and generates image data.
[0017]
There are various interpolation calculation methods, and any method can be applied in the present embodiment. For example, when determining the color of a certain pixel, it is possible to apply bilinear interpolation such as calculating the average value of the surrounding pixels. As will be described in detail later, in this embodiment, an infrared filter is arranged in the first mode in which the interpolation calculation is mainly performed using information on pixels in which the three primary color color filters are arranged. A second mode in which interpolation information is mainly used by using pixel information, and the mode can be switched under the control of the controller 6. The mode to be switched can be specified by the user operating the operation unit 7, for example.
[0018]
In the above configuration, the analog signal processing unit 3, the A / D converter 4, and the image processing unit 5 constitute the signal processing means of the present invention. The controller 6 constitutes the mode control means of the present invention.
[0019]
FIG. 2 is a diagram showing a filter arrangement of the color filter 2a. In a normal Bayer arrangement, as shown in FIG. 6A, RGB three primary color filters are arranged in a mosaic pattern, and one unit is formed by four RGBG pixels. On the other hand, as shown in FIG. 2, the color filter 2a of the present embodiment is configured by replacing one G filter of RGBG with an infrared filter (IR filter) having sensitivity at least in the infrared region. .
[0020]
That is, the color filter 2a of the present embodiment includes a first line in which G filters and B filters are alternately arranged when viewed in the horizontal direction, and a second line in which R filters and IR filters are alternately arranged. Each filter is configured in a mosaic pattern by alternately arranging the first lines and the second lines. When viewed in the vertical direction, the first line in which the G filter and the R filter are alternately arranged and the second line in which the B filter and the IR filter are alternately arranged are alternately arranged. Yes.
[0021]
Here, the three primary color filters may be used as they are, but preferably an infrared cut (IRC) filter for blocking infrared light is further arranged at the pixel position where the three primary color filters are arranged. To do. Alternatively, instead of arranging the color filters of the three primary colors and the infrared cut filter in an overlapping manner, a color filter having characteristics obtained by multiplying each of the RGB spectral characteristics by the spectral characteristics of the infrared cut filter is configured. They may be arranged (respective spectral characteristics of the RGB filter and spectral characteristics of the IRC filter are shown in FIG. 3).
[0022]
On the other hand, the infrared filter may be one in which both visible light and infrared light have spectral characteristics (for example, a white filter), or smear (high-intensity light) when shooting a bright subject in the daytime. In order to prevent the occurrence of a phenomenon in which the charges overflowing from the pixel on which the incident light flows into the signal line or the transfer section and a false false signal appears in the vertical direction from the pixel, spectral characteristics are given only to the infrared region. It may be a thing. When spectral characteristics are given only to the infrared region, an infrared transmission filter that transmits only infrared light may be used, or spectral characteristics that provide maximum sensitivity near 800 nm, which is the peak wavelength of infrared illumination. A filter provided with may be used. Since the infrared region is not cut by the infrared cut filter, the spectral sensitivity in the infrared region is made as high as possible.
[0023]
4 and 5 are diagrams showing spectral characteristics of the three primary color filters and the infrared filter. 4 shows a case where a white filter is used as the infrared filter, and FIG. 5 shows a spectral characteristic when an infrared transmission filter is used as the infrared filter. The white filter has a spectral characteristic that transmits all the visible light of RGB and also transmits light in the infrared region. In addition, the infrared transmission filter has spectral characteristics such that RGB visible light is hardly transmitted, but only light in the infrared region is transmitted.
[0024]
When using a white filter, an ND (neutral density) filter is placed in front of the white filter to prevent the occurrence of smears because the sensitivity of infrared light is too good compared to the sensitivity of visible light. By reducing the amount of transmitted external light, the sensitivity of visible light and the sensitivity of infrared light may be approximately the same. Also, instead of arranging the white filter and the ND filter in an overlapping manner, a filter having a characteristic obtained by multiplying the spectral characteristic of the white filter by the spectral characteristic of the ND filter is configured and arranged as an IR filter. Also good.
[0025]
As described above, the image processing unit 5 in FIG. 1 performs the interpolation calculation under any mode switched by the control of the controller 6 according to the operation of the operation unit 7. In the first mode, the interpolation calculation is performed mainly using the photoelectric conversion signal of visible light, that is, the information of the pixel on which the RGB color filter (multiplied by the spectral characteristics of the infrared cut filter) is arranged. . Here, “mainly used” means that the utilization ratio of the pixel in which the color filter is arranged is larger than the utilization ratio of the pixel in which the infrared filter is arranged. For example, the interpolation calculation is performed using only the information of the pixel in which the color filter is arranged. This first mode has good color reproducibility and is suitable for daytime photography.
[0026]
On the other hand, in the second mode, the interpolation calculation is performed mainly using the photoelectric conversion signal of infrared light, that is, the information of the pixel in which the infrared filter is arranged. Here, “mainly used” means that the usage ratio of the pixel in which the infrared filter is arranged is larger than the usage ratio of the pixel in which the color filter is arranged. For example, the interpolation calculation is performed using only the information of the pixel in which the infrared filter is arranged. This second mode has high sensitivity and is suitable for night photography.
[0027]
In addition, when the pixel information of the infrared filter is not used at all in the first mode, there is only one G filter pixel for extracting luminance information in one unit of four pixels. Even when the pixel information of the color filter is not used at all in the second mode, only one IR filter pixel from which luminance information is extracted exists in one unit of four pixels. For this reason, both the horizontal and vertical resolutions are halved compared to the normal Bayer array.
[0028]
However, recent digital cameras have dramatically increased the number of pixels, and a large resolution can be secured by the number of pixels themselves. Therefore, there is not much problem even if the resolution is halved. For example, when considering a CCD with 1.3 million pixels (horizontal 1280 × vertical 1024), the effective resolution is (horizontal 640 × vertical 512), which is in VGA (Video Graphics Array) or NTSC (National Television System Committee standard) format. Sufficient resolution can be obtained for use.
[0029]
As described above in detail, according to the present embodiment, one G filter of four pixels constituting one unit of the Bayer array is replaced with an IR filter, and the RGB filter is used for the first mode and the IR filter is used for the first filter. Sort for 2 modes. When the day is relatively bright, the first mode mainly uses pixel interpolation of three RGB pixels, and when the night is relatively dark, the second mode mainly uses one IR pixel. Pixel interpolation is performed. Thus, by performing the interpolation process according to the photographing conditions, it is possible to achieve both daytime color reproducibility improvement and nighttime sensitivity improvement.
[0030]
Further, in the present embodiment, the filter arrangement of the color filter 2a is devised so that the infrared cut filter is applied only to the three RGB pixels and the infrared cut filter is not applied to one IR pixel. Since which pixel is mainly used in the interpolation calculation is determined by software, it is not necessary to provide a mechanical mechanism for turning on / off the infrared cut filter, and the imaging apparatus can be reduced in size. Weight reduction, cost reduction, and improvement in reliability can be achieved.
[0031]
In the above-described embodiment, the example in which only the pixel information of the color filter is used in the first mode and only the pixel information of the infrared filter is used in the second mode is described. However, the present invention is not limited to this example. That is, in the first mode, if the usage ratio of the pixel information of the color filter is larger than the usage ratio of the pixel information of the infrared filter, the pixel information of the infrared filter may be used somewhat. Similarly, in the second mode, if the use ratio of the pixel information of the infrared filter is larger than the use ratio of the pixel information of the color filter, the pixel information of the color filter may be used somewhat.
[0032]
Moreover, although the said embodiment demonstrated the example which switches a 1st mode and a 2nd mode by operating the operation part 7 by a user, you may make it switch automatically. For example, the ambient illuminance is detected based on the amount of light received by the image sensor 2, and the mode is automatically switched to the first mode when the illuminance is greater than a predetermined threshold and to the second mode when the illuminance is smaller than the threshold. Also good. Instead of the image sensor 2, a dedicated light receiving element for detecting illuminance may be provided.
[0033]
In the above embodiment, the color imaging device 10 is configured as shown in FIG. 1, but in addition to these components, a light emitting element for infrared illumination (such as an infrared light emitting LED) may be further provided. . In the second mode that uses pixel information of an infrared filter that has a very strong sensitivity to infrared light, shooting a subject that is darker than previously possible by shooting the subject by irradiating the subject with infrared light ( For example, shooting in the dark is possible.
[0034]
In the above embodiment, switching between the first mode and the second mode has been described. However, three or more modes may be switched. For example, the first to nth (n ≧ 3) modes are provided. In the first mode, pixel interpolation is performed using only pixel information of the color filter. In the second mode, pixel interpolation is performed by adding some pixel information of the infrared filter to the pixel information of the color filter. In the third mode, the use ratio of the pixel information of the infrared filter is gradually increased so that the pixel interpolation is performed with the use ratio of the pixel information of the infrared filter larger than that in the second mode. In the nth mode, it is possible to perform pixel interpolation using only the pixel information of the infrared filter.
[0035]
Moreover, although the said embodiment demonstrated the example which applies the color filter of this embodiment to a digital camera, it is not limited to this. For example, the present invention can also be applied to a digital video camera, a mobile phone with a camera, a surveillance camera, a PDA (Personal Digital Assistant) with a camera, and the like. These terminals are suitable for applying this embodiment because there are many opportunities to shoot a dark subject at night from a bright subject in the daytime.
[0036]
The image sensor 2 described above can be applied to both a progressive method (all pixel readout method) and a frame readout method as a photoelectric conversion signal readout method.
[0037]
In addition, each of the above-described embodiments is merely an example of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. In other words, the present invention can be implemented in various forms without departing from the spirit or main features thereof.
[0038]
【The invention's effect】
As described above, according to the present invention, it is not necessary to provide a mechanical mechanism for turning on / off the infrared cut filter, and it is possible to improve color reproducibility in a bright subject and improve sensitivity in a dark subject. Thus, it is possible to provide a color imaging device that can be used continuously day and night. By eliminating mechanical mechanism parts, it is possible to reduce the size and weight of the imaging device, reduce costs, and improve reliability.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the overall configuration of a digital camera that implements a color imaging apparatus according to the present invention.
FIG. 2 is a diagram illustrating a filter arrangement of a color filter according to the present embodiment.
FIG. 3 is a diagram illustrating spectral characteristics of a color filter and an infrared cut filter.
FIG. 4 is a diagram illustrating spectral characteristics of a color filter and an infrared filter.
FIG. 5 is a diagram illustrating spectral characteristics of a color filter and an infrared filter.
FIG. 6 is a diagram showing a filter arrangement of a conventional color filter.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Optical system 1a Shutter 1b Lens 1c Iris 2 Image pick-up element 2a Color filter 3 Analog signal processing part 4 A / D converter 5 Image processing part 6 Controller 7 Operation part 10 Digital camera

Claims

赤緑青から成る３原色のうち緑のフィルタと他の１色のフィルタとを交互に配置した第１のラインと、
上記３原色のうち残り１色のフィルタと少なくとも赤外領域に感度を有する赤外フィルタとを交互に配置した第２のラインとを有し、
上記第１のラインと上記第２のラインとを交互に配列したモザイク状のフィルタから成ることを特徴とする固体撮像素子用カラーフィルタ。A first line in which green filters and other one color filters among the three primary colors composed of red, green, and blue are alternately arranged;
A second line in which a filter of the remaining one of the three primary colors and an infrared filter having sensitivity at least in the infrared region are alternately arranged;
A color filter for a solid-state imaging device, comprising a mosaic filter in which the first lines and the second lines are alternately arranged.

上記３原色の色フィルタが配置される画素位置に、赤外光を遮断する赤外カットフィルタを更に配置したことを特徴とする請求項１に記載の固体撮像素子用カラーフィルタ。2. The color filter for a solid-state imaging device according to claim 1, further comprising an infrared cut filter for blocking infrared light at a pixel position where the three primary color filters are arranged.

上記３原色の色フィルタは、赤緑青の各分光特性に、赤外光を遮断する赤外カットフィルタの分光特性を掛け合わせた特性を有する色フィルタであることを特徴とする請求項１に記載の固体撮像素子用カラーフィルタ。The color filter having the three primary colors is a color filter having characteristics obtained by multiplying each spectral characteristic of red, green, and blue by a spectral characteristic of an infrared cut filter that blocks infrared light. Color filters for solid-state image sensors.

上記赤外フィルタは、白のフィルタであることを特徴とする請求項１に記載の固体撮像素子用カラーフィルタ。The color filter for a solid-state imaging device according to claim 1, wherein the infrared filter is a white filter.

上記赤外フィルタは、略赤外領域にのみ分光特性を有する赤外透過フィルタであることを特徴とする請求項１に記載の固体撮像素子用カラーフィルタ。The color filter for a solid-state imaging device according to claim 1, wherein the infrared filter is an infrared transmission filter having spectral characteristics only in a substantially infrared region.

請求項１〜５の何れか１項に記載の固体撮像素子用カラーフィルタと、
上記固体撮像素子用カラーフィルタが配置される固体撮像素子と、
上記固体撮像素子により撮像された各画素の信号を補間処理して画像データを生成する信号処理手段と、
上記３原色の色フィルタが配置された画素の情報および上記赤外フィルタが配置された画素の情報の利用比率を異ならせた画素補間演算により上記画像データを生成する複数のモードを切替制御するモード制御手段とを備えたことを特徴とするカラー撮像装置。A color filter for a solid-state imaging device according to any one of claims 1 to 5,
A solid-state image sensor on which the color filter for the solid-state image sensor is disposed;
Signal processing means for generating image data by interpolating signals of each pixel imaged by the solid-state imaging device;
A mode for switching and controlling a plurality of modes for generating the image data by pixel interpolation calculation with different utilization ratios of the information of the pixels in which the color filters of the three primary colors are arranged and the information of the pixels in which the infrared filters are arranged And a color imaging apparatus comprising: a control unit;

赤外照明用の発光素子を備えたことを特徴とする請求項６に記載のカラー撮像装置。The color imaging apparatus according to claim 6, further comprising a light emitting element for infrared illumination.