JP2006033483A

JP2006033483A - カラー撮像装置

Info

Publication number: JP2006033483A
Application number: JP2004210236A
Authority: JP
Inventors: Jun Amano; 準天野; Kazuya Watanabe; 一矢渡邊; Hideyuki Aikyo; 秀幸相京; Moritaka Miwa; 守孝三輪
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2004-07-16
Filing date: 2004-07-16
Publication date: 2006-02-02

Abstract

【課題】赤外線カットフィルタを装着しない場合であっても、夜間或いは暗所でも撮像が行えること、質の良い色情報が得られるものとする。
【解決手段】撮像素子２の前に長波長域（Ｒ）,中波長域（Ｇ）,短波長域（Ｂの）信号を透過する色フィルタ３を備えたカラー撮像装置１において、２×２のベイヤー方式の色フィルタアレイ配列５で、Ｒ，Ｇ，Ｂの一つを、赤外光の波長域を透過し、該赤外光以外の波長域は透過し難いＩＲフィルタに代えた配列６とした。
【選択図】図３

Description

本発明は、カラー撮像装置に関するものであり、特に、赤外線カットフィルタを用いないカラー撮像装置に係る。

従来、カラービデオカメラやカラーディジタルカメラ等に代表されるカラー撮像装置では、可視光域を対象としたフィルタとして機能する色フィルタレイがＣＣＤ素子の手前に設けられている。この色フィルタレイとして代表的なものには、原色フィルタ（ＲＧＢ）や補色フィルタ（Ｍｇ，Ｙｅ，Ｃｙ）がある。例えば、色フィルタアレイの原色フィルタ配列ではベイヤー方式が用いられ、補色フィルタ配列ではフィールド色差順次方式が用いられている（非特許文献１）。

カラー撮像装置の一般的な構成では、レンズの後方に撮像素子としてのＣＣＤ素子が設けられ、ＣＣＤ素子の手前にはＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の波長を各々通す色フィルタ（Ｒ透過フィルタ、Ｇ透過フィルタ、Ｂ透過フィルタ、或いは、補色のマゼンタ（Ｍｇ）透過フィルタ、イエロー（Ｙｅ）透過フィルタ、シアン（Ｃｙ）透過フィルタ）アレイが設けられる。また、ＣＣＤ素子が赤外線を感知しないように、レンズと色フィルタとの間に赤外線カットフィルタが設けられる。

赤外線カットフィルタを用いた構成では、レンズに光が入光すると、レンズを通った光は、赤外線カットフィルタによって赤外光がカットされる（例えば、図８に示す点線の右側の領域がカット）。そして、赤外線がカットされた光は、図８に示したような、色フィルタの分光透過特性に従って、長波長域（Ｒ）、中波長域（Ｇ）、短波長域（Ｂ）に分離される。その結果、信号値として（Ｒ，Ｇ，Ｂ）値、或いは、補色の（Ｍｇ，Ｙｅ，Ｃｙ）値が得られる。

また、カラー撮像装置を夜間でも良く見えるように暗視状態で撮像可能とする場合には、赤外線をカットする赤外線カットフィルタの装着を外せば良い。この場合には、上記した可視光域の色フィルタがそのまま流用される。尚、ここに示す色フィルタは、アレイ状となっていることから色フィルタアレイと同義である。
ＣＣＤカメラ技術入門（１１４頁、１２１頁、１９９７年１２月１５日コロナ社発行）

しかしながら、上記した構成の如く、ＣＣＤ素子の手前の赤外線カットフィルタを外し、可視光域を対象とした通常の原色フィルタ（ＲＧＢ）或いは補色フィルタ（Ｍｇ，Ｙｅ，Ｃｙ）を用いるカメラで撮像を行うと、波長が７００ｎｍ以上の赤外域のＲ，Ｇ，Ｂの成分を含む光（例えば、図８に示す破線以上の波長をもつ光）もＣＣＤ素子は感知してしまう。

その結果、（Ｒ，Ｇ，Ｂ）値或いは（Ｍｇ，Ｙｅ，Ｃｙ）値が増加して、赤外線カットフィルタをＣＣＤ素子の手前に装着した場合の（Ｒ，Ｇ，Ｂ）とは別の（Ｒ，Ｇ，Ｂ）値になり、３原色のバランスが崩れる。これによって、赤外線カットフィルタの装着時の色と非装着時の色とでは別な色として出力され、色の再現性が低下してしまう。それ故に、赤外線カットフィルタの装着を単に外しただけでは、夜間或いは暗所での暗視能力は出せるものの、質の良い色が再現できなくなってしまう。

よって、本発明は上記した問題点に鑑みてなされたものであり、赤外線カットフィルタを装着しない場合であっても、夜間或いは暗所でも撮像が行えること且つ、質の良い色情報が得られるものとすることを課題とする。

上記の課題を解決するために講じた技術的手段は、撮像素子の前に長波長域（Ｒ）,中波長域（Ｇ）,短波長域（Ｂ）の光を透過する色フィルタアレイを備えたカラー撮像装置において、
２×２のベイヤー方式の色フィルタアレイ配列で、Ｒ，Ｇ，Ｂの一つに対し、赤外光の波長域を透過し、該赤外光以外の波長域は透過し難いＩＲフィルタに代えた配列としたことである。

この場合、撮像素子の画素の表面にＲ透過フィルタ、Ｇ透過フィルタ、Ｂ透過フィルタ、ＩＲフィルタを含む色フィルタを設け、各画素に対して色フィルタと同色の色データは、画素が感知した値を直接色データとし、同色以外の色データは、直接色データを得た画素に対して隣接する周囲の画素が感知した色データを平均化処理して最終色データ（Ｒ，Ｇ，Ｂ，ＩＲ）を出力する構成とすると良い。

また、平均化処理された色データ（Ｒ,Ｇ,Ｂ）と、平均化処理された色データ(ＩＲ)の差分を求め、最終色データ（Ｒ，Ｇ，Ｂ，ＩＲ）を出力する構成とすると良い。

請求項１の発明によれば、２×２のベイヤー方式の色フィルタアレイ配列で、Ｒ，Ｇ，Ｂの一つが、赤外光の波長域を透過し、該赤外光以外の波長域は透過し難いＩＲフィルタに代わる構成となるので、このＩＲフィルタによって赤外光の波長域を透過させることができ、夜間や暗所での撮像が可能となる。

また、赤外線カットフィルタを装着せずに、Ｒ、Ｇ，Ｂの一つをＩＲフィルタに代えることによって、夜間や暗所における暗視能力を得ることができるし且つ、色の再現性に関して質の良いものが得られる。これは、Ｒ，Ｇ，Ｂ透過フィルタは撮像素子の表面に染色等により設けることが可能であり、これと同様にＩＲフィルタを撮像素子の表面に設けることが可能である。

請求項２の発明によれば、撮像素子の各画素の色データ（Ｒ，Ｇ，Ｂ，ＩＲ）に関して、撮像素子の画素の前にＲ透過フィルタ、Ｇ透過フィルタ、Ｂ透過フィルタ、ＩＲフィルタを含む色フィルタを設け、色フィルタと同色となる色データについては、その画素が感知した値をそのまま用いる。このデータを直接色データと称す。また、同色以外の色データに関しては、その画素に対して隣接する周囲８つの画素が感知した色データをＲ,Ｇ,Ｂについてそれぞれ平均値を求める。このようにして求めた、色データ（Ｒ,Ｇ,Ｂ）について色データ（ＩＲ）も含め、平均化処理された色データ（Ｒ，Ｇ，Ｂ，ＩＲ）を出力することができる。

請求項３の発明によれば、平均化処理された色データ（Ｒ，Ｇ，Ｂ）と、平均化処理された色データ（ＩＲ）の差分を最終色データ（Ｒ，Ｇ，Ｂ，ＩＲ）として出力することにより、暗所では暗視能力が向上でき、明所では色情報の平均化処理と差分処理によって、赤外光によるノイズが含まれない。この為、質の良い色情報を得ることができる。

以下、本発明の一実施形態について、図面を参照して説明する。

カラー撮像装置１の基本的な構成を、図１に示す。カラー撮像装置１は、光（入射光）が入射するレンズ４と、入射光から像の撮像を行うＣＣＤ素子（撮像素子）２及びＣＣＤ素子２の手前に入射光から色を波長に応じて分離する色フィルタ３を備える。この場合、レンズ４の中心を通る光軸に対して垂直に色フィルタ３が染色等により付加された複数の画素を有するＣＣＤ素子２が配置される。

色フィルタ３は、ＣＣＤ素子２の各画素に対応したフィルタ構造がアレイ状となっており（色フィルタアレイ）、ＣＣＤ素子２の各画素の表面に１色の透過フィルタが配置されており、その色以外の色データは周囲のデータから求める構成となっている。

例えば、色フィルタ３としては、図２に示すベイヤ−方式の２×２の基本配列５が知られている。この方式では、高波長域（Ｒ）,中波長域（Ｇ）,低波長域（Ｂの）信号を透過する色フィルタがアレイ状を成す。この方式では、ＣＣＤ素子２の色データは、Ｂのフィルタを透過した光の情報（つまりＢデータ）しか得られず、その他の色データ（Ｒデータ，Ｇデータ）はＢデータの周囲の情報から得るようになっている。
本実施形態では、このベイヤ−方式のアレイ状となったＲ，Ｇ，Ｂから構成される色フィルタの一つを、ＩＲフィルタに代えて図３に示す配列６とした。このＩＲフィルタは、図２に示すベイヤ−方式の基本配列２の中で２つあるＧの色フィルタの一つに対して、ＩＲフィルタで置換する。これは図７のグラフに示す如く、赤外光の波長領域（破線より右側の領域）は透過させるが、赤外光以外の波長領域は透過させ難いＩＲフィルタによって置換する配列とすることにより、夜間或いは暗所においても、ＣＣＤ素子２による撮像が可能となる。尚、本実施形態においては、一例としてＧ透過フィルタをＩＲフィルタで置換した配列としたが、これに限定されるものではなく、それ以外の色を透過させるフィルタであっても良い。

次に、図３に示す配列６における色フィルタレイの色データの算出方法について説明する。ここでは、図３の配列を含む図４に示す様な３×３配列（演算配列）を例にとって説明する。

３×３の中心の色フィルタの位置（Ｂ）では、色フィルタの背後にあるＣＣＤ素子２が感知した値を、そのまま直接色データとして用いる。（Ｂ）以外の色に関しては、（Ｂ）を取り囲む周囲（８つのフィルタ）を透過した色情報（色データ）の値を平均化処理して、Ｒ、Ｇ，ＩＲのそれぞれについてデータを求める。この様にして求めたデータ（（Ｒ，Ｇ，Ｂ，ＩＲ）データとする）を、色データとして最終データを得る前の前処理データ（Ｒ，Ｇ，Ｂ，ＩＲ）と、ここでは定義する。

その後、平均化処理された前処理データ（Ｒ，Ｇ，Ｂ）から平均化処理された前処理データ（ＩＲ）を差し引いたものを、後処理データ（Ｒ，Ｇ，Ｂ）値と定義する。即ち、後処理データは以下に示す方法により簡単な演算により求めることができる。

後処理データ（Ｒ）＝前処理データ（Ｒ）−前処理データ（ＩＲ）
後処理データ（Ｇ）＝前処理データ（Ｇ）−前処理データ（ＩＲ）
後処理データ（Ｂ）＝前処理データ（Ｂ）−前処理データ（ＩＲ）
以上のように求めた後処理データ（Ｒ，Ｇ，Ｂ）と「前処理データ（ＩＲ）」を最終データ（Ｒ，Ｇ，Ｂ，ＩＲ）と、ここでは定義する。本実施形態では、入射光をＣＣＤ素子２に入射すると、色フィルタ３により（Ｒ，Ｇ，Ｂ，ＩＲ）に分光がなされ、最終データ（Ｒ，Ｇ，Ｂ，ＩＲ）が獲得できる。

上記した色データの算出方法を、図４を参照し、Ｂデータを中心画素として、一例にて説明する。色データに関し、Ｂデータについては、Ｂ透過フィルタ通過後のＣＣＤ素子２が感知したＢデータをそのまま用いる。Ｂデータの対角状にある４つのＲデータに関しては、Ｒ透過フィルタ通過後の４つのＣＣＤ素子の画素における赤データの平均値を求める。また、Ｇデータに関しては、Ｂデータの左右にある２つのＣＣＤ素子２が感知したＧ透過フィルタ通過後の緑データの平均値を求め、ＩＲデータに関しては、Ｂデータの上下にある２つのＣＣＤ素子２が感知したＩＲフィルタ通過後のＩＲデータの平均値を求める。この様にして求めた値を、平均化処理を行った前処理データ（Ｒ，Ｇ，Ｂ，ＩＲ）を求める。その後、以下の式によって、後処理データ（Ｒ，Ｇ，Ｂ）を算出する。

後処理データ（Ｒ）＝前処理データ（Ｒ）−前処理データ（ＩＲ）
後処理データ（Ｇ）＝前処理データ（Ｇ）−前処理データ（ＩＲ）
後処理データ（Ｂ）＝前処理データ（Ｂ）−前処理データ（ＩＲ）
これらの値と前処理データ（ＩＲ）から、最終データ（Ｒ，Ｇ，Ｂ，ＩＲ）が得られ、公知の方法を用いて色が再現される。
この様な最終データ（Ｒ，Ｇ，Ｂ，ＩＲ）を算出するまでの流れを、一般的なフローチャートで示すと、図５および図６に示すフローとなる。図５では、Ｒの色フィルタが設置された画素の輝度値をｆｒ（ｉ，ｊ）、Ｇの色フィルタが設置された画素の輝度値をｆｇ（ｉ，ｊ）、Ｂの色フィルタが設置された画素の輝度値をｆｂ（ｉ，ｊ）、ＩＲフィルタが設置された画素の輝度値をｆir（ｉ，ｊ）と定義する。そして、Ｒ、Ｇ，Ｂ、ＩＲの色フィルタの種類により場合分けが成され、どの色フィルタであるかにより、最終データ（Ｒ，Ｇ，Ｂ，ＩＲ）を求める演算式が決定される。尚、フローチャートの中に示されるＲ，Ｇ，Ｂ，ＩＲの「ダッシュ」は、平均化処理を施した前処理データを示すものとする。

以上、述べた様に、赤外線カットフィルタを装着せず、且つ色フィルタアレイの１つの色フィルタを、ＩＲフィルタにて置換することによって、暗所では暗視能力を向上でき、且つ明所では色データの平均化処理と差分処理によってノイズの影響を受け難くでき、質の良い色情報を得ることができる。

本実施形態においては、原色フィルタ（Ｒ，Ｇ，Ｂ）について例を挙げたが、補色フィルタ（Ｍｇ，Ｙｅ，Ｃｙ）においては、公知の方法（従来技術）である「色差順次方式」（例えば、従来技術に記載の非特許文献１（１１４頁））によって出力されたＲＧＢデータを用いて、このＲＧＢデータから前処理データ（ＩＲ）を差し引くことによって、最終データ（Ｒ，Ｇ，Ｂ，ＩＲ）を得ることができる。

また、本実施形態においては、撮像素子としてＣＣＤ素子を例に挙げたが、ＣＣＤ素子に代わる撮像素子であっても良い。

本発明の一実施形態におけるカラー撮像装置の構成図である。色フィルタアレイのベイヤー方式を示す配列である。図２に示すベイヤー方式の色フィルタアレイをＩＲフィルタに代えた配列である。図３に示す配列を含む配列である。本発明の一実施形態におけるカラー撮像装置の処理を示すフローチャートである。図５に続くフローチャートである。本発明の一実施形態における色フィルタアレイによるＲＧＢ分光透過特性を示すグラフである。従来の赤外線カットフィルタによりカットされる波長領域を示したＲＧＢ分光透過特性を示すグラフである。

符号の説明

１カラー撮像装置
２ＣＣＤ素子（撮像素子）
３色フィルタ
４レンズ
５ベイヤー方式の配列
６ベイヤー方式の一部をＩＲフィルタに代えた配列

Claims

撮像素子の前に長波長域（Ｒ）,中波長域（Ｇ）,短波長域（Ｂの）信号を透過する色フィルタアレイを備えたカラー撮像装置において、
２×２のベイヤー方式の色フィルタアレイ配列で、Ｒ，Ｇ，Ｂの一つに対して、赤外光の波長域を透過し、該赤外光以外の波長域は透過し難いＩＲフィルタに代えた配列としたことを特徴とするカラー撮像装置。
前記撮像素子の画素の表面にＲ透過フィルタ、Ｇ透過フィルタ、Ｂ透過フィルタ、ＩＲフィルタを含む色フィルタを設け、各画素に対して前記色フィルタと同色の色データは、画素が感知した値を直接色データとし、同色以外の色データは、前記直接色データを得た画素に対して隣接する周囲の画素が感知した色データを平均化処理して最終色データ（Ｒ，Ｇ，Ｂ，ＩＲ）を出力する請求項１に記載のカラー撮像装置。
前記平均化処理された色データ(Ｒ、Ｇ、Ｂ)と、平均化処理された色データ（ＩＲ）の差分を求め、最終色データ（Ｒ，Ｇ，Ｂ，ＩＲ）を出力する請求項２に記載のカラー撮像装置。