JP2019062475A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】 感度特性の悪化を抑えつつベイヤー配列の分光感度以外の画素を備える撮像素子を提供すること。【解決手段】 複数の画素には所定の周期をもって異なる分光特性の画素が配置され、異なる分光特性の画素には、第１の分光帯域幅を有し、かつ少なくとも赤、緑、青の分光特性に対応する複数の画素と、第１の分光帯域幅より狭い第２の分光帯域幅を有する複数の画素とを含み、周期において、前記第１の分光帯域幅を有する画素の数は第２の分光帯域幅を有する画素の数よりも少ないことを特徴する。【選択図】 図４

Description

本発明は、撮像素子及びその撮像素子を用いた撮像装置に関する。

ビデオカメラに代表される撮像装置に用いられる撮像素子として、ＣＭＯＳ型イメージセンサ（以下、ＣＭＯＳセンサと称することがある）がある。そして、一つの撮像レンズと一つのＣＭＯＳセンサを用いてカラー画像を出力する単板方式の撮像装置においては、イメージセンサ上の画素にＲＧＢのいずれかの分光を持つカラーフィルタを周期的に配置するいわゆるベイヤー配列が一般的に知られている。また近年は、撮像装置において、撮像画像の色再現をより忠実に行なうために従来のベイヤー配列のＲＧＢの分光に加え、特定の波長帯域（以下、バンドと称することがある）の分光によって画像を取得するような撮像装置が提案されている。

特許文献１にはベイヤー配列の１つずつの画素を複数に分割し、分割されたそれぞれの画素の分光を変更した撮像素子が提案されている。

特開２０１２−０４４５１９

特許文献１では、従来のベイヤー配列に対応する画素として複数の画素を設け、それぞれの画素の分光感度をＲＧＢのバンド幅よりも狭いバンド幅としている。そして、従来のベイヤー配列の位置に対応する複数の画素の信号を加算することで、それぞれの画素の分光は狭いバンド幅の画素を有しているが全体として従来のベイヤー配列での処理を可能としている。

しかしながら、画素の分光感度は画素ごとに設けられるカラーフィルタの分光透過率特性に依存することから、狭いバンド幅のカラーフィルタを画素に設けると透過する光以外の光を捨てることとなる。そのため、各画素に入力される光量が減少してしまい、結果的に、カラーフィルタと画素そのものの分光透過率特性を含めたトータルの感度特性が悪化してしまう。

本発明の目的は、感度特性の悪化を抑えつつベイヤー配列の分光感度以外の画素を備える撮像素子を提供することにある。

上述の問題点を解決するため、本発明の撮像素子は、２次元に配置された複数の画素を有する撮像素子であって、
前記複数の画素には所定の周期をもって異なる分光特性の画素が配置され、
前記異なる分光特性の画素には、第１の分光帯域幅を有し、かつ少なくとも赤、緑、青の分光特性に対応する複数の画素と、前記第１の分光帯域幅より狭い第２の分光帯域幅を有する複数の画素とを含み、
前記周期において、前記第１の分光帯域幅を有する画素の数は前記第２の分光帯域幅を有する画素の数よりも少ないことを特徴する。

感度特性の悪化を抑えつつベイヤー配列の分光感度以外の画素を備える撮像素子を提供することが可能となる。

撮像素子のカラーフィルタ構成を示す図である 撮像素子の分光透過率特性を示す図である 撮像素子の分光透過率特性を示す図である 第１の実施形態に係る撮像素子のカラーフィルタ構成を示す図である 本発明における実施形態の撮像装置のブロック図である 第２の実施形態に係る撮像素子のカラーフィルタ構成を示す図である

（第１の実施形態）
以下、各図を用いて本発明の実施形態を説明する。

図１は撮像素子における一部の画素を抜き出した平面図である。図１（ａ）はベイヤー配列のカラーフィルタを備える場合を示している。実線で囲われた範囲が一つの画素であり、添えられた文字が各画素の分光感度を示している。Ｒは赤の分光感度、ＧｒおよびＧｂは緑の分光感度、Ｂは青の分光感度を有している。また、太線で囲われた４画素を一つの単位として、それが２次元的に周期的に配列している。ベイヤー配列においてはＧｒ画素およびＧｂ画素は一つ単位の中で対角上に配置され、同一の分光特性を有している。なお、図１（ａ）ではＲ画素が一つの単位の左上になっているが、これに限られるものではなく、他の画素を左上としてもよい。

図２（ａ）は、横軸を入射する光の波長、縦軸を分光特性（感度特性）とした場合の、ＣＭＯＳセンサに設けられたフォトダイオード単体における分光特性の例を示している。一般的にＣＭＯＳセンサに設けられたフォトダイオードはシリコンウェハ上に作製されており、Ｇ（緑の分光感度）にあたる波長帯域４８０〜６００ｎｍ付近が最も分光特性が高い。なお、Ｒにあたる波長帯域は５９０〜７２０ｎｍ付近、Ｂにあたる波長帯域は４００〜５４０ｎｍ付近としている。

図２（ｂ）は、横軸を光の波長、縦軸を分光透過率特性としたときの、各画素に設けられるカラーフィルタ単体の分光透過率特性の例である。ＲＧＢそれぞれのカラーフィルタの特性は、所定の波長をピークとしてその周辺の波長で互いに重なり合う特性となる。また、カラーフィルタ単体では、多少のばらつきは見られるものの、Ｒ，Ｇ，Ｂによって透過率特性のピークはそれほど変わらない。

図２（ｃ）は前述フォトダイオードの分光特性と、前述カラーフィルタの分光透過率特性をかけ合わせ、カラーフィルタの特性を考慮した場合の撮像素子の分光特性（感度特性）を表した例である。ベイヤー配列でカラー画像を生成するための撮像素子は、このような分光透過率特性を持つ。本実施形態において、図２（ｃ）に示すＲＧＢ各画素の分光特性はベイヤー配列におけるブロード（幅の広い）の波長特性に相当する。

図２（ｃ）におけるベイヤー配列のカラーフィルタは、ＲＧＢの３種類のバンドで構成されることが一般的である。一方で、図１（ａ）に示した従来のベイヤー配列とは異なる撮像素子のカラーフィルタの配列を示したのが図１（ｂ）である。図１（ｂ）に示す撮像素子の画素におけるバンドはそれぞれ異なるものとして構成した場合の図の例である。λ１〜λ４はＢにあたる波長帯域の一部、λ５〜λ８はＧにあたる波長帯域の一部、λ９〜λ１２はＲにあたる波長帯域の一部としている。図１（ａ）と同世に太線で囲われた画素（１６画素）を一つの単位として、それが周期的に２次元的に配列している。言い換えれば、４つの画素を一つの領域として、それぞれの領域は従来のベイヤー配列のＢ画素、Ｇｒ画素、Ｇｂ画素、Ｒ画素に対応している。言い換えれば、図１（ｂ）においてλ１〜λ４を付した画素はＢの分光特性に対応し、λ５〜λ８を付した画素はＧの分光特性に対応し、λ９〜λ１２を付した画素はＲの分光特性に対応している。なお、本実施形態においてＲ、Ｇ、Ｂそれぞれに対応する各領域には４画素を含む構成としているこれに限られるものではなく、４画素以上を含む構成としてもよいし、水平方向にのみ複数画素を並べる構成としてよい。

図３（ａ）は、横軸を光の波長、縦軸を分光透過率特性としたときの、図１（ｂ）に示した各画素に設けられるカラーフィルタ単体の分光透過率特性の例である。各カラーフィルタに対応するλ１〜λ１２までの分光透過率特性は、ベイヤー配列におけるブロードの波長特性よりも狭帯域にした波長帯域を持っている。また、それぞれのカラーフィルタの特性は、所定の波長をピークとしてその周辺の波長で互いに重なり合う特性となる。また、図３（ａ）においてはカラーフィルタ単体では、多少のばらつきは見られるものの、透過率特性のピークはそれほど変わらないとしているが、フィルタごとに異ならせてもよい。また、バンドの幅に関しても必ずしも等間隔でなくてもよい。

図３（ｂ）は、図３（ａ）のカラーフィルタの分光透過率特性に、図２（ａ）のフォトダイオード単体における分光透過率特性を組み合わせたものである。ここで例えば、λ１〜λ４はＢにあたる波長帯域であるが、それぞれの分光帯域幅は狭帯域であるため、フォトダイオード１つに受光する光量は、ブロードの分光帯域幅を持つＢのフィルタよりも小さくなる。特に図１（ａ）の１画素が図１（ｂ）の４画素分の大きさ（面積）と同等であった場合、図１（ｂ）の４画素分の出力を加算しても、図１（ａ）の１画素よりも出力は小さくなってしまう。そのため、図１（ｂ）のような狭帯域の分光透過率特性を持つ撮像素子の分光特性まで含めた画素感度は、一般的に通常の撮像素子の画素感度に比べて小さくなってしまう場合がる。

そこで、本実施形態では、狭帯域のカラーフィルタと、従来のベイヤー配列におけるブロードの分光帯域幅を持つカラーフィルタを併せ持つように構成する。

図４は、λ１〜λ４をＢの波長帯域、λ５〜λ８をＧの波長帯域、λ９〜λ１２をＲの波長帯域とし、図１（ａ）のＧｂに対応する領域を、従来のベイヤー配列におけるブロードの分光帯域幅を持つカラーフィルタＢ１，Ｇ１，Ｇ２，Ｒ１で構成する。このようなフィルタ構成にすることで、λ１〜λ１２で１２個の狭い分光帯域幅における輝度情報（以下、マルチスペクトル情報と称することがある）を取得することができる。そして同時に、ブロードの分光帯域幅であるＢ１，Ｇ１，Ｇ２，Ｒ１を持っているために、その領域からは撮像装置から出力する映像データを生成させることができる。約４分の１程度の狭い分光帯域幅を有する画素からマルチスペクトル情報を取得しつつ、ブロードの分光帯域幅の画素を有することで、狭い分光帯域幅の画素の感度が低くても、映像データの出力信号の大きさを向上させることができる。また、λ１〜λ１２の画素の各信号を、それぞれの波長の色に対応したブロードの分光帯域幅を持つ画素の信号に加算することで、さらに出力を向上させることも可能である。

図５は、本実施形態における撮像素子を用いた場合の撮像装置のブロック図の例である。

撮像素子１０１は、図４に示したカラーフィルタ配列を有する撮像素子である。画像取得部１０２は、撮像素子から出力された、各々の信号を取得し、画素データ加算部１０３及びスペクトルデータ解析部１０６へ出力する。画素データ加算部１０３は、狭帯域の信号を加算してＲ，Ｇ，Ｂの各色の信号を生成する。また、さらには狭帯域の信号をブロードの分光帯域幅を持つ画素信号に加算する信号処理を行う。加算するときの数式は以下の例である。
（数１）
Ｂ＝λ１＋λ２＋λ３＋λ４
Ｇ＝λ５＋λ６＋λ７＋λ８
Ｒ＝λ９＋λ１０＋λ１１＋λ１２
さらに、ブロードの分光帯域幅の画素信号に加算する場合は、
（数２）
Ｂ＝λ１＋λ２＋λ３＋λ４＋Ｂ１
Ｇ＝λ５＋λ６＋λ７＋λ８＋Ｇ１＋Ｇ２
Ｒ＝λ９＋λ１０＋λ１１＋λ１２＋Ｒ１
となる。画素信号を加算する場合は、ラインメモリ１０４を用意して処理を行うが、これは必須ではない。なお、加算後の重心を考慮してＢとＲの信号に対してそれぞれ、Ｂ１とＲ１を加算しないようにしてもよい。画像処理部１０５は、画素データ加算部で得られたＲ，Ｇ，Ｂの信号から現像処理を行う。これはＲ，Ｇ，Ｂの信号にホワイトバランス処理やガンマ処理など、映像データを出力するための形態に沿って処理を行う。また、画素データ加算部の加算方法によっては、重心ずれ補正、偽色抑圧処理などが必要となる場合がある。

一方、スペクトルデータ解析部１０６は、各分光帯域幅の信号から、任意の画像処理を行う。一般的には、分光帯域幅をブロードの帯域よりも狭い信号を得ることで、被写体にあたっている光源の推定を行って映像データに正確なホワイトバランス処理を施したり、ある分光帯域幅のみの出力を見て特定の処理や判定をしたりする。さらには、データ出力部１０７にデータとして結果を出力したり、画像出力手段１０８へフィードバックしたりする。なお、本実施形態では、このスペクトルデータの解析手段、方法は問わない。なお本実施形態では、対応する波長帯域の画素の信号を加算する処理のみを示したが、これに限定されるものではない。例えば、選択的に加算してもよいし、係数をかけて重みづけ加算してもよい。また、減算処理も併用することによって、演算よって異なる帯域の信号を生成するようにしてもよい。

本実施形態では、狭帯域のカラーフィルタと、従来のベイヤー配列におけるブロードの分光帯域幅を持つカラーフィルタを併せ持つように構成する。そのため、各画素出力を加算することで各画素の透過率特性の分光帯域幅が狭くなっても、出力レベルを向上させることが可能である。

なお、画素の分光特性を決定する要素として、本実施形態ではカラーフィルタの分光透過率と、フォトダイオード単体の分光特性を例としたが、本実施形態は撮像素子の分光特性を変更させるための手段を限定するものではない。また、本実施形態においては画素の分光特性として可視光の波長帯域に限定して説明したが、これに限られるものではなく、赤外光または紫外光の波長帯域の分光特性を持つような構成としてもよい。

（第２の実施形態）
実施形態１では、図１（ａ）のＧｂにあたる領域を、従来のベイヤー配列におけるブロードの分光帯域幅を持つカラーフィルタＢ１，Ｇ１，Ｇ２，Ｒ１で構成した。本実施形態のカラーフィルタ配列について、図６に示す。

図６（ａ）の配置では、λ１〜λ３がＢにあたる分光帯域幅、λ５〜λ７がＧにあたる分光帯域幅、λ９〜λ１１がＲにあたる分光帯域幅であり、それらの領域を分割している中央部分にブロードの分光帯域幅を持つＲ１，Ｇ１，Ｇ２，Ｂ１を配置している。

このような配置にすることで、狭帯域の波長情報を取得しながら、従来のベイヤー配列の帯域を用いた映像データの出力を行うことができる。ただし、図６（ａ）に示した例においては、分光帯域幅の狭い画素の数はブロードの分光帯域幅を有する画素の数に対して３分の１となっている。しかし、以下に示した数式の加算を行ったとしても、重心ずれ補正が必要ないという効果がある。
（数３）
Ｂ＝λ１＋λ２＋λ３＋Ｂ１
Ｇ＝λ５＋λ６＋λ７＋Ｇ１
Ｇ＝λ５＋λ６＋λ７＋Ｇ２
Ｒ＝λ９＋λ１０＋λ１１＋Ｒ１

また、図６（ｂ）の配置では、λ１〜λ３がＢにあたる分光帯域幅、λ５〜λ７がＧにあたる分光帯域幅、λ９〜λ１１がＲにあたる分光帯域幅であり、Ｂ１，Ｇ１，Ｇ２，Ｒ１を配置する画素を図４（ｂ）から変更している。このような配置であっても、数３に示す加算方法を用いて、出力画像を構成してもよい。

上述したように、本実施形態の構成でも、各画素出力を加算し、各画素の透過率特性の分光帯域幅が狭くなっても、出力レベルを向上させることが可能である。

１０１ 撮像素子
１０２ 画像取得部
１０３ 画素データ加算部
１０４ ラインメモリ
１０５ 画像処理部
１０６ スペクトルデータ解析部
１０７ データ出力部
１０８ 画像出力手段

Claims (8)

1. ２次元に配置された複数の画素を有する撮像素子であって、
   前記複数の画素には所定の周期をもって異なる分光特性の画素が配置され、
   前記異なる分光特性の画素には、第１の分光帯域幅を有し、かつ少なくとも赤、緑、青の分光特性に対応する複数の画素と、前記第１の分光帯域幅より狭い第２の分光帯域幅を有する複数の画素とを含み、
   前記周期において、前記第１の分光帯域幅を有する画素の数は前記第２の分光帯域幅を有する画素の数よりも少ないことを特徴する撮像素子。
2. 前記複数の画素はカラーフィルタをそれぞれ有し、
   前記異なる分光特性は前記カラーフィルタによって決定されることを特徴とする請求項１に記載の撮像素子。
3. 前記第２の分光帯域幅を有する複数の画素の分光特性は、赤、緑、青のいずれかの分光特性に対応することを特徴とする請求項１または２に記載の撮像素子。
4. 前記所定の周期において、前記第１の分光帯域幅を有する画素の数に対して前記第２の分光帯域幅を有する画素の数は３倍以上であることを特徴する請求項１乃至３のいずれか１項に記載の撮像素子。
5. 前記配列において、前記第１の分光帯域幅を有する画素は前記第２の分光帯域を有する画素によって囲まれていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 前記所定の周期は赤、緑、青のそれぞれ分光特性に対応する領域から成り、
   前記領域においては複数の前記第１の分光帯域幅を有する画素または複数の前記第２の分光帯域幅を有する画素を含み、
   前記領域の配列はベイヤー配列になっていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 前記所定の周期は赤、緑、青のそれぞれ分光特性に対応する領域から成り、
   前記領域においては一つの前記第１の分光帯域幅を有する画素および複数の前記第２の分光帯域幅を有する画素を含み、
   前記領域の配列はベイヤー配列になっていることを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
8. 請求項１乃至７のいずれか１項に記載の撮像素子と、
   前記撮像素子から取得した信号を処理する信号処理部とを備えることとを特徴とする撮像装置。

Images