JP4967432B2

JP4967432B2 - 撮像装置およびカメラシステム

Info

Publication number: JP4967432B2
Application number: JP2006111732A
Authority: JP
Inventors: 洪偉張; 正章佐藤; 新一郎齊藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-04-14
Filing date: 2006-04-14
Publication date: 2012-07-04
Anticipated expiration: 2026-04-14
Also published as: JP2007288403A

Description

本発明は、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどの固体撮像素子を備えた撮像装置およびカメラシステムに係り、特に、複数の色フィルタを用いた２次元画素アレイを有する撮像装置およびカメラシステムに関するものである。

撮像素子の色フィルタの配列としては、色再現性が良好な、色の３原色のうち緑（Ｇ）を２つ、赤（Ｒ）、青（Ｂ）を一つずつ用いたベイヤー配列が知られている。
このベイヤー配列は、色よりも輝度の解像度を重視した配列である。

ところで、このような色フィルタ配列において、良好な色再現性を保持しながら、感度アップをできるように、透明なフィルタを配置した画素配列を有する撮像装置が提案されている（たとえば特許文献１参照）。

また、透明なフィルタ配置を改善することにより、画素を微細化しても、信号電荷量および色解像度を確保するようにした撮像装置が提案されている（たとえば特許文献２参照）。
特開平８−２３５４２号公報特開２００４−３０４７０６号公報

しかしながら、上述した撮像装置においては、解像度の向上、色再現性の向上には限界がある。
また、イメージセンサ画素の微細化により、センサの撮像素子の集光量が減り、感度が低下するという不利益がある。
また、感度を改善するため、透明なフィルタを原色/補色と混載して固体撮像素子に搭載する場合、平均透過率が違うフィルタを搭載した撮像素子から出力された映像信号のレベルがばらつき、画像品質に影響を及ぼすという不利益がある。

本発明は、解像度の向上を図れ、しかも撮像素子の特性のばらつきを防止でき、画質改善を図ることができる撮像装置およびカメラシステムを提供することにある。

本発明の第１の観点の撮像装置は、分光感度特性の異なる複数の画素がアレイ状に配列され、上記画素を透過した光を電気信号に変換する画素アレイ部と、上記画素アレイ部から読み出された信号レベルの調整を行う信号処理部と、を有し、上記画素アレイ部は、色フィルタを含む分光感度特性のピークが赤色にある第１の色フィルタ画素、ピークが青色にある第２の色フィルタ画素、ピークが緑色にある第３の色フィルタ画素がアレイ状に配列され、かつ、当該アレイ画素配列の任意の行、列の任意の位置に、上記第１の色フィルタ画素、上記第２の色フィルタ画素、および上記第３の色フィルタ画素に対して透過率の高いクリア画素が配置され、上記信号処理部は、上記各色フィルタ画素の読み出し信号から輝度信号を生成し、上記クリア画素の読み出し信号と生成した輝度信号の低域成分を取り出して所定帯域の信号レベルの比を求め、クリア画素信号または輝度信号を基準とした比をゲイン値として当該ゲイン値に基づいて、または、上記輝度信号と各色フィルタ画素の低域成分を取り出して所定帯域の信号レベルの比をそれぞれ求めてゲイン値として当該各ゲイン値およびクリア画素信号に基づいて、上記輝度信号並びに上記各色フィルタ画素信号または上記クリア画素信号、または、上記輝度信号以外の上記各色フィルタ画素信号の信号レベルを調整する。

本発明の第２の観点のカメラシステムは、撮像装置と、上記撮像装置の撮像部に入射光を導く光学系と、上記撮像装置の出力信号を処理する信号処理回路と、を有し、上記撮像装置は、分光感度特性の異なる複数の画素がアレイ状に配列され、上記画素を透過した光を電気信号に変換する画素アレイ部と、上記画素アレイ部から読み出された信号レベルの調整を行う信号処理部と、を有し、上記画素アレイ部は、色フィルタを含む分光感度特性のピークが赤色にある第１の色フィルタ画素、ピークが青色にある第２の色フィルタ画素、ピークが緑色にある第３の色フィルタ画素がアレイ状に配列され、かつ、当該アレイ画素配列の任意の行、列の任意の位置に、上記第１の色フィルタ画素、上記第２の色フィルタ画素、および上記第３の色フィルタ画素に対して透過率の高いクリア画素が配置され、上記信号処理部は、上記各色フィルタ画素の読み出し信号から輝度信号を生成し、上記クリア画素の読み出し信号と生成した輝度信号の低域成分を取り出して所定帯域の信号レベルの比を求め、クリア画素信号または輝度信号を基準とした比をゲイン値として当該ゲイン値に基づいて、または、上記輝度信号と各色フィルタ画素の低域成分を取り出して所定帯域の信号レベルの比をそれぞれ求めてゲイン値として当該各ゲイン値およびクリア画素信号に基づいて、上記輝度信号並びに上記各色フィルタ画素信号または上記クリア画素信号、または、上記輝度信号以外の上記各色フィルタ画素信号の信号レベルを調整する。

本発明によれば、解像度の向上を図れ、しかも撮像素子の特性のばらつきを防止でき、画質改善を図ることができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の実施形態に係る撮像装置の要部の構成例を示すブロック図である。

本撮像装置１０は、図１に示すように、画素アレイ部（ＡＲＹ）１１、クリア画素用水平スキャン回路（ＣＨＳＣＡＮ）１２、カラー画素用水平スキャン回路（ＣＬＲＨＳＣＡＮ）１３、垂直スキャン回路（ＶＳＣＡＮ）１４−１，１４−２、タイミング制御部１５、電源部１６、クリア画素用アナログフロントエンド部（ＣＡＦＥ）１７、カラー画素用アナログフロントエンド部（ＣＬＲＡＦＥ）１８、および信号処理部（ＳＰＲＣ）２０を有する。

画素アレイ部１１は、たとえばセンサ単位画素が所定の配列形態をもってアレイ状に配列されている。
また、画素アレイ部１１には、画素配列の各行（ロウ）に転送選択線、リセット線、セレクト線が配線され、画素配列の各列（カラム）に信号線が配線されている。

図２は、本実施形態の単位画素の一例を示す回路図である。図２では、ＣＭＯＳセンサを一例として示している。

図２の単位画素１１０は、フォトダイオード１１１、転送トランジスタ１１２、増幅トランジスタ１１３、セレクトトランジスタ１１４、リセットトランジスタ１１５、およびフローティングノードＮＤ１１１を有している。

フォトダイオード１１１は、入射光をその光量に応じた電荷量の信号電荷（たとえば電子）に光電変換して蓄積する。
転送トランジスタ１１２は、フォトダイオード１１１のカソードとフローティングノードＮＤ１１１との間に接続され、ゲートが転送選択線ＴＲＦＬに接続されており、導通（オン）することにより、フォトダイオード１１１に蓄積されている信号電荷をフローティングノードＮＤ１１１に転送する機能を有している。
増幅トランジスタ１１３とセレクトトランジスタ１１４は電源電位ＶＤＤと信号線ＳＧＮＬとの間に直列に接続されている。
増幅トランジスタ１１３はゲートがフローティングノードＮＤ１１１に接続され、フローティングノードＮＤ１１１の電位を増幅しセレクトトランジスタ１１４を介して信号線ＳＧＮＬに出力する。
セレクトトランジスタ１１４のゲートはセレクト線ＳＥＬＬに接続されている。
リセットトランジスタ１１５は、ソースがフローティングノードＮＤ１１１に接続され、ドレインが所定電位線に接続され、ゲートがリセット線ＲＳＴＬに接続され、フローティングノードＮＤ１１１の電位をリセットする機能を有している。

画素配列の各行に配線される転送選択線ＴＲＦＬ、セレクト線ＳＥＬＬ、リセット線ＲＳＴＬは、垂直スキャン回路１４（−１，−２）により選択的に駆動され、信号線ＳＧＮＬはクリア画素用水平スキャン回路１２、カラー画素用水平スキャン回路１３に画素から読み出した信号を選択的転送する。
水平スキャン回路１２，１３、垂直スキャン回路１４は、タイミング制御部１５により駆動タイミングが制御される。

図３は、本実施形態の画素アレイ部１１の画素配列の一例を模式的に示す図である。

図３の画素アレイ部１１は、図３に示すように、斜め画素配列を採用し、かつ、色フィルタを含む分光感度特性のピークが赤色にある色フィルタ画素Ｒ、ピークが緑色にある色フィルタ画素Ｇ、ピークが青色にある色フィルタ画素Ｂに対して透過率の高いクリア画素Ｃを上下斜め方向に均等に挿入し、解像度の偏りをなくすようにした画素配列として形成されている。
なお、クリア画素Ｃは白色である必要はない。
図３の画素配列においては、第０行、第０列を含む偶数行、偶数列は、色フィルタ画素のみで形成され、奇数行、奇数列はクリア画素Ｃのみで形成されている。

図４は、各色フィルタ画素Ｒ，Ｇ，Ｂとクリア画素Ｃの分光特性を概念的に示す図である。
図４において、横軸が波長を、縦軸が相対出力をそれぞれ示している。
図４から分かるように、クリア画素Ｃは可視光領域(波長３６０ｎｍから７００ｎｍ)の略全域にわたって感度を持っている。
すなわち、クリア画素Ｃでは、広い波長領域成分を持っていることから（全ての色信号は含まれる）クリア画素との境目の色再現をしやすい。

以下、画素アレイ部１１の特徴的な構成について、図５から図９に関連付けてさらに具体的に説明する。

本実施形態の画素アレイ部１１は、図５に示すように、いわゆる正方単位画素ＲＧＰＸＬを、カラム方向軸ＣＡＸを中心として所定角度θ（θ＝０度〜９０度の間）回転させたいわゆる斜め画素ＯＢＬＰＸＬとして配置している。

このような斜め画素ＯＢＬＰＸＬの配列を採用することによる利点を、図６に関連付けて説明する。なお、図６では、ベイヤー配列を例としている。
正方画素ＲＧＰＸＬの画素ピッチＰＴＣを１とすると、斜め画素ＯＢＬＰＸＬの画素ピッチは、回転角度θが４５度のとき１／√２となり、画素の大きさを変えずに画素ピッチを小さくできる。

そして、本実施形態においては、図７に示すように、この斜め画素配列のベイヤー配列の４つの色フィルタ画素Ｒ，Ｇ，Ｇ，Ｂの真ん中にクリア画素Ｃを挿入して、基本的な斜め画素配列ユニットが形成されている。
ベイヤー配列を残しておくことで、信号処理系の色の補間処理が容易にできる。

以上の構成を有する画素アレイ部１１に対する駆動時の読み出し方式として、クリア画素Ｃと、色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂとを、別のチャネルによって読み出す。
本実施形態においては、たとえば、図８に示すように、クリア画素専用読み出しチャネルＣＨ−Ａと色フィルタ画素専用読み出しチャネルＣＨ−Ｂを別にし、クリア画素Ｃと色フィルタ画素Ｒ，Ｇ，Ｂの読み出しを独立に行うように構成されている。
図８の例では、図中の上側にクリア画素用水平スキャン回路１２がチャネルＣＨ−Ａの読み出し処理系として配置され、図中の下側に色フィルタ画素（カラー画素）用水平スキャン回路１３がチャネルＣＨ−Ｂの読み出し系として配置されている。
そして、本実施形態においては、奇数列に配線されている信号線ＳＧＮＬ−Ｏがクリア画素用水平スキャン回路１２に接続され、偶数列に配線されている信号線ＳＧＮＬ−Ｅが色フィルタ画素（カラー画素）用水平スキャン回路１３に接続される。

さらに、本実施形態においては、クリア画素Ｃと色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂを別チャネルで読み出す方式を採用していることに加えて、電子シャッター(ローリングシャッター)の時間、速度、後段の処理でのゲインを、クリア画素Ｃと色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂで独立に変えるように構成される。

図９は、本実施形態における電子シャッターの駆動方式を模式的に示す図である。

本実施形態においては、図９に示すように。ローリングシャッターの時間をクリア画素とカラー画素の蓄積時間を変えて読み出すことができる。
また、シャッター速度をクリア画素Ｃと色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂとで、独立に変えることもできる。
たとえば、明るい所ではクリア画素のシャッターを早く切り、クリア画素の飽和を防ぎ、暗い所では逆にクリア画素のシャッターを遅く切ることで、感度を上げる。
このように構成することにより、明るい所では色情報を多く、暗い所では色情報を少なくし、自然な色を作ることができる。

このような構成を有する画素アレイ部１１から読み出したクリア画素Ｃの読み出し信号は水平スキャン回路１２を介してクリア画素用ＡＦＥ１７に転送される。
また、色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂの読み出し信号は水平スキャン回路１３を介してクリア画素用ＡＦＥ１８に転送される。
ＡＦＥ１７，１８において、読み出し信号に対して増幅処理等のアナログ処理を行い、デジタル信号に変換されて後段の信号処理部２０に転送される。

図１０は、本実施形態の信号処理部の構成例を示すブロック図である。

この信号処理部２０は、図１０に示すように、ホワイトバランス調整部２１、カラー画素部の補間処理部２２、輝度調整部２３、およびクリア画素部の補間処理部２４を有する。

ホワイトバランス調整部２１は，ＡＦＥ１７，１８から転送されたクリア画素信号Ｃ、色フィルタ画素(カラー画素)信号Ｒ，Ｇ，Ｂに基づいてホワイトバランス調整を行う。

図１１は、本実施形態における明るい場所でのホワイトバランス調整処理を説明するための図である。
図１２は、本実施形態における暗い場所でのホワイトバランス調整処理を説明するための図である。

ホワイトバランス調整部２１は、明るい場所の場合では、色フィルタ画素(カラー画素)Ｇの信号を基準にして、クリア画素Ｃ、他の色フィルタ画素(カラー画素)Ｒ，Ｂの信号を調整する。
一方、ホワイトバランス調整部２１は、暗い場所では、クリア画素Ｃの信号を基準にして、色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂの信号を調整する。

補間処理部２２は、ホワイトバランス調整後の色フィルタ画素(カラー画素)部のみで補間処理を行い、カラー情報（ＲＧＢ）と輝度情報とに分けて、輝度信号Ｙを輝度調整部２３に供給し、ＲＧＢ信号を補間処理部２４に供給する。

輝度調整部２３は、色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂの輝度信号と、クリア画素Ｃの輝度信号の調整を行い、輝度信号Ｙを出力する。

補間処理部２４は、輝度信号Ｙを基にホワイト（クリア）画素での補間処理を行い、色信号ＳＣを出力する。

以下、本実施形態の信号処理部の輝度調整部と補間処理部の具体的な構成および機能について説明する。
輝度調整部２３と補間処理部２４は、協同して輝度調整および補間処理を行い、信号レベルを調整して輝度信号Ｙおよび色信号ＳＣ（色差信号Ｃｒ，Ｃｂ）を生成する。
以下、輝度調整部２３と補間処理部２４を一つの信号レベル調整回路として説明する。

信号レベル調整回路は、上述した構成を有する画素アレイ部１１から読み出された画像信号の感度差を吸収する回路を含み、感度差または撮像素子の特性のばらつきを防ぎ、画像品質を改善する機能を有している。
信号レベル調整回路は、ＲＧＢ信号から輝度信号Ｙを生成し、各色信号の位相差を吸収可能なフィルタであるローパスフィルタ（ＬＰＦ）において、クリア画素Ｃ、輝度信号Ｙの低域成分を取り出し、低域信号レベルの比を求め、ＣあるいはＹ信号を基準にゲインを調整する機能を有する。
また、信号レベル調整回路は、クリア画素Ｃの信号を基準にする場合、輝度信号Ｙ以外の、ＲＧＢ信号レベルを調整する。

図１３は、本実施形態に係る信号レベル調整回路の要部の一構成例を示す回路図である。

図１３の信号レベル調整回路３０は、ＬＰＦ３１，３２、除算器３３、ゲイン調整部３４、乗算器３５〜３９、および輝度合成部４０を有する。

ＬＰＦ３１は、輝度画素Ｙの低域成分Ｙlpfを取り出し、除算器３３に出力する。
ＬＰＦ３２は、クリア画素Ｃ信号の低域成分Ｃ（Ｗ）lpfを取り出し、除算器３３に出力する。

除算器３３は、ＬＰＦ３２およびＬＰＦ３２による低域成分Ｃlpf、Ｙlpfの比を演算して、信号レベル調整のためのゲイン値Ｋｙを生成し、ゲイン調整部３４に出力する。
信号レベルの調整はＣ（Ｗ）基準、Ｙ基準の２通りがある。

ゲイン調整部３４は、信号レベルの調整の基準を輝度信号Ｙとする場合には、除算器３３で求めたゲイン値Ｋｙを乗算器３５に供給し、乗算器３６〜３９にはＹ、ＲＧＢのレベルを調整する必要がないため、定数「１」を供給する。
ゲイン調整部３４は、信号レベルの調整の基準をクリア画素Ｃの信号とする場合には、乗算器３５には定数「１」を供給し、除算器３３で求めたゲイン値Ｋｙを乗算器３６〜３９に供給する。

乗算器３５は、ゲイン調整部３４から供給されるゲイン値Ｋｙまたは定数「１」をクリア画素Ｃの信号に乗算し、その結果をＣ'として輝度合成部４０に出力する。
乗算器３６は、ゲイン調整部３４から供給されるゲイン値Ｋｙまたは定数「１」を輝度信号Ｙに乗算し、その結果をＹ'として輝度合成部４０に出力する。
乗算器３７は、ゲイン調整部３４から供給されるゲイン値Ｋｙまたは定数「１」を信号Ｒに乗算し、その結果をＲ'として出力する。
乗算器３８は、ゲイン調整部３４から供給されるゲイン値Ｋｙまたは定数「１」を信号Ｇに乗算し、その結果をＧ'として出力する。
乗算器３９は、ゲイン調整部３４から供給されるゲイン値Ｋｙまたは定数「１」を信号Ｂに乗算し、その結果をＢ'として出力する。

輝度合成部４０は、乗算器３５の出力信号Ｃ'と乗算器３６の出力信号Ｙ'に基づき合成処理を行って最終的な輝度信号Ｙ"を生成する。

信号レベル調整回路３０のレベル調整を行う場合の動作を、Ｃ（Ｗ）基準、Ｙ基準の２通りに分けて説明する。

Ｙ基準にクリア画素Ｃの信号レベルを調整する場合、除算器３３においてゲイン値Ｋｙ次式で演算される。

［数１］
Ｋｙ＝Ｙlpf／Ｗlpf

この場合、ゲイン値Ｋｙが乗算器３５に供給される。乗算器３５においては、調整後の信号Ｃ’が次式で求められ、輝度合成部４０に出力される。

［数２］
Ｃ'＝Ｃ＊Ｋｙ

この場合、信号Ｒ、Ｇ、Ｂを調整する必要がないため、定数「１」が乗算器３６〜３９に供給される。その結果、Ｒ'＝Ｒ、Ｇ'＝Ｇ、Ｂ'＝Ｂとして得られ、色信号が得られる。

Ｃ基準にＹ、Ｒ、Ｇ、Ｂを調整する場合、除算器３３においてゲイン値Ｋｙは次式で演算される。

［数３］
Ｋｙ＝Ｗlpf／Ｙlpf

そして、ゲイン値Ｋｙが乗算器３６〜３９に供給される。乗算器３５〜３９においては、調整後の信号Ｙ'、Ｒ'、Ｇ'、Ｂ'が下記のようにして演算される。また、信号Ｙ'は輝度合成部４０に出力される。

［数４］
Ｙ'＝Ｙ＊Ｋｙ
Ｒ'＝Ｒ＊Ｋｙ
Ｇ'＝Ｇ＊Ｋｙ
Ｂ'＝Ｂ＊Ｋｙ

そして、最終的な輝度信号Ｙ"は輝度合成部４０において信号Ｃ'とＹ'より生成される。また、色差信号はＲ'、Ｇ'、Ｂ'より生成される。

以上のように、図１３の信号レベル調整回路３０は、信号レベルを調整するのに２通りの基準、すなわちＣ基準とＹ基準とを選択することが可能である。
たとえば、図１４に示すように、制御信号ＣＴＬにより２通りの基準を明るさに応じて切り替えて選択することにより、より自然に近い画像を得ることが可能となる。
図１４の例では、たとえば明るい場所ではＹ基準を採用した信号レベル調整回路３０Ａの出力をセレクタ４１で選択し、暗い場所では、Ｃ基準を採用した信号レベル調整回路３０Ｂの出力をセレクタ４１で選択する。

図１５は、本実施形態に係る信号レベル調整回路の要部の他の構成例を示す回路図である。

図１５の信号レベル調整回路５０は、ＬＰＦ５１〜５４、除算器５５〜５７、および乗算器５８〜６０を有する。
なお、図１５の信号レベル調整回路５０においては、輝度信号の合成処理部分は省略している。

ＬＰＦ５１は、輝度信号Ｙの低域成分Ｙlpfを取り出し、除算器５５〜５７に出力する。
ＬＰＦ５２は、色フィルタ画素(カラー画素)信号Ｒの低域成分Ｒlpfを取り出し、除算器５５に出力する。
ＬＰＦ５３は、色フィルタ画素(カラー画素)信号Ｇの低域成分Ｇlpfを取り出し、除算器５６に出力する。
ＬＰＦ５４は、色フィルタ画素(カラー画素)信号Ｂの低域成分Ｂlpfを取り出し、除算器５７に出力する。

除算器５５は、ＬＰＦ５２およびＬＰＦ５１による低域成分Ｒlpf、Ｙlpfの比を演算して、信号レベル調整のためのゲイン値Ｋｒを次式に基づいて生成し、乗算器５８に出力する。

［数５］
Ｋｒ＝Ｒlpf／Ｙlpf

除算器５６は、ＬＰＦ５３およびＬＰＦ５１による低域成分Ｇlpf、Ｙlpfの比を演算して、信号レベル調整のためのゲイン値Ｋｇを次式に基づいて生成し、乗算器５９に出力する。

［数６］
Ｋｇ＝Ｇlpf／Ｙlpf

除算器５７は、ＬＰＦ５４およびＬＰＦ５１による低域成分Ｂlpf、Ｙlpfの比を演算して、信号レベル調整のためのゲイン値Ｋｂを次式に基づいて生成し、乗算器６０に出力する。

［数７］
Ｋｂ＝Ｂlpf／Ｙlpf

乗算器５８は、除算器５５から供給されるゲイン値Ｋｒを信号Ｃに乗算し、その結果をＲ'として出力する。
乗算器５９は、除算器５６から供給されるゲイン値Ｋｇを信号Ｃに乗算し、その結果をＧ'として出力する。
乗算器６０は、除算器５７から供給されるゲイン値Ｋｂを信号Ｃに乗算し、その結果をＢ'として出力する。

図１５の信号レベル調整回路５０は、Ｒ／Ｇ／Ｂ信号の調整のために、Ｒ／Ｇ／ＢをＬＰＦ５２〜５４に通過させ、それぞれ低域成分としてＲlpf／Ｇlpf／Ｂlpfを取り出す。
そして、Ｒ／Ｇ／Ｂ信号レベル調整ゲイン値をＫｒ、Ｋｇ、Ｋｂとするとき、除算器５５〜５７において、Ｋｒ＝Ｒlpf／Ｙlpf、Ｋｇ＝Ｇlpf／Ｙlpf、Ｋｂ＝Ｂlpf／Ｙlpfが演算される。

次に、乗算器５８〜６０において、次式によりＲ'、Ｇ'、Ｂ'が求められる。

［数８］
Ｒ'＝Ｃ＊Ｋｒ
Ｇ'＝Ｃ＊Ｋｇ
Ｂ'＝Ｃ＊Ｋｂ

図１６は、図１５の信号レベル調整回路の変形例を示す回路図である。

図１６の信号レベル調整回路５０Ａが図１５の信号レベル調整回路５０と異なる点は、クリア画素信号ＣのＬＰＦ６１を通過させて低域成分Ｃlpfを取り出し、乗算器５８〜６０に供給するように構成したことにある。
この場合、乗算器５８〜６０では、次の演算が行われる。

［数９］
Ｒ'＝Ｗlpf＊Ｋｒ
Ｇ'＝Ｗlpf＊Ｋｇ
Ｂ'＝Ｗlpf＊Ｋｂ

以上説明したように、本実施形態によれば、ＲＧＢ信号から輝度信号Ｙを生成し、各色信号の位相差を吸収可能なフィルタであるローパスフィルタ（ＬＰＦ）において、クリア画素Ｃ、輝度信号Ｙの低域成分を取り出し、低域信号レベルの比を求め、ＣあるいはＹ信号を基準にゲインを調整する機能を有し、クリア画素Ｃの信号を基準にする場合、輝度信号Ｙ以外の、ＲＧＢ信号レベルを調整する機能を有する信号レベル調整回路３０，５０，５０Ａを設けたので、感度差または撮像素子の特性のばらつきを防ぎ、画像品質を改善することができる。
すなわち、図１３〜図１５の回路において、上記の調整により、ＣとＲＧＢ信号のレベルを合わせると同時に、Ｃ、Ｙにより輝度信号を合成することで、高い輝度解像度が得られる。
また、Ｃ基準にＹ／Ｒ／Ｇ／Ｂを調整することで、感度を高め、Ｓ／Ｎを改善する効果がある。
さらに、図１６の回路のように、Ｒ／Ｇ／Ｂ信号をＬＰＦに通過させ、低域成分を取り出してＣlpfとともに、Ｒ'／Ｇ'／Ｂ'の調整に利用する場合、色差ノイズを抑制する効果が得られる。

また、本実施形態によれば、画素アレイ部１１は、斜め画素配列を採用し、かつ、色フィルタを含む分光感度特性のピークが赤色にある色フィルタ画素Ｒ、ピークが緑色にある色フィルタ画素Ｇ、ピークが青色にある色フィルタ画素Ｂに対して透過率の高いクリア画素Ｃを上下斜め方向に均等に挿入し、解像度の偏りをなくすようにした画素配列として形成され、クリア画素専用読み出しチャネルＣＨ−Ａと色フィルタ画素専用読み出しチャネルＣＨ−Ｂを別にし、クリア画素Ｃと色フィルタ画素Ｒ，Ｇ，Ｂの読み出しを独立に行うように構成され、クリア画素Ｃと色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂを別チャネルで読み出す方式を採用していることに加えて、電子シャッター(ローリングシャッター)の時間、速度、後段の処理でのゲインを、クリア画素Ｃと色フィルタ画素(カラー画素)Ｒ，Ｇ，Ｂで独立に変えるように構成されていることから、以下の効果を得ることができる。

画素を、たとえば４５度回転させることで、画素ピッチを1/√2にし、解像度を上げることができる。また一般的な画素配列で同じピッチにするよりも面積を二倍にすることができ、感度をあげることができ、かつ、この斜め画素配列のカラーコーティングにクリア（透明）な画素を入れることでさらなる感度の向上が可能になる。
また、ベイヤー配列の真ん中にクリア画素を配置した場合、色の補間処理が容易になる。
また、クリア画素Ｃと色フィルタ画素（カラー画素）Ｒ,Ｂ,Ｇでは独立にシャッター時間やゲインを変えることができるので、明るい所ではクリア画素の出力を控えめにし、暗い所では出力を大きくして、目で見ている時と同じようなより自然な絵を作り出せる。
このように、感度が向上することによりＳ／Ｎ比の改善を図ることが可能となり、感度向上による低照度での高速読み出しを実現することができる。

なお、上述の説明においては、画素アレイ部１１は、図３に示すように、斜め画素配列を採用し、かつ、色フィルタを含む分光感度特性のピークが赤色にある色フィルタ画素Ｒ、ピークが緑色にある色フィルタ画素Ｇ、ピークが青色にある色フィルタ画素Ｂに対して透過率の高いクリア画素Ｃを上下斜め方向に均等に挿入し、解像度の偏りをなくすようにした画素配列として形成されている例を説明した。
しかし、本発明は図３の画素配列に限らず、クリア画素を挿入した画素配列として種々の形態を採用することが可能であり、上述の効果と同様の効果を得ることが可能である。

以上、斜め画素配列の構成例について説明したが、信号レベル調整回路を適用できる構成、また、画素配列において、カラー画素の部分とは独立にシャッターを切ることができ、また独立に読み出すことができるといった特徴的な構成は、斜め画素配列のみではなく、たとえば図１７に示すような、正方配列の画素配列にも適用でき、斜め配列の場合と同様の効果を得ることができる。
図１７の例は図３の斜め画素配列を正方配列とした例を示している。

図１８は、本発明の実施形態に係るカメラシステムの構成の概略を示すブロック図である。

本カメラシステム７０は、撮像デバイス７１と、この撮像デバイス７１の画素領域に入射光を導く光学系、たとえば入射光（像光）を撮像面上に結像させるレンズ７２と、撮像デバイス７１を駆動する駆動回路７３と、撮像デバイス７１の出力信号を処理する信号処理回路７４などを有する構成となっている。

このカメラシステム７０において、撮像デバイス７１として、上記実施形態に係る撮像装置が用いられる。

駆動回路７３は、図１におけるタイミング制御部にも相当する回路であって、撮像デバイス７１を駆動する。
信号処理回路７４は、撮像デバイス７１の出力信号Ｖｏｕｔに対して種々の信号処理を施して映像信号として出力する。

このように、本カメラシステムによれば、先述した実施形態に係る撮像装置を撮像デバイス７１として用いることにより、高速動作を確保できることから、小回路規模・低消費電力にて雑音の少ない、高画質の撮像画像を得ることができる。

なお、本発明の撮像装置は、１チップとして形成された撮像装置であっても、複数のチップの集合体として形成されたモジュールタイプの撮像装置であってもよい。複数チップの集合体として形成された撮像装置である場合、撮像を行うセンサチップ、デジタル信号処理を行う信号処理チップなどに分かれて形成され、さらに、光学系を含むこともある。

本発明の実施形態に係る撮像装置の要部の構成例を示すブロック図である。本実施形態の単位画素の一例を示す回路図である。本実施形態の画素アレイ部の画素配列の一例を模式的に示す図である。各色フィルタ画素Ｒ，Ｇ，Ｂとクリア画素Ｃの分光特性を概念的に示す図である。斜め画素配列について説明するための図である。斜め画素配列を採用することによる利点を説明するための図である。ベイヤー配列の４つの色フィルタ画素Ｒ，Ｇ，Ｇ，Ｂの真ん中にクリア画素Ｃを挿入した基本的な斜め画素配列ユニットを示す図である。本実施形態における画素アレイ部に対する駆動時の読み出し方式を説明するための図である。本実施形態における電子シャッターの駆動方式を模式的に示す図である。本実施形態の信号処理部の構成例を示すブロック図である。本実施形態における明るい場所でのホワイトバランス調整処理を説明するための図である。本実施形態における暗い場所でのホワイトバランス調整処理を説明するための図である。本実施形態に係る信号レベル調整回路の要部の一構成例を示す回路図である。２通りの基準を採用した信号レベル調整回路の好適な例を示す図である。本実施形態に係る信号レベル調整回路の要部の他の構成例を示す回路図である。図１５の信号レベル調整回路の変形例を示す回路図である。図３の斜め画素配列を正方配列とした例を示す図である。本発明の実施形態に係るカメラシステムの構成の概略を示すブロック図である。

符号の説明

１０・・・撮像装置、１１・・・画素アレイ部（ＡＲＹ）、１２・・・クリア画素用水平スキャン回路（ＣＨＳＣＡＮ）、１３・・・カラー画素用水平スキャン回路（ＣＬＲＨＳＣＡＮ）、１４・・・垂直スキャン回路（ＶＳＣＡＮ）、１５・・・タイミング制御部、１６・・・電源部、１７・・・クリア画素用アナログフロントエンド部（ＣＡＦＥ）、１８・・・カラー画素用アナログフロントエンド部（ＣＬＲＡＦＥ）、２０・・・信号処理部、２１・・・ホワイトバランス調整部、２２・・・カラー画素部の補間処理部、２３・・・輝度調整部、２４・・・補間処理部、３０，３０Ａ，３０Ｂ，５０，５０Ａ・・・信号レベル調整回路、３１，３２，５１〜５４，６１・・・ＬＰＦ、３３，５５〜５７・・・除算器、３４・・・ゲイン調整部、３５〜３９，５８〜６０・・・乗算器、４０・・・輝度合成部、７０・・・カメラシステム、７１・・・撮像デバイス、７２・・・レンズ、７３・・・駆動回路、７４・・・信号処理回路。

Claims

分光感度特性の異なる複数の画素がアレイ状に配列され、上記画素を透過した光を電気信号に変換する画素アレイ部と、
上記画素アレイ部から読み出された信号レベルの調整を行う信号処理部と、を有し、
上記画素アレイ部は、
色フィルタを含む分光感度特性のピークが赤色にある第１の色フィルタ画素、ピークが青色にある第２の色フィルタ画素、ピークが緑色にある第３の色フィルタ画素がアレイ状に配列され、かつ、
当該アレイ画素配列の任意の行、列の任意の位置に、上記第１の色フィルタ画素、上記第２の色フィルタ画素、および上記第３の色フィルタ画素に対して透過率の高いクリア画素が配置され、
上記信号処理部は、
上記各色フィルタ画素の読み出し信号から輝度信号を生成し、上記クリア画素の読み出し信号と生成した輝度信号の低域成分を取り出して所定帯域の信号レベルの比を求め、クリア画素信号または輝度信号を基準とした比をゲイン値として当該ゲイン値に基づいて、または、上記輝度信号と各色フィルタ画素の低域成分を取り出して所定帯域の信号レベルの比をそれぞれ求めてゲイン値として当該各ゲイン値およびクリア画素信号に基づいて、上記輝度信号並びに上記各色フィルタ画素信号または上記クリア画素信号、または、上記輝度信号以外の上記各色フィルタ画素信号の信号レベルを調整する
撮像装置。
上記信号処理部は、上記輝度信号を基準とする場合、上記クリア画素信号を上記ゲイン値でレベル調整し、上記各色フィルタ画素の信号レベルはそのままに保持する
請求項１記載の撮像装置。
上記信号処理部は、上記クリア画素信号を基準とする場合、上記輝度信号並びに上記各色フィルタ画素信号を上記ゲイン値でレベル調整する
請求項１記載の撮像装置。
上記信号処理部は、制御信号に応じてクリア信号を基準にレベル調整するか、輝度信号を基準にレベル調整するかを選択可能である
請求項１記載の撮像装置。
上記信号処理部は、上記クリア画素信号を基準とする場合、上記輝度信号と各色フィルタ画素の所定帯域の信号レベルの比をそれぞれ求めてゲイン値とし、当該ゲイン値およびクリア画素信号に基づいて、上記輝度信号以外の上記各色フィルタ画素信号のレベルを調整する
請求項１記載の撮像装置。
上記信号処理部は、上記クリア画素信号を基準とする場合、上記輝度信号と各色フィルタ画素の所定帯域の信号レベルの比をそれぞれ求めてゲイン値とし、当該ゲイン値およびクリア画素信号の低域成分に基づいて、上記輝度信号以外の上記各色フィルタ画素信号のレベルを調整する
請求項１記載の撮像装置。
上記画素アレイ部は、上記各色フィルタ画素およびクリア画素が斜め画素配列方式で配置されている
請求項１から６のいずれか一に記載の撮像装置。
撮像装置と、
上記撮像装置の撮像部に入射光を導く光学系と、
上記撮像装置の出力信号を処理する信号処理回路と、を有し、
上記撮像装置は、
分光感度特性の異なる複数の画素がアレイ状に配列され、上記画素を透過した光を電気信号に変換する画素アレイ部と、
上記画素アレイ部から読み出された信号レベルの調整を行う信号処理部と、を有し、
上記画素アレイ部は、
色フィルタを含む分光感度特性のピークが赤色にある第１の色フィルタ画素、ピークが青色にある第２の色フィルタ画素、ピークが緑色にある第３の色フィルタ画素がアレイ状に配列され、かつ、
当該アレイ画素配列の任意の行、列の任意の位置に、上記第１の色フィルタ画素、上記第２の色フィルタ画素、および上記第３の色フィルタ画素に対して透過率の高いクリア画素が配置され、
上記信号処理部は、
上記各色フィルタ画素の読み出し信号から輝度信号を生成し、上記クリア画素の読み出し信号と生成した輝度信号の低域成分を取り出して所定帯域の信号レベルの比を求め、クリア画素信号または輝度信号を基準とした比をゲイン値として当該ゲイン値に基づいて、または、上記輝度信号と各色フィルタ画素の低域成分を取り出して所定帯域の信号レベルの比をそれぞれ求めてゲイン値として当該各ゲイン値およびクリア画素信号に基づいて、上記輝度信号並びに上記各色フィルタ画素信号または上記クリア画素信号、または、上記輝度信号以外の上記各色フィルタ画素信号の信号レベルを調整する
カメラシステム。