JP3710185B2

JP3710185B2 - Imaging device

Info

Publication number: JP3710185B2
Application number: JP00360296A
Authority: JP
Inventors: 見寺澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-01-12
Filing date: 1996-01-12
Publication date: 2005-10-26
Anticipated expiration: 2016-01-12
Also published as: JPH09200783A

Description

【０００１】
【発明の属する技術分野】
本発明は、所謂ベイヤー配列に色フィルタが配置されている順次走査固体撮像素子を用いる場合に好適な撮像装置に関する。
【０００２】
【従来の技術】
近年、半導体技術の進歩に伴い順次走査で信号を読み出すことのできるＣＣＤ等の固体撮像素子（全画素読み出し固体撮像素子、以下全画素撮像素子）が開発されている。このような全画素撮像素子は、従来のインターレース走査（飛び越し走査）方式の撮像素子に比べて、動きのある被写体に対してもぶれが少なく、解像度の高い画像を取り込むことができる。つまり、インターレース撮像素子では、１フレームの画像は１フィールド期間ずれた２枚のフィールドで構成されるため、動きのある被写体を撮像した場合、フィールド間の時間差により動きブレが生ずる。また、１フィールドの画像を取り出すと動きブレは無くなるものの、垂直の解像度が１／２になってしまう。これに対して全画素撮像素子では、１フィールド期間で１フレーム分撮像することができるため、上述のような問題は生じない。このような特徴を利用して、全画素撮像素子は静止画像取り込みカメラやＥＤＴＶＩＩ用カメラなどへ応用が期待されている。
【０００３】
ここで従来の垂直２画素加算読み出し方式の撮像素子を用いた撮像装置について図８を用いて説明する。
図８において、撮像素子１はタイミング発生器（ＴＧ）９からのタイミング信号ｔ１、ｔ２に従って垂直方向に２画素づつ加算されて読み出される。その出力信号はバッファ２を介してＣＤＳ回路３で撮像素子１のリセットノイズを除去された後、ＡＧＣ回路４でマイコン８からの制御信号ｃ２によりゲイン制御される。ゲイン制御された信号はＡ／Ｄ変換器５でディジタル信号に変換されてカメラプロセス回路６に送られ、所定の処理が施されて輝度信号Ｙ及び色差信号Ｃが出力される。また、マイコン８はカメラプロセス回路６で検出されたゲイン情報ｃ１に基づいてＡＧＣ回路４の制御信号ｃ２を生成する。
【０００４】
次に現在使用されている全画素撮像素子のほとんどは、図９に示すような所謂ベイヤー配列にＲ、Ｇ、Ｂフィルタが配置されているものである。この色配列ではＧが輝度信号として使われている。また、全画素撮像素子は１フィールド期間に１フレームの画像データを読み出すために、上述した図８に示すような従来の垂直２画素加算読み出しの撮像素子に比べて電荷の転送速度が２倍となる。そこで、図１０に示すように、撮像素子からの出力を従来の１ライン読み出しから、奇数・偶数の走査線信号出力が例えばそれぞれ第１及び第２の信号出力となるような構成の２ライン読み出しにすることが望ましい。
【０００５】
ここで、従来の２ライン読み出しの全画素撮像素子を用いた撮像装置の回路構成を図１０、図１１、図１２を用いて説明する。
全画素撮像素子１は、ＴＧ９から与えられたタイミング信号ｔ１、ｔ２に従って垂直レジスタ転送、水平レジスタ転送を行い、ｃｈ１、ｃｈ２からそれぞれ奇数・偶数の走査線信号が出力される。このｃｈ１、ｃｈ２からの出力信号は、それぞれ全画素撮像素子１の奇数ライン、偶数ラインに対応しており、バッファ２１、２２を介してそれぞれＣＤＳ回路３１、３２に送られる。ＣＤＳ回路３１、３２は撮像素子１のリセットノイズの除去を行いそれぞれＡＧＣ回路４１、４２に映像信号を送る。ＡＧＣ回路４１、４２は、カメラプロセス回路６で検知された各チャンネルのゲインの差を元に、指定されたゲインを映像信号に与える。Ａ／Ｄ変換器５１、５２は、アナログの映像信号をディジタル信号に変換して、カメラプロセス回路６にディジタル信号を送る。
【０００６】
カメラプロセス回路６は図１１のように構成されており、ここではまず入力端子６００−１、６００−２からそれぞれｃｈ１、ｃｈ２の出力信号を受け取り、処理周波数を２倍にして奇数・偶数ラインをライン順次にするための遅延を１Ｈメモリ６１１−１、６１１−２で行う。色分離回路６０１は、図９に示したような画素配列のまま点順次で送られてきたＧ、Ｂ、Ｒの画素データを、Ｇについては図１３（ａ）のように水平方向の平均値補間で、Ｂ、Ｒについては水平、垂直方向の平均値補間で、それぞれのチャンネルがすべての画素位置についてデータを持つように補間し、それぞれ点順次化する。この色分離回路６０１からの出力Ｇは、本線信号と輪郭補償信号とに分岐され、Ｖ−ＨＰＦ６０３及びＨ−ＨＰＦ６０４によって輪郭信号を抽出した後、本線信号にそれぞれ加算され、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。また、色分離回路６０１の出力Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗは、ホワイトバランス回路６０５によってホワイトバランスがとられた後、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。
【０００７】
色変換マトリクス回路６０７は、Ｇ、Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗを受けて、リニアマトリクス処理及びＲＧＢ−ＹＣｂＣｒ変換を行う。色変換マトリクス回路６０７からの輝度信号出力Ｙは出力端子６０９Ｙから出力され、色差信号出力Ｃｂ、Ｃｒについては点順次化回路６０８で帯域圧縮と点順次化を行った後、出力端子６０９Ｃから出力される。そして、低照度時の撮影などで画面全体が暗くなると、映像信号レベルを適切に上げるために、Ｈ−ＬＰＦ６１０を経たＧから求めたゲイン情報ｃ１をマイコン８に送る。マイコン８はカメラプロセス回路６から受け取ったデータを基にＡＧＣ回路４１、４２のゲインをそれぞれ決定し制御信号ｃ２を送る。ＡＧＣ回路４１、４２は制御信号ｃ２を受け取って所望のゲインに調整する。
【０００８】
ＡＧＣ回路４１、４２は、ゲインが与えられると、映像信号を所定のゲインだけ変化させるが、ＡＧＣ回路４１、４２には個々の動作のばらつきがあり、ＡＧＣ回路４１、４２に同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きると、全面一様なもの（例えばホワイトチャート）を撮像したときに、図１３（ｂ）に示すように、ＡＧＣ回路４１、４２のゲインのばらつきは、画面上では奇数・偶数フィールドの出力レベルの差として現れ、このためフィールドフリッカが起きる。これは画像を著しく劣化させるものである。
【０００９】
そこで、カメラプロセス回路６を図１２のように構成して、入力時にｃｈ１、ｃｈ２のデータを色分離回路６０１で点順次化して、色分離回路６０１でＧについては垂直方向の平均補間をする方式も考えられる。しかし、この方式でも全面一様なもの（例えばホワイトチャート）を撮像したときに、図７（ｂ）に示すように、ＡＧＣ回路４１、４２のゲインのばらつきは、画面上ではマス目状の妨害が入ることになり、画像を著しく劣化させる。
【００１０】
このため従来では、図１０に示すように、ＴＧ９によって予め定められたタイミングで基準信号発生部１０にタイミング信号ｔ３を送っている。この基準信号発生部１０は、ｃｈ１、ｃｈ２の水平レジスタにｔ３で定められたタイミングで基準信号を注入する。この基準信号を映像信号と同様に処理した後、マイコン８はゲイン情報ｃ１に基づいて基準信号のゲイン差を示す情報ｄ１を基準信号発生部１０に送る。このｄ１に応じて基準信号発生部１０は、ｃｈ１、ｃｈ２の水平レジスタに注入する基準信号のレベルを調整し、マイコン８は、ゲインの制御にＡＧＣ回路４１、４２の上記ゲイン差を乗じ、再び変更された基準信号を映像信号と同様に処理し、ＡＧＣ回路４１、４２のゲイン差が補正されたことを確認する。
このようにして、２つのＡＧＣ回路４１、４２のゲインにばらつきが生じても、そのばらつきをフィードバック制御で補正することが可能となる。
【００１１】
【発明が解決しようとする課題】
しかしながら、図１０の方式では、２つのＡＧＣ回路のゲインのばらつきを補正するようなフィードバック構成をとること、そのために必要な回路構成が追加されることで、ハード量の増加を招くことになるという問題があった。
【００１２】
また、全画素撮像素子のもう一つの問題として、輝度信号用の画素が市松状に配置されていることから、図１４の○で示した水平、垂直、斜めの周波数軸上のサンプリング周波数位置に輝度のキャリアが立つ。また、◎で示したものは、水平、垂直、斜め方向のナイキスト周波数である。斜め方向のキャリアは通常は、○を通るような斜め方向にヌル点を持つように設計された光学水晶ＬＰＦ（以下Ｏ−ＬＰＦ）で落とす方法が一般的である。しかし、このＯ−ＬＰＦのみでは、ナイキスト周波数の位置に現れる輝度のモワレを除去できない。特に、斜め方向に現れるモワレは非常に大きい成分を持ち、動画像やカメラのパンニングで非常に顕著に現れる。この解決方法として、◎を通るような斜め方向にヌル点を持つように設計されたＯ−ＬＰＦで落とす方法が考えられる。しかし、この方法では全画素撮像素子に結像した時点で輝度の帯域が狭くなり、また、更にフィルタを使用した場合には、帯域内のレスポンスは非常に低下し、鮮鋭感のない画像となってしまう。
【００１３】
本発明は上記のような従来の問題を解決するためになされたもので、上述したゲイン差を補正するためのフィードバック構成の補正回路を用いずに、ＡＧＣ回路のゲインのばらつきを効果的に除去すると共に、色フィルタの配列に基づく画質の劣化を低減することを目的とするものである。
【００１４】
【課題を解決するための手段】
請求項１の発明においては、輝度信号の画素が市松状に配列され、その間に色信号の画素が配列されている撮像面における全画素の信号がそれぞれ所定の水平及び垂直方向のサンプリング周波数で順次に読み出され、奇数・偶数の走査線信号がそれぞれ第１、第２の映像信号として出力されるように成された撮像手段と、上記第１、第２の映像信号の利得をそれぞれ制御する第１、第２の利得制御手段と、上記第１、第２の利得制御手段の各出力に対して垂直方向の補間処理をすることにより色信号を出力すると共に補間処理をせずに輝度信号を出力する信号処理手段と、上記信号処理手段で処理された信号から上記水平、垂直及び斜め方向のサンプリング周波数の各１／２の周波数成分をそれぞれ除去するフィルタ手段とを設けている。
【００１５】
請求項２の発明においては、輝度信号の画素が市松状に配列され、その間に色信号の画素が配列されている撮像面における全画素の信号がそれぞれ所定の水平及び垂直方向のサンプリング周波数で順次に読み出され、奇数・偶数の走査線信号がそれぞれ第１、第２の映像信号として出力されるように成された撮像手段と、上記第１、第２の映像信号の利得をそれぞれ制御する第１、第２の利得制御手段と、上記第１、第２の利得制御手段の各出力に対して垂直方向の補間処理をすることにより色信号を出力すると共に補間処理をせずに輝度信号を出力する信号処理手段と、上記信号処理手段で処理された信号から上記垂直及び斜め方向のサンプリング周波数の各１／２の周波数成分を除去する第１のフィルタ手段と、上記第１のフィルタ手段の出力から上記水平方向のサンプリング周波数の１／２の周波数成分を除去する第２のフィルタ手段とを設けている。
【００１６】
【作用】
本発明によれば、フィルタ手段あるいは第１、第２のフィルタ手段を設けることにより、２つの利得制御手段のゲインのばらつきを水平及び垂直周波数軸のナイキスト周波数振動に置き換えているので、上記ゲインのばらつきを有効に除去することができる。
【００１７】
【発明の実施の形態】
図１は本発明の第１の実施の形態による撮像装置を示し、図２は図１のカメラプロセス回路６の構成を示す。
図１においては、図１０の基準信号発生部１０及びこれに関する構成が除外されており、他の部分は図１０と同一構成されている。また、図２においては、図１２に２次元フィルタとしてのＳＰＣ−ＦＩＬ６１２を追加した構成となっている。このＳＰＣ−ＦＩＬ６１２は図３に示す空間周波数特性を有している。
【００１８】
次に動作について説明する。
全画素撮像素子１がＴＧ９により読み出されてｃｈ１、ｃｈ２の信号が得られ、それぞれカメラプロセス回路６に入力されるまでの動作は図１０の場合と同様に行われる。
【００１９】
次に図２に示すカメラプロセス回路６においては、まず入力端子６００−１、６００−２からそれぞれｃｈ１、ｃｈ２の出力信号を受け取る。色分離回路６０１は、図９に示したような画素配列のまま点順次で送られてきたＧ、Ｂ、Ｒの画素データをＧ−ｌｏｗについては垂直方向の平均値補間で、Ｂ、Ｒについては水平、垂直方向の平均値補間でそれぞれのチャンネルがすべての画素位置についてデータを持つように補間する。また本線系のＧは、図７（ａ）のように補間しないでそのまま出力する。
【００２０】
色分離回路６０１からの出力Ｇは、例えば図３のような空間周波数特性のＳＰＣ−ＦＩＬ６１２によってゼロ挿入補間されるとともに、１／２ｆｓ−ｈ及び１／２ｆｓ−ｖがトラップされる。ここでＳＰＣ−ＦＩＬを使うのは、輝度信号の斜め方向に現れる１／２ｆｓ−ｏのモワレを解消する目的であり、点順次信号をゼロ挿入補間するのに適するように、市松状の２組の係数の和が等しくなるように設計されている。ＡＧＣ回路４１、４２にゲインが与えられると、ＡＧＣ回路４１、４２は映像信号を所定のゲインだけ変化させるが、前述したようにＡＧＣ回路は個々に動作のばらつきがあり、ＡＧＣ回路４１、４２に同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きると、奇数・偶数ライン、奇数・偶数画素で出力レベルに差が生じるために、全面一様なもの（例えばホワイトチャート）を撮像したときに、図７（ｂ）に示すようにＡＧＣ回路４１、４２のゲインのばらつきは、画面上ではマス目状の妨害が入ることになり、これは画像を著しく劣化させるものである。しかし、１／２ｆｓ−ｖトラップされたことによって、奇数・偶数ラインの出力レベルの差は、１／２ｆｓ−ｖの周波数振動に置き換えられているので解消される。また１／２ｆｓ−ｈがトラップされたことによって、この奇数・偶数画素の出力レベル差は、１／２ｆｓ−ｈの周波数振動に置き換えられているので解消される。
【００２１】
その後、Ｇは本線信号と輪郭補償信号とに分岐され、Ｖ−ＨＰＦ６０３及びＨ−ＨＰＦ６０４によって輪郭信号を抽出した後、本線信号にそれぞれ加算され、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。また、Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗは、ホワイトバランス回路６０５によってホワイトバランスがとられた後、γ処理回路６０６を経て色変換マトリクス回路６０７に送られる。色変換マトリクス回路６０７はＧ、Ｇ−ｌｏｗ、Ｂ−ｌｏｗ、Ｒ−ｌｏｗを受けて、リニアマトリクス処理及びＲＧＢ−ＹＣｂＣｒ変換を行う。色変換マトリクス回路６０７からの輝度信号出力Ｙは出力端子６０９Ｙから出力され、色差信号出力Ｃｂ、Ｃｒについては点順次化回路６０８で帯域圧縮と点順次化を行った後、出力端子６０９Ｃから出力される。
そして、低照度時の撮影などで画面全体が暗くなると、映像信号レベルを適切に上げるために、Ｈ−ＬＰＦ６１０を経たＧから求めたゲイン情報ｃ１をマイコン８に送る。
【００２２】
マイコン８は、カメラプロセス回路６から受け取ったデータに基づいてＡＧＣ回路４１、４２のゲインをそれぞれ決定し制御信号ｃ２を送る。ＡＧＣ回路４１、４２は制御信号ｃ２を受け取って所望のゲインに調整する。ＡＧＣ回路４１、４２は、ゲインが与えられると、映像信号を所定のゲインだけ変化させるが、ＡＧＣ回路４１、４２は個々に動作のばらつきがあり、同じゲイン指定をしても映像信号レベルが異なってしまうことになる。このような現象が起きても、ＳＰＣ−ＦＩＬ６１２によって１／２ｆｓ−ｈ及び１／２ｆｓ−ｖがトラップされることによって解消され、好適な画像を得ることができる。
【００２３】
図４は第２の実施の形態を示すもので、図１のカメラプロセス回路６の他の構成例を示している。
この図４においては、図２の回路にさらに図５に示す周波数特性を持つ水平フィルタ（Ｈ−ＬＰＦ）６０２を設けられている。これと共にＳＰＣ−ＦＩＬ６１２として図６に示す周波数特性を持つものが用いられている。
【００２４】
次に動作について説明する。
色分離回路６０１の動作は第１の実施の形態と同様に行われる。
【００２５】
色分離回路６０１からの出力Ｇは、例えば図６のような空間周波数特性のＳＰＣ−ＦＩＬ６１２によってゼロ挿入補間されるとともに、１／２ｆｓ−ｖがトラップされ、水平方向は水平軸上で減衰のない特性で出力される。。ここでＳＰＣ−ＦＩＬを使うのは、輝度信号の斜め方向に現れる１／２ｆｓ−ｏのモワレを解消する目的であり、点順次信号をゼロ挿入補間するのに適するように、市松状の２組の係数の和が等しくなるように設計されている。ＳＰＣ−ＦＩＬ６１２からの出力Ｇは、例えば図５のような周波数特性のＨ−ＬＰＦ６０２によって１／２ｆｓ−ｈがトラップされる。ここでフィルタをＳＰＣ−ＦＩＬ６１２とＨ−ＬＰＦ６０２とに分割したのは、画像の状況に合わせて水平方向のフィルタの特性を変化させたい場合に、第１の実施の形態のようにＳＰＣ−ＦＩＬ６１２のみでは、所望の特性を得るのが非常に難しいためである。
【００２６】
前述したようにＡＧＣ回路４１、４２のばらつきによって同じゲイン指定をしても奇数・偶数ライン、奇数・偶数画素で出力レベルに差が生じ、このため（例えばホワイトチャート）を撮像したときに、図７（ｂ）に示すように画面上でマス目状の妨害が入ることになる。しかし、１／２ｆｓ−ｖがトラップされたことによって、奇数・偶数ラインの出力レベル差は、１／２ｆｓ−ｖの周波数振動に置き換えられているので解消される。また１／２ｆｓ−ｈがトラップされたことによって、この奇数・偶数画素の出力レベル差は、１／２ｆｓ−ｈの周波数振動に置き換えられているので解消される。
【００２７】
その後、Ｇは本線信号と輪郭補償信号とに分岐され、以降の処理は第１の実施の形態と同様に行われる。そしてマイコン８によりＡＧＣ回路４１、４２にゲインが与えられたときにおけるＡＧＣ回路４１、４２のばらつきによる前述した問題は、Ｈ−ＬＰＦ６０２によって１／２ｆｓ−ｈが、ＳＰＣ−ＦＩＬ６１２によって１／２ｆｓ−ｖがトラップされることによって解消され、好適な画像を得ることができる。
【００２８】
本実施の形態によれば、垂直方向のサンプリング周波数の１／２の周波数成分をトラップするＳＰＣ−ＦＩＬ６１２と、水平方向のサンプリング周波数の１／２の周波数成分をトラップするＨ−ＬＰＦ６０２とを輝度信号処理系に設けることにより、２つのＡＧＣ回路４１、４２のゲインのばらつきを水平、垂直周波数軸上のナイキスト周波数振動に置き換えているので、ハード量の増加を招くことなく、各ＡＧＣ回路のゲインのばらつきを効果的に除去することが可能となる。
【００２９】
【発明の効果】
以上説明したように、請求項１、２の発明によれば、第１、第２の利得制御手段のゲインのばらつきを水平、垂直周波数軸上のナイキスト周波数振動に置き換えているので、ハード量の増加を招くことなく、２つの利得制御手段のばらつきを効果的に除去することができる。
また、請求項２の発明によれば、画像の状態に合わせて水平方向のフィルタの特性を変化させ、より好適な画像を得ることができる。
【００３０】
また、斜め方向の輝度のキャリアを２次元フィルタで効果的に抑圧することで、Ｏ−ＬＰＦで結像時の輝度の帯域を狭くすることなく、鮮鋭感のある好適な画像を得ることができる。
【００３１】
本発明は特にベイヤー配列された色フィルタを備えた全画素撮像素子を用いる場合に画像の劣化を低減することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態を示すブロック図である。
【図２】本発明の第１の実施の形態によるカメラプロセス回路を示すブロック図である。
【図３】第１の実施の形態による２次元フィルタの特性図である。
【図４】本発明の第２の実施の形態によるカメラプロセス回路を示すブロック図である。
【図５】第２の実施の形態によるＨ−ＬＰＦの特性図である。
【図６】第２の実施の形態による２次元フィルタの特性図である。
【図７】Ｇ信号の補間を説明する構成図である。
【図８】従来の垂直２画素加算方式の撮像装置を示すブロック図である。
【図９】色フィルタの配列を示す構成図である。
【図１０】従来の全画素撮像素子を用いた撮像装置を示すブロック図である。
【図１１】従来のカメラプロセス回路を示すブロック図である。
【図１２】従来の他のカメラプロセス回路を示すブロック図である。
【図１３】従来のＧ信号の補間処理を示す構成図である。
【図１４】輝度信号のキャリア位置を示す特性図である。
【符号の説明】
１全画素撮像素子
６カメラプロセス回路
８マイコン
４１、４２ＡＧＣ回路
６０１色分離回路
６０２Ｈ−ＬＰＦ
６１２ＳＰＣ−ＦＩＬ（２次元フィルタ）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus suitable for use in a progressive scanning solid-state imaging device in which color filters are arranged in a so-called Bayer array.
[0002]
[Prior art]
2. Description of the Related Art In recent years, solid-state imaging devices such as CCDs (all-pixel readout solid-state imaging devices, hereinafter referred to as all-pixel imaging devices) that can read out signals by sequential scanning have been developed along with advances in semiconductor technology. Such an all-pixel image sensor has less blur even with respect to a moving subject and can capture a high-resolution image compared to a conventional interlaced scanning (interlaced scanning) type image sensor. That is, in the interlace imaging device, an image of one frame is composed of two fields that are shifted by one field period. Therefore, when a moving subject is imaged, motion blur occurs due to the time difference between the fields. In addition, when an image of one field is taken out, motion blur is eliminated, but the vertical resolution is halved. On the other hand, the all-pixel image sensor can capture an image for one frame in one field period, and thus the above-described problem does not occur. Utilizing such characteristics, the all-pixel imaging device is expected to be applied to a still image capturing camera, an EDTVII camera, and the like.
[0003]
Here, an imaging apparatus using a conventional vertical two-pixel addition readout type imaging device will be described with reference to FIG.
In FIG. 8, the image pickup device 1 is read by adding two pixels in the vertical direction in accordance with timing signals t <b> 1 and t <b> 2 from the timing generator (TG) 9. The output signal is subjected to removal of reset noise of the image sensor 1 by the CDS circuit 3 via the buffer 2 and then gain controlled by the AGC circuit 4 by the control signal c2 from the microcomputer 8. The gain-controlled signal is converted into a digital signal by the A / D converter 5 and sent to the camera process circuit 6 where predetermined processing is performed and a luminance signal Y and a color difference signal C are output. The microcomputer 8 generates a control signal c2 for the AGC circuit 4 based on the gain information c1 detected by the camera process circuit 6.
[0004]
Next, most of the all-pixel imaging devices currently used are ones in which R, G, and B filters are arranged in a so-called Bayer array as shown in FIG. In this color arrangement, G is used as a luminance signal. In addition, since the all-pixel image sensor reads out one frame of image data in one field period, the charge transfer rate is twice that of the conventional vertical two-pixel addition readout image sensor as shown in FIG. Become. Therefore, as shown in FIG. 10, the output from the imaging device is read from the conventional one line read, and the odd and even scan line signal outputs are, for example, the first and second signal outputs, respectively. It is desirable to make it.
[0005]
Here, a circuit configuration of an imaging apparatus using a conventional 2-pixel readout all-pixel imaging device will be described with reference to FIGS. 10, 11, and 12.
The all-pixel imaging device 1 performs vertical register transfer and horizontal register transfer according to timing signals t1 and t2 given from the TG 9, and odd and even scanning line signals are output from the ch1 and ch2, respectively. The output signals from ch1 and ch2 correspond to the odd lines and even lines of the all-pixel imaging device 1, respectively, and are sent to the CDS circuits 31 and 32 via the buffers 21 and 22, respectively. The CDS circuits 31 and 32 remove reset noise from the image sensor 1 and send video signals to the AGC circuits 41 and 42, respectively. The AGC circuits 41 and 42 give a designated gain to the video signal based on the gain difference of each channel detected by the camera process circuit 6. The A / D converters 51 and 52 convert analog video signals into digital signals and send the digital signals to the camera process circuit 6.
[0006]
The camera process circuit 6 is configured as shown in FIG. 11, and first receives the output signals of ch1 and ch2 from the input terminals 600-1 and 600-2, respectively, and doubles the processing frequency to generate odd and even lines. A delay for making the line sequential is performed in the 1H memories 611-1 and 611-2. The color separation circuit 601 uses G, B, and R pixel data sent in a dot-sequential manner with the pixel arrangement as shown in FIG. 9 as to the average value of G in the horizontal direction as shown in FIG. By interpolation, B and R are averaged in the horizontal and vertical directions so that each channel has data for all pixel positions, and each is point-sequentially. The output G from the color separation circuit 601 is branched into a main line signal and a contour compensation signal, and after the contour signal is extracted by the V-HPF 603 and the H-HPF 604, they are added to the main signal, respectively, and passed through the γ processing circuit 606. It is sent to the color conversion matrix circuit 607. Also, the outputs G-low, B-low, and R-low of the color separation circuit 601 are white balanced by the white balance circuit 605 and then sent to the color conversion matrix circuit 607 via the γ processing circuit 606.
[0007]
The color conversion matrix circuit 607 receives G, G-low, B-low, and R-low, and performs linear matrix processing and RGB-YCbCr conversion. The luminance signal output Y from the color conversion matrix circuit 607 is output from the output terminal 609Y, and the color difference signal outputs Cb and Cr are band-compressed and point-sequentialized by the point-sequential circuit 608 and then output from the output terminal 609C. The When the entire screen becomes dark due to shooting at low illuminance or the like, the gain information c1 obtained from G through the H-LPF 610 is sent to the microcomputer 8 in order to appropriately increase the video signal level. The microcomputer 8 determines the gains of the AGC circuits 41 and 42 based on the data received from the camera process circuit 6 and sends a control signal c2. The AGC circuits 41 and 42 receive the control signal c2 and adjust it to a desired gain.
[0008]
When given gain, the AGC circuits 41 and 42 change the video signal by a predetermined gain. However, the AGC circuits 41 and 42 have variations in individual operations, and the same gain designation is given to the AGC circuits 41 and 42. However, the video signal level will be different. When such a phenomenon occurs, when a uniform image (for example, a white chart) is imaged, the gain variation of the AGC circuits 41 and 42 is odd on the screen as shown in FIG. 13B. It appears as a difference in the output level of the even field, which causes field flicker. This significantly degrades the image.
[0009]
Accordingly, the camera process circuit 6 is configured as shown in FIG. 12, and the ch1 and ch2 data are dot-sequentially converted by the color separation circuit 601 at the time of input, and the color separation circuit 601 performs vertical average interpolation for G. Is also possible. However, even in this method, when a uniform image (for example, a white chart) is imaged, the gain variation of the AGC circuits 41 and 42 is a grid-like interference on the screen as shown in FIG. Will deteriorate the image remarkably.
[0010]
For this reason, conventionally, as shown in FIG. 10, a timing signal t3 is sent to the reference signal generator 10 at a timing predetermined by the TG 9. The reference signal generator 10 injects a reference signal into the ch1 and ch2 horizontal registers at a timing determined by t3. After processing the reference signal in the same manner as the video signal, the microcomputer 8 sends information d1 indicating the gain difference of the reference signal to the reference signal generator 10 based on the gain information c1. In response to this d1, the reference signal generator 10 adjusts the level of the reference signal injected into the horizontal register of ch1 and ch2, and the microcomputer 8 multiplies the gain difference of the AGC circuits 41 and 42 by the gain control, and again The changed reference signal is processed in the same manner as the video signal, and it is confirmed that the gain difference between the AGC circuits 41 and 42 has been corrected.
In this way, even if the gains of the two AGC circuits 41 and 42 vary, the variations can be corrected by feedback control.
[0011]
[Problems to be solved by the invention]
However, in the method of FIG. 10, the feedback configuration that corrects the gain variation of the two AGC circuits is adopted, and the necessary circuit configuration is added to increase the amount of hardware. There was a problem.
[0012]
Another problem of the all-pixel imaging device is that the luminance signal pixels are arranged in a checkered pattern, so that the sampling frequency positions on the horizontal, vertical, and diagonal frequency axes indicated by ○ in FIG. A carrier of brightness stands. Also, the asterisks indicate Nyquist frequencies in the horizontal, vertical, and diagonal directions. In general, the carrier in the oblique direction is generally dropped by an optical quartz LPF (hereinafter referred to as O-LPF) designed so as to have a null point in the oblique direction passing through the circle. However, this O-LPF alone cannot remove the moire of the brightness that appears at the Nyquist frequency position. In particular, the moiré that appears in an oblique direction has a very large component, and appears very prominently in moving images and camera panning. As a solution to this, a method of dropping with an O-LPF designed to have a null point in an oblique direction passing through ◎ is conceivable. However, with this method, the brightness band is narrowed when the image is formed on the all-pixel image sensor, and when a filter is further used, the response within the band is extremely lowered, resulting in an image with no sharpness. End up.
[0013]
The present invention has been made to solve the above-described conventional problems, and effectively eliminates variations in the gain of the AGC circuit without using the above-described correction circuit for correcting the gain difference. At the same time, it is an object to reduce image quality degradation based on the arrangement of color filters.
[0014]
[Means for Solving the Problems]
In the first aspect of the present invention, the pixels of the luminance signal are arranged in a checkered pattern, and the signals of all the pixels on the imaging surface on which the pixels of the color signal are arranged are sequentially sampled at predetermined horizontal and vertical sampling frequencies, respectively. The imaging means configured to output the odd and even scanning line signals as the first and second video signals, respectively, and control the gains of the first and second video signals, respectively. A color signal is output by performing a vertical interpolation process on the outputs of the first and second gain control means and the first and second gain control means, and a luminance signal without any interpolation process. And a filter means for removing each half frequency component of the sampling frequency in the horizontal, vertical and diagonal directions from the signal processed by the signal processing means.
[0015]
In the second aspect of the invention, the pixels of the luminance signal are arranged in a checkered pattern, and the signals of all the pixels on the imaging surface on which the pixels of the color signal are arranged are sequentially sampled at predetermined horizontal and vertical sampling frequencies, respectively. The imaging means configured to output the odd and even scanning line signals as the first and second video signals, respectively, and control the gains of the first and second video signals, respectively. A color signal is output by performing a vertical interpolation process on the outputs of the first and second gain control means and the first and second gain control means, and a luminance signal without any interpolation process. , A first filter means for removing each half frequency component of the sampling frequency in the vertical and oblique directions from the signal processed by the signal processing means, and the first filter means It is provided a second filter means for removing the half of the frequency components in the horizontal direction of the sampling frequency from the output.
[0016]
[Action]
According to the present invention, by providing the filter means or the first and second filter means, the gain variation of the two gain control means is replaced with the Nyquist frequency vibrations on the horizontal and vertical frequency axes. Variations can be effectively removed.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows an imaging apparatus according to the first embodiment of the present invention, and FIG. 2 shows the configuration of the camera process circuit 6 of FIG.
In FIG. 1, the reference signal generation unit 10 of FIG. 10 and the configuration related thereto are excluded, and the other parts are the same as those of FIG. 10. Further, FIG. 2 has a configuration in which SPC-FIL 612 as a two-dimensional filter is added to FIG. The SPC-FIL 612 has the spatial frequency characteristics shown in FIG.
[0018]
Next, the operation will be described.
The operations until the all-pixel imaging device 1 is read out by the TG 9 and the ch1 and ch2 signals are obtained and input to the camera process circuit 6 are performed in the same manner as in FIG.
[0019]
Next, in the camera process circuit 6 shown in FIG. 2, first, the output signals of ch1 and ch2 are received from the input terminals 600-1 and 600-2, respectively. The color separation circuit 601 performs G, B, and R pixel data sent in a dot-sequential manner with the pixel arrangement as shown in FIG. Is an average value interpolation in the horizontal and vertical directions so that each channel has data for all pixel positions. Further, the main line G is output without being interpolated as shown in FIG.
[0020]
The output G from the color separation circuit 601 is zero-inserted and interpolated by an SPC-FIL 612 having a spatial frequency characteristic as shown in FIG. 3, for example, and 1/2 fs-h and 1/2 fs-v are trapped. Here, SPC-FIL is used for the purpose of eliminating the moi of 1/2 fs-o appearing in the oblique direction of the luminance signal, and two sets of checkered patterns are suitable for zero-insertion interpolation of the dot sequential signal. The sum of the coefficients is designed to be equal. When gain is given to the AGC circuits 41 and 42, the AGC circuits 41 and 42 change the video signal by a predetermined gain. However, as described above, the AGC circuits have individual operation variations, and the AGC circuits 41 and 42 have different operations. Even if the same gain is specified, the video signal level will be different. When such a phenomenon occurs, there is a difference in output level between the odd / even lines and the odd / even pixels, so that when a uniform image (for example, a white chart) is imaged as shown in FIG. As described above, variations in the gains of the AGC circuits 41 and 42 cause grid-like interference on the screen, which significantly deteriorates the image. However, the 1/2 fs-v trapping eliminates the difference in the output level between the odd and even lines because it is replaced by a 1/2 fs-v frequency oscillation. Further, since 1 / 2fs-h is trapped, the output level difference between the odd and even pixels is eliminated because it is replaced by the frequency oscillation of 1 / 2fs-h.
[0021]
Thereafter, G is branched into a main line signal and a contour compensation signal. After the contour signal is extracted by the V-HPF 603 and the H-HPF 604, the signal is added to the main signal and sent to the color conversion matrix circuit 607 via the γ processing circuit 606. It is done. G-low, B-low, and R-low are white balanced by the white balance circuit 605 and then sent to the color conversion matrix circuit 607 via the γ processing circuit 606. The color conversion matrix circuit 607 receives G, G-low, B-low, and R-low, and performs linear matrix processing and RGB-YCbCr conversion. The luminance signal output Y from the color conversion matrix circuit 607 is output from the output terminal 609Y, and the color difference signal outputs Cb and Cr are band-compressed and point-sequentialized by the point-sequential circuit 608 and then output from the output terminal 609C. The
When the entire screen becomes dark due to shooting at low illuminance or the like, the gain information c1 obtained from G through the H-LPF 610 is sent to the microcomputer 8 in order to appropriately increase the video signal level.
[0022]
The microcomputer 8 determines the gains of the AGC circuits 41 and 42 based on the data received from the camera process circuit 6 and sends a control signal c2. The AGC circuits 41 and 42 receive the control signal c2 and adjust it to a desired gain. The AGC circuits 41 and 42 change the video signal by a predetermined gain when a gain is given. However, the AGC circuits 41 and 42 vary in operation individually, and even if the same gain is specified, the video signal level is different. It will end up. Even if such a phenomenon occurs, the SPC-FIL 612 eliminates the 1/2 fs-h and 1/2 fs-v trapped, and a suitable image can be obtained.
[0023]
FIG. 4 shows a second embodiment and shows another configuration example of the camera process circuit 6 of FIG.
In FIG. 4, a horizontal filter (H-LPF) 602 having a frequency characteristic shown in FIG. 5 is further provided in the circuit of FIG. Along with this, an SPC-FIL 612 having a frequency characteristic shown in FIG. 6 is used.
[0024]
Next, the operation will be described.
The operation of the color separation circuit 601 is performed in the same manner as in the first embodiment.
[0025]
The output G from the color separation circuit 601 is zero-inserted and interpolated by an SPC-FIL 612 having a spatial frequency characteristic as shown in FIG. 6, for example, and 1/2 fs-v is trapped, and the horizontal direction has no attenuation on the horizontal axis. Output with characteristics. . Here, SPC-FIL is used for the purpose of eliminating the moi of 1/2 fs-o appearing in the oblique direction of the luminance signal, and two sets of checkered patterns are suitable for zero-insertion interpolation of the dot sequential signal. The sum of the coefficients is designed to be equal. The output G from the SPC-FIL 612 is trapped by 1/2 fs-h by an H-LPF 602 having a frequency characteristic as shown in FIG. Here, the filter is divided into the SPC-FIL 612 and the H-LPF 602 when only the SPC-FIL 612 is used as in the first embodiment when it is desired to change the characteristics of the filter in the horizontal direction according to the situation of the image. This is because it is very difficult to obtain desired characteristics.
[0026]
As described above, even if the same gain is specified due to variations in the AGC circuits 41 and 42, the output level is different between the odd / even lines and the odd / even pixels. As shown in FIG. 7 (b), grid-like interference enters on the screen. However, since 1 / 2fs-v is trapped, the output level difference between the odd and even lines is replaced with the frequency oscillation of 1 / 2fs-v, which is eliminated. Further, since 1 / 2fs-h is trapped, the output level difference between the odd and even pixels is eliminated because it is replaced by the frequency oscillation of 1 / 2fs-h.
[0027]
Thereafter, G is branched into a main line signal and a contour compensation signal, and the subsequent processing is performed in the same manner as in the first embodiment. The above-described problems caused by variations in the AGC circuits 41 and 42 when the gain is given to the AGC circuits 41 and 42 by the microcomputer 8 are 1/2 fs-h by the H-LPF 602 and 1/2 fs-v by the SPC-FIL 612. Is eliminated by trapping, and a suitable image can be obtained.
[0028]
According to the present embodiment, an SPC-FIL 612 that traps a frequency component that is ½ of the sampling frequency in the vertical direction and an H-LPF 602 that traps a frequency component that is ½ of the sampling frequency in the horizontal direction are luminance signals. By providing in the processing system, the variation in gain of the two AGC circuits 41 and 42 is replaced with the Nyquist frequency vibration on the horizontal and vertical frequency axes, so that the gain of each AGC circuit is not increased without increasing the amount of hardware. Variations can be effectively removed.
[0029]
【The invention's effect】
As described above, according to the first and second aspects of the invention, the gain variation of the first and second gain control means is replaced with the Nyquist frequency vibration on the horizontal and vertical frequency axes. The variation of the two gain control means can be effectively removed without causing an increase.
According to the invention of claim 2, it is possible to obtain a more suitable image by changing the characteristics of the filter in the horizontal direction in accordance with the state of the image.
[0030]
In addition, by effectively suppressing the luminance carrier in the oblique direction with the two-dimensional filter, it is possible to obtain a sharp and suitable image without narrowing the luminance band at the time of image formation with the O-LPF. .
[0031]
The present invention can reduce image degradation particularly when using an all-pixel image sensor having a color filter arranged in a Bayer array.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of the present invention.
FIG. 2 is a block diagram showing a camera process circuit according to the first embodiment of the present invention.
FIG. 3 is a characteristic diagram of the two-dimensional filter according to the first embodiment.
FIG. 4 is a block diagram showing a camera process circuit according to a second embodiment of the present invention.
FIG. 5 is a characteristic diagram of the H-LPF according to the second embodiment.
FIG. 6 is a characteristic diagram of the two-dimensional filter according to the second embodiment.
FIG. 7 is a configuration diagram illustrating interpolation of a G signal.
FIG. 8 is a block diagram showing a conventional vertical two-pixel addition type imaging apparatus.
FIG. 9 is a configuration diagram illustrating an arrangement of color filters.
FIG. 10 is a block diagram illustrating an imaging apparatus using a conventional all-pixel imaging device.
FIG. 11 is a block diagram showing a conventional camera process circuit.
FIG. 12 is a block diagram showing another conventional camera process circuit.
FIG. 13 is a configuration diagram showing conventional G signal interpolation processing;
FIG. 14 is a characteristic diagram showing a carrier position of a luminance signal.
[Explanation of symbols]
1 All-pixel imaging device 6 Camera process circuit 8 Microcomputer 41, 42 AGC circuit 601 Color separation circuit 602 H-LPF
612 SPC-FIL (two-dimensional filter)

Claims

輝度信号の画素が市松状に配列され、その間に色信号の画素が配列されている撮像面における全画素の信号がそれぞれ所定の水平及び垂直方向のサンプリング周波数で順次に読み出され、奇数・偶数の走査線信号がそれぞれ第１、第２の映像信号として出力されるように成された撮像手段と、
上記第１、第２の映像信号の利得をそれぞれ制御する第１、第２の利得制御手段と、
上記第１、第２の利得制御手段の各出力に対して垂直方向の補間処理をすることにより色信号を出力すると共に補間処理をせずに輝度信号を出力する信号処理手段と、
上記信号処理手段で処理された信号から上記水平、垂直及び斜め方向のサンプリング周波数の各１／２の周波数成分をそれぞれ除去するフィルタ手段とを備えた撮像装置。The pixels of the luminance signal are arranged in a checkered pattern, and the signals of all the pixels on the imaging surface on which the pixels of the color signal are arranged are sequentially read out at predetermined sampling frequencies in the horizontal and vertical directions. Imaging means configured to output the scanning line signals as first and second video signals, respectively,
First and second gain control means for controlling the gains of the first and second video signals, respectively;
Signal processing means for outputting a color signal by performing interpolation processing in the vertical direction on each output of the first and second gain control means and without performing interpolation processing;
An image pickup apparatus comprising: filter means for removing each half frequency component of the horizontal, vertical and diagonal sampling frequencies from the signal processed by the signal processing means.

輝度信号の画素が市松状に配列され、その間に色信号の画素が配列されている撮像面における全画素の信号がそれぞれ所定の水平及び垂直方向のサンプリング周波数で順次に読み出され、奇数・偶数の走査線信号がそれぞれ第１、第２の映像信号として出力されるように成された撮像手段と、
上記第１、第２の映像信号の利得をそれぞれ制御する第１、第２の利得制御手段と、
上記第１、第２の利得制御手段の各出力に対して垂直方向の補間処理をすることにより色信号を出力すると共に補間処理をせずに輝度信号を出力する信号処理手段と、
上記信号処理手段で処理された信号から上記垂直及び斜め方向のサンプリング周波数の各１／２の周波数成分を除去する第１のフィルタ手段と、
上記第１のフィルタ手段の出力から上記水平方向のサンプリング周波数の１／２の周波数成分を除去する第２のフィルタ手段とを備えた撮像装置。The pixels of the luminance signal are arranged in a checkered pattern, and the signals of all the pixels on the imaging surface on which the pixels of the color signal are arranged are sequentially read out at predetermined sampling frequencies in the horizontal and vertical directions. Imaging means configured to output the scanning line signals as first and second video signals, respectively,
First and second gain control means for controlling the gains of the first and second video signals, respectively;
Signal processing means for outputting a color signal by performing interpolation processing in the vertical direction on each output of the first and second gain control means and without performing interpolation processing;
First filter means for removing each half of the vertical and diagonal sampling frequencies from the signal processed by the signal processing means;
An image pickup apparatus comprising: a second filter unit that removes a half frequency component of the sampling frequency in the horizontal direction from the output of the first filter unit.

上記フィルタ手段は、上記輝度信号の処理系に設けられることを特徴とする請求項１又は２記載の撮像装置。 3. The imaging apparatus according to claim 1, wherein the filter unit is provided in a processing system for the luminance signal.

上記信号処理手段は、垂直方向の補間処理をすることにより色信号を出力すると共に補間処理をせずに輝度信号を出力するように成され、上記第１、第２のフィルタ手段は上記輝度信号の処理系に設けられることを特徴とする請求項１又は２記載の撮像装置。 The signal processing means outputs a color signal by performing vertical interpolation processing and outputs a luminance signal without performing interpolation processing, and the first and second filter means are configured to output the luminance signal. The imaging apparatus according to claim 1, wherein the imaging apparatus is provided in the processing system.

上記フィルタ手段は、フィルタ係数がゼロ挿入補間のために市松状に抜き取ることができる２組の係数の和が互いに等しくなるような２次元フィルタであることを特徴とする請求項１記載の撮像装置。 2. The image pickup apparatus according to claim 1, wherein the filter means is a two-dimensional filter in which the sum of two sets of coefficients whose filter coefficients can be extracted in a checkered pattern for zero insertion interpolation is equal to each other. .

上記第１のフィルタ手段は、フィルタ係数がゼロ挿入補間のために市松状に抜き取ることができる２組の係数の和が互いに等しくなるような２次元フィルタであることを特徴とする請求項２記載の撮像装置。 3. The two-dimensional filter according to claim 2, wherein the first filter means is a two-dimensional filter in which the sum of two sets of coefficients whose filter coefficients can be extracted in a checkered pattern for zero insertion interpolation are equal to each other. Imaging device.