JP3854662B2

JP3854662B2 - 撮像装置

Info

Publication number: JP3854662B2
Application number: JP15095596A
Authority: JP
Inventors: 康之山崎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-06-12
Filing date: 1996-06-12
Publication date: 2006-12-06
Anticipated expiration: 2016-06-12
Also published as: DE69715522T2; US6275261B1; DE69715522D1; JPH09331538A; EP0813343A1; EP0813343B1

Description

【０００１】
【発明の属する技術分野】
本発明は、２次元に複数個の画素が配置されてなる撮像素子を備えた撮像装置に関するものである。
【０００２】
【従来の技術】
図１２に従来のインターライン型固体撮像素子の概略的な構成図を示す。同図において、１０１は光電変換素子からなる感光部、１０２は感光部１０１の各垂直ラインに沿って配置された１１６、１１７、１１８、１１９の４つのＣＣＤからなる垂直転送ＣＣＤ、１０３は垂直転送ＣＣＤ１０２に電気的に接続された１２４、１２５の２つのＣＣＤからなる水平転送ＣＣＤであり、垂直転送ＣＣＤ１０２および水平転送ＣＣＤ１０３は遮光されている。１０４は電荷検出回路、１０５は出力信号の出力端子、１０６、１０７、１０８、１０９は垂直転送ＣＣＤ１０２の駆動パルスの入力端子であり、それぞれの駆動パルスは１１６、１１７、１１８、１１９の垂直転送ＣＣＤに供給される。１１４、１１５は水平転送ＣＣＤ１０３の駆動パルスの入力端子であり、それぞれの駆動パルスは１２４、１２５の水平転送ＣＣＤに供給される。
【０００３】
次に動作について説明する。
感光部１０１で光電変換された信号電荷は、垂直転送ＣＣＤ１０２に送られ、４相駆動パルスΦＶ１、ΦＶ２、ΦＶ３およびΦＶ４により水平転送ＣＣＤ１０３の方向へ順に転送される。水平転送ＣＣＤ１０３は、垂直転送ＣＣＤ１０２から転送されてきた水平１列分の信号電荷を２相駆動パルスΦＨ１およびΦＨ２により電荷検出回路１０４に転送し、電荷検出回路１０４で電圧に変換して出力端子１０５から出力する。
さらに、上記固体撮像素子から出力された画像信号を、不図示の回路で所定の信号処理を施して所定の信号形式に変換し、各種記録媒体に記録したり、表示装置に表示したり、外部に出力したりする。
【０００４】
【発明が解決しようとする課題】
しかしながら、最近の技術の進歩により撮像素子の画素数は増加してきており、撮像素子から得られる画像の画素数に比べ出力側の画素数が少ないという場合も少なくない。例えばＬＣＤなどの表示装置に表示する場合などであり、ＬＣＤの画素数は撮像素子の画素数に比べ極端に少なく、例えば垂直方向の画素数が２４０本程度のものも多い。こういったものに従来の撮像素子で撮影した画像を出力する場合でも、一旦撮像素子の全画素の信号をすべて読み出し、この画像をメモリ等の記憶手段に記憶し、さらにこの画像を出力に必要なライン数に間引く処理を行ってから出力しなければならなかった。したがって間引き処理を行うためのメモリや処理回路が必要になり、回路構成が複雑になるとともにコストアップを招くという問題があった。また撮像素子の画素数が増えれば全ての信号を読み出すための時間はそれだけ長くなり、１秒間に得られる画像の枚数が減ってしまい、滑らかな動画像が得られなくなってしまう。この問題を解決するために読み出し時間を短くするには、撮像素子の駆動速度を速くすればよいが、そのためには半導体の性能の向上が必要であり、コストアップを招く要因になるという問題があった。
【０００５】
本発明の第１の目的は、撮像素子から所定の行の画素の信号を間引いて読み出すことができ、かつ間引いて読み出された信号からカラーの映像信号を形成することのできる撮像装置を提供することである。
本発明の第２の目的は、撮像素子から、所定の行の画素の信号を間引いて読み出すことができ、かつ間引いて読み出された信号からカラーの映像信号を形成することができ、さらには解像度が良く、色モアレが少ない静止フレーム画像の撮影が可能な撮像装置を提供することである。
【０００６】
【課題を解決するための手段】
請求項１の発明においては、撮像面に４つの異なる分光特性を持つカラーフィルタを有し、これらのカラーフィルタが水平方向に対しては２画素周期で相異なるカラーフィルタが繰り返されて配置され、垂直方向に対しては２画素周期で相異なるカラーフィルタが繰り返され、かつ、４ライン毎に１ラインを１画素分水平方向にオフセットさせるように配置されている撮像素子を備えた撮像装置において、上記撮像素子の４Ｎライン（Ｎは１以上の整数）毎に２ライン分の画素の信号を読み出し、上記２ライン分の信号の斜め方向に隣接する２画素の信号の加算と、垂直方向に隣接する２画素の信号の加算とを４Ｎライン毎に交互に行う制御手段を設けたことを特徴とする。
【０００７】
請求項２の発明においては、撮像面に４つの異なる分光特性を持つカラーフィルタを有し、これらのカラーフィルタが水平方向に対しては２画素周期で相異なるカラーフィルタが繰り返されて配置され、垂直方向に対しては２画素周期で相異なるカラーフィルタが繰り返され、かつ、４ライン毎に連続する２ラインを１画素分水平方向にオフセットさせるように配置された撮像素子を備えた撮像装置において、上記撮像素子の４Ｎライン（Ｎは１以上の整数）毎に２ライン分の画素の信号を読み出し、上記２ライン分の信号の斜め方向に隣接する２画素の信号の加算と、垂直方向に隣接する２画素の信号の加算とを４Ｎライン毎に交互に行う制御手段を設けたことを特徴とする。
【０００８】
【作用】
請求項１の発明によれば、制御手段によって撮像素子の４Ｎラインごとに２ライン分の画素の信号を読み出し、上記２ライン分の信号の斜め方向に隣接する２画素の信号の加算と、垂直方向に隣接する２画素の信号の加算とを４Ｎライン毎に交互に行うことにより、撮像素子から所定の行の画素の信号を間引いて読み出すことができるとともに、この間引いて読み出された信号からカラーの映像信号を形成することができる。
【０００９】
請求項２の発明によれば、制御手段によって撮像素子の４Ｎラインごとに２ライン分の画素の信号を読み出し、前記２ライン分の信号の斜め方向に隣接する２画素の信号の加算と、垂直方向に隣接する２画素の信号の加算とを４Ｎライン毎に交互に行うことにより、撮像素子から、所定の行の画素の信号を間引いて読み出すことができるとともに、この間引いて読み出された信号からカラーの映像信号を形成することができ、さらに解像度が良く、色モアレが少ない静止フレーム画像の撮影を行うことができる。
【００１０】
【発明の実施の形態】
図１に本発明の第１の実施の形態による撮像装置に用いられるインターライン型固体撮像素子（以下、固体撮像素子を単に撮像素子と言う）の概略的な構成図を示す。同図において、１０１は光電変換素子からなる感光部、１０２は感光部１０１の各垂直ラインに沿って配置された１１６、１１７、１１８、１１９、１２０、１２１、１２２、１２３のそれぞれ独立に制御可能な８つのＣＣＤからなる垂直転送ＣＣＤ、１０３は垂直転送ＣＣＤ１０２に電気的に接続された１２４、１２５の２つのＣＣＤからなる水平転送ＣＣＤであり、垂直転送ＣＣＤ１０２および水平転送ＣＣＤ１０３は遮光されている。１０４は電荷検出回路、１０５は出力信号の出力端子、１０６、１０７、１０８、１０９、１１０、１１１、１１２、１１３は垂直転送ＣＣＤ１０２の駆動パルスの入力端子であり、それぞれの駆動パルスは１１６、１１７、１１８、１１９、１２０、１２１、１２２、１２３の垂直転送ＣＣＤに供給される。１１４、１１５は水平転送ＣＣＤ１０３の駆動パルスの入力端子であり、それぞれの駆動パルスは１２４、１２５の水平転送ＣＣＤに供給される。
【００１１】
次に上記構成による撮像素子の動作の概略を説明する。
感光部１０１で光電変換された信号電荷は、垂直転送ＣＣＤ１０２に送られ、８相駆動パルスΦＶ１、ΦＶ２、ΦＶ３、ΦＶ４、ΦＶ５、ΦＶ６、ΦＶ７、およびΦＶ８により水平転送ＣＣＤ１０３の方向へ順に転送される。水平転送ＣＣＤ１０３は、垂直転送ＣＣＤ１０２から転送されてきた水平１列分の信号電荷を２相駆動パルスΦＨ１およびΦＨ２により電荷検出回路１０４に転送し、電荷検出回路１０４で電圧に変換して出力端子１０５から出力する。この時の各駆動パルスなど動作の詳細に関しては後述する。
【００１２】
図２に本発明の第１の実施の形態による撮像装置に用いられるインターライン型撮像素子の撮像面に設けられる色フィルタ配列を示す。
図２においては、４つの異なる分光特性を持つカラーフィルタＣｙ、Ｙｅ、Ｇ、Ｍｇを有し、これらは水平方向に対しては２画素周期で相異なるカラーフィルタが繰り返されて配置され、垂直方向に対しては２画素周期で相異なるカラーフィルタが繰り返され、かつ、４ライン毎に１ラインを１画素分水平方向にオフセットさせて配置されることにより、垂直方向に４つの異なるカラーフィルタの内の１つのカラーフィルタが２画素周期で繰り返され、それ以外の２つのカラーフィルタが４画素周期で繰り返されるように配置されている。
【００１３】
次に図２に示した色フィルタ配列を有する撮像素子から信号電荷を読み出す際の駆動方法に関して、ライン間引きをしない通常の第１の駆動方法とライン間引きを行う場合の第２の駆動方法との２通りに分けて以下に詳しく説明する。
まず、第１の駆動方法、すなわちライン間引きをしない通常の読み出し動作について説明する。図３に第１の駆動方法において図１の撮像素子に供給する駆動パルスを示す。また、図４は図３の駆動パルスを撮像素子に供給した際の垂直転送ＣＣＤ１０２および水平転送ＣＣＤ１０３の各ＣＣＤのポテンシャルの状態と電荷が転送されていく状態とを示したものである。
【００１４】
図４において、Ｖ１からＶ８はそれぞれ図１の１１６から１２３に示した垂直転送ＣＣＤ１０２中の各ＣＣＤを示し、Ｈ１は１２４の水平転送ＣＣＤを示すものである。また図３において、各駆動パルスがＨｉｇｈになると転送ＣＣＤのポテンシャルは低くなり、駆動パルスがＬｏｗになると転送ＣＣＤのポテンシャルは高くなる。ただしΦＶ１、ΦＶ３、ΦＶ５、ΦＶ７は３つの電圧値の状態があり、Ｈｉｇｈよりさらに高いレベルは以下に説明する感光部１０１から垂直転送ＣＣＤ１０２への電荷の読み出しを行う際に用いられる。
【００１５】
図３に示すような各駆動パルスが撮像素子に供給されると、全ての感光部１０１に蓄積された電荷は、垂直ブランキング期間（ＶＢＬＫ）内の信号読み出しパルスが供給されたとき、すなわち（３）のΦＶ３、ΦＶ７および（５）のΦＶ１、ΦＶ５の電位が３値の電圧値の１番高いレベルになったときに、感光部１０１に隣接する垂直転送ＣＣＤのＶ３、Ｖ７およびＶ１、Ｖ５のポテンシャルが低くなり、各感光部から垂直転送ＣＣＤ１０２に信号電荷が読み出される。垂直転送ＣＣＤ１０２に読み出された信号電荷は、垂直方向に転送するために、（７）に示すような駆動パルスを供給し、奇数ラインの電荷と偶数ラインの電荷とを加算混合する。
【００１６】
さらに水平ブランキング期間、すなわち図３のＨＢＬＫがＬｏｗの期間に（８）から（１４）に示すような駆動パルスを供給することによって、垂直転送ＣＣＤ１０２の各ＣＣＤのポテンシャルの状態は図４のように変化する。これによって、図から明らかなように垂直転送ＣＣＤの信号電荷は順次垂直方向に転送されていき、ｎ行目の信号電荷と（ｎ−１）行目の信号電荷とが加算混合されたものが水平転送ＣＣＤ１２４（Ｈ１）に転送されることになる。
【００１７】
さらに図３の（１５）の期間、すなわち映像信号期間に図３に示すようにΦＨ１とΦＨ２にそれぞれ逆相の駆動パルスを供給することによって、ポテンシャルの状態は（１５Ａ）と（１５Ｂ）の状態を繰り返し、これにより水平転送ＣＣＤ１０３の信号電荷は水平方向に転送され、電荷検出回路１０４で電圧に変換され、時系列の映像信号として出力端子１０５から順次外部に出力される。
【００１８】
上記の動作を繰り返すことによって、撮像素子に蓄積された電荷は、奇数ラインの信号と偶数ラインの信号とが加算されて全画面分読み出されることになる。また次のフィールドでは、電荷を加算するラインの組み合わせを変え、すなわち（ｎ−１）行目と（ｎ−２）行目、（ｎ−３）行目と（ｎ−４）行目といったように加算して信号を読み出す。
【００１９】
次に、本発明の第２の駆動方法、すなわちライン間引きをする場合の読み出し動作について説明する。図５に第２の駆動方法において撮像素子に供給する駆動パルスを示す。また図６は図５の駆動パルスを撮像素子に供給した際の垂直転送ＣＣＤ１０２および水平転送ＣＣＤ１０３の各ＣＣＤのポテンシャルの状態と電荷が転送されていく状態とを示したものである。
【００２０】
図５に示すような駆動パルスが撮像素子に供給されると、垂直ブランキング期間内に、まず（３）でΦＶ３の信号読み出しパルスにより、（ｎ−２）行目、（ｎ−６）行目、（ｎ−１）行目、………すなわち４行毎の感光部１０１に蓄積されていた信号電荷が垂直転送ＣＣＤ１１８（Ｖ３）に読み出される。そしてこの電荷は（４）から（９）の駆動パルスが供給されることにより垂直転送ＣＣＤ１０２を垂直方向に順次転送される。さらに（１０）でΦＶ１の信号読み出しパルスにより、（ｎ−３）行目、（ｎ−７）行目、（ｎ−１１）行目、………すなわち４行毎の感光部１０１に蓄積されていた信号電荷が垂直転送ＣＣＤ１１６（Ｖ１）に読み出される。以上の動作により、２行飛びに２行分の感光部１０１の信号電荷が垂直転送ＣＣＤ１０２に読み出されたことになる。すなわち４行に２行の電荷が間引かれ、感光部１０１に蓄積された電荷は感光部１０１にそのまま残っていることになる。
【００２１】
さらに水平ブランキング期間に（１３）から（２７）に示すような駆動パルスを供給することによって、垂直転送ＣＣＤ１０２の各ＣＣＤのポテンシャルの状態は図６のように変化する。従って、図から明らかなように垂直転送ＣＣＤ１０２の信号電荷は順次垂直方向に転送されて行き、（２１）までに（ｎ−２）行目の電荷が水平転送ＣＣＤ１２４（Ｈ１）に転送され、（２２）から（２７）で（ｎ−３）行目の電荷が水平転送ＣＣＤ１２１に転送されるので、水平転送ＣＣＤ１２４で（ｎ−２）行目の電荷と（ｎ−３）行目の電荷とが加算混合されることになる。すなわち（ｎ−２）行目と（ｎ−３）行目の垂直方向に隣接する２画素の信号電荷が加算される。さらに図５の（２８）の期間に図５に示すようにΦＨ１とΦＨ２にそれぞれ逆相の駆動パルスを供給することによって、ポテンシャルの状態は（２８Ａ）と（２８Ｂ）の状態を繰り返す。これにより水平転送ＣＣＤ１０３の信号電荷は水平方向に転送され、電荷検出回路１０４で電圧に変換され、時系列の映像信号として出力端子１０５から順次外部に出力される。
【００２２】
次の水平ブランキング期間には、（２９）から（４６）に示すような駆動パルスを供給する。こうすると図６から明らかなように、（３６）までに、まず（ｎ−６）行目の電荷が水平転送ＣＣＤに転送される。ここで（３７）、（３８）のようにΦＨ１、ΦＨ２を変化させ水平転送ＣＣＤの電荷を水平方向に１画素分転送する。これに続いて（３９）から（４６）のような駆動パルスを供給すると、（ｎ−７）行目の電荷が水平転送ＣＣＤに転送される。従って、（４６）では、（ｎ−６）行目の電荷が水平方向に１画素分シフトしたものと（ｎ−７）行目の電荷とが加算されていることになる。すなわち（ｎ−６）行目と（ｎ−７）行目の斜め方向に隣接する２画素の信号電荷が加算される。
【００２３】
さらに（４７）の期間にΦＨ１とΦＨ２にそれぞれ逆相の駆動パルスを供給し、水平転送ＣＣＤ１０３の信号電荷を出力端子１０５から順次外部に出力する。以下、上記２通りの垂直転送の駆動、すなわち垂直方向に隣接する２画素の信号を加算するモードと、斜め方向に隣接する２画素の信号を加算するモードとを繰り返すことにより、２行飛びに１画面分の画像信号を読み出すことができる。さらに次のフィールドでは、上記駆動で読み出さなかった画素の電荷を読み出すようにすればよい。また、本駆動方法で垂直方向に隣接する２画素の信号を加算するモードと、斜め方向に隣接する２画素の信号を加算するモードとを繰り返す理由については、以下に説明する撮像素子から読み出された信号からカラーの映像信号を形成する方法により明らかになるであろう。
【００２４】
図７に本発明の第１の実施の形態による撮像装置の構成ブロック図を示す。
同図において２０１は光学的ローパスフィルタ、レンズ、さらに図１に示した撮像素子などから構成される撮像部、２０２は撮像部２０１の出力信号の前処理回路であり、相関ダブルサンプリング回路（ＣＤＳ回路）やオートゲインコントロール回路（ＡＧＣ回路）などを含む。２０３は入力されたアナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、２０４は撮像部２０１の撮像素子を駆動するためのタイミングパルスを発生する駆動回路、２０５は駆動回路２０４を制御するための制御回路である。
【００２５】
２０６は入力信号に対して所定の帯域に帯域制御をするローパスフィルタ、２０７はγ変換回路、２０８はエンハンス回路、２０９はエンハンス回路２０８から出力される高域の輝度信号とローパスフィルタ２２０から出力される信号とから輝度信号を形成する輝度信号形成回路であり、輝度信号Ｙが出力される。２１１は入力された信号から色分離を行う色分離回路、２１２は加算回路、２１３は減算回路、２１４はラインメモリ、２１５は入力された３つの信号を３原色信号に変換するＲＧＢ変換回路である。さらに２１７はホワイトバランス回路２１８はγ変換回路、２１９は入力される原色信号から輝度信号と色差信号とを生成する色差マトリクス回路、２２０、２２１、２２２はローパスフィルタであり、ローパスフィルタ２２０からは低域の輝度信号ＹＬ、ローパスフィルタ２２１からは色差信号Ｒ−Ｙ、ローパスフィルタ２２２からは色差信号Ｂ−Ｙが出力される。ここで点線で囲んだ部分２１０を輝度信号処理部、２１６を色分離部、２２３を色信号処理部とする。
【００２６】
図７を用いてこの撮像装置における映像信号の処理について説明する。先に説明したように、撮像装置の駆動モードは２通り、すなわちライン間引きを行わない通常の読み出しと、ライン間引きを行う読み出しとの２種類あるので、まず通常の読み出しの場合の処理に関して説明する。
制御回路２０５により制御された駆動回路２０４は、図３に示したような駆動パルスを撮像部２０１に供給することによって、撮像素子は上記通常読み出しのモードで駆動され、撮像信号が読み出される。
【００２７】
ここで読み出される映像信号は先に説明したように、撮像素子の奇数ラインの画素と偶数ラインの画素の信号とが加算されたものが出力されるが、ここでは撮像素子は図２のようなカラーフィルター配列になっているので、
ｎ行目と（ｎ−１）行目とが加算されて出力される信号は、
［Ｍｇ＋Ｃｙ］［Ｇ＋Ｙｅ］［Ｍｇ＋Ｃｙ］［Ｇｇ＋Ｙｅ］………（１）
（ｎ−２）行目と（ｎ−３）行目とが加算されて出力される信号は、
［Ｇ＋Ｃｙ］［Ｍｇ＋Ｙｅ］［Ｇ＋Ｃｙ］［Ｍｇ＋Ｙｅ］ ………（２）
となり、（１）、（２）の繰り返しで１画面分の映像信号が順次信号として出力される。
【００２８】
このような順序で撮像部２０１から読み出された映像信号は、前処理回路２０２でＣＤＳ、ＡＧＣなどの処理をされ、Ａ／Ｄ変換回路２０３でアナログ信号からディジタル信号に変換された後、輝度信号処理部２１０と色分離部２１６とに供給される。輝度信号処理部２１０に供給された映像信号は前記（１）、（２）に示したものであるので、ローパスフィルタ２０６で所定の帯域制限がなされることにより、以下のように時間軸方向に加算された信号が得られる。
ｎ行目と（ｎ−１）行目が加算された信号からは、
Ｙ＝（Ｍｇ＋Ｃｙ）＋（Ｇ＋Ｙｅ）＝２Ｒ＋３Ｇ＋２Ｂ ………（３）
（ｎ−２）行目と（ｎ−３）行目が加算された信号からは、
Ｙ＝（Ｇ＋Ｃｙ）＋（Ｍｇ＋Ｙｅ）＝２Ｒ＋３Ｇ＋２Ｂ ………（４）
が得られる。
【００２９】
これを、輝度信号に対応する信号として用い、γ変換回路２０７、エンハンス回路２０８で所定の処理を行い、高域成分を含む輝度信号ＹＨとし輝度信号形成回路２０９に供給する。この際輝度信号形成回路２０９には後述する方法で生成された低域の輝度信号ＹＬが同時に供給されており、これらを合成して輝度信号Ｙとして出力する。
【００３０】
次に色分離部２１６に入力された信号の処理について説明する。色分離部２１６では撮像素子から順次信号として出力される信号からそれぞれの色信号を分離し、ＲＧＢの３原色信号を生成する。まず、色分離回路２１１に前記（１）に示したような順次信号が入力されたときには、色分離回路２１１では入力された信号を、
Ｓ１＝［Ｇ＋Ｙｅ］ ………（５）
Ｓ２＝［Ｍｇ＋Ｃｙ］ ………（６）
の２つの信号にそれぞれ分離する。
【００３１】
さらに順次信号のため、Ｓ１、Ｓ２、Ｓ１、Ｓ２………というようにそれぞれの色信号は１画素飛びに出力されるため、色の再生ができない。従って信号の抜けている部分を補間する必要がある。補間の方法としては、信号の欠けている画素の前の画素で補間する前置補間や、前後の画素の平均値で補間する平均値補間などを使って行う。
【００３２】
色分離回路２１１で分離された信号は加算回路２１２で加算され、さらに減算回路２１３減算される。加算回路２１２、減算回路２１３から出力される信号は次のようになる。

同様に、色分離回路２１１に入力された信号が（２）のような場合には、

となる。
【００３３】
加算回路２１２、および減算回路２１３から出力された信号はＲＧＢ変換回路２１５に供給される。同時に減算回路２１３からなる出力された信号はラインメモリ２１４に供給され１水平走査期間遅延され、遅延された信号がＲＧＢ変換回路２１５に供給される。従って、前記（９）（１０）式で示される信号がＲＧＢ変換回路２１５に供給されている時には、同時に（８）式で示されている信号が供給されていることになる。
【００３４】
ＲＧＢ変換回路２１５では次に示す演算を行い、３原色の信号Ｒ、Ｇ、Ｂを生成する。

ただし、（Ｓ２−Ｓ１）′で示したのは、ラインメモリ２１４から供給される１ライン分遅延した信号を示すものである。
【００３５】
さらに次のラインではＧ２信号は前記（１１）式と同様に演算し、Ｒ、Ｂはそれぞれ次のように演算すれば得ることができる。

このようにしてＲＧＢ変換回路２１５から出力された３原色信号Ｒ、Ｇ、Ｂはホワイトバラン回路２１７に供給されてホワイトバランスがとられ、γ変換回路２１８でγ変換された後、色差マトリクス回路２１９に供給される。
【００３６】
色マトリクス回路２１９では次に示す演算を行うことにより、低域の輝度信号ＹＬと色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。
【００３７】
【数１】

【００３８】
色差マトリクス回路２１９から出力された信号はローパスフィルタ２２０、２２、２２２で所定の帯域制限をされた後、低域の輝度信号ＹＬは輝度信号形成回路２０９に供給され、さらに色差信号Ｒ−Ｙ、Ｂ−Ｙとして出力される。このようにして得られた映像信号は不図示の回路で所定の信号処理を施して所定の信号形式に変換し、各種記録媒体に記録したり、表示装置に表示したり、外部に出力したりする。
【００３９】
さら次のフィールドでは、加算する行の組み合わせを変え、（ｎ−１）行と（ｎ−２）行、（ｎ−３）行と（ｎ−４）行、………という組み合わせで電荷を加算して読み出す。従ってこのフィールドで読み出される信号は、
（ｎ−１）行と（ｎ−２）行では、
［Ｃｙ＋Ｇ］［Ｙｅ＋Ｍｇ］［Ｃｙ＋Ｇ］［Ｙｅ＋Ｍｇ］ ………（１７）
（ｎ−３）行と（ｎ−４）行では、
［Ｃｙ＋Ｍｇ］［Ｙｅ＋Ｇ］［Ｃｙ＋Ｍｇ］［Ｙｅ＋Ｇ］ ………（１８）
このくり返しで信号が出力される。これは前記（２）（１）と同じであるので以下の処理は先に説明した１フィフールド前の場合と同様に行うことができるので説明は省略する。
【００４０】
次に、ライン間引き読み出しの場合の処理に関して説明する。制御回路２０５によって制御された駆動回路２０４は、前記図５に示したような駆動パルスを撮像部２０１に供給することによって、撮像素子は前記ライン間引き読み出しのモードで駆動され、映像信号が読み出される。ここで読み出される映像信号は先に説明したように、まずｎ行目と（ｎ−１）行目の信号は読み出さずに間引かれる。次に（ｎ−２）行目と（ｎ−３）行目の信号が垂直方向に隣接する画素間で加算されたものが出力される。さらに（ｎ−４）行目と（ｎ−５）行目の信号は読み出さずに間引かれ、（ｎ−６）行目と（ｎ−７）行目の信号は（ｎ−６）行目の信号を１画素分水平方向にシフトしたものに（ｎ−７）行目の信号を加算するので、結果として２行の信号の斜め方向に隣接する画素間で加算されたものが出力される。以上の繰り返しで１画面分の信号が読み出される。
【００４１】
このとき撮像素子は図２のようなカラーフィルタ配列になってるので、（ｎ−２）行目と（ｎ−３）行目が加算されて出力される信号は、
［Ｇ＋Ｃｙ］［Ｍｇ＋Ｙｅ］［Ｇ＋Ｃｙ］［Ｍｇ＋Ｙｅ］ ………（１９）
（ｎ−６）行目と（ｎ−７）行目が加算されて出力される信号は、
［Ｇ＋Ｙｅ］［Ｍｇ＋Ｃｙ］［Ｇ＋Ｙｅ］［Ｍｇ＋Ｃｙ］ ………（２０）
このくり返しで１画面分の映像信号が順次信号として出力される。（１９）（２０）信号は前記（２）（１）の信号と全く同じであるので、ライン間引き読み出しで撮像部２０１から読み出された信号も、２１０の輝度信号処理部、２１６の色分離部、２２３の色信号処理部で、前記通常読み出しの場合と同様の処理を行うことにより、カラーの映像信号を形成することが可能であるので、ここでは動作の詳細な説明は省略する。
【００４２】
さらに次のフィールドでは前のフィールドで読み出さなかったラインの信号を読み出す。すなわち、ｎ行目と（ｎ−１）行目の信号を垂直方向に隣接する画素間で加算して読み出し、次に（ｎ−４）行目と（ｎ−５）行目の信号を斜め方向に隣接する画素間で加算して読み出す。この時に読み出される信号も、図２の色フィルタ配列から明らかなように、前のフィールドの時と全く同じ順序で信号が出力されるため、同様の処理でカラーの映像信号を形成することができることはいうまでもない。
【００４３】
尚、以上の説明では、撮像素子の垂直転送部を８相の駆動パルスで駆動する場合について説明したが、本発明はこれに限られるものではなく、独立に駆動可能な垂直転送ＣＣＤの数を増やせば、先に説明した間引き以外も可能であることはいうまでもない。例えば独立に駆動可能な垂直転送ＣＣＤを１６個として、１６相の駆動パルスで駆動するようにすれば、４ラインに２ラインの間引きだけではなく、８ラインに６ライン間引いて読み出すことも可能となる。このように間引いた場合も、図２の色フィルタ配列から明らかなように上述の説明と同様の処理でカラーの映像信号を形成することができる。
【００４４】
本実施の形態によれば、２次元に複数個の画素が配置れれてなる撮像素子を備え、この撮像素子から所定の行の画素の信号を間引いて読み出すことが可能で、かつ間引いて読み出された信号からもカラー映像信号を形成することができるので、撮像素子から得られる画像の画素数に比べ出力側の画素数が少ない場合に、従来のように、一旦撮像素子の全画素の信号をすべて読み出し、この画素をメモリ等の記憶手段に記憶し、さらにこの画像を出力に必要なライン数に間引く処理を行うためのメモリや処理回路が必要なくなるという効果が得られる。さらにラインを間引いて信号を読み出すことにより、１画面分の画像を読み出すための時間を短縮することが可能となるという効果も得られる。
【００４５】
図８に本発明の第２の実施の形態による撮像装置に用いられる撮像素子の撮像面に設けられる色フィルタ配列を示す。これは本出願人により、解像度が良く、色モアレが少なく、かつ静止フレーム画像も撮影可能な撮像装置に用いられる撮像素子の色フィルタ配列として、特開平６−２０５４２２号公報に開示されているものである。図８に示すものは、オフセットサンプリング構造のカラーフィルタである。このときの撮像素子から全ての画素の信号をそれぞれ独立に読み出して画像を形成することにより、水平方向および垂直方向に発生する色キャリアが少なくなる。これにより、これらの色キャリアにより引き起こされる水平方向および垂直方向の色モアレが低減するとともに、限界解像度まで高い解像度が得られる。
【００４６】
図８においては、４つの異なる分光特性を持つカラーフィルタＣｙ、Ｙｅ、Ｇ、Ｍｇを有し、これらは水平方向に対しては２画素周期で相異なるカラーフィルタが繰り返され、垂直方向に対しては２画素周期で相異なるカラーフィルタが繰り返され、かつ４ライン毎に連続する２ラインを１画素分水平方向にオフセットさせることにより、垂直方向に３画素周期で同一のカラーフィルタが繰り返されるように配置されている。
【００４７】
以下、図８の色フィルタ配列を有する撮像素子の駆動方法について説明する。本実施の形態においては、撮像素子の全ての画素の信号を独立に読み出す第１の読み出しと、第１の実施の形態と同様にライン間引きを行う第２の読み出しとの２通りある。まず第１の読み出しのときの駆動方法について説明する。
図９に第１の読み出しにおいて撮像素子に供給する駆動パルスを示す。また、図１０は図９の駆動パルスを撮像素子に供給した際の垂直転送ＣＣＤ１０２および水平転送ＣＣＤ１０３の各ＣＣＤのポテンシャルの状態と電荷が転送されていく状態とを示したものである。
【００４８】
図９に示すような駆動パルスが撮像素子に供給されると、垂直ブランキング期間内に、まず（３）でΦＶ３の信号読み出しパルスにより、（ｎ−２）行目、（ｎ−６）行目、（ｎ−１０）行目、………すなわち４行毎の感光部１０１に蓄積されていた信号電荷が垂直転送ＣＣＤ１１８（Ｖ３）に読み出される。そしてこの電荷は（４）から（９）の駆動パルスが供給されることにより、垂直転送ＣＣＤを垂直方向に順次転送される。さらに（１０）でΦＶ１の信号読み出しパルスにより、（ｎ−３）行目、（ｎ−７）行目、（ｎ−１１）行目、………すなわち４行毎の感光部１０１に蓄積されていた信号電荷が垂直転送ＣＣＤ１１６（Ｖ１）に読み出される。以上の動作により、２行飛びの感光部１０１の信号電荷が垂直転送ＣＣＤに読み出されたことになる。
【００４９】
さらに水平ブランキング期間に（１３）から（２０）に示すような駆動パルスを供給することによって、垂直転送ＣＣＤ１０２の各ＣＣＤのポテンシャルの状態は図１０のように変化する。従って図から明らかなように垂直転送ＣＣＤの信号電荷は順次垂直方向に転送されて行き、（２０）までに（ｎ−２）行目の電荷が水平転送ＣＣＤ１２４（Ｈ１）に転送される。さらに図１０の（２１）の期間に図９に示すようにΦＨ１とΦＨ２にそれぞれ逆相の駆動パルスを供給することによって、ポテンシャルの状態は（２１Ａ）と（２１Ｂ）の状態を繰り返す。これにより水平転送ＣＣＤ１０３の信号電荷、すなわち（ｎ−２）行目の電荷は水平方向に転送され、電荷検出回路１０４で電圧に変換され、時系列の映像信号として出力端子１０５から順次外部に出力される。次の水平走査期間には、前の走査期間と同様に（２３）から（３２）に示すような駆動パルスを供給することにより、（ｎ−３）行目の電荷が出力端子１０５から時系列の信号として出力される。
【００５０】
以上の動作を繰り返すことにより、このフィールドでは、（ｎ−２）行目、（ｎ−３）行目、（ｎ−６）行目、（ｎ−７）行目………といったように２行飛びに２行分の信号がそれぞれ独立に読み出すことができる。さらに次のフィールドでは、同様にして上記フィールドで読み出さなかった行、すなわちｎ行目、（ｎ−１）行目、（ｎ−４）行目、（ｎ−５）行目………の信号を順次読み出す。このようにすることにより、２フィールドの期間で１画面分の信号を全て独立に読み出すことができることになる。
【００５１】
第１の実施の形態においては、間引き読み出しをしない場合には、図３に示した駆動パルスで２行ずつの信号を加算して読み出したが、本実施の形態では、図９のような駆動パルスで全ての行の信号を独立に読み出す。これは本実施の形態では撮像素子の色フィル配列が図８に示すようになっているため、第１の実施の形態と同様に２行ずつの信号を加算して撮像素子から読み出してしまうと、図８から明らかなように、後の信号処理によってカラーの映像信号が形成できなくなってしまうからである。また本実施の形態の読み出し方法は、上記で説明したように、全ての行の信号を独立に読み出すため、１画面分の信号を読み出すのに２フィールドの期間を必要とするため、動画像の撮影よりも静止画像の撮影に適した読み出し方法である。
【００５２】
次に、第２の読み出し、すなわちライン間引きをする場合の読み出しの動作について説明する。撮像素子に供給する駆動パルスは、第１の実施の形態における第２の駆動の時と同様に図５に示すものである。また、この際の垂直転送ＣＣＤ１０２および水平転送ＣＣＤ１０３の各ＣＣＤのポテンシャルの状態と電荷が転送されていく状態は図６に示したようになる。従って第２の読み出しで読み出される信号は、第１の実施の形態における第２の駆動の時と同様に、２行飛びに２行分の信号が加算された信号が出力され、この時の２行の信号の加算は、垂直方向に隣接する２画素の信号電荷の加算と、斜め方向に隣接する２画素の信号電荷の加算が交互に繰り返される。さらにフィールド毎には前のフィールドで読み出さなかった２行の信号を次のフィールドで読み出すことになる。このようにしてライン間引き、すなわち２行飛びに撮像素子から信号電荷を読み出すことができる。
【００５３】
図１１に本発明の第２の実施の形態による撮像装置の構成ブロック図を示す。同図において図７と同一の構成要素には同一の番号を付してあり、重複する説明を省略する。
図１１において、３０１は入力された信号を記憶するためのメモリ、３０２、３０３、３０４、３０５は各々入力された画像データを同時化するための補間フィルタ、３０６は入力された４つの色信号（Ｍｇ、Ｇ、Ｃｙ、Ｙｅ）からＲ、Ｇ、Ｂの３原色信号に変換するＲＧＢ変換回路２である。３０７はスイッチ回路であり、点線で囲まれた色分離部２１６から出力された信号か、あるいは点線で囲まれたブロック３０８から出力された信号のいずれかを選択して出力する回路である。
【００５４】
以下、図１１を用いてこの撮像装置における映像信号の処理について説明する。先に説明したように、本実施の形態のにおいては撮像素子の駆動モードは２通りあるので、まず第１の読み出しの場合の処理に関して説明する。
制御回路２０５によって制御された駆動回路２０４は、前記図９に示したような駆動パルスを撮像部２０１に供給することによって、撮像素子は駆動され、映像信号が読み出される。撮像部２０１から読み出された映像信号は、前処理回路２０２でＣＤＳ、ＡＧＣなどの処理をされ、Ａ／Ｄ変換回路２０３でアナログ信号からディジタル信号に変換され、後で行われる２次元処理のために一旦バッファメモリ３０１に格納される。この時、撮像部２０１から読み出される信号は、先に説明したように２フィールドで１画面分の信号が読み出されるので、この２フィールド分の信号をバッファメモリ３０１に格納する。
【００５５】
さらに、処理に必要な信号はバッファメモリ３０１から読み出される。輝度信号に対応する信号Ｙ２は、図８に示した撮像素子の色フィルタ配列に対応した順序でバッファメモリ３０１から順次読み出され、スイッチ回路３０７に入力される。スイッチ回路３０７は制御回路２０５によってブロック３０８から供給された信号を輝度信号処理ブロック２１０に出力するように制御される。輝度信号処理部２１０は図７と同じ構成であり、第１の実施の形態と同様に入力された信号に所定の処理を行って、輝度信号Ｙを出力する。一方、色信号Ｍｇ、Ｇ、Ｃｙ、Ｙｅに対応する信号は、バッファメモリ３０１から読み出され、４つの補間フィルタ３０２、３０３、３０４、３０５で各々同時化されてＲＧＢ変換回路２、３０６に入力されてＲ、Ｇ、Ｂの３原色信号に変換される。この変換は、次に示すマトリクス演算により行われる。
【００５６】
【数２】

【００５７】
ここでマトリクスＡは、撮像素子のＭｇ、Ｇ、Ｃｙ、Ｙｅの分光特性Ｍｇ（λ）、Ｇ（λ）、Ｃｙ（λ）、Ｙｅ（λ）を、ＮＴＳＣ規格で定められたＲ、Ｇ、Ｂの分光特性Ｒ（λ）、Ｇ（λ）、Ｂ（λ）に近づけるように最適化された３行４列のマトリクスである。このようにしてＲＧＢ変換回路２、３０６から出力された３原色信号Ｒ２、Ｇ２、Ｂ２はスイッチ回路３０７を介して色信号処理部２２３に供給され、第１の実施の形態と同様に所定の処理をされ、低域の輝度信号ＹＬと色差信号Ｒ−Ｙ、Ｂ−Ｙを出力する。このようにして得られた映像信号は所定の処理を行ったあと、不図示の記録媒体に記録したり、外部に出力されたりすることになる。しかしながら上記方法では１画面分の画像を読み出すのに、前述したように２フィールド必要であるので、静止画像あるいは通常の倍のフレームレートの動画像しか得ることができない。従って通常のフレームレートの動画像を得るためには、先に示したようにライン間引きを行う第２の駆動モードで撮像素子を駆動する必要がある。
【００５８】
次に、第２の読み出しであるライン間引き読み出しの場合の処理に関して説明する。制御回路２０５によって制御された駆動回路２０４は、第１の実施の形態における間引き読み出しの時と同様に、前記図５に示したような駆動パルスを撮像部２０１に供給することによって、撮像素子は前記ライン間引き読み出しのモードで駆動され、映像信号が読み出される。ここで読み出される映像信号は第１の実施の形態と同様に、まずｎ行目と（ｎ−１）行目の信号は読み出さずに間引かれる。次に（ｎ−２）行目と（ｎ−３）行目の信号が垂直方向に隣接する画素間で加算されたものが出力される。さらに（ｎ−４）行目と（ｎ−５）行目の信号は読み出さずに間引かれ、（ｎ−６）行目と（ｎ−７）行目の信号は（ｎ−６）行目の信号を１画素分水平方向にシフトしたものに（ｎ−７）行目の信号を加算するので、結果として２行の信号の斜め方向に隣接する画素間で加算されたものが出力される。以上の繰り返しで１画面分の信号が読み出される。
【００５９】
このとき固体撮像素子は図８のようなカラーフィルタ配列になっているので、（ｎ−２）行目と（ｎ−３）行目から出力される信号は、
［Ｍｇ＋Ｃｙ］［Ｇ＋Ｙｅ］［Ｍｇ＋Ｃｙ］［Ｇ＋Ｙｅ］ ………（２２）
（ｎ−６）行目と（ｎ−７）行目から出力される信号は、
［Ｍｇ＋Ｙｅ］［Ｇ＋Ｃｙ］［Ｍｇ＋Ｙｅ］［Ｇ＋Ｃｙ］ ………（２３）
この繰り返しで１画面分の映像信号が順次信号として出力される。
【００６０】
（２２）（２３）の信号は第１の実施の形態における色フィルタ配列の撮像素子から読み出される信号（１９）（２０）と同じであるので、輝度信号処理部２１０、色分離部２１６、色信号処理部２２３で第１の実施の形態と同様に処理することにより、カラーの映像信号を形成することが可能となる。さらに次のフィールドでは、前のフィールドで読み出さなかったラインの信号を読み出す。すなわち、ｎ行目と（ｎ−１）行目の信号を垂直方向に隣接する画素間で加算して読み出し、次に（ｎ−４）行目と（ｎ−５）行目の信号を斜め方向に隣接する画素間で加算して読み出す。この時に読み出される信号も、図８の色フィルタ配列から明らかなように、前のフィールドの時と同じ信号が出力されるため、同様の処理でカラーの映像信号を形成することができることはいうまでもない。
【００６１】
また以上の説明では、撮像素子の垂直転送部を８相の駆動パルスで駆動する場合について説明したが、第１の実施の形態と同様に本発明はこれに限られるものではなく、独立に駆動可能な垂直転送ＣＣＤの数を増やせば、先に説明した間引き以外も可能であることはいうまでもない。例えば独立に駆動可能な垂直転送ＣＣＤを１６個として、１６相の駆動パルスで駆動するようにすれば、４ラインに２ラインの間引きだけではなく、８ラインに６ライン間引いて読み出すことも可能となる。このように間引いた場合も、図８の色フィルタ配列から明らかなように上記の説明と同様の処理でカラーの映像信号を形成することができる。
【００６２】
本実施の形態によれば、２次元に複数個の画素が配置されてなる撮像素子を備え、この撮像素子から所定の行の画素の信号を間引いて読み出すことが可能で、かつ間引いて読み出された信号からもカラーの映像信号を形成することができるので、第１の実施の形態と同様の効果が得られるとともに、さらに撮像素子の全画素を独立に読み出す駆動方法を用いることにより、第１の実施の形態における撮像素子に比べて解像度が良く、色モアレが少ない静止フレーム画像を撮影することが可能となる。
【００６３】
【発明の効果】
以上説明したように、請求項１の発明によれば、撮像素子から所定の行の画素の信号を間引いて読み出すことができ、かつ間引いて読み出された信号からカラーの映像信号を形成することができる。このため、撮像素子から得られる画像の画素数に比べて出力側の画素数が少ないような場合に、従来のように、一旦撮像素子の全画素の信号をすべて読み出し、この画像をメモリ等の記憶手段に記憶し、さらにこの画像を出力に必要なライン数に間引く処理を行うためのメモリや処理回路を省略できるという効果が得られる。さらにラインを間引いて信号を読み出すことにより、１画素分の画像を読み出すための時間を短縮することができるという効果も得られる。
【００６４】
請求項２の発明によれば、撮像素子から所定の行の画素の信号を間引いて読み出すことができ、かつ間引いて読み出された信号からカラーの映像信号を形成することができる。このため、撮像素子から得られる画像の画素数に比べて出力側の画素数が少ないような場合に、従来のように、一旦撮像素子の全画素の信号をすべて読み出し、この画像をメモリ等の記憶手段に記憶し、さらにこの画像を出力に必要なライン数に間引く処理を行うためのメモリや処理回路を省略できるという効果が得られる。また、ラインを間引いて信号を読み出すことにより、１画面分の画像を読み出すための時間を短縮することができるという効果も得られる。さらに撮像素子の全画素の信号を独立に読み出す駆動方法を用いることにより、解像度が良く、色モアレが少ない静止フレーム画像を撮影することが可能となる。
【図面の簡単な説明】
【図１】本発明の撮像装置に用いられるインターライン型固体撮像素子の構成図である。
【図２】本発明の第１の実施の形態における固体撮像素子の色フィルタ配列を示す構成図である。
【図３】本発明の第１の実施の形態における固体撮像素子の通常読み出し動作のタイミングチャートである。
【図４】本発明の第１の実施の形態における固体撮像素子の通常読み出し時の電荷の転送を説明するタイミングチャートである。
【図５】本発明の第１、２の実施の形態における固体撮像素子のライン間引き読み出し動作のタイミングチャートである。
【図６】本発明の第１、２の実施の形態における固体撮像素子のライン間引き読み出し時の電荷の転送を説明するタイミングチャートである。
【図７】本発明の第１の実施の形態による撮像装置のブロック図である。
【図８】本発明の第２の実施の形態における固体撮像素子の色フィルタ配列を示す構成図である。
【図９】本発明の第２の実施の形態における固体撮像素子の全画素独立読み出し動作のタイミングチャートである。
【図１０】本発明の第２の実施の形態における固体撮像素子の全画素独立読み出し時の電荷の転送を説明するタイミングチャートである。
【図１１】本発明の第２の実施の形態による撮像装置のブロック図である。
【図１２】従来の撮像装置に用いられるインターライン型固体撮像素子の構成図である。
【符号の説明】
１０１感光部
１０２垂直転送ＣＣＤ
１０３水平転送ＣＣＤ
１０４電荷検出回路
１０６〜１１５駆動パルスの入力端子
２０１撮像部
２０４駆動回路
２０５制御回路

Claims

撮像面に４つの異なる分光特性を持つカラーフィルタを有し、これらのカラーフィルタが水平方向に対しては２画素周期で相異なるカラーフィルタが繰り返されて配置され、垂直方向に対しては２画素周期で相異なるカラーフィルタが繰り返され、かつ、４ライン毎に１ラインを１画素分水平方向にオフセットさせるように配置されている撮像素子を備えた撮像装置において、
上記撮像素子の４Ｎライン（Ｎは１以上の整数）毎に２ライン分の画素の信号を読み出し、上記２ライン分の信号の斜め方向に隣接する２画素の信号の加算と、垂直方向に隣接する２画素の信号の加算とを４Ｎライン毎に交互に行う制御手段を設けたことを特徴とする撮像装置。
撮像面に４つの異なる分光特性を持つカラーフィルタを有し、これらのカラーフィルタが水平方向に対しては２画素周期で相異なるカラーフィルタが繰り返されて配置され、垂直方向に対しては２画素周期で相異なるカラーフィルタが繰り返され、かつ、４ライン毎に連続する２ラインを１画素分水平方向にオフセットさせるように配置された撮像素子を備えた撮像装置において、
上記撮像素子の４Ｎライン（Ｎは１以上の整数）毎に２ライン分の画素の信号を読み出し、上記２ライン分の信号の斜め方向に隣接する２画素の信号の加算と、垂直方向に隣接する２画素の信号の加算とを４Ｎライン毎に交互に行う制御手段を設けたことを特徴とする撮像装置。
上記撮像素子は、垂直画素列毎に設けられ垂直方向に電荷を転送する複数の垂直電荷転送素子を備え、上記複数の垂直電荷転送素子の少なくとも８Ｎ個以上の素子が独立に駆動可能であることを特徴とする請求項１又は２に記載の撮像装置。