JP5523068B2 - 固体撮像装置、固体撮像装置の駆動方法、及びコンピュータプログラム - Google Patents

Description

本発明は、固体撮像装置、固体撮像装置の駆動方法、及びコンピュータプログラムに関し、特に、光電変換で得られた電荷を読み出して画像を形成するために用いて好適なものである。

高画素数のインターライン型固体撮像素子においては、一般的に複数回の部分読み出しをして全ての画素の電荷を読み出す方法、つまり１フレームを複数フィールドから構成する読み出し方法が用いられる（特許文献１を参照）。このように複数フィールドで画像信号を読み出す際に、鏡筒や撮像装置の背面等に隙間があると、遮光状態であっても、この隙間から漏れでた光（以降、光漏れと呼ぶ）により露光すると、読み出し順が後のフィールドほどより大きなオフセット成分が乗ってしまう。そのため、フィールド間を合成して１つのフレームにした場合にラインごとに輝度の段差が生じてしまう。

図９に、このような読み出し方式における従来の撮像シーケンスを示す。図９では、時間Ｔの軸（矢印）の方向に時間が進むことを示している。図９において、１段目がメカシャッタの動作を示し、２段目が電子シャッタの動作を示し、３段目が撮像素子から出力されるフィールドを示している。時間ｔ０まで、電子シャッタパルスによりフォトダイオードに残った電荷が基板方向に掃き捨てられる。時間ｔ０から、時間ｔ１でメカシャッタが閉じられるまで露光が行われる。時間ｔ２から時間ｔ６において順次Ａフィールド（Ａfi）、Ｂフィールド（Ｂfi）、Ｃフィールド（Ｃfi）、Ｄフィールド（Ｄfi）、Ｅフィールド（Ｅfi）、Ｆフィールド（Ｆfi）における電荷が読み出される。そして、読み出された電荷は、垂直電荷転送路、水平電荷転送路を転送し、出力部から電圧として出力される。

このとき、時間ｔ１〜ｔ２がＡフィールドにおける光漏れの蓄積時間、時間ｔ１〜ｔ３がＢフィールドにおける光漏れの蓄積時間、時間ｔ１〜ｔ４がＣフィールドにおける光漏れの蓄積時間、時間ｔ１〜ｔ５がＤフィールドにおける光漏れの蓄積時間となる。また、時間ｔ１〜ｔ６がＥフィールドにおける光漏れの蓄積時間、時間ｔ１〜ｔ７がＦフィールドにおける光漏れの蓄積時間となる。

図１０は、６フィールド読み出しの撮像素子を用いて、鏡筒等から光漏れがある場合に、従来の方式で一様面を撮影したときの各ラインの出力レベルを示す図である。具体的に図１０（ａ）は、信号処理を行っていない出力レベルを示し、図１０（ｂ）は、ローパスフィルタ処理を行った後の出力レベルを示す。
Ａフィールド（Ａfi）は最も読み出し順が早く、続いてＢフィールド（Ｂfi）、Ｃフィールド（Ｃfi）、Ｄフィールド（Ｄfi）、Ｅフィールド（Ｅfi）、Ｆフィールド（Ｆfi）の順で電荷が読み出される。Ａフィールド（Ａfi）から順次光漏れによるオフセット成分が増加し、それが６フィールド周期であるため、画像上では６ラインおきの横縞になってしまう。画像処理では画素間の感度ばらつきやノイズ成分の影響を抑えるため、ローパスフィルタ処理を行う。しかし、図１０（ｂ）に示すように、図１０（ａ）に示す結果に対してローパスフィルタ処理を行っても、輝度の段差量は軽減するものの依然として６ラインおきの横縞は残っており段差が目だってしまう。

このようにして生じる輝度の段差に対し、一般的に２種類の方法で対処がなされる。１つ目の手法は、黒画像減算と呼ばれる手法である。この手法は、「メカシャッタを閉じた状態で本露光時と同じ撮影条件で撮影して黒画像を取得し、本露光時の出力画像から黒画像を減算する」という手法である。２つ目の手法は、光漏れによるオフセット成分の最も少ないフィールドとそれ以外のフィールドとの差分から各フィールドの補正信号を算出し、各フィールドから補正信号を減算することで光漏れによるオフセット成分を除去する手法である（特許文献２を参照）。

特開２０００−２０１３５５号公報 特開２００５−１５１１６８号公報

しかしながら、１つ目の手法（黒画像減算）では、本露光と同じ時間だけ撮像装置を露光しなければならず、特に長秒撮影時に非常に長い撮影時間を要してしまう。さらに、黒画像減算を行うことでランダムノイズが増加し、画質の劣化を招く虞がある。
また、２つ目の手法（各フィールドから補正信号を減算する手法）では、出力信号に対して演算処理を行う必要がある。そのため、演算処理に必要なメモリや演算装置を用意しなければならずコストアップに繋がると共に、演算時間を行う期間の分、撮影から画像出力までの時間を要する。また、高感度設定で撮影する場合等、画像にノイズ成分が多く乗っている場合には、補正信号の演算精度を十分に出せない。このため、過補正や補正残りといった問題が発生する虞がある。
本発明は上記問題点を鑑みてなされたものであり、ハードウェアによる対策や出力信号に対する信号処理を行うことなく、光漏れにより生じる輝度段差の画質への影響を軽減することを目的とする。

本発明の固体撮像装置の第１の態様例は、光電変換手段で光電変換された電荷に基づく１フレームの画像を、Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し手段と、前記フィールドの電荷の読み出し順を制御する制御手段と、前記読み出し手段で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ手段と、を有し、前記制御手段は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦Ｎ）が、ｎが奇数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが偶数の場合には、第ｎフィールドから読み出されるラインとならないように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする。
本発明の固体撮像装置の第２の態様例は、光電変換手段で光電変換された電荷に基づく１フレームの画像を、Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し手段と、前記フィールドの電荷の読み出し順を制御する制御手段と、前記読み出し手段で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ手段と、を有し、前記制御手段は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦Ｎ）が、ｎが偶数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが奇数の場合には、第ｎフィールドから読み出されるラインとならないように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする。
本発明の固体撮像装置の第３の態様例は、光電変換手段で光電変換された電荷に基づく１フレームの画像を、２Ｎ＋１（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し手段と、前記フィールドの電荷の読み出し順を制御する制御手段と、前記読み出し手段で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ手段と、を有し、前記制御手段は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦２Ｎ＋１）が、ｎが、１≦ｎ≦２Ｎ＋１であり且つ奇数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが、１≦ｎ≦２Ｎ＋１であり且つ偶数の場合には、第（２Ｎ＋２−ｎ）フィールドとして読み出されるラインとなるように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする。
本発明の固体撮像装置の第４の態様例は、光電変換手段で光電変換された電荷に基づく１フレームの画像を、２Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し手段と、前記フィールドの電荷の読み出し順を制御する制御手段と、前記読み出し手段で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ手段と、を有し、前記制御手段は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦２Ｎ）が、ｎが、１≦ｎ≦Ｎであり且つ奇数の場合、又は、ｎが、Ｎ＋１≦ｎ≦２Ｎであり且つ偶数である場合には、第ｎフィールドとして読み出されるラインとなり、ｎが、１≦ｎ≦Ｎであり且つ偶数の場合、又は、ｎが、Ｎ＋１≦ｎ≦２Ｎであり且つ奇数である場合には、第（２Ｎ＋１−ｎ）フィールドとして読み出されるラインとなるように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする。

本発明によれば、読み出し順で相互に隣接するフィールドにおける輝度の差が小さくなるように、フィールドの画像信号の読み出し順を制御するようにした。したがって、ハードウェアによる対策や出力信号に対する信号処理を行うことなく、光漏れにより生じる輝度段差の画質への影響を軽減することができる。

撮像装置の構成を示す図である。 固体撮像素子の構成を示す図である。 色フィルタアレイの一部を示す図である。 第１の実施形態に係る撮像シーケンスを示す図である。 第１の実施形態に係る各ラインの出力レベルを示す図である。 第２の実施形態に係る撮像シーケンスを示す図である。 第２の実施形態に係る各ラインの出力レベルの第１の例を示す図である。 第２の実施形態に係る各ラインの出力レベルの第２の例を示す図である。 従来の撮像シーケンスを示す図である。 従来の各ラインの出力レベルを示す図である。

以下、図面を参照しながら、本発明の実施形態について説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。本実施形態では、６フィールドで１フレームを構成する撮像素子を例に挙げて説明する。

図１は、撮像素子を用いた撮像装置（固体撮像装置）のシステム構成の概要の一例を示す図である。
図１において、撮像装置１００は、レンズ部１０１（レンズ）と、レンズ駆動部１０２と、メカニカルシャッタ１０３（メカシャッタ）と、絞り１０４と、メカニカルシャッタ・絞り駆動部１０５（シャッタ・絞り駆動部）と、固体撮像素子１０６とを備える。また、撮像装置１００は、ＣＤＳ・Ａ／Ｄ回路１０７（ＣＤＳ・Ａ／Ｄ）と、撮像信号処理回路１０８と、タイミング発生部１０９と、全体制御演算部１１０と、第１メモリ部１１１と、第２メモリ部１１２と、表示部１１３とを備える。さらに、撮像装置１００は、外部インターフェース部（外部Ｉ／Ｆ部）１１４と、記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１１５と、記録媒体１１６と、操作部１１７とを備える。

レンズ部１０１を通った被写体像は、絞り１０４にて適切な光量に調整され、固体撮像素子１０６に結像される。固体撮像素子１０６に結合された被写体像に対して、ＣＤＳ・Ａ／Ｄ回路１０７にて、相関２重サンプリング、ゲイン調整、Ａ／Ｄ変換が行われ、Ｒ、Ｇ１、Ｇ２、Ｂの信号として、撮像信号処理回路１０８に送られる。撮像信号処理回路１０８では、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ＷＢ処理等の各種の画像信号処理、各種の補正、画像データの圧縮等が行われる。

レンズ駆動部１０２によって、ズーム、フォーカス等、レンズ部１０１の駆動制御がされる。メカニカルシャッタ１０３は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。このメカニカルシャッタ１０３と絞り１０４は、メカニカルシャッタ・絞り駆動部１０５によって駆動制御される。タイミング発生部１０９は、固体撮像素子１０６と撮像信号処理回路１０８に各種タイミング信号を出力する。

全体制御演算部１１０は、撮像装置１００全体の制御と各種演算を行う。第１メモリ部１１１は画像データを一時的に記憶する。記録媒体制御インターフェース部１１５は、記録媒体１１６への画像データ等の記録と、記録媒体１１６からの画像データ等の読み出しを行う。表示部１１３は、画像データの表示を行う。記録媒体１１６は、半導体メモリ等の着脱可能な記憶媒体であり、画像データ等を記録する。外部インターフェース部１１４は、外部コンピュータＧ等と通信を行うためのインターフェースである。第２メモリ部１１２は、全体制御演算部１１０での演算結果等を記憶する。操作部１１７にてユーザが設定した撮像装置１００の駆動条件に関する情報は、全体制御演算部１１０に送られ、これらの情報に基づいて、全体制御演算部１１０によって撮像装置１００全体の制御が行われる。

図２は、固体撮像素子１０６の概略構成の一例を示す図である。
図２において、固体撮像素子１０６は、フォトダイオード２０１と、垂直電荷転送路２０２と、水平電荷転送路２０３と、出力部２０４と、バッファストレージセル２０５と、トランスファゲート２０６とを有している。
垂直電荷転送路２０２は、それぞれ、駆動パルスφＶ１〜φＶ１２が加わる転送電極である電極Ｖ１〜Ｖ１２を備えて構成される。また、電極Ｖ１、Ｖ３、Ｖ５、Ｖ７、Ｖ９、Ｖ１１は、フォトダイオード２０１から垂直電荷転送路２０２へ電荷の読み出しを行う読み出し電極を兼ねている。垂直電荷転送路２０２の最終段のバッファストレージセル２０５、トランスファゲート２０６は、それぞれ、駆動パルスφＢＳ、φＴＳが加わる転送電極ＢＳ、ＴＳを備えて構成されている。水平電荷転送路２０３は、それぞれ、２相駆動パルスφＨ１、φＨ２の加わる転送電極である電極Ｈ１、Ｈ２を備えて構成される。

フォトダイオード２０１で光電変換された信号電荷は、タイミング発生部１０９から電極Ｖ１、Ｖ３、Ｖ５、Ｖ７、Ｖ９、Ｖ１１に読み出しパルスを加えることで垂直電荷転送路２０２に送られる。このとき電極Ｖ１により読み出されるフィールドをＡフィールド、電極Ｖ３により読み出されるフィールドをＢフィールド、電極Ｖ５により読み出されるフィールドをＣフィールドとする。同様に、電極Ｖ７により読み出されるフィールドをＤフィールド、電極Ｖ９により読み出されるフィールドをＥフィールド、電極Ｖ１１により読み出されるフィールドをＦフィールドとする。各電極Ｖ１、Ｖ３、Ｖ５、Ｖ７、Ｖ９により読み出された電荷は、さらに駆動パルスφＶ１〜φＶ１２、φＢＳ、φＴＳにより水平電荷転送路２０３の方向へ順に転送される。水平電荷転送路２０３は、垂直電荷転送路２０２から転送されて来た１行分の信号電荷を２相駆動パルスφＨ１及びφＨ２により出力部２０４に転送し、出力部２０４で、転送された信号電荷を電圧に変換し出力する。

図３は、固体撮像素子１０６で使用される色フィルタアレイの一部の一例を示す図である。ここでは、第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列のなかでも、特にベイヤ配列と呼ばれるものであり、高い解像度と優れた色再現性とを備えた色フィルタ配列である。
図３において、第１行目は、第３の色フィルタの緑（Ｇ）と第４の色フィルタの青（Ｂ）のみで構成され、電極Ｖ１で読み出されるＡフィールドである。第２行目は、第１の色フィルタの赤（Ｒ）と第２の色フィルタの緑（Ｇ）のみで構成され、電極Ｖ３で読み出されるＢフィールドである。第３行目は、第３の色フィルタの緑（Ｇ）と第４の色フィルタの青（Ｂ）のみで構成され、電極Ｖ５で読み出されるＣフィールドである。第４行目は、第１の色フィルタの赤（Ｒ）と第２の色フィルタの緑（Ｇ）のみで構成され、電極Ｖ７で読み出されるＤフィールドである。第５行目は、第３の色フィルタの緑（Ｇ）と第４の色フィルタの青（Ｂ）のみで構成され、電極Ｖ９で読み出されるＥフィールドである。第６行目は第１の色フィルタの赤（Ｒ）と第２の色フィルタの緑（Ｇ）のみで構成され、電極Ｖ１１で読み出されるＦフィールドである。第７行目以降も同様に、Ａフィールド、Ｂフィールド、Ｃフィールド・・・と画像領域において６つのフィールドが順番に並ぶように構成されている。

次に、撮像信号処理回路１０８（フィルタ手段）にて、ノイズ低減のために通常行われるローパスフィルタ処理について説明する。処理対象の画素の出力値をＸ（i,j）とし、その垂直方向の隣接画素の出力値をそれぞれＸ（i,ｊ-2）、Ｘ（i,ｊ-1）、Ｘ（i,ｊ+１）、Ｘ（i,ｊ+2）とする。すると、ローパスフィルタ処理後の出力値Ｙ（i,ｊ）は以下の（式１）のように表される（ただし、i、jは０以上の整数）。
Ｙ（i,ｊ）＝｛Ｘ（i,ｊ-2）+4×Ｘ（i,ｊ-1）+6×Ｘ（i,ｊ）+4×Ｘ（i,ｊ+1）+Ｘ（i,ｊ+2）｝／16 ・・・（式１）
一例として、図１０（ａ）に示した出力値に対して（式１）を適用した結果を示す。各ラインの出力値が（Ａfi, Ｂfi, Ｃfi, Ｄfi, Ｅfi, Ｆfi）＝（９,１１,１３,１５,１７,１９）である場合、（式１）のローパスフィルタ処理は以下のように適応される。尚、各ラインのローパスフィルタ処理後の値を、Ａfi', Ｂfi', Ｃfi', Ｄfi', Ｅfi', Ｆfi'とする。

Ａfi'＝｛１７＋４×１９+６×９+４×１１＋１３｝／１６＝１２．８
Ｂfi'＝｛１９＋４×９+６×１１+４×１３＋１５｝／１６＝１１．８
Ｃfi'＝｛９＋４×１１+６×１３+４×１５＋１７｝／１６＝１３．０
Ｄfi'＝｛１１＋４×１３+６×１５+４×１７＋１９｝／１６＝１５．０
Ｅfi'＝｛１３＋４×１５+６×１７+４×１９＋９｝／１６＝１６．３
Ｆfi'＝｛１５＋４×１７+６×１９+４×９＋１１｝／１６＝１５．３

これらの計算結果からも分かるように、背景技術で述べたような従来の駆動方法では、（式１）のローパスフィルタ処理により十分に輝度の段差を軽減できない。
そこで、本実施形態では、輝度段差が軽減されるように、以下のような読み出し順で各フィールドの電荷を読み出した上で、（式１）のローパスフィルタ処理を行うようにする。
本実施形態では、フィールドの分割数がＮ（Ｎは３以上の自然数）である場合について説明する。Ｋ番目に読み出されるフィールドを第Ｋフィールドとし、画像上で第１フィールドとして読み出される１番目のラインを第１行、そこから数えてｎ番目のラインを第ｎ行（ｎは１以上の整数、ｎ≦Ｎ）とする。このとき、第ｎ行のラインが何番目に読み出されるフィールドかを示す関数Ｋ（ｎ）は下記の（式２）で表される。

ｎが偶数のとき Ｋ（ｎ）＝ｎ かつ ｎが奇数のとき Ｋ（ｎ）≠ｎ
又は
ｎが偶数のとき Ｋ（ｎ）≠ｎ かつ ｎが奇数のとき Ｋ（ｎ）＝ｎ
・・・（式２）
（式２）は、第１フィールド（Ａフィールド）から数えて、垂直方向の正の方向の並び順であっても、負の方向の並び順であっても同様に適応されるものとする。このように本実施形態では、ｎが奇数（偶数）の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが偶数（奇数）の場合には、第ｎフィールドから読み出されるラインとならないように、フィールドの電荷の読み出し順を決定するようにしている。

フィールドの分割数ＮがＮ＝６であるとき、（式２）を満たすように画像上では、例えば、以下のように読み出されるラインが順に並ぶ。すなわち、第５フィールド（Ｅフィールド）、第２フィールド（Ｂフィールド）、第１フィールド（Ａフィールド）、第４フィールド（Ｄフィールド）、第３フィールド（Ｃフィールド）、第６フィールド（Ｆフィールド）として読み出されるラインが順に並ぶ。

図４は、（式２）に従う読み出し順でフィールドの信号を読み出す場合の全体制御演算部１１０（制御手段）の制御による撮像装置１００の撮像シーケンスの一例を示す図である。図４では、時間Ｔの軸（矢印）の方向に時間が進むことを示している。図４において、１段目がメカニカルシャッタ１０３の動作を示し、２段目が電子シャッタの動作を示し、３段目が固体撮像素子１０６から出力されるフィールドを示している。時間ｔ０まで、電子シャッタパルスによりフォトダイオード２０１に残った電荷が基板方向に掃き捨てられる。時間ｔ０から、時間ｔ１でメカニカルシャッタ１０３が閉じられるまで露光が行われる。フォトダイオード２０１の電荷を読み出す前に、時間ｔ１〜ｔ２の期間において、垂直電荷転送路２０２、水平電荷転送路２０３を高速に駆動させることで、垂直電荷転送路２０２に発生した暗電流成分等の不要電荷が掃き出される。時間ｔ２において、タイミング発生部１０９（読み出し手段）から電極Ｖ９に読み出しパルスが加えられると、Ｅフィールド（Ｅfiと記載）の電荷が読み出される。読み出された電荷は、垂直電荷転送路２０２、水平電荷転送路２０３を転送し、出力部２０４にて電圧に変換され出力される。続いて同様に、タイミング発生部１０９（読み出し手段）から電極Ｖ３、Ｖ１、Ｖ７、Ｖ５、Ｖ１１に順次読み出しパルスを印加して、以下のフィールドの電荷が読み出される。すなわち、Ｂフィールド（Ｂfi）、Ａフィールド（Ａfi）、Ｄフィールド（Ｄfi）、Ｃフィールド（Ｃfi）、Ｆフィールド（Ｆfi）の電荷が読み出される。そして、読み出された電荷は、垂直電荷転送路２０２、水平電荷転送路２０３を転送し、出力部２０４から電圧として出力される。

図５は、鏡筒等から光漏れがある状態で一様面（輝度が均一な面）を撮影し、図４に示した撮像シーケンスで電荷を読み出した際の各ラインの出力レベルの一例を示す図である。具体的に図５（ａ）は、固体撮像素子１０６から出力されＣＤＳ・Ａ／Ｄ回路１０７を経て撮像信号処理回路１０８に入る直前の出力レベルを示し、図５（ｂ）は、撮像信号処理回路１０８でローパスフィルタ処理を行った後の出力レベルを示す。
光漏れがあるため、図４の時間ｔ１以降も各フィールドにおいて電荷が読み出されるまで露光され、それがオフセット成分として信号成分に重畳する。この光漏れによるオフセット成分は、読み出しの最も遅いＦフィールドで最も大きくなり、ついでＣフィールド、Ｄフィールド、Ａフィールド、Ｂフィールド、Ｅフィールドの順に大きくなり、ラインごとの輝度段差となる。

（式１）の演算では、相互に隣接する画素（隣接画素）の影響の比重が大きい。このため、この特性に合わせて、隣接画素間での平均値が全てのラインで同じような出力レベルになる並びにすることで、図５（ｂ）に示すように隣接画素との差分平滑化が有効的に作用することとなる。

本実施形態では、従来のように読み出したフィールド順のまま画像上に並べる方法に対し、画像上の偶数ライン又は奇数ラインのどちらか一方の読み出し順を変えるようにしている。本実施形態では、このようにすることによって、ローパスフィルタによる平滑化を有効に作用させることができるようになり、輝度段差の軽減を実現することが可能となる。

図４では、偶数ラインの読み出し順を固定する（変えない）場合の例を示したが、奇数ラインの読み出し順を固定する場合も同様に、ローパスフィルタによる平滑化を有効に作用させる並び順を実現できる。例えば、フィールド分割数Ｎ＝６であるとき、例えば、第１フィールド、第４フィールド、第３フィールド、第６フィールド、第５フィールド、第２フィールドの順で各ラインの電荷が読み出されるようにすることができる。

以上のように本実施形態では、奇数ライン目（偶数ライン目）のフィールドの読み出し順を固定し、偶数ライン目（奇数ライン目）のフィールドの全ての読み出し順を変えて読み出した電荷に基づく信号に対してローパスフィルタ処理を行うようにした。具体的に、輝度が均一の面の撮像により固体撮像素子１０６から出力された出力信号に対してローパスフィルタ処理を行ったときに、出力画像上でのフィールド間の信号差が所定値以下となるような読み出し順番とする。本実施形態では、このようにして、光漏れによる横縞の空間周波数が高くなるように、読み出すフィールドの順番を変えることによって、読み出し順が隣り合うフィールド間の輝度の差を、読み出し順の変更前よりも小さくすることができる。よって、複数のフィールド読み出しを行う固体撮像装置で撮像された画像において、鏡筒や撮像装置の背面等の隙間から入射した光によって生じる輝度段差の画質への影響を、ハードウェアによる対策や出力信号に対する信号処理を行うことなく軽減できる。

尚、本実施形態では、６フィールドで１フレームを構成する撮像素子を例として示しているが、１フレームの分割数が６以外であっても同様に実現できる。
また、本実施形態では、（式１）のローパスフィルタにより輝度段差の軽減に有効な読み出し順を示したが、（式１）以外のローパスフィルタであってもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態と第１の実施形態とは、フィールドの読み出し順を決定する方法が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図５に付した符号と同一の符号を付す等して詳細な説明を省略する。
本実施形態では、輝度段差が軽減されるように、以下のような読み出し順で各フィールドの電荷を読み出した上で、（式１）のローパスフィルタ処理を行うようにする。

まず、フィールドの分割数が奇数（２Ｎ＋１（Ｎは１以上の整数））である場合について説明する。Ｋ番目に読み出されるフィールドを第Ｋフィールドとし、画像上で第１フィールドとして読み出される１番目のラインを第１行、そこから数えてｎ番目のラインを第ｎ行（ｎは１以上の整数、ｎ≦２Ｎ＋１）とする。このとき、第ｎ行のラインが何番目に読み出されるフィールドかを示す関数Ｋ（ｎ）は、以下の（式３）、（式４）で表される。

（１≦ｎ≦２Ｎ＋１,ｎは奇数）のとき Ｋ（ｎ）＝ｎ ・・・（式３）
（１≦ｎ≦２Ｎ＋１,ｎは偶数）のとき Ｋ（ｎ）＝２Ｎ＋２−ｎ ・・・（式４）

（式３）及び（式４）は、第１フィールドから数えて、垂直方向の正の方向の並び順であっても、負の方向の並び順であっても同様に適応されるものとする。
例えば、フィールドの分割数が５（Ｎ＝２）であるとき、（式３）及び（式４）を満たすように画像上では、第１フィールド、第４フィールド、第３フィールド、第２フィールド、第５フィールドとして読み出されるラインが順に並ぶ。この場合、Ｋ（１）＝１、Ｋ（２）＝４、Ｋ（３）＝３、Ｋ（４）＝２、Ｋ（５）＝５となる。同様にフィールドの分割数が９（Ｎ＝４）であるとき、画像上では、第１フィールド、第８フィールド、第３フィールド、第６フィールド、第５フィールド、第４フィールド、第７フィールド、第２フィールド、第９フィールドとして読み出されるラインが順に並ぶ。この他、フィールドの分割数が３、７、１１・・・であっても２Ｎ＋１（Ｎは１以上の整数）で表される奇数であれば同様に（式３）及び（式４）に従って並び順（読み出し順）を変えることで、輝度段差の影響を最小限に抑えることができる。

次に、フィールドの分割数が偶数（２Ｎ（Ｎは２以上の整数））である場合について説明する。Ｋ番目に読み出されるフィールドを第Ｋフィールドとし、画像上で第１フィールドとして読み出される１番目のラインを第１行、そこから数えてｎ番目のラインを第ｎ行（ｎは１以上の整数、ｎ≦２Ｎ）とする。このとき、第ｎ行のラインが何番目に読み出されるフィールドかを示す関数Ｋ（ｎ）は、以下の（式５）〜（式８）で表される。

（１≦ｎ≦Ｎ,ｎは奇数）のとき Ｋ（ｎ）＝ｎ ・・・（式５）
（１≦ｎ≦Ｎ,ｎは偶数）のとき Ｋ（ｎ）＝２Ｎ＋１−ｎ ・・・（式６）
（Ｎ＋１≦ｎ≦２Ｎ,ｎは奇数）のとき Ｋ（ｎ）＝２Ｎ＋１−ｎ ・・・（式７）
（Ｎ＋１≦ｎ≦２Ｎ,ｎは偶数）のとき Ｋ（ｎ）＝ｎ ・・・（式８）

（式５）〜（式８）は、第１フィールドから数えて、垂直方向の正の方向の並び順であっても、負の方向の並び順であっても同様に適応されるものとする。
例えば、フィールドの分割数が６（Ｎ＝３）であるとき、画像上では、第１フィールド、第５フィールド、第３フィールド、第４フィールド、第２フィールド、第６フィールド
として読み出されるラインが順に並ぶ。この場合、Ｋ（１）＝１、Ｋ（２）＝５、Ｋ（３）＝３、Ｋ（４）＝４、Ｋ（５）＝２、Ｋ（６）＝６となる
同様に、フィールドの分割数が８（Ｎ＝４）であるとき、画像上では、第１フィールド
第７フィールド、第３フィールド、第５フィールド、第４フィールド、第６フィールド、第２フィールド、第８フィールドとして読み出されるラインが順に並ぶ。この他、フィールドの分割数が４、１０、１２・・・であっても２Ｎ（Ｎは２以上の整数）で表される偶数であれば同様に（式５）〜（式８）に従って並び順（読み出し順）を変えることで、輝度段差の影響を最小限に抑えることが出来る。

以上のフィールドの読み出し順は、既存のローパスフィルタにより輝度段差を軽減するのに最も有効な読み出し順をシュミレーションした結果から導かれたものであり、フィールドの分割数が３以上の如何なる場合に対しても有効である。

図６は、フィールドの分割数が６であり、（式５）〜（式８）に従う読み出し順でフィールドの信号を読み出す場合の全体制御演算部１１０（制御手段）の制御による撮像装置１００の撮像シーケンスの一例を示す図である。時間ｔ０〜ｔ２までの動作は、図４で説明した動作と同じであるため、ここでは詳細な説明を省略する。

時間ｔ２において、タイミング発生部１０９（読み出し手段）から電極Ｖ３に読み出しパルスが加えられると、Ａフィールド（Ａfi）の電荷が読み出される。読み出された電荷は、垂直電荷転送路２０２、水平電荷転送路２０３を転送し、出力部２０４にて電圧に変換されて出力される。続いて同様に、タイミング発生部１０９（読み出し手段）から電極Ｖ９、Ｖ５、Ｖ７、Ｖ３、Ｖ１１に順次読み出しパルスを印加して、以下のフィールドの電荷が読み出される。すなわち、Ｅフィールド（Ｅfi）、Ｃフィールド（Ｃfi）、Ｄフィールド（Ｄfi）、Ｂフィールド（Ｂfi）、Ｆフィールド（Ｆfi）の電荷が読み出される。そして、読み出された電荷は、垂直電荷転送路２０２、水平電荷転送路２０３を転送し、出力部２０４から電圧として出力される。

図７は、鏡筒等から光漏れがある状態で一様面（輝度が均一な面）を撮影し、図６に示した撮像シーケンスで電荷を読み出した際の各ラインの出力レベルの一例を示す図である。具体的に図７（ａ）は、固体撮像素子１０６から出力されＣＤＳ・Ａ／Ｄ回路１０７を経て撮像信号処理回路１０８に入る直前の出力レベルを示し、図７（ｂ）は、撮像信号処理回路１０８でローパスフィルタ処理を行った後の出力レベルを示す。
図７（ｂ）に示すように、本実施形態では、フィールドの分割数が３以上の如何なる分割数であっても、第１の実施形態で説明したのと同様の効果が得られる。

図８は、鏡筒等から光漏れがある状態で、５フィールドで１フレームを構成する固体撮像素子により一様面（輝度が均一な面）を撮影し、（式３）及び（式４）に従う撮像シーケンスで電荷を読み出した際の各ラインの出力レベルの一例を示す図である。具体的に図８（ａ）は、固体撮像素子１０６から出力されＣＤＳ・Ａ／Ｄ回路１０７を経て撮像信号処理回路１０８に入る直前の出力レベルを示し、図８（ｂ）は、撮像信号処理回路１０８でローパスフィルタ処理を行った後の出力レベルを示す。図８（ｂ）に示すように、６フィールドで１フレームを構成する固体撮像素子以外の固体撮像素子であっても、１フレームの分割数が６のものと同様の効果を奏する。
また、本実施形態では、（式１）のローパスフィルタにより輝度段差の軽減に有効な読み出し順を示したが、（式１）以外のローパスフィルタであってもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

１００ 撮像装置、１０６ 固体撮像素子、１０８ 撮像信号処理回路

Claims (11)

1. 光電変換手段で光電変換された電荷に基づく１フレームの画像を、Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し手段と、
   前記フィールドの電荷の読み出し順を制御する制御手段と、
   前記読み出し手段で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ手段と、を有し、
   前記制御手段は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦Ｎ）が、ｎが奇数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが偶数の場合には、第ｎフィールドから読み出されるラインとならないように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする固体撮像装置。
2. 光電変換手段で光電変換された電荷に基づく１フレームの画像を、Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し手段と、
   前記フィールドの電荷の読み出し順を制御する制御手段と、
   前記読み出し手段で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ手段と、を有し、
   前記制御手段は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦Ｎ）が、ｎが偶数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが奇数の場合には、第ｎフィールドから読み出されるラインとならないように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする固体撮像装置。
3. 光電変換手段で光電変換された電荷に基づく１フレームの画像を、２Ｎ＋１（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し手段と、
   前記フィールドの電荷の読み出し順を制御する制御手段と、
   前記読み出し手段で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ手段と、を有し、
   前記制御手段は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦２Ｎ＋１）が、ｎが、１≦ｎ≦２Ｎ＋１であり且つ奇数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが、１≦ｎ≦２Ｎ＋１であり且つ偶数の場合には、第（２Ｎ＋２−ｎ）フィールドとして読み出されるラインとなるように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする固体撮像装置。
4. 光電変換手段で光電変換された電荷に基づく１フレームの画像を、２Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し手段と、
   前記フィールドの電荷の読み出し順を制御する制御手段と、
   前記読み出し手段で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ手段と、を有し、
   前記制御手段は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦２Ｎ）が、
   ｎが、１≦ｎ≦Ｎであり且つ奇数の場合、又は、ｎが、Ｎ＋１≦ｎ≦２Ｎであり且つ偶数である場合には、第ｎフィールドとして読み出されるラインとなり、
   ｎが、１≦ｎ≦Ｎであり且つ偶数の場合、又は、ｎが、Ｎ＋１≦ｎ≦２Ｎであり且つ奇数である場合には、第（２Ｎ＋１−ｎ）フィールドとして読み出されるラインとなるように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする固体撮像装置。
5. 前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値が、前記ラインのそれぞれで同じになるようにしたことを特徴とする請求項１〜４の何れか１項に記載の固体撮像装置。
6. 光電変換手段で光電変換された電荷に基づく１フレームの画像を、Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し工程と、
   前記フィールドの電荷の読み出し順を制御する制御工程と、
   前記読み出し工程で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ工程と、を有し、
   前記制御工程は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦Ｎ）が、ｎが奇数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが偶数の場合には、第ｎフィールドから読み出されるラインとならないように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする固体撮像装置の駆動方法。
7. 光電変換手段で光電変換された電荷に基づく１フレームの画像を、Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し工程と、
   前記フィールドの電荷の読み出し順を制御する制御工程と、
   前記読み出し工程で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ工程と、を有し、
   前記制御工程は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦Ｎ）が、ｎが偶数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが奇数の場合には、第ｎフィールドから読み出されるラインとならないように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする固体撮像装置の駆動方法。
8. 光電変換手段で光電変換された電荷に基づく１フレームの画像を、２Ｎ＋１（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し工程と、
   前記フィールドの電荷の読み出し順を制御する制御工程と、
   前記読み出し工程で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ工程と、を有し、
   前記制御工程は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦２Ｎ＋１）が、ｎが、１≦ｎ≦２Ｎ＋１であり且つ奇数の場合には、第ｎフィールドとして読み出されるラインとなり、ｎが、１≦ｎ≦２Ｎ＋１であり且つ偶数の場合には、第（２Ｎ＋２−ｎ）フィールドとして読み出されるラインとなるように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする固体撮像装置の駆動方法。
9. 光電変換手段で光電変換された電荷に基づく１フレームの画像を、２Ｎ（Ｎは整数）個のフィールドに分割し、分割したフィールドごとに異なるタイミングでそれぞれのフィールドの電荷を読み出す読み出し工程と、
   前記フィールドの電荷の読み出し順を制御する制御工程と、
   前記読み出し工程で読み出された電荷に基づく画像信号に対して行うローパスフィルタ処理として、前記画像の垂直方向における隣接画素間の平滑化を行うフィルタ工程と、を有し、
   前記制御工程は、Ｋ番目（Ｋは１以上の整数）に読み出すフィールドを第Ｋフィールドとし、出力される画像上において第１フィールドとして読み出されるラインを１番目のラインとしたときのｎ番目のライン（ｎは１以上の整数であり且つｎ≦２Ｎ）が、
   ｎが、１≦ｎ≦Ｎであり且つ奇数の場合、又は、ｎが、Ｎ＋１≦ｎ≦２Ｎであり且つ偶数である場合には、第ｎフィールドとして読み出されるラインとなり、
   ｎが、１≦ｎ≦Ｎであり且つ偶数の場合、又は、ｎが、Ｎ＋１≦ｎ≦２Ｎであり且つ奇数である場合には、第（２Ｎ＋１−ｎ）フィールドとして読み出されるラインとなるように、前記フィールドの電荷の読み出し順を制御して、前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値の差が、前記ラインのそれぞれで所定の範囲内になるようにすることを特徴とする固体撮像装置の駆動方法。
10. 前記ローパスフィルタ処理がなされた後の前記垂直方向で隣接する画素間の光漏れによる輝度の平均値が、前記ラインのそれぞれで同じになるようにしたことを特徴とする請求項６〜９の何れか１項に記載の固体撮像装置の駆動方法。
11. 請求項６〜１０の何れか１項に記載の固体撮像装置の駆動方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images