以下、本発明の実施形態を図面に基づいて説明する。なお、以下に説明する実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
(第1の実施形態)
図1から図5を参照して、本発明の第1の実施形態について説明する。図1は、本実施形態に係る撮像装置の構成例を示すブロック図である。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラなどに応用可能である。本実施形態の撮像装置は、図1に示すように、光学系11、撮像素子12、信号処理部13、圧縮伸張部14、同期制御部15、操作部16、画像表示部17、及び画像記録部18を有する。
光学系11は、被写体からの光を撮像素子12に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、絞り機構などを備えている。これらのうちの可動部は、同期制御部15からの制御信号に基づいて駆動される。
撮像素子12は、CMOS型イメージセンサ(CMOSセンサ)、CDS(Correlated Double Sampling)回路、AGC(Auto Gain Control)回路、AD(Analog Digital)変換器などからなる。撮像素子12は、同期制御部15からの制御信号により制御される。ここで、CMOSセンサは、XYアドレス方式で画像信号を読み出す。また、CMOSセンサは、同期制御部15からの制御信号に応じて、露光や信号読み出し、リセットなどの動作タイミングが制御されて撮像動作を実施する。そして、CDS回路によるノイズ除去、AGC回路による利得制御、及び、AD変換器によるアナログデジタル変換を経て、デジタル化された画像信号が出力される。
信号処理部13は、同期制御部15の制御の下で、撮像素子12から入力されるデジタル化された画像信号に対して、ホワイトバランス調整処理や色補正処理、AF(Auto Focus)処理、AE(Auto Exposure)処理などの信号処理を施す。圧縮伸張部14は、同期制御部15の制御の下で動作し、信号処理部13からの画像信号に対して、所定の静止画像データフォーマットで圧縮符号化処理を行う。所定の静止画像データフォーマットは、例えばJPEG(Joint Photographic Coding Experts Group)方式などである。また、圧縮伸張部14は、同期制御部15から供給された静止画像の符号化データを伸張復号化処理する。さらに、MPEG(Moving Picture Experts Group)方式などにより動画像の圧縮符号化/伸張復号化処理を実行可能なようにしても良い。
同期制御部15は、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成されるマイクロコントローラである。同期制御部15は、ROMなどに記憶されたプログラムをCPUが実行することにより、撮像装置の各部を統括的に制御する。操作部16は、例えばシャッタレリーズボタンなどの各種操作キーやレバー、ダイヤルなどから構成され、ユーザによる入力操作に応じた制御信号を同期制御部15に出力する。
画像表示部17は、LCD(Liquid Crystal Display)などの表示デバイスや、これに対するインタフェース回路などからなる。画像表示部17は、同期制御部15から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。画像記録部18は、例えば、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)、磁気テープなどとして実現され、圧縮伸張部14により符号化された画像データファイルを同期制御部15から受け取って記憶する。また、画像記録部18は、同期制御部15からの制御信号により指定されたデータを読み出し、同期制御部15に出力する。
ここで、本実施形態の撮像装置における基本的な動作について説明する。
静止画像の撮像前には、撮像素子12から出力された画像信号が信号処理部13に順次供給される。信号処理部13は、撮像素子12からのデジタル画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部15を通じて画像表示部17に供給する。これにより、カメラスルー画像が表示され、ユーザは表示画像を見て画角合わせを行うことが可能となる。
この状態で、操作部16のシャッタレリーズボタンが押下されると、同期制御部15の制御により、撮像素子12からの1フレーム分の画像信号が信号処理部13に取り込まれる。信号処理部13は、取り込んだ1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部14に供給する。圧縮伸張部14は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部15を通じて画像記録部18に供給する。これにより、撮像された静止画像のデータファイルが画像記録部18に記録される。
画像記録部18に記録された静止画像のデータファイルを再生する場合には、同期制御部15は、操作部16からの操作入力に応じて、選択されたデータファイルを画像記録部18から読み込み、圧縮伸張部14に供給して伸張復号化処理を実行させる。復号化された画像信号は、同期制御部15を介して画像表示部17に供給され、これにより静止画像が再生表示される。
また、動画像を記録する場合には、信号処理部13で順次処理された画像信号に圧縮伸張部14で圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部18に転送して記録する。画像記録部18から動画像のデータファイルを読み出して圧縮伸張部14に供給し、伸張復号化処理させて、画像表示部17に供給することで、動画像が表示される。
図2は、本実施形態に係る撮像素子(CMOSセンサ)12の概略構成を示す図である。撮像素子12は、複数の画素100が配された画素領域101、垂直走査部102、第1信号選択部105a及び第2信号選択部105b、第1列信号処理部106a及び第2列信号処理部106b、第1列AD部107a及び第2列AD部107bを有する。また、撮像素子12は、第1水平メモリ部108a及び第2水平メモリ部108b、第1水平走査部109a及び第2水平走査部109b、第1出力部110a及び第2出力部110b、信号生成部(TG:Timing Generator)112を有する。
画素領域101は、図2にP11〜P84で示すように複数の画素100が行方向(水平方向)・列方向(垂直方向)に行列状(マトリクス状)に配列されている。各画素100は、不図示の光電変換部とトランジスタとを有する。ここで、例えば、P11〜P14は1行目となる4画素を示し、P81〜P84は8行目となる4画素を示す。本実施形態においては、4×8配列(4列8行)の画素領域101を例として説明するが、画像領域101における画素配列は、この数に限定されるものではない。
垂直走査部102は、画素領域101に配列されている画素を1行ずつ選択し、選択した画素行のリセット動作や読み出し動作を駆動制御する。画素制御線103は、画素行毎に配置されて同一行の画素に共通して接続され、垂直走査部102による行単位の駆動制御信号を伝達する。
垂直信号線104は、画素列毎に配置されて同一列の画素に共通して接続され、画素制御線103により選択された行の画素の信号がそれぞれ対応する垂直信号線104に読み出される。垂直信号線104は、第1信号選択部105aを介して第1列信号処理部106aに接続可能であるとともに、第2信号選択部105bを介して第2列信号処理部106bに接続可能である。すなわち、信号選択部105a、105bは、垂直信号線104を第1列信号処理部106a或いは第2列信号処理部106bのどちらか一方に選択的に接続するスイッチとして機能する。
列信号処理部106a、106bは、それぞれ垂直信号線104毎に設けられる不図示のCDS回路やAGC回路を有する。列信号処理部106a、106bは、垂直信号線104を通して送られてくる行単位の各列の画素の信号に対して、CDS処理により固定パターンノイズを除去して、S/N(Signal/Noise)比を良好に保つようにサンプルホールドを行う。固定パターンノイズは、画素回路内のトランジスタのしきい値のばらつきに起因するノイズである。また、列信号処理部106a、106bは、必要であれば、AGC回路による利得制御を実施する。
列AD部107a、107bは、垂直信号線104毎に設けられるAD変換器を有する。列AD部107a、107bは、それぞれ対応する列信号処理部106a、106bから送られてくる行単位の各列の画素の信号のそれぞれをアナログデジタル変換する。ここで、本実施形態の列AD部107a、107bは、すべて8ビット(bit)精度のAD変換器を有するものとするが、ビット精度においては、10ビット、12ビット、14ビット等のさらに高精度なAD変換器を用いても良い。
水平メモリ部108a、108bは、それぞれ対応する列AD部107a、107bにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、本実施形態の水平メモリ部108a、108bは、対応する列AD部107a、107bにあわせて各列毎に8ビットのデジタル信号を記憶できるものとするが、AD変換器のビット精度に応じたビット数のデジタル信号が記憶できれば良い。
水平走査部109a、109bは、それぞれ対応する水平メモリ部108a、108bに記憶しているデジタル化された画素信号を、それぞれ対応する出力部110a、110bに列毎に選択して転送するように、水平メモリ部108a、108bを制御する。
出力部110a、110bは、デジタル化された行単位の画素信号の前或いは前後に同期信号を付加する。また、出力部110a、110bは、同期信号付きのデジタル画素信号を、それぞれ対応する出力端子111a、111bから信号処理部13へ出力する。TG112は、制御端子113を介した同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力する。
本実施形態に係る出力部110a、110bについて説明する。以下では、第1出力部110aについて説明するが、第2出力部110bについても同様である。図3は、本実施形態に係る出力部110aの構成を示す図である。第1出力部110aは、第1信号変換部201a、第1同期信号付加部202a、及び第1差動送信バッファ203aを有する。
第1信号変換部201aには、8ビットに対応する8本の水平信号線を介して、第1水平メモリ部108aから送られてくる画素信号D0a、D1a、D2a、D3a、D4a、D5a、D6a及びD7aが入力される。また、第1信号変換部201aには、TG112からクロック信号として送られてくる画素クロック信号Sckaが入力される。画素クロック信号Sckaは、第1水平走査部109aの転送と同じ周期の信号である。第1信号変換部201aは、画素クロック信号Sckaの位相と同期するように、8ビットの画素信号D0a〜D7aの位相を調整する。
第1信号変換部201aは、さらに、例えば黒レベル調整、列ばらつき補正、信号増幅、色関係処理等を実施しても良い。黒レベル調整は、画素領域101の周辺に配置された不図示の遮光された画素の信号レベルが、予め同期制御部15によって設定されたレベルになるように、すべての画素信号のレベルを同じだけシフトする機能である。列ばらつき補正は、画素領域101の上部或いは下部に配置された不図示の遮光された画素の信号から列方向のばらつき補正データを作成し、列信号処理部106及び列AD部107で発生する画素信号における列方向のばらつきを補正する機能である。信号増幅は、画像処理において適正な信号レベルとなるように、画素信号にゲインをかける機能である。例えば、信号処理部13が事前に撮像された画像から適切なゲイン量を算出して、同期制御部15がゲインを設定するような制御が可能である。色関係処理は、例えばホワイトバランス(WB)処理である。画素領域101の各画素100に対して、不図示のRGBの色フィルタが、例えばベイヤ配列等の配列に従って設けられている。例えば、信号処理部13が事前に撮像された画像から適切なWB処理を施す色毎のゲイン量を算出して、同期制御部15が色毎のゲインを設定するような制御が可能である。
第1同期信号付加部202aは、画素クロック信号Sckaの位相と同期した状態で、画素信号D0a〜D7aのそれぞれに対して、スタート同期信号及び、必要に応じてエンド同期信号を付加する。ここで、同期信号を付加するタイミングは、同期制御部15からの制御信号に基づいて、TG112から出力される制御信号により制御される。
第1差動送信バッファ203aは、同期信号を付加した画素信号D0a〜D7a及び画素クロック信号Sckaのそれぞれに対して設けられ、それぞれのパルス信号と同極性の正転信号と逆極性の反転信号とを同時に出力する。本実施形態においては、正転画素信号がD0Pa〜D7Pa、反転画素信号がD0Na〜D7Naとなり、正転画素クロック信号がSckPa、反転画素クロック信号がSckNaとなっている。
ここで、出力部110a、110bに入力される画素クロック信号は、同じ信号がTG112から送られてくるものとするが、TG112から出力部110a、110bのそれぞれまでの距離に応じた遅延が発生する。そのため、出力部110a、110bにそれぞれ入力される画素クロック信号Scka、Sckbは区別して用いるものとする。
また、図3に示す第1出力部110aの第1差動送信バッファ203aは、電流モードで差動動作をさせるLVDS(Low Voltage Differential Signaling)を利用することができる。こうすることで、耐ノイズ性や不要輻射の問題に対して有利になる。
すなわち、正転信号に相当するパルス信号のみの単相(シングル)出力では、高速になるほどパルス波形に鈍りやリンギングなどの成分が発生し易くなり、その影響を直接に被る。これに対して、差動動作をさせるLVDSにおいては、差動出力の両方を使って波形再生することが可能となるので、耐ノイズ性が改善する。この点は、画素信号に限らず、画素クロック信号についても同様の効果が得られる。
さらに、正転信号に相当するパルス信号のみの単相出力では、パルスの変化に対応して送信側である出力回路と受信側である入力回路の間で電流が行き来するので、そのたびに不要輻射の原因となる電磁界が発生し、周辺回路や固体撮像装置の外部に影響を与える。これに対して、電流モードで差動動作をさせるLVDSにおいては、送信側出力回路と受信側入力回路の間で電流が行き来するものの、常に正転信号と反転信号における切り換わりのタイミングが同時であり、発生する電磁界の向きが互いに逆方向となる。よって、双方が発生した電磁界を打ち消し合うようになり、不要輻射の原因となる電磁界の発生が大幅に低減されることになる。なお、この効果をより高めるには、差動信号における正転信号と反転信号の2つの出力線を近接して配置するとともに、差動送信バッファと差動受信バッファの間の接続距離が極力同じになるように回路設計をする必要がある。
次に、図4を用いて、第1の実施形態での動作を説明する。図4は、第1の実施形態に係る撮像素子12の動作例を示すタイミングチャートである。図4において、HDは、撮像素子12を駆動するための水平同期信号を示し、立ち下がりで有効となり、Thdが1つの水平同期期間となっている。また、HSは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となり、Thsが1つのサブ水平同期期間となっている。ここで、サブ水平同期信号HSは、撮像素子12がN個(Nは2以上の整数)の出力部を有する場合、1水平同期期間ThdにN行の画素の信号を読み出すよう、1水平同期期間ThdをN分割した周期(間隔毎)で立ち下がるよう作られている。本実施形態に係る撮像素子12は、第1出力部110a及び第2出力部110bの2つの出力部を有するため、2行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号HSは、水平同期期間Thdを2等分した周期で立ち下がるよう作られている。このため、水平同期期間Thdが、サブ水平同期期間Thsの2倍の長さとなっている。
Opr1は、第1信号選択部105aが選択されたときの第1の読み出し動作を示し、Opr2は、第2信号選択部105bが選択されたときの第2の読み出し動作を示す。第1の読み出し動作Opr1は、水平同期信号HDに同期して、或いは、水平同期信号HDに同期するサブ水平同期信号HSの1回目に同期して動作を開始する。第2の読み出し動作Opr2は、水平同期信号HDに同期するサブ水平同期信号HSの2回目に同期して動作を開始する。ここで、画素領域101に配列されている画素のうち、奇数行目の画素の信号を第1の読み出し動作Opr1を用いて読み出し、偶数行目の画素の信号を第2の読み出し動作Opr2を用いて読み出すことにする。
まず、はじめに、第1の読み出し動作Opr1について説明する。撮像素子12は、水平同期信号HDに同期するサブ水平同期信号HSの1回目に同期して第1の読み出し動作Opr1を開始する(時刻t00)。期間Rd1rにおいて、第1信号選択部105aが選択された状態で、垂直走査部102からの駆動制御信号により、1行目の画素の信号がそれぞれ対応する垂直信号線104に読み出される(時刻t00〜t01)。このとき、最初に画素をリセットした状態のN信号が、第1列信号処理部106aでサンプルホールドされ、続いて光電変換部の信号を読み出した状態のS信号が、第1列信号処理部106aでサンプルホールドされる。
次に、期間CDS1rにおいて、第1列信号処理部106aが、CDS回路でS信号からN信号を減算することによってCDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(時刻t01〜t02)。そして、期間AD1rにおいて、第1列AD部107aが、ノイズ除去された1行目の画素の信号をアナログデジタル変換して、第1水平メモリ部108aへ記憶させる(時刻t02〜t03)。ここまでの時刻t00〜t03での処理が、1行目の各画素の信号に対する列毎の並列処理になる。
続いて、期間SD1rにおいて、第1出力部110a内の第1同期信号付加部202aが画素クロック信号Sckaの位相と同期した状態で、8ビットの画素信号が送られてくる前にスタート同期信号を付加する(時刻t03〜t04)。このとき、スタート同期信号は、8ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。黒レベル調整後の黒レベルが0より高い値に設定されている場合には、画素信号を構成する8ビットのそれぞれの信号に対して、例えば、スタート同期信号として“11110000”を付加することで実現できる。
具体的には、期間SD1rとして画素クロック信号Sckaの8クロックを割り当てる。そして、期間SD1rの間に、8ビットの正転画素信号であるD0Pa〜D7Paのそれぞれが、D0Pa=11110000からD7Pa=11110000を出力する。同様に、期間SD1rの間に、8ビットの反転画素信号であるD0Na〜D7Naのそれぞれが、D0Na=00001111からD7Na=00001111を出力する。このとき、正転画素クロック信号SckPa及び反転画素クロック信号SckNaには、スタート同期信号を付加しない。
次に、期間SigOut1rにおいて、第1水平走査部109aが第1水平メモリ部108aを列毎に選択し、第1水平メモリ部108aに記憶しているデジタル化された8ビットの画素信号D0a〜D7aを第1出力部110aに転送する。そして、第1信号変換部201aが、TG112から送られてくる画素クロック信号Sckaの位相と同期するように、8ビットの画素信号D0a〜D7aの位相を調整する。その後、第1差動送信バッファ203aが、8ビットそれぞれの信号に対応する正転信号と反転信号に変換して、第1出力端子111aから出力する(時刻t04以降)。
さらに、続けて、期間ED1rにおいて、第1出力部110a内の第1同期信号付加部202aが画素クロック信号Sckaの位相と同期した状態で、8ビットの画素信号が送り出された後にエンド同期信号を付加する(時刻t07まで)。このとき、エンド同期信号は、8ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、スタート同期信号と区別するために、画素信号を構成する8ビットのそれぞれの信号に対して、例えば、エンド同期信号として“11001100”を付加することで実現できる。
具体的には、期間ED1rとして画素クロック信号Sckaの8クロックを割り当てる。そして、期間ED1rの間に、8ビットの正転画素信号であるD0Pa〜D7Paのそれぞれが、D0Pa=11001100からD7Pa=11001100を出力する。同様に、期間ED1rの間に、8ビットの反転画素信号であるD0Na〜D7Naのそれぞれが、D0Na=00110011からD7Na=00110011を出力する。このとき、正転画素クロック信号SckPa及び反転画素クロック信号SckNaには、エンド同期信号を付加しない。ここまでの時刻t03〜t07の期間が、スタート同期信号及びエンド同期信号を付加した1行目の各画素の信号の出力期間になる。
第1の読み出し動作Opr1においては、1行目の画素の信号の出力後、続けて3行目の画素の信号を出力する。時刻t08〜t11の期間が、3行目の各画素の信号について、列毎の読み出し、CDS処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻t11〜t15の期間が、スタート同期信号及びエンド同期信号を付加した3行目の各画素の信号の出力期間になる。さらに、第1の実施形態においては、画素領域101に配列されている画素100は8行であるため、時刻t16以降で、5行目及び7行目の画素の信号を同様に読み出し、その後、再び1行目の画素の信号の読み出し動作が開始される。
次に、第2の読み出し動作Opr2について説明する。撮像素子12は、水平同期信号HDに同期するサブ水平同期信号HSの2回目に同期して第2の読み出し動作Opr2を開始する(時刻t04)。ここで、撮像素子12においては、垂直信号線104が垂直画素列共通に配線されているため、第2の読み出し動作Opr2は、1行目の画素の信号を読み出す期間Rd1r終了以降(時刻t01以降)に動作を開始する必要がある。本実施形態においては、水平同期期間Thdを2分割したサブ水平同期期間Thsが、期間Rd1rより長く設定されているので、2回目のサブ水平同期信号HSは、期間Rd1r終了後、十分に時間が経過した後に設けられている(時刻t04)。
まず、期間Rd2rにおいて、第2信号選択部105bが選択された状態で、垂直走査部102からの駆動制御信号により、2行目の画素の信号がそれぞれ対応する垂直信号線104に読み出される。すなわち、2行目の画素の信号のN信号とS信号をそれぞれ対応する垂直信号線104を介して第2列信号処理部106bに読み出す(時刻t04〜t05)。
次に、期間CDS2rにおいて、第2列信号処理部106bが、CDS回路でCDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(時刻t05〜t06)。そして、期間AD2rにおいて、第2列AD部107bが、2行目の画素の信号をアナログデジタル変換して、第2水平メモリ部108bへ記憶させる(時刻t06〜t07)。ここまでの時刻t04〜t07での処理が、2行目の各画素の信号に対する列毎の並列処理になる。
続いて、期間SD2rにおいて、第2出力部110b内の不図示の第2同期信号付加部が画素クロック信号Sckbの位相と同期した状態で、8ビットの画素信号が送られてくる前にスタート同期信号を付加する(時刻t07〜t08)。このとき、スタート同期信号は、8ビットの画素信号が取り得ない値の組み合わせに設定しておく必要があり、画素信号を構成する8ビットのそれぞれの信号に対して、例えば、スタート同期信号として“11110000”を付加することで実現できる。具体的な8ビットのそれぞれの信号に対するスタート同期信号は、第1の読み出し動作Opr1におけるスタート同期信号と同様であるので、説明は省略する。
ここで、第2の読み出し動作Opr2においては、期間Rd1rの開始から1サブ水平同期期間Ths後に、期間Rd2rが開始している。そのため、スタート同期信号を付加する期間SD2rも期間SD1rから1サブ水平同期期間Thsに相当する時間だけ遅れて開始する必要がある。
次に、期間SigOut2rにおいて、第2水平走査部109bが第2水平メモリ部108bを列毎に選択し、第2水平メモリ部108bに記憶しているデジタル化された8ビットの画素信号D0b〜D7bを第2出力部110bに転送する。そして、第2出力部110bの不図示の第2信号変換部が、TG112から送られてくる画素クロック信号Sckbの位相と同期するように、8ビットの画素信号D0b〜D7bの位相を調整する。その後、第2出力部110bの不図示の第2差動送信バッファが、8ビットそれぞれの信号に対応する正転信号と反転信号に変換して、第2出力端子111bから出力する(時刻t08以降)。
さらに、続けて、期間ED2rにおいて、第2出力部110b内の第2同期信号付加部が画素クロック信号Sckbの位相と同期した状態で、8ビットの画素信号が送り出された後にエンド同期信号を付加する(時刻t11まで)。このとき、エンド同期信号は、8ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、スタート同期信号と区別するために、画素信号を構成する8ビットのそれぞれの信号に対して、例えば、エンド同期信号として“11001100”を付加することで実現できる。具体的な8ビットのそれぞれの信号に対するエンド同期信号は、第1の読み出し動作Opr1におけるエンド同期信号と同様であるので、説明は省略する。ここまでの時刻t07〜t11の期間が、スタート同期信号及びエンド同期信号を付加した2行目の各画素の信号の出力期間になる。
第2の読み出し動作Opr2においては、2行目の画素の信号の出力後、続けて4行目の画素の信号を出力する。時刻t12〜t15の期間が、4行目の各画素の信号について、列毎の読み出し、CDS処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻t15以降が、スタート同期信号及びエンド同期信号を付加した4行目の各画素の信号の出力期間になる。さらに、第1の実施形態においては、画素領域101に配列されている画素100は8行であるため、4行目の各画素の信号の出力後で、6行目及び8行目の画素の信号を同様に読み出し、その後、再び2行目の画素の信号の読み出し動作が開始される。
このように、第1の実施形態においては、第1の読み出し動作Opr1と第2の読み出し動作Opr2を、1サブ水平同期期間Thsに相当する時間だけずらせて動作させる。このため、TG112は、期間Rd1r、期間CDS1r、期間AD1rの間に実施する1行目の画素の信号の読み出しから第1水平メモリ部108aへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、TG112は、同時に、1サブ水平同期期間Thsに相当する時間だけずらせて、2行目の画素の信号の読み出しから第2水平メモリ部108bへの記憶までの列毎の並列処理動作を制御することが可能となっている。
さらに、TG112は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した1行目の画素の信号及び2行目の画素の信号の出力動作をそれぞれ制御することが可能となっている。ここで、1行目の画素の信号に付加したスタート同期信号の出力動作は、1行目の画素の信号の並列処理動作の終了後で、3行目の画素に係る期間Rd3rの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。また、2行目の画素の信号に付加したスタート同期信号の出力動作も、2行目の画素の信号の並列処理動作の終了後で、4行目の画素に係る期間Rd4rの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。さらに、1行目の画素の信号に付加したスタート同期信号と2行目の画素の信号に付加したスタート同期信号の出力開始タイミングの差も、期間Rd3rの開始及び期間Rd4rの開始に影響しなければ、1サブ水平同期期間Thsである必要はない。
これら期間Rd1rの開始タイミング、期間Rd2rの開始タイミング、期間SD1rの開始タイミング及び期間SD2rの開始タイミングは、同期制御部15からの制御信号に基づいて、TG112が個別にかつ適宜設定できる。
以上の説明は、第1の読み出し動作Opr1と第2の読み出し動作Opr2の関係について述べたものである。読み出し動作が繰り返される場合には、2行目の画素の信号を読み出す第2の読み出し動作Opr2と3行目の画素の信号を読み出す第1の読み出し動作Opr1の関係についても同様であり、その後に読み出されるすべての画素行に適応可能である。
また、本実施形態において、スタート同期信号及びエンド同期信号は、それぞれ“11110000”及び“11001100”に設定したが、これに限定されるものではない。スタート同期信号及びエンド同期信号が区別でき、かつ、8ビットの画素信号が取り得ない値の組み合わせであれば良いので、例えば、スタート同期信号を“11001100”及びエンド同期信号を“11110000”のように逆にしても良い。また、例えば、スタート同期信号を“1111111100000000”及びエンド同期信号を“1111000011110000”のように長さを長くしても良い。さらに、撮像素子12の出力信号の画素数は、予め決まっているので、同期制御部15が信号処理部13に対して、1行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号は省略可能である。
図5は、本実施形態に係る信号処理部13の入力部分の構成を示す図であり、信号処理部13での信号処理が可能となるように、撮像素子12から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能な構成になっている。信号処理部13は、第1入力部401a、第2入力部401b、同期信号解読部403、及び内部メモリ404を有する。
第1入力部401a及び第2入力部401bには、第1出力部110a及び第2出力部110bからの画素の信号が、それぞれ第1入力端子402a及び第2入力端子402bを介して入力される。信号処理部13に入力される信号は、図3を用いて説明した、1つの信号が正転画素信号及び反転画素信号からなる差動信号であるので、不図示の差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、同時に入力される画素クロック信号と信号処理部13の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部13の信号処理クロック信号の位相に同期させる処理も行う。
同期信号解読部403は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404に記憶させる。内部メモリ404は、行単位の画素信号を記憶する。1行目から8行目までの画素信号を記憶する領域を、便宜的にそれぞれmP1r〜mP8rとして示している。
ここで、図4に示した動作が実施された場合について説明する。第1入力部401aから同期信号解読部403に1行目の画素の信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404の領域mP1rに記憶する。次に、第2入力部401bから同期信号解読部403に2行目の画素の信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404の領域mP2rに記憶する。
このとき、内部メモリ404に対しては、1行目の画素の信号の記憶動作と2行目の画素の信号の記憶動作を同時に行うことになるが、内部メモリ404の異なる領域に対する記憶動作なので、制御可能となっている。1行目及び2行目の画素の信号の記憶動作に続いて、3行目及び4行目の画素の信号の記憶動作も同様に行う。
そして、内部メモリ404の領域mP1r〜mP8rに記憶された1行目〜8行目の画素の信号は、同期制御部15からの制御信号に基づいて、内部メモリ端子405から1行毎に信号処理されていくことになる。その後、続けて1行目の画素の信号が入力された場合には、また最初から領域mP1rに記憶すればよい。
以上のように、本実施形態においては、複数の出力手段の信号それぞれに対して、読み出し時間差に応じて個別にスタート同期信号を設定することで、出力信号の同期制御の手段を提供することができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、読み出し時間差に対応した信号処理部の入力信号の同期制御が実現可能である。これにより、複数の画素の信号を共通の読み出し手段と異なる出力手段を用いて別々に出力することが可能となるので、撮像装置における高速読み出し動作が実現できる。
さらに、本実施形態においては、サブ水平同期信号HSが水平同期期間Thdを2分割した周期で作られ、奇数行目の画素の信号をサブ水平同期信号HSの1回目に同期して読み出し、偶数行目の画素の信号をサブ水平同期信号HSの2回目に同期して読み出す。これにより、行毎の読み出しタイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができ、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりするのを防止することができる。
ここで、本実施形態における水平同期信号HDは、一般に水平走査部109の転送と同じ周期の画素クロック信号Sckと同期していることが多い。そして、水平同期信号HDを2分割したサブ水平同期信号HSが画素クロック信号Sckで奇数になる場合、サブ水平同期信号HSをカウントするときの1回目と2回目で奇数カウントと偶数カウントを繰り返すことになる。その場合には、カウンタはすべて偶数カウントの方が設計しやすいので、サブ水平同期信号HSのクロック数を、画素クロック信号Sckで偶数カウントすなわち2の倍数にして、水平同期信号HDを、サブ水平同期信号HSの2倍のクロック数にしてやればよい。
また、本実施形態においては、2回目のサブ水平同期信号HSが、期間Rd1rの終了後、十分に時間が経過した後に設けられている。しかしながら、垂直信号線104が垂直画素列に共通に配線されているため、期間Rd1rがサブ水平同期期間Thsより長い場合には、第2の読み出し動作Opr2を開始することができない。そのときには、第2信号選択部105b以降を停止させ、第1水平メモリ部108a及び第1出力部110aを用いて、1行毎に水平同期期間に同期させて読み出せば良い。
(第2の実施形態)
次に、図1に加えて、図6〜図9を参照して、本発明の第2の実施形態について説明する。なお、第2の実施形態では、撮像装置の基本的な構成及び動作は、第1の実施形態と同様であるので、図及び符号を流用して説明する。第1の実施形態における撮像素子12は、水平メモリ部及び出力部をそれぞれ2組ずつ備えることで、2行同時出力による高速読み出し動作を実現している。以下に説明する第2の実施形態においては、水平メモリ部及び出力部をそれぞれ4組ずつ備えることで、さらなる高速読み出し動作を実現する。
図6は、本実施形態に係る撮像素子12の概略構成を示す図である。撮像素子12は、複数の画素100が配された画素領域101、垂直走査部102、第1信号選択部105a及び第2信号選択部105b、第1列信号処理部106a及び第2列信号処理部106b、第1列AD部107a及び第2列AD部107bを有する。また、撮像素子12は、第1メモリ選択部114a及び第2メモリ選択部114b、第1水平メモリ部108a、第2水平メモリ部108b、第3水平メモリ部108c及び第4水平メモリ部108dを有する。また、撮像素子12は、第1水平走査部109a及び第2水平走査部109b、第1出力部110a、第2出力部110b、第3出力部110c及び第4出力部110d、及びTG(Timing Generator)112を有する。
画素領域101は、図6にP11〜P164で示すように複数の画素100が行方向(水平方向)・列方向(垂直方向)に行列状(マトリクス状)に配列されている。各画素100は、不図示の光電変換部とトランジスタとを有する。ここで、例えば、P11〜P14は1行目となる4画素を示し、P161〜P164は16行目となる4画素を示す。本実施形態においては、4×16配列(4列16行)の画素領域101を例として説明するが、画像領域101における画素配列は、この数に限定されるものではない。
垂直走査部102、画素制御線103、垂直信号線104、信号選択部105a、105b、列信号処理部106a、106b、及び列AD部107a、107bは、図2に示した第1の実施形態における撮像素子と同じ動作を行うため、説明は省略する。
第1メモリ選択部114aは、第1列AD部107aにおいてアナログデジタル変換された行単位の画素の信号を、第1水平メモリ部108a或いは第3水平メモリ部108cのどちらか一方に選択的に接続するスイッチとなっている。第2メモリ選択部114bは、第2列AD部107bにおいてアナログデジタル変換された行単位の画素の信号を、第2水平メモリ部108b或いは第4水平メモリ部108dのどちらか一方に選択的に接続するスイッチとなっている。
第1水平メモリ部108a及び第3水平メモリ部108cは、第1列AD部107aにおいてデジタル化された行単位の各列の画素信号を記憶する。第2水平メモリ部108b及び第4水平メモリ部108dは、第2列AD部107bにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、水平メモリ部108a、108b、108c、108dは、対応する列AD部107a、107bにあわせて各列毎に8ビットのデジタル信号を記憶できるものとするが、AD変換器のビット精度に応じたビット数のデジタル信号が記憶できれば良い。
第1水平走査部109aは、水平メモリ部108a、108cに記憶しているデジタル化された画素信号を、それぞれ対応する出力部110a、110cに列毎に選択して転送するように、水平メモリ部108a、108bを制御する。第2水平走査部109bは、水平メモリ部108b、108dに記憶しているデジタル化された画素信号を、それぞれ対応する出力部110b、110dに列毎に選択して転送するように、水平メモリ部108b、108dを制御する。
出力部110a、110b、110c及び110dは、デジタル化された行単位の画素信号の前或いは前後に同期信号を付加する。また、出力部110a、110b、110c及び110dは、同期信号付きのデジタル画素信号を、それぞれ対応する出力端子111a、111b、111c及び111dから信号処理部13へ出力する。TG112は、制御端子113を介した同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号などを出力する。
本実施形態に係る出力部110a、110b、110c、110dについて説明する。以下では、第1出力部110aについて説明するが、第2出力部110b、第3出力部110c、第4出力部110dについても同様である。図7は、本実施形態に係る出力部110aの構成を示す図である。第1出力部110aは、第1信号変換部201a、第1パラシリ変換部204a、第1同期信号付加部202a、及び第1差動送信バッファ203aを有する。
第1信号変換部201aには、8ビットに対応する8本の水平信号線を介して、第1水平メモリ部108aから送られてくる画素信号D0a、D1a、D2a、D3a、D4a、D5a、D6a及びD7aが入力される。また、第1信号変換部201aには、TG112からクロック信号として送られてくる画素クロック信号Sckaが入力される。画素クロック信号Sckaは、第1水平走査部109aの転送と同じ周期の信号である。第1信号変換部201aは、画素クロック信号Sckaの位相と同期するように、8ビットの画素信号D0a〜D7aの位相を調整する。第1信号変換部201aは、さらに、図3に示した第1の実施形態における第1信号変換部において説明した黒レベル調整、列ばらつき補正、信号増幅、色関係処理等を実施しても良い。
第1パラシリ変換部204aには、画素クロック信号Sckaの位相と同期した8ビットの画素信号D0a〜D7a、及びTG112からクロック信号として送られてくる画素クロック信号Sckaの2倍の周波数をもつ逓倍クロック信号H2ckaが入力される。第1パラシリ変換部204aは、逓倍クロック信号H2ckaを用いて、8ビットがそれぞれ8本並列に入力される画素信号D0a〜D7aをパラレル・シリアル変換する。例えば、画素信号D0a〜D7aを、画素信号D0a・D1a、画素信号D2a・D3a、画素信号D4a・D5a及び画素信号D6a・D7aのように、逓倍クロック信号H2ckaに同期した2ビット直列の4本並列した画素信号に変換して出力する。ここで、逓倍クロック信号H2ckaは、画素クロック信号Sckaの2倍の周波数をもつので、画素クロック信号Scka当たりのデータ転送量は変化しない。
第1同期信号付加部202aは、逓倍クロック信号H2ckaの位相と同期した状態で、画素信号D0a・D1a、D2a・D3a、D4a・D5a及びD6a・D7aのそれぞれに対して、スタート同期信号及び、必要に応じてエンド同期信号を付加する。ここで、同期信号を付加するタイミングは、同期制御部15からの制御信号に基づいて、TG112から出力される制御信号により制御される。
第1差動送信バッファ203aは、同期信号を付加した画素信号D0a・D1a、D2a・D3a、D4a・D5a及びD6a・D7a、及び逓倍クロック信号H2ckaのそれぞれに対して設けられる。第1差動送信バッファ203aは、それぞれのパルス信号と同極性の正転信号と逆極性の反転信号とを同時に出力する。本実施形態においては、正転画素信号がD0Pa〜D7Pa、反転画素信号がD0Na〜D7Naとなり、正転逓倍クロック信号がH2ckPa、反転逓倍クロック信号がH2ckNaとなっている。
ここで、出力部110a、110b、110c、110dに入力される画素クロック信号及び逓倍クロック信号は、同じ信号がTG112から送られてくるものとする。しかし、TG112から出力部110a、110b、110c、110dのそれぞれまでの距離に応じた遅延が発生する。そのため、出力部110a、110b、110c、110dにそれぞれ入力される画素クロック信号Scka、Sckb、Sckc、Sckd、及び逓倍クロック信号H2cka、H2ckb、H2ckc、H2ckdは区別して用いるものとする。
次に、図8を用いて、第2の実施形態での動作を説明する。図8は、第2の実施形態に係る撮像素子12の動作例を示すタイミングチャートである。図8において、HDは、撮像素子12を駆動するための水平同期信号を示し、立ち下がりで有効となり、Thdが1つの水平同期期間となっている。また、HSは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となり、Thsが1つのサブ水平同期期間となっている。本実施形態に係る撮像素子12は、第1出力部110a、第2出力部110b、第3出力部110c及び第4出力部110dの4つの出力部を有するため、4行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号HSは、水平同期期間Thdを4等分した周期で立ち下がるよう作られている。このため、水平同期期間Thdが、サブ水平同期期間Thsの4倍の長さとなっている。
Opr1は、第1信号選択部105aが選択され、かつ、第1メモリ選択部114aにより第1水平メモリ部108aに接続したときの第1の読み出し動作を示す。Opr2は、第2信号選択部105bが選択され、かつ、第2メモリ選択部114bにより第2水平メモリ部108bに接続したときの第2の読み出し動作を示す。Opr3は、第1信号選択部105aが選択され、かつ、第1メモリ選択部114aにより第3水平メモリ部108cに接続したときの第3の読み出し動作を示す。Opr4は、第2信号選択部105bが選択され、かつ、第2メモリ選択部114bにより第4水平メモリ部108dに接続したときの第4の読み出し動作を示す。
画素領域101に配列されている画素のうち、1行目、5行目、9行目及び13行目の画素の信号を第1の読み出し動作Opr1を用いて読み出し、2行目、6行目、10行目及び14行目の画素の信号を第2の読み出し動作Opr2を用いて読み出すことにする。また、3行目、7行目、11行目及び15行目の画素の信号を第3の読み出し動作Opr3を用いて読み出し、4行目、8行目、12行目及び16行目の画素の信号を第4の読み出し動作Opr4を用いて読み出すことにする。
まず、はじめに、第1の読み出し動作Opr1について説明する。撮像素子12は、水平同期信号HDに同期するサブ水平同期信号HSの1回目に同期して第1の読み出し動作Opr1を開始する(時刻t60)。まず、期間Rd1rにおいて、第1信号選択部105aが選択された状態で、垂直走査部102からの駆動制御信号により、1行目の画素の信号がそれぞれ対応する垂直信号線104に読み出される(時刻t60〜t61)。このとき、最初に画素をリセットした状態のN信号が、第1列信号処理部106aでサンプルホールドされ、続いて光電変換部の信号を読み出した状態のS信号が、第1列信号処理部106aでサンプルホールドされる。
次に、期間CDS1rにおいて、第1列信号処理部106aが、CDS回路でS信号からN信号を減算することによってCDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(時刻t61〜t62)。そして、期間AD1rにおいて、第1列AD部107aが、ノイズ除去された1行目の画素の信号をアナログデジタル変換する。第1の読み出し動作Opr1においては、第1メモリ選択部114aにより第1水平メモリ部108aに接続しているので、デジタル信号に変換された1行目の画素の信号は、第1水平メモリ部108aに記憶される(時刻t62〜t63)。ここまでの時刻t60〜t63での処理が、1行目の各画素の信号に対する列毎の並列処理になる。
続いて、期間SD1rにおいて、第1出力部110a内の第1同期信号付加部202aが逓倍クロック信号H2ckaの位相と同期した状態で、2ビット直列4本並列した画素信号が送られてくる前にスタート同期信号を付加する(時刻t63〜t64)。ここで付加されるスタート同期信号は、2ビット直列4本並列した画素信号それぞれに対して、第1の実施形態におけるスタート同期信号と同じものを用いることができるので、説明は省略する。このとき、正転逓倍クロック信号H2ckPa及び反転逓倍クロック信号H2ckNaには、スタート同期信号を付加しない。
次に、期間SigOut1rにおいて、第1水平走査部109aが第1水平メモリ部108aを列毎に選択し、第1水平メモリ部108aに記憶しているデジタル化された8ビットの画素信号D0a〜D7aを第1出力部110aに転送する。そして、第1信号変換部201aが、TG112から送られてくる画素クロック信号Sckaの位相と同期するように、8ビットの画素信号D0a〜D7aの位相を調整する。また、第1パラシリ変換部204aが、位相が調整された8ビット並列に入力される画素信号D0a〜D7aを逓倍クロック信号H2ckaに同期した2ビット直列の4本並列した画素信号に変換する。その後、第1差動送信バッファ203aが、2ビット直列の4本並列したそれぞれの信号に対応する正転信号と反転信号に変換して、第1出力端子111aから出力する。(時刻t64以降)。
さらに、続けて、期間ED1rにおいて、第1出力部110a内の第1同期信号付加部202aが逓倍クロック信号H2ckaの位相と同期した状態で、2ビット直列の4本並列した画素信号が送り出された後にエンド同期信号を付加する(時刻t67まで)。ここで付加されるエンド同期信号は、2ビット直列の4本並列した画素信号それぞれに対して、第1の実施形態におけるエンド同期信号と同じものを用いることができるので、説明は省略する。このとき、正転逓倍クロック信号H2ckPa及び反転逓倍クロック信号H2ckNaには、エンド同期信号ED1rを付加しない。ここまでの時刻t63〜t67の期間が、スタート同期信号及びエンド同期信号を付加した1行目の各画素の信号の出力期間になる。
第1の読み出し動作Opr1においては、1行目の画素の信号の出力後、続けて5行目の画素の信号を出力する。時刻t68〜t71の期間が、5行目の各画素の信号について、列毎の読み出し、CDS処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻t71〜t75の期間が、スタート同期信号及びエンド同期信号を付加した5行目の各画素の信号の出力期間になる。さらに、第2の実施形態においては、画素領域101に配列されている画素100は16行であるため、時刻t76以降で、9行目及び13行目の画素の信号を同様に読み出し、その後、再び1行目の画素の信号の読み出し動作が開始される。
次に、第2の読み出し動作Opr2について説明する。撮像素子12は、水平同期信号HDに同期するサブ水平同期信号HSの2回目に同期して第2の読み出し動作Opr2を開始する(時刻t62)。ここで、撮像素子12においては、垂直信号線104が垂直画素列に共通に配線されているため、第2の読み出し動作Opr2は、1行目の画素の信号を読み出す期間Rd1rの終了以降(時刻t61以降)に動作を開始する必要がある。本実施形態においては、水平同期期間Thdを4分割したサブ水平同期期間Thsが、期間Rd1rより長く設定されているので、2回目のサブ水平同期信号HSは、期間Rd1r終了後、十分に時間が経過した後に設けられている(時刻t62)。
まず、期間Rd2rにおいて、第2信号選択部105aが選択された状態で、垂直走査部102からの駆動制御信号により、2行目の画素の信号がそれぞれ対応する垂直信号線104に読み出される。すなわち、2行目の画素の信号のN信号とS信号をそれぞれ対応する垂直信号線104を介して第2列信号処理部106bに読み出す(時刻t62〜t63)。
次に、期間CDS2rにおいて、第2列信号処理部106bが、CDS回路でCDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する(時刻t63〜t64)。そして、期間AD2rにおいて、第2列AD部107bが、2行目の画素の信号をアナログデジタル変換する。第2の読み出し動作Opr2においては、第2メモリ選択部114bにより第2水平メモリ部108bに接続しているので、デジタル信号に変換された2行目の画素の信号は、第2水平メモリ部108bに記憶される(時刻t64〜t65)。ここまでの時刻t62〜t65での処理が、2行目の各画素の信号に対する列毎の並列処理になる。
続いて、期間SD2rにおいて、第2出力部110b内の不図示の第2同期信号付加部が逓倍クロック信号H2ckbの位相と同期した状態で、2ビット直列の4本並列した画素信号が送られてくる前にスタート同期信号を付加する(時刻t65〜t66)。ここで付加されるスタート同期信号は、第1の読み出し動作Opr1におけるスタート同期信号と同様であるので、説明は省略する。
ここで、第2の読み出し動作Opr2においては、期間Rd1rの開始から1サブ水平同期期間Ths後に、期間Rd2rが開始している。そのため、スタート同期信号を付加する期間SD2rも期間SD1rから1サブ水平同期期間Thsに相当する時間だけ遅れて開始する必要がある。
次に、期間SigOut2rにおいて、第2水平走査部109bが第2水平メモリ部108bを列毎に選択し、第2水平メモリ部108bに記憶しているデジタル化された8ビットの画素信号D0b〜D7bを第2出力部110bに転送する。そして、第2出力部110bの不図示の第2信号変換部が、TG112から送られてくる画素クロック信号Sckbの位相と同期するように、8ビットの画素信号D0b〜D7bの位相を調整する。また、第2出力部110bの不図示の第2パラシリ変換部が、位相が調整された8ビット並列に入力される画素信号D0b〜D7bを逓倍クロック信号H2ckbに同期した2ビット直列の4本並列した画素信号に変換する。その後、第2出力部110bの不図示の第2差動送信バッファが、2ビット直列の4本並列したそれぞれの信号に対応する正転信号と反転信号に変換して、第2出力端子111bから出力する(時刻t66以降)。
さらに、続けて、期間ED2rにおいて、第2出力部110b内の第2同期信号付加部が逓倍クロック信号H2ckbの位相と同期した状態で、2ビット直列の4本並列した画素信号が送り出された後にエンド同期信号を付加する(時刻t69まで)。ここで付加されるエンド同期信号は、第1の読み出し動作Opr1におけるエンド同期信号と同様であるので、説明は省略する。ここまでの時刻t65〜t69の期間が、スタート同期信号及びエンド同期信号を付加した2行目の各画素の信号の出力期間になる。
第2の読み出し動作Opr2においては、2行目の画素の信号の出力後、続けて6行目の画素の信号を出力する。時刻t70以降の6行目の画素の信号の出力の説明は、2行目の画素の信号の出力と同様に行えば良いので省略する。そして、第2の実施形態においては、画素領域101に配列されている画素100は16行であるため、続けて10行目及び14行目の画素の信号を同様に読み出し、その後、再び2行目の画素の信号の読み出し動作が開始される。
次に、第3の読み出し動作Opr3について説明する。撮像素子12は、水平同期信号HDに同期するサブ水平同期信号HSの3回目に同期して第3の読み出し動作Opr3を開始する(時刻t64)。本実施形態においては、水平同期期間Thdを4分割したサブ水平同期期間Thsが、期間Rd2rより長く設定されているので、3回目のサブ水平同期信号HSは、期間Rd2r終了後、十分に時間が経過した後に設けられている(時刻t64)。
ここで、第3の読み出し動作Opr3は、第1信号選択部105aが選択され、かつ、第1メモリ選択部114aにより第3水平メモリ部108cに接続したときの動作である。また、第3水平メモリ部108c及び第3出力部110cは、それぞれ第1水平メモリ部108a及び第1出力部110aと同じ構成となっているため、説明は省略する。これにより、3回目のサブ水平同期信号HSに同期して第3の読み出し動作Opr3が開始された後は、第1の読み出し動作Opr1と同様な動作を行うことができる。
すなわち、時刻t64〜t67の期間が、3行目の各画素の信号について、列毎の読み出し、CDS処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻t67〜t71の期間が、スタート同期信号及びエンド同期信号を付加した3行目の各画素の信号の出力期間になる。時刻t72以降の7行目の画素の信号の出力の説明は、3行目の画素の信号の出力と同様に行えば良いので省略する。そして、第2の実施形態においては、画素領域101に配列されている画素100は16行であるため、続けて11行目及び15行目の画素の信号を同様に読み出し、その後、再び3行目の画素の信号の読み出し動作が開始される。
次に、第4の読み出し動作Opr4について説明する。撮像素子12は、水平同期信号HDに同期するサブ水平同期信号HSの4回目に同期して第4の読み出し動作Opr4を開始する(時刻t66)。本実施形態においては、水平同期期間Thsを4分割したサブ水平同期期間Thsが、期間Rd3rより長く設定されているので、4回目のサブ水平同期信号HSは、期間Rd3r終了後、十分に時間が経過した後に設けられている(時刻t66)。
ここで、第4の読み出し動作Opr4は、第2信号選択部105bが選択され、かつ、第2メモリ選択部114bにより第4水平メモリ部108dに接続したときの動作である。また、第4水平メモリ部108d及び第4出力部110dは、それぞれ第2水平メモリ部108b及び第2出力部110bと同じ構成となっているため、説明は省略する。これにより、4回目のサブ水平同期信号HSに同期して第4の読み出し動作Opr4が開始された後は、第2の読み出し動作Opr2と同様な動作を行うことができる。
すなわち、時刻t66〜t69の期間が、4行目の各画素の信号について、列毎の読み出し、CDS処理、アナログデジタル変換、水平メモリ部への記憶といった列毎の並列処理を実施する期間になる。そして、時刻t69〜t73の期間が、スタート同期信号及びエンド同期信号を付加した4行目の各画素の信号の出力期間になる。時刻t74以降の8行目の画素の信号の出力の説明は、4行目の画素の信号の出力と同様に行えば良いので省略する。また、第2の実施形態においては、画素領域101に配列されている画素100は16行であるため、続けて12行目及び16行目の画素の信号を同様に読み出し、その後、再び4行目の画素の信号の読み出し動作が開始される。
このように、第2の実施形態においては、第1の読み出し動作Opr1、第2の読み出し動作Opr2、第3の読み出し動作Opr3、及び第4の読み出し動作Opr4を、それぞれ1サブ水平同期期間Thsに相当する時間だけずらせて動作させる。このため、TG112は、期間Rd1r、期間CDS1r、期間AD1rの間に実施する1行目の画素の信号の読み出しから第1水平メモリ部108aへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、TG112は、同時に、1サブ水平同期期間Thsだけずらせて、2行目の画素の信号の読み出しから第2水平メモリ部108bへの記憶までの列毎の並列処理動作を制御することが可能となっている。TG112は、同様に、それぞれ1サブ水平同期期間Thsだけずらせて、3行目の画素の信号の読み出しから第3水平メモリ部108cへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、TG112は、1サブ水平同期期間Thsだけずらせて、4行目の画素の信号の読み出しから第4水平メモリ部108dへの記憶までの列毎の並列処理動作も制御することが可能となっている。
さらに、TG112は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した行単位での画素の信号の出力動作をそれぞれ制御することが可能となっている。ここで、スタート同期信号の出力動作は、それぞれの行の信号の並列処理動作の終了後で、それぞれ対応する次の行の読み出し動作の開始前にそれぞれ対応するエンド同期信号の出力が完了するのであれば、その間のどこでも構わない。これら期間SD1r、期間SD2r、期間SD3r、及び期間SD4rのそれぞれの開始タイミングは、同期制御部15からの制御信号に基づいて、TG112が個別にかつ適宜設定できる。
以上の説明は、第1の読み出し動作Opr1、第2の読み出し動作Opr2、第3の読み出し動作Opr3、及び第4の読み出し動作Opr4の関係について述べたものである。読み出し動作が繰り返される場合には、4行目の画素信号を読み出す第4の読み出し動作Opr4と5行目の画素信号を読み出す第1の読み出し動作Opr1の関係についても同様であり、その後に読み出されるすべての画素行に対しても適応可能である。さらに、16行目の画素信号を読み出す第4の読み出し動作Opr4と1行目の画素信号を読み出す第1の読み出し動作Opr1の関係についても同様である。
ここで、撮像素子12の出力信号の画素数は、予め決まっているので、同期制御部15が信号処理部13に対して、1行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号は省略可能である。
図9は、本実施形態に係る信号処理部13の入力部分の構成を示す図であり、信号処理部13での信号処理が可能となるように、撮像素子12から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能な構成になっている。信号処理部13は、第1入力部401a、第2入力部401b、第3入力部401c、第4入力部401d、同期信号解読部403、シリパラ変換部406、及び内部メモリ404を有する。
第1入力部401a及び第2入力部401bには、第1出力部110a及び第2出力部110bからの画素の信号が、それぞれ第1入力端子402a及び第2入力端子402bを介して入力される。また、第3入力部401c及び第4入力部401dには、第3出力部110c及び第4出力部110dからの画素の信号が、それぞれ第3入力端子402c及び第4入力端子402dを介して入力される。
信号処理部13に入力される信号は、図7を用いて説明した、1つの信号が正転画素信号及び反転画素信号からなる差動信号であるので、不図示の差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、同時に入力される逓倍クロック信号と信号処理部13の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部13の信号処理クロック信号の位相に同期させる処理も行う。
同期信号解読部403は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を出力する。シリパラ変換部406は、第1出力部110a、第2出力部110b、第3出力部110c及び第4出力部110dから送られてくる2ビット直列の4本並列した画素信号を8ビット並列した画素信号にシリアルパラレル変換し、内部メモリ404に記憶させる。例えば、第1出力部110aから送られてくる2ビット直列の4本並列した画素信号D0a・D1a、D2a・D3a、D4a・D5a及びD6a・D7aは、8ビット並列した画素信号D0a〜D7aに変換される。内部メモリ404は、行単位の画素信号を記憶する。図9には、1行目から16行目までの画素信号を記憶する領域を、便宜的にそれぞれmP1r〜mP16rとして示している。
ここで、図8に示した動作が実施された場合について説明する。第1入力部401aから同期信号解読部403に1行目の画素の信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号が、シリパラ変換部406に送られる。1行目の画素の信号は、シリパラ変換部406で8ビット並列した画素信号に変換されて内部メモリ404の領域mP1rに記憶される。次に、第2入力部401bから同期信号解読部403に2行目の画素の信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号が、シリパラ変換部406に送られる。2行目の画素の信号は、シリパラ変換部406で8ビット並列した画素信号に変換されて内部メモリ404の領域mP2rに記憶される。
続いて、第3入力部401cから3行目の画素の信号が入力され、8ビット並列した画素信号に変換されて内部メモリ404の領域mP3rに記憶される。さらに続けて、第4入力部401dから4行目の画素の信号が入力され、8ビット並列した画素信号に変換されて内部メモリ404の領域mP4rに記憶される。
このとき、内部メモリ404に対しては、1行目の画素の信号の記憶動作、2行目の画素の信号の記憶動作、3行目の画素の信号の記憶動作及び4行目の画素の信号の記憶動作の一部が重なるタイミングが発生する。しかし、内部メモリ404の異なる領域に対する記憶動作なので、制御可能となっている。1行目、2行目、3行目及び4行目の画素の信号の記憶動作に続いて、5行目から16行目までの画素の信号の記憶動作も同様に行う。
そして、内部メモリ404の領域mP1r〜mP16rに記憶された1行目〜16行目の画素の信号は、同期制御部15からの制御信号に基づいて、内部メモリ端子405から1行毎に信号処理されていくことになる。その後、続けて1行目の画素の信号が入力された場合には、また最初から領域mP1rに記憶すればよい。
以上のように、本実施形態においては、複数の出力手段の信号それぞれに対して、読み出し時間差に応じて個別にスタート同期信号を設定することで、出力信号の同期制御の手段を提供することができる。そして、信号処理部の入力部分において、解読した同期信号に応じて画素の信号を記憶するメモリ領域を割り当てることで、読み出し時間差に対応した信号処理部の入力信号の同期制御が実現可能である。これにより、複数の画素の信号を共通の読み出し手段と異なる出力手段を用いて別々に出力することが可能となるので、撮像装置における高速読み出し動作を実現することができる。本実施形態においては、4行同時に出力することが可能となるので、4倍のフレームレートを実現できることになる。
さらに、本実施形態においては、サブ水平同期信号HSが水平同期期間Thdを4分割した周期で作られ、行毎の画素の信号を、4行おきにサブ水平同期信号HSの1回目、2回目、3回目及び4回目それぞれに同期して読み出す。これにより、行毎の読み出しタイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。
また、出力部110内のパラシリ変換部204において、8ビットがそれぞれ8本並列に入力される画素信号を2ビット直列の4本並列した画素信号に変換して出力しているので、4つの出力部110すべての差動送信バッファ203の数を半減させている。これにより、回路規模縮小と消費電力削減の効果が期待できるとともに、撮像素子からの出力端子数も削減されるので、撮像素子のパケージの小型化も可能になる。
ここで、本実施形態における水平同期信号HDは、一般に水平走査部109の転送と同じ周期の画素クロック信号Sckと同期していることが多い。そして、水平同期信号HDを4分割したサブ水平同期信号HSが画素クロック信号Sckで奇数になる場合、奇数回目のサブ水平同期信号HSと偶数回目のサブ水平同期信号HSで、奇数カウントと偶数カウントを繰り返すことになる。その場合には、カウンタはすべて偶数カウントの方が設計しやすいので、サブ水平同期信号HSのクロック数を、画素クロック信号Sckで偶数カウントすなわち2の倍数にして、水平同期信号HDを、サブ水平同期信号HSの4倍のクロック数にしてやればよい。
また、本実施形態においては、2回目以降のサブ水平同期信号HSが、各行の期間Rdの終了後、十分に時間が経過した後に設けられている。しかしながら、垂直信号線104が垂直画素列に共通に配線されているため、例えば期間Rd1rがサブ水平同期期間Thsより長い場合には、第2の読み出し動作Opr2を開始することができない。そのときには、例えば、第4水平メモリ部108d及び第4出力部110dを停止させ、第1水平メモリ部108aから第3水平メモリ部108c及び第1出力部110aから第3出力部110cを用いて、3行毎に同時に出力することにすればよい。ただし、その時のサブ水平同期信号HSは、水平同期期間Thdを3等分した周期で作られている必要がある。
(第3の実施形態)
次に、図1、図6、図7及び図9に加えて、図10及び図11を参照して、本発明の第3の実施形態について説明する。なお、第3の実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第2の実施形態と同様であるので、図及び符号を流用して説明する。第2の実施形態でのローリングシャッタ動作においては、行毎の読み出しタイミングが等間隔になるように制御していた。以下に説明する第3の実施形態においては、さらにリセット動作を追加して、ローリングシャッタ動作時における露光時間を制御する。
図10は、第3の実施形態に係る撮像素子12の動作例を示すタイミングチャートである。図10に示す動作例は、図8に示した動作にリセット動作が追加したものである。図10において、VDは、撮像素子12を駆動するための垂直同期信号を示し、立ち下がりで有効となり、時刻t60〜tv0までのTvdが1つの垂直同期期間となっている。HDは、撮像素子12を駆動するための水平同期信号を示し、立ち下がりで有効となる。また、HSは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となる。
垂直同期期間Tvdは、画素領域101に配列されている16行の画素の信号を1つの水平同期期間に4行同時に出力するため、4つの水平同期期間から構成されている。垂直同期期間Tvdを構成する4つの水平同期期間を、第1水平同期期間Thd1、第2水平同期期間Thd2、第3水平同期期間Thd3及び第4水平同期期間Thd4で示す。また、1つの水平同期期間は4行同時に出力するため、4つの等しい長さのサブ水平同期信号から構成されている。第1水平同期期間Thd1を構成する4つのサブ水平同期期間を、順番に第1−1サブ水平同期期間Ths11、第1−2サブ水平同期期間Ths12、第1−3サブ水平同期期間Ths13及び第1−4サブ水平同期期間Ths14とする。
第1−1サブ水平同期期間Ths11では、第1の読み出し動作Opr1を用いて1行目P1rの画素の信号を読み出す。この動作は、垂直同期信号VD、水平同期信号HDの垂直同期期間Tvdにおける1回目の立ち下がり、及びサブ水平同期信号HSの第1水平同期期間Thd1における1回目の期間Thd1の立ち下がりに同期して開始される(時刻t60及びtv0)。このとき、本実施形態においては、画素の信号を読み出す期間Rd1rに先立ち、行単位で画素の信号をリセットする期間RS11を設ける。また、期間Rd1r以降の各期間での動作は、図8に示した動作と同じであるので、「・・・」で表し、その説明は省略する。画素の信号のリセット動作については、後で説明する。
第1−2サブ水平同期期間Ths12、第1−3サブ水平同期期間Ths13及び第1−4サブ水平同期期間Ths14においても、読み出し動作Opr2、Opr3及びOpr4を用いて、それぞれ対応する2行目、3行目及び4行目の画素の信号を読み出す。このときも、第1−1サブ水平同期期間Ths11と同じく、画素の信号を読み出す期間Rd2r、期間Rd3r、及び期間Rd4rに先立ち、それぞれ行単位で画素の信号をリセットする期間RS12、期間RS13、及び期間RS14期間を設ける。また、それぞれの期間Rd2r、期間Rd3r、及び期間Rd4r以降の各期間での動作は、図8に示した動作と同じであるので、「・・・」で表し、その説明は省略する。
第2水平同期期間Thd2、第3水平同期期間Thd3及び第4水平同期期間Thd4においても、それぞれのサブ水平同期期間のリセット動作及び読み出し動作は、第1水平同期期間Thd1と同様である。さらに、2回目の垂直同期信号VD以降の動作は、時刻t60〜tv0までの垂直同期期間Tvdの動作を繰り返すこととする。
次に、図10を用いて、第3の実施形態における撮像素子12のリセット動作を含む動作を説明する。ここで、時刻tv0から始まる垂直同期期間において、第1の読み出し動作Opr1の期間Rd1rに読み出す1行目の画素の信号のリセット動作を、時刻t60から始まる垂直同期期間における第1の読み出し動作Opr1において実施するものとする。すなわち、時刻t60から始まる垂直同期期間における第1の読み出し動作Opr1の期間RS21、期間RS31、及び期間RS41のいずれかを用いて実施するものとする(時刻td2、td3、td4)。
まず、1行目の画素の信号のリセット動作を第4水平同期期間Thd4の期間RS41に実施した場合、時刻tv0を基準にしたときの1行目の画素の信号の露光期間は、時刻td4から時刻tv0までの1水平同期期間となる。このとき、2行目、3行目及び4行目の画素の信号のリセット動作を、それぞれ時刻ts2からの期間RS42、時刻ts3からの期間RS43及び時刻ts4からの期間RS44に実施する。これにより、1行目〜4行目の画素の信号のリセット動作が、それぞれ1サブ水平同期期間ずれて実施されるので、1行目〜4行目の画素の信号の露光期間は、すべて1水平同期期間となる。
同様に、5行目〜8行目の画素の信号のリセット動作をそれぞれ第1水平同期期間Thd1の期間RS11〜期間RS14において実施する。また、9行目〜12行目の画素の信号のリセット動作をそれぞれ第2水平同期期間Thd2の期間RS21〜期間RS24において実施する。さらに、13行目〜16行目の画素の信号のリセット動作をそれぞれ第3水平同期期間Thd3の期間RS31〜期間RS34において実施する(それぞれ時刻ts13、ts14、ts15及びts16)。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で1水平同期期間となる。そして、続く第4水平同期期間Thd4の期間RS41〜期間RS44において、それぞれ1行目〜4行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。
次に、1行目の画素の信号のリセット動作を第3水平同期期間Thd3の期間RS31に実施した場合、時刻tv0を基準にした時の1行目の画素の信号の露光期間は、時刻td3から時刻tv0までの2水平同期期間となる。そこで、1行目〜4行目の画素の信号のリセット動作をそれぞれ第3水平同期期間Thd3の期間RS31〜期間RS34において実施する。
同様に、5行目〜8行目の画素の信号のリセット動作をそれぞれ第4水平同期期間Thd4の期間RS41〜期間RS44において実施する。また、9行目〜12行目の画素の信号のリセット動作をそれぞれ第1水平同期期間Thd1の期間RS11〜期間RS14において実施する。さらに、13行目〜16行目の画素の信号のリセット動作をそれぞれ第2水平同期期間Thd2の期間RS21〜期間RS24で実施する。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で2水平同期期間となり、リセット動作を含んだローリングシャッタ動作を実現することができる。
次に、1行目の画素の信号のリセット動作を第2水平同期期間Thd2の期間RS21に実施した場合、時刻tv0を基準にした時の1行目の画素の信号の露光期間は、時刻td2から時刻tv0までの3水平同期期間となる。そこで、1行目〜4行目の画素の信号のリセット動作をそれぞれ第2水平同期期間Thd2の期間RS21〜期間RS24において実施する。
同様に、5行目〜8行目の画素の信号のリセット動作をそれぞれ第3水平同期期間Thd3の期間RS31〜期間RS34において実施する。また、9行目〜12行目の画素の信号のリセット動作をそれぞれ第4水平同期期間Thd4の期間RS41〜期間RS44において実施する。さらに、13行目〜16行目の画素の信号のリセット動作をそれぞれ第1水平同期期間Thd1の期間RS11〜期間RS14において実施する。このようなリセット動作をすべての行に対して実施すると、露光期間はすべての行で3水平同期期間となり、リセット動作を含んだローリングシャッタ動作を実現することができる。
次に、リセット期間を一切設けない場合について説明する。はじめに、時刻t60の垂直同期信号VDにより第1−1サブ水平同期期間Ths11に同期した期間Rd1rで1行目の画素の信号を読み出す。画素の信号が読み出されることで、画素がリセットされた状態になり、1行目の画素の露光が開始される。次に、時刻tv0の垂直同期信号VDにより第1−1サブ水平同期期間Ths11に同期した期間Rd1rで1行目の画素の信号を読み出すことで、1行目の画素の露光期間が終了する。同様に、2行目〜16行目の画素の信号の読み出しから次の読み出しまでが、それぞれの行の露光期間になる。このような読み出し動作をすべての行に対して実施すると、露光期間はすべての行で4水平同期期間となる。これにより、すべての行の露光時間を水平同期期間単位で制御することが可能となる。
図11は、第3の実施形態に係る撮像素子12のリセット動作を含む動作例を示すタイミングチャートであり、露光期間が2水平同期期間の場合を示している。図11に示したものは、図10に対して、リセット期間にリセットする行を記載して図示したものである。図11において、期間RS1r〜期間RS16rは、それぞれ1行目〜16行目の画素の信号をリセットするリセット期間である。
第3水平同期期間Thd3の時刻tv1rからの期間RS1rにおいて、1行目の画素の信号のリセット動作を実施する。このときの時刻tv0を基準とした露光期間は、時刻tv1rから時刻tv0までの期間Ttv1rとなり、2水平同期期間に等しくなっている。次に、2行目〜4行目の画素の信号のリセット動作を、それぞれ第3水平同期期間Thd3の期間RS2r〜期間RS4rにおいて実施する(それぞれ時刻tv2r、tv3r及びtv4r)。同様に、5行目以降の画素の信号のリセット動作を、時刻tv5r以降で実施する。
さらに、13行目〜16行目の画素の信号のリセット動作を、それぞれ第2水平同期期間Thd2の期間RS13r〜期間RS16rにおいて実施する(それぞれ時刻tv13r、tv14r、tv15r及びtv16r)。そして、続く第3水平同期期間Thd3の期間RS1r〜期間RS4rにおいて、それぞれ1行目〜4行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。
このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で期間Ttv1rとなる。ここで、本実施形態においては、1行目の画素の露光期間を時刻tv0を基準にして説明したが、リセット動作を実施する場合には、期間RS11及び期間Rd1rにおいて実際にリセットされるタイミングと画素から読み出されるタイミングに時間差が発生する。そこで、リセット動作と読み出し動作の時間差をΔTvrとし、水
平同期期間をThdとすると、露光期間は、(Thd+ΔTvr)、(2倍のThd+Δ
Tvr)、(3倍のThd+ΔTvr)及び(4倍のThd)から選択して制御すること
が可能となる。
以上のように、本実施形態においては、4つの出力手段毎にそれぞれ読み出し時間差を設けた読み出し動作Oprを実施することで、4行同時に出力することが可能となるので、4倍のフレームレートを実現できることになる。また、本実施形態においては、各読み出し動作Oprにおける行毎の画素の信号の読み出し動作に先立ち、行単位で画素の信号をリセットするリセット動作を設ける。そして、読み出し動作Oprにより読み出す行のリセット動作を、同じ読み出し動作Oprにおける異なる行の読み出し動作に先立ち実施することで、露光時間制御が可能なローリングシャッタ動作を実現できる。また、一連の同じ読み出し動作Oprの中で、同じ行の読み出しとリセットを実施するので、行を選択する垂直走査部は、4行おきに行を選択すれば良いことになる。これにより、垂直走査部の回路規模の削減と簡略化が可能になる。
さらに、本実施形態においては、水平同期期間を4分割した周期で作られるサブ水平同期信号を備え、行毎の画素の信号を、4行おきにサブ水平同期信号の1回目、2回目、3回目及び4回目のそれぞれに同期して読み出す。また、リセット動作を用いて水平同期期間単位で全行が同じ露光時間になるような露光時間制御が可能である。これにより、露光期間を含めた行毎の露光タイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。
(第4の実施形態)
次に、図1、図6、図7、図9及び図10に加えて、図12を参照して、本発明の第4の実施形態について説明する。なお、第4の実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第3の実施形態と同様であるので、図及び符号を流用して説明する。第3の実施形態のローリングシャッタ動作においては、行毎の読み出しタイミングを等間隔に制御するとともに、リセット動作を用いたローリングシャッタ動作時の露光時間制御の方法について説明した。第4の実施形態においては、すべての行の露光時間をサブ水平同期期間単位で制御することが可能な、リセット動作を用いたローリングシャッタ動作の方法について説明する。
まず、はじめに、図10を用いて、第4の実施形態おける撮像素子12のリセット動作を含む動作例を説明するが、第3の実施形態で説明した内容は、説明を省略する。ここで、時刻tv0から始まる垂直同期期間において、第1の読み出し動作Opr1における期間Rd1rに読み出す1行目の画素の信号のリセット動作を、時刻t60から始まる垂直同期期間における第4水平同期期間Thd4において実施するものとする。すなわち、時刻t60から始まる垂直同期期間における第4水平同期期間Thd4の期間RS41、期間RS42、期間RS43、及び期間RS44のいずれかを用いて実施するものとする(それぞれ時刻ts1、ts2、ts3、ts4)。
まず、1行目の画素の信号のリセット動作を第4水平同期期間Thd4の期間RS41に実施した場合、時刻tv0を基準にしたときの1行目の画素の信号の露光期間は、時刻ts1から時刻tv0までの1水平同期期間に相当する4サブ水平同期期間となる。このとき、2行目、3行目及び4行目の画素の信号のリセット動作を、それぞれ時刻ts2からの期間RS42、時刻ts3からの期間RS43及び時刻ts4からの期間RS44に実施する。これにより、1行目〜4行目の画素の信号のリセット動作が、それぞれ1サブ水平同期期間ずれて実施されるので、1行目〜4行目の画素の信号の露光期間は、すべて1水平同期期間に相当する4サブ水平同期期間となる。
同様に、5行目〜8行目の画素の信号のリセット動作をそれぞれ第1水平同期期間Thd1の期間RS11〜期間RS14において実施する。また、9行目〜12行目の画素の信号のリセット動作をそれぞれ第2水平同期期間Thd2の期間RS21〜期間RS24において実施する。さらに、13行目〜16行目の画素の信号のリセット動作をそれぞれ第3水平同期期間Thd3の期間RS31〜期間RS34において実施する(それぞれ時刻ts13、ts14、ts15及びts16)。このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で1水平同期期間に相当する4サブ水平同期期間となる。そして、続く第4水平同期期間Thd4の期間RS41〜期間RS44において、それぞれ1行目〜4行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。
次に、1行目の画素の信号のリセット動作を第4水平同期期間Thd4の期間RS42に実施した場合、時刻tv0を基準にした時の1行目の画素の信号の露光期間は、時刻ts2から時刻tv0までの3サブ水平同期期間となる。そこで、1行目〜4行目の画素の信号のリセット動作をそれぞれ第4水平同期期間Thd4の期間RS42〜期間RS44及び第1水平同期期間Thd1の期間RS11で実施する(それぞれ時刻ts2、ts3、ts4及びtv0)。これにより、1行目〜4行目の画素の信号のリセット動作が、それぞれ1サブ水平同期期間ずれて実施されるので、1行目〜4行目の画素の信号の露光期間は、すべて3サブ水平同期期間となる。また、第3の実施形態では、読み出す行のリセット動作は、同じ読み出し動作Oprにおける異なる行の読み出し動作に先立ち実施していたが、本実施形態においては、異なる読み出し動作Oprにおける異なる行の読み出し動作に先立ち実施できるものとする。
同様に、5行目〜8行目の画素の信号のリセット動作をそれぞれ第1水平同期期間Thd1の期間RS12〜期間RS14及び第2水平同期期間Thd2の期間RS21において実施する。また、9行目〜12行目の画素の信号のリセット動作をそれぞれ第2水平同期期間Thd2の期間RS22〜期間RS24及び第3水平同期期間Thd3の期間RS31において実施する。さらに、13行目〜16行目の画素の信号のリセット動作をそれぞれ第3水平同期期間Thd3の期間RS32〜期間RS34及び第4水平同期期間Thd4の期間RS41で実施する(それぞれ時刻ts14、ts15、ts16及びts1)。
このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Oprにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で3サブ水平同期期間となる。そして、続く第4水平同期期間Thd4の期間RS42〜期間RS44及び第1水平同期期間Thd1の期間RS11で、それぞれ1行目〜4行目の画素の信号のリセット動作を実施することで、リセット動作を含むローリングシャッタ動作を継続することができる。
次に、1行目の画素の信号のリセット動作を第4水平同期期間Thd4の期間RS43に実施した場合、時刻tv0を基準にした時の1行目の画素の信号の露光期間は、時刻ts3から時刻tv0までの2サブ水平同期期間となる。そこで、1行目〜4行目の画素の信号のリセット動作をそれぞれ第4水平同期期間Thd4の期間RS43〜期間RS44及び第1水平同期期間Thd1の期間RS11〜期間RS12において実施する(時刻ts3以降)。これにより、1行目〜4行目の画素の信号のリセット動作が、それぞれ1サブ水平同期期間ずれて実施されるので、1行目〜4行目の画素の信号の露光期間は、すべて2サブ水平同期期間となる。
同様に、5行目〜8行目の画素の信号のリセット動作をそれぞれ第1水平同期期間Thd1の期間RS13〜期間RS14及び第2水平同期期間Thd2の期間RS21〜期間RS22において実施する。また、9行目〜12行目の画素の信号のリセット動作をそれぞれ第2水平同期期間Thd2の期間RS23〜期間RS24及び第3水平同期期間Thd3の期間RS31〜期間RS32において実施する。さらに、13行目〜16行目の画素の信号のリセット動作をそれぞれ第3水平同期期間Thd3の期間RS33〜期間RS34及び第4水平同期期間Thd4の期間RS41〜期間RS42において実施する。このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Oprにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で2サブ水平同期期間となる。
次に、1行目の画素の信号のリセット動作を第4水平同期期間Thd4の期間RS44に実施した場合、時刻tv0を基準にした時の1行目の画素の信号の露光期間は、時刻ts4から時刻tv0までの1サブ水平同期期間となる。そこで、1行目〜4行目の画素の信号のリセット動作をそれぞれ第4水平同期期間Thd4の期間RS44及び第1水平同期期間Thd1の期間RS11〜期間RS13において実施する(時刻ts4以降)。これにより、1行目〜4行目の画素の信号のリセット動作が、それぞれ1サブ水平同期期間ずれて実施されるので、1行目〜4行目の画素の信号の露光期間は、すべて1サブ水平同期期間となる。
同様に、5行目〜8行目の画素の信号のリセット動作をそれぞれ第1水平同期期間Thd1の期間RS14及び第2水平同期期間Thd2の期間RS21〜期間RS23において実施する。また、9行目〜12行目の画素の信号のリセット動作をそれぞれ第2水平同期期間Thd2の期間RS24及び第3水平同期期間Thd3の期間RS31〜期間RS33において実施する。さらに、13行目〜16行目の画素の信号のリセット動作をそれぞれ第3水平同期期間Thd3の期間RS34及び第4水平同期期間Thd4の期間RS41〜期間RS43において実施する。このように、すべての行に対して、読み出す行のリセット動作を異なる読み出し動作Oprにおける異なる行の読み出し動作に先立ち実施できるため、露光期間はすべての行で1サブ水平同期期間となる。
以上、第1の読み出し動作Opr1における期間Rd1rに読み出す1行目の画素の信号のリセット動作を、第4水平同期期間Thd4の期間RS41、期間RS42、期間RS43及び期間RS44の何れかを用いて実施した場合について説明した。このような1行目の画素の信号のリセット動作を、第1水平同期期間Thd1の期間RS12、期間RS13及び期間RS14の何れかを用いて実施した場合についても同様であるので説明は省略する。また、第2水平同期期間Thd2の期間RS21、期間RS22、期間RS23及び期間RS24、及び、第3水平同期期間Thd3の期間RS31、期間RS32、期間RS33及び期間RS34の何れかを用いて実施した場合についても同様である。
図12は、第4の実施形態に係る撮像素子12のリセット動作を含む動作例を示すタイミングチャートであり、露光期間が7サブ水平同期期間の場合を示している。図12に示したものは、図10に対して、リセット期間にリセットする行を記載して図示したものである。図12において、期間RS1r〜期間RS16rは、それぞれ1行目〜16行目の画素の信号をリセットするリセット期間である。
まず、第3水平同期期間Thd3の時刻tv1rからの期間RS1rにおいて、1行目の画素の信号のリセット動作を実施する。このときの時刻tv0を基準とした露光期間は、時刻tv1rから時刻tv0までの期間Ttv1rとなり、7サブ水平同期期間に等しくなっている。次に、2行目〜4行目の画素の信号のリセット動作を、それぞれ第3水平同期期間Thd3の期間RS2r〜期間RS3r及び第4水平同期期間Thd4の期間RS4rにおいて実施する(それぞれ時刻tv2r、tv3r及びtv4r)。同様に、5行目以降の画素の信号のリセット動作を時刻tv5r以降で実施する。
さらに、13行目〜16行目の画素の信号のリセット動作を、それぞれ第2水平同期期間Thd2の期間RS13r〜期間RS15r及び第3水平同期期間Thd3の期間RS16rで実施する(それぞれ時刻tv13r、tv14r、tv15r、tv16r)。続く第3水平同期期間Thd3の期間RS1r〜期間RS3r及び第4水平同期期間Thd4の期間RS4rで、それぞれ1行目〜4行目の画素の信号のリセット動作を実施することで、リセット動作を実施したローリングシャッタ動作を継続することができる。
このようなリセット動作をすべての行に対して実施するので、露光期間はすべての行で期間Ttv1rとなる。ここで、本実施形態においては、1行目の画素の露光期間を時刻tv0を基準にして説明したが、リセット動作を実施する場合は、期間RS11及び期間Rd1rにおいて実際にリセットされるタイミングと画素から読み出されるタイミングに時間差が発生する。そこで、リセット動作と読み出し動作の時間差をΔTvrとし、サブ
水平同期期間単位の露光期間に加算することで、より正確な露光期間制御が可能になる。
以上のように、本実施形態においては、4つの出力手段毎にそれぞれ読み出し時間差を設けた読み出し動作Oprを実施することで、4行同時に出力することが可能となるので、4倍のフレームレートを実現できることになる。また、本実施形態においては、各読み出し動作Oprにおける行毎の画素の信号の読み出し動作に先立ち、行単位で画素の信号をリセットするリセット期間を設ける。そして、読み出し動作Oprにより読み出す行のリセット動作を、異なる読み出し動作Oprにおける異なる行の読み出し動作に先立ち実施することで、サブ水平同期期間単位での露光時間制御が可能なローリングシャッタ動作を実現できる。
さらに、本実施形態においては、水平同期期間を4分割した周期で作られるサブ水平同期信号を備え、行毎の画素の信号を、4行おきにサブ水平同期信号の1回目、2回目、3回目及び4回目それぞれに同期して読み出す。また、リセット動作を用いてサブ水平同期期間単位で全行が同じ露光時間になるような露光時間制御が可能となっている。これにより、露光期間を含めた行毎の露光タイミングが等間隔になるので、なめらかなローリングシャッタ動作を実現することができる。
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。