(第1の実施形態)
図1は、本発明の第1の実施形態に係る撮像装置の構成例を示す図である。本実施形態では、ダイナミックレンジ拡大処理(以下HDR処理という)のために、2ライン毎に露光時間の異なる画素の信号を出力するように制御された撮像素子の動作について説明する。本実施形態の撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等に適用可能である。撮像装置は、光学系11、撮像素子12、信号処理部13、圧縮伸張部14、同期制御部15、操作部16、画像表示部17及び画像記録部18を有する。光学系11は、被写体からの光を撮像素子12に集光するためのレンズ、レンズを移動させてズームや合焦を行うための駆動機構、メカニカルシャッタ機構、及び絞り機構等を有する。これらのうちの可動部は、同期制御部15からの制御信号に基づいて駆動される。撮像素子12は、光電変換素子を持つ複数の画素が2次元行列状に配置されたXYアドレス方式のCMOSセンサである。撮像素子12は、CDS(Correlated Double Sampling)回路、AGC(Auto Gain Control)回路、及びA/D変換器等を含み、同期制御部15からの制御信号により制御される。ここで、撮像素子12は、同期制御部15からの制御信号に応じて、露光や信号読み出し、リセット等の撮像動作を実施し、光電変換により画像信号を生成する。そして、撮像素子12は、CDS回路によるノイズ除去、AGC回路による利得制御、及び、A/D変換器によるアナログデジタル変換を経て、デジタル化された画像信号を出力する。
信号処理部13は、同期制御部15の制御の下で、撮像素子12から入力されるデジタル化された画像信号に対して、ホワイトバランス調整、色補正、ガンマ補正、自動焦点調節(AF)、自動露出調節(AE)等の信号処理を施す。信号処理部13は、HDR処理を実施する。HDR処理の方法としては、例えば、感度比を補償するゲイン値と明るさに応じた重み付け係数を用いて、長時間露光画素の信号と短時間露光画素の信号を合成することにより画像を生成する。またHDR処理の他の方法として、明るさに応じて、長時間露光画素の信号と短時間露光画素の信号のどちらかを選択することにより画像を生成する。
圧縮伸張部14は、同期制御部15の制御の下で、信号処理部13からの画像信号に対して、JPEG(Joint Photographic Coding Experts Group)等の所定の静止画像データフォーマットで圧縮符号化処理を行う。また、圧縮伸張部14は、同期制御部15から供給された静止画像の符号化データを伸張復号化処理を行う。さらに、圧縮伸張部14は、MPEG(Moving Picture Experts Group)等により動画像の圧縮符号化/伸張復号化処理を行う。
同期制御部15は、例えば、CPU、ROM、RAM等から構成されるマイクロコントローラであり、ROM等に記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。操作部16は、例えばシャッタレリーズボタン等の各種操作キーやレバー、ダイヤル等を有し、ユーザによる入力操作に応じた制御信号を同期制御部15に出力する。画像表示部17は、液晶ディスプレイ等の表示デバイスや、これに対するインタフェース回路等を有し、同期制御部15から供給された画像信号から表示デバイスに表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。画像記録部18は、例えば、可搬型の半導体メモリや、光ディスク、HDD(Hard Disk Drive)、磁気テープ等であり、圧縮伸張部14により符号化された画像データファイルを同期制御部15から受け取って記憶する。また、画像記録部18は、同期制御部15からの制御信号を基に、指定されたデータを読み出し、同期制御部15に出力する。
次に、本実施形態における撮像装置の動作について説明する。静止画像の撮像前には、撮像素子12は、デジタル画像信号を信号処理部13に順次出力する。信号処理部13は、撮像素子12からのデジタル画像信号に対して画質補正処理を施し、カメラスルー画像の信号として、同期制御部15を通じて画像表示部17に供給する。画像表示部17は、カメラスルー画像を表示し、ユーザは表示画像を見て画角合わせを行うことが可能となる。この状態で、操作部16のシャッタレリーズボタンが押下されると、同期制御部15の制御により、撮像素子12は、1フレーム分の画像信号を信号処理部13に出力する。信号処理部13は、1フレーム分の画像信号に画質補正処理を施し、処理後の画像信号を圧縮伸張部14に供給する。圧縮伸張部14は、入力された画像信号を圧縮符号化し、生成した符号化データを同期制御部15を通じて画像記録部18に供給する。画像記録部18は、撮像された静止画像の符号化データファイルを記録する。
一方、画像記録部18に記録された静止画像の符号化データファイルを再生する場合には、同期制御部15は、操作部16からの操作入力に応じて、選択されたデータファイルを画像記録部18から読み込み、圧縮伸張部14に供給して伸張復号化処理を実行させる。圧縮伸張部14は、復号化された画像信号を、同期制御部15を介して画像表示部17に供給する。画像表示部17は、静止画像を再生表示する。
また、動画像を記録する場合には、信号処理部13は、順次処理した画像信号を圧縮伸張部14に出力する。圧縮伸張部14は、圧縮符号化処理を施し、生成された動画像の符号化データを順次画像記録部18に転送する。画像記録部18は、動画像の符号化データファイルを記録する。また、画像記録部18は、動画像のデータファイルを読み出して圧縮伸張部14に供給する。圧縮伸張部14は、動画像のデータファイルを伸張復号化処理して画像表示部17に供給する。画像表示部17は、動画像を表示する。
図2は、本実施形態に係る撮像素子(CMOSセンサ)12の構成例を示す図である。撮像素子12は、画素領域101、垂直走査部102、第1信号選択部105a、第2信号選択部105b、第1列信号処理部106a、第2列信号処理部106b、第1列AD部107a、及び第2列AD部107bを有する。さらに、撮像素子12は、第1水平メモリ部108a、第2水平メモリ部108b、第1水平走査部109a、第2水平走査部109b、第1出力部110a、第2出力部110b、及びTG(Timing Generator)112を有する。画素領域101は、行方向(水平方向)及び列方向(垂直方向)に行列状(マトリクス状)に配列されている複数の画素100(P11〜P164)を有する。複数の画素100の各々は、光電変換素子とトランジスタとを有し、光電変換による画素信号を生成する。例えば、画素P11〜P14は1行目の4画素を示し、画素P161〜P164は16行目の4画素を示す。本実施形態では、16×4配列(16行4列)の画素領域101を例として説明するが、画像領域101における画素配列は、この数に限定されるものではない。また、複数の画素100には、奇数行目がR(赤)フィルタとG(緑)フィルタの繰り返し、偶数行目がG(緑)フィルタとB(青)フィルタの繰り返しとなる2×2配列の色フィルタが配置されている。
垂直走査部102は、画素領域101に配列されている画素100を1行ずつ選択し、選択した画素行のリセット動作や読み出し動作を制御する。画素制御線103は、画素行毎に配置されて同一行の画素100に共通して接続され、垂直走査部102による行単位の制御信号を伝達する。垂直信号線104は、画素列毎に配置されて同一列の画素100に共通して接続され、画素制御線103により選択された行の画素100の信号がそれぞれ対応する垂直信号線104に読み出される。垂直信号線104は、第1信号選択部105aを介して第1列信号処理部106aに接続可能であるとともに、第2信号選択部105bを介して第2列信号処理部106bに接続可能である。すなわち、信号選択部105a及び105bは、垂直信号線104を第1列信号処理部106aあるいは第2列信号処理部106bのどちらか一方に選択的に接続するスイッチとして機能する。
列信号処理部106a及び106bは、それぞれ、垂直信号線104毎に設けられるCDS回路やAGC回路を有する。列信号処理部106a及び106bは、垂直信号線104を通して送られてくる行単位の各列の画素100の信号に対して、CDS処理により固定パターンノイズを除去して、S/N(Signal/Noise)比を良好に保つようにサンプルホールドを行う。固定パターンノイズは、画素100内のトランジスタのしきい値のばらつきに起因するノイズである。また、列信号処理部106a及び106bは、必要であれば、AGC回路による利得制御を実施する。
列AD部107a及び107bは、垂直信号線104毎に設けられるAD変換器を有する。列AD部107a及び107bは、それぞれ、対応する列信号処理部106a及び106bから送られてくる行単位の各列の画素100の信号のそれぞれをアナログからデジタルに変換する。ここで、列AD部107a及び107bは、すべて8ビット(bit)精度のAD変換器を有するものとするが、ビット精度においては、10ビット、12ビット、14ビット等のさらに高精度なAD変換器を用いてもよい。
水平メモリ部108a及び108bは、それぞれ、対応する列AD部107a及び107bにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、水平メモリ部108a及び108bは、対応する列AD部107a及び107bにあわせて各列毎に8ビットのデジタル信号を記憶できるものとするが、AD変換器のビット精度に応じたビット数のデジタル信号を記憶できればよい。
水平走査部109a及び109bは、それぞれ対応する水平メモリ部108a及び108bに記憶しているデジタル化された画素信号を、それぞれ対応する出力部110a及び110bに列毎に選択して転送するように水平メモリ部108a及び108bを制御する。出力部110a及び110bは、デジタル化された行単位の画素信号の前あるいは前後に同期信号を付加する。また、出力部110a及び110bは、同期信号付きのデジタル画素信号を、それぞれ対応する出力端子111a及び111bを介して、信号処理部13へ出力する。TG112は、制御端子113を介した同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号等を出力する。
図3は、本実施形態に係る第1出力部110aの構成例を示す図である。第1出力部110aのみを説明するが、第2出力部110bも第1出力部110aと同じ構成を有する。第1出力部110aは、第1信号変換部201a、第1同期信号付加部202a及び差動送信バッファ203aを有する。第1信号変換部201aには、8ビットに対応する8本の水平信号線を介して、第1水平メモリ部108aから送られてくる画素信号D0a、D1a、D2a、D3a、D4a、D5a、D6a及びD7aが入力される。また、第1信号変換部201aには、TG112から画素クロック信号Sckaが入力される。画素クロック信号Sckaは、第1水平走査部109aの転送と同じ周期の信号である。第1信号変換部201aは、画素クロック信号Sckaの位相と同期するように、8ビットの画素信号D0a〜D7aの位相を調整する。第1信号変換部201aは、さらに、例えば黒レベル調整、列ばらつき補正、信号増幅、及び色関係処理等を実施してもよい。黒レベル調整は、画素領域101の周辺に配置されて遮光された画素の信号レベルが、予め同期制御部15によって設定されたレベルになるように、すべての画素信号のレベルを同じだけシフトする処理である。列ばらつき補正は、画素領域101の上部あるいは下部に配置されて遮光された画素の信号から列毎のばらつき補正データを作成し、列信号処理部106a,106b及び列AD部107a,107bで発生する画素信号における列毎のばらつきを補正する処理である。信号増幅は、画像処理において適正な信号レベルとなるように、画素信号にゲインをかける処理である。例えば、信号処理部13は、事前に撮像された画像から適切なゲイン量を算出し、同期制御部15は、ゲインを設定する制御が可能である。色関係処理は、例えばホワイトバランス(WB)処理である。
画素領域101の各画素100に対して、RGBの色フィルタが、例えばベイヤ配列等の配列に従って設けられている。例えば、信号処理部13は、事前に撮像された画像から適切なWB処理を施す色毎のゲイン量を算出し、同期制御部15は、色毎のゲインを設定する制御が可能である。第1同期信号付加部202aは、画素クロック信号Sckaの位相と同期した状態で、画素信号D0a〜D7aのそれぞれに対して、スタート同期信号、及び、必要に応じてエンド同期信号を付加する。ここで、同期信号を付加するタイミングは、同期制御部15からの制御信号に基づいて、TG112から出力される制御信号により制御される。第1差動送信バッファ203aは、同期信号を付加した画素信号D0a〜D7a及び画素クロック信号Sckaのそれぞれに対して設けられ、それぞれの信号と同極性の正転信号と逆極性の反転信号とを同時に出力する。すなわち、第1差動送信バッファ203aは、正転画素信号D0Pa〜D7Pa、反転画素信号D0Na〜D7Na、正転画素クロック信号SckPa、及び反転画素クロック信号SckNaを出力する。
ここで、出力部110a,110bに入力される画素クロック信号は、同じ信号がTG112から送られてくるものとするが、TG112から出力部110a,110bのそれぞれまでの距離に応じた遅延が発生する。そのため、出力部110a,110bにそれぞれ入力される画素クロック信号Scka,Sckbは区別して用いるものとする。また、図3に示す第1出力部110aの第1差動送信バッファ203aは、電流モードで差動動作をさせるLVDS(Low Voltage Differential Signaling)を利用することができる。こうすることで、耐ノイズ性や不要輻射に対して有利になる。すなわち、正転信号に相当するパルス信号のみの単相(シングル)出力では、高速になるほどパルス波形に鈍りやリンギング等の成分が発生し易くなり、その影響を直接に被る。これに対して、差動動作をさせるLVDSにおいては、差動出力信号の両方を使って波形再生することが可能となるので、耐ノイズ性が改善する。この点は、画素信号に限らず、画素クロック信号についても同様の効果が得られる。
さらに、正転信号に相当するパルス信号のみの単相出力では、パルスの変化に対応して送信側である出力回路と受信側である入力回路の間で電流が行き来するので、そのたびに不要輻射の原因となる電磁界が発生し、周辺回路や撮像装置の外部に影響を与える。これに対して、電流モードで差動動作をさせるLVDSでは、送信側出力回路と受信側入力回路の間で電流が行き来するものの、常に正転信号と反転信号における切り換わりのタイミングが同時であり、発生する電磁界の向きが互いに逆方向となる。よって、双方が発生した電磁界を打ち消し合うようになり、不要輻射の原因となる電磁界の発生が大幅に低減されることになる。なお、この効果をより高めるには、差動信号における正転信号と反転信号の2つの出力線を近接して配置するとともに、差動送信バッファと差動受信バッファの間の接続距離が極力同じになるように回路設計をする必要がある。
図4は、第1の実施形態に係る撮像素子12の読み出し動作を示すタイミングチャートである。信号HDは、撮像素子12を駆動するための水平同期信号を示し、立ち下がりで有効となり、期間Thdが1つの水平同期期間となっている。信号HSは、水平同期信号HDのサブ水平同期信号を示し、立ち下がりで有効となり、期間Thsが1つのサブ水平同期期間となっている。ここで、サブ水平同期信号HSは、撮像素子12がN個(Nは2以上の整数)の出力部110a,110bを有する場合、1水平同期期間ThdにN行の画素の信号を読み出すように、1水平同期期間ThdをN分割した周期(間隔毎)で立ち下がるよう作られている。これらの水平同期信号HD及びサブ水平同期信号HSは、同期信号発生手段としてのTG112によって供給される。本実施形態に係る撮像素子12は、第1出力部110a及び第2出力部110bの2つの出力部を有するため、2行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号HSは、水平同期期間Thdを2等分した周期で立ち下がるよう作られている。このため、水平同期期間Thdが、サブ水平同期期間Thsの2倍の長さとなっている。
動作Opr1は、第1信号選択部105aが選択したときの第1の読み出し動作を示し、動作Opr2は、第2信号選択部105bが選択したときの第2の読み出し動作を示す。第1の読み出し動作Opr1は、水平同期信号HDに同期して、あるいは、水平同期信号HDに同期するサブ水平同期信号HSの1回目に同期して動作を開始する。第2の読み出し動作Opr2は、水平同期信号HDに同期するサブ水平同期信号HSの2回目に同期して動作を開始する。ここで、画素領域101に配列されている画素のうち、第1の読み出し動作Opr1では、奇数行目の画素の信号を読み出し、第2の読み出し動作Opr2では、偶数行目の画素の信号を読み出す。すなわち、第1の読み出し動作Opr1では、第1出力部110aは、複数の画素100のうちの第1のグループに属する行(奇数行目)の画素の画素信号を出力する。第2の読み出し動作Opr2では、第2出力部110bは、複数の画素100のうちの第2のグループに属する行(偶数行目)の画素の画素信号を出力する。
まず、第1の読み出し動作Opr1について説明する。時刻t00では、撮像素子12は、水平同期信号HDに同期するサブ水平同期信号HSの1回目に同期して第1の読み出し動作Opr1を開始する。次に、時刻t00〜t01では、期間Rd1rにおいて、画素領域101は、第1信号選択部105aが選択した状態で、垂直走査部102からの駆動制御信号により、1行目の画素の信号をそれぞれ対応する垂直信号線104に読み出す。このとき、画素領域101は、最初に画素をリセットした状態の画素の信号をN信号として出力し、第1列信号処理部106aは、そのN信号をサンプルホールドする。続いて、画素領域101は、画素が光電変換した信号をS信号として出力し、第1列信号処理部106aは、そのS信号をサンプルホールドする。次に、時刻t01〜t02では、期間CDS1rにおいて、第1列信号処理部106aは、CDS回路でS信号からN信号を減算することによってCDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する。次に、時刻t02〜t03では、期間AD1rにおいて、第1列AD部107aは、ノイズ除去された1行目の画素の信号をアナログデジタル変換して、第1水平メモリ部108aへ記憶させる。ここまでの時刻t00〜t03での処理が、1行目の各画素の信号に対する列毎の並列処理になる。
続いて、時刻t03〜t04では、期間SD1rにおいて、第1出力部110a内の第1同期信号付加部202aは、画素クロック信号Sckaの位相と同期した状態で、8ビットの画素信号が送られてくる前にスタート同期信号を付加する。このとき、スタート同期信号は、8ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。第1同期信号付加部202aは、黒レベル調整後の黒レベルが0より高い値に設定されている場合には、画素信号を構成する8ビットのそれぞれの信号に対して、例えば、スタート同期信号として“11110000”を付加することで実現できる。具体的には、期間SD1rには、画素クロック信号Sckaの8クロックを割り当てる。そして、期間SD1rの間に、8ビットの正転画素信号D0Pa〜D7Paのそれぞれが、D0Pa=11110000からD7Pa=11110000になるように出力される。同様に、期間SD1rの間に、8ビットの反転画素信号D0Na〜D7Naのそれぞれが、D0Na=00001111からD7Na=00001111になるように出力される。このとき、第1同期信号付加部202aは、正転画素クロック信号SckPa及び反転画素クロック信号SckNaには、スタート同期信号を付加しない。
次に、時刻t04以降の期間SigOut1rでは、第1水平走査部109aは、第1水平メモリ部108aを列毎に選択し、第1水平メモリ部108aに記憶されているデジタル化された8ビットの画素信号D0a〜D7aを第1出力部110aに転送する。そして、第1信号変換部201aは、TG112から送られてくる画素クロック信号Sckaの位相と同期するように、8ビットの画素信号D0a〜D7aの位相を調整する。その後、第1差動送信バッファ203aは、8ビットのそれぞれの信号に対応する正転信号と反転信号に変換して、第1出力端子111aから出力する。さらに、続けて、期間ED1r(時刻t07まで)では、第1出力部110a内の第1同期信号付加部202aは、画素クロック信号Sckaの位相と同期した状態で、8ビットの画素信号が送り出された後にエンド同期信号を付加する。このとき、エンド同期信号は、8ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、第1同期信号付加部202aは、スタート同期信号と区別するために、画素信号を構成する8ビットのそれぞれの信号に対して、例えば、エンド同期信号として“11001100”を付加することで実現できる。具体的には、期間ED1rには、画素クロック信号Sckaの8クロックを割り当てる。そして、期間ED1rの間に、8ビットの正転画素信号D0Pa〜D7Paのそれぞれが、D0Pa=11001100からD7Pa=11001100になるように出力される。同様に、期間ED1rの間に、8ビットの反転画素信号D0Na〜D7Naのそれぞれが、D0Na=00110011からD7Na=00110011になるように出力される。このとき、第1同期信号付加部202aは、正転画素クロック信号SckPa及び反転画素クロック信号SckNaには、エンド同期信号を付加しない。ここまでの時刻t03〜t07の期間が、スタート同期信号及びエンド同期信号を付加した1行目の各画素の信号の出力期間になる。
第1の読み出し動作Opr1では、画素領域101は、1行目の画素の信号の出力後、3行目の画素の信号を出力する。時刻t08〜t11では、撮像素子12は、3行目の各画素の信号について、時刻t00〜t03と同様に、列毎の読み出し、CDS処理、アナログデジタル変換、水平メモリ部への記憶の列毎の並列処理を実施する。次に、時刻t11〜t15では、撮像素子12は、時刻t03〜t07と同様に、スタート同期信号及びエンド同期信号を付加した3行目の各画素の信号を出力する。さらに、時刻t16以降では、撮像素子12は、画素領域101に配列されている画素100が16行であるため、5行目以降の奇数行目の画素の信号を同様に読み出す。
次に、第2の読み出し動作Opr2について説明する。時刻t04では、撮像素子12は、水平同期信号HDに同期するサブ水平同期信号HSの2回目に同期して第2の読み出し動作Opr2を開始する。ここで、撮像素子12では、垂直信号線104が垂直方向の画素100の列に共通に配線されているため、第2の読み出し動作Opr2は、1行目の画素の信号を読み出す期間Rd1r終了以降(時刻t01以降)に動作を開始する必要がある。本実施形態では、水平同期期間Thdを2分割したサブ水平同期期間Thsが、期間Rd1rより長く設定されているので、2回目のサブ水平同期信号HSは、期間Rd1r終了後、十分に時間が経過した後に設けられている。
まず、時刻t04〜t05では、期間Rd2rにおいて、画素領域101は、第2信号選択部105bが選択した状態で、垂直走査部102からの駆動制御信号により、2行目の画素の信号をそれぞれ対応する垂直信号線104に読み出す。上記と同様に、画素領域101は、2行目の画素の信号のN信号とS信号をそれぞれ対応する垂直信号線104を介して第2列信号処理部106bに読み出す。次に、時刻t05〜t06では、期間CDS2rにおいて、第2列信号処理部106bは、CDS回路でCDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する。次に、時刻t06〜t07では、期間AD2rにおいて、第2列AD部107bは、2行目の画素の信号をアナログデジタル変換して、第2水平メモリ部108bへ記憶させる。ここまでの時刻t04〜t07での処理が、2行目の各画素の信号に対する列毎の並列処理になる。
次に、時刻t07〜t08では、期間SD2rにおいて、第2出力部110b内の第2同期信号付加部は、画素クロック信号Sckbの位相と同期した状態で、8ビットの画素信号が送られてくる前にスタート同期信号を付加する。このとき、スタート同期信号は、8ビットの画素信号が取り得ない値の組み合わせに設定しておく必要があり、画素信号を構成する8ビットのそれぞれの信号に対して、例えば、スタート同期信号として“11110000”を付加することで実現できる。具体的な8ビットのそれぞれの信号に対するスタート同期信号は、第1の読み出し動作Opr1におけるスタート同期信号と同様である。ここで、第2の読み出し動作Opr2では、期間Rd1rの開始から1サブ水平同期期間Ths後に、期間Rd2rが開始している。そのため、スタート同期信号を付加する期間SD2rも期間SD1rから1サブ水平同期期間Thsに相当する時間だけ遅れて開始する必要がある。
次に、時刻t08の期間SigOut2rでは、第2水平走査部109bは、第2水平メモリ部108bを列毎に選択し、第2水平メモリ部108bに記憶されているデジタル化された8ビットの画素信号D0b〜D7bを第2出力部110bに転送する。そして、第2出力部110b内の第2信号変換部は、TG112から送られてくる画素クロック信号Sckbの位相と同期するように、8ビットの画素信号D0b〜D7bの位相を調整する。その後、第2出力部110b内の第2差動送信バッファは、8ビットのそれぞれの信号に対応する正転信号と反転信号に変換して、第2出力端子111bから出力する。
次に、期間ED2r(時刻t11まで)では、第2出力部110b内の第2同期信号付加部は、画素クロック信号Sckbの位相と同期した状態で、8ビットの画素信号が送り出された後にエンド同期信号を付加する。このとき、エンド同期信号は、8ビットの画素信号が取り得ない値の組み合わせに設定しておく必要がある。また、スタート同期信号と区別するために、画素信号を構成する8ビットのそれぞれの信号に対して、例えば、エンド同期信号として“11001100”を付加することで実現できる。具体的な8ビットのそれぞれの信号に対するエンド同期信号は、第1の読み出し動作Opr1におけるエンド同期信号と同様である。ここまでの時刻t07〜t11の期間が、スタート同期信号及びエンド同期信号を付加した2行目の各画素の信号の出力期間になる。
第2の読み出し動作Opr2では、画素領域101は、2行目の画素の信号の出力後、4行目の画素の信号を出力する。時刻t12〜t15では、撮像素子12は、時刻t04〜t07と同様に、4行目の各画素の信号について、列毎の読み出し、CDS処理、アナログデジタル変換、水平メモリ部への記憶の列毎の並列処理を実施する。次に、時刻t15以降では、撮像素子12は、時刻t07〜t11と同様に、スタート同期信号及びエンド同期信号を付加した4行目の各画素の信号を出力する。さらに、撮像素子12は、画素領域101に配列されている画素100が16行であるため、4行目の各画素の信号の出力後に、6行目以降の偶数行目の画素の信号を同様に読み出す。
このように、第1の実施形態では、第1の読み出し動作Opr1と第2の読み出し動作Opr2を、1サブ水平同期期間Thsに相当する時間だけずらして動作させる。このため、TG112は、期間Rd1r、期間CDS1r、期間AD1rの間に実施する1行目の画素の信号の読み出しから第1水平メモリ部108aへの記憶までの列毎の並列処理動作を制御することが可能である。また、TG112は、同時に、1サブ水平同期期間Thsに相当する時間だけずらして、2行目の画素の信号の読み出しから第2水平メモリ部108bへの記憶までの列毎の並列処理動作を制御することが可能である。さらに、TG112は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した1行目の画素の信号及び2行目の画素の信号の出力動作をそれぞれ制御することが可能である。
ここで、1行目の画素の信号に付加したスタート同期信号の出力動作は、1行目の画素の信号の並列処理動作の終了後で、3行目の画素に係る期間Rd3rの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでもよい。また、2行目の画素の信号に付加したスタート同期信号の出力動作も、2行目の画素の信号の並列処理動作の終了後で、4行目の画素に係る期間Rd4rの開始前にエンド同期信号の出力が完了するのであれば、その間のどこでもよい。さらに、1行目の画素の信号に付加したスタート同期信号と2行目の画素の信号に付加したスタート同期信号の出力開始タイミングの差も、期間Rd3rの開始及び期間Rd4rの開始に影響しなければ、1サブ水平同期期間Thsである必要はない。これら期間Rd1rの開始タイミング、期間Rd2rの開始タイミング、期間SD1rの開始タイミング及び期間SD2rの開始タイミングは、同期制御部15からの制御信号に基づいて、TG112が個別にかつ適宜設定できる。
以上の説明は、第1の読み出し動作Opr1と第2の読み出し動作Opr2の関係について述べたものである。読み出し動作が繰り返される場合には、2行目の画素の信号を読み出す第2の読み出し動作Opr2と3行目の画素の信号を読み出す第1の読み出し動作Opr1の関係についても同様であり、その後に読み出されるすべての画素行に適応可能である。また、スタート同期信号及びエンド同期信号は、それぞれ“11110000”及び“11001100”に設定したが、これに限定されるものではない。スタート同期信号及びエンド同期信号が区別でき、かつ、8ビットの画素信号が取り得ない値の組み合わせであればよいので、例えば、スタート同期信号が“11001100”、エンド同期信号が“11110000”のように逆にしてもよい。また、例えば、スタート同期信号が“1111111100000000”、エンド同期信号が“1111000011110000”のように長さを長くしてもよい。さらに、撮像素子12の出力信号の画素数は、予め決まっているので、同期制御部15が信号処理部13に対して、1行分の画素に相当する処理の制御を実施可能であれば、エンド同期信号は省略可能である。
図5は、本実施形態に係る信号処理部13の入力部分の構成例を示す図であり、信号処理部13での信号処理が可能となるように、撮像素子12から出力される行単位でタイミングがずれたデジタル画素信号を入力することが可能である。信号処理部13の入力部分は、第1入力部401a、第2入力部401b、同期信号解読部403及び内部メモリ404を有する。第1入力部401a及び第2入力部401bには、第1出力部110a及び第2出力部110bからの画素の信号及び画素クロック信号が、それぞれ第1入力端子402a及び第2入力端子402bを介して入力される。信号処理部13に入力される信号は、図3を用いて説明した正転画素信号及び反転画素信号からなる差動信号であるので、第1入力部401a及び第2入力部401bは、差動受信バッファにより受信し、通常のパルス信号に変換する。このとき、第1入力部401a及び第2入力部401bは、同時に入力される画素クロック信号と信号処理部13の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部13の信号処理クロック信号の位相に同期させる処理も行う。同期信号解読部403は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404に記憶させる。内部メモリ404は、行単位の画素信号を記憶する。内部メモリ404は、1行目から16行目までの画素信号を記憶する領域mP01r〜mP16rを有する。
ここで、図4に示した読み出し動作が実施された場合について説明する。同期信号解読部403は、第1入力部401aから1行目の画素の信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404に出力する。ここで、内部メモリ404内のメモリ入力部407は、画素信号の振り分けを行い、1行目の画素の信号を領域mP01rに記憶する。次に、並列的に、同期信号解読部403は、第2入力部401bから2行目の画素の信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404に出力する。1行目と同じく、内部メモリ404内のメモリ入力部407は、画素信号の振り分けを行い、2行目の画素の信号を領域mP02rに記憶する。このとき、内部メモリ404は、1行目の画素の信号の記憶動作と2行目の画素の信号の記憶動作を同時に行うことになるが、内部メモリ404の異なる領域に対する記憶動作なので、制御可能となっている。内部メモリ404は、1行目及び2行目の画素の信号の記憶動作に続いて、3行目及び4行目の画素の信号をそれぞれ領域mP3r及びmP4rに記憶する記憶動作を同様に行う。また、内部メモリ404は、5行目から16行目までの画素の信号の記憶動作も同様に行う。そして、メモリ出力部408は、領域mP01r〜mP16rに記憶された1行目〜16行目の画素の信号を、同期制御部15からの制御信号に基づいて、読み出す。後段の信号処理は、R・G行とG・B行の両方を同時に処理可能であるため、メモリ出力部408は、第1内部メモリ端子405aに1行目を含む奇数行目の画素信号を出力し、同時に第2内部メモリ端子405bに2行目を含む偶数行目の画素信号を出力する。これにより、後段では、2行単位で信号処理させることができる。また、内部メモリ404が出力した画素信号を後段で処理する際に、信号処理が1行毎の処理に適している場合がある。その場合には、メモリ出力部408は、第1内部メモリ端子405a及び第2内部メモリ端子405bのどちらかを選択し、1行目から1行毎に画素信号を出力して信号処理させればよい。この時、内部メモリ404では、2行毎の入力に対して1行毎の出力となるので、2倍の速度で出力し、その時の信号処理も2倍の速度で行うことで、撮像装置としての撮像動作の同期が取れることになる。
図6は、第1の実施形態に係る撮像素子12の基本の撮像動作を示すタイミングチャートである。信号VDは、撮像素子12を駆動するための垂直同期信号を示し、立ち下がりで有効となり、期間Tfrが1つの垂直同期期間である。水平同期信号HD及びサブ水平同期信号HSは、図4と同じである。これらの垂直同期信号VD、水平同期信号HD及びサブ水平同期信号HSは、同期信号発生手段としてのTG112によって供給される。信号Sig01〜Sig16は、垂直信号線104に読み出される画素信号の順番を示し、その時の画素領域101の画素の1行目〜16行目の動作の状態を示す。そして、期間eP01r〜eP16rは、それぞれ、1行目〜16行目の画素の露光時間を示す。期間Roは、各行の画素の信号が列信号処理部106aあるいは106bに入力されてから、1ライン分の画素の信号がそれに対応する出力部110aあるいは110bから出力されるまでの期間である。例えば、1行目の画素の信号については、図4の時刻t00〜t07までの期間が期間Roに対応する。2行目以降についても図4の読み出し動作を実施する。
まず、時刻S00では、画素領域101は、垂直同期信号VD及びサブ水平同期信号HSに同期して、1行目の画素の読み出しを実施することで、画素をリセットし、1行目の画素の露光を開始する。次に、時刻S01では、画素領域101は、次のサブ水平同期信号HSに同期して、2行目の画素の読み出しを実施することで、画素をリセットし、2行目の画素の露光を開始する。時刻S02以降では、画素領域101は、同様の方法で、サブ水平同期信号HSに同期して、3行目〜16行目の画素の読み出しをそれぞれ実施することで、画素をリセットし、3行目〜16行目の画素のそれぞれの露光を開始する。このように、1HS経過する毎にリセットすることで、ライン順次のローリングシャッタ動作を開始する。
時刻S05は、時刻S00からTfr経過後の時刻である。時刻S05では、撮像素子12は、垂直同期信号VD及びサブ水平同期信号HSに同期して、1行目の画素の信号をそれに対応する期間Roに出力する。次に、時刻S06では、撮像素子12は、次のサブ水平同期信号HSに同期して、2行目の画素の信号をそれに対応する期間Roに出力する。時刻S07以降では、撮像素子12は、同様の方法で、サブ水平同期信号HSに同期して、3行目〜16行目の画素の信号をそれぞれに対応する期間Roに出力する。このように、1HS経過する毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。
撮像素子12は、垂直同期信号VDに同期して1行目の画素のリセットを開始し、読み出しのための垂直同期信号VDに同期して1行目の画素の読み出しを実施しているので、最長の露光時間は、垂直同期期間Tfrとなっている。これにより、露光時間Tfrのローリングシャッタ動作を全行に実施することで、全画素の露光時間をそろえた基本の撮像動作が実施される。ここで、1行目の画素のリセットを、時刻S00〜S05の間にある水平同期信号HDあるいはサブ水平同期信号HSのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、水平同期期間Thd単位あるいはサブ水平同期期間Thds単位の露光時間制御が可能となる。このようにして、第1の読み出し動作Opr1により、奇数行目の画素の信号が読み出され、撮像素子12の第1出力部110aから出力される。そして、第2の読み出し動作Opr2により、偶数行目の画素の信号が並列的に読み出され、撮像素子12の第2出力部110bから並列的に出力される。それらは、対応する信号処理部13の入力部分である第1入力部401a及び第2入力部401bにそれぞれ入力され、内部メモリ404内の領域mP01r〜mP16rに記憶される。その後、メモリ出力部408は、第1内部メモリ端子405aに1行目を含む奇数行目の画素信号を出力し、同時に、第2内部メモリ端子405bに2行目を含む偶数行目の画素信号を出力する。これにより、後段では、2行単位で信号処理させることができる。
図7は、第1の実施形態に係る撮像素子12のハイダイナミックレンジ(HDR)撮像動作を示すタイミングチャートであり、撮像装置の制御方法を示す。HDR処理のために、画素領域101は、所定行数(例えば2行)毎に、長時間露光用の行の画素(以下、長時間露光ラインという)と短時間露光用の行の画素(以下、短時間露光ラインという)が交互になるように設定される。信号VDLは、図6の垂直同期信号VDと同様に、撮像素子12を駆動するための垂直同期信号を示しているが、HDR撮像動作における長時間露光フレームの垂直同期信号(長期垂直同期信号)を示し、その1周期は長期垂直同期期間がTfrlである。信号VDSは、HDR撮像動作における短時間露光フレームの垂直同期信号(短期垂直同期信号)を示し、立ち下がりで有効となり、その1周期は短期垂直同期期間Tfrsである。これらの長期垂直同期信号VDL及び短期垂直同期信号VDSは、同期信号発生手段としてのTG112によって供給される。ここで、長期垂直同期信号VDLの1周期である長期垂直同期期間Tfrlは、短期垂直同期信号VDSのM周期分(=M×Tfrs。ただしMは2以上の自然数)に等しい。HDR処理においては、長時間露光と短時間露光の露光時間の比に応じて、HDRの効果が異なる。図7の例では、長期垂直同期期間Tfrlと短期垂直同期期間Tfrsの露光時間の比が2:1であるので、M=2、すなわち、長期垂直同期期間Tfrlは、短期垂直同期期間Tfrsの2周期分となる。例えば、M=3あるいはM=4の場合は、長期垂直同期期間Tfrl内に、それぞれ3回あるいは4回の短期垂直同期期間Tfrsが設定されるが、実際の短時間露光の露光時間は、それぞれ最後の短期垂直同期期間Tfrsに設定すればよい。ここで、長時間露光ラインを、1行目、2行目、5行目、6行目、9行目、10行目、13行目及び14行目のように2行毎に設定し、短時間露光ラインを、3行目、4行目、7行目、8行目、11行目、12行目、15行目及び16行目のように2行毎に設定する。すなわち、画素領域101は、長時間露光の露光時間(第1の露光時間)で露光された画素信号を生成する画素の行と、短時間露光の露光時間(第2の露光時間)で露光された画素信号を生成する画素の行とを有する。具体的には、画素領域101は、長時間露光の露光時間で露光された画素信号を生成する2行の画素と、短時間露光の露光時間で露光された画素信号を生成する2行の画素とが交互に配置されている。また、信号Sig01〜Sig16は、垂直信号線104に読み出される画素信号の順番を示し、その時の画素領域101の画素の1行目〜16行目の動作の状態を示す。そして、期間eP01r〜eP16rは、それぞれ、1行目〜16行目の画素の露光時間を示す。時刻S20以降では、図6と同様に、図4の読み出し動作を実施する。また、2ライン毎の露光時間が異なる信号からHDR処理を実施しやすいように、それぞれの画素は、ベイヤ配列のような2×2配列の色フィルタを備えている。
まず、時刻S10では、画素領域101は、長期垂直同期信号VDL、水平同期信号HD及びサブ水平同期信号HSに同期して、1行目の画素の読み出しを実施することで、画素をリセットし、長時間露光ラインの1行目の画素の露光を開始する。次に、時刻S11では、画素領域101は、次のサブ水平同期信号HSに同期して、2行目の画素の読み出しを実施することで、画素をリセットし、長時間露光ラインの2行目の画素の露光を開始する。次に、時刻S12では、画素領域101は、長期垂直同期信号VDLに同期する3回目の水平同期信号HD及びその時のサブ水平同期信号HSに同期して、5行目の画素の読み出しを実施することで、画素をリセットする。これにより、長時間露光ラインの5行目の画素の露光を開始する。このように、読み出し動作から逆算して露光を開始することと、短時間露光ラインである3行目及び4行目を飛ばして露光を開始することにより、5行目の画素のリセットは長期垂直同期信号VDLに同期する3回目の水平同期信号HDに同期することになる。次に、時刻S13では、画素領域101は、次のサブ水平同期信号HSに同期して、6行目の画素の読み出しを実施することで、画素をリセットし、長時間露光ラインの6行目の画素の露光を開始する。時刻S14以降では、画素領域101は、同様の方法で、サブ水平同期信号HSに同期して、9行目、10行目、13行目及び14行目の画素の読み出しをそれぞれ実施することで、画素をリセットする。これにより、長時間露光ラインの9行目、10行目、13行目及び14行目の画素のそれぞれの露光を開始する。このように、短時間露光ラインを飛ばしながら、行毎にリセットすることで、長時間露光ラインのライン順次のローリングシャッタ動作を開始する。
時刻S16は、時刻S15の短期垂直同期信号VDSに同期する2回目の水平同期信号HDの時刻である。時刻S16では、画素領域101は、水平同期信号HD及びその時のサブ水平同期信号HSに同期して、3行目の画素の読み出しを実施することで、画素をリセットし、短時間露光ラインの3行目の画素の露光を開始する。この時に、長時間露光ラインの1行目及び2行目は、すでに露光中であるので飛ばしている。次に、時刻S17では、画素領域101は、次のサブ水平同期信号HSに同期して、4行目の画素の読み出しを実施することで、画素をリセットし、短時間露光ラインの4行目の画素の露光を開始する。時刻S18は、時刻S15の短期垂直同期信号VDSに同期する4回目の水平同期信号HDの時刻である。時刻S18では、画素領域101は、水平同期信号HD及びその時のサブ水平同期信号HSに同期して、7行目の画素の読み出しを実施することで、画素をリセットし、短時間露光ラインの7行目の画素の露光を開始する。読み出し動作から逆算して露光を開始することと、すでに露光中である長時間露光ラインの5行目及び6行目を飛ばして露光を開始することにより、7行目の画素のリセットは短期垂直同期信号VDSに同期する4回目の水平同期信号HDに同期することになる。次に、時刻S19では、次のサブ水平同期信号HSに同期して、8行目の画素の読み出しを実施することで、画素をリセットし、短時間露光ラインの8行目の画素の露光を開始する。時刻S20以降では、画素領域101は、同様の方法で、サブ水平同期信号HSに同期して、11行目、12行目、15行目及び16行目の画素の読み出しをそれぞれ実施することで、画素をリセットする。これにより、短時間露光ラインの11行目、12行目、15行目及び16行目の画素のそれぞれの露光を開始する。このように、長時間露光ラインを飛ばしながら、行毎にリセットすることで、短時間露光ラインのライン順次のローリングシャッタ動作を開始する。
そして、時刻S20では、撮像素子12は、長期垂直同期信号VDL、短期垂直同期信号VDS、水平同期信号HD及びサブ水平同期信号HSに同期して、図6と同様に、1行目の画素の信号をそれに対応する期間Roに出力する。2行目以降についても、図6と同様である。このように、1HS経過する毎に全行をライン毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。長時間露光の撮像動作では、長期垂直同期信号VDLに同期して1行目の画素のリセットを開始し、読み出しのための長期垂直同期信号VDLに同期して1行目の画素の読み出しを実施しているので、最長の露光時間は、長期垂直同期期間Tfrlとなる。これにより、露光時間Tfrlのローリングシャッタ動作をすべての長時間露光ラインに実施することで、長時間露光ラインの露光時間をそろえた撮像動作が実施される。短時間露光の撮像動作では、短期垂直同期信号VDSの次の水平同期信号HDに同期して3行目の画素のリセットを開始し、読み出しのための短期垂直同期信号VDSの次の水平同期信号HDに同期して3行目の画素の読み出しを実施している。そのため、最長の露光時間は、短期垂直同期期間Tfrsとなる。これにより、露光時間Tfrsのローリングシャッタ動作をすべての短時間露光ラインに実施することで、短時間露光ラインの露光時間をそろえた撮像動作が実施される。
撮像素子12は、第1の読み出し動作Opr1により、奇数行目の画素を読み出し、撮像素子12の第1出力部110aから出力する。また、撮像素子12は、第2の読み出し動作Opr2により、偶数行目の画素を並列的に読み出し、撮像素子12の第2出力部110bから並列的に出力する。第1入力部401a及び第2入力部401bは、それぞれ、奇数行目及び偶数行目の画素信号を入力し、内部メモリ404は、画素信号を領域mP01r〜mP16rに記憶する。内部メモリ404は、長時間露光ラインの1行目、2行目、5行目、6行目、9行目、10行目、13行目及び14行目の画素信号をそれぞれ領域mP01r〜mP8rに記憶する。また、内部メモリ404は、短時間露光ラインの3行目、4行目、7行目、8行目、11行目、12行目、15行目及び16行目の画素信号をそれぞれ領域mP09r〜mP16rに記憶する。その後、メモリ出力部408は、第1内部メモリ端子405aに長時間露光ラインの画素信号を出力し、同時に第2内部メモリ端子405bに短時間露光ラインの画素信号を出力する。これにより、後段では、長時間露光信号と短時間露光信号を同時かつ別々に信号処理させることができる。
ここで、本実施形態では、長時間露光と短時間露光の露光時間の比を2:1にする必要がある。例えば、長時間露光ラインである1行目の画素のリセットを、時刻S10〜S20までの間にある水平同期信号HDのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。この時、短時間露光ラインである3行目の画素のリセットを、常に長時間露光ラインの半分の時間となる時刻からスタートさせ、ライン順次のローリングシャッタ動作を開始する。具体的には、長時間露光ラインの露光時間を1水平同期期間Thd増減させる毎に、対応する短時間露光ラインの露光時間をそれぞれ1サブ水平同期期間Thds増減させることで実現できる。これにより、長時間露光と短時間露光の露光時間の比を2:1に保ったまま露光時間制御が可能となる。このため、HDR処理では、感度比を補償するゲイン値は、短時間露光画素の信号に対して2倍に設定する。そして、信号処理部13は、長時間露光画素の信号と短時間露光画素の信号を合成することでHDR処理を実行すればよい。また、撮像素子12の基本の撮像動作とHDR撮像動作の切り換えに関して説明する。これに関しては、例えば、撮像装置の操作部16が、ユーザによる入力操作に応じた制御信号を同期制御部15に出力し、同期制御部15の制御により、TG112が撮像素子12の全体を制御するタイミングを発生させることにより実現させている。
次に、本実施形態における撮像動作とHDR処理について説明する。HDR処理では、信号処理部13は、長時間露光の露光時間で露光された複数の行の画素信号を含む第1の画像データと、短時間露光の露光時間で露光された複数の行の画素信号を含む第2の画像データとを合成することにより、第3の画像データを生成する。第3の画像データは、第1及び第2の画像データに対してダイナミックレンジが拡大された画像データである。信号処理部13は、撮像素子12から出力される画素信号に対して、画素信号補正処理、位置ずれ補正処理、HDR処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。ここでは、長時間露光信号と短時間露光信号を用いた信号処理について説明する。信号処理部13の信号処理では、撮像素子12の画素領域101と区別するため、行毎の画素信号をラインと表現する。信号処理部13は、第1内部メモリ端子405aから長時間露光ラインを入力し、同時に第2内部メモリ端子405bから短時間露光ラインを入力し、同時かつ別々に信号処理する。
まず始めに、信号処理部13は、長時間露光信号と短時間露光信号に対して、それぞれ別々に画素信号補正処理を行う。画素信号補正処理は、例えば、キズ補正、固定パターン補正、シェーディング補正等の補正処理である。次に、信号処理部13は、長時間露光ラインと短時間露光ラインが2ライン毎に位置がずれているため、短時間露光ラインを基準として、長時間露光ラインの位置ずれ補正処理を行う。撮像素子12の画素領域101は、16ラインしか示していないが、実際の撮像装置では、960ラインあるいは2048ライン程度を備える。したがって、画素領域101を長時間露光ラインと短時間露光ラインに分割したとしても十分な解像度を維持したまま位置ずれ補正を実施することができる。位置ずれ補正処理は、長時間露光信号の1、2、5、6、9、10、13、14ラインを用いて、長時間露光信号相当の3、4、7、8、11、12、15、16ラインの位置の画素信号を求める。例えば、信号処理部13は、長時間露光信号の1、2、5、6ラインを用いて、短時間露光時の3、4ラインを補間して求めることができる。信号処理部13は、R・G信号である1、5ラインから、同じくR・G信号である3ラインを補間し、G・B信号である2、6ラインから、同じくG・B信号である4ラインを補間する。こうして求められた長時間露光信号の1、2、5、6、9、10、13、14ラインの画素信号は、信号処理部13に設けられたメモリに記憶される。信号処理部13は、同時に、短時間露光信号の3、4、7、8、11、12、15、16ラインに対しては、HDR処理の一部として、2倍のゲイン値をかけてから、同じく信号処理部13に設けられたメモリに記憶する。これにより、長時間露光と短時間露光の露光時間の比2:1を補償することができる。
次に、信号処理部13は、記憶されている長時間露光信号に相当する3、4、7、8、11、12、15、16ラインの画素信号と短時間露光信号の3、4、7、8、11、12、15、16ラインの画素信号との間で、HDR処理を実施する。短時間露光信号には露光時間を補償するゲイン値がすでにかけてあるので、ここでのHDR処理としては、明るさに応じた重み付け係数を用いて、長時間露光画素の信号と短時間露光画素の信号を合成することになる。明るさに応じた合成の方法としては、例えば次のような方法がある。まず、長時間露光画素の信号の重み付け係数と短時間露光画素の信号の重み付け係数の和を一定値とする。そして、画像が明るい場合には、短時間露光画素の信号の重み付け係数を大きくする。一方、画像が暗い場合には、長時間露光画素の信号の重み付け係数を大きくする。ここまでは、全て画素毎の信号処理になっているので、信号処理部13は、最後に画像信号処理を実施して、ダイナミックレンジが拡大された画像を生成する。この画像信号処理は、ホワイトバランス調整処理、色補正処理、ガンマ補正処理等の信号処理である。このようにして、信号処理部13は、長時間露光信号に対しては、長時間露光信号だけの画素信号補正処理と位置ずれ補正処理を実施する。また、同時に、信号処理部13は、短時間露光信号に対しては、短時間露光信号だけに画素信号補正処理、露光時間を補償するゲイン補正を実施する。
以上のように、信号処理部13は、長時間露光信号と短時間露光信号を同時かつ別々に補正処理及び信号処理することができるので、露光時間に合わせて2ライン毎に切り換えて補正処理及び信号処理を実施する必要がないため、負担軽減が図られる。そして、信号処理部13は、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力するので、撮像装置における高速読み出し動作を実現している。本実施形態では、2行同時に出力することが可能となるので、2倍のフレームレートが実現できることになる。これにより、本実施形態では、1ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になる。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も半分に低減させることができる。
なお、上述の位置ずれ補正処理では、長時間露光ラインを用いて短時間露光ラインの位置の長時間露光相当の画素信号を求めた。しかし、信号処理部13は、短時間露光信号の3、4、7、8、11、12、15、16ラインを用いて、短時間露光相当の1、2、5、6、9、10、13、14ラインの位置の画素信号を計算してもよい。そして、信号処理部13は、短時間露光信号として、1ラインから16ラインまでの全ラインを用いる。これにより、信号処理部13は、16×16の全画素を用いたダイナミックレンジが拡大された画像を生成することができる。
図8(a)〜(e)は、他のHDR処理を説明するための図である。このHDR処理でも、長時間露光により得られた第1の画像データと短時間露光により得られた第2の画像データとを合成して、第1及び第2の画像データに対してダイナミックレンジが拡大された第3の画像データを生成することは上記と同じである。図8(a)は、画素領域101の撮像面照度Eplxと画素の出力信号Psigの関係を表した画素特性の図である。画素特性Exp1、Exp2、Exp3、Exp4は、撮像面照度Eplxと画素の出力信号Psigの関係を表す。画素特性Exp1、Exp2、Exp3、Exp4は、露光フレーム期間が、それぞれTfrs、2Tfrs、3Tfrs、4Tfrsであり、かつ、電子シャッタによる露光時間の比が、それぞれ1:2:3:4に制御されている場合の特性を示している。これにより、画素特性Exp1を基準にすると、画素特性Exp2、Exp3、Exp4の傾きはそれぞれ、2倍、3倍、4倍となる。出力信号PSATは、画素の飽和信号量を示している。画素特性Exp1、Exp2、Exp3、Exp4は、それぞれ、撮像面照度E1、E2、E3、E4において飽和信号量PSATに達するので、それ以上の照度では出力信号は増加しない。破線は、画素特性Exp1、Exp2、Exp3、Exp4が飽和しないと仮定した場合の特性である。
図8(b)は、画素特性Exp1についての撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。撮像面の照度E1にて、図8(a)の画素の出力信号Psigが飽和信号量PSATで飽和するため、図8(b)の画像信号Ssigも飽和信号量SSATで飽和した特性となっている。そして、撮像面照度0からE1に対応して、画像信号が0からSSATまで階調を持って出力していることがわかる。これが、撮像素子12を図6のように動作させ、HDR処理を行わなかった場合の基本の撮像動作における画素特性である。
図8(c)は、本実施形態の撮像装置に対して、画素特性Exp1及びExp2を用いてHDR処理を実施した場合の、撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。本実施形態では、画素特性Exp1及びExp2は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、M=2の場合である。HDR処理は、画素特性Exp1及びExp2を加算して、最大飽和信号量がSSATとなるように正規化することで実現する。撮像面照度0からE2までは、図8(a)における画素特性Exp1及びExp2を加算することで、Exp1の3倍の感度に相当する画素特性となる。撮像面照度E2からE1までは、図8(a)において画素特性Exp2が飽和しているので、飽和信号量PSATと画素特性Exp1を加算する。撮像面照度E1以上は、図8(a)において画素特性Exp1及びExp2がともに飽和しているので、最大飽和信号量となる2×PSATとなっている。このように加算した画素特性に対して、最大飽和信号量2×PSATが飽和信号量SSATになるように正規化することで、図8(c)のHDR処理が実現する。撮像素子12は図7のように動作するとともに、信号処理部13は図8(c)のHDR処理を実施する。これにより、撮像面照度0からE1に対応して、画像信号Ssigが0からSSATまで階調を持って出力していることがわかる。また、撮像面照度がE2からE1に拡張されているので、ダイナミックレンジは、2倍に拡大されていることになる。さらに、撮像面照度0からE2の画像信号特性の傾きは、図8(b)の画素特性Exp1の画像信号特性と比較すると、(感度3倍相当)/(最大飽和信号量2倍)=1.5倍になっていることより、感度は1.5倍に拡大されていることになる。ただし、画像信号特性の飽和信号量SSATが2×SSATまで利用可能であれば、感度は3倍まで拡大することができる。図8(c)は、ガンマ特性として知られている入出力特性であり、これによりダイナミックレンジを拡大することが可能である。
図8(d)は、本実施形態の撮像装置に対して、画素特性Exp1及びExp3を用いてHDR処理を実施した場合の、撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。本実施形態では、画素特性Exp1及びExp3は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、M=3の場合である。HDR処理は、画素特性Exp1及びExp3を加算して、最大飽和信号量がSSATとなるように正規化することで実現する。撮像面照度0からE3までは、図8(a)における画素特性Exp1及びExp3を加算することで、画素特性Exp1の4倍の感度に相当する画素特性となる。撮像面照度E3からE1までは、図8(a)において画素特性Exp3が飽和しているので、飽和信号量PSATと画素特性Exp1を加算する。撮像面照度E1以上は、図8(a)において画素特性Exp1及びExp3がともに飽和しているので、最大飽和信号量となる2×PSATとなっている。このように加算した画素特性に対して、最大飽和信号量2×PSATが飽和信号量SSATになるように正規化することで、図8(d)のHDR処理が実現する。撮像素子12はM=3に相当するように動作するとともに、信号処理部13は図8(d)のHDR処理を実施する。これにより、撮像面照度0からE1に対応して、画像信号が0からSSATまで階調を持って出力していることがわかる。また、撮像面照度がE3からE1に拡張されているので、ダイナミックレンジは、3倍に拡大されていることになる。さらに、撮像面照度0からE3の画像信号特性の傾きは、図8(b)の画素特性Exp1の画像信号特性と比較すると、(感度4倍相当)/(最大飽和信号量2倍)=2倍になっていることより、感度は2倍に拡大されていることになる。ただし、画像信号特性の飽和信号量SSATが2×SSATまで利用可能であれば、感度は4倍まで拡大することができる。図8(d)は、図8(c)と同じく、ガンマ特性として知られている入出力特性であり、これによりダイナミックレンジを拡大することが可能である。
図8(e)は、本実施形態の撮像装置に対して、画素特性Exp1及びExp4を用いてHDR処理を実施した場合の、撮像面照度Eplxと画像信号処理に用いられる画像信号Ssigの関係を表した画像信号特性の図である。本実施形態では、画素特性Exp1及びExp4は、それぞれ、短時間露光時の出力信号及び長時間露光時の出力信号に相当し、M=4の場合である。HDR処理は、画素特性Exp1及びExp4を加算して、最大飽和信号量がSSATとなるように正規化することで実現する。撮像面照度0からE4までは、図8(a)における画素特性Exp1及びExp4を加算することで、Exp1の5倍の感度に相当する画素特性となる。撮像面照度E4からE1までは、図8(a)において画素特性Exp4が飽和しているので、飽和信号量PSATと画素特性Exp1を加算する。撮像面照度E1以上は、図8(a)において画素特性Exp1及びExp4がともに飽和しているので、最大飽和信号量となる2×PSATとなっている。このように加算した画素特性に対して、最大飽和信号量2×PSATがSSATになるように正規化することで、図8(e)のHDR処理が実現する。撮像素子12はM=4に相当するように動作するとともに、信号処理部13は図8(e)のHDR処理を実施する。これにより、撮像面照度0からE1に対応して、画像信号Ssigが0からSSATまで階調を持って出力していることがわかる。また、撮像面照度がE4からE1に拡張されているので、ダイナミックレンジは、4倍に拡大されていることになる。さらに、撮像面照度0からE4の画像信号特性の傾きは、図8(b)の画素特性Exp1の画像信号特性と比較すると、(感度5倍相当)/(最大飽和信号量2倍)=2.5倍になっていることより、感度は2.5倍に拡大されていることになる。ただし、画像信号特性の飽和信号量SSATが2×SSATまで利用可能であれば、感度は5倍まで拡大することができる。図8(e)も、図8(c)と同じく、ガンマ特性として知られている入出力特性であり、これによりダイナミックレンジを拡大することが可能である。
(第2の実施形態)
次に、図1〜図6及び図8に加えて、図9及び図10を参照して、本発明の第2の実施形態について説明する。第2の実施形態では、撮像装置の基本的な構成及び動作は、第1の実施形態と同様である。第1の実施形態の図4の読み出し動作では、第1の読み出し動作Opr1で奇数行目の画素の信号を読み出し、第2の読み出し動作Opr2では、偶数行目の画素の信号を読み出している。そのため、読み出し動作から逆算して露光を開始すると、図7のHDR撮像動作において、例えば、長時間露光ラインの露光開始時刻が時刻S10、S11、S12、S13のようになり、露光開始時刻の時間差が均等にならないことになる。そこで、以下に説明する第2の実施形態では、読み出し動作の変更により、露光開始時刻の時間差が均等になるHDR撮像動作を実現する。
図9は、第2の実施形態に係る撮像素子12の読み出し動作を示すタイミングチャートである。図4の読み出し動作では、第1の読み出し動作Opr1で奇数行目の画素の信号を読み出し、第2の読み出し動作Opr2で偶数行目の画素の信号を読み出していた。しかし、図9においては、第1の読み出し動作Opr1では、第1出力部110aは、画素領域101の画素信号を1行目、2行目、5行目、6行目、9行目、10行目、13行目及び14行目の順番に出力する。そして、第2の読み出し動作Opr2では、第2出力部110bは、画素領域101の画素信号を3行目、4行目、7行目、8行目、11行目、12行目、15行目及び16行目の順番に出力する。すなわち、第1の読み出し動作Opr1では、第1出力部110aは、長時間露光の露光時間で露光された長時間露光ラインの画素信号を出力する。第2の読み出し動作Opr2では、第2出力部110bは、短時間露光の露光時間で露光された短時間露光ラインの画素信号を出力する。これにより、図9の時刻t00において、第1の読み出し動作Opr1で1行目の画素信号を読み出し、時刻t04において、第2の読み出し動作Opr2で3行目の画素信号を読み出す。そして、時刻t08において、第1の読み出し動作Opr1で2行目の画素信号を読み出し、時刻t12において、第2の読み出し動作Opr2で4行目の画素信号を読み出す。これ以降も、第1の読み出し動作Opr1と第2の読み出し動作Opr2を繰り返しながら、5行目、7行目、6行目、8行目、9行目、11行目、10行目、12行目、13行目、15行目、14行目、16行目の順番に画素信号を読み出す。読み出す行の変更に関しては、同期制御部15の制御により、TG112が垂直走査部102を制御するタイミングを発生して実現させている。ここで、図9においては、読み出す行が入れ替わっていること以外のタイミングや動作については、図4と同じである。
図10は、第2の実施形態に係る撮像素子12のHDR撮像動作を示すタイミングチャートである。本実施形態においても、HDR処理のために、画素領域101の画素行は、所定行数(例えば2行)毎に、長時間露光ラインと短時間露光ラインが交互になるように設定される。本実施形態では、図7と同様に、長時間露光ラインは、1行目、2行目、5行目、6行目、9行目、10行目、13行目及び14行目のように2行毎に設定される。そして、短時間露光ラインは、3行目、4行目、7行目、8行目、11行目、12行目、15行目及び16行目のように2行毎に設定される。また、信号Sig01からSig16は、垂直信号線104に読み出される画素信号の順番を示し、その時の画素領域101の画素の1行目〜16行目の動作の状態を示す。そして、期間eP01r〜eP16rは、それぞれ、1行目〜16行目の画素の露光時間を示す。第1の読み出し動作Opr1では、第1出力部110aは、1行目、2行目、5行目、6行目、9行目、10行目、13行目及び14行目の長時間露光ラインの画素信号を順番に出力する。第2の読み出し動作Opr2では、第2出力部110bは、3行目、4行目、7行目、8行目、11行目、12行目、15行目及び16行目の短時間露光ラインの画素信号を順番に出力する。時刻S40以降の読み出し動作は、図9の動作と同じである。すなわち、時刻S40以降は、長時間露光ラインを読み出す第1の読み出し動作Opr1と短時間露光ラインを読み出す第2の読み出し動作Opr2を繰り返す。これにより、1行目、3行目、2行目、4行目、5行目、7行目、6行目、8行目、9行目、11行目、10行目、12行目、13行目、15行目、14行目、16行目の順番に画素信号を読み出すことになる。その他は、図7と同様である。また、2ライン毎に露光時間が異なる画素信号からHDR処理を実施しやすいように、それぞれの画素はベイヤ配列のような2×2配列の色フィルタを備えている。
まず、時刻S30では、画素領域101は、長期垂直同期信号VDL及び水平同期信号HDに同期して、1行目の画素信号の読み出しを実施することで、画素をリセットし、長時間露光ラインの1行目の画素の露光を開始する。次に、時刻S31では、画素領域101は、次の水平同期信号HDに同期して、2行目の画素信号の読み出しを実施することで、画素をリセットし、長時間露光ラインの2行目の画素の露光を開始する。このように、読み出し動作から逆算して露光を開始することと、短時間露光ラインである3行目を飛ばして露光を開始することにより、2行目の画素のリセットは長期垂直同期信号VDLに同期する2回目の水平同期信号HDに同期することになる。そして、時刻S32では、画素領域101は、時刻S30の長期垂直同期信号VDLに同期する3回目の水平同期信号HDに同期して、短時間露光ラインである4行目を飛ばして5行目の画素信号の読み出しを実施することで、画素をリセットする。これにより、長時間露光ラインの5行目の画素の露光を開始する。時刻S33以降では、画素領域101は、同様の方法で、水平同期信号HDに同期して、6行目、9行目、10行目、13行目及び14行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットする。これにより、長時間露光ラインの6行目、9行目、10行目、13行目及び14行目のそれぞれの画素の露光を開始する。このように、画素領域101は、短時間露光ラインを飛ばしながら、行毎にリセットすることで、長時間露光ラインのライン順次のローリングシャッタ動作を開始する。
時刻S35は、時刻S34の短期垂直同期信号VDSに同期する水平同期信号HD及びサブ水平同期信号HSに対して、その時の2回目のサブ水平同期信号HSとなる時刻である。時刻S35では、画素領域101は、サブ水平同期信号HSに同期して、3行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの3行目の画素の露光を開始する。この時に、長時間露光ラインの1行目は、すでに露光中であるので飛ばしている。時刻S36は、時刻S34の短期垂直同期信号VDSに同期する2回目の水平同期信号HDに対して、その時の2回目サブ水平同期信号HSとなる時刻である。時刻S36では、画素領域101は、サブ水平同期信号HSに同期して、長時間露光ラインである2行目を飛ばして4行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの4行目の画素の露光を開始する。時刻S38は、時刻S34の短期垂直同期信号VDSに同期する3回目の水平同期信号HDに対して、その時の2回目のサブ水平同期信号HSとなる時刻である。時刻S38では、画素領域101は、サブ水平同期信号HSに同期して、長時間露光ラインである5行目を飛ばして7行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの7行目の画素の露光を開始する。時刻S39以降では、画素領域101は、同様の方法で、2回のサブ水平同期信号HSが経過する毎に、8行目、11行目、12行目、15行目及び16行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットする。これにより、短時間露光ラインの8行目、11行目、12行目、15行目及び16行目のそれぞれの画素の露光を開始する。このように、長時間露光ラインを飛ばしながら、行毎にリセットすることで、短時間露光ラインのライン順次のローリングシャッタ動作を開始する。
そして、時刻S40では、撮像素子12は、長期垂直同期信号VDL、短期垂直同期信号VDS、水平同期信号HD及びサブ水平同期信号HSに同期して、1行目の画素の信号をそれに対応する期間Roに出力する。次に、時刻S41では、撮像素子12は、次のサブ水平同期信号HSに同期して、3行目の画素の信号をそれに対応する期間Roに出力する。続いて、時刻S42では、撮像素子12は、次のサブ水平同期信号HSに同期して、2行目の画素の信号をそれに対応する期間Roに出力する。さらに、時刻S43では、撮像素子12は、次のサブ水平同期信号HSに同期して、4行目の画素の信号をそれに対応する期間Roに出力する。時刻S44以降では、撮像素子12は、同様に、サブ水平同期信号HSに同期して、画素の信号を5行目、7行目、6行目、8行目、9行目、11行目、10行目、12行目、13行目、15行目、14行目、16行目の順番で、それぞれの期間Roに出力する。このように、1HS経過する毎に全行を所定の順番でライン毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。
長時間露光の撮像動作では、長期垂直同期信号VDLに同期して1行目の画素のリセットを開始し、読み出しのための長期垂直同期信号VDLに同期して1行目の画素の読み出しを実施しているので、最長の露光時間は、長期垂直同期期間Tfrlとなっている。これにより、露光時間Tfrlのローリングシャッタ動作をすべての長時間露光ラインに実施することで、長時間露光ラインの露光時間をそろえた撮像動作が実施される。短時間露光の撮像動作では、短期垂直同期信号VDSの次のサブ水平同期信号HSに同期して3行目の画素のリセットを開始し、読み出しのための短期垂直同期信号VDSの次のサブ水平同期信号HSに同期して3行目の画素の読み出しを実施している。そのため、最長の露光時間は、短期垂直同期期間Tfrsとなっている。これにより、露光時間Tfrsのローリングシャッタ動作をすべての短時間露光ラインに実施することで、短時間露光ラインの露光時間をそろえた撮像動作が実施される。このようにして、第1の読み出し動作Opr1により、長時間露光ラインを所定の順番で読み出し、撮像素子12の第1出力部110aから出力する。また、第2の読み出し動作Opr2により、短時間露光ラインを所定の順番で読み出し、撮像素子12の第2出力部110bから出力する。
そして、信号処理部13の入力部分である第1入力部401a及び第2入力部401bは、それぞれ、長時間露光ライン及び短時間露光ラインの画素信号を入力する。内部メモリ404は、長時間露光ライン及び短時間露光ラインの画素信号を領域mP01r〜mP16rに記憶する。この時、図10のHDR撮像動作では、長時間露光ラインの1行目、2行目、5行目、6行目、9行目、10行目、13行目及び14行目の画素信号は、それぞれ領域mP01r〜mP8rに記憶される。短時間露光ラインの3行目、4行目、7行目、8行目、11行目、12行目、15行目及び16行目の画素信号は、それぞれ領域mP09r〜mP16rに記憶される。その後、メモリ出力部408は、第1内部メモリ端子405aに長時間露光ラインの画素信号を出力し、同時に第2内部メモリ端子405bに短時間露光ラインの画素信号を出力する。これにより、後段では、長時間露光信号と短時間露光信号を同時かつ別々に信号処理することができる。
ここで、本実施形態では、長時間露光と短時間露光の露光時間の比を2:1にする必要がある。例えば、長時間露光ラインである1行目の画素のリセットを、時刻S30からS40までの間にある水平同期信号HDのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。この時、短時間露光ラインである3行目の画素のリセットを、常に長時間露光ラインの半分の時間となる時刻からスタートさせ、ライン順次のローリングシャッタ動作を開始する。具体的には、長時間露光ラインの露光時間を1水平同期期間Thd増減させる毎に、それに対応する短時間露光ラインの露光時間をそれぞれ1サブ水平同期期間Thds増減させることで実現できる。これにより、長時間露光と短時間露光の露光時間の比を2:1に保ったまま露光時間制御が可能となる。このため、HDR処理では、感度比を補償するゲイン値は、短時間露光画素の信号に対して2倍に設定する。そして、長時間露光画素の信号と短時間露光画素の信号を合成することでHDR処理を実行すればよい。本実施形態におけるHDR処理は、第1の実施形態と同様に実施すればよい。また、HDR処理は、M=2である図8(c)を用いて実施可能である。また、本実施形態における撮像素子12の基本の撮像動作とHDR撮像動作の切り換えに関して説明する。これに関しては、例えば、撮像装置の操作部16は、ユーザによる入力操作に応じた制御信号を同期制御部15に出力し、同期制御部15の制御により、TG112が撮像素子12の全体を制御するタイミングを発生させることにより実現させている。
本実施形態では、長時間露光信号と短時間露光信号を同時かつ別々に補正処理及び信号処理させることができるので、露光時間に合わせて2ライン毎に切り換えて補正処理及び信号処理を実施する必要がないため、信号処理部13の負担軽減が図られる。そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となるので、撮像装置における高速読み出し動作を実現している。本実施形態では、2行同時に画素信号を出力することが可能となるので、2倍のフレームレートが実現できることになる。これにより、本実施形態では、1ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になっている。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪の発生も半分に低減させることができる。さらに、本実施形態では、露光時間の開始となるリセット動作が、長時間露光ラインと短時間露光ラインのどちらに対しても、サブ水平同期期間の2×Thdsである1水平同期期間Thdの時間差を持って実施されている。そして、露光時間の終了となる読み出し動作も、長時間露光ラインと短時間露光ラインのどちらに対しても、サブ水平同期期間の2×Thdsである1水平同期期間Thdの時間差を持って実施されている。これにより、長時間露光と短時間露光の両方について、露光時間の時間差が均等になるため、第1の実施形態の図7において長時間露光と短時間露光のそれぞれに起きていた、露光時間の時間差の不均等が解消される。このため、本実施形態では、ローリング歪みが低減し、その影響がなめらかになり、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりするのを防止することができるという効果がある。
(第3の実施形態)
次に、図1、図3及び図8に加えて、図11〜図16を参照して、本発明の第3の実施形態について説明する。第3の実施形態では、撮像装置の基本的な構成及び動作は、第1の実施形態及び第2の実施形態と同様である。第1の実施形態における撮像素子12は、水平メモリ部108a,108b及び出力部1101,110bをそれぞれ2組ずつ備えることで、2行同時出力による高速読み出し動作を実現している。以下に説明する第3の実施形態においては、水平メモリ部及び出力部をそれぞれ4組ずつ備えることで、さらなる高速読み出し動作とローリング歪みの低減を実現する。
図11は、本実施形態に係る撮像素子12の構成例を示す図である。図11の撮像素子12は、図2の撮像素子12に対して、第3水平メモリ部108c、第4水平メモリ部108d、第3出力部110c、第4出力部110d、出力端子111c,111d、第1メモリ選択部114a及び第2メモリ選択部114bを追加している。画素領域101、垂直走査部102、画素制御線103、垂直信号線104、信号選択部105a、105b、列信号処理部106a、106b、及び、列AD部107a、107bは、図2に示した第1の実施形態における撮像素子と同じ動作を行う。第1メモリ選択部114aは、第1列AD部107aにおいてアナログデジタル変換された行単位の画素の信号を、第1水平メモリ部108aあるいは第3水平メモリ部108cのどちらか一方に選択的に記憶させるスイッチである。第2メモリ選択部114bは、第2列AD部107bにおいてアナログデジタル変換された行単位の画素の信号を、第2水平メモリ部108bあるいは第4水平メモリ部108dのどちらか一方に選択的に記憶させるスイッチである。第1水平メモリ部108a及び第3水平メモリ部108cは、第1列AD部107aにおいてデジタル化された行単位の各列の画素信号を記憶する。第2水平メモリ部108b及び第4水平メモリ部108dは、第2列AD部107bにおいてデジタル化された行単位の各列の画素信号を記憶する。ここで、水平メモリ部108a、108b、108c、108dは、それらに対応する列AD部107a、107bにあわせて各列毎に8ビットのデジタル信号を記憶できるものとするが、AD変換器のビット精度に応じたビット数のデジタル信号が記憶できればよい。第1水平走査部109aは、水平メモリ部108a、108cに記憶しているデジタル化された画素信号を、それぞれに対応する出力部110a、110cに列毎に選択して転送するように、水平メモリ部108a、108bを制御する。第2水平走査部109bは、水平メモリ部108b、108dに記憶しているデジタル化された画素信号を、それぞれに対応する出力部110b、110dに列毎に選択して転送するように、水平メモリ部108b、108dを制御する。出力部110a、110b、110c及び110dは、デジタル化された行単位の画素信号の前あるいは前後に同期信号を付加する。また、出力部110a、110b、110c及び110dは、同期信号付きのデジタル画素信号を、それぞれに対応する出力端子111a、111b、111c及び111dを介して信号処理部13へ出力する。TG112は、制御端子113を介した同期制御部15からの制御信号に基づいて、撮像素子12の各部の動作に必要な各種のクロック信号や制御信号等を出力する。本実施形態に係る出力部110a、110b、110c及び110dは、図3に示した第1の実施形態における第1出力部110aと同じ構成と同じ動作である。
図12は、第3の実施形態に係る撮像素子12の読み出し動作を示すタイミングチャートである。信号HDは、撮像素子12を駆動するための水平同期信号を示し、立ち下がりで有効となり、期間Thdが1つの水平同期期間となっている。また、信号HSは、水平同期信号のサブ水平同期信号を示し、立ち下がりで有効となり、期間Thsが1つのサブ水平同期期間となっている。ここで、サブ水平同期信号HSは、撮像素子12がN個(Nは2以上の整数)の出力部を有する場合、1水平同期期間ThdにN行の画素の信号を読み出すよう、1水平同期期間ThdをN分割した周期(間隔毎)で立ち下がるよう作られている。これらの水平同期信号HD及びサブ水平同期信号HSは、同期信号発生手段としてのTG112によって供給される。本実施形態に係る撮像素子12は、第1出力部110a、第2出力部110b、第3出力部110c及び第4出力部110dの4つの出力部を有するため、4行分の画素を並列的に出力することが可能となっている。そこで、サブ水平同期信号HSは、水平同期期間Thdを4等分した周期で立ち下がるよう作られている。このため、水平同期期間Thdが、サブ水平同期期間Thsの4倍の長さとなっている。
動作Opr1は、第1信号選択部105aが選択し、かつ、第1メモリ選択部114aが第1水平メモリ部108aに接続したときの第1の読み出し動作を示す。動作Opr2は、第2信号選択部105bが選択し、かつ、第2メモリ選択部114bが第2水平メモリ部108bに接続したときの第2の読み出し動作を示す。動作Opr3は、第1信号選択部105aが選択し、かつ、第1メモリ選択部114aが第3水平メモリ部108cに接続したときの第3の読み出し動作を示す。動作Opr4は、第2信号選択部105bが選択し、かつ、第2メモリ選択部114bが第4水平メモリ部108dに接続したときの第4の読み出し動作を示す。画素領域101に配列されている画素のうち、第1出力部110aは、1行目、5行目、9行目及び13行目の画素の信号を第1の読み出し動作Opr1により出力する。そして、第2出力部110bは、2行目、6行目、10行目及び14行目の画素の信号を第2の読み出し動作Opr2により出力する。また、第3出力部110cは、3行目、7行目、11行目及び15行目の画素の信号を第3の読み出し動作Opr3により出力する。第4出力部110dは、4行目、8行目、12行目及び16行目の画素の信号を第4の読み出し動作Opr4により出力する。すなわち、第1出力部110aは、第1のグループに属する行の画素の画素信号を出力する。第2出力部110bは、第2のグループに属する行の画素の画素信号を出力する。第3出力部110cは、第3のグループに属する行の画素の画素信号を出力する。第4出力部110dは、第4のグループに属する行の画素の画素信号を出力する。第1〜第4出力部110a〜110dは、画素領域101の隣接する4行の画素の画素信号を並列に出力する。
まず、第1の読み出し動作Opr1について説明する。時刻t20では、撮像素子12は、水平同期信号HDに同期する1回目のサブ水平同期信号HSに同期して、第1の読み出し動作Opr1を開始する。まず、時刻t20〜t21の期間Rd1rでは、撮像素子12は、第1信号選択部105aが選択した状態で、垂直走査部102からの駆動制御信号により、1行目の画素の信号をそれぞれに対応する垂直信号線104に読み出す。このとき、最初に画素をリセットした状態のN信号が、第1列信号処理部106aでサンプルホールドされ、続いて光電変換された状態のS信号が、第1列信号処理部106aでサンプルホールドされる。次に、時刻t21〜t22の期間CDS1rでは、第1列信号処理部106aは、CDS回路でS信号からN信号を減算することによってCDS処理によるノイズ除去を実施し、必要であればAGC回路による利得制御を実施する。次に、時刻t22〜t23の期間AD1rでは、第1列AD部107aは、ノイズ除去された1行目の画素の信号をアナログデジタル変換する。第1の読み出し動作Opr1では、第1メモリ選択部114aが第1水平メモリ部108aに接続しているので、デジタル信号に変換された1行目の画素の信号は、第1水平メモリ部108aに記憶される。ここまでの時刻t20〜t23での処理が、1行目の各画素の信号に対する列毎の並列処理になる。
次に、時刻t23〜t24の期間SD1rでは、第1出力部110a内の第1同期信号付加部202aは、画素クロック信号Sckaの位相と同期した状態で、8ビットの画素信号が送られてくる前にスタート同期信号を付加する。ここで付加されるスタート同期信号は、第1の実施形態におけるスタート同期信号と同じものを用いることができる。このとき、正転画素クロック信号SckPa及び反転画素クロック信号SckNaには、スタート同期信号を付加しない。次に、時刻t24の期間SigOut1rでは、第1水平走査部109aは、第1水平メモリ部108aを列毎に選択し、第1水平メモリ部108aに記憶されているデジタル化された8ビットの画素信号D0a〜D7aを第1出力部110aに転送する。そして、第1信号変換部201aは、TG112から送られてくる画素クロック信号Sckaの位相と同期するように、8ビットの画素信号D0a〜D7aの位相を調整する。その後、第1差動送信バッファ203aは、8ビットのそれぞれの信号に対応する正転信号と反転信号に変換して、第1出力端子111aから出力する。次に、期間ED1r(時刻t27まで)では、第1出力部110a内の第1同期信号付加部202aは、画素クロック信号Sckaの位相と同期した状態で、8ビットの画素信号が送り出された後にエンド同期信号を付加する。ここで付加されるエンド同期信号は、第1の実施形態におけるエンド同期信号と同じものを用いることができる。このとき、正転画素クロック信号SckPa及び反転画素クロック信号SckNaには、エンド同期信号を付加しない。ここまでの時刻t23〜t27の期間が、スタート同期信号及びエンド同期信号を付加した1行目の各画素の信号の出力期間になる。
第1の読み出し動作Opr1では、1行目の画素の信号の出力後、続けて5行目の画素の信号を出力する。時刻t28〜t31の期間は、5行目の各画素の信号について、列毎の読み出し、CDS処理、アナログデジタル変換、水平メモリ部への記憶の列毎の並列処理を実施する期間である。そして、時刻t31〜t35の期間は、スタート同期信号及びエンド同期信号を付加した5行目の各画素の信号の出力期間である。さらに、第3の実施形態では、画素領域101に配列されている画素100は16行であるため、時刻t36以降で、9行目及び13行目の画素の信号を同様に読み出す。
次に、第2の読み出し動作Opr2について説明する。時刻t22では、撮像素子12は、水平同期信号HDに同期する2回目のサブ水平同期信号HSに同期して、第2の読み出し動作Opr2を開始する。ここで、撮像素子12では、垂直信号線104が垂直画素列に共通に配線されているため、第2の読み出し動作Opr2は、1行目の画素の信号を読み出す期間Rd1rの終了以降(時刻t21以降)に動作を開始する必要がある。本実施形態では、水平同期期間Thdを4分割したサブ水平同期期間Thsが、期間Rd1rより長く設定されているので、2回目のサブ水平同期信号HSは、期間Rd1r終了後、十分に時間が経過した後に設けられている。第2の読み出し動作Opr2では、第2信号選択部105bが選択し、かつ、第2メモリ選択部114bが第2水平メモリ部108bに接続した状態で、2行目の画素の信号がそれぞれに対応する垂直信号線104に読み出される。この時の時刻t22〜t29の期間Rd2rから期間ED2rまでの動作は、第1の読み出し動作Opr1の期間Rd1rから期間ED1rまでの動作と同じである。第2の読み出し動作Opr2においては、2行目の画素の信号の出力後、時刻t30以降で、6行目、10行目及び14行目の画素の信号を同様に読み出す。
次に、第3の読み出し動作Opr3について説明する。時刻t24では、撮像素子12は、水平同期信号HDに同期する3回目のサブ水平同期信号HSに同期して、第3の読み出し動作Opr3を開始する。本実施形態では、水平同期期間Thdを4分割したサブ水平同期期間Thsが、期間Rd2rより長く設定されているので、3回目のサブ水平同期信号HSは、期間Rd2r終了後、十分に時間が経過した後に設けられている。第3の読み出し動作Opr3では、第1信号選択部105aが選択し、かつ、第1メモリ選択部114aが第3水平メモリ部108cに接続した状態で、3行目の画素の信号がそれぞれに対応する垂直信号線104に読み出される。この時の時刻t24〜t31の期間Rd3rから期間ED3rまでの動作は、第1の読み出し動作Opr1の期間Rd1rから期間ED1rまでの動作と同じである。第3の読み出し動作Opr3では、3行目の画素の信号の出力後、時刻t32以降で、7行目、11行目及び15行目の画素の信号を同様に読み出す。
次に、第4の読み出し動作Opr4について説明する。時刻t26では、撮像素子12は、水平同期信号HDに同期する4回目のサブ水平同期信号HSに同期して、第4の読み出し動作Opr4を開始する。本実施形態では、水平同期期間Thsを4分割したサブ水平同期期間Thsが、期間Rd3rより長く設定されているので、4回目のサブ水平同期信号HSは、期間Rd3r終了後、十分に時間が経過した後に設けられている。第4の読み出し動作Opr4では、第2信号選択部105bが選択し、かつ、第2メモリ選択部114bが第4水平メモリ部108dに接続した状態で、4行目の画素の信号がそれぞれに対応する垂直信号線104に読み出される。この時の時刻t26〜t33の期間Rd4rから期間ED4rまでの動作は、第1の読み出し動作Opr1の期間Rd1rから期間ED1rまでの動作と同じである。第4の読み出し動作Opr4では、4行目の画素の信号の出力後、時刻t34以降で、8行目、12行目及び16行目の画素の信号を同様に読み出す。
このように、第3の実施形態では、第1の読み出し動作Opr1、第2の読み出し動作Opr2、第3の読み出し動作Opr3、及び第4の読み出し動作Opr4を、それぞれ1サブ水平同期期間Thsに相当する時間だけずらして動作させる。このため、TG112は、期間Rd1r、期間CDS1r、期間AD1rの間に実施する1行目の画素の信号の読み出しから第1水平メモリ部108aへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、TG112は、同時に、1サブ水平同期期間Thsだけずらして、2行目の画素の信号の読み出しから第2水平メモリ部108bへの記憶までの列毎の並列処理動作を制御することが可能となっている。TG112は、同様に1サブ水平同期期間Thsだけずらして、3行目の画素の信号の読み出しから第3水平メモリ部108cへの記憶までの列毎の並列処理動作を制御することが可能となっている。また、TG112は、同様に1サブ水平同期期間Thsだけずらして、4行目の画素の信号の読み出しから第4水平メモリ部108dへの記憶までの列毎の並列処理動作も制御することが可能となっている。さらに、TG112は、前述した列毎の並列処理動作とは別に、スタート同期信号及びエンド同期信号を付加した行単位での画素の信号の出力動作をそれぞれ制御することが可能となっている。ここで、スタート同期信号の出力動作は、それぞれの行の信号の並列処理動作の終了後で、それぞれに対応する次の行の読み出し動作の開始前にそれぞれ対応するエンド同期信号の出力が完了するのであれば、その間のどこでもよい。これらの期間SD1r、期間SD2r、期間SD3r、及び期間SD4rのそれぞれの開始タイミングは、同期制御部15からの制御信号に基づいて、TG112が個別にかつ適宜設定できる。以上の説明は、第1の読み出し動作Opr1、第2の読み出し動作Opr2、第3の読み出し動作Opr3、及び第4の読み出し動作Opr4の関係について述べたものである。読み出し動作が繰り返される場合には、4行目の画素信号を読み出す第4の読み出し動作Opr4と5行目の画素信号を読み出す第1の読み出し動作Opr1の関係についても同様であり、その後に読み出されるすべての画素行に対しても適応可能である。
図13は、本実施形態に係る信号処理部13の入力部分の構成を示す図である。信号処理部13は、信号処理が可能となるように、撮像素子12から出力される行単位でタイミングがずれたデジタル画素信号を受け取ることが可能である。図13に示す入力部分は、第1入力部401a、第2入力部401b、第3入力部401c、第4入力部401d、同期信号解読部403及び内部メモリ404を有する。第1入力部401a及び第2入力部401bには、第1出力部110a及び第2出力部110bからの画素の信号が、それぞれ、第1入力端子402a及び第2入力端子402bを介して入力される。また、第3入力部401c及び第4入力部401dには、第3出力部110c及び第4出力部110dからの画素の信号が、それぞれ、第3入力端子402c及び第4入力端子402dを介して入力される。信号処理部13に入力される信号は、図3を用いて説明した1つの信号が正転画素信号及び反転画素信号からなる差動信号であるので、入力部401a〜401dは、差動受信バッファにより受信して、通常のパルス信号に変換する。このとき、入力部401a〜401dは、同時に入力される画素クロック信号と信号処理部13の信号処理クロック信号の位相を比較して、デジタル画素信号の位相を信号処理部13の信号処理クロック信号の位相に同期させる処理を行う。同期信号解読部403は、同期信号付きの行単位の画素信号の同期信号を解読して、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404に記憶させる。内部メモリ404は、行単位の1行目から16行目までの画素信号を、それぞれ、領域mP01r〜mP16rに記憶する。
ここで、図12に示した読み出し動作が実施された場合について説明する。同期信号解読部403は、第1入力部401aから1行目の画素の信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404に送る。内部メモリ404内のメモリ入力部407は、画素信号の振り分けを行い、1行目の画素信号を領域mP01rに記憶する。次に、同期信号解読部403は、並列的に第2入力部401bから2行目の画素の信号が入力されると、同期制御部15からの制御信号に基づいて、スタート同期信号とエンド同期信号に挟まれた行単位の画素信号を内部メモリ404に送る。1行目と同じく、内部メモリ404内のメモリ入力部407は、画素信号の振り分けを行い、2行目の画素信号を領域mP02rに記憶する。このとき、内部メモリ404は、1行目の画素の信号の記憶動作と2行目の画素の信号の記憶動作を同時に行うことになるが、内部メモリ404の異なる領域に対する記憶動作なので、制御可能となっている。内部メモリ404は、1行目及び2行目の画素の信号の記憶動作と同時に、3行目及び4行目の画素の信号をそれぞれ領域mP3r及びmP4rに記憶する記憶動作も同様に行う。また、内部メモリ404は、5行目以降16行目までの画素の信号の記憶動作も同様に行う。メモリ出力部408は、内部メモリ404の領域mP01r〜mP16rに記憶された1行目〜16行目の画素の信号を、同期制御部15からの制御信号に基づいて、読み出す。
本実施形態では、後段の信号処理部が、R・G行とG・B行の両方を同時に処理可能である。そのため、メモリ出力部408は、第1内部メモリ端子405aに1行目を含む奇数行目の画素信号を出力し、同時に第2内部メモリ端子405bに2行目を含む偶数行目の画素信号を出力する。これにより、後段では、2行単位で信号処理することができる。この時、内部メモリ404は、4行毎の入力に対して2行毎の出力となるので、2倍の速度で出力し、その時の信号処理も2倍の速度で行うことで、撮像装置としての撮像動作の同期が取れることになる。また、内部メモリ404が出力した画素信号を後段で処理する際に、信号処理が1行毎の処理に適している場合がある。その場合には、メモリ出力部408は、第1内部メモリ端子405a及び第2内部メモリ端子405bのどちらかを選択し、1行目から1行毎に出力することができる。この時、内部メモリ404は、4行毎の入力に対して1行毎の出力となるので、4倍の速度で出力し、その時の信号処理も4倍の速度で行うことで、撮像装置としての撮像動作の同期が取れることになる。
図14は、第3の実施形態に係る撮像素子12の基本の撮像動作を示すタイミングチャートである。信号VDは、撮像素子12を駆動するための垂直同期信号を示し、立ち下がりで有効となり、期間Tfrが1つの垂直同期期間である。水平同期信号HD及びサブ水平同期信号HSは、図12と同じである。これらの垂直同期信号VD、水平同期信号HD及びサブ水平同期信号HSは、同期信号発生手段としてのTG112によって供給される。信号Sig01〜Sig16は、垂直信号線104に読み出される画素信号の順番を示し、その時の画素領域101の1行目〜16行目の画素の動作の状態を示す。そして、期間eP01r〜eP16rは、それぞれ、1行目〜16行目の画素の露光時間を示す。期間Roは、各行の画素の信号を列信号処理部106aあるいは106bに読み出してから、1ライン分の画素の信号をそれに対応する出力部110a〜110dから出力するまでの期間である。例えば、1行目の画素の信号については、図12の時刻t20〜t27までの期間が期間Roに対応する。2行目以降についても、図12の読み出し動作を実施する。
まず、時刻S50では、画素領域101は、垂直同期信号VD、水平同期信号HD及びサブ水平同期信号HSに同期して、1行目の画素信号の読み出しを実施することで、画素をリセットし、1行目の画素の露光を開始する。次に、時刻S51では、画素領域101は、次のサブ水平同期信号HSに同期して、2行目の画素信号の読み出しを実施することで、画素をリセットし、2行目の画素の露光を開始する。時刻S52以降では、画素領域101は、同様の方法で、サブ水平同期信号HSに同期して、3行目〜16行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットし、3行目〜16行目のそれぞれの画素の露光を開始する。このように、1HS経過する毎にリセットすることで、ライン順次のローリングシャッタ動作を開始する。
時刻S60は、時刻S50からTfr経過後の時刻である。時刻S60では、撮像素子12は、垂直同期信号VD、水平同期信号HD及びサブ水平同期信号HSに同期して、1行目の画素の信号をそれに対応する期間Roに出力する。次に、時刻S61では、撮像素子12は、次のサブ水平同期信号HSに同期して、2行目の画素の信号をそれに対応する期間Roに出力する。時刻S62以降では、撮像素子12は、同様の方法で、サブ水平同期信号HSに同期して、3行目〜16行目の画素の信号をそれぞれに対応する期間Roに出力する。このように、1HS経過する毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。
この基本の撮像動作では、垂直同期信号VDに同期して1行目の画素のリセットを開始し、読み出しのための垂直同期信号VDに同期して1行目の画素の読み出しを実施しているので、最長の露光時間は、垂直同期期間Tfrである。これにより、露光時間Tfrのローリングシャッタ動作を全行に実施することで、全画素の露光時間をそろえた基本の撮像動作が実施される。ここで、1行目の画素のリセットを、時刻S50〜S60までの間にある水平同期信号HDあるいはサブ水平同期信号HSのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、水平同期期間Thd単位あるいはサブ水平同期期間Thds単位の露光時間制御が可能となる。このようにして、第1の読み出し動作Opr1により、1行目、5行目、9行目及び13行目の画素信号が読み出され、撮像素子12の第1出力部110aから出力される。また、第2の読み出し動作Opr2により、2行目、6行目、10行目及び14行目の画素信号が並列的に読み出され、撮像素子12の第2出力部110bから並列的に出力される。さらに、第3の読み出し動作Opr3により、3行目、7行目、11行目及び15行目の画素信号が並列的に読み出され、撮像素子12の第3出力部110cから並列的に出力される。そして、第4の読み出し動作Opr4により、4行目、8行目、12行目及び16行目の画素信号が並列的に読み出され、撮像素子12の第4出力部110dから並列的に出力される。それらは、対応する信号処理部13の入力部分である入力部401a〜401dにそれぞれ入力され、内部メモリ404内の領域mP01r〜mP16rに記憶される。その後、メモリ出力部408は、第1内部メモリ端子405aに1行目を含む奇数行目の画素信号を出力し、同時に第2内部メモリ端子405bに2行目を含む偶数行目の画素信号を出力する。後段では、2行単位で信号処理をすることができる。
図15は、第3の実施形態に係る撮像素子12の他の読み出し動作を示すタイミングチャートである。図12の読み出し動作では、第1の読み出し動作Opr1で1行目、5行目、9行目及び13行目の画素信号を読み出し、第2の読み出し動作Opr2で2行目、6行目、10行目及び14行目の画素信号を読み出す。また、第3の読み出し動作Opr3で3行目、7行目、11行目及び15行目の画素信号を読み出し、第4の読み出し動作Opr4で4行目、8行目、12行目及び16行目の画素信号を読み出す。
しかし、図15では、第1の読み出し動作Opr1では、第1出力部110aは、画素領域101の画素信号を1行目、5行目、9行目及び13行目の順番で出力する。第2の読み出し動作Opr2では、第2出力部110bは、画素信号を3行目、7行目、11行目及び15行目の順番で出力する。第3の読み出し動作Opr3では、第3出力部110cは、画素信号を2行目、6行目、10行目及び14行目の順番で出力する。第4の読み出し動作Opr4では、第4出力部110dは、画素信号を4行目、8行目、12行目及び16行目の順番で出力する。すなわち、第1の読み出し動作Opr1及び第3の読み出し動作Opr3では、第1出力部110a及び第3出力部110cは、長時間露光ラインの画素信号を出力する。第2の読み出し動作Opr2及び第4の読み出し動作Opr4では、第2出力部110b及び第4出力部110dは、短時間露光ラインの画素信号を出力する。これにより、図15の時刻t20では、第1の読み出し動作Opr1で1行目の画素信号を読み出し、時刻t22では、第2の読み出し動作Opr2で3行目の画素信号を読み出す。そして、時刻t24では、第3の読み出し動作Opr3で2行目の画素信号を読み出し、時刻t26では、第4の読み出し動作Opr4で4行目の画素信号を読み出す。そして、時刻t28では、第1の読み出し動作Opr1で5行目の画素信号を読み出す。こうして、読み出し動作Opr1〜Opr4を繰り返しながら、1行目、3行目、2行目、4行目、5行目、7行目、6行目、8行目、9行目、11行目、10行目、12行目、13行目、15行目、14行目、16行目の順番に画素信号を読み出す。読み出す行の変更に関しては、同期制御部15の制御により、TG112が垂直走査部102を制御するタイミングを発生して実現させている。ここで、図15では、読み出す行が入れ替わっていること以外のタイミングや動作については、図12と同じである。
図16は、第3の実施形態に係る撮像素子12のHDR撮像動作を示すタイミングチャートである。本実施形態でも、HDR処理のために、画素領域101の画素行は、所定行数(例えば2行)毎に、長時間露光ラインと短時間露光ラインが交互になるように設定される。信号VDLは、撮像素子12を駆動するための垂直同期信号を示しているが、HDR撮像動作における長時間露光フレームの垂直同期信号(長期垂直同期信号)を示し、立ち下がりで有効となり、その1周期にあたる長期垂直同期期間がTfrlで示されている。信号VDSは、HDR撮像動作における短時間露光フレームの垂直同期信号(短期垂直同期信号)を示し、立ち下がりで有効となり、その1周期にあたる短期垂直同期期間がTfrsで示されている。これらの長期垂直同期信号VDL及び短期垂直同期信号VDSは、同期信号発生手段としてのTG112によって供給される。ここで、長期垂直同期信号の1周期にあたる長期垂直同期期間Tfrlは、短期垂直同期信号のM周期分(=M×Tfrs。ただしMは2以上の自然数)に等しい。HDR処理では、長時間露光と短時間露光の露光時間の比に応じて、HDRの効果が異なる。図16の例では、長期垂直同期期間Tfrlと短期垂直同期期間Tfrsの露光時間の比が3:1であるので、M=3、すなわち、長期垂直同期期間Tfrlは短期垂直同期期間Tfrsの3周期分となる。例えば、M=2あるいはM=4の場合は、長期垂直同期期間Tfrl内に、それぞれ2回あるいは4回の短期垂直同期期間Tfrsが設定されるが、実際の短時間露光の露光時間は、それぞれ最後の短期垂直同期期間Tfrsに設定すればよい。
本実施形態では、長時間露光ラインは、1行目、2行目、5行目、6行目、9行目、10行目、13行目及び14行目のように2行毎に設定される。短時間露光ラインは、3行目、4行目、7行目、8行目、11行目、12行目、15行目及び16行目のように2行毎に設定される。また、信号Sig01〜Sig16は、垂直信号線104に読み出される画素信号の順番を示し、その時の画素領域101の1行目〜16行目の画素の動作の状態を示す。そして、期間eP01r〜eP16rは、それぞれ、1行目〜16行目の画素の露光時間を示す。第1の読み出し動作Opr1では、第1出力部110aは、1行目、5行目、9行目及び13行目の長時間露光の露光時間で露光された行の画素信号を出力する。第2の読み出し動作Opr2では、第2出力部110bは、3行目、7行目、11行目及び15行目の短時間露光の露光時間で露光された行の画素信号を出力する。第3の読み出し動作Opr3では、第3出力部110cは、2行目、6行目、10行目及び14行目の長時間露光の露光時間で露光された他の行の画素信号を出力する。第4の読み出し動作Opr4では、第4出力部110dは、4行目、8行目、12行目及び16行目の短時間露光の露光時間で露光された他の行の画素信号を出力する。
時刻S90以降の読み出し動作は、図15の動作と同じである。時刻S90以降では、第1の読み出し動作Opr1、第2の読み出し動作Opr2、第3の読み出し動作Opr3及び第4の読み出し動作Opr4を繰り返す。第1の読み出し動作Opr1では、長時間露光ラインを読み出す。第2の読み出し動作Opr2では、短時間露光ラインを読み出す。第3の読み出し動作Opr3では、長時間露光ラインを読み出す。第4の読み出し動作Opr4では、短時間露光ラインを読み出す。これにより、1行目、3行目、2行目、4行目、5行目、7行目、6行目、8行目、9行目、11行目、10行目、12行目、13行目、15行目、14行目、16行目の順番に画素信号を読み出す。その他は、図14と同様である。また、2ライン毎に露光時間が異なる画素信号からHDR処理を実施しやすいように、それぞれの画素はベイヤ配列のような2×2配列の色フィルタを備えている。
まず、時刻S70では、画素領域101は、長期垂直同期信号VDL、水平同期信号HD及びサブ水平同期信号HSに同期して、1行目の画素信号の読み出しを実施することで、画素をリセットし、長時間露光ラインの1行目の画素の露光を開始する。時刻S71は、時刻S70の長期垂直同期信号VDLに同期する水平同期信号HD及びサブ水平同期信号HSに対して、その時の3回目のサブ水平同期信号HSとなる時刻である。時刻S71では、画素領域101は、サブ水平同期信号HSに同期して、2行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの2行目の画素の露光を開始する。このように、読み出し動作から逆算して露光を開始することと、短時間露光ラインである3行目を飛ばして露光を開始することにより、2行目の画素のリセットは長期垂直同期信号VDLに同期する3回目のサブ水平同期信号HSに同期することになる。時刻S72は、時刻S70の長期垂直同期信号VDLに同期する2回目の水平同期信号HDとなる時刻である。時刻S72では、画素領域101は、水平同期信号HD及びその時のサブ水平同期信号HSに同期して、短時間露光ラインである4行目を飛ばして5行目の画素信号の読み出しを実施することで、画素をリセットし、長時間露光ラインの5行目の画素の露光を開始する。時刻S73以降では、画素領域101は、同様の方法で、2回のサブ水平同期信号HSが経過する毎に、サブ水平同期信号HSに同期して、6行目、9行目、10行目、13行目及び14行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットする。これにより、長時間露光ラインの6行目、9行目、10行目、13行目及び14行目のそれぞれの画素の露光を開始する。このように、短時間露光ラインを飛ばしながら、行毎にリセットすることで、長時間露光ラインのライン順次のローリングシャッタ動作を開始する。
時刻S81は、時刻S80の短期垂直同期信号VDSに同期する水平同期信号HD及びサブ水平同期信号HSに対して、その時の2回目のサブ水平同期信号HSとなる時刻である。時刻S81では、画素領域101は、サブ水平同期信号HSに同期して、3行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの3行目の画素の露光を開始する。この時に、長時間露光ラインの1行目は、すでに露光中であるので飛ばしている。時刻S82は、時刻S80の短期垂直同期信号VDSに同期する水平同期信号HDに対して、その時の4回目のサブ水平同期信号HSとなる時刻である。時刻S82では、画素領域101は、サブ水平同期信号HSに同期して、長時間露光ラインである2行目を飛ばして4行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの4行目の画素の露光を開始する。時刻S83は、時刻S80の短期垂直同期信号VDSに同期する2回目の水平同期信号HDに対して、その時の2回目のサブ水平同期信号HSとなる時刻である。時刻S83では、画素領域101は、サブ水平同期信号HSに同期して、長時間露光ラインである5行目を飛ばして7行目の画素信号の読み出しを実施することで、画素をリセットし、短時間露光ラインの7行目の画素の露光を開始する。時刻S84以降では、同様の方法で、2回のサブ水平同期信号HSが経過する毎に、8行目、11行目、12行目、15行目及び16行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットする。これにより、短時間露光ラインの8行目、11行目、12行目、15行目及び16行目のそれぞれの画素の露光を開始する。このように、長時間露光ラインを飛ばしながら、行毎にリセットすることで、短時間露光ラインのライン順次のローリングシャッタ動作を開始する。
次に、時刻S90では、撮像素子12は、長期垂直同期信号VDL、短期垂直同期信号VDS、水平同期信号HD及びサブ水平同期信号HSに同期して、1行目の画素の信号をそれに対応する期間Roに出力する。次に、時刻S91では、撮像素子12は、次のサブ水平同期信号HSに同期して、3行目の画素の信号をそれに対応する期間Roに出力する。次に、時刻S92では、撮像素子12は、次のサブ水平同期信号HSに同期して、2行目の画素の信号をそれに対応する期間Roに出力する。次に、時刻S93では、撮像素子12は、次のサブ水平同期信号HSに同期して、4行目の画素の信号をそれに対応する期間Roに出力する。時刻S94以降では、撮像素子12は、同様の方法で、サブ水平同期信号HSに同期して、画素の信号を5行目、7行目、6行目、8行目、9行目、11行目、10行目、12行目、13行目、15行目、14行目、16行目の順番で、それぞれの期間Roに出力する。このように、1HS経過する毎に全行を所定の順番でライン毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。
長時間露光の撮像動作では、長期垂直同期信号VDLに同期して1行目の画素のリセットを開始し、読み出しのための長期垂直同期信号VDLに同期して1行目の画素の読み出しを実施しているので、最長の露光時間は、長期垂直同期期間Tfrlとなる。これにより、露光時間Tfrlのローリングシャッタ動作をすべての長時間露光ラインに実施することで、長時間露光ラインの露光時間をそろえた撮像動作が実施される。短時間露光の撮像動作では、短期垂直同期信号VDSの次のサブ水平同期信号HSに同期して3行目の画素のリセットを開始し、読み出しのための短期垂直同期信号VDSの次のサブ水平同期信号HSに同期して3行目の画素の読み出しを実施している。そのため、最長の露光時間は、短期垂直同期期間Tfrsとなる。これにより、露光時間Tfrsのローリングシャッタ動作をすべての短時間露光ラインに実施することで、短時間露光ラインの露光時間をそろえた撮像動作が実施される。
このようにして、第1の読み出し動作Opr1及び第3の読み出し動作Opr3により、長時間露光ラインの画素信号を所定の順番で読み出し、撮像素子12の第1出力部110a及び第3出力部110cから並列的に出力する。そして、第2の読み出し動作Opr2及び第4の読み出し動作Opr4により、短時間露光ラインの画素信号を所定の順番で読み出し、撮像素子12の第2出力部110b及び第4出力部110dから並列的に出力する。信号処理部13の入力部分である入力部401a〜401dは、長時間露光ライン及び短時間露光ラインの画素信号をそれぞれ入力し、内部メモリ404内の領域mP01r〜mP16rに記憶する。この時、図16のHDR撮像動作では、長時間露光ラインの1行目、2行目、5行目、6行目、9行目、10行目、13行目及び14行目の画素信号は、それぞれ、領域mP01r〜mP8rに記憶される。短時間露光ラインの3行目、4行目、7行目、8行目、11行目、12行目、15行目及び16行目の画素信号は、それぞれ、領域mP09r〜mP16rに記憶される。その後、メモリ出力部408は、第1内部メモリ端子405aに長時間露光ラインの画素信号を出力し、同時に第2内部メモリ端子405bに短時間露光ラインの画素信号を出力する。後段では、長時間露光信号と短時間露光信号を同時かつ別々に信号処理することができる。
ここで、本実施形態では、長時間露光と短時間露光の露光時間の比を3:1にする必要がある。例えば、長時間露光ラインである1行目の画素のリセットを、時刻S70からS90までの間にある、長期垂直同期信号VDLに同期する3回のサブ水平同期信号HS毎のいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。この時、短時間露光ラインである3行目の画素のリセットを、常に長時間露光ラインの1/3の時間となる時刻からスタートさせ、ライン順次のローリングシャッタ動作を開始する。具体的には、長時間露光ラインの露光時間を3サブ水平同期期間Thds増減させる毎に、対応する短時間露光ラインの露光時間をそれぞれ1サブ水平同期期間Thds増減させることで実現できる。これにより、長時間露光と短時間露光の露光時間の比を3:1に保ったまま露光時間制御が可能となる。このため、HDR処理では、感度比を補償するゲイン値は、短時間露光画素の信号に対して3倍に設定する。そして、長時間露光画素の信号と短時間露光画素の信号を合成することで、HDR処理を実行すればよい。本実施形態におけるHDR処理は、第1の実施形態と同様に実施すればよい。また、HDR処理は、M=3である図8(d)を用いて実施可能である。
本実施形態における撮像素子12の基本の撮像動作とHDR撮像動作の切り換えに関して説明する。これに関しては、例えば、撮像装置の操作部16は、ユーザによる入力操作に応じた制御信号を同期制御部15に出力し、同期制御部15の制御により、TG112が撮像素子12の全体を制御するタイミングを発生させることにより実現させている。以上のように、本実施形態では、長時間露光信号と短時間露光信号を同時かつ別々に補正処理及び信号処理させることができるので、露光時間に合わせて2ライン毎に切り換えて補正処理及び信号処理を実施する必要がないため、信号処理部13の負担軽減が図られる。そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となるので、撮像装置における高速読み出し動作を実現している。本実施形態では、4行同時に出力することが可能となるので、4倍のフレームレートが実現できることになる。これにより、本実施形態では、1ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は1/4になる。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も1/4に低減させることができる。
さらに、本実施形態では、露光時間の開始となるリセット動作が、長時間露光ラインと短時間露光ラインのどちらに対しても、サブ水平同期期間の2×Thdsの時間差を持って実施されている。そして、露光時間の終了となる読み出し動作も、長時間露光ラインと短時間露光ラインのどちらに対しても、サブ水平同期期間の2×Thdsの時間差を持って実施されている。これにより、長時間露光と短時間露光の両方について、露光時間の時間差が均等になるため、第1の実施形態の図7において長時間露光と短時間露光のそれぞれに起きていた、露光時間の時間差の不均等が解消される。このため、本実施形態では、ローリング歪みが低減し、その影響がなめらかになり、被写体の動きがぎくしゃくしたり、被写体の境界がギザついたりするのを防止することができるという効果がある。
(第4の実施形態)
次に、本発明の第4の実施形態に係る撮像装置について説明する。本実施形態の撮像装置は、上記の図1の撮像装置と同じ構成を有する。撮像素子12は、図2の撮像素子12と同じ構成を有する。以下、本実施形態が第1の実施形態と異なる点を説明する。
図17は、第4の実施形態に係る撮像素子12の基本の撮影動作を示すタイミングチャートである。信号VDは、撮像素子12を駆動するための垂直同期信号を示し、立ち下がりで有効となり、期間Tfrが1つの垂直同期期間である。水平同期信号HD及びサブ水平同期信号HSは、図4と同じである。水平同期信号HD2は、水平同期信号HDの2倍の周期の有する。信号Sig01〜Sig16は、垂直信号線104に読み出される画素信号の順番を示し、その時の画素領域101の1行目〜16行目の画素の動作の状態を示す。そして、期間eP01r〜eP16rは、それぞれ、1行目〜16行目の画素の露光時間を示す。水平動作期間Roは、各行の画素の信号を垂直信号線104を介して列信号処理部106aあるいは106bに読み出してから、1ライン分の画素の信号をそれに対応する出力部110aあるいは110bから出力するまでの期間である。例えば、1行目の画素の信号については、図4の時刻t00〜t07までの期間が水平動作期間Roに対応し、2行目の画素の信号については、時刻t04〜t11までの期間が水平動作期間Roに対応する。3行目以降についても、図4の読み出し動作を実施する。
まず、時刻U00では、画素領域101は、垂直同期信号VD及びサブ水平同期信号HSに同期して、1行目の画素信号の読み出しを実施することで、画素をリセットし、1行目の画素の露光を開始する。次に、時刻U01では、画素領域101は、次のサブ水平同期信号HSに同期して、2行目の画素信号の読み出しを実施することで、画素をリセットし、2行目の画素の露光を開始する。時刻U02以降では、画素領域101は、同様の方法で、サブ水平同期信号HSに同期して、3行目〜16行目の画素信号の読み出しをそれぞれ実施することで、画素をリセットし、3行目〜16行目のそれぞれの画素の露光を開始する。このように、1HS経過する毎にリセットすることで、ライン順次のローリングシャッタ動作を行い露光を開始する。
時刻U11は、時刻U00からTfr経過後の時刻である。時刻U11では、撮像素子12は、垂直同期信号VD及びサブ水平同期信号HSに同期して、1行目の画素の信号をそれに対応する水平動作期間Roに出力する。次に、時刻U12では、撮像素子12は、次のサブ水平同期信号HSに同期して、2行目の画素の信号をそれに対応する水平動作期間Roに出力する。時刻U13以降では、撮像素子12は、同様の方法で、サブ水平同期信号HSに同期して、3行目〜16行目の画素の信号をそれぞれに対応する水平動作期間Roに出力する。このように、1HS経過する毎に読み出すことで、ライン順次のローリングシャッタ動作を終了する。
本実施形態では、垂直同期信号VDに同期して1行目の画素のリセットを開始し、読み出しのための垂直同期信号VDに同期して1行目の画素の読み出しを実施しているので、最長の露光時間は、垂直同期期間Tfrである。これにより、露光時間Tfrのローリングシャッタ動作を全行に実施することで、全画素の露光時間をそろえた基本の撮影動作が実施される。ここで、1行目の画素のリセットを、時刻U00からU11までの間にある水平同期信号HDあるいはサブ水平同期信号HSのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Thd単位あるいはサブ水平同期期間Ths単位の露光時間制御が可能となる。
時刻U10のリセット501、時刻U09のリセット502、時刻U04のリセット503は、電子シャッタ動作によるリセットの開始となる1行目の画素に対して、異なる露光時間のリセットを実施した時のタイミングを示している。例えば、リセット501のタイミングでは、画素領域101は、1行目の画素の読み出しを実施することで、画素をリセットし、1行目の画素の露光を開始する。2行目以降では、画素領域101は、同様の方法で、1HS経過する毎にサブ水平同期信号HSに同期して、2行目〜16行目の画素のリセットをそれぞれ実施することで、2行目〜16行目のそれぞれの画素の露光を開始する。そして、時刻U11以降では、撮像素子12は、1行目〜16行目の画素の信号をそれぞれに対応する水平動作期間Roに出力すると、図4の水平同期期間で1Thdあるいはサブ水平同期期間で2Thsの露光時間を設定することができる。
同様に、画素領域101は、リセット502のタイミングで画素のリセット動作を開始すると、図4のサブ水平同期期間で5Thsの露光時間を設定することができる。同じく、画素領域101は、リセット503のタイミングで画素のリセット動作を開始すると、水平同期期間で8Thdあるいはサブ水平同期期間で16Thsの露光時間を設定することができる。このようにして、第1の読み出し動作Opr1により、奇数行目の画素信号が読み出され、撮像素子12の第1出力部110aから出力される。また、第2の読み出し動作Opr2により、偶数行目の画素信号が並列的に読み出され、撮像素子12の第2出力部110bから並列的に出力される。そして、第1出力部110a及び第2出力部110bから並列的に出力された画素の信号は、信号処理部13にそれぞれ入力される。
図18は、本実施形態に係る撮像素子12のHDR撮影動作を示すタイミングチャートである。図18では、図17で説明した各行の動作、すなわち、同期信号VD、HD及びHSに同期したリセット動作、露光時間eP01r〜eP16r、水平動作期間Ro及び電子シャッタ動作については同じ動作をする。本実施形態では、HDR撮影のために、長時間露光用の撮影動作に続けて、短時間露光用の撮影動作が設定される。ここで、長時間露光用のフレームの1周期は、短時間露光用のフレームのM周期分(=M×Tfrs。ただしMは2以上の自然数)に等しい。HDR処理は、長時間露光と短時間露光の露光時間の比に応じて、HDRの効果が異なる。図18の例では、短時間露光フレーム期間として、1垂直同期期間のTfr期間を当て、長時間露光フレーム期間として、2垂直同期期間の2Tfr期間を当てている。長時間露光と短時間露光の露光時間の比が2:1であるので、M=2となる。例えば、M=3あるいはM=4の場合は、長時間露光フレーム期間として、それぞれ3垂直同期期間の3Tfr期間あるいは4垂直同期期間の4Tfr期間を設定すればよい。
長時間露光フレームにおいて、時刻U30から開始されるリセット動作及び時刻U43から開始される水平動作期間Roについては、図17と同様の動作である。ここで、長時間露光用の水平動作期間Roの初めに実施される画素の信号読み出し動作は、画素のリセット動作を実施したことになるので、短時間露光フレームのリセット動作は、時刻U43から開始される水平動作期間Roと同時に実施されることになる。そして、時刻U51から開始される短時間露光フレームの水平動作期間Roについては、図17と同様の動作である。撮像素子12は、長時間露光フレームのための1〜16行目の露光時間eP01r〜eP16rの処理及び水平動作期間Roの処理を行単位で順に行う。続いて、撮像素子12は、短時間露光フレームのための1〜16行目の露光時間eP01r〜eP16rの処理及び水平動作期間Roの処理を行単位で順に行う。露光時間eP01r〜eP16rは、リセット動作により開始される。
図18のHDR撮影動作では、長時間露光フレーム及び短時間露光フレームのどちらにおいても、それぞれの垂直同期信号VDに同期して1行目の画素のリセットを開始し、読み出しのための垂直同期信号VDに同期して1行目の画素の読み出しを実施している。そのため、最長の露光時間は、長時間露光フレームが2Tfrであり、短時間露光フレームがTfrである。これにより、露光時間の比が2:1となる長時間露光の画像と短時間露光の画像を用いてHDR処理が実施できる。
ここで、短時間露光フレームの1行目の画素のリセットを、時刻U43からU51までの間にある水平同期信号HDあるいはサブ水平同期信号HSのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Thd単位あるいはサブ水平同期期間Ths単位の露光時間制御が可能となる。また、長時間露光フレームの1行目の画素のリセットを、時刻U30からU43までの間にある水平同期信号HDあるいはサブ水平同期信号HSのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Thd単位あるいはサブ水平同期期間Ths単位の露光時間制御が可能となる。ただし、HDR撮影動作では、長時間露光フレームの露光時間が、常に短時間露光フレームの露光時間のM倍となる必要がある。
短時間露光フレームでは、時刻U50のリセット601、時刻U49のリセット602、時刻U48のリセット603、時刻U47のリセット604を有する。リセット601〜604は、電子シャッタ動作によるリセットの開始となる1行目の画素に対して、異なる露光時間のリセットを実施した時のタイミングを示している。例えば、リセット601のタイミングでリセット動作を開始すると、水平同期期間で2Thdの露光時間を設定することができる。同様に、リセット602、603、604のタイミングでリセット動作を開始すると、それぞれ、水平同期期間で4Thd、6Thd、8Thdの露光時間を設定することができる。このようにして、短時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。
この時に、それらに対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻U41のリセット611、時刻U39のリセット613、時刻U37のリセット614、時刻U35のリセット615に設定する。これにより、リセット611、613、614、615のタイミングでリセット動作を開始すると、それぞれ、水平同期期間で4Thd、8Thd、12Thd、16Thdの露光時間を設定することができる。こうして、常に短時間露光フレームの2倍の長時間露光フレームの露光時間を設定できるため、HDR撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。
例えば、時刻U41では、垂直走査部102は、第1のリセット走査部であり、画素領域101の複数の画素100を行毎にリセット611のタイミングでリセットする。これにより、行毎の長時間露光の露光時間eP01r〜eP16rが開始する。その後に、時刻U43では、垂直走査部102は、第1の読み出し走査部であり、画素領域101の複数の画素100の行毎に長時間露光の露光時間eP01r〜eP16rで露光された画素信号を垂直信号線104に読み出す。これにより、行毎の長時間露光の露光時間eP01r〜eP16rが終了する。長時間露光の露光時間eP01rは、時刻U41のリセット611により開始し、時刻U43の読み出しにより終了する。
その後に、時刻U50では、垂直走査部102は、第2のリセット走査部であり、画素領域101の複数の画素100を行毎にリセット601のタイミングでリセットする。これにより、行毎の短時間露光の露光時間eP01r〜eP16rが開始する。その後に、時刻U51では、垂直走査部102は、第2の読み出し走査部であり、画素領域101の複数の画素100の行毎に短時間露光の露光時間eP01r〜eP16rで露光された画素信号を垂直信号線104に読み出す。これにより、行毎の短時間露光の露光時間eP01r〜eP16rが終了する。短時間露光の露光時間eP01rは、時刻U50のリセット601により開始し、時刻U51の読み出しにより終了する。
第1の読み出し動作Opr1により、奇数行目の画素信号が読み出され、撮像素子12の第1出力部110aは、その奇数行目の画素の画素信号を出力する。また、第2の読み出し動作Opr2により、偶数行目の画素信号が読み出され、撮像素子12の第2出力部110bは、その偶数行目の画素の画素信号を出力する。そして、第1出力部110a及び第2出力部110bから並列的に出力された画素の信号は、信号処理部13にそれぞれ入力される。
次に、HDR撮影動作における長時間露光と短時間露光の露光時間の比が3:1となる場合の長時間露光と短時間露光の動作について説明する。短時間露光フレームのリセット動作の開始を時刻U50のリセット601、時刻U49のリセット602、時刻U48のリセット603とすると、露光時間はそれぞれ水平同期期間で2Thd、4Thd、6Thdの露光時間を設定することができる。この時に、それらに対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻U40のリセット612、時刻U37のリセット614、時刻U34のリセット616に設定する。これにより、リセット612、614、616のタイミングでリセット動作を開始すると、それぞれ水平同期期間で6Thd、12Thd、18Thdの露光時間を設定することができる。こうして、常に短時間露光フレームの3倍の長時間露光フレームの露光時間を設定できるため、HDR撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。
次に、HDR撮影動作における長時間露光と短時間露光の露光時間の比が4:1となる場合の長時間露光と短時間露光の動作について説明する。短時間露光フレームのリセット動作の開始を時刻U50のリセット601、時刻U49のリセット602とすると、露光時間はそれぞれ水平同期期間で2Thd、4Thdの露光時間を設定することができる。この時に、それらに対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻U39のリセット613、時刻U35のリセット615に設定する。これにより、リセット613、615のタイミングでリセット動作を開始すると、それぞれ水平同期期間で8Thd、16Thdの露光時間を設定することができる。こうして、常に短時間露光フレームの4倍の長時間露光フレームの露光時間を設定できるため、HDR撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。
これらの長時間露光フレーム及び短時間露光フレームにおける電子シャッタを用いた露光時間制御は、同期制御部15からの制御信号に基づいて、同期信号発生手段としてのTG112によって実施される。HDR処理では、信号処理部13は、長時間露光された複数の画素の画素信号を含む第1の画像データと短時間露光された複数の画素の画素信号を含む第2の画像データとを合成することにより、第3の画像データを生成する。第3の画像データは、第1及び第2の画像データに対してダイナミックレンジが拡大された画像データである。信号処理部13は、第1の実施形態と同様に、撮像素子12から出力される長時間露光信号と短時間露光信号に対して、画素信号補正処理、HDR処理、画像信号処理を実施することで、ダイナミックレンジが拡大された画像を生成する。また、信号処理部13は、図8(a)〜(e)に示したHDR処理を行うことができる。以上のように、本実施形態では、長時間露光フレームに続けて短時間露光フレームを連続して設定し、かつ、電子シャッタ動作を用いて、HDR撮影動作に適したな露光時間制御を実施しているので、長時間露光と短時間露光の間の時間差を低減することができる。また、長時間露光信号と短時間露光信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部13の負担軽減が図られる。
また、本実施形態では、2行同時に出力することが可能となるので、2倍の読み出しレートが実現できることになる。これにより、1ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になっている。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も半分に低減させることができる。
(第5の実施形態)
図19は、本発明の第5の実施形態に係る撮像素子12のHDR撮影動作を示すタイミングチャートである。以下、本実施形態が第4の実施形態と異なる点を説明する。図19では、図18で説明した各行の動作、すなわち、同期信号VD、HD及びHSに同期したリセット動作、露光時間eP01r〜eP16r、水平動作期間Ro及び電子シャッタ動作については同じ動作である。また、図19では、信号VDは、撮像素子12を駆動するための垂直同期信号であるが、図18と異なり、長時間露光フレームと短時間露光フレームを合わせた垂直同期信号となっている。この時の垂直同期期間はTfrである。また、信号VSは、垂直同期信号VDのサブ垂直同期信号を示し、立ち下がりで有効となり、長時間露光フレームを示す長時間露光フレーム期間Tfrlと短時間露光フレームを示す短時間露光フレーム期間Tfrsとを有する。これらの垂直同期信号VD及びサブ垂直同期信号VSは、同期信号発生手段としてのTG112によって供給される。
本実施形態では、HDR撮影のために、長時間露光用の撮影動作を行い、続けて、短時間露光用の撮影動作を行う。長時間露光フレームでは、時刻r00から開始されるリセット動作及び時刻r08から開始される水平動作期間Roについては、図18と同様の動作である。ただし、時刻r01以降の2行目〜16行目のリセット動作及び時刻r09以降の2行目〜16行目の水平動作期間Roについては、水平同期信号HDに同期する1回目のサブ水平同期信号HSに同期して動作を開始する。ここで、長時間露光用の水平動作期間Roの初めに実施される画素の信号読み出し動作は、画素のリセット動作を実施したことになる。短時間露光フレームのリセット動作は、時刻r08から開始される長時間露光フレームの水平動作期間Roの動作と同時に実施されることになる。すなわち、長時間露光フレームの水平動作期間Roの動作により、短時間露光フレームの露光時間eP01r〜eP16rが開始する。そして、時刻r13から開始される短時間露光フレームの水平動作期間Roについては、図18と同様の動作である。ただし、時刻r15以降の2行目〜16行目の水平動作期間Roについては、水平同期信号HDに同期する2回目のサブ水平同期信号HSに同期して動作を開始する。
HDR撮影動作における短時間露光フレームの露光については、時刻r08から1行目の露光時間eP01rが開始され、短時間露光フレーム期間Tfrsを過ぎた時刻r13の水平動作期間Roで1行目の露光時間eP01rが終了する。これにより、短時間露光フレームの露光時間eP01rは、時刻r08〜r13までのサブ水平同期信号の9HSとなる。
また、長時間露光フレームの時刻r06のリセット711、時刻r05のリセット712、時刻r02のリセット713は、電子シャッタ動作によるリセットの開始となる1行目の画素に対して、異なる露光時間のリセットを実施した時のタイミングを示している。例えば、リセット711のタイミングでリセット動作を開始すると、水平同期期間で9Thdあるいはサブ水平同期期間で18Thsの露光時間を設定することができる。この時、短時間露光フレームの露光時間はサブ水平同期信号の9HSであるため、長時間露光と短時間露光の露光時間の比が2:1となる。この長時間露光の画像と短時間露光の画像を用いてHDR処理を実施することができる。
例えば、時刻r06では、垂直走査部102は、第1のリセット走査部であり、画素領域101の複数の画素100を行毎にリセット711のタイミングでリセットする。これにより、行毎の長時間露光の露光時間eP01r〜eP16rが開始する。その後に、時刻r08では、垂直走査部102は、第1の読み出し走査部であり、画素領域101の複数の画素100の行毎に長時間露光の露光時間eP01r〜eP16rで露光された画素信号を垂直信号線104に読み出す。これにより、行毎の長時間露光の露光時間eP01r〜eP16rが終了し、それと共に、行毎の短時間露光の露光時間eP01r〜eP16rが開始する。長時間露光の露光時間eP01rは、時刻r06のリセット711により開始し、時刻r08の読み出しにより終了する。その後に、時刻r13では、垂直走査部102は、第2の読み出し走査部であり、画素領域101の複数の画素100の行毎に短時間露光の露光時間eP01r〜eP16rで露光された画素信号を垂直信号線104に読み出す。これにより、行毎の短時間露光の露光時間eP01r〜eP16rが終了する。短時間露光の露光時間eP01rは、時刻r08の読み出しにより開始し、時刻r13の読み出しにより終了する。
また、長時間露光フレームにおいて、リセット712のタイミングでリセット動作を開始すると、サブ水平同期期間で27Thsの露光時間を設定することができる。この時、短時間露光フレームの露光時間はサブ水平同期信号の9HSであるため、長時間露光と短時間露光の露光時間の比が3:1となる。この長時間露光の画像と短時間露光の画像を用いてHDR処理を実施することができる。
同様に、長時間露光フレームにおいて、リセット713のタイミングでリセット動作を開始すると、水平同期期間で18Thdあるいはサブ水平同期期間で36Thsの露光時間を設定することができる。この時、短時間露光フレームの露光時間はサブ水平同期信号の9HSであるため、長時間露光と短時間露光の露光時間の比が4:1となる。この長時間露光の画像と短時間露光の画像を用いてHDR処理を実施することができる。以下、HDR撮影動作における長時間露光フレーム及び短時間露光フレームの水平動作タイミングについて説明する。
図20は、本実施形態に係る撮像素子12の水平動作タイミングを示す図である。図20では、図19で説明した同期信号VD、VS、HD及びHSについては同じ動作をする。また、図20では、図19の時刻r08からr33までの動作を同じ時刻を用いて示すとともに、第1の読み出し動作Opr1及び第2の読み出し動作Opr2に対する水平動作期間を示している。第1の読み出し動作Opr1では、長時間露光された画素を行毎に読み出すため、1行目〜16行目の水平動作期間RoをRo01L〜Ro16Lで示す。第1の読み出し動作Opr1では、撮像素子12の第1出力部110aは、1行目〜16行目の水平動作期間Ro01L〜Ro16Lの長時間露光の画素信号を行毎に順番に出力するため、水平動作期間Ro01L〜Ro16Lの重なりはない。そして、第2の読み出し動作Opr2では、短時間露光された画素信号を行毎に読み出すため、1行目〜16行目の水平動作期間RoをRo01S〜Ro16Sで示す。第2の読み出し動作Opr2では、撮像素子12の第2出力部110bは、1行目〜16行目の水平動作期間Ro01S〜Ro16Sの短時間露光の画素信号を行毎に順番に出力するため、水平動作期間Ro01S〜Ro16Sの重なりはない。この時、水平動作期間であることをRoで示し、各行を01〜16で示し、長時間露光されたことをLで示し、短時間露光されたことをSで示している。また、画素信号の読み出しを行わない水平動作期間をDmmyで示すものとする。
時刻r12〜r29では、第1の読み出し動作Opr1における水平動作期間Ro05L〜Ro16Lと、第2の読み出し動作Opr2における水平動作期間Ro01S〜Ro12Sを並列的に読み出すことで、短時間露光フレームの短縮を実現している。そして、第1の読み出し動作Opr1により、長時間露光された画素信号が行毎に読み出され、撮像素子12の第1出力部110aから出力される。また、第2の読み出し動作Opr2により、短時間露光された画素信号が行毎に並列的に読み出され、撮像素子12の第2出力部110bから並列的に出力される。そして、第1出力部110a及び第2出力部110bから並列的に出力された画素の信号は、信号処理部13にそれぞれ入力される。このようにして、短時間露光フレームの2倍、3倍、4倍の長時間露光フレームの露光時間が設定できるため、長時間露光フレームの電子シャッタによる露光時間制御によるHDR撮影動作が可能である。
第1の読み出し動作Opr1で読み出される長時間露光された画素の画素信号を含む第1の画像データと第2の読み出し動作Opr2で読み出される短時間露光された画素の画素信号を含む第2の画像データが同時並列的に信号処理部13にそれぞれ入力される。信号処理部13は、HDR処理では、長時間露光された画素の画素信号を含む第1の画像データと短時間露光された画素の画素信号を含む第2の画像データを合成し、第1及び第2の画像データに対してダイナミックレンジが拡大された第3の画像データを生成する。信号処理部13は、撮像素子12から出力される長時間露光信号と短時間露光信号に対して、画素信号補正処理、HDR処理、画像信号処理を実施するため、画素信号補正処理回路を2つ持つ必要がある。まず、信号処理部13は、長時間露光信号に対して、画素信号補正処理を行い、信号処理部13に設けられたメモリに記憶する。次に、信号処理部13は、同時並列的に読み出される短時間露光信号に対しても、同様に画素信号補正処理を行う。そして、同時に、信号処理部13は、短時間露光信号に対しては、HDR処理の一部として、長時間露光と短時間露光の露光時間の比、例えば2:1を補償するため、2倍のゲイン値をかけてから、同じく信号処理部13に設けられたメモリに記憶する。次に、信号処理部13は、記憶されている長時間露光信号と短時間露光信号との間で、HDR処理を実施する。ここまでは、全て画素毎の信号処理になっているので、最後に画像信号処理を実施して、ダイナミックレンジが拡大された画像を生成する。また、信号処理部13は、上記のM=2、3、4である図8(c)、(d)、(e)を用いて、HDR処理を実施可能である。
以上のように、本実施形態では、長時間露光フレームに続けて短時間露光フレームの画素信号を連続して読み出し、かつ、電子シャッタ動作を用いて、HDR撮影動作に適したな露光時間制御を実施している。そのため、長時間露光と短時間露光の間の時間差を低減することができる。また、長時間露光信号と短時間露光信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部13の負担軽減が図られる。そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となる。そのため、撮像装置における高速読み出し動作を実現するとともに、短時間露光フレームの短縮により、さらに長時間露光と短時間露光の間の時間差の低減を実現できる。本実施形態では、2行同時に出力することが可能となるので、1ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は半分になる。このため、長時間露光と短時間露光の間の時間差の低減とライン毎に発生する露光時間の時間差が原因となるローリング歪みの低減を両立させることができる。
図21は、本実施形態に係る撮像素子12の他のHDR撮影動作を示すタイミングチャートである。図21においては、図19で説明した各行の動作、すなわち、同期信号VD、VS、HD及びHSに同期したリセット動作、露光時間eP01r〜eP16r、水平動作期間Ro及び電子シャッタ動作については同じ動作をする。撮像素子12は、上記と同様に、HDR撮影のために、長時間露光用の撮影動作を行い、続けて、短時間露光用の撮影動作を行う。また、図21においては、短時間露光フレーム期間Tfrsを水平同期期間の6Thdに設定している。そして、短時間露光フレームの露光については、時刻r47から1行目の露光時間eP01rが開始され、短時間露光フレーム期間Tfrsを過ぎた時刻r55の水平動作期間Roで1行目の露光時間eP01rが終了する。これにより、短時間露光フレームの露光時間eP01rは、時刻r47〜r55までのサブ水平同期信号の13HSとなる。図19における短時間露光フレームの露光時間は、サブ水平同期信号の9HSであったので、図21の短時間露光フレーム期間Tfrsを変更することで、短時間露光フレームの露光時間制御が可能であることがわかる。
長時間露光フレームの露光時間は、1行目の画素のリセットを、時刻r40〜r47までの間にある水平同期信号HDあるいはサブ水平同期信号HSのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による、水平同期期間Thd単位あるいはサブ水平同期期間Ths単位の露光時間制御を実施すればよい。ただし、HDR撮影動作においては、長時間露光フレームの露光時間が、常に短時間露光フレームの露光時間のM倍となる必要がある。以下、長時間露光と短時間露光の露光時間の比が3:1の場合、すなわち、M=3を例として説明する。
短時間露光フレームのリセット動作の開始を時刻r53のリセット801、時刻r51のリセット802、時刻r49のリセット803とすると、露光時間はそれぞれサブ水平同期期間で4Ths、7Ths、10Thsの露光時間を設定することができる。この時に、それらに対応する長時間露光フレームのリセット動作の開始をそれぞれ時刻r46のリセット811、時刻r45のリセット812、時刻r43のリセット813に設定する。これにより、長時間露光フレームでは、リセット811、812、813のタイミングでリセット動作を開始すると、それぞれサブ水平同期期間で12Ths、21Ths、30Thsの露光時間を設定することができる。こうして、常に短時間露光フレームの3倍の長時間露光フレームの露光時間を設定できるため、HDR撮影動作が可能な長時間露光フレームの電子シャッタによる露光時間制御が可能であることがわかる。
(第6の実施形態)
次に、本発明の第6の実施形態に係る撮像装置について説明する。本実施形態の撮像素子12は、上記の図11の構成を有し、上記の図12の動作を行う。すなわち、撮像素子12は、4組の水平メモリ部108a〜108d及び出力部111a〜111dを設けることで、さらなる高速読み出し動作とローリング歪みの低減を実現する。
次に、図17を用いて、本実施形態での基本の撮影動作を説明する。本実施形態では、図17の水平同期信号HDの代わりに水平同期信号HD2を用いることで、図12で説明した1水平同期期間Thdを4分割したサブ水平同期信号HSが実現可能となる。すなわち、図12の水平同期信号HDは、図17の水平同期信号HD2に対応する。これにより、垂直同期信号VD、水平同期信号HD2及びサブ水平同期信号HSを同期信号として、図17の動作タイミングを図11の撮像素子12に対して実施することができる。そして、水平動作期間Roとしては、図12で説明した水平動作を実施する。この時、2行毎に同時並列的に出力する図4においては、1つの水平動作が、サブ水平同期信号の2Thsかかっていたが、4行毎に同時並列的に出力する図12においては、サブ水平同期期間の4Thsにわたって動作する。そのため、本実施形態における水平動作期間Roは、図12に示した4Thsにわたる水平動作に置き換えるものとする。
また、図17においては、時刻U00からサブ水平同期信号HSに同期してリセット動作が開始されることで、ライン順次のローリングシャッタ動作を行い露光を開始する。そして、時刻U11からサブ水平同期信号HSに同期して水平動作期間Roが開始されることで、ライン順次のローリングシャッタ動作が終了する。これにより、露光時間Tfrのローリングシャッタ動作を全行に実施することで、全画素の露光時間をそろえた基本の撮影動作が実施される。さらに、1行目の画素のリセットを、時刻U00からU11までの間にある水平同期信号HD2あるいはサブ水平同期信号HSのいずれかからスタートし、ライン順次のローリングシャッタ動作を開始する。これにより、電子シャッタ動作による水平同期期間Thd単位あるいはサブ水平同期期間Ths単位の露光時間制御が可能となる。このようにして、4行毎に第1出力部110a、第2出力部110b、第3出力部110c及び第4出力部110dから並列的に出力された画素の信号は、信号処理部13にそれぞれ入力される。
次に、図18を用いて、本実施形態のHDR撮影動作を説明する。本実施形態では、図18の水平同期信号HDの代わりに水平同期信号HD2を用いることで、図12で説明した1水平同期期間Thdを4分割したサブ水平同期信号HSによる撮像動作が実現可能である。本実施形態では、4行毎に、第1出力部110a、第2出力部110b、第3出力部110c及び第4出力部110dから並列的に出力された画素の信号は、信号処理部13にそれぞれ入力される。本実施形態でも、図18のHDR撮影動作や露光制御動作が可能である。また、信号処理部13は、図8(c)〜(e)のHDR処理が可能である。
以上のように、本実施形態では、長時間露光フレームに続けて短時間露光フレームの画素信号を連続して読み出し、かつ、電子シャッタ動作を用いて、HDR撮影動作に適したな露光時間制御を実施している。そのため、長時間露光と短時間露光の間の時間差を低減することができる。また、長時間露光信号と短時間露光信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部13の負担軽減が図られる。
そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となるので、撮像装置における高速読み出し動作を実現できる。本実施形態では、4行同時に出力することが可能となるので、4倍の読み出しレートが実現できることになる。これにより、1ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は1/4になる。このため、ライン毎に発生する露光時間の時間差が原因となるローリング歪みの発生も1/4に低減させることができる。
(第7の実施形態)
次に、本発明の第7の実施形態に係る撮像装置について説明する。本実施形態では、撮像装置の基本的な構成及び動作は、第5の実施形態及び第6の実施形態と同様である。すなわち、図11に示す撮像素子12は、図12に示す水平同期信号に対応させた水平動作を実施する。本実施形態では、第6の実施形態と同様に、図17の水平同期信号HDの代わりに水平同期信号HD2を用いることで、図12で説明した1水平同期期間Thdを4分割したサブ水平同期信号HSによる撮像動作を実施可能としている。
本実施形態の撮像素子12は、上記の図19のHDR撮影動作を行うことができる。この際、撮像素子12は、水平同期信号HDの代わりに水平同期信号HD2を用いることで、図12で説明した1水平同期期間Thdを4分割したサブ水平同期信号HSによる撮像動作が実現可能である。この時、本実施形態でも、水平動作期間Roを図12に示した4Thsにわたる水平動作に置き換える。
時刻r01以降の2行目〜16行目のリセット動作及び時刻r09以降の2行目〜16行目の水平動作期間Roについては、水平同期信号HD2に同期する1回目及び3回目のサブ水平同期信号HSに同期して動作を開始する。また、時刻r15以降の2行目〜16行目の水平動作期間Roについては、水平同期信号HD2に同期する2回目及び4回目のサブ水平同期信号HSに同期して動作を開始する。以下、図19に示すHDR撮影動作における長時間露光フレーム及び短時間露光フレームの水平動作タイミングについて説明する。
図22は、第7の実施形態に係る撮像素子12の水平動作タイミングを示す図である。図22では、図19で説明した同期信号VD、VS、HD2及びHSについては同じ動作をする。また、図22では、図19の時刻r08からr33までの動作を同じ時刻を用いて示すとともに、第1の読み出し動作Opr1、第2の読み出し動作Opr2、第3の読み出し動作Opr3及び第4の読み出し動作Opr4に対する水平動作期間を示している。図22では、長時間露光された1行目〜16行目の水平動作期間RoをRo01L〜Ro16Lで示し、短時間露光された1行目〜16行目の水平動作期間RoをRo01S〜Ro16Sで示す。第1の読み出し動作Opr1では、第1出力部110aは、垂直走査部102により読み出された画素信号の一部を出力する。第2の読み出し動作Opr2では、第2出力部110bは、垂直走査部102により読み出された画素信号の他の一部を出力する。第3の読み出し動作Opr3では、第3出力部110cは、垂直走査部102により読み出された画素信号のさらに他の一部を出力する。第4の読み出し動作Opr4では、第4出力部110dは、垂直走査部102により読み出された画素信号のさらに他の一部を出力する。
具体的には、第1の読み出し動作Opr1では、第1出力部110aは、長時間露光された奇数行目の画素信号を出力するため、1行目Ro01L、3行目Ro03L、5行目Ro05L・・・13行目Ro13L、15行目Ro15Lの画素信号を出力する。この時、撮像素子12の第1出力部110aは、行毎に順番に画素信号を出力されるため、水平動作期間Ro01L〜Ro15Lの重なりはない。
第3の読み出し動作Opr3では、第3出力部110cは、長時間露光された偶数行目の画素信号を出力するため、2行目Ro02L、4行目Ro04L、6行目Ro06L・・・14行目Ro14L、16行目Ro16Lの画素信号を出力する。この時、撮像素子12の第3出力部110cは、行毎に順番に画素信号を出力するため、水平動作期間Ro02L〜Ro16Lの重なりはない。
第2の読み出し動作Opr2では、第2出力部110bは、短時間露光された奇数行目の画素信号を出力するため、1行目Ro01S、3行目Ro03S、5行目Ro05S・・・13行目Ro13S、15行目Ro15Sの画素信号を出力する。この時、撮像素子12の第2出力部110bは、行毎に順番に画素信号を出力するため、水平動作期間Ro01S〜Ro15Sの重なりはない。
第4の読み出し動作Opr4では、第4出力部110dは、短時間露光された偶数行目の画素信号を出力するため、2行目Ro02S、4行目Ro04S、6行目Ro06S・・・14行目Ro14S、16行目Ro16Sの画素信号を出力する。この時、撮像素子12の第4出力部110dは、行毎に順番に画素信号を出力するため、水平動作期間Ro02S〜Ro16Sの重なりはない。
時刻r12〜r29では、読み出し動作Opr1及びOpr3における水平動作期間Ro05L〜Ro16Lと、読み出し動作Opr2及びOpr4における水平動作期間Ro01S〜Ro12Sを並列的に出力することで、短時間露光フレームの短縮を実現する。
第1の読み出し動作Opr1及び第3の読み出し動作Opr3により、長時間露光された画素信号が行毎に並列的に読み出され、撮像素子12の第1出力部110a及び第3出力部110cから出力される。また、第2の読み出し動作Opr2及び第4の読み出し動作Opr4により、短時間露光された画素信号が行毎に並列的に読み出され、撮像素子12の第2出力部110b及び第4出力部110dから並列的に出力される。そして、第1出力部110a、第2出力部110b、第3出力部110c及び第4出力部110dから並列的に出力された画素の信号は、信号処理部13にそれぞれ入力される。このようにして、短時間露光フレームの2倍、3倍、4倍の長時間露光フレームの露光時間を設定できるため、長時間露光フレームの電子シャッタによる露光時間制御によるHDR撮影動作が可能である。
撮像素子12は、読み出し動作Opr1及びOpr3で読み出される長時間露光された画素信号を含む第1の画像データと読み出し動作Opr2及びOpr4で読み出される短時間露光された画素信号を含む第2の画像データを並列に信号処理部13に出力する。信号処理部13は、2つの画素信号補正処理回路を有し、第6の実施形態と同様に、画素信号補正処理を行い、HDR処理を行う。また、信号処理部13は、図8(c)、(d)、(e)のHDR処理を行うことができる。また、撮像素子12は、上記の図21の処理により、HDR撮影動作と短時間露光フレームの露光時間制御が可能である。
以上のように、本実施形態では、長時間露光フレームに続けて短時間露光フレームの画素信号を連続して読み出し、かつ、電子シャッタ動作を用いて、HDR撮影動作に適したな露光時間制御を実施している。そのため、長時間露光と短時間露光の間の時間差を低減することができる。また、長時間露光信号と短時間露光信号に対して別々に補正処理を実施させることができるので、露光時間に合わせてライン毎に切り換えて補正処理を実施する必要がないため、信号処理部13の負担軽減が図られる。
そして、複数の画素の信号に対して読み出し時間差を利用した共通の読み出し手段と異なる出力手段を用いて並列的に出力することが可能となる。そのため、撮像装置における高速読み出し動作を実現するとともに、短時間露光フレームの短縮により、さらに長時間露光と短時間露光の間の時間差の低減を実現している。本実施形態では、4行同時に出力することが可能となるので、1ラインずつ順番に全ラインを読み出す動作に比べて、読み出し時間は1/4になる。このため、長時間露光と短時間露光の間の時間差の低減とライン毎に発生する露光時間の時間差が原因となるローリング歪みの低減を両立させることができる。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。