JPWO2015133323A1 - 撮像素子、制御方法、並びに、撮像装置 - Google Patents

Abstract

本技術は、より容易に、より多様なデータ出力を実現することができるようにする撮像素子、制御方法、並びに、撮像装置に関する。本技術の一側面においては、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の信号線のそれぞれに、画素信号の読み出しの互いに異なるモードが割り当てられ、そのモードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する信号線に接続される画素から画素信号がそのモードで読み出され、読み出された画素信号が信号線を介して伝送される。本技術は、例えば、撮像素子や撮像装置に適用することができる。

Description

本技術は、撮像素子、制御方法、並びに、撮像装置に関し、特に、より容易に、より多様なデータ出力を実現することができるようにした撮像素子、制御方法、並びに、撮像装置に関する。

従来、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子において、列毎に画素が接続される各出力線に対して、それぞれ複数のA/D変換器（ADC（Analog Digital Converter））が接続され、その複数のADCを用いることにより高速なデータ読み出しを実現するものがあった（例えば、特許文献１参照）。

また、各出力線に対し複数の比較器とカウンタを搭載し、D/A変換器（DAC（Digital Analog Converter））の電圧を任意の値だけずらし、高ビット精度の信号を高速に読み出すものもあった（例えば、特許文献２参照）。

さらに、読み出し信号に対して２回のA/D変換を実施することで低ノイズ化やダイナミックレンジ向上を実現するものあった（例えば、特許文献３および特許文献４参照）。

特開２００５−３４７９３２号公報 特開２０１０−２５２１４０号公報 特開２００９−２９６４２３号公報 特開２００８−０１２４８２号公報

しかしながら、特許文献１に記載の方法の場合、高速な読み出しが可能であるのみであり、例えばダイナミックレンジの拡張やノイズの低減等、高機能性への展開を図ることは困難であった。

また、特許文献２に記載の方法の場合、ADCが複数設けられてはいるものの、その構成は分解能の向上のみに利用されており、例えばノイズの低減や、低消費電力化等を実現することは困難であった。

さらに、特許文献３や特許文献４に記載の方法の場合、処理時間が増大しており、高速な読み出しを行うことが困難であった。

近年、情報処理技術の向上により、画像処理や撮像装置もより多機能化および高機能化の一途を辿っている。これに伴い、撮像素子から出力される画像データに要求される出力形式も、より多様化している。しかしなら、従来の方法では、上述したように、多様なデータ出力形式に対応することが困難であった。

本開示は、このような状況に鑑みてなされたものであり、より容易に、より多様なデータ出力を実現することを目的とする。

本技術の一側面は、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部とを備える撮像素子である。

前記制御部は、前記画素からの画素信号の読み出しを、前記画素に対応する前記モードのフレームレートで行うように制御することができる。

前記制御部は、さらに、各カラムのメインシャッタ動作およびプリシャッタ動作を前記モードのフレームレートで行うように制御することができる。

各カラムにおいて、各信号線に割り当てられる画素数が互いに異なるようにすることができる。

各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、前記制御部は、各カラムについて、前記選択部にいずれかの前記信号線を選択させ、前記選択部により選択された信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記選択部により選択された信号線を介して伝送させるように制御することができる。

前記制御部は、前記選択部に、選択する信号線を順次切り替えさせ、複数モードの画素信号の読み出しを時分割で行うように制御することができる。

前記画素アレイの各カラムの複数の前記信号線のそれぞれに、前記信号線に対応する前記モードに対応するダミー画素がさらに接続され、前記制御部は、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続されるダミー画素から画素信号を前記モードで読み出すように制御することができる。

前記制御部は、さらに、前記ダミー画素のシャッタ動作を前記モードで行うように制御することができる。

前記画素アレイの各カラムにおいて、前記信号線を介して伝送される前記画素信号をA/D変換するA/D変換部をさらに備えることができる。

前記画素アレイの各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、前記A/D変換部は、前記選択部により選択された前記信号線に接続される画素から読み出された前記画素信号をA/D変換することができる。

前記画素アレイの各カラムに対して、前記A/D変換部が複数備えられ、前記選択部は、画素信号のA/D変換に用いる前記A/D変換部をさらに選択することができる。

前記制御部は、前記画素アレイの各カラムについて、前記選択部に複数の信号線と複数のA/D変換部を選択させ、前記画素アレイの各カラムについて、前記選択部により選択された各信号線に接続される画素からの前記モードでの画素信号の読み出しを、前記信号線間で互いに並列に行うように制御することができる。

各画素の露光時間は、前記画素が接続される信号線に対応するモード毎に設定されるようにすることができる。

本技術の一側面は、また、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出させ、読み出させた前記画素信号を前記信号線を介して伝送させる制御方法である。

本技術の一側面は、さらに、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部とを備える撮像装置である。

本技術の他の側面は、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部とを備える撮像素子である。

前記複数の圧縮部は、前記複数ラインの画素信号の圧縮後のデータサイズが１単位期間内に伝送可能なサイズ以下になるように、各ラインの画素信号を圧縮することができる。

前記制御部は、２ラインずつ画像信号を読み出させ、前記複数の圧縮部は、各ラインの画素信号を、データサイズが半分になるように圧縮することができる。

前記圧縮部は、前記画素信号を、所定のビットレートで圧縮することができる。

互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号に対して、所定の信号処理を並列に行う複数の信号処理部をさらに備え、前記複数の圧縮部は、互いに異なる前記信号処理部により前記信号処理が行われた互いに異なるラインの画素信号を並列に圧縮することができる。

本技術の他の側面は、また、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出させ、前記複数ラインの画素から読み出させた前記複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送させ、前記複数の信号線を用いて伝送させた前記複数ラインの画素信号を並列にA/D変換させ、A/D変換させた互いに異なるラインの画素信号を並列に圧縮させる制御方法である。

本技術の他の側面は、さらに、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と、前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部とを備える撮像装置である。

本技術のさらに他の側面は、画素アレイと、前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部とを備える撮像素子である。

前記複数のラッチから読み出された前記画素信号同士を加算若しくは減算する演算部をさらに備え、前記制御部は、前記モードに応じて、前記複数のラッチから読み出された前記画素信号同士を、前記演算部を用いて加算若しくは減算するように制御することができる。

本技術のさらに他の側面は、また、画素アレイの各カラムについて、前記カラムの処理対象のラインの画素から画素信号を読み出させ、前記画素から読み出させた前記画素信号をA/D変換させ、A/D変換させた前記画素信号を、前記画素信号の読み出しのモードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶させ、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶させている前記画素信号を読み出させる制御方法である。

本技術のさらに他の側面は、さらに、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素アレイと、前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部とを備える撮像装置である。

本技術の他の側面は、画素アレイと、前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部とを備える撮像素子である。

前記制御部は、前記ランプ信号の傾きの大きさに応じて、各A/D変換部のランプ信号のオフセットを設定することができる。

前記制御部は、前記ランプ信号の傾きが大きい場合、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定し、前記ランプ信号の傾きが小さい場合、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定することができる。

本技術の他の側面は、また、画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部のそれぞれのランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出させ、前記画素から読み出させた前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部にA/D変換させる制御方法である。

本技術の他の側面は、さらに、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素アレイと、前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部とを備える撮像装置である。

本技術の一側面においては、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の信号線のそれぞれに、画素信号の読み出しの互いに異なるモードが割り当てられ、そのモードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する信号線に接続される画素から画素信号がそのモードで読み出され、読み出された画素信号が信号線を介して伝送される。

本技術の他の側面においては、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、カラムに割り当てられた複数の信号線のいずれかに接続される画素アレイの各カラムの、互いに異なる信号線に割り当てられた複数ラインの画素から画素信号が並列に読み出され、複数ラインの画素から読み出された複数ラインの画素信号が、それぞれ、画素に対応する信号線を用いて並列に伝送され、複数の信号線を用いて伝送された複数ラインの画素信号が並列にA/D変換され、A/D変換された互いに異なるラインの画素信号が並列に圧縮される。

本技術のさらに他の側面においては、画素アレイの各カラムについて、カラムの処理対象のラインの画素から画素信号が読み出され、画素から読み出された画素信号がA/D変換され、A/D変換された画素信号が、画素信号の読み出しのモードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶され、モードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶されている画素信号が読み出される。

本技術の他の側面においては、画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部のそれぞれのランプ信号のオフセットを互いに異なる値に設定され、画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号が読み出され、画素から読み出された画素信号が、カラムに割り当てられた複数のA/D変換部にA/D変換される。

本技術によれば、被写体を撮像することができる。特に、より容易に、より多様なデータ出力を実現することができる。

本技術を適用したイメージセンサの主な構成例を示すブロック図である。 カラム画素部の主な構成例を示す図である。 単位画素の主な構成例を示す図である。 単位画素の他の構成例を示す図である。 選択部の主な構成例を示す図である。 カラムA/D変換部の主な構成例を示す図である。 アドレスデコーダの主な構成例を示す図である。 画素駆動部の主な構成例を示す図である。 画素読み出しの様子の例を説明するタイミングチャートである。 アドレスデコーダの駆動の様子の例を説明するタイミングチャートである。 単位画素動作制御の様子の例を説明するタイミングチャートである。 A/D変換部の駆動の様子の例を説明するタイミングチャートである。 ２ストリーム読み出しの様子の例を示す図である。 読み出し処理の流れの例を説明するフローチャートである。 ２ストリームアクセスの様子の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 ２ストリームアクセスの様子の他の例を示す図である。 時分割の２ストリームアクセスの様子の例を示す図である。 ダミーアドレス適用の例を示す図である。 ダミーアドレス適用の例を示す図である。 倍速読み出しの例を示す図である。 倍速読み出しの他の例を示す図である。 倍速読み出しの例を示す図である。 高S/N読み出しの例を示す図である。 本技術を適用したイメージセンサの他の構成例を示すブロック図である。 圧縮の様子の例を示す図である。 水平処理部の例を示す図である。 圧縮部の例を示す図である。 本技術を適用したイメージセンサの他の構成例を示すブロック図である。 A/D変換部の主な構成例を示すブロック図である。 読み出し処理の流れの例を説明するフローチャートである。 画素信号読み出しに関する構成の例を示す図である。 画素信号読み出しに関する構成の他の例を示す図である。 画素信号読み出しに関する構成のさらに他の例を示す図である。 ランプ信号のオフセットのずらし量の保護の他の例を示す図である。 オフセットのずらし量の保護の例を示す図である。 オフセットのずらし量の保護の他の例を示す図である。 ランプ信号制御処理の流れの例を説明するフローチャートである。 撮像素子の主な構成例を示す図である。 撮像装置の主な構成例を示す図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（CMOSイメージセンサ）
２．第２の実施の形態（CMOSイメージセンサ）
３．第３の実施の形態（CMOSイメージセンサ）
４．第４の実施の形態（CMOSイメージセンサ）
５．第５の実施の形態（CMOSイメージセンサ）
６．第６の実施の形態（撮像装置）

＜１．第１の実施の形態＞
＜CMOSイメージセンサ＞
図１は、本技術を適用した撮像素子の一実施の形態であるCMOS（Complementary Metal Oxide Semiconductor）イメージセンサの一部の構成例を示すブロック図である。図１に示されるCMOSイメージセンサ１００は、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。なお、本明細書においては、CMOSイメージセンサを例に説明するが、本技術は、例えば、CCD（Charge Coupled Device）イメージセンサ等の、CMOSイメージセンサ以外の撮像素子にも適用することができる。

図１に示されるように、CMOSイメージセンサ１００は、画素アレイ部１１１、読み出し部１１２Ａ、読み出し部１１２Ｂ、およびD/A変換部１１３を有する。

画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成（単位画素）が平面状または曲面状に配置される画素領域である。画素アレイ部１１１の各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。

画素アレイ部１１１において、単位画素は、例えば行列（アレイ）状に配置される。各単位画素には、画素信号を転送する信号線（垂直信号線）が単位画素のカラム（列）毎に割り当てられる。また、画素信号の読み出しに関する動作は、単位画素のライン（行）毎に制御される。

なお、この画素アレイは、各単位画素を互いに異なる２方向に分類（グループ化）することができる構成であればどのようなものであってもよく、互いに直交する２直線方向に並べられるNxMの典型的な行列構成でなくてもよい。つまり、例えばハニカム構造のように、単位画素のライン（行）やカラム（列）が直線でなくてもよい。すなわち、各ラインや各カラムの単位画素が直線状に並べられていなくてもよいし、単位画素のラインとカラムが直交していなくてもよい。

つまり、画素アレイ部１１１は、単位画素の１カラム（列）分の構成であるカラム画素部１２１を、画素アレイのカラム数の数だけ有する。図１には１カラム（列）分の構成のみ示しているが、例えば、画素アレイ部１１１がＰ（Ｐは自然数）列の単位画素を有する場合、画素アレイ部１１１は、Ｐ個のカラム画素部１２１を有する。カラム画素部１２１の詳細については後述するが、カラム画素部１２１は、当該カラムの単位画素から読み出された画素信号を伝送する信号線（垂直信号線）を複数（例えばＮ本（Ｎは２以上の自然数））有する。つまり、カラム画素部１２１からは複数（例えばＮ個）の画素信号を並列に読み出すことができる。

読み出し部１１２Ａは、画素アレイ部１１１から画素信号を読み出し、A/D変換等の信号処理を行って出力する。読み出し部１１２Ａは、画素アレイ部１１１の各カラム（各カラム画素部１２１）に対して、選択部１２２ＡおよびカラムA/D変換部１２３Ａを有する。つまり、図１には１カラム（列）分の構成のみ示しているが、例えば、画素アレイ部１１１がＰ列の単位画素を有する場合、読み出し部１１２Ａは、Ｐ個の選択部１２２ＡとカラムA/D変換部１２３Ａを有する。

選択部１２２Ａは、自身が対応するカラム画素部１２１の複数（例えばＮ本）の垂直信号線の中から、画素信号をカラムA/D変換部１２３Ａに供給する信号線を選択する。すなわち、選択部１２２Ａは、カラム画素部１２１の垂直信号線（その垂直信号線に接続される単位画素）とカラムA/D変換部１２３Ａとの接続を制御する。

カラムA/D変換部１２３Ａは、自身が対応する選択部１２２Ａを介してカラム画素部１２１から伝送される画素信号（アナログデータ）をA/D変換する。カラムA/D変換部１２３Ａは、複数（例えばＭ個（Ｍは２以上の自然数。ただしＭ≦Ｎ））のA/D変換部を有し、選択部１２２Ａを介して伝送される複数（例えばＭ個）の画素信号を並列にA/D変換することができる。つまり、選択部１２２Ａは、例えば、Ｎ本の中からＭ本の垂直信号線を選択し、カラムA/D変換部１２３Ａに接続させることができる。

カラムA/D変換部１２３Ａは、D/A変換部１１３から供給されるランプ信号を用いて画素信号をA/D変換する。詳細については後述する。

読み出し部１１２Ａは、さらに水平転送部１２４Ａを有する。水平転送部１２４Ａは、各カラムA/D変換部１２３Ａから出力される画素信号（デジタルデータ）、すなわち、画素アレイ部１１１の各カラムの画素信号を順次出力する。例えば、例えば、画素アレイ部１１１がＰ列の単位画素を有し、各カラムA/D変換部１２３ＡがＭ個のA/D変換部を有する場合、水平転送部１２４Ａには、PxM個の画素信号が並列に供給される。水平転送部１２４Ａは、そのPxMの画素信号を順次伝送する。水平転送部１２４Ａから出力される画素信号は、例えば、信号処理部等の後段の処理部（図示せず）に供給される。この後段の処理部は、CMOSイメージセンサ１００の内部に設けられるようにしてもよいし、外部に設けられるようにしてもよい。

読み出し部１１２Ｂは、読み出し部１１２Ａと同様の処理部であり、読み出し部１１２Ａと同様の構成を有し、読み出し部１１２Ａと同様の処理を行う。すなわち、読み出し部１１２Ｂは、画素アレイ部１１１の単位画素のカラム毎に選択部１２２ＢおよびカラムA/D変換部１２３Ｂを有し、さらに水平転送部１２４Ｂを有する。選択部１２２Ｂは、選択部１２２Ａと同様の処理部であり、選択部１２２Ａと同様の構成を有し、選択部１２２Ａと同様の処理を行う。カラムA/D変換部１２３Ｂは、カラムA/D変換部１２３Ａと同様の処理部であり、カラムA/D変換部１２３Ａと同様の構成を有し、カラムA/D変換部１２３Ａと同様の処理を行う。水平転送部１２４Ｂは、水平転送部１２４Ａと同様の処理部であり、水平転送部１２４Ａと同様の構成を有し、水平転送部１２４Ａと同様の処理を行う。

以下において、読み出し部１１２Ａおよび読み出し部１１２Ｂを互いに区別して説明する必要が無い場合、単に読み出し部１１２と称する。同様に、選択部１２２Ａおよび選択部１２２Ｂを互いに区別して説明する必要が無い場合、単に選択部１２２と称する。同様に、カラムA/D変換部１２３ＡおよびカラムA/D変換部１２３Ｂを互いに区別して説明する必要が無い場合、単にカラムA/D変換部１２３と称する。同様に、水平転送部１２４Ａおよび水平転送部１２４Ｂを互いに区別して説明する必要が無い場合、単に水平転送部１２４と称する。

D/A変換部１１３は、各カラムA/D変換部１２３に所定のランプ信号を供給する。

以上のように図１の例の場合、CMOSイメージセンサ１００は、画素アレイ部１１１から画素信号を読み出す経路を２系統有する。つまり、図１の例の場合、読み出し部１１２が読み出し部１１２Ａと読み出し部１１２Ｂの２つの構成とされている。ただし、この経路の数は任意であり、１系統であってもよいし、３系統以上であってもよい。つまり、読み出し部１１２Ａと読み出し部１１２Ｂを１つの読み出し部１１２として構成するようにしてもよいし、例えば、読み出し部１１２Ａ、読み出し部１１２Ｂ、読み出し部１１２Ｃ（図示せず）、・・・のように、読み出し部１１２を３つ以上の構成としてもよい。

CMOSイメージセンサ１００は、さらに、センサコントローラ１３１、垂直走査部１３２、および水平走査部１３３を有する。

センサコントローラ１３１は、CMOSイメージセンサ１００の各処理部の動作を制御する。例えば、センサコントローラ１３１は、垂直走査部１３２や水平走査部１３３を制御して、画素アレイ部１１１からの画素信号の読み出しを制御する。

垂直走査部１３２は、センサコントローラ１３１に制御されて、画素アレイ部１１１の各カラムの各単位画素をライン毎に駆動させ、画素信号を読み出させる。垂直走査部１３２は、アドレスデコーダ１４１および画素駆動部１４２を有する。アドレスデコーダ１４１は、センサコントローラ１３１から供給されるアドレス指定情報をデコードし、画素駆動部１４２の指定されたアドレスに対応する構成に制御信号を供給する。画素駆動部１４２は、センサコントローラ１３１に制御されて、画素アレイ部１１１の各単位画素に対して駆動させる制御信号を供給する。画素駆動部１４２は、制御信号を供給する構成を画素アレイのライン毎に有する。画素駆動部１４２は、アドレスデコーダ１４１により指定された構成を用いて、センサコントローラ１３１から指定された制御内容に対応する制御信号を、画素アレイ部１１１（すなわち、センサコントローラ１３１により指定されたラインの各単位画素）に供給する。

水平走査部１３３は、読み出し部１１２の動作を制御し、画素アレイ部１１１から供給される各カラムの画素信号を順次後段に伝送させる。

＜カラム画素部＞
カラム画素部１２１の主な構成の例を図２に示す。上述したように、カラム画素部１２１には、複数（例えばＮ本（Ｎは２以上の自然数））の垂直信号線が割り当てられている。カラム画素部１２１の各単位画素（すなわち画素アレイの当該カラムの各単位画素）は、この複数の垂直信号線のいずれかに接続される。また、カラム画素部１２１が有する単位画素の数は任意である。

図２の例の場合、４本の垂直信号線（VSL0、VLS1、VSL2、VSL3）が割り当てられており、４つの単位画素（単位画素１５１Ａ、単位画素１５１Ｂ、単位画素１５１Ｃ、単位画素１５１Ｄ）が示され、単位画素１５１Ａは垂直信号線VSL0に接続され、単位画素１５１Ｂは垂直信号線VSL1に接続され、単位画素１５１Ｃは垂直信号線VSL2に接続され、単位画素１５１Ｄは垂直信号線VSL3に接続されている。カラム画素部１２１が５つ以上単位画素を有する場合、その他の単位画素も同様に、４本の垂直信号線（VSL0、VLS1、VSL2、VSL3）のいずれかに接続される。

なお、以下において、単位画素を互いに区別して説明する必要が無い場合、単に、単位画素１５１と称する。また、垂直信号線を互いに区別して説明する必要が無い場合、単に、垂直信号線VSLと称する。

＜単位画素＞
単位画素１５１の主な構成の例を図３に示す。図３に示されるように、単位画素１５１は、フォトダイオード１６１、読み出しトランジスタ１６２、リセットトランジスタ１６３、増幅トランジスタ１６４、およびセレクトトランジスタ１６５を有する。

フォトダイオード（PD）１６１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード１６１のアノード電極は画素領域のグランド（画素グランド）に接続され、カソード電極は読み出しトランジスタ１６２を介してフローティングディフュージョン（FD）に接続される。

読み出しトランジスタ１６２は、フォトダイオード１６１からの光電荷の読み出しを制御する。読み出しトランジスタ１６２は、ドレイン電極がフローティングディフュージョンに接続され、ソース電極がフォトダイオード１６１のカソード電極に接続される。また、読み出しトランジスタ１６２のゲート電極には、画素駆動部１４２から制御信号TRGが供給される。制御信号TRG（すなわち、読み出しトランジスタ１６２のゲート電位）がオフ状態のとき、フォトダイオード１６１からの光電荷の読み出しが行われない（フォトダイオード１６１において光電荷が蓄積される）。制御信号TRG（すなわち、読み出しトランジスタ１６２のゲート電位）がオン状態のとき、フォトダイオード１６１に蓄積された光電荷が読み出され、フローティングディフュージョン（FD）に供給される。

リセットトランジスタ１６３は、フローティングディフュージョン（FD）の電位をリセットする。リセットトランジスタ１６３は、ドレイン電極が電源電位に接続され、ソース電極がフローティングディフュージョン（FD）に接続される。また、リセットトランジスタ１６３のゲート電極には、画素駆動部１４２から制御信号RSTが供給される。制御信号RST（すなわち、リセットトランジスタ１６３のゲート電位）がオフ状態のとき、フローティングディフュージョン（FD）は電源電位と切り離されている。制御信号RST（すなわち、リセットトランジスタ１６３のゲート電位）がオン状態のとき、フローティングディフュージョン（FD）の電荷が電源電位に捨てられ、フローティングディフュージョン（FD）がリセットされる。

増幅トランジスタ１６４は、フローティングディフュージョン（FD）の電位変化を増幅し、電気信号（アナログ信号）として出力する。増幅トランジスタ１６４は、ゲート電極がフローティングディフュージョン（FD）に接続され、ドレイン電極が電源電位に接続され、ソース電極がセレクトトランジスタ１６５のドレイン電極に接続されている。例えば、増幅トランジスタ１６４は、リセットトランジスタ１６３によってリセットされたフローティングディフュージョン（FD）の電位をリセット信号（リセットレベル）としてセレクトトランジスタ１６５に出力する。また、増幅トランジスタ１６４は、読み出しトランジスタ１６２によって光電荷が転送されたフローティングディフュージョン（FD）の電位を光蓄積信号（信号レベル）としてセレクトトランジスタ１６５に出力する。

セレクトトランジスタ１６５は、増幅トランジスタ１６４から供給される電気信号の垂直信号線VSLへの出力を制御する。セレクトトランジスタ１６５は、ドレイン電極が増幅トランジスタ１６４のソース電極に接続され、ソース電極が垂直信号線VSLに接続されている。また、セレクトトランジスタ１６５のゲート電極には、画素駆動部１４２から制御信号SELが供給される。制御信号SEL（すなわち、セレクトトランジスタ１６５のゲート電位）がオフ状態のとき、増幅トランジスタ１６４と垂直信号線VSLは電気的に切り離されている。したがって、この状態のとき、当該単位画素から画素信号が出力されない。制御信号SEL（すなわち、セレクトトランジスタ１６５のゲート電位）がオン状態のとき、当該単位画素が選択状態となる。つまり、増幅トランジスタ１６４と垂直信号線VSLが電気的に接続され、増幅トランジスタ１６４から出力される信号が、当該単位画素の画素信号として、垂直信号線VSLに供給される。すなわち、当該単位画素から画素信号が読み出される。

＜単位画素の他の例＞
単位画素１５１の構成は任意であり、図３の例に限定されない。例えば、読み出しトランジスタ１６２が省略されていてもよい。また、１単位画素当たりの画素数は任意であり、図３の例のように１画素であってもよいし、複数画素であってもよい。

複数画素を有する場合の単位画素の構成例を図４に示す。図４の例の場合、単位画素１５１は、フォトダイオード１６１を４つ有する（フォトダイオード１６１−０、フォトダイオード１６１−１、フォトダイオード１６１−２、フォトダイオード１６１−３）。つまり、この場合、単位画素１５１は、４画素により構成される。各フォトダイオード１６１は、互いに同一の特性を有するようにしてもよいが、互いに異なる特性を有するようにしてもよい。例えば、これらのフォトダイオード１６１のうち、一部若しくは全部が、他と異なる波長帯域の入射光を光電変換するようにしてもよい。例えば、フォトダイオード１６１−０乃至フォトダイオード１６１−３を２行２列に配列し、左上のフォトダイオード１６１−０が主に赤（R）の帯域を光電変換し、右上のフォトダイオード１６１−１が主に緑（GR）の帯域を光電変換し、左下のフォトダイオード１６１−２が主に緑（GB）の帯域を光電変換し、右下のフォトダイオード１６１−３が主に青（B）の帯域を光電変換するようにしてもよい。このようにすることにより、単位画素１５１がベイヤ配列の１単位を構成するようにすることができる。

また、図４の例の場合、単位画素１５１は、読み出しトランジスタ１６２を４つ有する（読み出しトランジスタ１６２−０、読み出しトランジスタ１６２−１、読み出しトランジスタ１６２−２、読み出しトランジスタ１６２−３）。読み出しトランジスタ１６２−０は、画素駆動部１４２から供給される制御信号TRG（TR0）に基づいて、フォトダイオード１６１−０からの光電荷の読み出しを制御する。読み出しトランジスタ１６２−１は、画素駆動部１４２から供給される制御信号TRG（TR1）に基づいて、フォトダイオード１６１−１からの光電荷の読み出しを制御する。読み出しトランジスタ１６２−２は、画素駆動部１４２から供給される制御信号TRG（TR2）に基づいて、フォトダイオード１６１−２からの光電荷の読み出しを制御する。読み出しトランジスタ１６２−３は、画素駆動部１４２から供給される制御信号TRG（TR3）に基づいて、フォトダイオード１６１−３からの光電荷の読み出しを制御する。

図４の例の場合、フローティングディフュージョン（FD）、リセットトランジスタ１６３、増幅トランジスタ１６４、およびセレクトトランジスタ１６５等の構成は、単位画素内で共有される。そして、各画素（フォトダイオード１６１−０、フォトダイオード１６１−１、フォトダイオード１６１−２、フォトダイオード１６１−３）の画素信号は、互いに同一垂直信号線VSLを介して伝送される。

以下においては、単位画素１５１の構成として図４の例を用いて説明する。

＜選択部＞
図５は、選択部１２２の主な構成の例を示す図である。図５のＡに選択部１２２Ａの構成例を示す。図５のＢに選択部１２２Ｂの構成例を示す。選択部１２２は、カラム画素部１２１毎に設けられ、カラム画素部１２１のＮ本の垂直信号線とカラムA/D変換部１２３のＭ系統のA/D変換部（Ｍ本の垂直信号線）との接続を制御する。図５のＡの例の場合、選択部１２２Ａは、自身が対応するカラム画素部１２１の４本の垂直信号線（VSL0乃至VSL3）の中のいずれか２本を選択し、カラムA/D変換部１２３Ａの２本の垂直信号線（VSLA0、VSLA1）に接続する。

選択部１２２Ｂは、選択部１２２Ａと基本的に同様の構成を有する。すなわち、図５のＢの例の場合、選択部１２２Ｂは、自身が対応するカラム画素部１２１の４本の垂直信号線（VSL0乃至VSL3）の中のいずれか２本を選択し、カラムA/D変換部１２３Ｂの２本の垂直信号線（VSLB0、VSLB1）に接続する。

つまり、選択部１２２は、各カラムにおいて、画素信号の読み出しのモードに対応する垂直信号線VSLを、そのカラムに割り当てられた複数の垂直信号線VSLの中から選択する。その際、センサコントローラ１３１は、各カラムについて、選択部１２２にいずれかの垂直信号線VSLを選択させ、その選択部１２２により選択された垂直信号線VSLに接続される画素から画素信号をそのモードで読み出し、読み出した画素信号を選択部１２２により選択された信号線を介して伝送させるように制御する。なお、この選択部１２２は、省略するようにしてもよい。例えば、カラムA/D変換部１２３が並列に動作するＮ系統のA/D変換部を有する場合、選択部１２２は不要になる。

＜カラムA/D変換部＞
カラムA/D変換部１２３Ｂの主な構成の例を図６に示す。カラムA/D変換部１２３は、上述したようにＭ系統のA/D変換部を有する。図６の例の場合、２系統（VSLB0, VSLB1）のA/D変換部を有する。そして、カラムA/D変換部１２３Ｂは、垂直信号線VSLB0の系統のA/D変換部として、電流源１８１−０、比較器１８２−０、およびカウンタ１８３−０を有する。電流源１８１−０は、垂直信号線VSLB0に接続される周辺回路の負荷を表している。電流源１８１−０は、垂直信号線VSLB0とグランドとに接続される。

D/A変換部１１３は、カラムA/D変換部１２３Ｂの各系統に対してランプ信号を供給する。図６の例の場合、カラムA/D変換部１２３Ｂは、D/A変換部１１３は、垂直信号線VSLB0の系統のA/D変換部にランプ信号を供給するD/A変換部１１３−０と、垂直信号線VSLB1の系統のA/D変換部にランプ信号を供給するD/A変換部１１３−１とを有する。

比較部１８２−０は、画素アレイ部１１１の単位画素１５１から垂直信号線VSL、選択部１２２Ｂ、および垂直信号線VSLB0を介して伝送される画素信号を、D/A変換部１１３−０から供給されるランプ信号と比較し、比較結果（どちらの値が大きいかを示す情報）をカウンタ１８３−０に供給する。

カウンタ１８３−０は、カウント開始からその比較結果の値が変化するまでの期間をカウントし、比較結果の値が変化した時点でそのカウント値を画素信号のデジタルデータとして水平転送部１２４Ｂに出力する。

カラムA/D変換部１２３Ｂは、垂直信号線VSLB1の系統のA/D変換部として、電流源１８１−１、比較器１８２−１、およびカウンタ１８３−１を有する。電流源１８１−１は、電流源１８１−０と同様の構成である。すなわち、電流源１８１−１は、垂直信号線VSLB1に接続される周辺回路の負荷を表している。電流源１８１−１は、垂直信号線VSLB1とグランドとに接続される。

比較部１８２−１は、比較部１８２−０と同様の構成を有し、比較部１８２−０と同様の処理を行う。つまり、比較部１８２−１は、画素アレイ部１１１の単位画素１５１から垂直信号線VSL、選択部１２２Ｂ、および垂直信号線VSLB1を介して伝送される画素信号を、D/A変換部１１３−１から供給されるランプ信号と比較し、比較結果（どちらの値が大きいかを示す情報）をカウンタ１８３−１に供給する。

カウンタ１８３−１は、カウンタ１８３−０と同様の構成を有し、同様の処理を行う。すなわち、カウンタ１８３−１は、カウント開始からその比較結果の値が変化するまでの期間をカウントし、比較結果の値が変化した時点でそのカウント値を画素信号のデジタルデータとして水平転送部１２４Ｂに出力する。

カラムA/D変換部１２３ＡもカラムA/D変換部１２３Ｂと同様の構成を有し、同様の処理を行う。つまり、カラムA/D変換部１２３が、いくつの構成とされる場合であっても、各カラムA/D変換部１２３は、図６の例と同様の構成を有し、同様の処理を行う。

なお、カラムA/D変換部１２３が、有するA/D変換部の系統数は任意であり、１系統であってもよいし、３系統以上であってもよい。系統数がいくつであっても、D/A変換部１１３は、各系統に互いに独立にランプ信号を供給する。すなわち、例えば、カラムA/D変換部１２３が、Ｍ系統のA/D変換部を有する場合、D/A変換部１１３が、Ｍ個の独立したD/A変換部を有するようにしてもよい。

＜アドレスデコーダ＞
図７にアドレスデコーダ１４１の主な構成の例を示す。アドレスデコーダ１４１は、画素アレイの各ラインに対して、図７に示されるような構成の論理回路を有する。そして、アドレスデコーダ１４１には、画素を選択するためのアドレス（ADD_X）、読み出しラッチリセット（RLRST）、読みだしラッチセット（RLSET_X）、電子シャッタラッチリセット（SLRST）、および電子シャッタラッチセット（SLSET_X）等の、アドレスを指定する制御信号が、センサコントローラ１３１から入力される。アドレスデコーダ１４１は、センサコントローラ１３１により指定されるラインの論理回路において、これら入力信号を基に、読み出しラッチ（RLQ）または電子シャッタラッチ（SLQ）として値”Ｈ（ハイ）”を画素駆動部１４２に出力する。NOT_読み出しラッチ（XRLQ）やNOT_電子シャッタラッチ（XSLQ)はそれらの制御信号を負論理にしたパルスである。

＜画素駆動部＞
画素駆動部１４２の主な構成例を図８に示す。画素駆動部１４２は、画素アレイの各ラインに対して、図８に示されるような構成の論理回路を有する。

図8に画素駆動タイミング駆動回路の等価回路図とタイミングチャートを示す。アドレスデコーダ１４１から供給される読み出しラッチ出力パルスRLQや電子シャッタラッチSLQ、センサコントローラ１３１から供給される読み出し時転送パルスRTR、電子シャッタ時転送パルスSTR、電子シャッタ時リセットパルスSRST、読み出し時リセットパルスRRST、および読み出し時選択パルスRSEL等の各種制御信号の値に従って、当該ラインの各単位画素１５１の各トランジスタに対して制御信号TRG、制御信号SEL、および制御信号RSTを供給する。

＜タイミングチャート＞
図９に、このようなCMOSイメージセンサ１００を駆動するための各種制御信号のタイミングチャートの例を示す。センサコントローラ１３１は、図９に示されるように、画素を選択するためのアドレス（ADD）、アドレスデコーダ１４１の読み出しラッチリセット（RLRST）、読み出しラッチセット（RLSET）、電子シャッタラッチリセット（SLRST）、および電子シャッタラッチセット（RLSET）等の制御信号をアドレスデコーダ１４１に入力することにより、任意のアドレスを駆動させることができる。

また、センサコントローラ１３１は、読み出し時転送パルス（RTR）、読み出し時リセットパルス（RRST）、読み出し時選択パルス（RSEL）、電子シャッタ時転送パルス（STR）、および電子シャッタ時リセットパルス（SRST）等の制御信号を画素駆動部１４２に入力することにより、アドレスデコーダ１４１にセットした任意のアドレスを任意の期間のみ駆動させることができる。

これらの制御信号に対するアドレスデコーダ１４１が出力する各種制御信号のタイミングチャートの例を図１０に示す。また、画素駆動部１４２が出力する各種制御信号のタイミングチャートの例を図１１に示す。

これらの制御信号に基づいて、画素アレイの各単位画素から画素信号が読み出される。読み出された画素信号は、各カラムA/D変換部１２３において、図１２に示されるタイミングチャートのようにA/D変換される。

＜読み出しモードと垂直信号線の振り分け＞
以上のようなCMOSイメージセンサ１００の場合、各カラムの複数の垂直信号線や複数のA/D変換部を用いて、多様な読み出し方法（読み出しモード）で画素信号を読み出すことができる。例えば、２系統のデータの同時出力を実現する２ストリーム読み出しや、より高速に読み出すために縦列カラムを全数使用する並列読み出し、またダイナミックレンジ向上を実現するためのマルチサンプリング等の読出しモードを実現することができる。

しかしながら、各垂直信号線と単位画素とが不規則に接続されている場合、画素信号の読み出し制御が煩雑になる恐れがあった。例えば、駆動させる単位画素のラインを切り替える度に（水平同期毎に）、画素信号に利用する垂直信号線を指定しなければならなかった。特に複数の読み出しモードを併用する場合、モード毎に指定する垂直信号線を変えなければならず、制御がより複雑になった。

そこで、単位画素と垂直信号線VSLとを読み出しモードに応じて接続するようにする。つまり、画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の信号線のそれぞれに、画素信号の読み出しの所定のモードが割り当てられ、画素アレイのそのカラムの、そのモードに対応する画素が接続されるようにし、画素アレイの各カラムについて、画素信号の読み出しのモードに対応する信号線に接続される画素から画素信号をそのモードで読み出し、読み出した画素信号を信号線を介して伝送させるように制御するようにする。

換言するに、各読み出しモードに垂直信号線VSLのいずれかを割り当て、その読み出しモードにおいて画素信号を読み出す単位画素をその垂直信号線VSLに接続するようにする。この読み出しモードに割り当てる垂直信号線VSLの数は任意であり、単数でも複数でもよい。また、垂直信号線の割り当てが読み出しモード間で重複すするようにしてもよい。例えば、１本の垂直信号線VSLが複数の読み出しモードに割り当てられるようにしてもよい。

このようにすることにより、例えば、ある読み出しモードを選択する場合、最初に（翠帳同期毎に）、その読み出しモードに応じた垂直信号線を選択するだけで、その読み出しモードに対応する全ての単位画素から画素信号を読み出すことができるようになる。したがって、各水平同期においては、駆動させるラインを選択するだけで、容易に所望の読み出しモードを実現することができるようになる。複数の読み出しモードを併用する場合も、垂直同期において切り替え後のモードに対応する垂直信号線を選択するだけで、各水平同期の制御は、どのモードも同様に、その読み出しモードに応じたラインを選択するのみでよい。

図１３にその例を示す。図１３の例の場合、読み出しモード１においては、単位画素Ａ、単位画素Ｃ、単位画素Ｅ、および単位画素Ｇから画素信号が読み出され、読み出しモード２においては、単位画素Ｂ、単位画素Ｄ、単位画素Ｆ、および単位画素Ｈから画素信号が読み出される。そして図１３に示されるように、単位画素Ａ、単位画素Ｃ、単位画素Ｅ、および単位画素Ｇは、単位画素Ｂ、単位画素Ｄ、単位画素Ｆ、および単位画素Ｈと異なる垂直信号線に接続されている。

したがって、読み出しモード１で読み出す場合、選択部１２２は、垂直同期の最初に、単位画素Ａ、単位画素Ｃ、単位画素Ｅ、および単位画素Ｇが接続される垂直信号線を選択すればよい。逆に、読み出しモード２で読み出す場合、選択部１２２は、垂直同期の最初に、単位画素Ｂ、単位画素Ｄ、単位画素Ｆ、および単位画素Ｈが接続される垂直信号線を選択すればよい。水平同期毎にこの垂直信号線の選択を切り替える必要がない。

つまり、より容易により多様な読出しモードを実現することができる。

図１４のフローチャートを参照して、センサコントローラ１３１による読み出し処理の流れの例を説明する。

読み出し処理が開始されると、センサコントローラ１３１は、ステップＳ１０１において、水平走査部１３３を介して各カラムの選択部１２２を制御し、各カラムについて、読み出しモードに応じて垂直信号線を選択する。センサコントローラ１３１は、この処理を、読み出しを開始する際、若しくは、読み出しモードを切り替える際に、垂直同期の最初に行う。

ステップＳ１０２において、センサコントローラ１３１は、選択した垂直信号線に対応する単位画素から、その垂直信号線に対応する読み出しモードで画素信号の読み出しを行う。つまり、センサコントローラ１３１は、垂直走査部１３２のアドレスデコーダ１４１や画素駆動部１４２を制御して、各カラムの読み出しモードに対応する単位画素を選択し、その単位画素から、その読み出しモードで画素信号を読み出す。センサコントローラ１３１は、この処理を水平同期毎に行う。

以上のように読出し処理を行うことにより、センサコントローラ１３１は、より多様な読み出しモードの動作を実現させることができる。つまり、CMOSイメージセンサ１００は、より容易に、より多様なデータ出力を実現することができる。

＜読み出しモードの例＞
以下に、以上のようなCMOSイメージセンサ１００により実現可能な読み出しモードの例を説明する。

図１５に２ストリームアクセスの例（XVS単位）を示す。図１５に示される例では、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。例えば、モード１がモニタリングモードの場合30fpsで動作して、モード２がAFモードの場合240fpsで動作する。このように、画素からの画素信号の読み出しは、その画素に対応するモードのフレームレートで行うように制御されるようにしてもよい。

このとき、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。したがって、このようなフレームレートの異なる２つの読み出しモードで画素信号を読み出す場合においても、各読み出しモードに垂直信号線VSLを振り分けているため、各読み出しモードでの画素信号の読み出しにおいて、画素や垂直信号線VSLがぶつかることはない。そのため、CMOSイメージセンサ１００は、画質に影響を及ぼすことなく、２つの読み出しモードでの読み出しをより容易に実現することができる。

また、各カラムのメインシャッタ動作およびプリシャッタ動作も、そのモードのフレームレートで行うように制御されるようにしてもよい。図１６に２ストリームアクセスの例（XHS単位）を示す。この図１６の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１５の場合と同様に、モード１は30fpsのモニタリングモードであり、モード２は240fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。

この場合、図１６の例のように、メインシャッタおよびリード、並びにプリシャッタの両方とも垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。したがって、従来のCMOSイメージセンサと同等の良好な画質が２系統において得られることになる。

図１７に2/8間引き加算＋2/8間引き加算の例を示す。この図１７の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１５の場合と同様に、モード１は30fpsのモニタリングモードであり、モード２は240fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。

ただし、図１７の例の場合、モード１（モニタリングモード）では、画素８ライン毎に２ラインを読み出して加算する2/8間引き加算が行われる。すなわち、モード１（モニタリングモード）では「2/8間引き加算 30fpsモード」での読み出しが行われる。また、モード２（AFモード）でも2/8間引き加算が行われる。すなわち、モード２（AFモード）では「2/8間引き加算240fpsモード」での読み出しが行われる。

加算モードの場合、例えば、画素８ラインのうち２ライン（すなわち、R画素とGR画素が並ぶライン（R/GR）とGB画素とB画素が並ぶライン（GB/B））が２ラインずつ読み出され、その２ライン（R/GRのライン同士と、GB/Bのライン同士）が加算される。これにより、高感度な画像（加算画像）を得ることができる。画素信号の加算方法は、任意である。例えば、カウンタ加算、コンパレータの容量加算、ロジック内部での加算等の方法が考えられる。

このような２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。

図１８に4/16間引き＋4/16間引きの例を示す。この図１８の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１５の場合と同様に、モード１は30fpsのモニタリングモードであり、モード２は240fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。

ただし、図１８の例の場合、モード１（モニタリングモード）として、画素１６ライン毎に４ラインを読み出す4/16間引きが行われる。すなわち、モード１（モニタリングモード）では「4/16間引き30fpsモード」での読み出しが行われる。また、モード２（AFモード）でも4/16間引きが行われる。すなわち、モード２（AFモード）では、「4/16間引き240fpsモード」での読み出しが行われる。

4/16間引きの場合、図１７および図１８に示されるように、2/8間引きとラインの読出しパターンが異なる。また、図１８の例の場合、ライン同士の加算は行われない。

このような２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。

図１９に4/8間引き＋4/8間引きの例を示す。この図１９の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。モード１は30fpsのモニタリングモードであり、モード２は120fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。

ただし、図１９の例の場合、モード１（モニタリングモード）として、画素８ライン毎に４ラインを読み出す4/8間引きが行われる。すなわち、モード１（モニタリングモード）では「4/8間引き30fpsモード」での読み出しが行われる。また、モード２（AFモード）でも4/8間引きが行われる。すなわち、モード２（AFモード）では、「4/8間引き120fpsモード」での読み出しが行われる。図１９の例の場合、ライン同士の加算は行われない。

このような２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。

図２０に8/16間引き＋8/16間引きの例を示す。この図２０の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１９の例と同様に、モード１は30fpsのモニタリングモードであり、モード２は120fpsのAFモードである。図１５の例と同様に、モード１には垂直信号線VSL1と垂直信号線VSL3とが割り当てられ、モード２には、垂直信号線VSL0と垂直信号線VSL2が割り当てられている。

ただし、図２０の例の場合、モード１（モニタリングモード）として、画素１６ライン毎に８ラインを読み出す8/16間引きが行われる。すなわち、モード１（モニタリングモード）では「8/16間引き30fpsモード」での読み出しが行われる。また、モード２（AFモード）でも8/16間引きが行われる。すなわち、モード２（AFモード）では、「8/16間引き120fpsモード」での読み出しが行われる。図２０の例の場合、ライン同士の加算は行われない。

このような２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。

なお、各モードで読み出す画素のラインの比率は互いに同一でなくてもよい。つまり、各カラムにおいて、各信号線に割り当てられる画素数が互いに異なるようにしてもよい。例えば、モード１とモード２とで間引きの割合が互いに異なるようにしてもよい。また、各モードに割り当てる垂直信号線VSLの数が互いに異なるようにしてもよい。例えば、モード１に割り当てる垂直信号線VSLの本数と、モード２に割り当てる垂直信号線VSLの本数とが互いに異なるようにしてもよい。

図２１に4/16間引き＋12/16間引きの例を示す。この図２１の例の場合も、モード１とモード２の２つの読み出しモードで画素信号の読み出しが行われる。図１５の場合と同様に、モード１は30fpsのモニタリングモードであり、モード２は90fpsのAFモードである。モード１には垂直信号線VSL3が割り当てられ、モード２には、垂直信号線VSL0、垂直信号線VSL1、および垂直信号線VSL2が割り当てられている。

図２１の例の場合、モード１（モニタリングモード）として、画素１６ライン毎に４ラインを読み出す4/16間引きが行われる。すなわち、モード１（モニタリングモード）では「4/16間引き30fpsモード」での読み出しが行われる。また、モード２（AFモード）として、画素１６ライン毎に１２ラインを読み出す12/16間引きが行われる。すなわち、モード２（AFモード）では、「12/16間引き90fpsモード」での読み出しが行われる。なお、図２１の例の場合、ライン同士の加算は行われない。

このような画素信号の読み出し量が互いに異なる２モードの読み出しの場合も、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、各読み出しモードでの画素信号の読み出しにおいて画素や垂直信号線VSLがぶつかることを抑制することができる。

以上のように、CMOSイメージセンサ１００は、より容易に、より多様なデータ出力を実現することができる。もちろん、読み出しモードは任意であり、上述した例に限定されない。また、併用する読み出しモードの数や組み合わせパターンも任意であり、上述した例に限らない。例えば、2/8間引き加算+4/16間引き加算などのような、非加算モードと加算モードが混ざった場合であっても制御可能である。また、間引き率については垂直信号線VSLの本数の2N倍であれば任意に設定可能である。

＜その他の読み出しモードの例＞
読み出しモードの併用は、カラムA/D変換部１２３のA/D変換部の系統数によって行うようにしてもよいが、図２２に示される例のように、時分割により実現するようにしてもよい。

例えば、図２２のパターン２のように各読み出しモードでの画素信号の読み出しを行うことにより、カラムA/D変換部１２３の２系統のA/D変換部を用いて２つの読み出しモードを実現することができる。これに対して、パターン１のように、各モードの読出しタイミングをずらすことにより、１系統のA/D変換部を時分割して２つの読み出しモードに用いることができる。すなわち、カラムA/D変換部１２３のA/D変換部の系統数以上の数の読み出しモードを実現することができる。その場合、例えば、センサコントローラ１３１が、選択部１２２に選択する信号線を順次切り替えさせ、複数モードの画素信号の読み出しを時分割で行うように制御する。

つまり、１カラム当たりに１つのA/D変換部が設けられる場合であっても、上述したような複数の読み出しモードを実現することができる。なお、A/D変換部を共有する読み出しモードの数は任意である。例えば、３つ以上の読み出しモードが互いに同一のA/D変換部を使用するようにしてもよい。

このような制御を行う場合であっても、CMOSイメージセンサ１００は、各読み出しモードに垂直信号線VSLの振り分けを実施することで、より容易に、より多様なデータ出力を実現することができる。

また、読み出しモードへの垂直信号線VSLの振り分けは、有効画素だけでなく、ダミー画素についても行われるようにしてもよい。つまり、ダミー画素が、その読み出しモードに対応する垂直信号線VSLに接続されるようにしてもよい。

図２３に、各読み出しモードにおけるダミーアドレスやダミーシャッタの動作の様子の例を示す。また、図２４にダミーアドレスの配置例を示す。

CMOSイメージセンサ１００は非有効期間、もしくはブランキング期間などであっても負荷を揃えるためにリードやシャッタ動作を実施する。この際に使用する画素はダミー画素である。例えば上述した２ストリームの場合、モード２のブランキング期間とモード１の有効期間が重なる時間帯があり、この際にダミーアドレスの垂直信号線VSLがぶつかっているとモード１の横筋などの画質劣化につながるおそれがある。

そこで、２ストリームの画質改善のため、ダミーアドレスも有効アドレスと同様に垂直信号線VSLを振り分けて制御するようにする。つまり、センサコントローラ１３１は、画素アレイ部１１１の各カラムについて、画素信号の読み出しのモードに対応する垂直信号線VSLに接続されるダミー画素からも画素信号を、そのモードで読み出すように制御する。これにより、CMOSイメージセンサ１００は、モード１またはモード２のブランキング期間と重なった期間であっても良好な画質を得ることができる。つまり、CMOSイメージセンサ１００は、より容易に、より多様なデータ出力を実現することができる。

もちろん、センサコントローラ１３１が、さらに、そのダミー画素のシャッタ動作をそのモードで行うように制御するようにしてもよい。

さらに、本技術は、通常の読み出し速度よりも高速に画素信号を読み出す読み出しモードに適用することができる。図２５に通常の速度の読み出しのVアクセスイメージを示す。この読み出しモードの場合、１水平同期期間（1XHS）に２画素ずつ読み出しする。

図２６に２倍速読み出しのVアクセスイメージを示す。VSL4本を常時A/D変換するようにすることで、上述した通常の読み出し速度のモードの場合の２倍のフレームレートを実現することができる。また、プリシャッタも通常の読み出し速度の２倍とすることにより、この２倍速読出しモードの場合も、通常の読み出し速度の場合と同等の良好な画質を得ることができる。

図２７に４倍速読み出しのVアクセスイメージを示す。CMOSイメージセンサ１００は一般的にシリコン（Si）基板で作成され、そのバンドギャップから近赤外線(例えば、1um以下の波長域)の光電変換も可能である。また、赤外線（IR）カットフィルタを外した場合、1um付近で最も感度が高くなるのがR画素であることに注目してR画素のみを４倍速読み出しとすることで、近赤外に対応したCMOSイメージセンサ１００を実現することが可能となる。また、１カラム当たりに複数のA/D変換部を設けることにより、CMOSイメージセンサ１００は、通常の読み出し速度の場合の２倍のフレームレートを実現することができる。

図２８に高S/N読み出しの制御方法を示す。上述した２ストリームの制御方法を応用することで、これまで提案されている高S/N読み出しが容易に実現可能となる。図２８に示されるように、長時間蓄積と短時間蓄積でシャッタの系統を分割することで２ストリームと同等の制御方法で２行おきに長時間蓄積と短時間蓄積が実現できる。読み出しは、従来のCMOSイメージセンサと同様に１水平同期期間（1XHS）当たりに２画素読み出しで問題ない。つまり、各画素の露光時間は、その画素が接続される信号線に対応するモード毎に設定されるようにしてもよい。

以上のように、CMOSイメージセンサ１００は、より容易に、より多様なデータ出力を実現することができる。

＜２．第２の実施の形態＞
＜高速読み出しモードにおける画素信号の転送＞
一般的なCMOSイメージセンサの場合、１カラム当たり１つのA/D変換部が搭載されている。ライン単位で順次画素を走査しながらA/D変換が行われる。これをローリングシャッタ方式と称する。この走査方式のためにラインごとにA/D変換されるタイミングがずれる。そのため動体などを撮像した際に歪が発生してしまう。これをローリングシャッタ歪と称する。A/D変換速度はD/A変換部のセトリング時間に依存するため極端な高速化は難しい。そのためローリングシャッタ歪を低減することが困難であった。

そこで、第１の実施の形態において説明したように、１カラム当たり２つ以上のA/D変換部を設け、並列に２ライン分のA/D変換を行うことにより、ローリングシャッタ歪を低減させることができる。

しかしながら、このような構成にすると、今度は転送帯域の問題が発生する。後段のカメラ信号処理LSIの転送帯域に限界がある。そのため、２ライン同時にA/D変換された撮像データを単位時間内に転送しきれないおそれがあった。そのためイメージセンサ側にバッファとして膨大な数のラインメモリを搭載しなければならず、チップサイズや消費電力が増大してしまうおそれがあった。

そこで、上述したようにA/D変換部を１カラム当たり複数設け、複数ラインの画素信号を並列にA/D変換することができるようにし、ローリングシャッタ歪を低減させる。さらに、並列にA/D変換した２ライン分の画素信号を圧縮し、転送に必要な帯域を削減するようにする。これによってデータ転送を1H内に行うことができるようにする。このようにすることにより、大容量のバッファが不要にすることができ、コストや消費電力の増大を抑制することができる。

＜CMOSイメージセンサ＞
図２９は、本技術を適用した撮像素子の一実施の形態であるCMOS（Complementary Metal Oxide Semiconductor）イメージセンサの一部の構成例を示すブロック図である。図２９に示されるCMOSイメージセンサ２００は、CMOSイメージセンサ１００と同様に、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。なお、以下においては、CMOSイメージセンサを例に説明するが、本実施の形態の場合も、第１の実施の形態の場合と同様に、本技術は、例えば、CCD（Charge Coupled Device）イメージセンサ等の、CMOSイメージセンサ以外の撮像素子にも適用することができる。

図２９に示されるように、CMOSイメージセンサ２００は、CMOSイメージセンサ１００と同様の構成を有する。CMOSイメージセンサ２００は、カラムA/D変換部１２３Ａ−０（カラムA/D変換部１２３Ａ−０−１乃至カラムA/D変換部１２３Ａ−０−Ｐ）およびカラムA/D変換部１２３Ｂ−０（カラムA/D変換部１２３Ｂ−０−１乃至カラムA/D変換部１２３Ｂ−０−Ｐ）、並びに、カラムA/D変換部１２３Ａ−１（カラムA/D変換部１２３Ａ−１−１乃至カラムA/D変換部１２３Ａ−１−Ｐ）およびカラムA/D変換部１２３Ｂ−１（カラムA/D変換部１２３Ｂ−１−１乃至カラムA/D変換部１２３Ｂ−１−Ｐ）を有する。

画素アレイ部１１１から読み出された画素信号は、これらのカラムA/D変換部１２３によりA/D変換される。これらのカラムA/D変換部１２３においてA/D変換された画素信号（デジタルデータ）は、水平転送部１２４に供給される。

CMOSイメージセンサ２００は、水平転送部１２４Ａ−０および水平転送部１２４Ｂ−０、並びに、水平転送部１２４Ａ−１および水平転送部１２４Ｂ−１を有する。カラムA/D変換部１２３Ａ−０（カラムA/D変換部１２３Ａ−０−１乃至カラムA/D変換部１２３Ａ−０−Ｐ）においてA/D変換された画素信号は、水平転送部１２４Ａ−０に供給される。カラムA/D変換部１２３Ｂ−０（カラムA/D変換部１２３Ｂ−０−１乃至カラムA/D変換部１２３Ｂ−０−Ｐ）においてA/D変換された画素信号は、水平転送部１２４Ｂ−０に供給される。カラムA/D変換部１２３Ａ−１（カラムA/D変換部１２３Ａ−１−１乃至カラムA/D変換部１２３Ａ−１−Ｐ）においてA/D変換された画素信号は、水平転送部１２４Ａ−１に供給される。カラムA/D変換部１２３Ｂ−１（カラムA/D変換部１２３Ｂ−１−１乃至カラムA/D変換部１２３Ｂ−１−Ｐ）においてA/D変換された画素信号は、水平転送部１２４Ｂ−１に供給される。

また、CMOSイメージセンサ２００は、水平処理部２２１Ａおよび水平処理部２２１Ｂを有する。互いに区別して説明する必要が無い場合、単に水平処理部２２１と称する。水平転送部１２４Ａ−０および水平転送部１２４Ｂ−０は、画素信号を水平処理部２２１Ａに供給する。水平転送部１２４Ａ−１および水平転送部１２４Ｂ−１は、画素信号を水平処理部２２１Ｂに供給する。

すなわち、水平転送部１２４は、画素信号を２系統として並列に水平処理部２２１に出力する。水平処理部２２１Ａおよび水平処理部２２１Ｂは、それぞれの系統の画素信号に対して所定の信号処理を施す。なお、水平処理部２２１は、各系統の画素信号に対して互いに独立に信号処理を施す１つの処理部として構成されるようにしてもよい。また、水平処理部２２１は、省略するようにしてもよい。

CMOSイメージセンサ２００は、さらに、圧縮部２２２Ａおよび圧縮部２２２Ｂをさらに有する。圧縮部２２２Ａと圧縮部２２２Ｂとを互いに区別して説明する必要が無い場合、単に、圧縮部２２２と称する。

水平処理部２２１Ａは、信号処理した画素信号を圧縮部２２２Ａに供給する。水平処理部２２１Ｂは、信号処理した画素信号を圧縮部２２２Ｂに供給する。圧縮部２２２Ａおよび圧縮部２２２Ｂは、それぞれの系統の画素信号を圧縮する。その際、圧縮部２２２Ａおよび圧縮部２２２Ｂは、画素信号を、そのデータ量が全ての系統の画素信号を所定の単位期間（例えば１水平同期期間）内に転送することができる程度になるまで圧縮する。

CMOSイメージセンサ２００は、さらに出力部２２３を有する。圧縮部２２２Ａおよび圧縮部２２２Ｂは、圧縮された画素信号を出力部２２２に供給する。出力部２２３は、供給された全ての系統の圧縮された画素信号をCMOSイメージセンサ２００の外部に出力する。

なお、圧縮部２２２は、各系統の画素信号に対して互いに独立に圧縮処理を施す１つの処理部として構成されるようにしてもよい。

このようにすることにより、CMOSイメージセンサ２００は、転送帯域を増大させずに複数系統の画素信号を出力することができる。なお、図２９においては、画素信号が２系統として読み出されるように説明したが、この読出しの系統数は、複数であれば任意である。系統数がいくつであっても、圧縮部２２２をその系統数分用意するようにすればよい。ただし、系統数が増大するとその分、圧縮率を高くする必要がある。例えば、Ｎ系統で読み出しを行う場合、圧縮部２２２をＮ個用意し、各圧縮部において画素信号のデータサイズをＮ分の１以下にするまで圧縮するようにすればよい。以下においては、画素信号が２系統として読み出される場合について説明する。

＜タイミングチャート＞
図３０は、このCMOSイメージセンサ２００のデータ出力の様子を説明するタイミングチャートである。図３０の区間２３１のように画素信号の読み出しを行う場合、単位時間当たり、１系統で１ラインの画素信号を出力することができる。これに対して、図２９の例のように各系統の画素信号を圧縮して出力することにより、区間２３２のように、単位時間当たり、１系統で２ライン分の画素信号を出力することができる。したがって、CMOSイメージセンサ２００は、出力インターフェイスの帯域を超えずにフォーカルプレーン歪の小さい画像を出力することができる。

＜水平処理部＞
図３１は、水平処理部２２１Ａおよび水平処理部２２１Ｂの主な構成の例を示す図である。

図３１の例の場合、水平処理部２２１Ａは、インターフェイス（I/F）２４１Ａ、水平並び替え部２４２Ａ、クランプ量演算部２４３Ａ、デジタルクランプ２４４Ａ、水平加算部２４５Ａ、ゲイン調整部２４６Ａ、および黒レベル補正部２４７Ａを有する。

同様に、水平処理部２２１Ｂは、インターフェイス（I/F）２４１Ｂ、水平並び替え部２４２Ｂ、クランプ量演算部２４３Ｂ、デジタルクランプ２４４Ｂ、水平加算部２４５Ｂ、ゲイン調整部２４６Ｂ、および黒レベル補正部２４７Ｂを有する。

インターフェイス（I/F）２４１Ａとインターフェイス（I/F）２４１Ｂとを互いに区別して説明する必要が無い場合、単に、インターフェイス（I/F）２４１と称する。水平並び替え部２４２Ａと水平並び替え部２４２Ｂとを互いに区別して説明する必要が無い場合、単に、水平並び替え部２４２と称する。クランプ量演算部２４３Ａとクランプ量演算部２４３Ｂとを互いに区別して説明する必要が無い場合、単に、クランプ量演算部２４３と称する。デジタルクランプ２４４Ａとデジタルクランプ２４４Ｂとを互いに区別して説明する必要が無い場合、単に、デジタルクランプ２４４と称する。水平加算部２４５Ａと水平加算部２４５Ｂとを互いに区別して説明する必要が無い場合、単に、水平加算部２４５と称する。ゲイン調整部２４６Ａとゲイン調整部２４６Ｂとを互いに区別して説明する必要が無い場合、単に、ゲイン調整部２４６と称する。黒レベル補正部２４７Ａと黒レベル補正部２４７Ｂとを互いに区別して説明する必要が無い場合、単に、黒レベル補正部２４７と称する。

水平処理部２２１が行う信号処理は任意である。したがって、水平処理部２２１の構成は、図３１の例に限定されない。

また、図３１に示されるように、出力部２２３は、FIFOバッファ２５１および差動出力インターフェイス（I/F）２５２を有する。上述したように、圧縮部２２２が画素信号を十分に圧縮することにより、FIFOバッファ２５１のオーバフローの発生を抑制することができ、複数ラインの画素信号を１系統で単位時間内に出力させることができる。なお、出力部２２３の構成は任意であり、図３１の例に限定されない。

＜圧縮部＞
なお、圧縮部２２２による画素信号の圧縮方法は任意である。ただし、圧縮処理の処理時間の増大を抑制するために、圧縮方法や制御方法が簡易的な方法であるのが望ましい。例えば、固定ビットレート（CBR）の圧縮方式を採用するようにしてもよい。図３２は、その場合の圧縮部２２２の主な構成の例を示す図である。もちろん、圧縮部２２２の構成は任意であり、図３２の例に限定されない。

以上のように、CMOSイメージセンサ２００は、転送帯域を増大させずに複数系統の画素信号を出力することができるので、より容易に、より多様なデータ出力を実現することができる。

＜３．第３の実施の形態＞
＜データラッチ＞
画素アレイの１カラムにつき１つのSingleSlope型A/D変換部が割り当てられるイメージセンサの場合、その１つのA/D変換部に対して、そのA/D変換部がカウントしたカウント値（A/D変換後の画素信号（デジタルデータ））を格納するデータラッチが１つ設けられていた。カウント値をデータラッチに格納することで、次の行の読み出しとA/D変換を行いつつ、カウント値をロジック部に転送することが可能になる。

このような１つのA/D変換部に対して１つのデータラッチを設ける構成の場合、他の行との加算や差分データを出力したいときに異なる行のデータを格納するラインメモリが必要になる。このようなラインメモリを実装すると、回路面積（すなわち製造コスト）や消費電力が増大するおそれがあった。

そこで、１つのSingleSlope型A/D変換部に対して、そのA/D変換部がカウントしたカウント値（A/D変換後の画素信号（デジタルデータ））を格納するデータラッチを複数設け、複数の画素信号（複数ラインの画素信号）を並列に（１単位時間内に）転送することができるようにする。

なお、以上のような複数のデータラッチから読み出された画素信号同士を加算若しくは減算する演算部をさらに備えるようにしてもよい。

以上のようにすることにより、画像処理部にラインメモリを持つ場合よりも、回路規模（製造コスト）や消費電力の増大を抑制することができる。

＜CMOSイメージセンサ＞
図３３は、その場合のCMOSイメージセンサの主な構成の例を示す図である。図３３に示されるCMOSイメージセンサ３００は、CMOSイメージセンサ１００やCMOSイメージセンサ２００と同様に、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。なお、本明細書においては、CMOSイメージセンサを例に説明するが、本技術は、例えば、CCDイメージセンサ等の、CMOSイメージセンサ以外の撮像素子にも適用することができる。

図３３に示されるように、CMOSイメージセンサ３００は、画素アレイ部３１１、A/D変換部３１２、水平転送路３１３、増幅部３１４、演算部３１５、および画像処理部３１６を有する。また、CMOSイメージセンサ３００は、制御部３３１、垂直走査部３３２、および水平走査部３３３を有する。

画素アレイ部３１１は、フォトダイオード等の光電変換素子を有する画素構成（単位画素）３２１が平面状または曲面状に配置される画素領域である。画素アレイ部１１１の各単位画素３２１は、垂直走査部３３２に制御されて、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。

各単位画素３２１から出力された画素信号は、カラム毎に、そのカラムに割り当てられた垂直信号線VSL（例えば、VSL0やVSL1等）によってA/D変換部３１２に伝送される。

A/D変換部３１２は、カラム毎に、そのカラムの画素信号をA/D変換するカラムA/D変換部を有する。A/D変換部３１２は、水平走査部３３３に制御されて、各カラムA/D変換部を用いて、画素アレイの各カラムの画素信号をA/D変換する。A/D変換部３１２においてA/D変換された画素信号（デジタルデータ）は、水平転送路３１３を介して増幅部３１４に供給され、増幅部３１４により増幅され、演算部３１５に供給される。

演算部３１５は、制御部３３１の制御の下、必要に応じて、供給された複数ラインの画素信号に対して所定の演算（例えば、複数ラインの画素信号同士の加算や減算等）を行う。演算部３１５は、供給された画素信号若しくは演算結果を画像処理部３１６に供給する。

画像処理部３１６は、演算部３１５から供給される画素信号を用いて所定の画像処理や信号処理等を行う。

制御部３３１は、CMOSイメージセンサ３００の各処理部を制御する。例えば、制御部３３１は、垂直走査部３３２を制御して単位画素３２１の駆動を制御させる。また、例えば、制御部３３１は、A/D変換部３１２を制御して、画素アレイ部３１１から読み出された画素信号のA/D変換（より具体的には、A/D変換された画素信号のラッチ）を制御する。さらに、例えば、制御部３３１は、水平走査部３３３を制御してA/D変換された、各カラムのA/D変換部３１２（より具体的にはデータラッチ）からの画素信号の読み出しや転送を制御させる。さらに、例えば、制御部３３１は、演算部３１５を制御して、画素信号を用いた演算処理を制御する。

垂直走査部３３２は、制御部３３１に制御されて、画素アレイ部３１１の各単位画素３２１の駆動を制御し、単位画素３２１からの画素信号の読み出しを行わせる。水平走査部３３３は、制御部３３１に制御されて、A/D変換部３１２を制御し、画素アレイ部３１１から読み出された画素信号のA/D変換を行わせたり、A/D変換された画素信号を転送させたりする。

なお、増幅部３１４、演算部３１５、および画像処理部３１６は、省略するようにしてもよい。

＜A/D変換部＞
図３４は、A/D変換部３１２の主な構成の例を示す図である。上述したように、A/D変換部３１２は、カラム毎にカラムA/D変換部を有する。図３４に示されるように、A/D変換部３１２は、各カラムA/D変換部に対してランプ信号を供給するD/A変換部３５１を有する。

また、図３４に示されるように、垂直信号線VSL0を介して供給される画素信号をA/D変換するカラムA/D変換部は、比較部３５２−０、カウンタ３５３−０、セレクタ３５４−０、データラッチ３５５Ａ−０、およびデータラッチ３５５Ｂ−０を有する。同様に、垂直信号線VSL1を介して供給される画素信号をA/D変換するカラムA/D変換部は、比較部３５２−１、カウンタ３５３−１、セレクタ３５４−１、データラッチ３５５Ａ−１、およびデータラッチ３５５Ｂ−１を有する。

つまり、各カラムA/D変換部は、比較部３５２、カウンタ３５３、セレクタ３５４、並びにデータラッチ３５５Ａおよびデータラッチ３５５Ｂを有する。なお、以下において、各カラムの構成を互いに区別して説明する必要が無い場合、このように、比較部３５２、カウンタ３５３、セレクタ３５４、データラッチ３５５Ａ、データラッチ３５５Ｂと称する。カラムを区別して説明する必要がある場合は、上述したように、カラムＸのカラムA/D変換部の構成を、比較部３５２−Ｘ、カウンタ３５３−Ｘ、セレクタ３５４−Ｘ、データラッチ３５５Ａ−Ｘ、データラッチ３５５Ｂ−Ｘと称する。さらに、データラッチ３５５Ａとデータラッチ３５５Ｂとを互いに区別して説明する必要が無い場合、データラッチ３５５と称する。

比較部３５２は、そのカラムの垂直信号線VSLを介して供給される画素信号と、D/A変換部３５１から供給されるランプ信号とでその大きさを比較し、その比較結果をカウンタ３５３に供給する。

カウンタ３５３は、比較部３５２の比較を開始してから比較結果が変化するまでの期間をカウントし、そのカウント値をセレクタ３５４に出力する。

セレクタ３５４は、カウンタ３５３から供給されたカウント値（画素信号のデジタルデータ）を、制御部３３１の制御に従って、データラッチ３５５Ａおよびデータラッチ３５５Ｂの少なくともいずれか一方に供給する。

データラッチ３５５は、セレクタ３５４から供給される画素信号（デジタルデータ）をラッチする。データラッチ３５５は、水平走査部３３３の制御に従って、ラッチしている画素信号（デジタルデータ）を水平転送路３１３に供給し、増幅部３１４に転送させる。

このように、A/D変換部３１２は、画素アレイのカラム毎にカラムA/D変換部を有し、その各カラムA/D変換部に２つずつデータラッチ３５５を有する。したがって、A/D変換部３１２は、２ラインの画素信号（デジタルデータ）をラッチすることができる。したがって、水平走査部３３３は、１単位時間（例えば、１水平同期期間）において、この２ラインの画素信号のうち、いずれか一方若しくは両方を任意に選択して転送させることができる。

これにより、CMOSイメージセンサ３００は、ライン間の画素信号の演算を、製造コストや消費電力の増大を抑制しながら実現することができる。また、水平走査部３３３は、任意の１ラインの画素信号を選択して転送させることもできるので、CMOSイメージセンサ３００は、より多様なモードで画素信号を出力させることができる。

＜読み出し処理の流れ＞
図３５のフローチャートを参照して、読み出し処理の流れの例を説明する。読み出し処理を開始すると、制御部３３１は、ステップＳ３０１において、垂直走査部３３２を介して画素アレイ部３１１の各単位画素３２１を制御し、処理対象であるカレント行（カレントライン）の単位画素３２１から画素信号を読み出させる。

ステップＳ３０２において、制御部３３１は、A/D変換部３１２を制御し、単位画素から読み出された画素信号をA/D変換させる。

ステップＳ３０３において、制御部３３１は、A/D変換部３１２（より具体的にはセレクタ３５４）を制御し、動作モード（読み出しモード）に応じて、A/D変換されたカレント行の画素データ（画素信号のデジタルデータ）を記憶させるデータラッチ３５５を選択する。

ステップＳ３０４において、制御部３３１は、A/D変換部３１２を制御し、ステップＳ３０３において選択されたデータラッチ３５５に画素データを記憶させる。

ステップＳ３０５において、制御部３３１は、水平走査部３３３を制御し、動作モードに応じて、所望のデータラッチ３５５から画素データを読み出させる。

ステップＳ３０６において、制御部３３１は、演算部３１５を制御し、動作モードに応じて、ライン間で画素データの演算を行わせる。演算が不要な場合、このステップの処理は省略することができる。

ステップＳ３０７において、制御部３３１は、画像処理部３１６を制御し、画像処理を施した画素データをCMOSイメージセンサ３００の外部に出力させる。

ステップＳ３０８において、制御部３３１は、他のライン（行）の画素信号を読み出すか否かを判定する。未処理のラインが存在し、他のライン（行）の画素信号を読み出すと判定された場合、処理は、ステップＳ３０１に戻り、それ以降の処理を繰り返す。また、ステップＳ３０８において、他のラインの画素信号を読み出さないと判定された場合、読み出し処理を終了する。

このように制御することにより、CMOSイメージセンサ３００は、ライン間の画素信号の演算を、必要に応じて、製造コストや消費電力の増大を抑制しながら実現することができる。また、CMOSイメージセンサ３００は、より多様なモードで画素信号を出力させることができる。

＜読み出しモード例＞
CMOSイメージセンサ３００は、例えば、図３６に示されるように、画素信号の読み出しを行うことができる。図３６の例では前後の行を加算したデータを出力することができる。各カラムについて、各処理部を図３６のＡの例のように構成し、図３６のＢの例のタイミングチャートのように画素信号の読み出し、ラッチ、転送を行うようにすればよい。例えば、Ｎ行目のデータをデータラッチ３５５Ａとデータラッチ３５５Ｂの両方に格納し、次のN+1行のデータをデータラッチ３５５Ｂのみに格納する。この時データラッチ３５５ＡではＮ行のデータを格納したままになる。この２つのデータを演算部３１５で加算することによって、加算データを出力することが可能になる。

またデータラッチ３５５Ｂのデータを読み出すことで、加算前のデータを出力することもできる。さらに、例えば、上述した加算データの出力と加算前のデータの出力とを並行して行うこともできる。例えば、動画モードの場合、演算部３１５がデータラッチ３５５Ａに格納されたデータと、データラッチ３５５Ｂに格納されたデータとを加算し、１単位時間置きにその加算結果（A+B）を出力するようにし、静止画モードの場合、データラッチ３５５Ｂに格納されたデータ（Ｂ）を、各単位時間において出力するようにすることができる。このようにすることにより、より多様な方法で画素信号を出力させることができる。

また、CMOSイメージセンサ３００は、例えば、図３７に示されるように、画素信号の読み出しを行うことができる。図３７の例では前後の行を減算したデータ（差分データ）を出力することができる。各カラムについて、各処理部を図３７のＡの例のように構成し、図３７のＢの例のタイミングチャートのように画素信号の読み出し、ラッチ、転送を行うようにすればよい。例えば、Ｎ行目のデータをデータラッチ３５５Ａのみに格納し、次のN+1行目のデータをデータラッチ３５５Ｂのみに格納する。すなわち、データをラッチさせるデータラッチ３５５を、行毎に切り替えるようにする。このようにすることにより、データラッチ３５５Ａおよびデータラッチ３５５Ｂには、連続する２行のデータが格納されることとなる。この２つのデータを演算部３１５で減算することによって、差分データを出力することが可能になる。

またデータラッチ３５５Ａに格納されているデータと、データラッチ３５５Ｂに格納されているデータとを交互に読み出すことで、減算前のデータを出力することもできる。さらに、例えば、上述した差分データの出力と減算前のデータの出力とを並行して行うこともできる。例えば、コントラストAF（Auto Focus）機能の精度向上のためのモードであるAFモードの場合、演算部３１５がデータラッチ３５５Ａに格納されたデータと、データラッチ３５５Ｂに格納されたデータとを減算し、各単位時間においてその減算結果（A-B若しくはB-A）を出力するようにし、静止画モードの場合、データラッチ３５５Ａに格納されたデータ（Ａ）とデータラッチ３５５Ｂに格納されたデータ（Ｂ）とを、単位時間毎に交互に出力するようにすることができる。このようにすることにより、より多様な方法で画素信号を出力させることができる。

また、例えば、図３８のＡに示されるように、図３８のＡ（減算の場合）と同様の構成にして、図３６の例と同様に、前後の行を加算したデータを出力するようにすることもできる。その場合、図３８のＢの例のタイミングチャートのように画素信号の読み出し、ラッチ、転送を行うようにすればよい。

例えば、Ｎ行目のデータをデータラッチ３５５Ａのみに格納し、次のN+1行目のデータをデータラッチ３５５Ｂのみに格納する。すなわち、データをラッチさせるデータラッチ３５５を、行毎に切り替えるようにする。このようにすることにより、データラッチ３５５Ａおよびデータラッチ３５５Ｂには、連続する２行のデータが格納されることとなる。この２つのデータを演算部３１５で加算することによって、加算データを出力することが可能になる。

またデータラッチ３５５Ａに格納されているデータと、データラッチ３５５Ｂに格納されているデータとを交互に読み出すことで、加算前のデータを出力することもできる。さらに、例えば、上述した加算データの出力と加算前のデータの出力とを並行して行うこともできる。例えば、動画モードの場合、演算部３１５がデータラッチ３５５Ａに格納されたデータと、データラッチ３５５Ｂに格納されたデータとを加算し、１単位時間置きにその加算結果（A+B）を出力するようにし、静止画モードの場合、データラッチ３５５Ａに格納されたデータ（Ａ）とデータラッチ３５５Ｂに格納されたデータ（Ｂ）とを、単位時間毎に交互に出力するようにすることができる。このようにすることにより、より多様な方法で画素信号を出力させることができる。

なお、演算（加算若しくは減算）した後のデータの重心をそろえるために、各データラッチに格納されたデータに、それぞれ所定の加重をかけて演算（加算若しくは減算）するようにしてもよい。

以上のようにすることにより、複数のデータを並行して出力することができるようになる。また、データラッチ後に演算を行うようにすることで、複数行の画素データを用いた演算（加算や減算等）を行うことができる。さらに、以上のような構成とすることにより、ラインメモリが不要になるので、回路規模（製造コスト）や消費電力の増大を抑制することができる。

以上においては、各カラム（各カラムA/D変換部）に対して２つのデータラッチ３５５を設けるように説明したが、１カラム当たりのデータラッチ３５５の数は任意である。例えば、各カラムに対して３つ以上のデータラッチ３５５を設けるようにしてもよい。このようにすることにより、より多数のラインの画素データを格納することができ、ライン間でより多様な演算を行うことができるようになる。つまり、より多様な方法で画素信号を出力させることができるようになる。

＜４．第４の実施の形態＞
＜マルチサンプリングによるノイズ低減＞
以上の各実施の形態において説明したように各カラムに対して複数系統のA/D変換を行う場合、その互いに独立した複数系統を利用して、出力データのノイズを低減させるようにしてもよい。

その場合、各系統のA/D変換において、Ｐ相、Ｄ相のサンプリングタイミングを互いにずらし、それぞれの加算平均を求めるようにしてもよい。

例えば、各系統のDAC波形を互いにずらす。各系統のカラムADCは互いに独立に動作するので、このような制御は容易に実現することができる。このようにすることにより、サンプリング回数が２倍に増えるので、互いのノイズに相関がなければ、両サンプリングにより得られた信号の加算平均を出力することにより、SN比を改善することができる。つまり、出力データのノイズを低減させることができる。

しかしながら、この方法の場合、１カラムあたりのA/D変換処理時間が長くなってしまうおそれがあった。

そこで、複数のA/D変換のタイミング制御を変更することなく、参照信号（ランプ信号）のオフセットを相対的にずらすことで、サンプリングタイミングをずらすようにしてもよい。例えば、図３９の例の点線４０１と実線４０２のように、Ｐ相、Ｄ相のサンプリングタイミングを複数に分け、各出力の加算平均を求めるようにしてもよい。

例えば、図４０のＡに示されるように、各系統のランプ信号のオフセットがずれていない（各系統のランプ信号に互いに同一のオフセットを付与する）と、各系統のサンプリングタイミングが同一となるので、出力データには、略同一のノイズがのってしまう。そのため、仮に各系統の出力データの加算平均を求めても、A/D変換部のSN比は改善されるが、画素信号のSN比を改善することは困難である。

これに対して、図３９の例のように、各系統のランプ信号のオフセットを相対的にずらす（各系統のランプ信号に互いに異なるオフセットを付与する）と、図４０のＢに示されるように、各系統のサンプリングタイミングが互いに異なるタイミングとなり、出力データにのるノイズがランダムノイズであるとすると、各系統の出力データの加算平均を出力データとすることにより、A/D変換部とともに画素信号のSN比も改善することができる。すなわち、出力データのノイズをより低減させることができる。

また、この方法の場合、ランプ信号の供給タイミングは、全系統で同一であるので、上述したランプ信号の供給タイミングを系統毎にずらす場合よりも制御が容易である。また、このランプ信号のオフセットを系統毎にずらす方法の方が、ランプ信号の供給タイミングを系統毎にずらす場合よりもより短時間にA/D変換を行うことができる。つまり、A/D変換処理時間の増大を抑制することができる。すなわち、A/D変換処理をより高速に行うことができる。

＜黒化現象補正とマルチサンプリングの両立＞
なお、撮像装置においては、光電変換部（フォトダイオード）に非常に強い光が入射した場合、黒化現象が発生する可能性がある。この黒化現象を補正する方法として、Ｐ相読み出し期間に比較部の出力が反転しない場合、A/D変換結果として固定値を出力させる方式がある。この方式の場合、ランプ信号のオフセットを小さくし過ぎると、Ｐ相読み出し期間に比較部の出力が反転してしまうので、上述したような固定値を出力する制御方法が有効に機能せず、黒化現象の発生を抑制することが困難になる可能性が考えられる。

例えば、図４１の場合、画素信号（VSL信号）と点線４０１で示されるランプ信号１との比較結果は、Ｐ相読み出し期間において反転しないが、画素信号（VSL信号）と実線４０２で示されるランプ信号２との比較結果は、Ｐ相読み出し期間において反転する。このように、ランプ信号１とランプ信号２との間でオフセットの差を大きくしすぎてしまうと、すなわち、ランプ信号に付与するオフセットを小さくし過ぎてしまうと、ランプ信号と画素信号との比較結果が反転し易くなり、上述したような固定値を出力することによる黒化現象の発生の抑制制御が効き難くなる。

そこで、ランプ信号のオフセットのずらし量をランプ信号の傾きに応じて変化させるようにしてもよい。例えば、ランプ信号の傾きが大きい場合、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定し、ランプ信号の傾きが小さい場合、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定するようにしてもよい。

このランプ信号の傾きが大きいか否かは、所定の閾値を用いて判定するようにしてもよい。つまり、ランプ信号の傾きが所定の閾値よりも大きい場合（若しくは閾値以上の場合）は、ランプ信号の傾きが大きいと判定され、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定されるようにし、ランプ信号の傾きが所定の閾値以下の場合（若しくは閾値よりも小さい場合）は、ランプ信号の傾きが小さいと判定され、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定されるようにしてもよい。この閾値は任意であり、所定の固定値であってもよいし、何らかの情報に基づいて決定されるようにしてもよい。また、閾値を用いずに、各系統のランプ信号のオフセットの差を、ランプ信号の傾きの大きさに応じた値に設定するようにしてもよい。

このように制御することにより、光電変換部に非常に強い光が入射した場合においても、黒化現象は正常に補正されるようにすることができ、かつ、マルチサンプリングによるノイズ低減効果を得ることが可能となる。

なお、複数系統出力を利用して、出力信号のいずれかから黒化補正された固定値が出力された場合、加算平均処理を行わず、その固定値を選択して出力するようにしてもよい。

もちろんこの場合も、１カラム当たりのA/D変換部の系統数は任意である。なお、このような制御は、１カラム当たりに複数系統のA/D変換部が設けられるイメージセンサであれば、どのようなイメージセンサにも適用することができる。例えば、上述した各実施の形態において説明した各CMOSイメージセンサにおいて実現することができる。以下においては、図１のCMOSイメージセンサ１００を例に説明する。

＜ランプ信号制御処理の流れ＞
図４２のフローチャートを参照して、上述したようなランプ信号のオフセット量の制御を行うためのランプ信号制御処理の流れの例を説明する。

ランプ信号制御処理が開始されると、センサコントローラ１３１は、ステップＳ４０１において、D/A変換部１１３が出力するランプ信号の傾きを判定する。D/A変換部１１３は、センサコントローラ１３１の制御に従ってランプ信号を生成し、出力する。すなわち、センサコントローラ１３１は、その制御情報に基づいて、ランプ信号の傾きを判定する。なお、もちろん、センサコントローラ１３１が、D/A変換部１１３の出力波形（ランプ信号の波形）を解析し、その傾きを判定するようにしてもよい。

ステップＳ４０２において、センサコントローラ１３１は、D/A変換部１１３を制御し、ステップＳ４０１において判定されたランプ信号の傾きの大きさに応じて、ランプ信号のずらし量（オフセットの差）を上述したように制御する。ランプ信号のずらし量を制御すると、ランプ信号制御処理が終了する。

以上のように制御することにより、CMOSイメージセンサ１００は、マルチサンプリングによるノイズ低減効果を得ることができるとともに、黒化現象の発生を抑制することができる。つまり、より多様な方法で画素信号を出力させることができるようになる。

＜５．第５の実施の形態＞
＜CMOSイメージセンサ＞
なお、本技術を適用する撮像素子が、互いに重畳される複数の半導体基板を有するようにしてもよい。

図４３は、本技術を適用した撮像素子の一例の主な構成例を示す図である。図４３に示されるCMOSイメージセンサ５００は、各実施の形態において上述した各CMOSイメージセンサと同様に、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。図４３に示されるように、CMOSイメージセンサ５００は、互いに重畳される２枚の半導体基板（積層チップ（画素チップ５０１および回路チップ５０２））を有する。なお、この半導体基板（積層チップ）の数（層数）は、複数であればよく、例えば、３層以上であってもよい。

画素チップ５０１には、入射光を光電変換する光電変換素子を含む単位画素が複数並べられた画素領域５１１が形成されている。また、回路チップ５０２には、画素領域５１１から読み出された画素信号を処理する周辺回路が形成される周辺回路領域５１２が形成されている。

上述したように画素チップ５０１および回路チップ５０２は、互いに重畳され、多層構造（積層構造）を形成する。画素チップ５０１に形成される画素領域５１１の各画素と回路チップ５０２に形成される周辺回路領域５１２の周辺回路は、ビア領域（VIA）５１３およびビア領域（VIA）５１４に形成される貫通ビア（VIA）等を介して互いに電気的に接続されている。

CMOSイメージセンサ５００が、このような積層構造を形成する場合であっても、各実施の形態において説明した各CMOSイメージセンサの構成を有することができる。つまり、このような積層構造のCMOSイメージセンサ５００にも本技術を適用することができる。

＜６．第６の実施の形態＞
＜撮像装置＞
なお、本技術は、撮像素子以外にも適用することができる。例えば、撮像装置のような、撮像素子を有する装置（電子機器等）に本技術を適用するようにしてもよい。図４４は、本技術を適用した電子機器の一例としての撮像装置の主な構成例を示すブロック図である。図４４に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

図４４に示されるように撮像装置６００は、光学部６１１、CMOSイメージセンサ６１２、画像処理部６１３、表示部６１４、コーデック処理部６１５、記憶部６１６、出力部６１７、通信部６１８、制御部６２１、操作部６２２、およびドライブ６２３を有する。

光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部６１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ６１２に供給する。

CMOSイメージセンサ６１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換し、CDS等の信号処理を行い、処理後の撮像画像データを画像処理部６１３に供給する。

画像処理部６１３は、CMOSイメージセンサ６１２により得られた撮像画像データを画像処理する。より具体的には、画像処理部６１３は、CMOSイメージセンサ６１２から供給された撮像画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部６１３は、画像処理を施した撮像画像データを表示部６１４に供給する。

表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された撮像画像データの画像（例えば、被写体の画像）を表示する。

画像処理部６１３は、さらに、画像処理を施した撮像画像データを、必要に応じて、コーデック処理部６１５に供給する。

コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記憶部６１６に供給する。また、コーデック処理部６１５は、記憶部６１６に記録されている符号化データを読み出し、復号して復号画像データを生成し、その復号画像データを画像処理部６１３に供給する。

画像処理部６１３は、コーデック処理部６１５から供給される復号画像データに対して所定の画像処理を施す。画像処理部６１３は、画像処理を施した復号画像データを表示部６１４に供給する。表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された復号画像データの画像を表示する。

また、コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データを符号化した符号化データ、または、記憶部６１６から読み出した撮像画像データの符号化データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。また、コーデック処理部６１５は、符号化前の撮像画像データ、若しくは、記憶部６１６から読み出した符号化データを復号して得られた復号画像データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。

さらに、コーデック処理部６１５は、撮像画像データ、撮像画像データの符号化データ、または、復号画像データを、通信部６１８を介して他の装置に伝送させるようにしてもよい。また、コーデック処理部６１５は、撮像画像データや画像データの符号化データを、通信部６１８を介して取得するようにしてもよい。コーデック処理部６１５は、通信部６１８を介して取得した撮像画像データや画像データの符号化データに対して、適宜、符号化や復号等を行う。コーデック処理部６１５は、得られた画像データ若しくは符号化データを、上述したように、画像処理部６１３に供給したり、記憶部６１６、出力部６１７、および通信部６１８に出力するようにしてもよい。

記憶部６１６は、コーデック処理部６１５から供給される符号化データ等を記憶する。記憶部６１６に格納された符号化データは、必要に応じてコーデック処理部６１５に読み出されて復号される。復号処理により得られた撮像画像データは、表示部６１７に供給され、その撮像画像データに対応する撮像画像が表示される。

出力部６１７は、外部出力端子等の外部出力インターフェイスを有し、コーデック処理部６１５を介して供給される各種データを、その外部出力インターフェイスを介して撮像装置６００の外部に出力する。

通信部６１８は、コーデック処理部６１５から供給される画像データや符号化データ等の各種情報を、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置に供給する。また、通信部６１８は、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置から、画像データや符号化データ等の各種情報を取得し、それをコーデック処理部６１５に供給する。

制御部６２１は、撮像装置６００の各処理部（点線６２０内に示される各処理部、操作部６２２、並びに、ドライブ６２３）の動作を制御する。

操作部６２２は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等の任意の入力デバイスにより構成され、例えばユーザ等による操作入力を受け、その操作入力に対応する信号を制御部６２１に供給する。

ドライブ６２３は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６３１に記憶されている情報を読み出す。ドライブ６２３は、リムーバブルメディア６３１からプログラムやデータ等の各種情報を読み出し、それを制御部６２１に供給する。また、ドライブ６２３は、書き込み可能なリムーバブルメディア６３１が自身に装着された場合、制御部６２１を介して供給される、例えば画像データや符号化データ等の各種情報を、そのリムーバブルメディア６３１に記憶させる。

以上のような撮像装置６００のCMOSイメージセンサ６１２として、各実施の形態において上述した本技術を適用する。すなわち、CMOSイメージセンサ６１２として、上述した各実施の形態のCMOSイメージセンサ（例えば、CMOSイメージセンサ１００、CMOSイメージセンサ２００、またはCMOSイメージセンサ３００等）が用いられる。これにより、CMOSイメージセンサ６１２は、より容易に、より多様なデータ出力を実現することができる。したがって撮像装置６００は、被写体を撮像することにより、より容易に、より多様なデータ出力を実現することができる。

なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図４４に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア６３１により構成される。このリムーバブルメディア６３１には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。

その場合、プログラムは、そのリムーバブルメディア６３１をドライブ６２３に装着することにより、記憶部６１６にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１８で受信し、記憶部６１６にインストールすることができる。

その他、このプログラムは、記憶部６１６や制御部６２１内のROM（Read Only Memory）等に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、
前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部と
を備える撮像素子。
（２） 前記制御部は、前記画素からの画素信号の読み出しを、前記画素に対応する前記モードのフレームレートで行うように制御する
（１）、（３）乃至（１３）のいずれかに記載の撮像素子。
（３） 前記制御部は、さらに、各カラムのメインシャッタ動作およびプリシャッタ動作を前記モードのフレームレートで行うように制御する
（１）、（２）、（４）乃至（１３）のいずれかに記載の撮像素子。
（４） 各カラムにおいて、各信号線に割り当てられる画素数が互いに異なる
（１）乃至（３）、（５）乃至（１３）のいずれかに記載の撮像素子。
（５） 各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、
前記制御部は、各カラムについて、前記選択部にいずれかの前記信号線を選択させ、前記選択部により選択された信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記選択部により選択された信号線を介して伝送させるように制御する
（１）乃至（４）、（６）乃至（１３）のいずれかに記載の撮像素子。
（６） 前記制御部は、前記選択部に、選択する信号線を順次切り替えさせ、複数モードの画素信号の読み出しを時分割で行うように制御する
（１）乃至（５）、（７）乃至（１３）のいずれかに記載の撮像素子。
（７） 前記画素アレイの各カラムの複数の前記信号線のそれぞれに、前記信号線に対応する前記モードに対応するダミー画素がさらに接続され、
前記制御部は、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続されるダミー画素から画素信号を前記モードで読み出すように制御する
（１）乃至（６）、（８）乃至（１３）のいずれかに記載の撮像素子。
（８） 前記制御部は、さらに、前記ダミー画素のシャッタ動作を前記モードで行うように制御する
（１）乃至（７）、（９）乃至（１３）のいずれかに記載の撮像素子。
（９） 前記画素アレイの各カラムにおいて、前記信号線を介して伝送される前記画素信号をA/D変換するA/D変換部をさらに備える
（１）乃至（８）、（１０）乃至（１３）のいずれかに記載の撮像素子。
（１０） 前記画素アレイの各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、
前記A/D変換部は、前記選択部により選択された前記信号線に接続される画素から読み出された前記画素信号をA/D変換する
（１）乃至（９）、（１１）乃至（１３）のいずれかに記載の撮像素子。
（１１） 前記画素アレイの各カラムに対して、前記A/D変換部が複数備えられ、
前記選択部は、画素信号のA/D変換に用いる前記A/D変換部をさらに選択する
（１）乃至（１０）、（１２）、（１３）のいずれかに記載の撮像素子。
（１２） 前記制御部は、前記画素アレイの各カラムについて、前記選択部に複数の信号線と複数のA/D変換部を選択させ、
前記画素アレイの各カラムについて、前記選択部により選択された各信号線に接続される画素からの前記モードでの画素信号の読み出しを、前記信号線間で互いに並列に行うように制御する
（１）乃至（１１）、（１３）のいずれかに記載の撮像素子。
（１３） 各画素の露光時間は、前記画素が接続される信号線に対応するモード毎に設定される
（１）乃至（１２）のいずれかに記載の撮像素子。
（１４） 画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出させ、
読み出させた前記画素信号を前記信号線を介して伝送させる
制御方法。
（１５） 被写体を撮像する撮像部と、
前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
を備え、
前記撮像部は、
画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、
前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部と
を備える撮像装置。
（１６） 画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、
前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、
互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と
前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部と
を備える撮像素子。
（１７） 前記複数の圧縮部は、前記複数ラインの画素信号の圧縮後のデータサイズが１単位期間内に伝送可能なサイズ以下になるように、各ラインの画素信号を圧縮する
（１６）、（１８）乃至（２０）のいずれかに記載の撮像素子。
（１８） 前記制御部は、２ラインずつ画像信号を読み出させ、
前記複数の圧縮部は、各ラインの画素信号を、データサイズが半分になるように圧縮する
（１６）、（１７）、（１９）、（２０）のいずれかに記載の撮像素子。
（１９） 前記圧縮部は、前記画素信号を、所定のビットレートで圧縮する
（１６）乃至（１８）、（２０）のいずれかに記載の撮像素子。
（２０） 互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号に対して、所定の信号処理を並列に行う複数の信号処理部をさらに備え、
前記複数の圧縮部は、互いに異なる前記信号処理部により前記信号処理が行われた互いに異なるラインの画素信号を並列に圧縮する
（１６）乃至（１９）のいずれかに記載の撮像素子。
（２１） 画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出させ、
前記複数ラインの画素から読み出させた前記複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送させ、
前記複数の信号線を用いて伝送させた前記複数ラインの画素信号を並列にA/D変換させ、
A/D変換させた互いに異なるラインの画素信号を並列に圧縮させる
制御方法。
（２２） 被写体を撮像する撮像部と、
前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
を備え、
前記撮像部は、
画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、
前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、
互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と、
前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部と
を備える撮像装置。
（２３） 画素アレイと、
前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、
前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部と
を備える撮像素子。
（２４） 前記複数のラッチから読み出された前記画素信号同士を加算若しくは減算する演算部をさらに備え、
前記制御部は、前記モードに応じて、前記複数のラッチから読み出された前記画素信号同士を、前記演算部を用いて加算若しくは減算するように制御する
（２３）に記載の撮像素子。
（２５） 画素アレイの各カラムについて、前記カラムの処理対象のラインの画素から画素信号を読み出させ、
前記画素から読み出させた前記画素信号をA/D変換させ、
A/D変換させた前記画素信号を、前記画素信号の読み出しのモードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶させ、
前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶させている前記画素信号を読み出させる
制御方法。
（２６） 被写体を撮像する撮像部と、
前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
を備え、
前記撮像部は、
画素アレイと、
前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、
前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部と
を備える撮像装置。
（２７） 画素アレイと、
前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部と
を備える撮像素子。
（２８） 前記制御部は、前記ランプ信号の傾きの大きさに応じて、各A/D変換部のランプ信号のオフセットを設定する
（２７）または（２９）に記載の撮像素子。
（２９） 前記制御部は、前記ランプ信号の傾きが大きい場合、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定し、前記ランプ信号の傾きが小さい場合、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定する
（２７）または（２８）に記載の撮像素子。
（３０） 画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部のそれぞれのランプ信号のオフセットを互いに異なる値に設定し、
前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出させ、
前記画素から読み出させた前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部にA/D変換させる
制御方法。
（３１） 被写体を撮像する撮像部と、
前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
を備え、
前記撮像部は、
画素アレイと、
前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部と
を備える撮像装置。

１００ CMOSイメージセンサ， １１１ 画素アレイ部， １１２ 読み出し部， １１３ D/A変換部， １２１ カラム画素部， １２２ 選択部， １２３ カラムA/D変換部， １２４ 水平転送部， １３１ センサコントローラ， １３２ 垂直走査部， １３３ 水平走査部， １４１ アドレスデコーダ， １４２ 画素駆動部， １５１ 単位画素， １６１ フォトダイオード， １６２ 読み出しトランジスタ， １６３ リセットトランジスタ， １６４ 増幅トランジスタ， １６５ セレクトトランジスタ， １８１ 電流源， １８２ 比較部， １８３ カウンタ， ２００ CMOSイメージセンサ， ２２１ 水平処理部， ２２２ 圧縮部， ２２３ 出力部， ３００ CMOSイメージセンサ， ３１１ 画素アレイ部， ３１２ A/D変換部， ３１３ 水平転送路， ３１４ 増幅部， ３１５ 演算部， ３１６ 画像処理部， ３２１ 単位画素， ３３１ 制御部， ３３２ 垂直走査部， ３３３ 水平走査部， ３５１ D/A変換部， ３５２ 比較部， ３５３ カウンタ， ３５４ セレクタ， ３５５ データラッチ， ５００ CMOSイメージセンサ， ５０１ 画素チップ， ５０２ 回路チップ， ５１１ 画素領域， ５１２ 周辺回路領域， ５１３および５１４ ビア領域， ６００ 撮像装置， ６１２ CMOSイメージセンサ， ６１３ 画像処理部， ６２１ 制御部

Claims (31)

1. 画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、
   前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部と
   を備える撮像素子。
2. 前記制御部は、前記画素からの画素信号の読み出しを、前記画素に対応する前記モードのフレームレートで行うように制御する
   請求項１に記載の撮像素子。
3. 前記制御部は、さらに、各カラムのメインシャッタ動作およびプリシャッタ動作を前記モードのフレームレートで行うように制御する
   請求項２に記載の撮像素子。
4. 各カラムにおいて、各信号線に割り当てられる画素数が互いに異なる
   請求項１に記載の撮像素子。
5. 各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、
   前記制御部は、各カラムについて、前記選択部にいずれかの前記信号線を選択させ、前記選択部により選択された信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記選択部により選択された信号線を介して伝送させるように制御する
   請求項１に記載の撮像素子。
6. 前記制御部は、前記選択部に、選択する信号線を順次切り替えさせ、複数モードの画素信号の読み出しを時分割で行うように制御する
   請求項５に記載の撮像素子。
7. 前記画素アレイの各カラムの複数の前記信号線のそれぞれに、前記信号線に対応する前記モードに対応するダミー画素がさらに接続され、
   前記制御部は、前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続されるダミー画素から画素信号を前記モードで読み出すように制御する
   請求項１に記載の撮像素子。
8. 前記制御部は、さらに、前記ダミー画素のシャッタ動作を前記モードで行うように制御する
   請求項７に記載の撮像素子。
9. 前記画素アレイの各カラムにおいて、前記信号線を介して伝送される前記画素信号をA/D変換するA/D変換部をさらに備える
   請求項１に記載の撮像素子。
10. 前記画素アレイの各カラムにおいて、画素信号の読み出しのモードに対応する信号線を、前記複数の信号線の中から選択する選択部をさらに備え、
    前記A/D変換部は、前記選択部により選択された前記信号線に接続される画素から読み出された前記画素信号をA/D変換する
    請求項９に記載の撮像素子。
11. 前記画素アレイの各カラムに対して、前記A/D変換部が複数備えられ、
    前記選択部は、画素信号のA/D変換に用いる前記A/D変換部をさらに選択する
    請求項１０に記載の撮像素子。
12. 前記制御部は、前記画素アレイの各カラムについて、前記選択部に複数の信号線と複数のA/D変換部を選択させ、
    前記画素アレイの各カラムについて、前記選択部により選択された各信号線に接続される画素からの前記モードでの画素信号の読み出しを、前記信号線間で互いに並列に行うように制御する
    請求項１１に記載の撮像素子。
13. 各画素の露光時間は、前記画素が接続される信号線に対応するモード毎に設定される
    請求項１に記載の撮像素子。
14. 画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出させ、
    読み出させた前記画素信号を前記信号線を介して伝送させる
    制御方法。
15. 被写体を撮像する撮像部と、
    前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    を備え、
    前記撮像部は、
    画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの複数の前記信号線のそれぞれに、前記画素信号の読み出しの互いに異なるモードが割り当てられ、前記モードに対応する画素が接続される画素アレイと、
    前記画素アレイの各カラムについて、画素信号の読み出しのモードに対応する前記信号線に接続される画素から画素信号を前記モードで読み出し、読み出した前記画素信号を前記信号線を介して伝送させるように制御する制御部と
    を備える撮像装置。
16. 画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、
    前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、
    互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と
    前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部と
    を備える撮像素子。
17. 前記複数の圧縮部は、前記複数ラインの画素信号の圧縮後のデータサイズが１単位期間内に伝送可能なサイズ以下になるように、各ラインの画素信号を圧縮する
    請求項１６に記載の撮像素子。
18. 前記制御部は、２ラインずつ画像信号を読み出させ、
    前記複数の圧縮部は、各ラインの画素信号を、データサイズが半分になるように圧縮する
    請求項１７に記載の撮像素子。
19. 前記圧縮部は、前記画素信号を、所定のビットレートで圧縮する
    請求項１６に記載の撮像素子。
20. 互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号に対して、所定の信号処理を並列に行う複数の信号処理部をさらに備え、
    前記複数の圧縮部は、互いに異なる前記信号処理部により前記信号処理が行われた互いに異なるラインの画素信号を並列に圧縮する
    請求項１６に記載の撮像素子。
21. 画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出させ、
    前記複数ラインの画素から読み出させた前記複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送させ、
    前記複数の信号線を用いて伝送させた前記複数ラインの画素信号を並列にA/D変換させ、
    A/D変換させた互いに異なるラインの画素信号を並列に圧縮させる
    制御方法。
22. 被写体を撮像する撮像部と、
    前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    を備え、
    前記撮像部は、
    画素から読み出される画素信号を伝送する信号線が各カラムに対して複数割り当てられ、各カラムの画素が、前記カラムに割り当てられた複数の前記信号線のいずれかに接続される画素アレイと、
    前記画素アレイの各カラムの互いに異なる信号線を介して伝送される画素信号をA/D変換する複数のA/D変換部と、
    互いに異なる前記A/D変換部によりA/D変換された前記画素信号を圧縮する複数の圧縮部と、
    前記画素アレイの各カラムの、互いに異なる前記信号線に割り当てられた複数ラインの画素から画素信号を並列に読み出し、前記複数ラインの画素から読み出された複数ラインの画素信号を、それぞれ、前記画素に対応する前記信号線を用いて並列に伝送し、前記複数の信号線を用いて伝送された前記複数ラインの画素信号を前記複数のA/D変換部を用いて並列にA/D変換し、互いに異なる前記A/D変換部によりA/D変換された互いに異なるラインの画素信号を前記複数の圧縮部を用いて並列に圧縮するように制御する制御部と
    を備える撮像装置。
23. 画素アレイと、
    前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
    各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、
    前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部と
    を備える撮像素子。
24. 前記複数のラッチから読み出された前記画素信号同士を加算若しくは減算する演算部をさらに備え、
    前記制御部は、前記モードに応じて、前記複数のラッチから読み出された前記画素信号同士を、前記演算部を用いて加算若しくは減算するように制御する
    請求項２３に記載の撮像素子。
25. 画素アレイの各カラムについて、前記カラムの処理対象のラインの画素から画素信号を読み出させ、
    前記画素から読み出させた前記画素信号をA/D変換させ、
    A/D変換させた前記画素信号を、前記画素信号の読み出しのモードに応じて、複数のラッチのうちのいずれか若しくは全部に記憶させ、
    前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶させている前記画素信号を読み出させる
    制御方法。
26. 被写体を撮像する撮像部と、
    前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    を備え、
    前記撮像部は、
    画素アレイと、
    前記画素アレイの各カラムに対して割り当てられ、それぞれが前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
    各A/D変換部に対して複数個ずつ割り当てられ、それぞれが前記A/D変換部によりA/D変換された前記画素信号を記憶する複数のラッチと、
    前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記A/D変換部を用いてA/D変換し、前記A/D変換部によりA/D変換された前記画素信号を、前記画素信号の読み出しのモードに応じて、前記A/D変換部に対応する複数のラッチのうちのいずれか若しくは全部に記憶し、前記モードに応じて、前記複数のラッチのうちのいずれか若しくは全部に記憶されている前記画素信号を読み出すように制御する制御部と
    を備える撮像装置。
27. 画素アレイと、
    前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
    各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部と
    を備える撮像素子。
28. 前記制御部は、前記ランプ信号の傾きの大きさに応じて、各A/D変換部のランプ信号のオフセットを設定する
    請求項２７に記載の撮像素子。
29. 前記制御部は、前記ランプ信号の傾きが大きい場合、各A/D変換部のランプ信号のオフセットの差が小さくなるように設定し、前記ランプ信号の傾きが小さい場合、各A/D変換部のランプ信号のオフセットの差が大きくなるように設定する
    請求項２８に記載の撮像素子。
30. 画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部のそれぞれのランプ信号のオフセットを互いに異なる値に設定し、
    前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出させ、
    前記画素から読み出させた前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部にA/D変換させる
    制御方法。
31. 被写体を撮像する撮像部と、
    前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
    を備え、
    前記撮像部は、
    画素アレイと、
    前記画素アレイの各カラムに対して割り当てられ、それぞれが、互いに異なるランプ信号を用いて、前記カラムの画素から読み出された画素信号をA/D変換する複数のA/D変換部と、
    各A/D変換部のランプ信号のオフセットを互いに異なる値に設定し、前記画素アレイの各カラムにおいて、処理対象のラインの画素から画素信号を読み出し、前記画素から読み出された前記画素信号を、前記カラムに割り当てられた前記複数のA/D変換部を用いてA/D変換するように制御する制御部と
    を備える撮像装置。

Images