JP4232755B2 - イメージセンサ及びイメージセンサの制御方法 - Google Patents

Description

本発明は、少なくとも光電変換素子を有した画素セルを２次元アレイ状に配列してなる受光素子アレイと、受光素子アレイからの受光信号をＡ／Ｄ変換する複数のＡ／Ｄ変換回路とを備え、単一のＩＣチップとして構成されるイメージセンサ、及びそのイメージセンサの制御方法に関する。

近年、ＦＡロボット用あるいは人間型ロボット（玩具、介護、作業等）用の高性能視覚センサ、また自動車安全性向上に関わる前後左右に対する周辺監視視覚センサなどへのイメージセンサ適用に向け、イメージセンサを小型化し且つ高速動作させることが望まれている。

このような要求に応えるものとして、光電変換素子（例えばフォトダイオード）を有した画素セルを２次元アレイ状に配列してなる受光素子アレイと、この受光素子アレイからの画像電圧信号をＡ／Ｄ変換するＡ／Ｄ変換回路とを、同一チップ上に構成し、１チップのＩＣとして構成したイメージセンサが知られている（例えば、特許文献１参照。）。

このイメージセンサ１００には、図１０（ａ）に示すように、画素セル１１０を格子状に配列してなる受光素子アレイ１０１と、受光素子アレイ１０１の水平ラインを構成する画素セル１１０のグループ毎に一つずつ設けられたＡ／Ｄ変換回路１２０からなるＡ／Ｄ変換部１０２と、受光素子アレイ１０１の垂直ラインを構成する画素セル１１０のグループを順次選択する選択部１０３と、Ａ／Ｄ変換部１０２に対して、時間の経過と共に電圧が上昇するランプ波からなる基準信号ＶＲＥＦを発生する基準信号発生部１０４と、基準信号ＶＲＥＦと同期して、カウント値が変化するカウンタ１０５とが設けられている。

そして、各Ａ／Ｄ変換回路１０２は、選択部１０３が選択した垂直ラインの画素セル１１０から出力される受光信号（出力電圧）をデジタルデータに変換するように構成されている。

また、特許文献１に記載のイメージセンサにおいて、Ａ／Ｄ変換部１０２を構成する各Ａ／Ｄ変換回路１２０は、回路規模を抑制するために、逐次比較型，並列型，二重積分型等といった周知のＡ／Ｄ変換回路とは異なった特殊な構成のものが用いられている。

具体的には、図１０（ｂ）に示すように、Ａ／Ｄ変換回路１２０は、受光素子アレイ１０１から供給されるアナログ信号ＶＳＩＧｉ（ｉ＝１〜ｍ）を、基準信号発生部１０４が発生させる基準信号ＶＲＥＦと比較し、アナログ信号ＶＳＩＧｉの電圧が基準信号ＶＲＥＦの電圧とクロスするタイミングでハイレベルとなる検出パルスを生成するコンパレータ１２１と、コンパレータ１２１が生成した検出パルスのタイミングで、カウンタ１０５の出力をラッチするラッチ回路１２３と、ラッチ回路１２３の出力をデジタル信号の出力線に出力するスイッチ１２５とからなるものが用いられている。
特開２０００−３４９６３８号公報

ところで、イメージセンサから得られた情報に基づいて、各種制御を行う装置では、イメージセンサから得られた情報を加工することで様々な機能を実現しており、その一つとして、撮像領域全体の中から１部分を選択して画面を拡大表示するズームアップ機能が知られている。

そして、ズームアップ機能を実現する場合、ズームアップの対象となる２次元領域に配置された受光素子からの受光信号のみをＡ／Ｄ変換できればよく、その他の部分についてのＡ／Ｄ変換データは不要である。しかし、受光素子を水平１ライン毎に順次選択してＡ／Ｄ変換する引用文献１に記載のイメージセンサ１００では、必要な２次元領域のみをＡ／Ｄ変換することができず、全領域のＡ／Ｄ変換を実施した上で、必要のない領域のＡ／Ｄ変換データを破棄することになるため、これら一連の処理が非効率的であるという問題があった。

また、特許文献１に記載のイメージセンサ１００で用いられているＡ／Ｄ変換回路１２０では、受光信号を、アナログ信号であるランプ波形でスイープすることによって、Ａ／Ｄ変換データを得るようにされている。このため、Ａ／Ｄ変換可能な電圧範囲を変化させることなく、Ａ／Ｄ変換データの分解能を向上させようとすると、カウンタ１０５のビット数を増やしてカウンタを高速動作させるか、又はランプ波形の傾きを小さくする必要がある。

しかし、カウンタを高速動作させるといっても限度があり、また、ランプ波形の傾きを小さくした場合には、Ａ／Ｄ変換に要する処理時間が長くなって、高速な応答性が要求される用途に用いることができなくなる。このため、カウンタのビット数（即ち、Ａ／Ｄ変換データを表すデジタルデータのビット数）は、１０ビット程度が限界であり、より高い分解能を必要とする用途には適用することが困難であるという問題があった。

本発明は、上記問題点を解決するために、単一のＩＣチップに受光素子アレイとＡ／Ｄ変換回路とを備えるイメージセンサにおいて、ズームアップ機能を実現するなど高機能な処理を効率良く実行できるようにすること、一部のサブアレイでのみＡ／Ｄ変換を実行する場合に、１画面分の処理時間を変化させることなく、高分解能（高階調）のＡ／Ｄ変換データを得ることができるようにすること、また、イメージセンサの小型化，高速化，高精度化を図ることを目的とする。

上記目的を達成するためになされた請求項３に記載の発明は、少なくとも光電変換素子を有する画素セルを２次元アレイ状に配列してなり、且つ、前記画素セルをいずれも同数だけ含んで構成された複数のサブアレイからなる受光素子アレイと、サブアレイから供給される受光信号の信号レベルに応じた遅延時間でパルス信号を遅延させる遅延ユニットを複数段縦続接続してなるパルス遅延回路、及び予め設定されたサンプリングクロックの１周期を測定期間として、該測定期間の間にパルス信号が通過する遅延ユニットの段数を検出し、その段数に対応した数値データをＡ／Ｄ変換データとして出力する符号化回路によって構成され、前記受光素子アレイからの受光信号をＡ／Ｄ変換するために前記サブアレイ毎に設けられた複数のＡ／Ｄ変換回路からなるＡ／Ｄ変換部とを備え、単一のＩＣチップとして構成されることを特徴とする。

このように構成された本発明のイメージセンサでは、サブアレイ毎にＡ／Ｄ変換を並列処理が可能なため、１画面分のＡ／Ｄ変換処理を高速に実行することができるだけでなく、ズームアップ機能を実現する際には、ズームアップの対象となる２次元領域に含まれるサブアレイのみでＡ／Ｄ変換を実行すればよいため、不必要なＡ／Ｄ変換の実行が低減され、効率的に処理を実行することができる。

また、本発明のイメージセンサでは、ズームアップする領域を複数選択することや、選択した領域毎に異なったズームアップ率を適用するなど、高機能な処理を、簡単かつ効率よく実現することができる。
また、本発明のイメージセンサでは、Ａ／Ｄ変換部を構成するＡ／Ｄ変換回路として、いわゆるパルス遅延型Ａ／Ｄ変換回路が用いられているため、Ａ／Ｄ変換部を、全てデジタル回路にて構成することができ、しかも、周知の逐次比較型，並列型のＡ／Ｄ変換回路と比較して回路規模が格段に小さく、且つ、周知の二重積分型のＡ／Ｄ変換回路と比較して高速動作が可能であるため、高速に動作するイメージセンサを小型に構成することができる。
また、パルス遅延型Ａ／Ｄ変換回路では、サンプリング周期の間にパルス信号が通過する遅延ユニットの段数をＡ／Ｄ変換データとするため、サンプリング周期を長くすることで、Ａ／Ｄ変換の分解能、ひいては個々の画素における階調度を、任意に変化させることができる。
換言すれば、高価な光学系の操作（メカ的にレンズを移動すること等）を必要とせずに解像度の高いズームアップを実現することができる。

ところで、Ａ／Ｄ変換部を構成するＡ／Ｄ変換回路は、例えば、そのＡ／Ｄ変換回路に対応付けられたサブアレイに隣接して配置されていてもよいし、受光素子アレイの外周部に配置されていてもよい。

前者の場合、受光素子からＡ／Ｄ変換回路に至るアナログ信号用の伝送路の配線長を必要最小限の長さとすることができるため、伝送路でのノイズの重畳を抑制することができ、高精度なＡ／Ｄ変換データ、ひいては２次元画像信号を得ることができる。

但し、サブアレイに隣接して配置されたＡ／Ｄ変換回路は、個々の画素セルと比較して回路規模が大きいため、受光素子アレイ中に光不感部分を生じさせてしまうことになる。
これに対して、後者の場合、Ａ／Ｄ変換回路の代わりにバッファ回路をサブアレイに隣接して設ける必要があるが、バッファ回路はＡ／Ｄ変換回路よりも回路規模（トランジスタ数）が小さいため、受光素子アレイ中の光不感部分を低減することができる。

また、後者の場合、Ａ／Ｄ変換回路の出力を取り出すためのパッドが、受光素子アレイの外周部に配置されていれば、このパッドの間、或いはパッドの下部に、Ａ／Ｄ変換回路を配置することが望ましい。

即ち、パッドの間やパッドの下部は、従来使用されていない空きスペースであり、この部分にＡ／Ｄ変換回路を配置することで、ＩＣチップのチップ面積をより小さく抑えることができる。

また、Ａ／Ｄ変換回路を構成するパルス遅延回路が、縦続接続された前記遅延ユニットをリング状にしてなるリング遅延回路からなる場合、符号化回路は、測定時間の間にパルス信号がリング遅延回路を周回した回数をカウントした周回数と、測定期間の終了時に検出されるリング遅延回路内でのパルス位置情報との組合せでＡ／Ｄ変換データを生成するように構成されていてもよい。

この場合、パルス遅延回路の段数を格段に減少させることができるため、回路規模をより小さくすることができ、ひいては更なるＩＣチップの小型化を図ることができる。
ところで、第一及び第二発明のイメージセンサにおいて、Ａ／Ｄ変換回路としてパルス遅延型Ａ／Ｄ変換回路を用いた場合、受光素子アレイを構成する各受光素子に受光信号を出力させるための制御信号Ｃ１，Ｃ２，…Ｃｐを生成する制御クロックＣＫＣとサンプリングクロックＣＫＳとは、互いに同期していることが望ましい。

特に、サンプリングクロックＣＫＳは、制御クロックＣＫＣを１／ｄ分周（ｄは正の整数）して生成すること、即ち、サンプリングクロックＣＫＳの周期は、制御クロックＣＫＣの周期の整数倍であることが望ましい。つまり、パルス遅延型Ａ／Ｄ変換回路は、サンプリングクロックの整数倍の周波数のノイズ成分を効率よく除去できるため（詳しくは、特開２００３−６５７６８号公報などを参照）、高精度なＡ／Ｄ変換データを得ることができる。

なお、受光素子アレイは、ＣＭＯＳイメージセンサとして構成されていてもよいし、ＣＣＤイメージセンサとして構成されていてもよい。
次に請求項２に記載の発明は、少なくとも光電変換素子を有した画素セルを２次元アレイ状に配列してなり、且つ前記画素セルをいずれも同数け含んで構成されたｍ（ｍ＝ｎ×ｋ，ｍ＞ｎ：ｍ，ｎ，ｋは整数）個のサブアレイからなる受光素子アレイと、サブアレイから供給される受光信号の信号レベルに応じた遅延時間でパルス信号を遅延させる遅延ユニットを複数段縦続接続してなるパルス遅延回路、及び予め設定されたサンプリングクロックの１周期を測定期間として、該測定期間の間にパルス信号が通過する遅延ユニットの段数を検出し、その段数に対応した数値データをＡ／Ｄ変換データとして出力する符号化回路を備え、受光素子アレイからの受光信号をＡ／Ｄ変換するために前記サブアレイ毎に設けられた複数のＡ／Ｄ変換回路からなるＡ／Ｄ変換部とで構成されたイメージセンサの制御方法であって、選択されたｎ個のサブアレイでのみＡ／Ｄ変換を実行する場合、選択されたサブアレイを構成する受光素子のそれぞれについてｋ回ずつＡ／Ｄ変換を実行し、そのｋ回分のＡ／Ｄ変換データの合計値又は平均値を求めることにより、後段の処理で使用するＡ／Ｄ変換データを得ることを特徴とする。

つまり、１画面分の処理時間の間に処理すべきサブアレイの数が減少した分だけ、同じ受光素子についてのＡ／Ｄ変換データを繰り返し得て、その合計値又は平均値を後段の処理で使用するＡ／Ｄ変換データとすることにより、１画面分の処理時間を変化させることなく、高分解能（高階調）のＡ／Ｄ変換データを得ることができる。

次に請求項１に記載の発明は、少なくとも光電変換素子を有した画素セルを２次元アレイ状に配列してなり、且つ前記画素セルをいずれも同数だけ含んで構成されたｍ（ｍは整数）個のサブアレイからなる受光素子アレイと、サブアレイから供給される受光信号の信号レベルに応じた遅延時間でパルス信号を遅延させる遅延ユニットを複数段縦続接続してなるパルス遅延回路、及び予め設定されたサンプリングクロックの１周期を測定期間として、該測定期間の間に前記パルス信号が通過する遅延ユニットの段数を検出し、その段数に対応した数値データをＡ／Ｄ変換データとして出力する符号化回路を備え、受光素子アレイからの受光信号をＡ／Ｄ変換するためにサブアレイ毎に設けられた複数のＡ／Ｄ変換回路からなるＡ／Ｄ変換部とで構成されたイメージセンサの制御方法であって、選択されたｎ（ｎはｍより小さい整数）個のサブアレイでのみＡ／Ｄ変換を実行する場合、前記測定期間をｍ／ｎ倍にしてＡ／Ｄ変換データを得ることを特徴とする。

つまり、Ａ／Ｄ変換回路は、測定期間を長くするほど分解能が向上するため、例えば、ズームアップを行う場合に、１画面分の処理時間の間に処理すべきサブアレイの数が減少した分だけ、各受光素子に割り当てる測定期間を増加させることにより、１画面分の処理時間を変化させることなく、高分解能（高階調）のＡ／Ｄ変換データを得ることができる。

以下に本発明の実施形態を図面と共に説明する。
図１は、本実施形態のイメージセンサの概略構成及びＩＣチップ上におけるイメージセンサ各部の配置を模式的に示した説明図である。

図１に示すように、イメージセンサ１は、縦横に配列されたｍ（本実施形態ではｍ＝２０）個のアレイブロックＢ（Ｂ１〜Ｂｍ）と、アレイブロックＢからの信号を出力するために、アレイブロックＢ毎に設けられた出力パッドＰｏと、当該イメージセンサ１に対して各種信号（出力パッドＰｏから出力される信号を除く）を入出力するための複数のパッド（図示せず）とを備えている。

なお、出力パッドＰｏ及びその他のパッドは、アレイブロックＢの周囲、即ちＩＣチップの周縁部に設けられている。また、図中では、各アレイブロックＢから出力パッドＰｏに至る伝送線が一本で簡略的に記されているが、パラレルデータを伝送する複数本の伝送線であってもよい。

また、出力パッドＰｏは、アレイブロックＢから供給される信号を増幅する増幅器２０と、増幅器２０の出力に接続された電極２１とからなる。また、これら出力パッドＰｏ以外のパッドとしては、後述する原クロックＣＫ０，選択信号ＳＥＬ，設定周期情報ＴＳＩを入力するためのものを少なくとも備えている。

図２（ａ）は、アレイブロックＢｉ（ｉ＝１〜２０）の構成を示すブロック図である。
図２（ａ）に示すように、アレイブロックＢｉは、光電変換素子（フォトダイオード）２ａとこの光電変換素子２ａから受光信号を取り出すための無接点スイッチ２ｂとからなる複数（ｐ個とする）の画素セル２を、２次元格子状に配列してなるＭＯＳ型イメージセンサとして構成されたサブアレイ３と、無接点スイッチ２ｂのいずれか一つを順次オンするための制御信号Ｃ１〜Ｃｐを生成するサブアレイ制御部５と、サブアレイ制御部５からの制御信号Ｃ１〜Ｃｐによって無接点スイッチ２ｂがオンされた画素セル２からの受光信号ＶｉｎをＡ／Ｄ変換し、そのＡ／Ｄ変換データであるデジタルデータＤＴを、当該アレイブロックＢｉに対応して設けられた出力パッドＰｏに供給するＡ／Ｄ変換回路７と、Ａ／Ｄ変換回路７を動作させるためのサンプリングクロックＣＫＳを生成する分周器９０と、サブアレイ制御部５及び分周器９０を動作させる制御クロックＣＫＣ、及びサブアレイ制御部５及びＡ／Ｄ変換回路７を動作させる入力パルスＰｉｎを生成する制御クロック生成部９ととからなる。

以下では、アレイブロックＢ１〜Ｂｍを構成する全てのサブアレイ３を総称して受光素子アレイ、同じく全てのＡ／Ｄ変換回路７を総称してＡ／Ｄ変換部とも称する。
制御クロック生成部９は、当該イメージセンサ１の外部（ここではセンサ制御部３０）から周知の水晶発振クロックを原発振とした原クロックＣＫＯ，選択信号ＳＥＬ，設定周期情報ＴＳＩ（周期ＴＳのサンプリングクロックＣＫＳを制御クロックＣＫＣから得る際に必要な分周数ｄ情報）の供給を受けて動作する。具体的には、選択信号ＳＥＬが選択（Ａ／Ｄ変換許可）を示す信号レベルである場合に、制御クロックＣＫＣを分周することで、図２（ｂ）に示すように、設定周期情報ＴＳＩで指定された周期ＴＳを有するサンプリングクロックＣＫＳ、及びサンプリングクロックＣＫＳと同じタイミングで立ち上がる入力パルスＰｉｎを発生させる。

サブアレイ制御部５は、制御クロック生成部９からの制御クロックＣＫＣとＰｉｎに従って、図２（ｂ）に示すように、サンプリングクロックＣＫＳの１周期の間だけ順番にＨレベルとなる制御信号Ｃ１〜Ｃｐを生成する。つまり、全ての画素セル２からの受光信号が、設定周期ＴＳずつ順番にＡ／Ｄ変換回路７に供給されるように構成されている。

ここで図３は、Ａ／Ｄ変換回路７の構成を示すブロック図（一部回路図を含む）である。
図３に示すように、Ａ／Ｄ変換回路７は、入力パルスＰｉｎを所定の遅延時間だけ遅延させて出力する遅延ユニットＤＵを複数段縦続接続することにより構成されたパルス遅延回路１０と、サンプリングクロックＣＫＳの立ち上がりタイミングで、パルス遅延回路１０内での入力パルスＰｉｎの到達位置を検出（ラッチ）し、その検出結果を、入力パルスＰｉｎが通過した遅延ユニットＤＵが先頭から何段目にあるかを表す所定ビットのデジタルデータＤＴに変換して出力するラッチ＆エンコーダ１２とから構成されている。なお、図中（１）（２）…で示す数値は、遅延ユニットＤＵの段数を示す。

また、パルス遅延回路１０を構成する各遅延ユニットＤＵは、インバータ等からなるゲート回路にて構成されており、各遅延ユニットＤＵには、バッファ１４等を介して、Ａ／Ｄ変換対象となる入力電圧Ｖｉｎが駆動電圧として印加されている。

従って、各遅延ユニットＤＵの遅延時間は、入力電圧Ｖｉｎの電圧レベルに対応した時間となり、サンプリングクロックＣＫＳの一周期、即ちサンプリング周期（設定周期）ＴＳ内にパルス遅延回路１０内での入力パルスＰｉｎが通過する遅延ユニットＤＵの個数は、入力電圧Ｖｉｎの電圧レベルに比例することになる。

なお、サンプリング周期ＴＳは、遅延ユニットＤＵの遅延時間に比べて十分に長く（例えば、遅延ユニットＤＵの遅延時間の数十倍以上に）設定されており、パルス遅延回路１０における遅延ユニットＤＵの段数は、遅延パルスＰｉｎの入力後、設定周期ＴＳが経過した時点で、入力パルスＰｉｎがパルス遅延回路１０を通過してしまっていることのないように、例えば、数十〜数百段以上に設定されている。

ここで、図４は、パルス遅延回路１０内で入力パルスＰｉｎが伝送されているときの各遅延ユニットＤＵの出力変化を表しており、（ａ）では、入力電圧Ｖｉｎが異なる場合、（ｂ）ではサンプリング周期（設定周期）ＴＳが異なる場合を示している。

図４（ａ）に示すように、サンプリング周期ＴＳが一定である場合、入力電圧Ｖｉｎが高くなると、各遅延ユニットＤＵでの入力パルスＰｉｎの遅延時間が短くなることから、一サンプリング周期ＴＳの間にパルス遅延回路１０内で入力パルスＰｉｎが通過する遅延ユニットＤＵの段数は多くなり（図では１０段）、入力電圧Ｖｉｎが低くなると、各遅延ユニットＤＵでの入力パルスＰｉｎの遅延時間が長くなることから、一サンプリング周期ＴＳの間にパルス遅延回路１０内で入力パルスＰｉｎが通過する遅延ユニットＤＵの段数は少なくなる（図では７段）。

つまり、サンプリング周期ＴＳが一定である場合、ラッチ＆エンコーダ１２からの出力（デジタルデータＤＴ）は、入力電圧Ｖｉｎの電圧レベルに応じて変化することになり、デジタルデータＤＴは、入力電圧ＶｉｎをＡ／Ｄ変換した数値データとなる。

また、図４（ｂ）に示すように、入力電圧Ｖｉｎが一定、即ち遅延ユニットＤＵの遅延時間が一定である場合、サンプリング周期ＴＳが短くなると、その間に遅延回路１０内で入力パルスＰｉｎが通過する遅延ユニットＤＵの段数は少なくなり（図では７段）、サンプリング周期ＴＳが長くなると、その間に遅延回路１０内で入力パルスＰｉｎが通過する遅延ユニットＤＵの段数は多くなる（図では１０段）。

つまり、ラッチ＆エンコーダ１２からの出力（デジタルデータＤＴ）は、サンプリング周期ＴＳを長くするほど、より多くのビット数（段階）で入力電圧Ｖｉｎを符号化したことになり、換言すれば、デジタルデータＤＴの分解能が向上したことになる。

このように構成されたイメージセンサ１では、選択信号ＳＥＬによって指定されたアレイブロックＢのみが動作し、そのアレイブロックＢに含まれるサブアレイ３を構成する各画素セル２からの受光信号をＡ／Ｄ変換した結果（デジタルデータＤＴ）が、そのアレイブロックＢに対応した出力パッドＰｏを介して順番に出力される。

この時、設定周期ＴＳを適宜変更することによって、Ａ／Ｄ変換データ（デジタルデータＤＴ）の分解能を任意に設定することができる。
ここで、本実施形態のイメージセンサ１を用いて構成された画像処理装置において、特定領域のズームアップを行う場合に、イメージセンサ１の動作を制御するセンサ制御部３０にて実行されるズームアップデータ収集処理を、図５に示すフローチャートに沿って説明する。

本処理が起動すると、まず、外部から与えられるズームアップ指令に基づいて、ズームアップすべき領域に対応するサブアレイ３を含んだアレイブロックＢである作動対象ブロックと、そのブロック数ｎとを特定する（Ｓ１１０）。

アレイブロックＢの総数ｍと、Ｓ１１０にて特定された作動対象ブロックのブロック数ｎとに基づいて、倍率ｋ（＝ｍ／ｎ）を算出し（Ｓ１２０）、更に、その倍率ｋを、予め設定された基本サンプリング周期ＴＳ０に乗じることにより、設定周期ＴＳ（＝ｋ×ＴＳ０）を算出する（Ｓ１３０）。

なお、基本サンプリング周期ＴＳ０は、１画面の処理に許容される時間が決められており、全てのアレイブロックＢ１〜ＢｍでＡ／Ｄ変換を実行する場合に、一つの画素のＡ／Ｄ変換に許容される処理時間のことであり、１画面の処理に許容される時間をＴ１、イメージセンサ１（受光素子アレイ）に含まれる画素セルの総数をＳ（＝ｍ×ｐ）とすると、ＴＳ０＝Ｔ１／Ｓにより与えられる。

次に、アレイブロックＢを識別するための変数ｉを１に初期化し（Ｓ１４０）、アレイブロックＢｉは、先のＳ１１０にて特定された作動対象ブロックであるか否かを判断する（Ｓ１５０）。

アレイブロックＢｉが作動対象ブロックであれば、アレイブロックＢｉに対して、Ｓ１３０にて算出された設定周期ＴＳ、及び選択信号ＳＥＬを供給することで、アレイブロックＢｉにＡ／Ｄ変換を実行させる（Ｓ１６０）。この時、出力パッドＰｏを介して得られるＡ／Ｄ変換データ（デジタルデータＤＴ）は、別途設けられたメモリに格納されるか、或いは、そのまま、後段の信号処理を実行する処理ブロック（ＤＳＰ等）に供給される。

Ｓ１６０の処理が終了した場合、又は先のＳ１５０にてアレイブロックＢｉが作動対象ブロックではないと判定された場合は、変数ｉをインクリメントし（Ｓ１７０）、そのインクリメントされた変数ｉがアレイブロックの総数ｍ以下であるか否かを判断する（Ｓ１８０）。そして、ｉがｍ以下であれば、Ｓ１５０に戻って、Ｓ１５０〜Ｓ１７０の処理を繰り返し、ｉがｍより大きければ、本処理を終了する。

例えば、図６に示すように、領域Ａ１に含まれるアレイブロックＢ７，Ｂ８，Ｂ１２，Ｂ１３が作動対象ブロックであった場合、ブロック数ｎ＝４、倍率ｋ＝２０／４＝５となる。従って、本処理を実行することにより、アレイブロックＢ７，Ｂ８，Ｂ１２，Ｂ１３でのみ、基本サンプリング周期ＴＳ０の５倍のサンプリング周期（設定周期）ＴＳで、Ａ／Ｄ変換が実行される。つまり、ズームアップに必要な領域についてのみ、通常時より高分解能のＡ／Ｄ変換データ（デジタルデータＤＴ）が収集されることになる。

なお、この収集したデータを処理する後段の装置に対しては、このデジタルデータＤＴと共に、デジタルデータＤＴの分解能を表す情報（倍率ｋなど）を提供し、後段の装置に、デジタルデータＤＴの分解能に応じた信号処理を実行させる必要がある。

以上説明したように、本実施形態のイメージセンサ１においては、アレイブロックＢ毎、即ち、画素セル２を２次元アレイ状に配列してなるサブアレイ３毎に、Ａ／Ｄ変換回路７が設けられている。

このため、ズームアップ機能を実現する際には、ズームアップの対象となる２次元領域に含まれるサブアレイ３（アレイブロックＢ）のみでＡ／Ｄ変換を実行すればよいため、不必要なＡ／Ｄ変換の実行が低減され、効率的に処理を実行することができる。

また、本実施形態のイメージセンサ１では、ズームアップする領域を複数選択することや、選択した領域毎に異なったズームアップ率を適用するなど、高機能な処理を簡単に実現することができる。

また、本実施形態のイメージセンサ１では、Ａ／Ｄ変換回路７は、そのＡ／Ｄ変換回路７に対応付けられたサブアレイ３に隣接して配置されていているため、サブアレイ３を構成する各画素セル２からＡ／Ｄ変換回路７に至る受光信号（即ちアナログ信号）の伝送路の配線長を必要最小限の長さとすることができ、伝送路でのノイズの重畳を抑制することができるため、高精度なＡ／Ｄ変換データ、ひいては高精度な２次元画像信号を得ることができる。

また、本実施形態のイメージセンサ１では、Ａ／Ｄ変換回路７として、その全体がデジタル回路で構成されるパルス遅延型Ａ／Ｄ変換回路を用いているため、回路規模を小さくすることができ、ＩＣチップの小型化を図ることができる。

しかも、パルス遅延型Ａ／Ｄ変換回路７では、サンプリング周期の間にパルス信号が通過する遅延ユニットの段数をＡ／Ｄ変換データとするため、サンプリング周期を長くすることで、Ａ／Ｄ変換データ（デジタルデータＤＴ）の分解能を、任意に変化させることができる。

そして、上記実施形態では、イメージセンサ１を用いてズームアップ処理に必要なＡ／Ｄ変換データを収集する時には、ズームアップする部位に位置する作動対象ブロックとして選択されたｎ個のアレイブロックＢでのみＡ／Ｄ変換を実行し、しかも、サンプリング周期（設定周期）ＴＳを通常時（基本サンプリング周期ＴＳ０）のｋ（＝ｍ／ｎ）倍に設定することで、１画面分の処理時間の間に処理すべきアレイブロックＢの数が減少した分だけ、各画素セル２のＡ／Ｄ変換に割り当てる時間を増加させるようにされている。

従って、１画面分の処理時間を変化させることなく、また、高価な光学系の操作（メカ的なレンズの移動等）を必要とすることなく、高分解能（高階調）のＡ／Ｄ変換データを得ることができ、解像度の高いズームアップを実現することができる。

更に、本実施形態では、制御信号Ｃ１〜Ｃｐが、サンプリングクロックＣＫＳに連携して生成され、制御信号Ｃ１〜Ｃｐの周期が、サンプリングクロックＣＫＳの周期の整数倍となるようにされているため、パルス遅延型Ａ／Ｄ変換回路からなるＡ／Ｄ変換回路７の動作により制御クロックに起因する高周波ノイズを効率的に除去できるのと同様に、制御信号Ｃ１〜Ｃｐに基づくノイズ成分など、サンプリングクロックＣＫＳに同期したノイズ成分を効率よく除去することができ、高精度で且つダイナミックレンジの広いＡ／Ｄ変換データを得ることができる。

なお、本実施形態では、いずれか一つのアレイブロックＢを順番に作動させてＡ／Ｄ変換データを取得する場合を想定しているが、複数のアレイブロックＢを並列に作動させることで、１画面分のＡ／Ｄ変換データを高速に取得するように構成してもよい。

また、本実施形態では、ズームアップデータ収集処理において、作動対象ブロックとして特定されるアレイブロックＢの数ｎに応じて、設定周期ＴＳを変更しているが、常に基本サンプリング周期ＴＳ０を設定周期ＴＳとするように構成してもよいし、外部から変更許可指令があった場合のみ、設定周期ＴＳを変更するように構成してもよい。
［第２実施形態］
次に、第２実施形態について説明する。

本実施形態では、第１実施形態とは、ズームアップデータ収集処理の内容が異なるだけであるため、この処理についてのみ説明する。
即ち、本実施形態において、ズームアップデータ収集処理が起動されると、図７に示すように、まず、外部から与えられるズームアップ指令に基づいて、ズームアップすべき領域に対応するサブアレイ３を含んだアレイブロックＢである作動対象ブロックと、そのブロック数ｎとを特定する（Ｓ２１０）。

アレイブロックＢの総数ｍと、Ｓ２１０にて特定された作動対象ブロックのブロック数ｎとに基づいて、繰り返し回数ｋ（＝［ｍ／ｎ］）を算出すると共に、変数ｊを１に初期化する（Ｓ２２０）。なお、［ｘ］は、ｘの整数部分を表すものとする。

次に、アレイブロックＢを識別するための変数ｉを１に初期化し（Ｓ２３０）、アレイブロックＢｉは、先のＳ２１０にて特定された作動対象ブロックであるか否かを判断する（Ｓ２４０）。

アレイブロックＢｉが作動対象ブロックであれば、アレイブロックＢｉに対して、設定周期ＴＳ（ここでは常に基本サンプリング周期ＴＳ０）、及び選択信号ＳＥＬを供給することで、アレイブロックＢｉにＡ／Ｄ変換を実行させる（Ｓ２５０）。この時、出力パッドＰｏを介して得られるＡ／Ｄ変換データ（デジタルデータＤＴ）は、別途設けられたメモリに格納される。

Ｓ２５０の処理が終了した場合、又は先のＳ２４０にてアレイブロックＢｉが作動対象ブロックではないと判定された場合は、変数ｉをインクリメントし（Ｓ２６０）、そのインクリメントされた変数ｉがアレイブロックの総数ｍ以下であるか否かを判断する（Ｓ２７０）。

そして、ｉがｍ以下であれば、Ｓ２４０に戻って、Ｓ２４０〜Ｓ２６０の処理を繰り返し、ｉがｍより大きければ、変数ｊをインクリメントする（Ｓ２８０）。
そのインクリメントされた変数ｊが、Ｓ２２０にて設定された繰り返し回数ｋ以下であるか否かを判断し（Ｓ２９０）、ｊがｋ以下であれば、Ｓ２３０に戻って、Ｓ２３０〜Ｓ２８０までの処理を繰り返し、ｉがｋより大きければ、本処理によって、画素セル２毎に得られたｋ回分のＡ／Ｄ変換データ（デジタルデータＤＴ）の平均値を算出し、これを後段の処理に供給するＡ／Ｄ変換データとして（Ｓ３００）、本処理を終了する。

例えば、図６に示すように、領域Ａ１，Ａ２に含まれるアレイブロックＢ５，Ｂ７，Ｂ８，Ｂ１０，Ｂ１２，Ｂ１３が作動対象ブロックである場合、ブロック数ｎ＝６、繰り返し回数ｋ＝［２０／６］＝３となり、アレイブロックＢ７，Ｂ８，Ｂ１２，Ｂ１３のみが、１画像分の処理時間の間に、３回ずつＡ／Ｄ変換が実行され、その平均値又は合計値が、後段の処理で使用されることになる。

つまり、ズームアップデータ収集処理により、ズームアップに必要な領域についてのみ、通常時より高分解能のＡ／Ｄ変換データ（デジタルデータＤＴ）が得られることになる。

以上説明したように、本実施形態では、イメージセンサ１を用いてズームアップ処理に必要なＡ／Ｄ変換データを収集する時には、ズームアップする部位に位置する作動対象ブロックとして選択されたｎ個のアレイブロックＢでのみＡ／Ｄ変換を実行し、しかも、選択されたアレイブロックＢに属する画素セル２のそれぞれについてｋ（＝［ｍ／ｎ］）回ずつＡ／Ｄ変換を実行し、そのｋ回分のＡ／Ｄ変換データの平均値を求めることで、後段の処理で使用するＡ／Ｄ変換データを得るようにされている。つまり、１画面分の処理時間の間に処理すべきアレイブロックＢの数が減少した分だけ、各画素セル２のＡ／Ｄ変換に割り当てる時間を増加させるようにされている。

従って、第１実施形態の場合と同様に、１画面分の処理時間を変化させることなく、また、高価な光学系の操作（メカ的なレンズの移動等）を必要とすることなく、高分解能（高階調）のＡ／Ｄ変換データを得ることができ、解像度の高いズームアップを実現することができる。

なお、本実施形態では、Ｓ３００にて、ｋ回分のデジタルデータＤＴの平均値を求めているが、平均値の代わりに合計値を求めてもよい。
［第３実施形態］
次に、第３実施形態について説明する。

本実施形態では、Ａ／Ｄ変換回路の構成が、第１実施形態のものとは一部異なるだけであるため、この相違する部分を中心に説明する。
本実施形態においてＡ／Ｄ変換回路７ａを構成するパルス遅延回路１０ａは、図８に示すように、初段の遅延ユニットＤＵが、一方の入力端子を起動用端子とするアンドゲートにて構成され、この初段の遅延ユニットＤＵのもう一つの入力端子と、最終段の遅延ユニットＤＵの出力端子とを接続して、全遅延ユニットＤＵをリング状に連結することにより、入力パルスＰｉｎを周回させることができるリングディレイライン（ＲＤＬ）として構成されている。

また、Ａ／Ｄ変換回路７ａは、このパルス遅延回路１０ａ内での入力パルスＰｉｎの周回回数をカウントするカウンタ１６と、このカウンタ１６によるカウント値をサンプリングクロックＣＫＳの立ち上がりタイミングでラッチするラッチ回路１８とを備えている。

このように構成されたＡ／Ｄ変換回路７ａでは、ラッチ＆エンコーダ１２から出力されるデジタルデータを、入力電圧Ｖｉｎの電圧レベルを表す下位ビットデータａ、ラッチ回路１８から出力されるカウント値を、入力電圧Ｖｉｎの電圧レベルを表す上位ビットデータｂとするデジタルデータＤＴを得ることができる。

そして、第１実施形態のＡ／Ｄ変換回路７では、パルス遅延回路１０を構成する遅延ユニットＤＵを、数十〜数百個必要とするのに対して、本実施形態のＡ／Ｄ変換回路７ａでは、パルス遅延回路１０ａを構成する遅延ユニットＤＵの数は、８或いは１６個程度あればよく、その個数を大幅に削減することができるため、イメージセンサ１の回路規模をより小さなものとすることができ、ひいては更なるＩＣチップの小型化を図ることができる。
［第４実施形態］
次に、第４実施形態について説明する。

本実施形態では、アレイブロックＢの構成の一部と、Ａ／Ｄ変換回路７の配置が第１実施形態とは異なっているため、この相違する部分を中心に説明する。
図９に示すように、本実施形態のイメージセンサ１ａでは、アレイブロックＢには、Ａ／Ｄ変換回路７の代わりにバッファ回路８が設けられ、Ａ／Ｄ変換回路７は、ＩＣチップ周縁部に配設された出力パッドＰｏ等の間に配置されている。

つまり、バッファ回路８はＡ／Ｄ変換回路７と比較して、回路規模（トランジスタ数）が少なく小型に構成できるため、サブアレイ３の集合体である受光素子アレイ中の光不感部分となる領域の面積を低減することができる。

また、Ａ／Ｄ変換回路７が配置される、出力パッドＰｏの間は、従来使用されていない空きスペースであるため、この部分にＡ／Ｄ変換回路７を配置することで、ＩＣチップのチップ面積をより小さく抑えることができる。

なお、Ａ／Ｄ変換回路７は、出力パッドＰｏの間に限らず、出力パッドＰｏの下部などに配置してもよい。
［他の実施形態］
以上、本発明のいくつかの実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、受光素子アレイ（サブアレイ３）は、光電変換素子（フォトダイオード）２ａに無接点スイッチ２ｂが一つずつ設けられ、この無接点スイッチ２ｂを順次オンさせることで出力を得る、いわゆるＭＯＳ型イメージセンサとして構成されているが、フォトダイオードに一つずつ設けられたスイッチを、同時にオンして、アナログレジスタに電荷を転送し、その電荷をクロックパルス（搬送波）により、アナログレジスタ内を順次シフトさせることで出力を得る、いわゆるＣＣＤ型イメージセンサとして構成されていてもよい。

上記実施形態では、受光素子アレイが、いずれも同一形状，同一サイズに分割等しいサイズのサブアレイ３に分割されているが、サブアレイ３の数、サブアレイ３を構成する画素セル２の数、及び画素セル２の配置形状は、当該イメージセンサ１が適用されるアプリケーションに応じて任意に設定することができることは自明である。

第１実施形態のイメージセンサの構成及びＩＣチップ上におけるイメージセンサ各部の配置を模式的に示した説明図。 （ａ）はアレイブロックの構成を示すブロック図、（ｂ）はアレイブロックの動作を示すタイミング図。 ＡＤ変換回路の構成を示すブロック図（一部回路図を含む）。 ＡＤ変換回路の出力を示す説明図。 ズームアップデータ収集処理の内容を示すフローチャート。 ズームアップデータ収集処理の動作の具体例を示す説明図。 第２実施形態におけるズームアップデータ収集処理の内容を示すフローチャート。 第３実施形態におけるＡ／Ｄ変換回路の構成を示すブロック図（一部回路図を含む）。 第４実施形態のイメージセンサの構成及びＩＣチップ上におけるイメージセンサ各部の配置を模式的に示した説明図。 従来のイメージセンサの構成、及びそのイメージセンサに使用されるＡ／Ｄ変換回路の構成を示すブロック図。

符号の説明

１，１ａ…イメージセンサ、２…画素セル、２ａ…光電変換素子（フォトダイオード）、２ｂ…無接点スイッチ、３…サブアレイ、５…サブアレイ制御部、７，７ａ…Ａ／Ｄ変換回路、８…バッファ回路、９…制御クロック生成部、９０…分周器、１０，１０ａ…パルス遅延回路、１２…エンコーダ、１６…カウンタ、１８…ラッチ回路、２０…増幅器、２１…電極、３０…センサ制御部、Ｂ（Ｂ１〜Ｂｍ）…アレイブロック、ＤＵ…遅延ユニット、Ｐｏ…出力パッド。

Claims (10)

1. 少なくとも光電変換素子を有した画素セルを２次元アレイ状に配列してなり、且つ前記画素セルをいずれも同数だけ含んで構成されたｍ（ｍは整数）個のサブアレイからなる受光素子アレイと、前記サブアレイから供給される受光信号の信号レベルに応じた遅延時間でパルス信号を遅延させる遅延ユニットを複数段縦続接続してなるパルス遅延回路、及び予め設定されたサンプリングクロックの１周期を測定期間として、該測定期間の間に前記パルス信号が通過する前記遅延ユニットの段数を検出し、その段数に対応した数値データをＡ／Ｄ変換データとして出力する符号化回路を備え、前記受光素子アレイからの受光信号をＡ／Ｄ変換するためにサブアレイ毎に設けられた複数のＡ／Ｄ変換回路からなるＡ／Ｄ変換部とで構成されたイメージセンサの制御方法であって、
   選択されたｎ（ｎはｍより小さい整数）個のサブアレイでのみＡ／Ｄ変換を実行する場合、前記測定期間をｍ／ｎ倍にしてＡ／Ｄ変換データを得ることを特徴とするイメージセンサの制御方法。
2. 少なくとも光電変換素子を有した画素セルを２次元アレイ状に配列してなり、且つ前記画素セルをいずれも同数だけ含んで構成されたｍ（ｍ＝ｎ×ｋ，ｍ＞ｎ：ｍ，ｎ，ｋは整数）個のサブアレイからなる受光素子アレイと、前記サブアレイから供給される受光信号の信号レベルに応じた遅延時間でパルス信号を遅延させる遅延ユニットを複数段縦続接続してなるパルス遅延回路、及び予め設定されたサンプリングクロックの１周期を測定期間として、該測定期間の間に前記パルス信号が通過する前記遅延ユニットの段数を検出し、その段数に対応した数値データをＡ／Ｄ変換データとして出力する符号化回路を備え、前記受光素子アレイからの受光信号をＡ／Ｄ変換するために前記サブアレイ毎に設けられた複数のＡ／Ｄ変換回路からなるＡ／Ｄ変換部とで構成されたイメージセンサの制御方法であって、
   選択されたｎ個のサブアレイでのみＡ／Ｄ変換を実行する場合、選択されたサブアレイを構成する受光素子のそれぞれについてｋ回ずつＡ／Ｄ変換を実行し、そのｋ回分のＡ／Ｄ変換データの合計値又は平均値を求めることにより、後段の処理で使用するＡ／Ｄ変換データを得ることを特徴とするイメージセンサの制御方法。
3. 少なくとも光電変換素子を有した画素セルを２次元アレイ状に配列してなり、且つ、前記画素セルをいずれも同数だけ含んで構成された複数のサブアレイからなる受光素子アレイと、
   前記サブアレイから供給される受光信号の信号レベルに応じた遅延時間でパルス信号を遅延させる遅延ユニットを複数段縦続接続してなるパルス遅延回路、及び予め設定されたサンプリングクロックの１周期を測定期間として、該測定期間の間に前記パルス信号が通過する前記遅延ユニットの段数を検出し、その段数に対応した数値データをＡ／Ｄ変換データとして出力する符号化回路によって構成され、前記受光素子アレイからの受光信号をＡ／Ｄ変換するために前記サブアレイ毎に設けられた複数のＡ／Ｄ変換回路からなるＡ／Ｄ変換部と、
   を備え、単一のＩＣチップとして構成されることを特徴とするイメージセンサ。
4. 前記Ａ／Ｄ変換回路を、該Ａ／Ｄ変換回路に対応付けられた前記サブアレイに隣接して配置したことを特徴とする請求項３に記載のイメージセンサ。
5. 前記Ａ／Ｄ変換回路を、前記受光素子アレイの外周部に配置したことを特徴とする請求項３に記載のイメージセンサ。
6. 前記Ａ／Ｄ変換回路の出力を取り出すためのパッドを、前記受光素子アレイの外周部に配置し、
   前記Ａ／Ｄ変換回路を、前記パッド間、或いはパッドの下部に配置したことを特徴とする請求項５に記載のイメージセンサ。
7. 前記パルス遅延回路は、縦続接続された前記遅延ユニットをリング状にしてなるリング遅延回路からなり、
   前記符号化回路は、前記測定時間の間に前記パルス信号が前記リング遅延回路を周回した回数をカウントした周回数と、前記測定期間の終了時に検出される前記リング遅延回路内でのパルス位置情報との組合せで前記Ａ／Ｄ変換データを生成することを特徴とする請求項３〜６のいずれかに記載のイメージセンサ。
8. 前記受光素子アレイを構成する各画素セルに受光信号を出力させるための制御信号Ｃ１，Ｃ２，…Ｃｐを発生させる制御クロックＣＫＣと前記サンプリングクロックＣＫＳとが、互いに同期していることを特徴とする請求項３〜７のいずれかに記載のイメージセンサ。
9. 前記制御クロックＣＫＣを１／ｄ分周（ｄは正の整数）したクロックをサンプリングクロックＣＫＳとして使用すること特徴とする請求項８に記載のイメージセンサ。
10. 前記受光素子アレイは、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサとして構成されていることを特徴とする請求項３〜９のいずれかに記載のイメージセンサ。

Images