以下、実施の形態に係る固体撮像装置について説明する。なお、同一要素には同一符号を用いることとし、重複する説明は省略する。
図1は、実施の形態に係る固体撮像装置の回路図である。
この固体撮像装置は、撮像素子と制御回路とを備えている。この撮像素子は、N個の画素列(N1,N2,N3)が隣接して並んでなる撮像ブロックB1,B2,B3が、K個(本例ではK=3)並んでなる撮像領域を有している。各撮像ブロックの左からの順番をk番目とする。なお、図2に各画素列を構成する各画素P(x,y)の詳細構成を示す。また、撮像領域に隣接する画素行は、オプティカルブラック領域OBを構成しており、画素上に図示しない遮光膜を備えている。オプティカルブラック領域OBの構成は、遮光膜を備えている以外、他の撮像領域の画素P(x,y)の構成と同一である。
図2に示すように、画素P(x,y)は、ホトダイオードPD(x,y)と、ホトダイオードPD(x,y)のカソードとリセット電位Vr1(VrDARK,VrBRIGHT)との間に接続されたリセットスイッチQreset(x,y)と、ホトダイオードPD(x,y)のカソードが入力端子に接続されたアンプAMP(x,y)と、アンプAMP(x,y)とビデオラインLnとの間に接続されたアドレス指定スイッチQaddress(x,y)とを備えている。
画素P(x,y)は、ホトダイオードPD(x,y)のカソードと、リセットスイッチQreset(x,y)との間に直列に介在する転送スイッチQtrans(x,y)を備えている。転送スイッチQtrans(x,y)の上流端は、ホールドスイッチQhold(x,y)を介して、AMP(x,y)を構成する増幅用トランジスタQamp(x,y)のゲートに入力されている。増幅用トランジスタQamp(x,y)とビデオラインLnとの間には、アドレス指定スイッチ(トランジスタ)Qaddress(x,y)が介在している。
アドレス指定スイッチQaddress(x,y)に、ハイレベルのシフト信号(垂直)Vshift(y)(又はVaddress(y))を入力すると、アンプAMP(x,y)で増幅した画素信号を、ビデオラインLnに転送する状態ができる。ホトダイオードPD(x,y)に入射した光量に応じて蓄積された電荷に応じた電圧は、アンプAMP(x,y)で増幅され、ビデオラインLnに電圧Vとして出力される。その後、ハイレベルのリセット信号(垂直)Vreset(y)をリセットスイッチ(トランジスタ)Qresetに入力し、これをオンすると、ホトダイオードPD(x、y)に蓄積された電荷がリセットされる。
詳細に説明すれば、転送スイッチQtrans(x,y)のゲートには、転送信号Vtrans(x,y)が入力され、リセットスイッチQreset(x,y)のゲートには、リセット信号Vreset(x,y)が入力される。また、ホールドスイッチQhold(x,y)のゲートにはホールド信号Vhold(y)が入力され、アドレス指定スイッチQaddress(x,y)のゲートにはアドレス信号Vaddress(y)が入力される。なお、アドレス信号Vaddress(y)は第1シフト信号(垂直)Vshift(y)と表記することもできる。
Vreset(y)、Vtrans(y)、Vhold(y)、Vaddress(y)の全ての信号がローレベルの時に、Vreset(y)をハイレベルとしてVhold(y)をハイレベルとすることにより、増幅用トランジスタQamp(x,y)のゲートの電荷がリセットされる。Vhold(y)をローレベルとし、Vreset(y)をローレベルとした後、Vtrans(y)をハイレベルとしてVhold(y)をハイレベルとすることで、ホトダイオードPD(x、y)に蓄積された電荷が増幅用トランジスタQamp(x,y)のゲートに転送させる。
その後、Vhold(y)をローレベルにしてVtrans(y)をローレベルにした後、Vtrans(y)とVreset(y)をハイレベルにして、ホトダイオードPD(x、y)に蓄積された電荷をリセットした後、Vtrans(y)とVreset(y)をローレベルにして次の蓄積を開始する。
撮像領域では、以上の動作が行われるが、オプティカルブラック領域OBでは、リセット電位Vr1としてバイアス電圧VrDARKとVrBRIGHTを切り替えて用いる。
オプティカルブラック領域OBでは、ホトダイオードPD(x,y)は遮光されているので、撮像領域におけるリセット電位Vrに等しいバイアス電圧VrDARKをホトダイオードPD(x,y)に印加し、ホトダイオードPD(x,y)から読み出される暗レベルの信号を増幅用トランジスタQampに入力し、この時に、アドレス指定スイッチQaddress(x,y)から読み出される暗レベル信号VDARKをホールド回路でホールドした後、処理回路に入力する。
一方、仮想的明レベル信号は、以下のように設定する。すなわち、ホトダイオードPD(x,y)に基準レベル光を入射させた場合に、ホトダイオードPD(x,y)から出力されると仮定される出力電位をバイアス電圧VrBRIGHTとし、このバイアス電圧VrBRIGHTを増幅用トランジスタQampにリセット時に入力し、この時に、アドレス指定スイッチQaddress(x,y)から出力される仮想的明レベル信号VBRIGHTをホールド回路でホールドした後、処理回路に入力する。
仮想的明レベル信号VBRIGHTは、撮像領域の画素内に含まれるホトダイオードに、基準レベル光が入射したと仮定した場合に、処理回路に入力される電圧に等しく設定される。
このように、オプティカルブラック領域OB内のダミー画素p(x,y)は、バイアス電圧がリセットスイッチQreset(x,y)を介して印加されるホトダイオードPD(x,y)と、ホトダイオードPD(x,y)の出力又はバイアス電圧VrBRIGHTが入力される増幅用トランジスタQamp(x,y)と、増幅用トランジスタQamp(x,y)によって増幅された出力を読み出すアドレス指定スイッチQaddress(x,y)とを有している。リセットスイッチQreset(x,y)がオンされることで、バイアス電圧Vr1(VrBRIGHT)が増幅用トランジスタQamp(x,y)に入力されて出力される電圧VBRIGHT又は電流を仮想的明レベル信号VBRIGHTとし、この時のバイアス電圧VrBRIGHTは、ホトダイオードPD(x,y)に基準レベル光が入射したと仮定した場合のホトダイオードPD(x,y)の出力電圧である。
なお、アドレス指定スイッチQaddress(x,y)は、ホトダイオードの出力又はバイアス電圧出力を読み出し、リセットスイッチQreset(x,y)がオンされることで、バイアス電圧VrBRIGHTがアドレス指定スイッチQaddress(x,y)から出力される電圧又は電流を仮想的明レベル信号VBRIGHTとしている。増幅用トランジスタQamp(x,y)は必要に応じて設けられているが、増幅用トランジスタQamp(x,y)を用いるかどうかに関しては、トランジスタのばらつきの影響を少なくするため、トランジスタをなしとして、バイアス電圧とそれをスイッチするためのトランジスタのみで構成することもできる。
リセットスイッチQreset(x,y)がオンした場合には、ホトダイオードPD(x,y)とバイアス電圧源(Vr)が接続されていない場合、バイアス電圧VrBRIGHTが増幅用トランジスタQamp(x,y)に入力され、この入力電圧に応じて仮想的明レベル信号VBRIGHTがアドレス指定スイッチQaddress(x,y)から出力される。すなわち、この時のバイアス電圧VrBRIGHTは、ホトダイオードPD(x,y)に基準レベル光が入射した場合に、ホトダイオードPD(x,y)で発生すると推定される電圧である。
なお、オプティカルブラック領域OBにおけるバイアス電圧Vr1を変更するのではなく、増幅用トランジスタQamp(x,y)のバイアス電圧Vr2を変更して、仮想的明レベル信号VBRIGHTを生成してもよい。この時のバイアス電圧Vr2は、ホトダイオードPD(x,y)に基準レベル光が入射したと仮定される場合に、ホトダイオードPD(x,y)で発生する電圧を増幅用トランジスタQamp(x,y)に入力した場合に、アドレス指定スイッチQaddressに与えられる電圧である。
更に、増幅用トランジスタQamp(x,y)の前段の回路を省略し、Vadressスイッチの入力側に直接Vr1(VrDARK,VrBRIGHT)を印加することで、暗レベル信号VDARKと仮想的明レベル信号VBRIGHTを生成することもできる。すなわち、仮想的明レベル信号VBRIGHTの生成を行うだけでなく、暗レベル信号VDARK相当の電圧をバイアス電圧Vrとして、暗レベル信号VDARKを生成してもよい。これらのバイアス電圧Vrの発生回路は共通回路で構成することが好ましい。
図1を参照すると、撮像領域における画素P(x,y)は、行方向(x)に沿って9個、列方向(y)に沿って9個あり、アドレス(x,y)で規定される二次元状に配置されている。本例では、撮像領域中央に部分読み出し領域Rを設定し、部分読み出し領域Rの内部の画素P(x,y)の信号を読み出すこととする。
この部分読み出し領域Rは、画像データ演算部10によって指定される。画像データ演算部10は、入力されるディジタルビデオ信号に応じて部分読み出し領域Rを指定する。すなわち、例えば、ディジタルビデオ信号における1フレームの画像において、輝度が所定値以上の画素P(x,y)のアドレスを記憶する。ミサイル等の物体が撮影対象の場合、撮像素子がシリコンからなるとして、その赤外線像は物体像の重心を最大輝度の起点として連続的に周辺に広がり、周辺部では輝度が所定値よりも未満となる。
すなわち、最大輝度の点を含み、輝度が所定値±Δ以内の点を含む矩形領域を、部分読み出し領域Rとして選択する。対象物が移動中の場合、前回のフレーム内における物体像の重心位置(x1,y1)と、今回のフレーム内における物体像の重心位置(x2,y2)とのフレーム内での位置の差分のベクトル(x2−x1、y2−y1)を演算し、今回のフレーム内の物体像の重心位置(x1、y2)に、このベクトルを加算した位置を、次回の物体像の重心位置(x3,y3)として推定し、これを重心位置とする矩形領域を新たな部分読み出し領域Rとして設定する。
画像データ演算部10には、ディジタルビデオ信号が入力されているが、このディジタルビデオ信号は、各撮像ブロックB1(B2,B3)からの画素列毎(3列)の信号を処理回路PU1,PU2,PU3に入力することで得ることができる。個々の処理回路PU1,PU2,PU3は、アンプAMP1、AMP2,AMP3、AD変換回路ADC1,ADC2,ADC3、出力回路OC1,OC2,OC3を接続してなる。各画素列から出力されたアナログ画素信号は、処理回路PU1,PU2,PU3によって、ディジタルビデオ信号に変換される。
部分読み出し領域Rを規定する部分画像選択位置情報(x=x4〜x6,y=y4〜y6)は、タイミング発生回路11に入力される。また、この固体撮像装置は、部分読み出し領域Rに対応する画素行を選択する行選択回路12と、部分読み出し領域Rに対応する画素列を選択する列選択回路13とを備えている。タイミング発生回路11は、入力された部分画像選択位置情報に基づいて行選択回路制御信号と、列選択回路制御信号を生成する。
要するに、行選択回路制御信号は、y=y4〜y6の画素行の信号が読み出されるように行選択回路12に画素の選択をさせ、列選択回路制御信号は、x=x4〜x6の画素列の信号が読み出されるように列選択回路13に画素の選択をさせる。換言すれば、タイミング発生回路11は、画像データ演算部10の出力に基づいて、行選択回路12及び列選択回路13に選択をさせる制御信号を発生しているということになる。
なお、図1には図示しないが、本固体撮像装置は、暗レベル信号VDARK及び仮想的明レベル信号VBRIGHTに基づいて、処理回路PU1,PU2,PU3のオフセット調整及び利得調整を行う制御回路を備えている。この制御回路は、仮想的明レベル信号VBRIGHTと暗レベル信号VDARKの差分に対する基準値Dの比率に応じて、処理回路PU1,PU2,PU3の利得を制御する。また、制御回路は、暗レベル信号VDARKの大きさに応じて処理回路PU1,PU2,PU3のオフセットを制御する。以下、詳説する。
図3は、x列及びx+1列におけるオプティカルブラック領域OBの画素p(x)、p(x+1)と、ホールド回路H(x)、H(x+1)と、処理回路PU(x)、PU(x+1)と、制御回路FBC(x)、FBC(x+1)と、撮像領域におけるy行目のx列、x+1列における画素p(x,y)、p(x+1、y)とを示すブロック図である。なお、x列、x+1列は、例えば、図1におけるN1列とN2列を示すものとし、これらに対応する処理回路PU(x)、PU(x+1)は、それぞれPU1、PU2を示すものとする。
撮像領域の画素p(x,y)、p(x+1,y)から出力される画素出力Vxを、それぞれV(x,y)、V(x,x+1)とし、オプティカルブラック領域OBから出力される画素出力をVDARK(x)、VBRIGHT(x)、VDARK(x+1)、VBRIGHT(x+1)とする。
処理回路PU(x)のオフセット及び利得調整前の期間において、VDARK(x)、VBRIGHT(x)は制御回路FBC(x)に入力される。ここでは、VDARK(x)、VBRIGHT(x)は、処理回路PU(x)への入力前に制御回路FBC(x)に入力されることとする。
処理回路PU(x)は、入力信号VXに対して、Vx’=ax×(VX+bx)の処理を行う。なお、Vx’=ax×Vx+axbxであり、ax,bxは係数である。
制御回路FBC(x)は、入力信号VDARK(x)、VBRIGHT(x)に基づいて、以下のように、係数ax,bxの設定を行う。
利得:ax=D/(VBRIGHT(x)−VDARK(x))
オフセット:axbx=−VDARK(x)
なお、Dは、明レベル信号と暗レベル信号の差分の理想値である。すなわち、実際の画素出力Vxの処理回路PU(x)における利得は、実際の差分(VBRIGHT(x)−VDARK(x))に対する理想値の差分の比率で補正される。
また、オプティカルブラック領域OBの1列に複数の画素が含まれる場合には、その列内の画素数δで出力の積算値を除して、平均値AVGを利用する。各式における仮想的明レベル信号VBRIGHT(x)として、仮想的明レベル信号の平均値AVG=Σ(1画素列における各仮想的明レベル信号VBRIGHT(x))÷(1画素列における積算に用いた画素数δ)を用いる。また、暗レベル信号VDARK(x)として、暗レベル信号の平均値AVG=Σ(1画素列における暗レベル信号VDARK(x))÷(1画素列における積算に用いた画素数δ)を用いる。
また、処理回路PU(x+1)も、処理回路PU(x)の処理と同様にオフセット及び利得調整される。すなわち、制御回路FBC(x+1)は、入力信号VDARK(x+1)、VBRIGHT(x+1)に基づいて、以下のように、処理回路PU(x+1)の係数ax+1,bx+1の設定を行う。
利得:ax+1=D/(VBRIGHT(x+1)−VDARK(x+1))
オフセット:ax+1bx+1=−VDARK(x+1)
図4は、x列及びx+1列におけるオプティカルブラック領域OBの画素p(x)、p(x+1)と、ホールド回路H(x)、H(x+1)と、処理回路PU(x)、PU(x+1)と、制御回路FBC(x)、FBC(x+1)と、撮像領域のx列y行における画素p(x、y)、p(x+1、y)とを示すブロック図である。なお、制御回路FBC(x)及びFBC(x+1)は、それぞれ処理回路PU(x)、PU(x+1)の後段に設けられ、それぞれ入力信号V’BRIGHT(x),V’DARK(x)と、入力信号VBRIGHT(x+1),VDARK(x+1)とに基づいて、係数ax,bx,ax+1,bx+1を決定する。
さらに、上記の調整方法では、列毎に独立したゲイン・オフセットの調整を行っていたが、隣画素との差分情報を用いて、さらに微調整を行うことができる。具体的な方法を説明する。すなわち、V’BRIGHT(x)、V’DARK(x)は以下の関係式を満たす。
V’BRIGHT(x)=ax×VBRIGHT(x)+axbx
VBRIGHT(x)=(V’BRIGHT(x)−axbx)/ax
V’DARK(x)=ax×VDARK(x)+axbx
VDARK(x)=(V’ DARK(x)−axbx)/ax
V’BRIGHT(x+1)=ax+1×VBRIGHT(x+1)+ax+1bx+1
VBRIGHT(x+1)=(V’BRIGHT(x+1)−ax+1bx+1)/ax+1
V’DARK(x+1)=ax+1×VDARK(x+1)+ax+1bx+1
VDARK(x+1)=(V’ DARK(x+1)−ax+1bx+1)/ax+1
よって、利得ax,ax+1、オフセットaxbx,ax+1bx+1は、以下のように設定される。なお、新しい値にはnew、古い値にはoldの添え字を用いる。
<初期値設定>
利得:ax=1
オフセット:axbx=0
利得:ax+1=1
オフセット:ax+1bx+1=0
<フィードバックによる値の微調整>
利得:ax(new)=ax(old)+α×DIFF1
DIFF1 = D’−(V’BRIGHT(x)−V’DARK(x))
利得:ax+1(new)=ax+1(old)+α×DIFF1
DIFF1 = D’−(V’BRIGHT(x+1)−V’DARK(x+1))
オフセット:axbx(new)=axbx(old)+β×DIFF2
DIFF2 =−V’DARK(x)
オフセット:ax+1bx+1(new)=ax+1bx+1(old)+β×DIFF2
DIFF2 =−V’DARK(x+1)
ここで、αおよびβはフィードバック時の修正重みで、一般的に0.1〜0.5程度の値を用いる。また、D’は、明レベル信号VBRIGHTと暗レベル信号VDARKのそれぞれの所望出力値の差であり、上記のフィードバックにより、(V’BRIGHT(x+1)−V’DARK(x+1)の値が、D’に近づくように係数ax,ax+1が、決定される。
図5は、x列及びx+1列におけるオプティカルブラック領域OBの画素p(x)、p(x+1)と、ホールド回路H(x)、H(x+1)と、処理回路PU(x)、PU(x+1)と、制御回路FBCと、撮像領域のx列y行における画素p(x,y)、p(x+1,y)とを示すブロック図である。
なお、本例では、1つの制御回路FBCは、それぞれ処理回路PU(x)、PU(x+1)の後段に設けられており、隣接画素列間の輝度のバラつきも考慮して、以下のように、利得ax,ax+1、オフセットaxbx,ax+1bx+1を設定する。
ここでは、隣接画素のオフセットばらつきに起因するノイズを軽減するために、左隣画素の値と、当該画素の値との差を最小にするようにオフセットaxbxを微調整し、それを順次,全画素列に対して行うことで、画面全体の微調整を行う。
まず、下記の隣接画素誤差Δ(x+1)を演算する。なお、添え字のDARKは暗レベル時の値を示す。
Δ’DARK (x+1)=Σ(V’ DARK(x+1,y+1)−V’ DARK(x,y))
yは1行全ての画素(y=1…m)であり、積算を行う隣接画素は暗レベル時の同一行「y」同士であってもよい。これにより得られたオフセットばらつきをもとに、x+1列のオフセットax+1bx+1を下記のように補正する。
ax+1bx+1(new) =ax+1bx+1(old) +Δ’dark (x+1)/m
ここで、mは1行の画素数を示す。上記の演算を、画素の左側から順に1列ずつ補正演算を行い、画像全体の補正をおこなう。
以上のようにして、利得ax、オフセットaxbxが設定されるように、制御回路FBC(x)は、利得調整信号CGAIN(x)と、オフセット調整信号COFFSET(x)を処理回路PU(x)に出力する。図1における処理回路PU1、PU2、PU3の数は、3つであるので、ここではx=1〜3であることとする。
図6は、処理回路PU(x)の詳細構成を示す。
処理回路PU(x)は、アンプAmp(x)、AD変換回路ADC(x)、出力回路OC(x)を直列に接続しており、入力信号VXに対して、Vx’=ax×(Vx+bx)の処理を行う。利得ax、オフセットaxbxは、アンプAmp(x)、AD変換回路ADC(x)、出力回路OC(x)のいずれかの回路の出力を調整すればよい。
図7は、アンプAmp(x)を調整する場合の例を示す回路図である。
アンプAmp(x)の利得は、オペアンプOPの入力側の抵抗R1の抵抗値と、入出力間の帰還抵抗R2との比率(R2/R1)によって決定される。したがって、利得調整信号CGAIN(x)は、抵抗R2の抵抗値を調整することで、利得をaxとすることができる。
また、オフセットは、非反転増幅端子の参照電位Vrefを決定する分圧抵抗R3,R4のうちの一方の可変抵抗R3を調整することで制御できる。すなわち、分圧抵抗R3,R4は電源電位Vddと基準電位Vssとの間に接続されており、オフセット電位となる参照電位Vrefは、抵抗R3とR4との抵抗比によって決定される。
オフセット調整信号COFFSET(x)は、暗レベル信号分のオフセットaxbxが入力から減じられるよう、axbxの大きさがVref(=(Vdd−Vss)×(R4/(R3+R4)))を満たすように、可変抵抗R3の抵抗値を決定する。
図8は、AD変換回路ADC(x)を調整する場合の例を示す回路図である。
本例では、パイプライン型のAD変換回路が示されている。簡単のため、AD変換回路は4ビット出力のものとする。4つのAD変換ステージSTAGE1(x)、STAGE2(x)、STAGE3(x)、STAGE4(x)を順番に接続し、各AD変換ステージの出力をシフトレジスタSR(x)に入力する。各AD変換ステージは、AD変換用の比較器Comp、比較器Compの出力が入力されるDA変換回路Dac、DA変換回路Dacの出力と入力信号を減算する減算回路Sub、減算回路Subの出力を定数倍(×2)する乗算回路Mulを備えている。
例えば、1.31Vのアナログの入力電圧がAD変換回路ADC(x)に入力された場合、初段のAD変換ステージSTAGE1(x)では、比較器Compの参照電圧Vrefを0.8Vとすると、1.31Vは0.8V以上なので、比較器Compからはハイレベル「1」が出力され、DA変換回路Dacからは0.8Vが出力され、減算回路SubはDA変換回路Dacの出力0.8Vを入力電圧1.31Vから減じる。すなわち、0.51Vが減算回路Subから出力され、乗算回路Mulは、これを2倍して、1.02Vを出力する。
2段目のAD変換ステージSTAGE2(x)では、比較器Compの参照電圧Vrefを0.8Vとすると、1.02Vは0.8V以上なので、比較器Compからはハイレベル「1」が出力され、DA変換回路Dacからは0.8Vが出力され、減算回路SubはDA変換回路Dacの出力0.8Vを入力電圧1.02Vから減じる。すなわち、0.22Vが減算回路Subから出力され、乗算回路Mulは、これを2倍して、0.44Vを出力する。
3段目のAD変換ステージSTAGE3(x)では、比較器Compの参照電圧Vrefを0.8Vとすると、0.44Vは0.8Vよりも小さいので、比較器Compからはローレベル「0」が出力され、DA変換回路Dacからは0Vが出力され、減算回路SubはDA変換回路Dacの出力0Vを入力電圧0.44Vから減じる。すなわち、0.44Vが減算回路Subから出力され、乗算回路Mulは、これを2倍して、0.88Vを出力する。
4段目のAD変換ステージSTAGE4(x)では、比較器Compの参照電圧Vrefを0.8Vとすると、0.88Vは0.8V以上なので、比較器Compからはハイレベル「1」が出力され、DA変換回路Dacからは0.8Vが出力され、減算回路SubはDA変換回路Dacの出力0.8Vを入力電圧0.88Vから減じる。すなわち、0.08Vが減算回路Subから出力され、乗算回路Mulは、これを2倍して、0.16Vを出力する。
すなわち、これらのAD変換ステージのパイプラインを通って、「1」、「1」、「0」、「1」がシフトレジスタSR(x)に順次入力される。なお、「1101」は、十進数では13であり、最下位のビットから順番に、0.1V×20=0.1V、0.1V×21=0.2V、0.1V×22=0.4V、0.1V×23=0.8Vを示しているので、「1101」は1.3Vのアナログ信号を表している。
このAD変換回路の利得は、比較器Compの参照電圧Vrefに反比例する。したがって、Vrefを決定する直列抵抗R5,R6のうちの一方の可変抵抗R5を利得調整信号CGAIN(x)によって制御すれば、利得調整を行うことができる。すなわち、利得調整信号CGAIN(x)は、利得ax∝(1/Vref)=1/((Vdd−Vss)×(R6/(R5+R6)))を満たすように、可変抵抗R5の抵抗値を決定する。
シフトレジスタSR(x)の出力からは、ディジタル加算回路Addを用いてオフセットaxbxの大きさ分を減じる。オフセットaxbxが負の場合は加算すればよい。すなわち、ディジタル加算回路Addに入力されるオフセット調整信号COFFSET(x)は、オフセットaxbxを示すこととなる。
図9は、ディジタル出力回路OC(x)を調整する場合の例を示す回路図である。
出力回路OC(x)は、入力に定数bxを加算するディジタル加算回路Addと、加算回路Addの出力をax倍するディジタル乗算回路Mulとを備えており、Vx’=ax×(Vx+bx)を出力する。すなわち、利得調整信号CGAIN(x)はディジタル乗算回路Mulの倍数としてaxを指定するものであり、オフセット調整信号COFFSET(x)は、ディジタル加算回路Addの加算値としてbxを指定するものである。なお、bxは、オフセットaxbxを利得axで除したものである。
図10は、撮像領域の画素p(x,y)への入射光量Iと画素出力Vとの関係を示すグラフである。
画素出力Vは、暗レベル信号VDARKを含んでおり、入射光量I=0から入射光量I=I0の基準レベル光が入射した場合の明レベル信号VBRIGHTまで線形で増加する。理想的には、基準レベル光の強度I0と(明レベル信号VBRIGHT−暗レベル信号VDARK)の比率は、一定である。
図11は、画素出力Vと処理回路からの最終出力V’の関係を示すグラフである。
最終出力V’は、画素出力Vからオフセット成分を除去して、利得を基準値に補正したものである。オフセットと利得の調整は上述の通りである。
次に、画素出力の読み出しについて説明する。
図12は、図1に示した固体撮像装置のタイミングチャートである。
本例では、図1に示した部分読み出し領域Rの信号を読み出す例が示されている。
時刻t0〜t2までは、第1〜第3シフト信号(垂直)Vshift(1〜3)、第1〜第3リセット信号(垂直)Vreset(1−3)、第4シフト信号(垂直)Vshift(4)、第4リセット信号(垂直)Vreset(4)、第5シフト信号(垂直)Vshift(5)、第5リセット信号(垂直)Vreset(5)、第6シフト信号(垂直)Vshift(6)、第6リセット信号(垂直)Vreset(6)、第7〜第9シフト信号(垂直)Vshift(7〜9)、第7〜第9リセット信号(垂直)Vreset(7−9)、第1シフト信号(水平)Hshift(1)、第2シフト信号(水平)Hshift(2)、第3シフト信号(水平)Hshift(3)は、全てローレベルである。なお、信号の各数字は、座標x又はyのアドレスを示す。また、説明においては図2を適宜参照する。
時刻t2〜t3では、行選択回路12から、ハイレベルの第4シフト信号(垂直)Vshift(4)が入力されるため、図1の下から4行目の画素行のシフトスイッチQaddress(x,4)がONとなり、光の入射に応じてホトダイオードPD(x,4)に蓄積された電荷が、アンプAMP(x、4)で増幅され、ビデオラインLnに電圧として出力され、ホールド回路H(1)〜H(9)に保持される。なお、各ホールド回路には、電流源が並列に接続されている。続いて、時刻t3〜t4では、ハイレベルの第4リセット信号Vreset(4)が入力されるため、リセットスイッチQreset(x,4)がONとなり、ホトダイオードPD(x、4)に蓄積された電荷はリセットされる。
時刻t4〜t5では、列選択回路13から、ハイレベルの第2シフト信号(水平)Hshift(2)が、画素列の4列目のスイッチQ(4)、画素列の5列目のスイッチQ(5)、画素列の6列目のスイッチQ(6)に同時に入力されるため、ホールド回路H(4)、H(5)、H(6)に蓄積された画素P(4,4)、P(5,4)、P(6,4)の電荷が、それぞれ処理回路PU1、PU2、PU3に入力される。
時刻t6〜t7では、行選択回路12から、ハイレベルの第5シフト信号(垂直)Vshift(5)が入力されるため、図1の下から5行目の画素行のシフトスイッチQaddress(x,5)がONとなり、光の入射に応じてホトダイオードPD(x,5)に蓄積された電荷が、アンプAMP(x、5)で増幅され、ビデオラインLnに電圧として出力され、ホールド回路H(1)〜H(9)に保持される。
続いて、時刻t7〜t8では、ハイレベルの第5リセット信号Vreset(5)が入力されるため、リセットスイッチQreset(x,5)がONとなり、ホトダイオードPD(x、5)に蓄積された電荷がリセットされる。時刻t8〜t9では、列選択回路13から、ハイレベルの第2シフト信号(水平)Hshift(2)が、画素列の4列目のスイッチQ(4)、画素列の5列目のスイッチQ(5)、画素列の6列目のスイッチQ(6)に同時に入力されるため、ホールド回路H(4)、H(5)、H(6)に蓄積された画素P(4,5)、P(5,5)、P(6,5)の電荷が、それぞれ処理回路PU1、PU2、PU3に入力される。
時刻t10〜t11では、行選択回路12から、ハイレベルの第6シフト信号(垂直)Vshift(6)が入力されるため、図1の下から6行目の画素行のシフトスイッチQaddress(x,6)がONとなり、光の入射に応じてホトダイオードPD(x,6)に蓄積された電荷が、アンプAMP(x、6)で増幅され、ビデオラインLnに電圧として出力され、ホールド回路H(1)〜H(9)に保持される。
続いて、時刻t11〜t12では、ハイレベルの第6リセット信号Vreset(6)が入力されるため、リセットスイッチQreset(x,6)がONとなり、ホトダイオードPD(x、6)に蓄積された電荷がリセットされる。時刻t12〜t13では、列選択回路13から、ハイレベルの第2シフト信号(水平)Hshift(2)が、画素列の4列目のスイッチQ(4)、画素列の5列目のスイッチQ(5)、画素列の6列目のスイッチQ(6)に同時に入力されるため、ホールド回路H(4)、H(5)、H(6)に蓄積された画素P(4,6)、P(5,6)、P(6,6)の電荷が、それぞれ処理回路PU1、PU2、PU3に入力される。
上述のように、本固体撮像装置は、N個の画素列に、列選択回路13の選択によってONするスイッチQ(4)、Q(5)、Q(6)を介して、それぞれ接続されたN個の処理回路PU1,PU2,PU3を備えている。n番目の処理回路PU1(PU2,PU3)は、個々の撮像ブロックB1,B2,B3におけるn番目の画素列N1(N2,N3)に、スイッチQ(1)〜Q(9)を介して全て接続可能とされている。また、N個の処理回路PU1,PU2,PU3は、行選択回路12及び列選択回路13によって選択された画素列毎の信号からディジタルビデオ信号を生成している。
上述の固体撮像装置によれば、n番目の処理回路(例えば、PU1とする)には、個々の撮像ブロックB1,B2,B3におけるn番目の画素列(N1)がスイッチQ(1),Q(4),Q(7)を介して全て接続可能とされているので、部分読み出し領域Rが小さい場合においても、隣接する画素列N2からの信号は、異なる処理回路PU2で別々に処理される。しかも、画像データ演算部10によって、読み出す領域を部分読み出し領域Rに制限しているので、更に高速な撮像を行うことが可能となる。
また、上述の固体撮像装置は、個々の画素列N1,N2,N3にそれぞれ接続された複数のホールド回路H(1)〜H(9)を備えており、上記スイッチQ(1)〜Q(9)は、列選択回路13にタイミング発生回路11から入力される制御信号に同期して、画素列毎の個々のホールド回路H(1)〜H(9)に蓄積された電荷を、個々の画素列N1,N2,N3に対応する処理回路PU1,PU2,PU3に接続しており、各画素行毎の信号は一旦はホールド回路(1)〜H(9)に蓄積されるが、スイッチを制御信号Q(1)〜Q(9)によって接続することで、画素行毎に蓄積された電荷を、画素列N1,N2,N3毎に処理回路PU1,PU2,PU3へと転送することができる。
また、オプティカルブラック領域OBの画素は、撮像領域の画素と同じ手順で読み出されるが、読み出しのタイミングは撮像領域の読み出しのタイミングの前に読み出される。なお、オプティカルブラック領域OBの画素出力を制御回路FBC内に記憶しておき、次の読み出しタイミングで撮像領域の同一の画素出力を補正することもできる。
なお、画素列の数は、上述のものに限られない。
図13は、1つの撮像ブロックを8つの画素列からなることとし、64の撮像ブロックBk(k=1〜64)を備え(K=64)、垂直方向の画素列が512画素を有し、水平方向の画素列が512画素を有する固体撮像装置を示す。なお、各撮像ブロックB1,B2,・・・,B64における、n番目の画素列毎に、n番目の処理回路PUnが接続されている(n=1〜8)。列選択回路13によって制御されるスイッチ群Q(1)〜Q(N×K)と、撮像領域との間には、ホールド回路群H(1)〜H(N×K)が介在している。スイッチ群Q(1)〜Q(N×K)、ホールド回路群H(1)〜H(N×K)は、上述のスイッチ群Q(1)〜Q(9)及びホールド回路群H(1)〜H(9)に対応するものである。
この固体撮像装置で部分読み出しの動作を以下に説明する。ここでは、画像データ演算部の出力に基づいて前回得た画像から、512×512の画素全体の内、周辺10行と10列だけを除いた中央の492×492の画素の部分読み出しを行うことを選択してタイミング発生回路がそれに必要な制御信号を行選択回路12と列選択回路13に供給することとする。
図14は、撮像領域内の画素P(x,y)の詳細な回路図である。
なお、以下の説明において、スイッチとは電界効果トランジスタを示すこととする。
画素P(1,1)は、ホトダイオードPD(1)のカソードと、リセット電位Vr1との間に直列に介在する転送スイッチQtrans(1)、リセットスイッチQreset(1)を備えている。転送スイッチQtrans(1)の上流端は、ホールドスイッチQhold(1)を介して、増幅トランジスタQamp(1)のゲートに入力されている。増幅トランジスタQ amp(1)とビデオラインL1との間には、アドレス指定スイッチQaddress(1)が介在している。
転送スイッチQtrans(1)のゲートには、転送信号Vtrans(1)が入力され、リセットスイッチQreset(1)のゲートには、リセット信号Vreset(1)が入力される。また、ホールドスイッチQhold(1)のゲートにはホールド信号Vhold(1)が入力される。アドレス指定スイッチQaddress(1)のゲートにはアドレス信号Vaddress(1)が入力される。なお、アドレス信号Vaddress(1)は第1シフト信号(垂直)Vshift(1)と表記することもできる。
画素P(1,2)の構成は、各要素の数字が「2」となるのみで、構成は画素P(1,1)と同一である。
図15は、各信号を生成するための行選択回路12の回路図である。図16は、各信号のタイミングチャートである。この図は、垂直方向の上下10行ずつを除いた中央492行の部分読み出しを達成するためのものである。
各行毎にシフトレジスタS1,S2・・・が設けられており、各シフトレジスタは、セット入力端子ST、リセット入力端子rst、クロック入力端子CLKと、出力端子Qを備えている。リセット入力端子は接地電位に接続されている。シフトレジスタS1のセット入力端子STにはスタート信号Vstが入力され、シフトレジスタS1の出力端子Qからの出力shiftout1が、シフトレジスタS2のセット入力端子STに入力されるというように、各シフトレジスタのセット入力端子には一つ前のシフトレジスタの出力端子Qからの出力が順次入力される。
タイミング発生回路11から発生したVreset、Vtrans、Vhold、Vaddressは、第1画素P(1,1)読み出し時の所定のタイミングで、それぞれVreset(1)、Vtrans(1)、Vhold(1)、Vaddress(1)として、スイッチQA1,QB1,QC1,QD1をONし、上述の各スイッチに入力される。この所定のタイミングは、タイミング発生回路11で生成されたs-mode信号とスタート信号Vstによって決定され、第1行目の画素の読み出しが終了したら、第2行目の画素の読み出しへと順次移行する。なお、図16中、(Vshift)で示される数字は、読み出し中の画素行を示し、(Hshift)で示される数字は、読み出し中の画素列を示す。
s-mode信号は、スタート信号VstがシフトレジスタS1に入力されたときの出力と共にNOR回路(NOR1)に入力される。なお、2行目の読み出しの場合には、これらの信号はNOR回路(NOR2)に入力される。この図は、512×512の全画素で各ホトダイオードPD(x、y)に蓄積した電荷を同時にホールドするグローバルシャッターモードで動作する例であり、s-mode信号をハイレベルとしておくことで、Vreset、Vtrans、Vholdの信号を全画素一斉に供給することができる。これにより、ホトダイオードPD(x、y)に蓄積された電荷を増幅トランジスタQamp(x,y)のゲートに全画素に渡って同一のタイミングで転送、蓄積しておくことが可能となる。
実際の動作としては次のようになる。s-mode信号をハイレベルとして、全行に渡ってVreset、Vtrans、Vholdの信号が入力されるようにしておく。Vreset、Vtrans、Vhold、Vaddressの全ての信号がローレベルの時に、VresetをハイレベルとしてVholdをハイレベルとすることにより、増幅トランジスタのゲートの電荷がリセットされる。Vholdをローレベルとし、Vresetをローレベルとした後、VtransをハイレベルとしてVholdをハイレベルとすることで、ホトダイオードPD(x、y)に蓄積された電荷が増幅トランジスタのゲートに転送される。
その後、VholdをローレベルにしてVtransをローレベルにした後、VtransとVresetをハイレベルにして、ホトダイオードPD(x、y)に蓄積された電荷をリセットした後、VtransとVresetをローレベルにして次の蓄積を開始する。
ここでs-mode信号をローレベルに戻すことにより、全画素に渡って、ホトダイオードPD(x、y)に蓄積されていた電荷は、各画素の増幅トランジスタのゲートに転送、保持された状態で、ホトダイオードでは次の蓄積が開始されており、全画素での蓄積の開始、終了が同時に行われるグローバルシャッターモードの動作が実現される。以後は、増幅トランジスタのゲートに保持されている電荷を読みたい画素のみを選択して読み出すことになる。
シフトレジスタS1,S2・・・のクロック入力端子CLKにはタイミング発生回路11で生成される垂直クロック信号Vclkが入力されている。スタート信号VstがシフトレジスタS1のセット入力端子に入力され,シフトレジスタS1の出力端子Qからの出力shiftout1がシフトレジスタS2のセット入力端子に入力されるように、各シフトレジスタのセット入力端子に一つ前のシフトレジスタの出力端子Qからの出力が順次入力されると、各行の画素に蓄積された電荷の読み出しが開始されるが、Vaddressはローレベルとしておき、垂直クロック信号Vclkは周期を長くしておくことで、最初の10行は信号の読み飛ばしを行う。
その後、11行目の画素からVaddressをハイレベルとして蓄積電荷を増幅することにより得られた電圧をホールド回路に一度転送した上で、Vreset、Vholdもハイレベルとして、増幅トランジスタのゲートの電荷をリセットした後、Vholdをローレベルとして、Vresetをローレベルに戻して、リセット後の電圧もホールド回路に送り、蓄積した電荷を増幅することにより得られた電圧と、増幅トランジスタのゲートの電荷をリセットした時の増幅トランジスタから出力される電圧の2種類の電圧をホールド回路に入力する。
ホールド回路ではノイズ分を差し引いて減らすためのCDS回路でこの2種類の電圧の差を演算し、保持する。垂直クロック信号Vclkの周期を短くして512画素分の電荷をホールド回路に蓄積し、続いて、タイミング発生回路11で生成された画素列読み出しスタート信号Hstを列選択回路13に入力することで、タイミング発生回路11で生成された水平クロック信号Hclkに同期して、512画素分のホールド回路に蓄積された電荷の内、選択された部分読み出し領域Rに当たる画素分が8個の処理回路から読み出されて画像データ演算部へ入力される。
この動作は図17,18,19を使って後述する。なお、503行目の画素行から以後の10行は、垂直クロック信号の周期を短くして、同様に信号の読み飛ばしを行う。
すなわち、垂直クロック信号の周期を短くすることで、不要な画素行の読み出し時間を短縮しており、この不要な画素行の読み出し期間では、アドレス信号Vaddressを入力せず、すなわち、ビデオ信号は出力されない。
図17は、ホールド回路群H(1)〜H(N×K)に蓄積された電荷を読み出すためのスイッチ群Q(1)〜Q(N×K)の回路図である。ビデオラインL1,L2,L3・・・LN×K毎にスイッチQ(1),Q(2),Q(3)・・・Q(N×K)が接続されている。1つの撮像ブロックのスイッチ群には、Hshift信号が入力され、Hshift信号がハイレベルの時に、ホールド回路に蓄積された電荷が読み出される。
図18は、各信号を生成するための列選択回路13の回路図である。図19は、各信号のタイミングチャートである。この図は、水平方向の左右にそれぞれ10列ずつを除いた中央492列のみの部分読み出しを達成するためのものである。この図では、図16のs-mode信号がローレベルになってから水平スタート信号Hstがハイレベルとなり、以後水平の読み出しが行われるタイミングのみを示す。
シフトレジスタS10、S20、S30・・・が、撮像ブロックに対応して設けられている。各シフトレジスタは、セット入力端子ST、リセット入力端子rst、クロック入力端子CLKと、Q出力端子を備えている。クロック入力端子CLKには、水平クロック信号Hclkが入力される。
タイミング発生回路では、64撮像ブロック中の所望の読み出し開始番号の画素に対応して、水平読み出し用のスタート信号Hstを発生し、6ビットのデコーダ(0ch〜63ch)Dに入力する。デコーダDは、2値入力端子dih0、dih1、dih2、dih3、dih4、dih5を備えている。デコーダ出力端子1,2,3・・・と各セット入力端子STとの間には、NAND回路とNOT回路が介在している。
デコーダDは、タイミング発生回路11で生成したHstや2値入力に応じて、所望の撮像ブロックへ入力されるHshift信号がハイレベルとなる信号を生成する。スタート信号Hstと、撮像ブロック特定信号dih0、dih1、dih2、dih3、dih4、dih5の入力によって、指定された撮像ブロックの画素列の信号が読み出される。デコーダ出力端子0に対応して発生するHshift(1)信号は、ハイレベルの時にスイッチQ(1)〜Q(8)をONし、デコーダ出力端子1に対応して発生するHshift(2)信号は、ハイレベルの時にスイッチQ(9)〜Q(16)をONする。
各シフトレジスタS10、S20、S30のリセット端子rstには、タイミング発生回路11で生成されたオールリセット信号Hshift-resetを入力することができ、Hshift-resetがハイレベルの場合には、ホールド回路に蓄積された電荷の読み出しを終了し、部分読み出しを高速に行っている。このように図16と図19の両手法を適用することにより、512×512画素信号を周辺10行と10列ずつを除いた中央492×492画素の部分信号読み出しを達成できる。
なお、上述の例では、部分読み出し領域Rは、前回の画像に基づいて画像データ演算部が決定し、必要な制御信号をタイミング発生回路が発生したが、これは特願2003−189181に示される撮像装置(プロファイルイメージャと呼ばれている)のプロファイル検出機能から得られる情報に基づいて決定してもよく、ホールド回路やフレームメモリ等に蓄積された画像に基づいて決定してもよい。
また、部分読み出し領域Rを決定するために基づくものは蓄積された画像に限る必要はなく、全画素の内の一部分のみを読み出すように選択する信号を、画像データ演算部の代わりに外から与えても良い。こうすることで、読み出す部分と画素数を外部より入力する信号により変えて、画素数は少なくて良いのでとにかく高速で撮像したい場合や、画角の一部分のみに絞って読み出したい場合など様々な場合に対応可能な固体撮像装置が実現できる。
以上、説明したように、上述の固体撮像装置は、撮像領域とオプティカルブラック領域OBとを備えた固体撮像装置において、撮像領域から読み出された信号からディジタルビデオ信号を生成する処理回路PU(x)と、オプティカルブラック領域OBから読み出された暗レベル信号VDARK(x)と、この暗レベル信号VDARK(x)の処理回路PU(x)への経路と同一の経路を通る仮想的明レベル信号VBRIGHT(x)とを受信し、受信した暗ベル信号VDARK(x)と仮想的明レベル信号VBRIGHT(x)に応じて、処理回路PU(x)のオフセットaxbx、又は、利得axを制御する制御回路FBC(x)とを備えている。
制御回路FBC(x)は、オプティカルブラック領域OBからの暗レベル信号VDARK(x)の他に、仮想的明レベル信号VBRIGHT(x)も受信するが、これらの差分等は経路内の標準的な利得と相関がある。すなわち、仮想的明レベル信号VBRIGHT(x)と暗レベル信号VDARK(x)との差分は、入射光量Iに対する画素出力Vxの利得に比例するので、この利得と処理回路PU(x)からの最終出力利得の関係がずれている場合には、ずれ量に応じて処理回路PU(x)の利得を調整すればよい。したがって、処理回路PU(x)からの最終出力Vx’の補正を簡易に行うことができる。
ADC1,ADC2,ADC3…変換器、10…画像データ演算部、11…タイミング発生回路、12…行選択回路…、13…列選択回路、AMP…アンプ、B1,B2,B3……撮像ブロック、H…ホールド回路、PD…ホトダイオード、PU1,PU2,PU3…処理回路、オプティカルブラック領域OB。