JP5219962B2 - 固体撮像素子、その駆動方法、及び撮像システム - Google Patents

固体撮像素子、その駆動方法、及び撮像システム Download PDF

Info

Publication number
JP5219962B2
JP5219962B2 JP2009187834A JP2009187834A JP5219962B2 JP 5219962 B2 JP5219962 B2 JP 5219962B2 JP 2009187834 A JP2009187834 A JP 2009187834A JP 2009187834 A JP2009187834 A JP 2009187834A JP 5219962 B2 JP5219962 B2 JP 5219962B2
Authority
JP
Japan
Prior art keywords
signal
unit
solid
imaging device
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009187834A
Other languages
English (en)
Other versions
JP2011041091A5 (ja
JP2011041091A (ja
Inventor
径介 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009187834A priority Critical patent/JP5219962B2/ja
Priority to US12/845,027 priority patent/US8922668B2/en
Publication of JP2011041091A publication Critical patent/JP2011041091A/ja
Publication of JP2011041091A5 publication Critical patent/JP2011041091A5/ja
Application granted granted Critical
Publication of JP5219962B2 publication Critical patent/JP5219962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/18Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging
    • H03M1/188Multi-path, i.e. having a separate analogue/digital converter for each possible range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/1205Multiplexed conversion systems
    • H03M1/123Simultaneous, i.e. using one converter per channel but with common control or reference circuits for multiple converters
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/50Analogue/digital converters with intermediate conversion to time interval
    • H03M1/56Input signal compared with linear ramp

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Analogue/Digital Conversion (AREA)

Description

本発明は、固体撮像素子及び撮像システムに関し、特に、二次元に配列した画素の画素信号を列ごとにアナログ/デジタル変換する列AD変換回路を搭載した固体撮像素子とそれを使用する撮像システムに関する。
近年、CMOSセンサのようなX−Yアドレス型の固体撮像素子の内部に、列毎にアナログ/デジタル変換(以下、AD変換)を行う回路を搭載した固体撮像素子が報告されている。このような固体撮像素子には、画素からのアナログ信号を信号経路の早い段階でデジタルに変換することで、信号へのノイズ重畳を防いでS/Nを向上させることができる。また、列並列でAD変換処理を行えるため高速な信号読み出しが可能になる。
列AD変換回路は、回路規模や処理速度や分解能などの観点から複数の方式が提案されている。その中のひとつに、画素信号とカウントによってランプ波として変化する参照電圧とを比較し、比較処理が終了した時のカウント値をデジタル信号として取得するシングルスロープ積分型AD変換回路がある(特許文献1参照)。シングルスロープ積分型AD変換回路は、簡単な構成でAD変換回路を構成できるため、並列に回路を搭載しても規模が大きくならないという特徴がある。
特開昭62−154981公報
ところで、上記特許文献1においては、AD変換回路を構成している比較回路が発生させるノイズについては考慮されていない。列並列でAD変換をするので比較的遅い変換レートであるといっても、読み出しの高速化や多階調の要求に応えるために、実際には比較回路は数百MHzの周波数帯域が必要となるが、一般に広帯域の回路はノイズが大きい。これは、広い周波数帯域に分布するノイズも伝播させてしまうためである。
数百MHzの周波数帯域をもった比較器の場合、実際に回路を設計するとノイズは数100μVもの大きさになることがある。たとえば、1Vの入力レンジを持つ、12bitのAD変換回路であれば、量子化誤差は1V/4096=244μVであるので、比較回路に起因するノイズ(以下、回路ノイズと称する)は量子化誤差と比べて無視できない大きさである。この場合、これ以上AD変換の分解能を上げても、回路ノイズが支配的となり下位ビットはノイズばかりとなる。従って、S/Nで決定される実質的な分解能は12bit程度ということになってしまう。特に、入射する光が弱い場合、すなわち信号出力レベルが低い場合に、回路ノイズが相対的に大きな影響を与えるので対策が必要である。その一方で、入射光が強い場合には、光ショットノイズが支配的になるため、回路ノイズの影響は相対的に小さい。この場合、比較回路には低ノイズという要件よりも、むしろ高速性など他の要求を満たすことが求められる。従って、従来の構成では、高速のAD変換速度を維持しながらも低ノイズ化することが困難であるという課題があった。
本発明は、上記問題点に鑑み、比較部の周波数帯域特性を切り替えることにより、列毎にAD変換回路を搭載した固体撮像素子及び撮像システムを、AD変換速度を維持しながらも低ノイズ化することを目的とする。
本発明は上記の課題を鑑みてなされたもので、本発明の固体撮像素子は、光電変換部を含む複数の画素を2次元に配列した画素アレイ部と、前記画素アレイ部からの画素信号を列毎に読み出す読み出し回路とを有する固体撮像素子であって、前記読み出し回路の各々は、前記画素アレイ部からのアナログの画素信号の信号レベルと、時間的に変換する参照レベルとを比較部で比較することによりデジタルの画素信号に変換するAD変換回路を有し、前記比較部の周波数帯域特性を、前記画素アレイ部からのアナログの画素信号の信号レベルに応じて切り替える制御手段を有することを特徴とすることを特徴とする。
本発明の固体撮像素子及び撮像システムによれば、AD変換速度を維持しながらも低ノイズ化することが可能となる。
実施例1の固体撮像素子100の概略構成例を示す図である。 実施例1の比較回路COMPx1およびCOMPx2の等価回路の例を示す図である。 図2(a)は実施例1の固体撮像素子100における、画素信号レベルが比較的低い場合のAD変換動作の説明図であり、図2(b)は画素信号レベルが比較的高い場合のAD変換動作の説明図である。 比較回路COMPx1およびCOMPx2の周波数帯域の違いを説明する図である。 実施例2の固体撮像素子500の概略構成例を示す図である。 図5(a)は実施例2の固体撮像素子500における、画素信号レベルが比較的高い場合のAD変換動作の説明図であり、図5(b)は画素信号レベルが比較的低い場合のAD変換動作の説明図である。 本実施例の固体撮像素子100または500を有する撮像システムの構成例を示す図である。
以下、本発明の実施例を、添付図面を用いて詳細に説明する。
[実施例1]
<実施例1の固体撮像素子の構成例> 図1Aは、本発明の実施例1の固体撮像素子100の構成例を示す図である。本実施例1では、AD変換回路に周波数帯域の異なる2つの信号比較器を有する構成を示す。図1Aに示すように、固体撮像素子100は、画素アレイ部102、垂直走査回路103、垂直信号線104、列処理回路105、水平走査回路106、参照電圧生成部107、タイミング制御回路108(以下、TG108)によって構成されている。画素アレイ102は、画素101が2次元に多数配列して構成されているものである。画素101は、不図示であるが、フォトダイオードなど光電変換部、転送トランジスタ、リセットトランジスタ、増幅トランジスタ、画素選択トランジスタを含む。行単位で画素からの信号の読み出しや画素のリセットを行うため、1行の画素は、垂直走査回路103からの制御線と共通に接続される。また、同一列の画素は、画素信号Vsigを読み出すための共通の垂直信号線104に接続されている。
垂直走査回路103は、読み出し行やリセット行の制御を行うため、順次画素行の選択を行う回路である。走査のタイミングはTG108によって制御する。通常、まず、先頭の画素行から順次リセット走査をおこない、その後、所定期間に渡って電荷の蓄積を行ったあと、再度先頭の画素行から順次読み出し走査を行う回路である。先述の所定期間とは、例えばタイミング制御回路108からの信号を受けて制御されるもので、被写体の光量などの撮像条件に応じて可変とすることができる。列処理回路105は、画素アレイ102の各列に設けられた回路であって、読み出された垂直信号線104上の画素信号Vsigを、デジタル信号に変換していくAD変換回路として動作する。
<実施例1のAD変換の処理例> アナログ/デジタル変換(AD変換)の方式は、本実施例ではシングルスロープ積分型AD変換である。このAD変換の動作を図2(a)および図2(b)を用いて説明する。図2(a)は、画素信号Vsigが比較的小さい場合である。図2(b)は、画素信号Vsigが比較的大きい場合である。ここでAD変換の速度はAD変換期間で決まる。要求されるAD変換速度、読み出し速度を満たすように、このAD変換期間を決定している。
(画素信号Vsigが比較的小さい場合) 図2(a)中の時間的に変化する参照電圧レベルVref1およびVref2は、図1Aの参照電圧生成部107で生成される、スロープ状に変化する参照電圧である。参照電圧生成部107は、TG108からのクロックCLK1、2および制御信号CS1、2によって制御される。生成される参照電圧Vref1はVref2と時間軸に対する電圧変化の傾きが異なる。本実施例ではVref1の傾きがVref2に比べて4倍である。画素信号Vsigは比較的信号の電圧レベルが小さいため、AD変換期間中にVref1と図3中a点で、Vref2と図3中b点で交差する。COMPx1およびCOMPx2("x"は列の番号を示す。以後同様)は各列の列処理回路に備わっている比較回路である。COMPx1はVref1と画素信号Vsigを、COMPx2はVref2と画素信号Vsigの信号レベルを比較する。どちらも参照電圧Vrefが画素信号Vsigを上回るとHigh信号を出力する。図2(a)中では、図中a点でCOMPx1の出力がHighに、図中b点でCOMPx2の出力がHighに変化している。
<比較回路の周波数帯域例> 本実施例1の特徴は、COMPx1とCOMPx2では比較回路の周波数帯域が異なることである。そのイメージを図3(a)および(b)に示す。本実施例1では、COMPx1がCOMPx2の4倍広い帯域を有しているものとしている。実際には、これらの周波数帯域は、異なる回路の駆動電流によって設定している。設定の方法は以下のとおりである。比較回路の回路内部は電流源や抵抗、容量などによって等価回路で表現することができ、信号はこの等価回路中を電荷の充放電として伝達していく。この回路において、駆動電流を小さくすることで、ある一定時間内に移動できる電荷量を小さくすることになるので、信号伝達のための充放電に必要となる時間が長くなる。周波数帯域は信号の伝達時間の逆数であるので、この場合は周波数帯域を狭く設定することになる。逆に駆動電流を大きくすれば周波数帯域を大きくすることができる。なお、ここでは説明を簡単にするために、単純に、任意の駆動電流を設定することで周波数帯域を変えられるとしているが、実際には回路面積や発熱など種種のトレードオフとのバランスを考慮しなければならず、設計には十分な配慮が必要である。また、別の方法として、電荷を充放電する容量値を異ならせてもよい。同じ駆動電流であっても、容量が大きければ充放電に余計な時間がかかるので周波数帯域を狭くすることができる。なお、周波数帯域を異ならせる方法としては上記2つの方式に限るものではないことも付記しておく。本例では、狭い周波数帯域を第1の周波数帯域特性、広い周波数帯域を第2の周波数帯域特性とも記載して区別する。
(COMPx1とCOMPx2の例)
図1Bに、比較回路COMPx1及びCOMPx2の回路構成を示す。COMPx1及びCOMPx2は入力を切り替えるスイッチSW1、クランプ容量Cin、インバータINV、インバータINVの入力と出力を短絡するスイッチSW2、負荷容量CLで構成されてる。更に、インバータINVはP型MOSのM1、N型MOSトランジスタM2によって構成されている。
COMPx1及びCOMPx2の場合の動作は以下の通りである。まず、SW1をVin側に接続するとともに、SW2を短絡する。SW2によってINVの入出力がショートされるので、INVの入出力の電圧はスレッショルド電圧Vxに平衡する。このとき、CinにはVinとVxの電圧差に相当する電荷Qが保持される。次に、SW1をVref1側に接続するとともに、SW2を開放する。VrefがVinより低い間は、Cinを介してINVの入力にはVxより低い電圧が入力され、出力がHighとなる。しだいに、Vref1が大きくなり、Vinを越えたところで、INVの入力がVxを越え、INVの出力もLowに反転する。このとき、INVの駆動周波数は、M1およびM2のコンダクタンスgmと負荷容量CLによって決定する。コンダクタンスgmは電流の流し易さを示し、M1もしくはM2を介して負荷容量CLを充放電する際の駆動周波数はgm/CL(Hz)の計算によって得ることが出来る。つまりgmが大きくなれば駆動周波数が高く、gmが小さければ遅くなる。さらに、飽和領域でMOSを駆動するのであればコンダクタンスgmは、μ×Cox×W/L×(Vgs-Vth)から得ることが出来る。ここで、μは荷電粒子の移動度、Coxは単位長さあたりのMOS容量、WはMOSのゲート幅、LはMOSのゲート長、Vgsはゲート・ソース間電圧、VthはMOSのスレッショルド電圧である。つまり、W/Lの比によって、INVの駆動周波数を変化させることが出来る。
COMPx1とCOMPx2では、この特性を利用して周波数を異ならせている。COMPx2ではW/Lの比をCOMPx1に比べて小さくすることで、周波数帯域を狭く設定している。なお、周波数帯域を変化させる回路構成は、上記の例に限定されるものではない。
カウンタx1およびカウンタx2は、AD変換期間中にVref1およびVref2がスロープ状に変化すると同時に、TG108からのクロックCLK1、2を受けて、カウントアップを開始する。そして対応する比較回路COMPの出力がHighになったところでカウントアップを終了する。シングルスロープ積分型AD変換では、このカウント値が画素信号Vsigをデジタル変換した結果となる。
図2(a)では、a点でカウンタx1はカウントアップを終了している。もし、COMPx1の出力がHighにならなかった場合は、AD変換期間中に階段状点線でしめしたように0から15までカウントアップをする。カウンタx2についても同様で、b点でカウントアップを終了しており、もしCOMPx2の出力がHighにならなかった場合には階段状点線で示したようにカウントアップを行う。ここで、カウンタx2に供給されるCLK2は、CLK1の1/4以下の周期である。これは、上述したようにCOMPx2の周波数帯域をCOMPx1の1/4としたので、COMPx2の周波数帯域に入るように、CLK2をCOMPx1に対して1/4以下の低速に設定する必要があるためである。つまりCLK2を低速にする分、COMPx2の周波数帯域を制限できる。本実施形態では、CLK2はCLK1の1/4の周期として説明を行う。COMPx2は帯域が狭いので、参照電圧Vref2の変化を参照電圧Vref1の1/4に遅くしている。本発明においては高速なAD変換を行うために、AD変換期間はある時間に決めているこのときCOMPx2では、参照電圧Vref2と画素信号Vsigを比較できる信号レベルは1/4に狭くなる。この場合ではCOMPx1が0〜15の16階調を比較動作するのに対して、COMPx2では0から3の4階調に限られる。ただし、COMPx1とCOMx2の階調の幅(分解能)は同じである。よって最終的な出力から見るとAD変換の分解能は変らない。ここでは説明の簡単化のため、COMPx1の階調を16階調、つまり4bitの分解能としているが、実際のAD変換では14bit分解能の場合、214の階調となる。COMPx2の周波数帯域を狭くすることに、よりノイズの面でメリットがある。この図2(a)は、COMPx1およびCOMPx2にはノイズが影響しない理想的な表現になっている。上述のようにCOMPx1でもCOMPx2でも分解能は同じ設定となっているので、出力がHighになったときのカウンタx1およびカウンタx2の値は共に"2"になっており、理想的なVsigのデジタル変換した値を示している。
しかし、実際の回路では比較回路COMPにはノイズ成分が存在する。そのため、本来はデジタル変換した値が"2"になるべきところが、ノイズによって"1"や"3"になってしまうことがある。特に、要求されるAD変換の分解能が高くなり量子化誤差が小さくなると、ノイズの影響がダイレクトにデジタル変換結果に観測されるようになる。COMPx2では周波数帯域が狭く制限されているので、カットオフ周波数帯以上のノイズを除去することができる。つまり、COMPx2では、AD変換可能な信号レベル範囲は狭くなる代わりに、その信号レベル範囲では低ノイズな読み出しを行うことが出来るようになっている。本実施例においてはCOMPx2のAD変換可能な信号レベル範囲で、ノイズが問題となる画素信号レベルのAD変換を行うところが特徴の一つである。
なお、COMPx2の周波数帯域がCOMPx1のそれの1/4であるとして、仮にCLK2をCLK1の1/4以下、たとえば1/5などで駆動する場合は、参照電圧Vrefの変化も1/5にする。この場合、定められた時間内でAD変換できる信号レベルは、先述の1/4から1/5に低下する。しかし、ノイズの観点ではCOMPx2の帯域は1/4のままなので変化がない。つまりCOMPx1とCOMPx2の周波数帯域の比と、CLK1とCLK2との比を等しいときが、定められた時間内でAD変換できる信号レベルが最大となる。なお、定められた時間とは、被写体の輝度などの条件に応じて任意に定めることができるものである。
図1AのSELxはセレクタで、COMPx1とCOMPx2でデジタル変換された信号は最終的にはSELxによってどちらのAD変換結果を読み出すかが決定される。SELxの選択スイッチにはCOMPx2の出力信号が与えられ、COMPx2の出力がHighの時COMPx2によるデジタル変換データを読み出し、Lowの時COMPx1の変換データを読み出すように動作する。よって、図2(a)の場合のように画素信号VsigがVref2の最大値以下では、COMPx2側のカウント値をデジタル信号として使うことになる。SELxで選択されたデジタル信号は、最終的に図1Aの水平走査回路106で、水平方向に順次読み出される。
(画素信号Vsigが比較的大きい場合) 次に、画素信号Vsigの電圧レベルがVref2の最大値(閾値)より大きい場合の動作を、図2(b)で説明する。図2(b)に示すように、AD変換期間中にVref1とは図4中c点で交差し、Vref2とは交差しない。その結果、COMPx1はHighになったカウント値"13"でカウントアップがストップするが、COMPx2は変化せず、カウンタアップを続ける。COMPx2が変化しないので、SELxはCOMPx1を選択し、最終的にCOMPx1側のカウント値が水平走査回路106を介して水平方向に順次読み出される。画素信号がVref2の最大値より大きい場合、比較的ノイズが多いCOMPx1からの読み出しを行う。この場合のノイズは多くの場合は問題にならない。なぜならば、画素信号レベルがある程度まで大きくなると、回路が発生するノイズとは別の、光ショットノイズがノイズ支配的要因になるためである。光ショットノイズは光量の平方根に比例する物理原理によるノイズで、このノイズが回路ノイズを上回る信号レベルでは、回路ノイズを低減しても実質的な意味は無くなってしまう。そこで、光ショットノイズが主要因となるような信号レベル領域では、回路的なノイズの低減よりも高速の信号比較を優先させたCOMPx1によるAD変換を行う。
<実施例1の効果> 以上のように、本実施例1では固体撮像素子100はAD変換に用いる比較部に、周波数帯域特性の異なる複数の比較回路を備え、それを画素信号Vsigの信号レベルに応じて切り替えて適用する構成となっている。この構成によれば、実質的に回路ノイズが影響する信号レベルが低い場合には回路ノイズが少ないAD変換を行い、信号レベルが高い場合は高速な信号比較のAD変換を行う。従って、高速かつ高精度なデジタル信号出力が可能な固体撮像素子を提供できる。
[実施例2]
<実施例2の固体撮像素子の構成例> 図4は、本発明の実施例2の固体撮像素子500の構成例を示すブロック図である。図4では、図1Aと同等の部分については同一符号を付している。本実施例ではAD変換回路内に1つの信号比較器を有し、その周波数帯域を切り替えて使う構成を示す。図4において、図1Aに加え、新たにSEL5x1、SWx1、SWx2、C1、カウンタ5x1が追加されている。SEL5x1は、高速に信号比較ができるが比較的ノイズの大きいAD変換を行うか、低速の信号比較でノイズの少ないAD変換を行うか選択するAD選択回路である。この回路は、画素信号Vsigの信号レベルを基準電圧、ここではVrefの最大値と比較し、それより大きければHighを、小さければLowを出力する。基準電圧との比較のために比較回路(不図示)を用いるが、ここで使用する比較回路は前述のCOMPx1やCOMPx2ほどの精度は要求はされない。少なくとも基準電圧の信号レベルより大きい場合に、高速だが比較的ノイズの多いAD変換を行うように選択が切り替わればよい。この理由は、AD変換の選択を行う画素信号レベルがばらついて回路的なノイズとなったとしても、ノイズの支配要因である光ショットノイズに比べて十分小さいため、どちらのAD変換を選択してもノイズの結果は同じになるからである。
SWx1は、SEL5x1がHighの場合にCOMPx1で比較する参照電圧にVref1を選択し、Lowの場合にはVref2を選択するスイッチ回路である。第1実施例と同様に、Vref1では多少ノイズは多いが高速な信号比較のAD変換が行える動作となり、Vref2では低速の信号比較で低ノイズなAD変換が行える動作となる。SWx2は、SEL5x1がHighの場合に容量部C1をCOMPx1の出力端子から切り離し、Lowの場合には容量部C1を付加するスイッチ回路である。C1が切り離されている場合、COMPx1の周波数帯域は回路そのものの帯域となるので、多少ノイズは大きいが参照電圧の速い変化に追従して高速な比較動作ができ、高分解能なAD変換が可能である。一方、C1が出力に付加された場合はC1の容量負荷がCOMPx1の周波数帯域を制限するように働くので、比較動作は低速になる。しかし低ノイズのAD変換を行うことが出来る。カウンタ5x1は、SEL5x1内の論理演算によってカウント値をデジタル信号として出力する際のビット選択を変更する。ここでは、SEL5x1がHighの場合には、カウンタ5x1のカウント値をそのまま出力し、Lowの場合には、カウンタ5x1の出力の下位2ビットを無視して、下から3ビット目を出力カウント値の最下位ビットとして出力する。すなわち、SEL5x1の出力がLowの場合には2ビットのビットシフトが行われる。したがって、SEL5x1の出力がLowの場合にはカウンタ5x1の4カウントに1回の周期でカウントアップする。
<実施例2のAD変換の処理例> 図5(a)および図5(b)は、固体撮像素子500のAD変換の動作を説明する図である。
(画素信号Vsigが比較的大きい場合) 図5(a)は、画素信号Vsigの電圧レベルがVref2の最大値(閾値)より高い場合である。固体撮像素子500では、参照電圧をランプ波形状に変化させ始める前にAD変換選択期間が設けられており、この期間にSEL5x1でAD変換選択を行っている。図5(a)では、画素信号VsigがSEL5x1の基準電圧であるVref2の最大値よりも大きいので、SEL5x1の出力がHighとなっている。SEL5x1の出力を受け参照電圧はVref1が選択され、C1が切り離される。カウンタ5x1は毎クロックに1カウント、カウントアップ動作し、COMPx1がHighに切り替わったところでカウントアップ動作を停止する。カウンタ5x1のカウント値は、ビットシフトされることなく出力するように設定される。このように、画素信号VsigのレベルがVref2の最大値より高い場合は、多少ノイズは大きいが高速な比較動作が行え高分解能なAD変換が行われる。
(画素信号Vsigが比較的小さい場合) 一方、図5(b)は、画素信号Vsigの電圧レベルがVref2の最大値(閾値)より低い場合である。図5(a)と同様にAD変換選択期間が設けられており、この期間に前述のSEL5x1でAD変換選択を行っている。図5(b)では、画素信号VsigがSEL5x1の基準以下であったので、SEL5x1の出力がLowのままである。その結果、参照電圧はVref2が選択され、C1は接続されてCOMPx1の周波数帯域を制限するように機能する。カウンタ5x1は上述の動作と同様に、1クロック毎に1カウントだけカウントアップ動作し、COMPx1がHighになったところでカウントアップを停止する。しかし、COMPx1のカウント値は、カウンタ5x1の下位2ビットを無視して、下から3ビット目を最下位ビットとして出力するビットシフトを行うことで、カウント値を1/4にした値を出力する。この場合は低速な比較動作ではあるが低ノイズなAD変換が行われることになる。
なお、カウンタ5x1を制御する別の方法として、CLK1に加えてCLK2もカウンタ5x1に入力し、SEL5x1の論理演算によってCLK1とCLK2の接続を切り替えてもよい。具体的には、SEL5x1の出力がHighであれば、CLK1で、SEL5x1の出力がLowであればCLK2でカウントアップを行うことが考えられる。この構成の利点は、SEL5x1の出力にかかわらず、ビットシフト動作を行う必要はない点である。
<実施例2の効果> 以上、実施例2によれば、固体撮像素子500は、AD変換に用いる比較回路COMPx1の周波数帯域特性および参照電圧その他の周辺回路の動作を、画素信号Vsigの出力レベルに基づき簡易に切り替えることが可能な構成となっている。この構成により、回路ノイズが影響する信号レベルが低い画素信号には回路ノイズが少なくなるAD変換を、ある程度画素信号レベルが大きい場合には高速な信号比較のAD変換を行うことができる。従って、高速かつ高精度なデジタル信号出力が可能な固体撮像素子を提供できる。
<本実施例の撮像システムの構成例> 実施例1及び2の固体撮像素子は、デジタルカメラやデジタルビデオカメラ、その他産業用カメラなどの撮像素子に利用可能である。本発明を利用することで、高速読み出しが可能で、且つ、回路ノイズの影響が顕著に現れる低光量(信号レベルが低い)個所のノイズを改善した撮像が出来る。
図6は、実施例1及び2の固体撮像素子を有する撮像システムの概略構成を示す図である。撮像システム400は、実施例1または2の固体撮像素子100、500に代表される固体撮像装置4を備える。なお、本実施例では、固体撮像装置4がA/D変換器6を含んでいる。
被写体の光学像は、レンズ2によって固体撮像装置4の撮像面に結像する。レンズ2の外側には、レンズ2のプロテクト機能とメインスイッチを兼ねるバリア1が設けられうる。レンズ2には、それから出射される光の光量を調節するための絞り3が設けられうる。固体撮像装置4から複数チャンネルで出力されるA/D変換器6でデジタルに変換された撮像信号は、撮像信号処理回路5によって各種の補正、クランプ等の処理が施される。撮像信号処理回路5から複数チャンネルで出力される画像データは、信号処理部7によって各種の補正、データ圧縮などがなされる。固体撮像装置4、A/D変換器6、撮像信号処理回路5及び信号処理部7は、タイミング発生部8が発生するタイミング信号にしたがって動作する。ブロック5〜8は、固体撮像装置4と同一チップ上に形成されてもよい。撮像システム400の各ブロックは、全体制御・演算部9によって制御される。撮像システム400は、その他、画像データを一時的に記憶するためのメモリ部10、記録媒体への画像の記録又は読み出しのための記録媒体制御インターフェース部11を備える。記録媒体12は、半導体メモリ等を含んで構成され、着脱が可能である。撮像システム400は、外部コンピュータ等と通信するための外部インターフェース(I/F)部13を備えてもよい。
次に、図6に示す撮像システム400の動作について説明する。バリア1のオープンに応じて、メイン電源、コントロール系の電源、A/D変換器6等の撮像系回路の電源が順にオンする。その後、露光量を制御するために、全体制御・演算部9が絞り3を開放にする。固体撮像装置4からA/D変換器6を介して出力された信号は、撮像信号処理回路5をスルーして信号処理部7に出力する。信号処理部7は、そのデータを処理して全体制御・演算部9に提供し、全体制御・演算部9において露出量を決定する演算を行う。全体制御・演算部9は、決定した露出量に基づいて絞りを制御する。次に、全体制御・演算部9は、固体撮像装置4から出力され信号処理部7で処理された信号にから高周波成分を取り出して、高周波成分に基づいて被写体までの距離を演算する。その後、レンズ2を駆動して、合焦か否かを判断する。合焦していないと判断したときは、再びレンズ2を駆動し、距離を演算する。そして、合焦が確認された後に本露光が始まる。露光が終了すると、固体撮像装置4からA/D変換器6でA/D変換されて出力された撮像信号は、撮像信号処理回路5において補正等がされ、、信号処理部7で処理される。信号処理部7で処理された画像データは、全体制御・演算9によりメモリ部10に蓄積される。その後、メモリ部10に蓄積された画像データは、全体制御・演算部9の制御により記録媒体制御I/F部を介して記録媒体12に記録される。また、画像データは、外部I/F部13を通してコンピュータ等に提供されて処理されうる。
100 実施例1の固体撮像素子、101 画素、102 画素アレイ、103 垂直走査回路、104 垂直信号線、105 列処理回路、106 水平走査回路、107 参照電圧生成部、108 タイミング制御回路(TG)、Vsig 画素信号、DAC1、2 デジタル/アナログ変換回路、CS1、2 制御信号、CLK1、2 クロック、Vref1、Vref2 参照電圧、COMP11〜22 比較回路、カウンタ11〜22 カウンタ回路、SEL セレクタ回路、500 実施例2の固体撮像素子、SEL511、521 AD変換選択回路、SW11〜21 スイッチ、カウンタ511〜521 カウンタ回路、C1 帯域制限容量、801ホワイトノイズレベル

Claims (7)

  1. 光電変換部を含む複数の画素を2次元に配列した画素アレイ部と、前記画素アレイ部からの画素信号を列毎に読み出す読み出し回路とを有する固体撮像素子であって、
    前記読み出し回路の各々は、前記画素アレイ部からのアナログの画素信号の信号レベルと、時間的に変換する参照レベルとを比較部で比較することによりデジタルの画素信号に変換するAD変換回路を有し、
    前記比較部の周波数帯域特性を、前記画素アレイ部からのアナログの画素信号の信号レベルに応じて切り替える制御手段を有する
    ことを特徴とする固体撮像素子。
  2. 前記制御手段は、前記画素アレイ部からのアナログの画素信号の信号レベルが閾値より低い場合には第1の周波数帯域特性を用いて前記比較部で比較を行い、前記画素アレイ部からのアナログの画素信号の信号レベルが前記閾値より高い場合には前記第1より広い第2の周波数帯域特性を用いて前記比較部で比較を行う
    ことを特徴とする請求項1に記載の固体撮像素子。
  3. 前記AD変換回路は異なる周波数帯域特性を有する複数の比較部を有し、前記制御手段は、前記画素アレイ部からのアナログの画素信号の信号レベルに応じて前記複数の比較部を選択する
    ことを特徴とする請求項1または2に記載の固体撮像素子。
  4. 前記AD変換回路は容量部を有し、前記制御手段は、前記比較部の出力端子と前記容量部とを接続するスイッチにより、前記比較部の周波数帯域特性を切り替える
    ことを特徴とする請求項1または2に記載の固体撮像素子。
  5. 前記AD変換回路は、前記比較部の比較の結果、前記画素アレイ部からのアナログの画素信号の信号レベルが時間的に変化する参照レベルを越えている間のクロックをカウントして、そのカウント値をデジタルの画素信号とするカウンタを有する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の固体撮像素子。
  6. 請求項1乃至5のいずれか1項に記載の固体撮像素子と、
    前記固体撮像素子によって得られた信号を処理する信号処理部と、を備える
    ことを特徴とする撮像システム。
  7. 光電変換部を含む複数の画素を2次元に配列した画素アレイ部と、前記画素アレイ部からの画素信号を列毎に読み出す読み出し回路とを有する固体撮像素子の駆動方法であって、
    前記読み出し回路の各々は、前記画素アレイ部からのアナログの画素信号の信号レベルと、時間的に変換する参照レベルとを比較部で比較することによりデジタルの画素信号に変換するAD変換回路を有し、
    前記固体撮像素子の駆動方法は、前記比較部の周波数帯域特性を、前記画素アレイ部からのアナログの画素信号の信号レベルに応じて切り替える工程を有する
    ことを特徴とする固体撮像素子の駆動方法。
JP2009187834A 2009-08-13 2009-08-13 固体撮像素子、その駆動方法、及び撮像システム Active JP5219962B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009187834A JP5219962B2 (ja) 2009-08-13 2009-08-13 固体撮像素子、その駆動方法、及び撮像システム
US12/845,027 US8922668B2 (en) 2009-08-13 2010-07-28 Solid-state image sensing element and image sensing system including comparison units with switchable frequency band characteristics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009187834A JP5219962B2 (ja) 2009-08-13 2009-08-13 固体撮像素子、その駆動方法、及び撮像システム

Publications (3)

Publication Number Publication Date
JP2011041091A JP2011041091A (ja) 2011-02-24
JP2011041091A5 JP2011041091A5 (ja) 2012-09-13
JP5219962B2 true JP5219962B2 (ja) 2013-06-26

Family

ID=43588380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009187834A Active JP5219962B2 (ja) 2009-08-13 2009-08-13 固体撮像素子、その駆動方法、及び撮像システム

Country Status (2)

Country Link
US (1) US8922668B2 (ja)
JP (1) JP5219962B2 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5808162B2 (ja) * 2011-06-23 2015-11-10 キヤノン株式会社 撮像素子、撮像装置及び撮像素子の駆動方法
JP5868049B2 (ja) * 2011-07-19 2016-02-24 キヤノン株式会社 撮像装置
JP5868065B2 (ja) * 2011-08-05 2016-02-24 キヤノン株式会社 撮像装置
JP5862126B2 (ja) * 2011-09-06 2016-02-16 ソニー株式会社 撮像素子および方法、並びに、撮像装置
JP5858695B2 (ja) * 2011-09-08 2016-02-10 キヤノン株式会社 固体撮像装置及び固体撮像装置の駆動方法
JP5871531B2 (ja) * 2011-09-08 2016-03-01 キヤノン株式会社 撮像装置、撮像システム
WO2013076919A1 (ja) * 2011-11-25 2013-05-30 パナソニック株式会社 固体撮像装置及びそれを備える撮像装置
TWI530183B (zh) 2011-12-08 2016-04-11 Sony Corp An imaging element, a control method, and an imaging device
JP5893573B2 (ja) * 2012-02-09 2016-03-23 キヤノン株式会社 固体撮像装置
JP2013207433A (ja) * 2012-03-28 2013-10-07 Sony Corp 固体撮像装置、撮像信号出力方法および電子機器
JP5847737B2 (ja) 2012-03-30 2016-01-27 キヤノン株式会社 光電変換装置および撮像システム
JP5865272B2 (ja) * 2012-03-30 2016-02-17 キヤノン株式会社 光電変換装置および撮像システム
JP5978771B2 (ja) 2012-05-31 2016-08-24 ソニー株式会社 信号処理装置および方法、撮像素子、並びに、撮像装置
JP2014135645A (ja) * 2013-01-10 2014-07-24 Canon Inc 固体撮像装置及びその駆動方法
JP6097574B2 (ja) * 2013-01-25 2017-03-15 キヤノン株式会社 撮像装置、その駆動方法、及び撮像システム
JP2014160930A (ja) * 2013-02-19 2014-09-04 Sony Corp 固体撮像素子およびその駆動方法、並びに電子機器
TWI615031B (zh) 2013-07-16 2018-02-11 Sony Corp 信號處理裝置及方法、攝像元件與攝像裝置
FR3012003B1 (fr) * 2013-10-14 2016-12-30 E2V Semiconductors Conversion analogique numerique a rampe, a multiples conversions ou unique conversion suivant le niveau de lumiere recu par un pixel
JP2015080132A (ja) * 2013-10-18 2015-04-23 ルネサスエレクトロニクス株式会社 固体撮像素子
JP2015097353A (ja) * 2013-11-15 2015-05-21 株式会社東芝 Ad変換回路及び固体撮像装置
JP6386722B2 (ja) * 2013-11-26 2018-09-05 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機
JP6278881B2 (ja) 2013-12-06 2018-02-14 キヤノン株式会社 撮像素子、撮像装置及び携帯電話機
JP6478488B2 (ja) * 2014-06-18 2019-03-06 キヤノン株式会社 Ad変換装置及び固体撮像装置
JP6384546B2 (ja) * 2014-07-15 2018-09-05 ソニー株式会社 固体撮像装置および電子機器
US10326953B2 (en) 2014-10-06 2019-06-18 Sony Semiconductor Solutions Corporation Signal processing device and method, imaging element, and electronic device
CN107079124B (zh) 2014-11-05 2020-04-07 索尼公司 信号处理装置、成像元件以及电子设备
US9979916B2 (en) 2014-11-21 2018-05-22 Canon Kabushiki Kaisha Imaging apparatus and imaging system
JP2016181736A (ja) * 2015-03-23 2016-10-13 キヤノン株式会社 撮像装置、その駆動方法及び撮像システム
JP6525747B2 (ja) * 2015-06-05 2019-06-05 キヤノン株式会社 撮像装置、撮像システム
EP3101812B1 (en) * 2015-06-05 2022-10-26 Cmosis Bvba In-pixel differential transconductance amplifier for adc and image sensor architecture
JP2017046259A (ja) * 2015-08-28 2017-03-02 ルネサスエレクトロニクス株式会社 半導体装置
JP6075899B2 (ja) * 2015-09-08 2017-02-08 キヤノン株式会社 撮像素子及び撮像装置
US9900539B2 (en) 2015-09-10 2018-02-20 Canon Kabushiki Kaisha Solid-state image pickup element, and image pickup system
US9960783B2 (en) * 2015-09-18 2018-05-01 Taiwan Semiconductor Manufacturing Company Ltd. Conditional correlated multiple sampling single slope analog-to-digital converter, and associated image sensor system and method
JP6674219B2 (ja) 2015-10-01 2020-04-01 キヤノン株式会社 固体撮像装置及び撮像システム
US10340936B2 (en) * 2015-11-06 2019-07-02 Ams Sensors Belgium Bvba Analog-to-digital conversion and method of analog-to-digital conversion
US10348323B2 (en) * 2015-11-06 2019-07-09 Ams Sensors Belgium Bvba Analog-to-digital conversion and method of analog-to-digital conversion
JP6320435B2 (ja) * 2016-01-13 2018-05-09 キヤノン株式会社 撮像装置および撮像システム
JP6774224B2 (ja) * 2016-05-26 2020-10-21 キヤノン株式会社 固体撮像装置及び撮像システム
JP6370413B2 (ja) * 2017-01-10 2018-08-08 キヤノン株式会社 撮像装置、撮像システム及び撮像装置の駆動方法
JP6929671B2 (ja) 2017-03-17 2021-09-01 キヤノン株式会社 撮像装置及び撮像システム
JP6808564B2 (ja) * 2017-04-07 2021-01-06 キヤノン株式会社 信号処理装置及び方法、撮像素子、及び撮像装置
JP7005231B2 (ja) * 2017-08-28 2022-01-21 キヤノン株式会社 撮像装置、撮像システム、移動体
KR102087203B1 (ko) * 2017-10-11 2020-03-10 테크 아이디어 컴퍼니 리미티드 시간 영역 a/d변환기군 및 이를 이용한 센서 장치
US10367519B2 (en) 2017-10-11 2019-07-30 Tech Idea Co., Ltd. Time domain A/D converter group and sensor device using the same
JP6370510B2 (ja) * 2018-04-02 2018-08-08 キヤノン株式会社 撮像装置、撮像システム及びad変換回路の駆動方法
US11355536B2 (en) * 2018-07-12 2022-06-07 Sony Semiconductor Solutions Corporation Image sensor, signal processing device, signal processing method, and electronic device
FR3091116A1 (fr) * 2018-12-19 2020-06-26 Stmicroelectronics (Grenoble 2) Sas Procédé et architecture de lecture de capteur d’images
KR102519712B1 (ko) 2019-01-18 2023-04-06 삼성전자주식회사 이미지 센서
US10798320B1 (en) * 2019-06-27 2020-10-06 Taiwan Semiconductor Manufacturing Company, Ltd. Image sensor, comparator circuit and method thereof
JP7373542B2 (ja) 2021-12-06 2023-11-02 キヤノン株式会社 光電変換装置および機器

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2532374B2 (ja) 1985-12-27 1996-09-11 株式会社日立製作所 固体撮像素子
US5801657A (en) * 1997-02-05 1998-09-01 Stanford University Serial analog-to-digital converter using successive comparisons
US6545624B2 (en) * 2000-02-11 2003-04-08 Hyundai Electronics Industries Co., Ltd. Image sensor with analog-to-digital converter that generates a variable slope ramp signal
JP3942793B2 (ja) * 2000-03-30 2007-07-11 シャープ株式会社 電荷量検出回路
US7474345B2 (en) * 2001-10-24 2009-01-06 Texas Instruments Incorporated System and method to facilitate time domain sampling for solid state imager
US6621445B1 (en) * 2002-06-24 2003-09-16 Intel Corporation Low power reference buffer circuit utilizing switched capacitors
JP4262504B2 (ja) * 2003-03-28 2009-05-13 富士フイルム株式会社 撮像装置および電荷検出装置
US7148831B2 (en) * 2003-10-27 2006-12-12 Micron Technology, Inc. Variable quantization ADC for image sensors
US7319425B2 (en) * 2005-03-21 2008-01-15 Massachusetts Institute Of Technology Comparator-based switched capacitor circuit for scaled semiconductor fabrication processes
JP4744343B2 (ja) * 2006-04-10 2011-08-10 ソニー株式会社 固体撮像装置および固体撮像装置の駆動方法
JP2008054256A (ja) 2006-08-28 2008-03-06 Sanyo Electric Co Ltd アナログデジタル変換器およびそれを用いた撮像回路
JP5181087B2 (ja) * 2006-08-31 2013-04-10 トリクセル 単一スロープ型アナログ‐デジタル・コンバータ
JP2008187565A (ja) * 2007-01-31 2008-08-14 Sony Corp 固体撮像装置及び撮像装置
JP5188080B2 (ja) * 2007-03-06 2013-04-24 キヤノン株式会社 撮像装置、撮像装置の駆動方法、及び読み出し装置
CN101309084B (zh) * 2007-05-16 2010-12-08 夏普株式会社 模拟-数字转换器、固态图像捕获装置以及电子信息设备
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
KR101448917B1 (ko) * 2007-09-11 2014-10-13 삼성전자주식회사 의사 멀티플 샘플링 방법을 사용하는 아날로그-디지털 변환장치 및 방법
US7995124B2 (en) * 2007-09-14 2011-08-09 Omnivision Technologies, Inc. Image sensor apparatus and method for improved dynamic range with multiple readout circuit paths
JP2009118035A (ja) * 2007-11-05 2009-05-28 Seiko Epson Corp 固体撮像装置およびそれを用いた電子機器
JP2009159069A (ja) 2007-12-25 2009-07-16 Panasonic Corp 固体撮像装置およびカメラ
WO2009090703A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation ランプ波出力回路、アナログデジタル変換回路、及びカメラ
US7760019B2 (en) * 2008-03-04 2010-07-20 Micron Technology, Inc. Adaptive operational transconductance amplifier load compensation
GB0806427D0 (en) * 2008-04-09 2008-05-14 Cmosis Nv Parallel analog-to-digital conversion in pixel arrays
US7659845B2 (en) * 2008-06-20 2010-02-09 Infineon Technologies Ag Analog-to-digital converter with capacitor array
WO2009158506A1 (en) * 2008-06-26 2009-12-30 University Of Idaho Analog-to-digital converter for image sensors
JP5188292B2 (ja) * 2008-06-30 2013-04-24 キヤノン株式会社 撮像システムおよび撮像システムの駆動方法
JP2010251957A (ja) * 2009-04-14 2010-11-04 Sony Corp Ad変換装置、固体撮像素子、およびカメラシステム
JP5304410B2 (ja) * 2009-04-17 2013-10-02 ソニー株式会社 Ad変換装置、固体撮像素子、およびカメラシステム
JP5801665B2 (ja) * 2011-09-15 2015-10-28 キヤノン株式会社 固体撮像装置、a/d変換器およびその制御方法

Also Published As

Publication number Publication date
JP2011041091A (ja) 2011-02-24
US8922668B2 (en) 2014-12-30
US20110037868A1 (en) 2011-02-17

Similar Documents

Publication Publication Date Title
JP5219962B2 (ja) 固体撮像素子、その駆動方法、及び撮像システム
US9374097B2 (en) Data processor, solid-state imaging device, imaging device, and electronic apparatus
US10805564B2 (en) A/D conversion circuit, and solid-state image pickup apparatus
JP4786631B2 (ja) 固体撮像装置、撮像装置
US7471230B2 (en) Analog-to-digital converter and semiconductor device
JP4449565B2 (ja) 物理量分布検知の半導体装置
KR101515046B1 (ko) 고체촬상장치 및 그 구동방법
JP4423112B2 (ja) 固体撮像装置および撮像システム
TWI511557B (zh) 固態成像器件及其驅動方法,以及使用該固態成像器件之電子裝置
US10735676B2 (en) Solid-state imaging device, method for driving solid-state imaging device and electronic apparatus for extending a dynamic range
JP7339779B2 (ja) 撮像装置
JP2007060080A (ja) 半導体装置
JP6112871B2 (ja) 撮像素子及び撮像装置
JP2012244379A (ja) 固体撮像装置
US9113101B2 (en) Image sensor and image capturing system
JP2013102312A (ja) 固体撮像装置、撮像装置および撮像方法
JP5786762B2 (ja) A/d変換回路、及び固体撮像装置
JP2023032298A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2023032283A (ja) 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム
JP2013153320A (ja) 固体撮像素子、電子機器、及び、固体撮像素子の駆動方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120725

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5219962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3