JP4374115B2 - アクティブピクセルセンサ - Google Patents

アクティブピクセルセンサ Download PDF

Info

Publication number
JP4374115B2
JP4374115B2 JP2000137372A JP2000137372A JP4374115B2 JP 4374115 B2 JP4374115 B2 JP 4374115B2 JP 2000137372 A JP2000137372 A JP 2000137372A JP 2000137372 A JP2000137372 A JP 2000137372A JP 4374115 B2 JP4374115 B2 JP 4374115B2
Authority
JP
Japan
Prior art keywords
pixel
photodetector
time
level
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000137372A
Other languages
English (en)
Other versions
JP2001008101A (ja
Inventor
イー プレンティス ウェイン
マイケル ガイダッシュ ロバート
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JP2001008101A publication Critical patent/JP2001008101A/ja
Application granted granted Critical
Publication of JP4374115B2 publication Critical patent/JP4374115B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Facsimile Scanning Arrangements (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、半導体に基づくイメージセンサに関しており、より具体的には、ダイナミックレンジが増したイメージセンサに関する。
【0002】
【従来の技術】
APS(アクティブピクセルセンサ)は固体(ソリッドステート)イメージャであって、その各ピクセルは光センシング手段と他の能動部品を含み、これらが、電圧又は電流に変換される電荷を生成する。信号は、ピクセルフォトサイトに入射する光量を示す。イメージングセンシング装置のダイナミックレンジ(DR)は、典型的には飽和信号(Vsat)と呼ばれる有効最大検出可能信号レベルの、センサの実効値ノイズレベル(σnoise)に対する比として規定される。これは、式1に示される。
【0003】
式1: ダイナミックレンジ=Vsat/σnoise
電荷結合素子(CCD)のような入射フォトンによって生成された電荷を集積するイメージセンサ装置は、所与のフォトサイト内に収集且つ保持されることができる電荷量(Vsat)によって制限されるダイナミックレンジを有している。例えば、任意の所与のCCDに対して、あるピクセル内で収集且つ検出されることができる電荷量は、ピクセル面積に比例する。これより、メガピクセルデジタルスチルカメラ(DSC)で使用される商用装置に対して、Vsatを示す電子数は13,000個から20,000個のオーダである。入射光が非常に明るく、ピクセル又は光検出器内に保持できる量より多くの電子を生成すると、これらの過剰電子はピクセル内のブルーミング防止手段によって引き出され、増加飽和信号には寄与しない。これより、最大検出可能信号レベルは、光検出器又はピクセル内に保持されることができる電荷量に制限される。DRは、センサノイズレベルσnoiseによっても制限される。Vsatにおける制約のために、CCDに関して多くの研究が行われてきて、σnoiseを非常に低いレベルにまで減らしてきている。典型的な商用メガピクセルDSC装置は、DRが1000:1以下である。
【0004】
DRについての同じ制約が、APS装置に関しても存在する。Vsatは、光検出器内に保持され且つ分離されることができる電荷量によって制限される。過剰な電荷は失われる。この点は、APSにおいてはCCDに比べて更に深刻な問題になる。これは、光検出器のために利用可能な面積を制限するAPSピクセル内の能動部品のため、及びAPS装置で使用される低電圧サプライ及びクロックのためである。加えて、APS装置はチップ上のイメージセンサシステムを提供するために使用されてきたので、CCDには存在しないタイミング回路、制御回路、アナログ・デジタル変換回路等が存在し、これらAPS装置で使用されるデジタル及びアナログ回路が、CCDに比べてはるかに高いノイズ発生源となる。これは、より大きな時間ノイズ、及びオンチップのアナログ・デジタル変換器から発生する可能性のある量子化ノイズによる。
【0005】
コヌマに対して発行された米国特許第5,650,643号(コヌマ)は、固体イメージセンシング装置のダイナミックレンジを増すために使用できる装置を教示している。コヌマは、光検出器に関連した比較器とカウンタとを組み込んで集積信号閾値レベルに到達するために必要とされる時間を計測し、これを唯一のセンサ出力として提供することにより、有効Vsatレベルを増加させる手段を示している。カウンタは比較器と共に、比較器入力に供給された信号レベルに比較器が達するまでに要したカウンタクロック周期の数を決定するために使用される。この装置はその後に、このカウンタクロック周期の数のみを、光検出器に関連した出力又は信号値として提供する。
【0006】
【発明が解決しようとする課題】
コヌマの開示内容によれば、Vsatを効果的に増加することによってダイナミックレンジが増加するが、このアプローチは幾つかの問題点を有している。
【0007】
第1に、各ピクセルにカウンタ及び比較器を設けるとすれば、各ピクセルにおける部品数が非常に大きくなり、フィルファクタ(fill factor)が小さいピクセルになるか、非常に大きなサイズのピクセルになる。このアプローチは、半導体テクノロジーの技術水準における現在の最小形状(feature)サイズ、及び小型ピクセルで低コストのイメージセンサに対する必要性を考慮すれば、現実的ではない。
【0008】
第2に、各ピクセルの出力は、所与の閾値に到達するために必要な時間に対するカウンタ値であり、光検出器にて集積された実際の電荷量に対するアナログ出力値は含まない。このアプローチでは、有効Vsatレベルは増加するが、有効DRは、カウンタクロックの時間周期又は精度、及びカウンタのサイズにより制限されるであろう。例えば、カウンタが10ビット又は1024カウントを有していると、1024個のマスタクロック周期が所望の露出時間にあてはまるとして、ダイナミックレンジは10ビットまで拡大される。所望の露出時間が100msecであれば、そのときにはカウンタクロック周期は97.6μsec以下(≦97.6μsec)でなければならない。DRを20ビットまで拡大しようとすれば、20ビットのカウンタが必要になり、100msecの露出時間に対するカウンタクロック周波数を10.5MHzより大きく(>10.5MHz)する必要があるであろう。露出時間が減少すると、それに対応するように、より速いマスタクロックが必要とされる。例えば、屋外にて明るい太陽光のもとでイメージを獲得する場合に1/60秒の露出時間が望まれる又は必要とされるならば、20ビットを量子化するために63MHzのマスタクロックが必要とされるであろう。典型的な露出条件で高ダイナミックレンジを提供するためには、非常に速いカウンタクロックが必要とされることは明らかである。また、カウンタ中のビット数が大きくなるにつれて、これをピクセル内に集積化するために、より大きな面積が必要になり、ますます大きなピクセルが生成されることになる。典型的なカウンタは、ビット当たり4〜8個のトランジスタを必要とする。これより、20ビットのカウンタは80〜160個のトランジスタを必要とし、0.35μmのCMOSプロセスにおいて40μmより大きい(>40μm)ピクセルサイズとなる。加えて、このアプローチでは、各ピクセルに対する出力値を得るために、イメージセンサ内の全ピクセルがプログラムされた閾値レベルに達する必要がある。これによると、閾値レベルがVsatに近ければ、シーン中の暗い領域を閾値レベルに到達させるために、非常に長い露出時間を必要とするであろう。露出時間は、閾値レベルを非常に低い値にプログラミングすることによって低減させることができるが、これでは、シーン中の非常に明るい領域の情報の精度が減少するであろう。なぜなら、これらの領域は、非常に短い時間期間で閾値に達するからである。
【0009】
第3に、コヌマのアプローチによると、最も明るい光レベルにおいて、データはより量子化される。これは図2に示されている。閾値までの時間から有効光測定がどのように計算されるかを見ることによって、これを理解することができる。
【0010】
閾値(VT)に達するまでに必要とされる時間量(tT)が分かって且つソースが測定時間中に一定であるとするならば、任意の時間(tM)での光量を計算することができる。拡張された有効電圧(Vext)の表現は、以下の式2にて与えられる。
【0011】
式2:Vext=VT・tM/tT
離散システムにおいては、可変時間tTは、式3に示される量子化されたユニットによって測定されるであろう。
【0012】
式3:tT=tM・cv/MaxCv
ここで、cvは量子化された整数コード値であり、MaxCvはtMにおけるcv値に対応するコード値である。式2に式3をを代入すれば、式4が得られる。
【0013】
式4:Vext=VT・MaxCv/cv
図2を参照すると、コード値(cv)が0とは、無限光を意味する。最初の測定可能な量子化が最大であって、cv=1とcv=2との間にある。8ビットリニアシステムに対する量子化は0.0039であり、これは、コヌマに説明された閾値までの時間による方法における最小量子化よりも少ない。
【0014】
第4に、ピクセルアレイの外で単一のカウンタ及び比較器を使用して閾値までの時間を追跡するとすれば、ピクセル毎に十分に小さなサンプリング周波数としてダイナミックレンジの拡張部分に対して十分に微細な量子化を行うために、各ピクセルは極端に高いレートで測定されなければならない。例えば、所望の露出時間に亘って10ビットの量子化が必要であり、且つイメージセンサに100万個のピクセルがあるとする。所望の露出時間を100msecとすると、各ピクセルは、プログラムされた閾値レベルに対して97.65μsec毎にアクセスされて測定されなければならない。これは、100万個のピクセルを97.65μsec毎にサンプリングする必要があることを意味している。これは、97.65ピコ秒毎に1ピクセル、すなわち10.24GHzのピクセルサンプリングレートを必要とする。これを実行する手段は、コヌマにも、APS又は他のイメージセンサ装置の分野のどこにも、開示されてきていない。
【0015】
最後に、与えられた出力値は時間である。この出力から入射イメージを再生する(すなわち、信号レベルを決定する)ためには、時間値から乗算によって外挿しなければならない。これは、センサの有効ノイズレベルを劣化させる。電圧v(t)が閾値に到達するまでの時間を測定するために、値tが使用される。信号VPD(t)は、標準偏差σVのガウシアン付加ノイズが幾らか加わった光子の時間的な蓄積を示す。当業者は、拡張された電圧ドメイン(σExt)におけるノイズが、式5によって示されるように付加ノイズに関連していることを示すことができる。
【0016】
式5:σExt=2・σv・tM・VT 2/tT(VT 2−σv 2
Mが常にtTよりも大きいとすれば、σExtの値が常にσvよりも大きいことが分かる。以上の議論より、従来技術においては、低ノイズ、小型ピクセル、単純且つ低周波数の読み出しを保ち続けながら拡張されたVsat及びダイナミックレンジを提供する装置、及び拡張された電圧信号の量子化を行う手段に対する必要性が残っていることが分かるであろう。
【0017】
【課題を解決するための手段】
本発明は、従来技術における上述の問題点を、(1)光検出器内に集積された電荷と光検出器の内部のプログラムされた信号レベルに到達するまでに必要とされる時間との両方を示すアナログ信号レベルを、各ピクセル内にカウンタを設ける必要なしに提供する小型ピクセルの拡張ダイナミックレンジAPS、及び(2)光検出器内に集積された電荷を示すアナログ信号レベルと所与のピクセルが集積時間内にプログラムされた閾値レベルに達した回数を示す信号との両方を提供する拡張ダイナミックレンジAPS、を提供することによって克服する。
【0018】
第1の実施形態では、ストレジキャパシタが各ピクセル内に含まれていて、これが、時間に依存する電圧をピクセルアレイに供給するグローバル電圧バスに接続されている。任意の所与のピクセル内のストレジキャパシタは、光検出器内の信号レベルがプログラムされた閾値レベルに達すると、時間依存電圧バスから切り離される。キャパシタに蓄えられた電圧は、そのときには、そのピクセルがプログラムされた閾値レベルに達するまでに必要とされる時間を示す。ピクセルは光検出器信号の読み出しパスも有しており、閾値までの時間を示すアナログ信号と光検出器内に集積された電荷を示すアナログ信号との両方を、所望の露出時間の終了時に読み出すことができる。これら2つのアナログ信号が共同して使用されて、拡張ダイナミックレンジを提供する。カウンタはピクセル内に集積されておらず、ピクセルを実用的に小さくすることができる。
【0019】
第2の実施形態では、新しい概念が提供されて、各ピクセル内の有効信号レベルを決定するために時間値からの乗算外挿を行う必要がなくなる。この手法は光検出器アナログ出力バスを備えているが、閾値に達するまでに必要とされた時間ではなく、所与のピクセルがプログラムされた閾値に達した回数を決定するという、付加的な機能を有している。これは、光検出器がプログラムされた閾値に達するたびに光検出器をリセットし、光検出器が集積期間中にリセットされた回数を示す信号をピクセル内に有することによって、実行される。
【0020】
本発明は、小型ピクセルサイズ及び低ノイズを保ちながら、APSのダイナミックレンジを拡張するという効果を有する。これらの実施形態は、ピクセル内に大きなカウンタを必要とせず、低ノイズのアナログ光検出器信号の読み出しも提供する。これは、非常に単純な自動露出信号を必要とするのみであるか又は自動露出信号を必要としない、面積的に効率的な拡張ダイナミックレンジセンサを提供する。
【0021】
【発明の実施の形態】
新しいセンサアーキテクチュアは、好ましくはy行x列を有するアレイに配置されたセンサに対するものであるが、リニアセンサのような他の配列も使用できることを、関連技術における当業者は理解するであろう。
【0022】
新しいAPSピクセル及びセンサアーキテクチュアは、従来技術の制限を克服しながら、拡張されたダイナミックレンジを提供する。図3を参照すると、高ダイナミックレンジセンサを提供する新しいピクセルアーキテクチュアが提供される。このアーキテクチュアでは、ピクセル50は、光検出器PD(典型的にはフォトダイード)、リセットゲートRGを有するリセットトランジスタ、ソースフォロワ入力トランジスタSIG、行選択ゲートRSGを有する行選択トランジスタ、比較器、電圧入力を比較器の一つの入力に提供するバスVpr、第2のソースフォロワ入力トランジスタM1、ストレジキャパシタCs、時間依存電圧信号V(t)をストレジキャパシタに提供するバスVtime、ストレジキャパシタを時間依存電圧バスに接続するスイッチM3、及び第2の行選択トランジスタM2を備えている。比較器に対する第2の入力は、光検出器に接続されている。このピクセルは、以下のように動作する。図8のタイミングダイアグラム図を参照する。はじめに、PD、比較器、及びCsが、必要な信号をRG、Vpr、及びVtimeにそれぞれ印加することによって、所定のレベルにリセットされる。このとき、PDは機能的に空であり、比較器の出力は「0」論理であり、CsはVtimeに接続される。時間t0で、イメージの獲得が開始される。入射光がピクセル内に光電子を生成し、これらがPDに集められる。PD52に蓄積される電荷が増加するにつれて、比較器の正入力に印加される電圧がVpr及び比較器のスイッチングレベルに近づく。また、時間が経つにつれて、Vtimeにおける電圧レベルV(t)が変化する。入力光が十分に明るくて、集積時間Tint内に十分な電子が生成されてVPD(t)信号が比較器54に印加された閾値を越すと、比較器54の状態が切り替わって、Vtime51を介して印加されるV(t)からストレジキャパシタCsが切り離される。これでピクセルストレジキャパシタCsはフローティング状態になり、最後にVtime51に印加された電圧レベル、すなわち光検出器52に蓄積された電荷が比較器54に供給された閾値を越えたt=TintにおけるV(t)のままである。図9を参照すると、3つの明るいピクセルの場合が示されている。ピクセルaはピクセルbより明るく、ピクセルbはピクセルcより明るい。示されているように、ピクセルa、b及びcに対する比較器は異なるタイミングでトリップして、各ストレジキャパシタに蓄えられる異なる電圧VCsを生成する。
【0023】
入射光の明るさが十分ではなくPD電圧レベルが閾値レベルを越えないときには、比較器の状態は切り替わらず、CsはVtimeに接続されたままである。これは図10に示されている。所望の集積時間の終了時には、センサの各ピクセルは、適当な行への所定のRSG信号の印加によって、一度に一行が読み出される。比較器が「トリップ」していなければ、トランジスタM2がターンオフし、時間出力列バスに接続されてピクセルアレイの底部に位置する列毎ソースフォロワ負荷トランジスタによって、時間出力列バスが低電圧に引かれる。比較器がトリップしていると、トランジスタM2がターンオンし、時間出力列バスはストレジキャパシタCsの電圧に比例した電圧になる。これは、論理「1」とも解釈される。ピクセル50に対する比較器54がトリップすると、ストレジキャパシタCsの値が時間出力列バスを通して読み出されて記録される。そのピクセルに対する比較器54が「トリップ」しなければ、光検出器52に対する信号レベルの値が信号出力列バスを通して読み出されて記録される。閾値までの時間又は光検出器内の信号レベルを示すこれらのアナログ信号の読み出しは、従来技術のAPSに対するものと同様の方法で行われることができる。
【0024】
イメージの明るい領域におけるピクセルは、そのピクセルがある信号レベルに達した時点を示すアナログ信号を有しているので、イメージ内の明るい領域の有効PD信号レベルが確認されて、これらの明るい領域に関連する詳細が維持される。このピクセルにおける有効PD信号値Vextは、図1のチャートに示されるように計算されることができて、式2に示される関係によって決定される。このとき、VTはCsがVtime及びV(t)から切り離されるときのPD信号値であり、tMは集積時間又は露出時間であり、tTはそのピクセルがVTに達するために必要とされる時間である。tTは、以下の式6に示されるように、Vtimeに印加されるV(t)関数の逆数をとることによって計算することができる。
【0025】
式6:tT=V-1(t)
加えて、そのシーンの低光量領域内のピクセルについての光検出器のアナログ信号値の読み出しがあるので、暗い領域の詳細も分かって獲得される。イメージの明るい領域に関連した8〜10ビットのイメージデータが存在し、且つイメージの暗い領域に関連した8〜10ビットのイメージデータが存在すると仮定すると、これらの2セットのイメージデータを連結して、計16〜20ビットのシーン詳細情報を提供することができる。これにより、極端に高いダイナミックレンジを有するセンサが得られる。
【0026】
比較器54をトリップさせたピクセルに対するストレジキャパシタCsのレベルの読み出しに加えて、又はその読み出しに平行して、光検出器52のレベルの読み出しを行うこともできることに留意されたい。これにより、同じピクセルから利用可能な2つのデータ値が提供される。一方のデータ値は、比較器54に印加された閾値に達するまでの時間を示し、他方のデータ値は、光検出器52内で集積された信号を示す。これらの値を協調して使用して、キャリブレーションのような機能を実行することができる。例えば、閾値レベルが光検出器のVsatの50%に設定されるならば、Vsatの75%に達したピクセルに対するCs及びPDからの信号を比較且つ使用して、閾値までの時間及びPD内の電荷量を示す信号の正確なキャリブレーションを行うことができる。
【0027】
このピクセルアーキテクチュアの他の実施形態が、図4に示されている。この場合には、ピクセル内の比較器が取り除かれて、PDに隣接するオーバーフローゲートOGとフローティング拡散領域とに置き換えられている。閾値バスVprはOGに接続され、フローティング拡散領域はV(t)とCsとの間のスイッチM3の入力に接続されている。図4では、Csは、単純にトランジスタM1の入力キャパシタンスである。動作は、図3のピクセルに対して説明したものと同様に行われる。はじめに、PDとFDとがリセットされる。これでFDはVDDに近くなり、スイッチトランジスタM3はターンオンしてCsをV(t)に接続する。OGの下方の領域の電位は、Vprによって制御される。集積が進むと、PDは光電子を集め始める。PD内の電子数によってPDの電位がOGの下方の領域の電位を越えると、余分に生成された光電子はPDからOGの下方の領域を通ってFDへ流れる。FD内の電子数によってFDの電位がM3の閾値電圧より低くなると、M3はターンオフし、これによりCsをV(t)から切り離す。ここで、Csに蓄えられた電圧は、所定の信号レベルに達するまでの経過時間を示す。この実施形態では、カウンタも比較器も使用されずに6トランジスタのピクセルが提供される。これにより、消費者用デジタルスチルカメラのアプリケーションに適した高フィルファクタで小ピッチのピクセルが可能になる。
【0028】
同じ概念の第3の実施形態が図5及び図6に示されている。この場合、別個のPDが形成されて、閾値までの時間を決定するためのPDが作られる。これは、PDtと呼ばれる。動作の開始時には、PD及びPDtの両方が、それぞれ所定のレベルにリセットされる。プログラム可能な閾値バスVprは第2のリセットトランジスタM4のゲートに接続され、PDtがリセットされるレベルを制御する。集積が進むと、PD及びPDtは両方とも光電子を集める。PDt内の電子数によってPDtの電位がM3の閾値電圧よりも低くなると、M3はターンオフして、これによりCsをV(t)から切り離す。ここで、Csに蓄えられた電圧は、所定の信号レベルに到達するまでの経過時間を示す。PDtの電位をM4の閾値電圧よりも低くするために必要とされる電荷量は、PDtがリセットされるレベルによって制御される。PD内の光電子量が先に説明した方法で読み出されて、PD内に蓄えられた電子数を示す信号レベルを与える。PDtのサイズ及び容量を適切に設計することによって、閾値tTに達するまでの時間を、所望の集積時間tMよりも確実に短くすることができる。図6に示されるピクセルは、VprがリセットトランジスタM4のゲートではなくドレインに接続されている点を除いて、図5に示されたピクセルと同じである。M4のRGは、リセットトランジスタ#に対するRGと同じ信号に接続されている。PDtのリセットレベルは、やはりVprに印加される電圧によって制御される。
【0029】
この同じ概念の他の実施形態が図7に示されている。この実施形態では、信号列出力バスを使用して、閾値までの時間を示す信号と光検出器に蓄えられた電子数を示す信号とを順に読み出す。ピクセルは、光検出器PD、トランスファーゲートTG、フローティング拡散領域FD、リセットゲートRGを有するリセットトランジスタ、閾値までの時間を示す信号を読み出す行選択トランジスタRSGt、光検出器PD内のアナログ電荷を示す信号を読み出す行選択トランジスタRSGaを備える。FDは、光検出器として動作するように設計されている。このピクセルの動作は、以下のように生じる。はじめに、PD及びFDの両方が、RG及びTGをターンオンし且つVDDをVtimeに印加することによってリセットされる。このとき、TGをターンオフし且つVtimeがVDDの状態で第2の所定の信号レベルをVprに印加することによって、FDのレベルを別個にリセットすることができる。その後に、RGをターンオフし且つV(t)をVtimeに印加することによって、集積が開始される。PD及びFDの両方が光電子を集め始める。FDのレベルはSIGaの閾値を越えているので、SIGaは、Vtimeに印加されたV(t)をSIGtの入力キャパシタンスであるCsに接続するスイッチとして機能する。FD内に集められた光電子数によってFDの電位が閾値電圧SIGaより低くなると、SIGaはターンオフして、Csに蓄えられた電圧レベルが閾値までの時間を示すようになる。集積期間の終了時に、RSGtをhighに設定してCsに蓄えられた信号レベルを読み出すことによって、このセンサが読み出される。その後に、RGをターンオンしてVtimeをVDDに設定することによって、FDがリセットされる。これにより、SIGtを通じた読み出しのためのリセットレベルが提供され、ピクセルのソースフォロワオフセットをキャンセルするために、閾値までの時間を示す信号の差分読み出しが提供される。FDがリセットされるので、リセットレベルは、RGStをターンオフし且つRSGaをターンオンすることによって、ソースフォロワSIGaによって読み出される。その後に、Tgをオン及びオフにストローブすることによって、PD内の電荷がFDに転送される。それから、FDの信号レベルがソースフォロワSIGaを介して読み出される。これにより、光検出器のアナログ信号レベルの相関二重サンプリング読み出しが提供される。
【0030】
CsがV(t)から切り離される閾値がプログラム可能であり、最適性能を提供するようにシステムによって設定されることができることに、留意されたい。加えて、印加される時間依存電圧信号V(t)を、ダイナミックレンジを更に拡張するような任意のユーザ規定の転送(トランスファー)関数に設定して、時間信号の量子化を管理することができる。例えば、V(t)を対数関数にして、シーンの明るい領域で認識されるイルミナンス範囲の拡大を提供することができる。加えて、複数のVpr信号又は信号線を設けて、イメージセンサアレイ内の各カラーピクセルに対して別個のプログラム可能な閾値を設けることもできる。
【0031】
閾値レベルに達するまでに必要とされる時間値がシーンの明るい領域に対して記憶されるので、これらの明るい領域に関連する詳細は全て維持される。シーンの低光量領域に対するアナログ信号値は既知であるので、暗い領域の詳細が分かって獲得される。これにより、極めて高いダイナミックレンジを有するセンサが得られる。10ビットの時間データがあり且つ残りのアナログ信号(すなわち、比較器の閾値レベルを越えなかった値)が8〜10ビットに量子化されるとすると、測定された信号は8〜10ビットだけVTを越えて拡張される。比較器の閾値はプログラム可能であり、最適性能が得られるようにシステムによって設定されることができることに、再び留意すべきである。
【0032】
APSピクセルの高ダイナミックレンジを達成する他の手段は、上記で説明したものと同様であるが、図11に示されるように、比較器54の出力を使用して(1)カウンタをインクリメントし、且つ(2)光検出器をリセットするという点が異なっている。このタイプの実施形態では、カウンタ値は各ピクセルに関連している。フレーム獲得のための集積時間の終了時に、カウンタ値はデジタル出力バスを介して読み出される。その値は、光検出器が閾値レベルを満たしてリセットされた回数を示す。光検出器の出力電圧はアナログ出力バスを介して読み出されるが、その値は、光検出器が最後にリセットされてから集められた電荷量を示す。そのとき、ピクセルの全出力値は、そのピクセルがプログラムされた閾値に達した回数にアナログ出力バスからの光検出器内の電圧を加えたものである。例えば、プログラムされた閾値レベルが500mVであるとする。非常に明るい領域はカウンタ値1245及びアナログ出力300mVを有することがあり、それほど明るくない領域はカウンタ値100及びアナログ出力100mVを有することがあり、薄暗い領域はカウンタ値0及びアナログ出力200mVを有することがある。その場合、出力電圧は、Vout=(カウンタ値)(500)+アナログ出力値)という公式を使用して計算することができる。
【図面の簡単な説明】
【図1】 本発明にて使用される変数を規定して、従来技術及び本発明での拡張ダイナミックレンジを提供するグラフである。
【図2】 従来技術の量子化欠陥を例示するダイアグラム図である。
【図3】 本発明の好適な実施形態のピクセルアーキテクチュアのダイアグラム図である。
【図4】 本発明の好適な実施形態のピクセルアーキテクチュアのダイアグラム図である。
【図5】 本発明の好適な実施形態のピクセルアーキテクチュアのダイアグラム図である。
【図6】 本発明の好適な実施形態のピクセルアーキテクチュアのダイアグラム図である。
【図7】 本発明の好適な実施形態のピクセルアーキテクチュアのダイアグラム図である。
【図8】 図3に示すピクセルの動作のタイミングダイアグラム図である。
【図9】 図3に示すピクセルの動作のタイミングダイアグラム図である。
【図10】 図3に示すピクセルの動作のタイミングダイアグラム図である。
【図11】 本発明によって具現化される他のピクセルアーキテクチュアのダイアグラム図である。
【符号の説明】
50 ピクセル、52 光検出器、54 比較器、PD 光検出器、RG リセットゲート、RSG 行選択ゲート、SIG ソースフォロワ入力トランジスタ、Vpr バス、Vtime バス、Cs ストレジキャパシタ、M1 第2のソースフォロワ入力トランジスタ、M2 第2の行選択トランジスタ、M3 スイッチ。

Claims (2)

  1. 複数のピクセルを有するアクティブピクセルセンサであって、少なくとも一つのピクセルが、
    リセット装置に機能的に結合された光検出器と、
    記光検出器の出力レベルがプログラムされた閾値レベルに達したか否かを判断する装置と、
    リセット装置により前記光検出器の出力レベルがリセットされてから、前記光検出器の出力レベルがプログラムされた閾値レベルに達するまでの間に電圧を蓄えるキャパシタと、
    前記光検出器の出力レベルを信号バスに対して出力し、前記光検出器の出力レベルがプログラムされた閾値レベルに達した場合にさらにキャパシタの電圧を信号バスに対して出力するアナログ検出器と、
    を備えている、アクティブピクセルセンサ。
  2. 前記装置が前記閾値レベルに接続された比較器を更に備えている、請求項1に記載のアクティブピクセルセンサ。
JP2000137372A 1999-05-13 2000-05-10 アクティブピクセルセンサ Expired - Lifetime JP4374115B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/311529 1999-05-13
US09/311,529 US6069377A (en) 1999-05-13 1999-05-13 Image sensor incorporating saturation time measurement to increase dynamic range

Publications (2)

Publication Number Publication Date
JP2001008101A JP2001008101A (ja) 2001-01-12
JP4374115B2 true JP4374115B2 (ja) 2009-12-02

Family

ID=23207321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000137372A Expired - Lifetime JP4374115B2 (ja) 1999-05-13 2000-05-10 アクティブピクセルセンサ

Country Status (6)

Country Link
US (1) US6069377A (ja)
EP (1) EP1052846B1 (ja)
JP (1) JP4374115B2 (ja)
KR (1) KR100718404B1 (ja)
DE (1) DE60030802T2 (ja)
TW (1) TW448339B (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6552745B1 (en) * 1998-04-08 2003-04-22 Agilent Technologies, Inc. CMOS active pixel with memory for imaging sensors
FR2781929B1 (fr) * 1998-07-28 2002-08-30 St Microelectronics Sa Capteur d'image a reseau de photodiodes
US6246043B1 (en) * 1998-09-22 2001-06-12 Foveon, Inc. Method and apparatus for biasing a CMOS active pixel sensor above the nominal voltage maximums for an IC process
US6859227B1 (en) * 1999-04-23 2005-02-22 Micron Technology, Inc. Active pixel sensor with reduced fixed pattern noise
EP1148346B1 (en) * 2000-04-20 2010-03-10 Datalogic Automation S.r.l. Method for calibrating a photoelectric cell
WO2002025934A2 (en) * 2000-09-25 2002-03-28 Sensovation Ag Image sensor device, apparatus and method for optical measurements
US6946635B1 (en) 2000-10-05 2005-09-20 Ess Technology, Inc. System for improving the dynamic range of solid-state imaging devices
US6566697B1 (en) * 2000-11-28 2003-05-20 Dalsa, Inc. Pinned photodiode five transistor pixel
US7088388B2 (en) * 2001-02-08 2006-08-08 Eastman Kodak Company Method and apparatus for calibrating a sensor for highlights and for processing highlights
FR2820883B1 (fr) 2001-02-12 2003-06-13 St Microelectronics Sa Photodiode a grande capacite
FR2820882B1 (fr) 2001-02-12 2003-06-13 St Microelectronics Sa Photodetecteur a trois transistors
WO2002084498A1 (en) * 2001-04-11 2002-10-24 Chelsio Communications, Inc. Reduced-overhead dma
GB2375133B (en) * 2001-04-17 2004-09-15 David Vincent Byrne A trench cover
FR2824665B1 (fr) * 2001-05-09 2004-07-23 St Microelectronics Sa Photodetecteur de type cmos
WO2002098112A2 (en) * 2001-05-29 2002-12-05 Transchip, Inc. Patent application cmos imager for cellular applications and methods of using such
US7738013B2 (en) * 2001-05-29 2010-06-15 Samsung Electronics Co., Ltd. Systems and methods for power conservation in a CMOS imager
US6642503B2 (en) * 2001-06-13 2003-11-04 Texas Instruments Incorporated Time domain sensing technique and system architecture for image sensor
WO2003001567A2 (en) 2001-06-20 2003-01-03 R3 Logic, Inc. High resolution, low power, wide dynamic range imager with embedded pixel processor and dram storage
US20030206236A1 (en) * 2002-05-06 2003-11-06 Agfa Corporation CMOS digital image sensor system and method
US20050177133A1 (en) * 2002-07-08 2005-08-11 Nielsen Henrik L. External urinary catheter
JP4172216B2 (ja) 2002-07-16 2008-10-29 ソニー株式会社 撮像装置
FR2844129B1 (fr) * 2002-09-03 2004-10-29 Suisse Electronique Microtech Procede et capteur pour determiner le contraste local d'une scene observee, par detection de la luminance emanant de cette scene
US6888573B2 (en) * 2002-10-31 2005-05-03 Motorola, Inc. Digital pixel sensor with anti-blooming control
US7830435B2 (en) * 2003-09-03 2010-11-09 Eastman Kodak Company Image sensor and image capture system with extended dynamic range
US6873282B1 (en) 2004-03-04 2005-03-29 Charles Douglas Murphy Differential time-to-threshold A/D conversion in digital imaging arrays
US7126512B2 (en) * 2004-03-19 2006-10-24 Charles Douglas Murphy Comparing circuits for time-to-threshold A/D conversion in digital imaging arrays
GB0412296D0 (en) * 2004-06-02 2004-07-07 Council Cent Lab Res Councils Imaging device
KR100646867B1 (ko) 2004-12-21 2006-11-23 삼성전자주식회사 비선형 영상을 보정하는 촬상장치 및 그 방법
GB2432065A (en) * 2005-11-01 2007-05-09 Isis Innovation Image sensor with comparator and logarithmic output
US20070263127A1 (en) * 2006-03-07 2007-11-15 Transchip, Inc. Low Noise Gamma Function In Digital Image Capture Systems And Methods
US7868928B2 (en) 2006-03-15 2011-01-11 Samsung Electronics Co., Ltd. Low noise color correction matrix function in digital image capture systems and methods
EP1858245A1 (en) 2006-05-17 2007-11-21 STMicroelectronics (Research & Development) Limited High performance photosensor
US7326903B2 (en) * 2006-06-29 2008-02-05 Noble Peak Vision Corp. Mixed analog and digital pixel for high dynamic range readout
US7692130B2 (en) * 2006-11-01 2010-04-06 International Business Machines Corporation CMOS imaging sensor having a third FET device with a gate terminal coupled to a second diffusion region of a first FET device and a first terminal coupled to a row select signal
KR100834763B1 (ko) * 2006-11-14 2008-06-05 삼성전자주식회사 동적 촬영 대역의 확장을 위한 이미지 센서 및 화소에수광된 광량을 측정하는 방법
AT504582B1 (de) 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
KR101338353B1 (ko) * 2007-05-30 2013-12-06 삼성전자주식회사 영상 촬상 장치 및 방법
JP2009081705A (ja) * 2007-09-26 2009-04-16 Panasonic Corp 固体撮像装置、受光強度測定装置、および受光強度測定方法
JP5269456B2 (ja) * 2008-03-26 2013-08-21 株式会社東芝 イメージセンサおよびその駆動方法
GB2460260A (en) * 2008-05-22 2009-11-25 Isis Innovation Image sensor
US7964840B2 (en) * 2008-06-19 2011-06-21 Omnivision Technologies, Inc. High dynamic range image sensor including polarizer and microlens
DE102009044535A1 (de) * 2008-11-16 2010-07-22 Christoph Bacher Bildsensor
US8625012B2 (en) * 2009-02-05 2014-01-07 The Hong Kong University Of Science And Technology Apparatus and method for improving dynamic range and linearity of CMOS image sensor
KR100919834B1 (ko) * 2009-03-26 2009-10-01 삼성탈레스 주식회사 열상 장비 검출기 보호 방법 및 장치
GB0920750D0 (en) * 2009-11-26 2010-01-13 Isis Innovation High dynamic range pixel
US8218046B1 (en) * 2009-12-17 2012-07-10 Jai, Inc. USA Monochrome/color dual-slope traffic camera system
US8445828B2 (en) * 2010-07-01 2013-05-21 Silicon Optronics, Inc. High dynamic range image sensor with in pixel memory
IL212289A (en) * 2011-04-13 2016-08-31 Semi-Conductor Devices - An Elbit Systems - Rafael Partnership Circuit and method for reading image signals
US9036065B1 (en) * 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor
US9270895B2 (en) 2013-07-31 2016-02-23 Massachusetts Institute Of Technology Methods and apparatus for true high dynamic range imaging
US9654714B2 (en) 2013-11-01 2017-05-16 Silicon Optronics, Inc. Shared pixel with fixed conversion gain
DE102013222305A1 (de) * 2013-11-04 2015-05-07 Conti Temic Microelectronic Gmbh Verfahren zur Bildaufnahme durch ein Fahrerassistenzsystem
US9426395B2 (en) 2014-03-25 2016-08-23 Samsung Electronics Co., Ltd. Methods of calibrating knee-point and logarithmic slope in linear-logarithmic image sensors
US9526468B2 (en) 2014-09-09 2016-12-27 General Electric Company Multiple frame acquisition for exposure control in X-ray medical imagers
US9591247B2 (en) 2014-12-22 2017-03-07 Google Inc. Image sensor having an extended dynamic range upper limit
US20160312517A1 (en) 2015-04-22 2016-10-27 Ford Global Technologies, Llc Vehicle and method of opening and closing a door of the vehicle
RU2016121630A (ru) 2015-06-03 2017-12-06 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Строящая карту дальностей камера для внутренней стороны двери
RU167596U1 (ru) * 2015-08-03 2017-01-10 Акционерное общество "НПО "Орион" Устройство детектирования лазерных импульсов в ячейке фотоприемной матрицы ИК-диапазона
US9838628B2 (en) 2016-03-16 2017-12-05 Sony Corporation Detecting quantities beyond sensor saturation
EP3319311B1 (fr) * 2016-11-03 2019-10-23 Commissariat à l'Energie Atomique et aux Energies Alternatives Capteur d'images synchrone à codage temporel
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
JP6987603B2 (ja) * 2017-10-26 2022-01-05 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
US10827142B2 (en) * 2018-03-02 2020-11-03 Facebook Technologies, Llc Digital pixel array with adaptive exposure
US10923523B2 (en) * 2018-04-16 2021-02-16 Facebook Technologies, Llc Multi-photodiode pixel cell
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
JP7338983B2 (ja) * 2019-02-18 2023-09-05 ブリルニクス シンガポール プライベート リミテッド 固体撮像装置、固体撮像装置の駆動方法、および電子機器
CN109951657B (zh) * 2019-04-22 2021-04-23 Oppo广东移动通信有限公司 像素电路及图像传感器
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US12022218B2 (en) 2020-12-29 2024-06-25 Meta Platforms Technologies, Llc Digital image sensor using a single-input comparator based quantizer

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4479062A (en) * 1981-02-06 1984-10-23 Asahi Kogaku Kogyo Kabushiki Kaisha Photo-electric conversion device with accumulation time control
US4399464A (en) * 1981-05-04 1983-08-16 General Dynamics, Pomona Division Signal processor for an array of CID radiation detector elements
JPH07112252B2 (ja) * 1984-07-27 1995-11-29 株式会社ニコン 固体撮像装置
US5182658A (en) * 1988-07-27 1993-01-26 Canon Kabushiki Kaisha Image pickup apparatus for controlling accumulation time in photoelectric elements
US5117118A (en) * 1988-10-19 1992-05-26 Astex Co., Ltd. Photoelectric switch using an integrated circuit with reduced interconnections
JP2911521B2 (ja) * 1990-02-15 1999-06-23 キヤノン株式会社 センサ装置
JP2953297B2 (ja) * 1994-03-30 1999-09-27 日本電気株式会社 受光素子およびその駆動方法
JPH07333060A (ja) * 1994-06-07 1995-12-22 Nikon Corp 測光装置
JPH07333059A (ja) * 1994-06-07 1995-12-22 Nikon Corp 測光装置
DE69517375T2 (de) * 1994-08-31 2001-03-01 Matsushita Electric Industrial Co., Ltd. Bildaufnahmevorrichtung mit weitem Dynamikbereich
JP3590806B2 (ja) * 1994-09-07 2004-11-17 株式会社ニコン イメージセンサーシステムおよび自動焦点検出装置
FR2735616B1 (fr) * 1995-06-16 1997-08-22 France Telecom Capteur d'image a semi-conducteurs a transformation integree d'histogramme de pixels
US5768540A (en) * 1995-12-13 1998-06-16 Nikon Corporation Photometric apparatus
FR2756682B1 (fr) * 1996-12-03 1999-05-14 Schneider Electric Sa Cellule photoelectrique a amplification stabilisee
JPH10190367A (ja) * 1996-12-27 1998-07-21 Rohm Co Ltd 光電気変換回路

Also Published As

Publication number Publication date
JP2001008101A (ja) 2001-01-12
DE60030802T2 (de) 2007-09-13
EP1052846A3 (en) 2003-08-13
TW448339B (en) 2001-08-01
KR100718404B1 (ko) 2007-05-14
EP1052846A2 (en) 2000-11-15
EP1052846B1 (en) 2006-09-20
DE60030802D1 (de) 2006-11-02
US6069377A (en) 2000-05-30
KR20010020835A (ko) 2001-03-15

Similar Documents

Publication Publication Date Title
JP4374115B2 (ja) アクティブピクセルセンサ
JP4037602B2 (ja) ダイナミックレンジを拡大させるmos画像形成装置
JP4536901B2 (ja) 拡大されたダイナミックレンジを有するcmosイメージセンサ
US6642503B2 (en) Time domain sensing technique and system architecture for image sensor
US7209166B2 (en) Wide dynamic range operation for CMOS sensor with freeze-frame shutter
US6624850B1 (en) Photogate active pixel sensor with high fill factor and correlated double sampling
US7746398B2 (en) Wide dynamic range active pixel with knee response
JP3927696B2 (ja) 撮像装置
JPH114385A (ja) Cmosを基礎とするピクセル構造の高ダイナミックレンジの読み出し信号を得る方法及びそのcmosを基礎とするピクセル構造
US6831691B1 (en) Solid-state image pickup device
JP3664035B2 (ja) 固体撮像装置
US20050030401A1 (en) Method and circuit for determining the response curve knee point in active pixel image sensors with extended dynamic range
CN113228623B (zh) 超高动态范围cmos传感器
US7718945B2 (en) Solid state imaging device including photodetecting section, row selecting section for changing the electric charge accumulating time of each row, and signal processing section
JP2024529154A (ja) 自己較正障壁変調画素
JP4345175B2 (ja) 固体撮像装置
JP4345145B2 (ja) 固体撮像装置
JP2024530079A (ja) ピクセル配列、画像センサ、およびピクセル配列を動作させる方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060707

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090907

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4374115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120911

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130911

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term