JP4187502B2 - 画質を向上させたイメージセンサ - Google Patents
画質を向上させたイメージセンサ Download PDFInfo
- Publication number
- JP4187502B2 JP4187502B2 JP2002317032A JP2002317032A JP4187502B2 JP 4187502 B2 JP4187502 B2 JP 4187502B2 JP 2002317032 A JP2002317032 A JP 2002317032A JP 2002317032 A JP2002317032 A JP 2002317032A JP 4187502 B2 JP4187502 B2 JP 4187502B2
- Authority
- JP
- Japan
- Prior art keywords
- potential
- pixel
- reset
- hold circuit
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/627—Detection or reduction of inverted contrast or eclipsing effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、光電変換素子を有する画素を行列配置したイメージセンサに関し、特に、太陽光などの局部的に明るい画像の画質を向上させることができるイメージセンサに関する。
【０００２】
【従来の技術】
ＣＭＯＳイメージセンサなどのイメージセンサは、光電変換素子を画素に有し、所定の積分期間において入射される光量を電気信号に変換し、画像処理を行って画像信号を出力する。行選択線が駆動されるときに、その行選択線に接続された画素の光電変換信号が、各列に設けられたサンプルホールド回路に保持され、当該保持された検出信号が水平走査パルスによって順次出力される。
【０００３】
かかるＣＭＯＳイメージセンサは、例えば、以下の特許文献に開示されている。
【０００４】
従来のイメージセンサの画素は、例えば、光電変換素子であるフォトダイオードと、そのカソード電位をリセットするリセットトランジスタと、増幅トランジスタと、選択トランジスタとで構成される。そして、フォトダイオードのカソード電位がリセット電位にリセットされたのち、所定の積分期間の間、受光光量に応じてフォトダイオードが発生する電流によりそのカソード電位が低下する低下電圧が、光電変換電圧としてサンプルホールド回路に保持される。
【０００５】
上記のカソード電位には、リセット時にリセットノイズが重畳される。このリセットノイズは、画素内のトランジスタ特性のバラツキや寄生容量のバラツキにより依存するので、画素毎に異なる。このリセットノイズを検出電圧から除去するために、サンプルホールド回路は、相関二重サンプリング回路で構成される。相関二重サンプリング回路は、第１のリセット動作後の積分期間終了時にカソード電位をサンプル・ホールドし、その直後に第２のリセット動作を行って、それに続くリセットノイズ読み出し期間後に、発生したリセットノイズをサンプル・ホールドする。そして、２つのサンプル・ホールド電圧の差電圧を画素信号として出力する。２つのサンプル・ホールド電圧の差をとることにより、検出信号からリセットノイズが除去される。
【０００６】
【特許文献】
特開平２００２−２１８３２４号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、撮像画像内に太陽光など、周囲の画像に比べて極端に高い輝度の領域が局所的に存在する場合は、それに対応する画素では、フォトダイオードが生成する光電変換電流が極端に大きくなる。そのため、第２のリセット動作後のリセットノイズ読み出し期間において、そのカソード電位が急速に低下する。その結果、２つのサンプル・ホールド電圧の差電圧が非常に小さくなる。つまり、本来は太陽光など高い輝度の領域であれば、検出される画素信号レベルは最大レベルになることが期待されるところ、リセットノイズ読み出し期間で読み出されるリセットノイズが大きくなりすぎて、期待通りの画素信号レベルが得られなくなる。そのため、得られる出力画像では、太陽の輝度が極端に低い画像になり、極端な場合太陽が真っ黒な画像になってしまう。
【０００８】
そこで、本発明の目的は、相関二重サンプリングにより画素の検出信号をサンプルホールドするイメージセンサにおいて、局所的に高い輝度の画像が存在しても適切な輝度の出力画像を生成することができるようにすることにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明の一つの側面は、画像を撮像するイメージセンサにおいて、受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有する。そして、サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との差電位を画素信号として出力する。更に、サンプルホールド回路では、リセットノイズ読み出し期間中の第２の画素電位が所定の閾値レベルを越える時に、前記第２の画素電位が所定の基準電位にされることを特徴とする。
【００１０】
上記の発明の側面によれば、局部的に高い輝度の画像が存在する場合に、リセットノイズ読み出し期間での露光により、第２の画素電位がリセットノイズを遙かに越える電位になって第１の画素電位と第２の画素電位の差電位である画素信号レベルが低くなりすぎることが防止される。つまり、第２の画素電位が所定の閾値レベルを超える場合は、サンプルホールド回路の相関二重サンプリング機能がディセーブルにされて、第１の画素電位と第２の画素電位との差電圧に代えて、リセットレベルから第１の画素電位までの差電圧が検出される。その結果、高い輝度の局所領域で画質が低下することが防止される。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を説明する。しかしながら、本発明の保護範囲は、以下の実施の形態例に限定されるものではなく、特許請求の範囲に記載された発明とその均等物にまで及ぶものである。
【００１２】
図１は、本実施の形態におけるＣＭＯＳイメージセンサの画素アレイの構成を示す図である。画素アレイ１０は、行方向に配置された複数のリセット電源線ＶＲ、行選択線SLCT1〜4、リセット制御線RST1〜4と、コラム方向に配置された複数のコラム線CL1〜CL4と、各行選択線、リセット制御線とコラム線との交差位置に配置された画素PX11〜PX44とを有する。各画素には、画素PX14に示されるとおり、リセット用トランジスタＭ１と、光電変換素子であるフォトダイオードＰＤと、フォトダイオードの一方のノードであるカソード電位を増幅するソースフォロワートランジスタＭ２と、行選択線SLCTの駆動に応答して、ソースフォロワートランジスタＭ２のソースとコラム線ＣＬとを接続する選択トランジスタＭ３とからなる光電変換回路が設けられる。フォトダイオードの他方のノードであるアノードは、グランドなどの基準電位に接続されている。
【００１３】
行方向に配置された行選択線SLCT1〜4やリセット制御線RST1〜4は、垂直走査シフトレジスタ１２やリセット制御回路１１により駆動制御される。即ち、垂直走査シフトレジスタ１２は、垂直走査信号Vscanを生成する垂直走査回路であり、垂直走査クロックVCLKに応答して、データVDATAの「１」をシリアル転送して、各行を選択する垂直走査信号Vscanを生成する。この垂直走査信号に応答して、行選択線SLCT0〜3が順次駆動される。
【００１４】
また、列方向に配置された各コラム線ＣＬ１〜４は、それぞれサンプルホールド回路１４に接続される。サンプルホールド回路１４は、後述するとおり、各画素からコラム線ＣＬを経由して供給される光電変換信号を増幅し、リセット動作に伴うリセットノイズを削除して、画素信号を出力する。
【００１５】
サンプルホールド回路１４から出力される画素信号は、水平走査シフトレジスタ１６が生成する水平走査信号Hscanにより選択されるコラム選択トランジスタＣＳ１〜ＣＳ４を介して、共通出力バスOBUSに出力され、出力バスに接続された増幅器AMPにより増幅される。増幅器AMPの出力は、図示しないカラープロセッサに供給される。
【００１６】
図２は、従来のサンプルホールド回路を示す図であり、図３は、サンプルホールド回路の動作を示す信号波形図である。図２には、１つの画素ＰＸの回路と、図示しないコラム線を介して画素ＰＸに接続されるサンプルホールド回路１４とが示される。サンプルホールド回路１４は、第１のスイッチＳＷ１と、第２のスイッチＳＷ２と、第１のサンプル・ホールドキャパシタＣ１、第２のサンプリング・ホールドキャパシタＣ２と、基準電圧VREFと、第１及び第２のアンプAMP1,AMP2とを有し、画素の光電変換回路のリセットノイズをキャンセルする相関二重サンプリング回路である。また、画素ＰＸとサンプルホールド回路１４との間に電流源Ｉ１が設けられている。
【００１７】
この画素ＰＸとサンプルホールド回路１４の動作について、図３を参照しながら説明する。図３には、画素内のフォトダイオードＤ１のカソード電圧VPDに対応して出力される画素電位Ｖｐの電圧変化が、行選択線SLCT、リセット制御制御線RST、第１、第２のスイッチＳＷ１，ＳＷ３などと関連して示される。簡単のために、行選択線SLCTはＨレベルに駆動され、選択トランジスタＭ３は導通状態にされているものとする。
【００１８】
まず、第１のリセット期間Ｔ１でリセット制御線ＲＳＴがＨレベルに駆動されリセットトランジスタＭ１が導通され、フォトダイオードＰＤのカソード電位VPDがリセットレベルVRにされる。カソード電位VPDに対応する画素電位Ｖｐも対応するリセットレベルになる。そして、リセット制御線ＲＳＴがＬレベルになりリセットトランジスタＭ１が非導通になると、カソード電位VPDは、入力光の光量に応じてフォトダイオードＰＤが発生する電流により徐々にレベルを下げる。これが積分期間Ｔ２である。但し、リセットトランジスタＭ１が非導通になるときにリセットノイズＶｎが発生する。このリセットノイズＶｎは、画素毎にばらついた電圧である。
【００１９】
所定の積分期間Ｔ２を経過した後に、スイッチＳＷ１，ＳＷ２が一時的に導通状態にされて、カソード電位VPDに応じて生成されるソースフォロワートランジスタＭ２からの駆動電流が、選択トランジスタＭ３と図示しないコラム線を介して、キャパシタＣ１を充電する。このサンプリング動作により、ノードＶＣ１は、リセット電圧VRから、リセットノイズ電圧Ｖｎと積分期間で低下した電位Ｖｓとを加えた（Ｖｓ＋Ｖｎ）だけ低い電位ＶＲ−（Ｖｓ＋Ｖｎ）になる。また、ノードＶＣ１の電位は、第１のアンプAMP1を介して第２のキャパシタＣ２にも伝えられる。
【００２０】
この時、第２のスイッチＳＷ２も導通状態であり、第１のアンプAMP1の増幅率が１とすると、第２のキャパシタＣ２も第１のキャパシタと同じ電圧状態に充電される。この状態で、第１及び第２のキャパシタＣ１，Ｃ２には、レベルＶＲ−（Ｖｓ＋Ｖｎ）と基準電圧VREFとの差電圧が印加される。そして、スイッチSW1が非導通に制御されると、第１及び第２のキャパシタは、上記のレベルをホールドする。
【００２１】
積分期間Ｔ２の終了後に、リセット制御線ＲＳＴに再度リセットパルスが供給されて、リセットトランジスタＭ１が導通する。この第２のリセット動作により、カソード電位VPDは再度リセットレベルＶＲに充電される。これが第２のリセット期間Ｔ３である。その後、リセットノイズ読み出し期間Ｔ４経過後に、第１のスイッチＳＷ１が一時的に導通状態にされる。この時、第２のスイッチＳＷ２は非導通状態に維持される。このリセットノイズ読み出し期間Ｔ４においても、積分期間Ｔ２と同様に、カソード電位VPDは受光光量に応じたフォトダイオードの電流によりレベルが低下する。但し、このリセットノイズ読み出し期間Ｔ４は、積分期間Ｔ２に比較すると短く設定される。
【００２２】
このリセットノイズ読み出し期間Ｔ４中に、スイッチＳＷ１が導通状態になり、第１のキャパシタＣ１のノードＶＣ１は、リセット電圧ＶＲからリセットノイズＶｎだけ低下したレベルＶＲ−Ｖｎになる。この電位ＶＲ−Ｖｎは、第１のアンプAMP1を介して第２のキャパシタＣ２の端子にも伝えられる。この時、第２のスイッチＳＷ２が非導通状態であるので、第２のキャパシタＣ２のノードＶＣ２はオープン状態になっている。従って、第２のキャパシタＣ２のノードＶＣ２には、積分期間Ｔ２終了時のノードＶＣ１の電位ＶＲ−（Ｖｓ＋Ｖｎ）と、リセットノイズ読み出し期間Ｔ４終了時のノードＶＣ１の電位ＶＲ−Ｖｎとの差電圧Ｖｓの変動が生じて、それに最初のサンプリング時の基準電圧VREFを加えた電圧VREF＋ＶｓがノードＶＣ２に生成される。つまり、この電圧ＶＲＥＦ＋Ｖｓからは、リセットノイズＶｎが削除されている。
【００２３】
第２のアンプAMP2の基準電位をVREFにすることにより、受光光量に応じて積分された検出電圧Ｖｓが、第２のアンプAMP2により増幅され、水平走査シフトレジスタ１６が生成する水平走査信号により順次導通制御されたコラムゲートＣＳを介して、出力バスOBUSに出力される。そして、それが出力バスOBUSに設けられた共通増幅器ＡＭＰにより増幅され、後段のＡ／Ｄ変換回路に画素信号として供給される。
【００２４】
図３に示された画素電位Ｖｐの波形は、局部的に高い輝度の画像に対応する画素の例である。即ち、積分期間Ｔ２が短く制御されているにもかかわらず、画素電位Ｖｐが急速に低下して短時間で飽和している。それに伴い、スイッチSW1,SW2が導通する第１のサンプル・ホールド動作時の検出電圧Vsは、最大値に達している。そして、第２のリセット動作後のリセットノイズ読み出し期間Ｔ４は、短い期間にもかかわらず、その画素電位Ｖｐは急速に低下して、スイッチSW1が導通する第２のサンプル・ホールド動作時にリセットノイズVnとして検出されるレベルが非常に大きくなっている。そのため、相関二重サンプリングにより求められる検出電圧Vs＝（VR−Vn）−｛VR−（Vs＋Vn）｝は、本来の高輝度に対応するレベルよりも低くなっている。
【００２５】
リセットノイズ読み出し期間Ｔ４は、リセット制御信号RSTと第１のスイッチSW1の動作との間のマージンを確保するために、ある程度の長さの期間にしなければならないが、上記のような高輝度の画像の場合、そのような短い期間Ｔ４であっても、画素電位Ｖｐが急速に低下し、本来のリセットノイズを遙かに越えるリセットノイズVnがサンプルホールドされてしまう。
【００２６】
図４は、本実施の形態におけるサンプルホールド回路を示す図である。画素PXは図２と同じである。サンプルホールド回路１４は、相関二重サンプリング回路14Aと、相関二重サンプリング回路をディセーブルするか否かを制御する制御回路14Bとを有する。図４の相関二重サンプリング回路14Aは、図２のサンプルホールド回路と同じ構成である。制御回路14Bは、図１に示されるとおり、コラム線CL1〜CL4に接続されるサンプルホールド回路１４内に、コラム線と相関二重サンプリング回路との間に設けられる。
【００２７】
制御回路14bは、スイッチSW4,SW5を有し、更に、NORゲートNOR、インバータINV1,INV2とを有する。画素PXと相関二重サンプリング回路14Aとの間に設けられたスイッチSW4は、インバータINV1の出力により制御され、その出力がＨレベルの時に導通制御される。また、相関二重サンプリング回路14Aとリセット電源VRとの間に設けられたスイッチは、インバータINV2の出力により制御され、同様にその出力がＨレベルの時に導通制御される。NORゲートNORの一方の入力端子には、制御回路14Bのイネーブル・ディセーブルを制御するイネーブル信号ENが入力され、他方の入力端子には、画素電位Ｖｐが入力される。
【００２８】
図５は、本実施の形態におけるサンプルホールド回路の動作を示す図である。この例は、図３と同様に局部的に高い輝度の画像を撮像する場合の動作例である。最初のリセット期間Ｔ１でのリセット動作と、積分期間Ｔ２終了時でのスイッチSW1,SW2を導通させて行う第１のサンプル・ホールド動作とは、図３の場合と同じである。これらの動作中は、イネーブル信号ENはＨレベル（ディセーブル状態）であり、制御回路14Bはディセーブル状態であり、スイッチSW4は導通、スイッチSW5は非導通状態に制御されている。従って、相関二重サンプリング回路14A内のノード電圧VC1には、リセット電圧に対応する電圧VRからリセットノイズVnと検出電圧Vsとの和（Vs＋Vn）を減算した電圧VR−（Vs＋Vn）になる。第１の増幅器AMP1の出力もゲインが１と仮定すると同様である。
【００２９】
次に、第２のリセット期間Ｔ３にはいると、イネーブル信号ENがＬレベル（イネーブル状態）にされる。これにより、NORゲートは活性化状態になり、画素電位ＶｐがNORゲートNORが持つ閾値レベルVthより低くなればその出力がＨレベルに制御されることになる。第２のリセット期間Ｔ３の後、リセットトランジスタＭ１が非導通状態になると、リセットノイズ読み出し期間Ｔ４になり、入射光光量に応じてカソード電圧VPDのレベルが低下する。高輝度であるためカソード電圧は急速に低下し、それに伴って画素電位Ｖｐも急速に低下し、第１のスイッチSW1が非導通になるホールド動作の前までにNORゲートNORの閾値レベルVthを越えてしまう。
【００３０】
これに応答して、NORゲートNORの出力はＨレベルになり、第１のインバータINV1の出力はＬレベルになり、スイッチSW4は非導通に制御されると共に、第２のインバータINV2の出力はＨレベルになり、スイッチSW5は導通状態に制御される。スイッチSW5の導通により、ノード電圧VC1は画素電位Vpではなくリセット電源VRレベルまで強制的に引き上げられる。その後、第１のスイッチSW1が非導通になり、リセットレベルVRがキャパシタＣ１にホールドされる。つまり、ノード電位VC1のレベルは、リセットレベルVRになり、第１の増幅器AMP1の出力もリセットレベルVRになる。従って、ノード電圧VC2は、基準電圧VREFからVs+Vn＋VREFまで引き上げられて、検出電圧はVs＋Vnになる。
【００３１】
このサンプルホールド動作では、検出電圧Vs＋VnからリセットノイズVnは除去されない。しかしながら、そもそも検出電圧Vsが最大値またはそれに近い値であるので、わずかなリセットノイズが除去されていなくても出力画像（最大階調レベルまたはその近傍レベル）の画質の低下の問題は少ない。むしろ、従来例のように、リセットノイズVnが必要以上に大きく検出されて検出電圧Vsが小さくなりすぎて出力画像が高い輝度にかかわらず低輝度になるよりは、画質は向上する。
【００３２】
図６は、本実施の形態におけるサンプルホールド回路の別の動作を示す図である。この例は、図３と異なり、輝度が高くない画像を撮像する場合の動作例である。入射光光量が少ないため、積分期間Ｔ２におけるフォトダイオードPDの電流が比較的小さく、従ってカソード電圧VPD及びそれに対応する画素電位Vpは徐々に低下する。そして、積分期間Ｔ２終了時の第１のサンプルホールド時にホールドされる画素電位Vpは、飽和レベルまでは達していない。
【００３３】
そして、第２のリセット動作後のリセットノイズ読み出し期間Ｔ４においても、カソード電圧VPD及びそれに対応する画素電位Vpは徐々に低下し、第１のスイッチSW1が閉じるホールド動作時までに、閾値レベルVthを越えることはない。そのため、制御回路14BのNORゲートNORの第２の入力である画素電位VpはＬレベルにならず、NORゲート出力はＬレベルを維持する。つまり、第１のインバータINV1の出力はＨレベルを維持してスイッチSW4を導通状態に維持し、第２のインバータINV2の出力はＬレベルに維持され、スイッチSW5が導通することはない。従って、リセットノイズVnが除去された電圧Vsが適切に検出される。
【００３４】
このように、特に高い輝度の画素でない場合は、制御回路14Bが相関二重サンプリング回路14Aの動作を通常動作に制御するので、適切なリセットノイズVnを除去した検出電圧Vsが検出される。
【００３５】
上記の実施の形態では、NORゲートの閾値レベルVthを適切に設計することにより、制御回路14Bによる制御レベルを最適化することができる。そこで、この制御回路14Bの閾値レベルを変更可能にすることで、相関二重サンプリング動作のイネーブルとディセーブルとの境界点を変更可能にすることができる。
【００３６】
図７は、第２の実施の形態におけるサンプルホールド回路を示す図である。相関二重サンプリング回路14Aは、図４の実施の形態と同じである。第２の実施の形態では、制御回路14Bにおいて、図４のNORゲートに代えて、コンパレータCMPが設けられ、コンパレータの出力が第１のインバータINV1に供給される。そして、コンパレータCMPは、画素電位Vpと比較される閾値レベルが、スイッチSW6によりVth1,Vth2（＜Vth1）のいずれかに変更可能になっている。スイッチSW6は、マニュアル操作可能な外部端子や図示しない内部回路により自動制御される制御信号CONにより切り換えられる。
【００３７】
例えば、画像内に太陽などの局所的に高輝度の画像が含まれている場合は、高いほうの閾値レベルVth1が選択される。これに伴い、リセットノイズ読み出し期間Ｔ４で画素電位Vpが閾値レベルVth1を越えて低下した場合は、第２のサンプルホールド時の検出レベルがリセット電圧VRになり、図５と同じ動作になる。
【００３８】
一方、画像内に局所的に極めて高輝度の画像が含まれていない場合は、通常の低い方の閾値レベルVth2が選択される。これに伴い、リセットノイズ読み出し期間Ｔ４で画素電位Vpが閾値レベルVth2を越えることがなく、第２のサンプルホールド時の検出レベルがリセットノイズVnとなり、図６と同じ動作になる。
【００３９】
このように、閾値レベルを変更可能にすることで、撮像している画像に応じて最適化された出力画像を得ることができる。
【００４０】
上記の閾値レベルの変更設定を、撮像画像からの受光光量から自動的に設定することもできる。例えば、検出される画素信号レベルを１フレーム期間において累積して、画像の明るさを検出し、出力バスOBUSに接続されたアンプAMPのゲインをコントロールすることが行われる。暗い画像であればゲインを上げて、明るい画像であればゲインを下げるなどの制御である。そして、アンプのゲインコントロールだけでは不十分な場合は、積分期間の長さが調整される。かかる制御は、出力バスのアンプAMPの出力側に設けられたＡ／Ｄ変換回路の出力側に設けられた自動ゲイン制御回路により行われる。
【００４１】
そこで、一例として、積分期間が比較的長い第１の期間に制御された場合は、受光光量自体が比較的多くないので、閾値レベルVthを高く設定し、相関二重サンプリングのディセーブル機能の感度を高くして、局所的に高い輝度の画像の画質が低下しないようにする。また、積分期間が比較的短い第２の期間に制御された場合は、受光光量自体が多くなるので、閾値レベルVthを低く設定して、同感度を低くし、極めて高い輝度の画像についてのみ、ディセーブル機能が働いて画質が低下しないようにする。
【００４２】
更に、閾値レベルVth1,Vth2は、マニュアルにより可変設定可能にしてもよい。即ち、出力画像を観察したユーザが画質向上のために、マニュアルで設定変更可能にすることで、より高画質の出力画像を提供可能にすることができる。
【００４３】
以上、実施の形態例をまとめると以下の付記の通りである。
【００４４】
（付記１）画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との差電位を画素信号として出力し、
更に、前記サンプルホールド回路では、前記リセットノイズ読み出し期間中の前記画素電位が所定の閾値レベルを越える時に、当該画素電位が所定の基準電位にされることを特徴とするイメージセンサ。
【００４５】
（付記２）付記１において、
前記所定の基準電位は、前記リセット電位であることを特徴とするイメージセンサ。
【００４６】
（付記３）付記１において、
前記所定の閾値レベルは、複数のレベルに変更設定可能であることを特徴とするイメージセンサ。
【００４７】
（付記４）付記３において、
前記所定の閾値レベルは、撮像画像からの受光光量に応じて変更設定されることを特徴とするイメージセンサ。
【００４８】
（付記５）画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との第１の差電位を画素信号として出力し、
更に、前記サンプルホールド回路は、前記リセットノイズ読み出し期間中の前記画素電位が所定の閾値レベルを越える時に、前記第１の差電位に代えて前記第１の画素電位と第１のリセット時の画素電位との第２の差電位を画素信号として出力することを特徴とするイメージセンサ。
【００４９】
（付記６）付記５において、
前記所定の閾値レベルは、複数のレベルに変更設定可能であることを特徴とするイメージセンサ。
【００５０】
（付記７）付記５において、
前記所定の閾値レベルは、撮像画像からの受光光量に応じて変更設定されることを特徴とするイメージセンサ。
【００５１】
（付記８）画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との差電位を画素信号として出力し、
更に、前記リセットノイズ読み出し期間において、前記画素電位が所定の閾値レベルを超えるか否かを検出して、前記第２の画素電位をリセット電位にする制御回路を有することを特徴とするイメージセンサ。
【００５２】
（付記９）付記８において、
前記所定の閾値レベルは、複数のレベルに変更設定可能であることを特徴とするイメージセンサ。
【００５３】
（付記１０）付記８において、
前記所定の閾値レベルは、撮像画像からの受光光量に応じて変更設定されることを特徴とするイメージセンサ。
【００５４】
【発明の効果】
以上、本発明によれば、イメージセンサにおいて、局所的に高い輝度を有する画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】本実施の形態におけるＣＭＯＳイメージセンサの画素アレイの構成を示す図である。
【図２】従来のサンプルホールド回路を示す図である。
【図３】サンプルホールド回路の動作を示す信号波形図である。
【図４】本実施の形態におけるサンプルホールド回路を示す図である。
【図５】本実施の形態におけるサンプルホールド回路の動作を示す図である。
【図６】本実施の形態におけるサンプルホールド回路の別の動作を示す図である。
【図７】第２の実施の形態におけるサンプルホールド回路を示す図である。
【符号の説明】
ＰＸ 画素、ＰＤ フォトダイオード（光電変換素子）、Ｍ１ リセットトランジスタ、Ｍ２ ソースフォロワートランジスタ、Ｍ３ 選択トランジスタ、ＶＲリセットレベル、１４ サンプルホールド回路、１４Ａ 相関二重サンプリング回路、１４Ｂ 制御回路、Ｔ１ 第１のリセット期間、Ｔ２ 積分期間、Ｔ３
第２のリセット期間、Ｔ４ リセットノイズ読み出し期間
【発明の属する技術分野】
本発明は、光電変換素子を有する画素を行列配置したイメージセンサに関し、特に、太陽光などの局部的に明るい画像の画質を向上させることができるイメージセンサに関する。
【０００２】
【従来の技術】
ＣＭＯＳイメージセンサなどのイメージセンサは、光電変換素子を画素に有し、所定の積分期間において入射される光量を電気信号に変換し、画像処理を行って画像信号を出力する。行選択線が駆動されるときに、その行選択線に接続された画素の光電変換信号が、各列に設けられたサンプルホールド回路に保持され、当該保持された検出信号が水平走査パルスによって順次出力される。
【０００３】
かかるＣＭＯＳイメージセンサは、例えば、以下の特許文献に開示されている。
【０００４】
従来のイメージセンサの画素は、例えば、光電変換素子であるフォトダイオードと、そのカソード電位をリセットするリセットトランジスタと、増幅トランジスタと、選択トランジスタとで構成される。そして、フォトダイオードのカソード電位がリセット電位にリセットされたのち、所定の積分期間の間、受光光量に応じてフォトダイオードが発生する電流によりそのカソード電位が低下する低下電圧が、光電変換電圧としてサンプルホールド回路に保持される。
【０００５】
上記のカソード電位には、リセット時にリセットノイズが重畳される。このリセットノイズは、画素内のトランジスタ特性のバラツキや寄生容量のバラツキにより依存するので、画素毎に異なる。このリセットノイズを検出電圧から除去するために、サンプルホールド回路は、相関二重サンプリング回路で構成される。相関二重サンプリング回路は、第１のリセット動作後の積分期間終了時にカソード電位をサンプル・ホールドし、その直後に第２のリセット動作を行って、それに続くリセットノイズ読み出し期間後に、発生したリセットノイズをサンプル・ホールドする。そして、２つのサンプル・ホールド電圧の差電圧を画素信号として出力する。２つのサンプル・ホールド電圧の差をとることにより、検出信号からリセットノイズが除去される。
【０００６】
【特許文献】
特開平２００２−２１８３２４号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、撮像画像内に太陽光など、周囲の画像に比べて極端に高い輝度の領域が局所的に存在する場合は、それに対応する画素では、フォトダイオードが生成する光電変換電流が極端に大きくなる。そのため、第２のリセット動作後のリセットノイズ読み出し期間において、そのカソード電位が急速に低下する。その結果、２つのサンプル・ホールド電圧の差電圧が非常に小さくなる。つまり、本来は太陽光など高い輝度の領域であれば、検出される画素信号レベルは最大レベルになることが期待されるところ、リセットノイズ読み出し期間で読み出されるリセットノイズが大きくなりすぎて、期待通りの画素信号レベルが得られなくなる。そのため、得られる出力画像では、太陽の輝度が極端に低い画像になり、極端な場合太陽が真っ黒な画像になってしまう。
【０００８】
そこで、本発明の目的は、相関二重サンプリングにより画素の検出信号をサンプルホールドするイメージセンサにおいて、局所的に高い輝度の画像が存在しても適切な輝度の出力画像を生成することができるようにすることにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明の一つの側面は、画像を撮像するイメージセンサにおいて、受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有する。そして、サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との差電位を画素信号として出力する。更に、サンプルホールド回路では、リセットノイズ読み出し期間中の第２の画素電位が所定の閾値レベルを越える時に、前記第２の画素電位が所定の基準電位にされることを特徴とする。
【００１０】
上記の発明の側面によれば、局部的に高い輝度の画像が存在する場合に、リセットノイズ読み出し期間での露光により、第２の画素電位がリセットノイズを遙かに越える電位になって第１の画素電位と第２の画素電位の差電位である画素信号レベルが低くなりすぎることが防止される。つまり、第２の画素電位が所定の閾値レベルを超える場合は、サンプルホールド回路の相関二重サンプリング機能がディセーブルにされて、第１の画素電位と第２の画素電位との差電圧に代えて、リセットレベルから第１の画素電位までの差電圧が検出される。その結果、高い輝度の局所領域で画質が低下することが防止される。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を説明する。しかしながら、本発明の保護範囲は、以下の実施の形態例に限定されるものではなく、特許請求の範囲に記載された発明とその均等物にまで及ぶものである。
【００１２】
図１は、本実施の形態におけるＣＭＯＳイメージセンサの画素アレイの構成を示す図である。画素アレイ１０は、行方向に配置された複数のリセット電源線ＶＲ、行選択線SLCT1〜4、リセット制御線RST1〜4と、コラム方向に配置された複数のコラム線CL1〜CL4と、各行選択線、リセット制御線とコラム線との交差位置に配置された画素PX11〜PX44とを有する。各画素には、画素PX14に示されるとおり、リセット用トランジスタＭ１と、光電変換素子であるフォトダイオードＰＤと、フォトダイオードの一方のノードであるカソード電位を増幅するソースフォロワートランジスタＭ２と、行選択線SLCTの駆動に応答して、ソースフォロワートランジスタＭ２のソースとコラム線ＣＬとを接続する選択トランジスタＭ３とからなる光電変換回路が設けられる。フォトダイオードの他方のノードであるアノードは、グランドなどの基準電位に接続されている。
【００１３】
行方向に配置された行選択線SLCT1〜4やリセット制御線RST1〜4は、垂直走査シフトレジスタ１２やリセット制御回路１１により駆動制御される。即ち、垂直走査シフトレジスタ１２は、垂直走査信号Vscanを生成する垂直走査回路であり、垂直走査クロックVCLKに応答して、データVDATAの「１」をシリアル転送して、各行を選択する垂直走査信号Vscanを生成する。この垂直走査信号に応答して、行選択線SLCT0〜3が順次駆動される。
【００１４】
また、列方向に配置された各コラム線ＣＬ１〜４は、それぞれサンプルホールド回路１４に接続される。サンプルホールド回路１４は、後述するとおり、各画素からコラム線ＣＬを経由して供給される光電変換信号を増幅し、リセット動作に伴うリセットノイズを削除して、画素信号を出力する。
【００１５】
サンプルホールド回路１４から出力される画素信号は、水平走査シフトレジスタ１６が生成する水平走査信号Hscanにより選択されるコラム選択トランジスタＣＳ１〜ＣＳ４を介して、共通出力バスOBUSに出力され、出力バスに接続された増幅器AMPにより増幅される。増幅器AMPの出力は、図示しないカラープロセッサに供給される。
【００１６】
図２は、従来のサンプルホールド回路を示す図であり、図３は、サンプルホールド回路の動作を示す信号波形図である。図２には、１つの画素ＰＸの回路と、図示しないコラム線を介して画素ＰＸに接続されるサンプルホールド回路１４とが示される。サンプルホールド回路１４は、第１のスイッチＳＷ１と、第２のスイッチＳＷ２と、第１のサンプル・ホールドキャパシタＣ１、第２のサンプリング・ホールドキャパシタＣ２と、基準電圧VREFと、第１及び第２のアンプAMP1,AMP2とを有し、画素の光電変換回路のリセットノイズをキャンセルする相関二重サンプリング回路である。また、画素ＰＸとサンプルホールド回路１４との間に電流源Ｉ１が設けられている。
【００１７】
この画素ＰＸとサンプルホールド回路１４の動作について、図３を参照しながら説明する。図３には、画素内のフォトダイオードＤ１のカソード電圧VPDに対応して出力される画素電位Ｖｐの電圧変化が、行選択線SLCT、リセット制御制御線RST、第１、第２のスイッチＳＷ１，ＳＷ３などと関連して示される。簡単のために、行選択線SLCTはＨレベルに駆動され、選択トランジスタＭ３は導通状態にされているものとする。
【００１８】
まず、第１のリセット期間Ｔ１でリセット制御線ＲＳＴがＨレベルに駆動されリセットトランジスタＭ１が導通され、フォトダイオードＰＤのカソード電位VPDがリセットレベルVRにされる。カソード電位VPDに対応する画素電位Ｖｐも対応するリセットレベルになる。そして、リセット制御線ＲＳＴがＬレベルになりリセットトランジスタＭ１が非導通になると、カソード電位VPDは、入力光の光量に応じてフォトダイオードＰＤが発生する電流により徐々にレベルを下げる。これが積分期間Ｔ２である。但し、リセットトランジスタＭ１が非導通になるときにリセットノイズＶｎが発生する。このリセットノイズＶｎは、画素毎にばらついた電圧である。
【００１９】
所定の積分期間Ｔ２を経過した後に、スイッチＳＷ１，ＳＷ２が一時的に導通状態にされて、カソード電位VPDに応じて生成されるソースフォロワートランジスタＭ２からの駆動電流が、選択トランジスタＭ３と図示しないコラム線を介して、キャパシタＣ１を充電する。このサンプリング動作により、ノードＶＣ１は、リセット電圧VRから、リセットノイズ電圧Ｖｎと積分期間で低下した電位Ｖｓとを加えた（Ｖｓ＋Ｖｎ）だけ低い電位ＶＲ−（Ｖｓ＋Ｖｎ）になる。また、ノードＶＣ１の電位は、第１のアンプAMP1を介して第２のキャパシタＣ２にも伝えられる。
【００２０】
この時、第２のスイッチＳＷ２も導通状態であり、第１のアンプAMP1の増幅率が１とすると、第２のキャパシタＣ２も第１のキャパシタと同じ電圧状態に充電される。この状態で、第１及び第２のキャパシタＣ１，Ｃ２には、レベルＶＲ−（Ｖｓ＋Ｖｎ）と基準電圧VREFとの差電圧が印加される。そして、スイッチSW1が非導通に制御されると、第１及び第２のキャパシタは、上記のレベルをホールドする。
【００２１】
積分期間Ｔ２の終了後に、リセット制御線ＲＳＴに再度リセットパルスが供給されて、リセットトランジスタＭ１が導通する。この第２のリセット動作により、カソード電位VPDは再度リセットレベルＶＲに充電される。これが第２のリセット期間Ｔ３である。その後、リセットノイズ読み出し期間Ｔ４経過後に、第１のスイッチＳＷ１が一時的に導通状態にされる。この時、第２のスイッチＳＷ２は非導通状態に維持される。このリセットノイズ読み出し期間Ｔ４においても、積分期間Ｔ２と同様に、カソード電位VPDは受光光量に応じたフォトダイオードの電流によりレベルが低下する。但し、このリセットノイズ読み出し期間Ｔ４は、積分期間Ｔ２に比較すると短く設定される。
【００２２】
このリセットノイズ読み出し期間Ｔ４中に、スイッチＳＷ１が導通状態になり、第１のキャパシタＣ１のノードＶＣ１は、リセット電圧ＶＲからリセットノイズＶｎだけ低下したレベルＶＲ−Ｖｎになる。この電位ＶＲ−Ｖｎは、第１のアンプAMP1を介して第２のキャパシタＣ２の端子にも伝えられる。この時、第２のスイッチＳＷ２が非導通状態であるので、第２のキャパシタＣ２のノードＶＣ２はオープン状態になっている。従って、第２のキャパシタＣ２のノードＶＣ２には、積分期間Ｔ２終了時のノードＶＣ１の電位ＶＲ−（Ｖｓ＋Ｖｎ）と、リセットノイズ読み出し期間Ｔ４終了時のノードＶＣ１の電位ＶＲ−Ｖｎとの差電圧Ｖｓの変動が生じて、それに最初のサンプリング時の基準電圧VREFを加えた電圧VREF＋ＶｓがノードＶＣ２に生成される。つまり、この電圧ＶＲＥＦ＋Ｖｓからは、リセットノイズＶｎが削除されている。
【００２３】
第２のアンプAMP2の基準電位をVREFにすることにより、受光光量に応じて積分された検出電圧Ｖｓが、第２のアンプAMP2により増幅され、水平走査シフトレジスタ１６が生成する水平走査信号により順次導通制御されたコラムゲートＣＳを介して、出力バスOBUSに出力される。そして、それが出力バスOBUSに設けられた共通増幅器ＡＭＰにより増幅され、後段のＡ／Ｄ変換回路に画素信号として供給される。
【００２４】
図３に示された画素電位Ｖｐの波形は、局部的に高い輝度の画像に対応する画素の例である。即ち、積分期間Ｔ２が短く制御されているにもかかわらず、画素電位Ｖｐが急速に低下して短時間で飽和している。それに伴い、スイッチSW1,SW2が導通する第１のサンプル・ホールド動作時の検出電圧Vsは、最大値に達している。そして、第２のリセット動作後のリセットノイズ読み出し期間Ｔ４は、短い期間にもかかわらず、その画素電位Ｖｐは急速に低下して、スイッチSW1が導通する第２のサンプル・ホールド動作時にリセットノイズVnとして検出されるレベルが非常に大きくなっている。そのため、相関二重サンプリングにより求められる検出電圧Vs＝（VR−Vn）−｛VR−（Vs＋Vn）｝は、本来の高輝度に対応するレベルよりも低くなっている。
【００２５】
リセットノイズ読み出し期間Ｔ４は、リセット制御信号RSTと第１のスイッチSW1の動作との間のマージンを確保するために、ある程度の長さの期間にしなければならないが、上記のような高輝度の画像の場合、そのような短い期間Ｔ４であっても、画素電位Ｖｐが急速に低下し、本来のリセットノイズを遙かに越えるリセットノイズVnがサンプルホールドされてしまう。
【００２６】
図４は、本実施の形態におけるサンプルホールド回路を示す図である。画素PXは図２と同じである。サンプルホールド回路１４は、相関二重サンプリング回路14Aと、相関二重サンプリング回路をディセーブルするか否かを制御する制御回路14Bとを有する。図４の相関二重サンプリング回路14Aは、図２のサンプルホールド回路と同じ構成である。制御回路14Bは、図１に示されるとおり、コラム線CL1〜CL4に接続されるサンプルホールド回路１４内に、コラム線と相関二重サンプリング回路との間に設けられる。
【００２７】
制御回路14bは、スイッチSW4,SW5を有し、更に、NORゲートNOR、インバータINV1,INV2とを有する。画素PXと相関二重サンプリング回路14Aとの間に設けられたスイッチSW4は、インバータINV1の出力により制御され、その出力がＨレベルの時に導通制御される。また、相関二重サンプリング回路14Aとリセット電源VRとの間に設けられたスイッチは、インバータINV2の出力により制御され、同様にその出力がＨレベルの時に導通制御される。NORゲートNORの一方の入力端子には、制御回路14Bのイネーブル・ディセーブルを制御するイネーブル信号ENが入力され、他方の入力端子には、画素電位Ｖｐが入力される。
【００２８】
図５は、本実施の形態におけるサンプルホールド回路の動作を示す図である。この例は、図３と同様に局部的に高い輝度の画像を撮像する場合の動作例である。最初のリセット期間Ｔ１でのリセット動作と、積分期間Ｔ２終了時でのスイッチSW1,SW2を導通させて行う第１のサンプル・ホールド動作とは、図３の場合と同じである。これらの動作中は、イネーブル信号ENはＨレベル（ディセーブル状態）であり、制御回路14Bはディセーブル状態であり、スイッチSW4は導通、スイッチSW5は非導通状態に制御されている。従って、相関二重サンプリング回路14A内のノード電圧VC1には、リセット電圧に対応する電圧VRからリセットノイズVnと検出電圧Vsとの和（Vs＋Vn）を減算した電圧VR−（Vs＋Vn）になる。第１の増幅器AMP1の出力もゲインが１と仮定すると同様である。
【００２９】
次に、第２のリセット期間Ｔ３にはいると、イネーブル信号ENがＬレベル（イネーブル状態）にされる。これにより、NORゲートは活性化状態になり、画素電位ＶｐがNORゲートNORが持つ閾値レベルVthより低くなればその出力がＨレベルに制御されることになる。第２のリセット期間Ｔ３の後、リセットトランジスタＭ１が非導通状態になると、リセットノイズ読み出し期間Ｔ４になり、入射光光量に応じてカソード電圧VPDのレベルが低下する。高輝度であるためカソード電圧は急速に低下し、それに伴って画素電位Ｖｐも急速に低下し、第１のスイッチSW1が非導通になるホールド動作の前までにNORゲートNORの閾値レベルVthを越えてしまう。
【００３０】
これに応答して、NORゲートNORの出力はＨレベルになり、第１のインバータINV1の出力はＬレベルになり、スイッチSW4は非導通に制御されると共に、第２のインバータINV2の出力はＨレベルになり、スイッチSW5は導通状態に制御される。スイッチSW5の導通により、ノード電圧VC1は画素電位Vpではなくリセット電源VRレベルまで強制的に引き上げられる。その後、第１のスイッチSW1が非導通になり、リセットレベルVRがキャパシタＣ１にホールドされる。つまり、ノード電位VC1のレベルは、リセットレベルVRになり、第１の増幅器AMP1の出力もリセットレベルVRになる。従って、ノード電圧VC2は、基準電圧VREFからVs+Vn＋VREFまで引き上げられて、検出電圧はVs＋Vnになる。
【００３１】
このサンプルホールド動作では、検出電圧Vs＋VnからリセットノイズVnは除去されない。しかしながら、そもそも検出電圧Vsが最大値またはそれに近い値であるので、わずかなリセットノイズが除去されていなくても出力画像（最大階調レベルまたはその近傍レベル）の画質の低下の問題は少ない。むしろ、従来例のように、リセットノイズVnが必要以上に大きく検出されて検出電圧Vsが小さくなりすぎて出力画像が高い輝度にかかわらず低輝度になるよりは、画質は向上する。
【００３２】
図６は、本実施の形態におけるサンプルホールド回路の別の動作を示す図である。この例は、図３と異なり、輝度が高くない画像を撮像する場合の動作例である。入射光光量が少ないため、積分期間Ｔ２におけるフォトダイオードPDの電流が比較的小さく、従ってカソード電圧VPD及びそれに対応する画素電位Vpは徐々に低下する。そして、積分期間Ｔ２終了時の第１のサンプルホールド時にホールドされる画素電位Vpは、飽和レベルまでは達していない。
【００３３】
そして、第２のリセット動作後のリセットノイズ読み出し期間Ｔ４においても、カソード電圧VPD及びそれに対応する画素電位Vpは徐々に低下し、第１のスイッチSW1が閉じるホールド動作時までに、閾値レベルVthを越えることはない。そのため、制御回路14BのNORゲートNORの第２の入力である画素電位VpはＬレベルにならず、NORゲート出力はＬレベルを維持する。つまり、第１のインバータINV1の出力はＨレベルを維持してスイッチSW4を導通状態に維持し、第２のインバータINV2の出力はＬレベルに維持され、スイッチSW5が導通することはない。従って、リセットノイズVnが除去された電圧Vsが適切に検出される。
【００３４】
このように、特に高い輝度の画素でない場合は、制御回路14Bが相関二重サンプリング回路14Aの動作を通常動作に制御するので、適切なリセットノイズVnを除去した検出電圧Vsが検出される。
【００３５】
上記の実施の形態では、NORゲートの閾値レベルVthを適切に設計することにより、制御回路14Bによる制御レベルを最適化することができる。そこで、この制御回路14Bの閾値レベルを変更可能にすることで、相関二重サンプリング動作のイネーブルとディセーブルとの境界点を変更可能にすることができる。
【００３６】
図７は、第２の実施の形態におけるサンプルホールド回路を示す図である。相関二重サンプリング回路14Aは、図４の実施の形態と同じである。第２の実施の形態では、制御回路14Bにおいて、図４のNORゲートに代えて、コンパレータCMPが設けられ、コンパレータの出力が第１のインバータINV1に供給される。そして、コンパレータCMPは、画素電位Vpと比較される閾値レベルが、スイッチSW6によりVth1,Vth2（＜Vth1）のいずれかに変更可能になっている。スイッチSW6は、マニュアル操作可能な外部端子や図示しない内部回路により自動制御される制御信号CONにより切り換えられる。
【００３７】
例えば、画像内に太陽などの局所的に高輝度の画像が含まれている場合は、高いほうの閾値レベルVth1が選択される。これに伴い、リセットノイズ読み出し期間Ｔ４で画素電位Vpが閾値レベルVth1を越えて低下した場合は、第２のサンプルホールド時の検出レベルがリセット電圧VRになり、図５と同じ動作になる。
【００３８】
一方、画像内に局所的に極めて高輝度の画像が含まれていない場合は、通常の低い方の閾値レベルVth2が選択される。これに伴い、リセットノイズ読み出し期間Ｔ４で画素電位Vpが閾値レベルVth2を越えることがなく、第２のサンプルホールド時の検出レベルがリセットノイズVnとなり、図６と同じ動作になる。
【００３９】
このように、閾値レベルを変更可能にすることで、撮像している画像に応じて最適化された出力画像を得ることができる。
【００４０】
上記の閾値レベルの変更設定を、撮像画像からの受光光量から自動的に設定することもできる。例えば、検出される画素信号レベルを１フレーム期間において累積して、画像の明るさを検出し、出力バスOBUSに接続されたアンプAMPのゲインをコントロールすることが行われる。暗い画像であればゲインを上げて、明るい画像であればゲインを下げるなどの制御である。そして、アンプのゲインコントロールだけでは不十分な場合は、積分期間の長さが調整される。かかる制御は、出力バスのアンプAMPの出力側に設けられたＡ／Ｄ変換回路の出力側に設けられた自動ゲイン制御回路により行われる。
【００４１】
そこで、一例として、積分期間が比較的長い第１の期間に制御された場合は、受光光量自体が比較的多くないので、閾値レベルVthを高く設定し、相関二重サンプリングのディセーブル機能の感度を高くして、局所的に高い輝度の画像の画質が低下しないようにする。また、積分期間が比較的短い第２の期間に制御された場合は、受光光量自体が多くなるので、閾値レベルVthを低く設定して、同感度を低くし、極めて高い輝度の画像についてのみ、ディセーブル機能が働いて画質が低下しないようにする。
【００４２】
更に、閾値レベルVth1,Vth2は、マニュアルにより可変設定可能にしてもよい。即ち、出力画像を観察したユーザが画質向上のために、マニュアルで設定変更可能にすることで、より高画質の出力画像を提供可能にすることができる。
【００４３】
以上、実施の形態例をまとめると以下の付記の通りである。
【００４４】
（付記１）画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との差電位を画素信号として出力し、
更に、前記サンプルホールド回路では、前記リセットノイズ読み出し期間中の前記画素電位が所定の閾値レベルを越える時に、当該画素電位が所定の基準電位にされることを特徴とするイメージセンサ。
【００４５】
（付記２）付記１において、
前記所定の基準電位は、前記リセット電位であることを特徴とするイメージセンサ。
【００４６】
（付記３）付記１において、
前記所定の閾値レベルは、複数のレベルに変更設定可能であることを特徴とするイメージセンサ。
【００４７】
（付記４）付記３において、
前記所定の閾値レベルは、撮像画像からの受光光量に応じて変更設定されることを特徴とするイメージセンサ。
【００４８】
（付記５）画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との第１の差電位を画素信号として出力し、
更に、前記サンプルホールド回路は、前記リセットノイズ読み出し期間中の前記画素電位が所定の閾値レベルを越える時に、前記第１の差電位に代えて前記第１の画素電位と第１のリセット時の画素電位との第２の差電位を画素信号として出力することを特徴とするイメージセンサ。
【００４９】
（付記６）付記５において、
前記所定の閾値レベルは、複数のレベルに変更設定可能であることを特徴とするイメージセンサ。
【００５０】
（付記７）付記５において、
前記所定の閾値レベルは、撮像画像からの受光光量に応じて変更設定されることを特徴とするイメージセンサ。
【００５１】
（付記８）画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との差電位を画素信号として出力し、
更に、前記リセットノイズ読み出し期間において、前記画素電位が所定の閾値レベルを超えるか否かを検出して、前記第２の画素電位をリセット電位にする制御回路を有することを特徴とするイメージセンサ。
【００５２】
（付記９）付記８において、
前記所定の閾値レベルは、複数のレベルに変更設定可能であることを特徴とするイメージセンサ。
【００５３】
（付記１０）付記８において、
前記所定の閾値レベルは、撮像画像からの受光光量に応じて変更設定されることを特徴とするイメージセンサ。
【００５４】
【発明の効果】
以上、本発明によれば、イメージセンサにおいて、局所的に高い輝度を有する画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】本実施の形態におけるＣＭＯＳイメージセンサの画素アレイの構成を示す図である。
【図２】従来のサンプルホールド回路を示す図である。
【図３】サンプルホールド回路の動作を示す信号波形図である。
【図４】本実施の形態におけるサンプルホールド回路を示す図である。
【図５】本実施の形態におけるサンプルホールド回路の動作を示す図である。
【図６】本実施の形態におけるサンプルホールド回路の別の動作を示す図である。
【図７】第２の実施の形態におけるサンプルホールド回路を示す図である。
【符号の説明】
ＰＸ 画素、ＰＤ フォトダイオード（光電変換素子）、Ｍ１ リセットトランジスタ、Ｍ２ ソースフォロワートランジスタ、Ｍ３ 選択トランジスタ、ＶＲリセットレベル、１４ サンプルホールド回路、１４Ａ 相関二重サンプリング回路、１４Ｂ 制御回路、Ｔ１ 第１のリセット期間、Ｔ２ 積分期間、Ｔ３
第２のリセット期間、Ｔ４ リセットノイズ読み出し期間
Claims (5)
- 画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との差電位を画素信号として出力し、更に、前記サンプルホールド回路では、前記リセットノイズ読み出し期間中の前記画素電位が所定の閾値レベルを越える時に、当該画素電位が所定の基準電位にされ、前記所定の閾値レベルは、複数のレベルに変更設定可能であることを特徴とするイメージセンサ。 - 請求項１において、
前記所定の基準電位は、前記リセット電位であることを特徴とするイメージセンサ。 - 画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との第１の差電位を画素信号として出力し、
更に、前記サンプルホールド回路は、前記リセットノイズ読み出し期間中の前記画素電位が所定の閾値レベルを越える時に、前記第１の差電位に代えて前記第１の画素電位と第１のリセット時の画素電位との第２の差電位を画素信号として出力し、
前記所定の閾値レベルは、複数のレベルに変更設定可能であることを特徴とするイメージセンサ。 - 画像を撮像するイメージセンサにおいて、
受光光量に応じて電流を発生する光電変換素子と、当該光電変換素子のノードをリセット電位にリセットするリセットトランジスタとを有し、行列方向に配置された複数の画素と、
当該画素の前記ノードの電位に応じた画素電位をサンプルホールドするサンプルホールド回路とを有し、
前記サンプルホールド回路は、前記画素の第１のリセット動作後の積分期間終了時の第１の画素電位と、前記積分期間後の第２のリセット動作後のリセットノイズ読み出し期間終了時の第２の画素電位との差電位を画素信号として出力し、更に、前記リセットノイズ読み出し期間において、前記画素電位が所定の閾値レベルを超える時に、前記第２の画素電位をリセット電位にし、
前記所定の閾値レベルは、複数のレベルに変更設定可能である制御回路を有することを特徴とするイメージセンサ。 - 請求項１，３，４のいずれかにおいて、
前記所定の閾値レベルは、撮像画像からの受光光量に応じて変更設定されることを特徴とするイメージセンサ。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002317032A JP4187502B2 (ja) | 2002-07-25 | 2002-10-31 | 画質を向上させたイメージセンサ |
| TW092119140A TWI222323B (en) | 2002-07-25 | 2003-07-14 | Image sensor providing improved image quality |
| US10/618,851 US7170556B2 (en) | 2002-07-25 | 2003-07-15 | Image sensor providing improved image quality |
| KR1020030050013A KR100903041B1 (ko) | 2002-07-25 | 2003-07-22 | 화질을 향상시킨 이미지 센서 |
| CN031498124A CN1217524C (zh) | 2002-07-25 | 2003-07-25 | 提供改进图像质量的图像传感器 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002216848 | 2002-07-25 | ||
| JP2002317032A JP4187502B2 (ja) | 2002-07-25 | 2002-10-31 | 画質を向上させたイメージセンサ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112740A JP2004112740A (ja) | 2004-04-08 |
| JP4187502B2 true JP4187502B2 (ja) | 2008-11-26 |
Family
ID=32032715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002317032A Expired - Fee Related JP4187502B2 (ja) | 2002-07-25 | 2002-10-31 | 画質を向上させたイメージセンサ |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7170556B2 (ja) |
| JP (1) | JP4187502B2 (ja) |
| KR (1) | KR100903041B1 (ja) |
| CN (1) | CN1217524C (ja) |
| TW (1) | TWI222323B (ja) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4251811B2 (ja) * | 2002-02-07 | 2009-04-08 | 富士通マイクロエレクトロニクス株式会社 | 相関二重サンプリング回路とこの相関二重サンプリング回路を備えたｃｍｏｓイメージセンサ |
| US7385636B2 (en) * | 2004-04-30 | 2008-06-10 | Eastman Kodak Company | Low noise sample and hold circuit for image sensors |
| US7062402B2 (en) * | 2004-05-19 | 2006-06-13 | Microsoft Corp | System and method for automatic testing of output device capabilities via electronic document |
| TWI249947B (en) * | 2004-06-04 | 2006-02-21 | Via Tech Inc | Digital pixel sensor and operating method thereof |
| JP4230967B2 (ja) * | 2004-07-02 | 2009-02-25 | 富士通マイクロエレクトロニクス株式会社 | 撮像装置、撮像装置の制御方法、ｃｍｏｓイメージセンサ |
| US7477298B2 (en) * | 2004-08-30 | 2009-01-13 | Micron Technology, Inc. | Anti-eclipsing circuit for image sensors |
| KR100656666B1 (ko) | 2004-09-08 | 2006-12-11 | 매그나칩 반도체 유한회사 | 이미지 센서 |
| JP4425809B2 (ja) | 2005-02-03 | 2010-03-03 | 富士通マイクロエレクトロニクス株式会社 | 撮像装置 |
| JP4759293B2 (ja) * | 2005-03-15 | 2011-08-31 | キヤノン株式会社 | 撮像素子 |
| US7916186B2 (en) | 2005-04-07 | 2011-03-29 | Micron Technology, Inc. | Anti-eclipse circuitry with tracking of floating diffusion reset level |
| US7282685B2 (en) * | 2005-04-14 | 2007-10-16 | Micron Technology, Inc. | Multi-point correlated sampling for image sensors |
| US7659928B2 (en) * | 2005-04-21 | 2010-02-09 | Aptina Imaging Corporation | Apparatus and method for providing anti-eclipse operation for imaging sensors |
| US7872682B2 (en) * | 2005-05-10 | 2011-01-18 | Micron Technology, Inc. | Eclipse elimination by monitoring the pixel signal level |
| KR100723487B1 (ko) * | 2005-06-08 | 2007-06-04 | 삼성전자주식회사 | 이미지 센서에서 효율적인 금속 배선의 픽셀 회로 및 구동방법 |
| JP2006352341A (ja) * | 2005-06-14 | 2006-12-28 | Micron Technol Inc | アンチエクリプス回路及びその動作方法 |
| KR100775009B1 (ko) * | 2005-08-03 | 2007-11-09 | 한국과학기술원 | 상관 이중 샘플링 회로 및 이를 구비한 시모스 이미지 센서 |
| US7573519B2 (en) * | 2005-10-26 | 2009-08-11 | Eastman Kodak Company | Method for correcting eclipse or darkle |
| JP4396655B2 (ja) | 2006-03-06 | 2010-01-13 | ソニー株式会社 | 固体撮像装置 |
| JP4614286B2 (ja) * | 2006-06-12 | 2011-01-19 | セイコーインスツル株式会社 | 光電変換装置、イメージセンサ、光学読み取り装置 |
| JP4572935B2 (ja) * | 2007-01-29 | 2010-11-04 | Ｔｄｋ株式会社 | 接合装置の検出対象物の検出方法、接合装置及び接合方法 |
| US20080179298A1 (en) * | 2007-01-29 | 2008-07-31 | Tdk Corporation | Method of detecting an object to be detected in a joining device, joining device, and joining method |
| JP4385059B2 (ja) | 2007-05-16 | 2009-12-16 | シャープ株式会社 | イメージセンサ |
| TWI413242B (zh) * | 2007-08-10 | 2013-10-21 | Hon Hai Prec Ind Co Ltd | 固態圖像感測器 |
| JP2009159069A (ja) * | 2007-12-25 | 2009-07-16 | Panasonic Corp | 固体撮像装置およびカメラ |
| FR2943178B1 (fr) * | 2009-03-13 | 2011-08-26 | New Imaging Technologies Sas | Capteur matriciel a faible consommation |
| US8720125B2 (en) * | 2009-07-28 | 2014-05-13 | Micah F. Andretich | Sustainable, mobile, expandable structure |
| KR101107168B1 (ko) | 2010-01-04 | 2012-01-25 | 삼성모바일디스플레이주식회사 | 엑스레이 검출장치 및 이의 구동방법 |
| KR101147422B1 (ko) | 2010-01-05 | 2012-05-24 | 삼성모바일디스플레이주식회사 | 엑스레이 감지 장치 및 엑스선 감지 방법 |
| US8736733B2 (en) | 2010-03-19 | 2014-05-27 | Invisage Technologies, Inc. | Dark current reduction in image sensors via dynamic electrical biasing |
| CN101815179B (zh) * | 2010-04-15 | 2012-06-20 | 昆山锐芯微电子有限公司 | Cmos图像传感器 |
| KR101368244B1 (ko) | 2011-12-30 | 2014-02-28 | 주식회사 실리콘웍스 | 유기발광다이오드 표시장치의 문턱전압 센싱 회로 |
| US8767098B2 (en) * | 2012-08-30 | 2014-07-01 | Omnivision Technologies, Inc. | Method and apparatus for reducing noise in analog image data of a CMOS image sensor |
| US9491383B2 (en) | 2013-06-07 | 2016-11-08 | Invisage Technologies, Inc. | Image sensor with noise reduction |
| JP6171997B2 (ja) * | 2014-03-14 | 2017-08-02 | ソニー株式会社 | 固体撮像素子およびその駆動方法、並びに電子機器 |
| US10104322B2 (en) | 2014-07-31 | 2018-10-16 | Invisage Technologies, Inc. | Image sensors with noise reduction |
| US10425601B1 (en) | 2017-05-05 | 2019-09-24 | Invisage Technologies, Inc. | Three-transistor active reset pixel |
| US10270992B1 (en) * | 2017-11-30 | 2019-04-23 | Taiwan Semiconductor Manufacturing Co., Ltd. | Sampling device and method for reducing noise |
| US10574922B2 (en) * | 2018-03-12 | 2020-02-25 | Semiconductor Components Industries, Llc | Imaging systems with boosted control signals |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6667768B1 (en) * | 1998-02-17 | 2003-12-23 | Micron Technology, Inc. | Photodiode-type pixel for global electronic shutter and reduced lag |
| JP3517614B2 (ja) * | 1998-12-25 | 2004-04-12 | 株式会社東芝 | 固体撮像装置 |
| KR100284309B1 (ko) * | 1998-12-30 | 2001-03-02 | 김영환 | 이미지 센서에서의 리셋 전압을 자동으로 조절하기 위한 리셋전압 조절 장치 |
| US6803958B1 (en) * | 1999-03-09 | 2004-10-12 | Micron Technology, Inc. | Apparatus and method for eliminating artifacts in active pixel sensor (APS) imagers |
| KR100399954B1 (ko) * | 2000-12-14 | 2003-09-29 | 주식회사 하이닉스반도체 | 아날로그 상호 연관된 이중 샘플링 기능을 수행하는씨모스 이미지 센서용 비교 장치 |
-
2002
- 2002-10-31 JP JP2002317032A patent/JP4187502B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-14 TW TW092119140A patent/TWI222323B/zh not_active IP Right Cessation
- 2003-07-15 US US10/618,851 patent/US7170556B2/en active Active
- 2003-07-22 KR KR1020030050013A patent/KR100903041B1/ko active IP Right Grant
- 2003-07-25 CN CN031498124A patent/CN1217524C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040010299A (ko) | 2004-01-31 |
| US7170556B2 (en) | 2007-01-30 |
| TW200402234A (en) | 2004-02-01 |
| CN1481147A (zh) | 2004-03-10 |
| CN1217524C (zh) | 2005-08-31 |
| JP2004112740A (ja) | 2004-04-08 |
| TWI222323B (en) | 2004-10-11 |
| KR100903041B1 (ko) | 2009-06-18 |
| US20040119853A1 (en) | 2004-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4187502B2 (ja) | 画質を向上させたイメージセンサ | |
| US6795117B2 (en) | CMOS image sensor with noise cancellation | |
| US8174593B2 (en) | Method and apparatus for detecting image darkening due to reset droop | |
| US6380530B1 (en) | Method for operating a high sensitivity active pixel | |
| CN100409448C (zh) | 摄像设备和包括摄像设备的摄像机*** | |
| KR101361743B1 (ko) | 저 소비 매트릭스 센서 | |
| US8330843B2 (en) | Solid-state image sensing device, method for driving solid-state image sensing device, and image sensing system incorporated with solid-state image sensing device | |
| US7233350B2 (en) | Image sensor with interleaved image output | |
| JP5108713B2 (ja) | 固体撮像装置及び撮像装置 | |
| JP2005513899A6 (ja) | 撮像装置およびこれを備えるカメラ | |
| CN110248121A (zh) | 具有存储电容器的成像像素 | |
| JP2004112742A (ja) | 画像歪みを抑制したイメージセンサ | |
| US6346696B1 (en) | Image sensor and method for driving the same | |
| JP2008042674A (ja) | 固体撮像装置 | |
| JP3948433B2 (ja) | 固体撮像装置 | |
| US7298406B2 (en) | Ground referenced pixel reset | |
| JP2002247456A (ja) | 走査回路とそれを用いた撮像装置 | |
| JPH09294228A (ja) | 光電変換素子および固体撮像装置 | |
| JP2004304377A (ja) | 撮像装置 | |
| JP2003158683A (ja) | 固体撮像装置およびそれを用いた固体撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070918 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080909 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080909 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4187502 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |