JP2019080107A - 固体撮像装置、固体撮像装置の駆動方法、および電子機器 - Google Patents
固体撮像装置、固体撮像装置の駆動方法、および電子機器 Download PDFInfo
- Publication number
- JP2019080107A JP2019080107A JP2017203676A JP2017203676A JP2019080107A JP 2019080107 A JP2019080107 A JP 2019080107A JP 2017203676 A JP2017203676 A JP 2017203676A JP 2017203676 A JP2017203676 A JP 2017203676A JP 2019080107 A JP2019080107 A JP 2019080107A
- Authority
- JP
- Japan
- Prior art keywords
- conversion
- signal
- pixel
- imaging device
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 124
- 238000003384 imaging method Methods 0.000 title claims abstract description 116
- 238000006243 chemical reaction Methods 0.000 claims abstract description 313
- 238000012546 transfer Methods 0.000 claims abstract description 196
- 238000012545 processing Methods 0.000 claims abstract description 148
- 238000009825 accumulation Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims description 96
- 239000000758 substrate Substances 0.000 claims description 62
- 230000015654 memory Effects 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 17
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000006866 deterioration Effects 0.000 abstract description 10
- 102100040678 Programmed cell death protein 1 Human genes 0.000 abstract 2
- 101710089372 Programmed cell death protein 1 Proteins 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 56
- 238000009792 diffusion process Methods 0.000 description 53
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000010586 diagram Methods 0.000 description 29
- 238000003672 processing method Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 238000000926 separation method Methods 0.000 description 10
- 238000000691 measurement method Methods 0.000 description 9
- 239000003990 capacitor Substances 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 230000004298 light response Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 101150099000 EXPA1 gene Proteins 0.000 description 2
- 102100029095 Exportin-1 Human genes 0.000 description 2
- 102100029091 Exportin-2 Human genes 0.000 description 2
- 101710147878 Exportin-2 Proteins 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 2
- 101100119348 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) EXP1 gene Proteins 0.000 description 2
- 101100269618 Streptococcus pneumoniae serotype 4 (strain ATCC BAA-334 / TIGR4) aliA gene Proteins 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 108700002148 exportin 1 Proteins 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 101150093545 EXPA3 gene Proteins 0.000 description 1
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 1
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 101150109310 msrAB1 gene Proteins 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
- H04N25/575—Control of the dynamic range involving a non-linear response with a response composed of multiple slopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/621—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Analogue/Digital Conversion (AREA)
Abstract
Description
CMOSイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ(PC)、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
それらの中で、その最も進んだ回路のひとつが、列(カラム)毎にアナログ−デジタル変換器(ADC(Analog digital converter))を備え、画素信号をデジタル信号として取り出す回路である(たとえば特許文献1,2参照)。
一般的には、ランダムノイズ低減手法として、トランジスタサイズを大きくすることでフリッカノイズ(flicker noise)を低減する、もしくは比較器出力に容量を付加し、帯域を落とすことでCDSによるノイズのフィルタ効果を狙う方法が知られている。
しかし、それぞれの手法では、面積が増大する、容量増により比較器の反転遅延が悪化し、撮像素子のフレームレートが上げられないという不利益がある。
各々の信号はダイナミックレンジ(Dレンジ)を拡大するために光量(照度)に対するゲインが異なるように設計されるため、主としてアナログデジタルコンバータ(ADC)でデジタル変換後のデジタル信号処理回路でゲインを補正し、直線性(あるいは傾き)が同じに保たれるようにしている。
このように補正精度が低い(ばらついている)場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になるという不利益がある。
また、本発明は、組み合わせようとする複数の信号のスムーズな切り替え(接続)が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能な固体撮像装置、固体撮像装置の駆動方法、および電子機器を提供することにある。
また、本発明によれば、組み合わせようとする複数の信号のスムーズな切り替え(接続)が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
図1は、本発明の第1の実施形態に係る固体撮像装置の構成例を示すブロック図である。
本実施形態において、固体撮像装置10は、たとえば画素としてデジタル画素(Digital Pixel)を含むCMOSイメージセンサにより構成される。
これらの構成要素のうち、たとえば垂直走査回路30、出力回路40、およびタイミング制御回路50により画素信号の読み出し部60が構成される。
本第1の実施形態に係る固体撮像装置10において、後で詳述するように、各デジタル画素DPがAD変換機能を有しており、AD変換部は、光電変換読み出し部により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器(コンパレータ)を有している。
比較器は、読み出し部60の制御の下、蓄積期間に光電変換素子から出力ノード(フローティングディフュージョン)に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第1の比較結果信号を出力する第1の比較処理と、蓄積期間後の転送期間に出力ノードに転送された光電変換素子の蓄積電荷に応じた電圧信号に対するデジタル化した第2の比較結果信号を出力する第2の比較処理と、を行う。
ただし、第1の比較処理と第2の比較処理は動作が不連続であり、2つのAD変換伝達曲線の接合点でオフセットが発生すること等に起因して、単純な合成処理では2つのAD変換伝達曲線をフムース(滑らか)に接続することは難しい。
そこで、本第1の実施形態において、DSP部70の信号処理部710では、第1の比較処理に応じた第1のAD変換伝達曲線信号と第2の比較処理に応じた第2のAD変換伝達曲線信号の傾きを等しくするとともに、第2の比較処理に応じたAD変換伝達曲線信号が飽和する手前すなわち直線性が保たれている領域(たとえば非飽和領域)において、この2種類の信号を合成することで2つのAD変換伝達曲線をフムース(滑らか)に接続して、ダイナミックレンジを拡大した信号である合成信号を取得する。
適用されるFWC情報は、少なくとも第2の比較処理で得られるFWC情報である。
具体的な合成処理については、後で詳述する。
図2は、本発明の第1の実施形態に係る固体撮像装置10の画素部のデジタル画素アレイの一例を示す図である。
図3は、本発明の第1の実施形態に係る固体撮像装置10の画素の一例を示す回路図である。
なお、図2においては、図面の簡単化のため、9つのデジタル画素200が3行3列の行列状(M=3、N=3のマトリクス状)に配置されている例が示されている。
本第1の実施形態の画素部20は、後で詳述するように、第1の基板110と第2の基板120の積層型のCMOSイメージセンサとして構成されるが、本例では、図3に示すように、第1の基板110に光電変換読み出し部210が形成され、第2の基板120にAD変換部220およびメモリ部230が形成されている。
具体的には、この光電変換読み出し部210は、たとえば光電変換素子であるフォトダイオードPD1を有する。
このフォトダイオードPD1に対して、転送素子としての転送トランジスタTG1−Tr、リセット素子としてのリセットトランジスタRST1−Tr、ソースフォロワ素子としてのソースフォロワトランジスタSF1−Tr、電流源素子としてのカレントトランジスタIC1−Tr,出力ノードND1としてのフローティングディフュージョンFD1,および読み出しノードND2をそれぞれ一つずつ有する。
このように、第1の実施形態に係るデジタル画素200の光電変換読み出し部210は、転送トランジスタTG1−Tr、リセットトランジスタRST1−Tr、ソースフォロワトランジスタSF1−Tr、およびカレントトランジスタIC1−Trの4トランジスタ(4Tr)を含んで構成されている。
光電変換読み出し部210は、出力ノードとしてのフローティングディフュージョンFD1の電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号VSLをAD変換部220に出力する。
光電変換読み出し部210は、第2の比較処理期間PCMP2において、画素信号としての読み出しリセット信号(信号電圧)(VRST)および読み出し信号(信号電圧)(VSIG)をAD変換部220に出力する。
以下、信号電荷は電子であり、各トランジスタがn型トランジスタである場合について説明するが、信号電荷が正孔(ホール)であったり、各トランジスタがp型トランジスタであっても構わない。
また、本実施形態は、複数のフォトダイオードおよび転送トランジスタ間で、各トランジスタを共有している場合にも有効である。
フォトダイオード(PD)を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷(暗電流)が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード(PPD)では、フォトダイオード(PD)の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
転送トランジスタTG1−Trは、制御信号TGがハイ(H)レベルの転送期間PTに選択されて導通状態となり、フォトダイオードPD1で光電変換され蓄積された電荷(電子)をフローティングディフュージョンFD1に転送する。
なお、フォトダイオードPD1およびフローティングディフュージョンFD1が所定のリセット電位にリセットされた後、転送トランジスタTG1−Trは、制御信号TGがロー(L)レベルの非導通状態となり、フォトダイオードPD1は蓄積期間PIとなるが、このとき、入射する光の強度(量)が非常に高い場合、飽和電荷量を超えた電荷が転送トランジスタTG1―Tr下のオーバーフローパスを通じてオーバーフロー電荷としてフローティングディフュージョンFD1に溢れ出す。
リセットトランジスタRST1−Trは、制御信号RSTがHレベルのリセット期間に選択されて導通状態となり、フローティングディフュージョンFD1を電源電圧VDDの電源線Vddの電位にリセットする。
読み出しノードND2と基準電位VSS(たとえばGND)の間に電流源素子としてのカレントトランジスタIC1−Trのドレイン、ソースが接続されている。カレントトランジスタIC1−Trのゲートは制御信号VBNPIXの供給ラインに接続されている。
そして、読み出しノードND2とAD変換部220の入力部間の信号線LSGN1は、電流源素子としてのカレントトランジスタIC1−Trにより駆動される。
そして、図4のデジタル画素セルPLXCは、光電変換読み出し部210を形成するフォトダイオードPD1、転送トランジスタTG1−Tr、フローティングディフュージョンFD1、リセットトランジスタRST1−Tr、分離層SPL、さらには図示しないカラーフィルタ部およびマイクロレンズを含んで構成されている。
フォトダイオードPD1は、第1基板面1101側と、第1基板面1101側と対向する側の第2基板面1102側とを有する半導体基板に対して埋め込むように形成された第1導電型(本実施形態ではn型)半導体層(本実施形態ではn層)2101を含み、受光した光の光電変換機能および電荷蓄積機能を有するように形成されている。
フォトダイオードPD1の基板の法線に直交する方向(X方向)における側部には第2の導電型(本実施形態ではp型)分離層SPLが形成されている。
フォトダイオード(PD)を形成する基板表面にはダングリングボンドなどの欠陥による表面準位が存在するため、熱エネルギーによって多くの電荷(暗電流)が発生し、正しい信号が読み出せなくなってしまう。
埋め込み型フォトダイオード(PPD)では、フォトダイオード(PD)の電荷蓄積部を基板内に埋め込むことで、暗電流の信号への混入を低減することが可能となる。
本例では、第1基板面1101側にn−層2102が形成され、このn−層2102の第2基板面1102側にn層2103が形成され、このn−層2103の第2基板面1102側にp+層2104およびp層2105が形成されている。
また、n−層2102の第1基板面1101側にp+層2106が形成されている。
p+層2106は、フォトダイオードPD1のみならず分離層SPL、さらには他のデジタル画素セルPXLCにわたって一様に形成されている。
図4のX方向(列方向)におけるp型分離層SPLにおいては、フォトダイオードPD1のn−層2102と接する側であって基板の法線に直交する方向(図中の直交座標系のX方向)の右側部に、第1のp層(第2導電型半導体層)2107が形成されている。
さらに、p型分離層SPLにおいては、第1のp層2107のX方向の右側に、第2のp層(第2導電型半導体層)2108が、基板110の法線方向(図中の直交座標系のZ方向)に2層構造を持つように構成されている。
本例では、第2のp層2108において、第1基板面1101側にp−層2109が形成され、このp−層2109の第2基板面1102側にp層2110が形成されている。
そして、n層2103の第2基板面1102側のp層2105上に、ゲート絶縁膜を介して転送トランジスタTG1−Trのゲート電極2111が形成されている。
さらに、p型分離層SPLの第1のp層2107の第2の基板面1102側にはフローティングディフュージョンFD1となるn+層2112が形成され、n+層2112に隣接してリセットトランジスタRST1−Trのチャネル形成領域となるp層2113、p層2113に隣接してn+層2114が形成されている。
そして、p層2113上に、ゲート絶縁膜を介してゲート電極2115が形成されている。
このとき、比較器221と同様に列毎に配置された、たとえばカウンタ222が動作しており、ランプ波形のあるランプ信号RAMPとカウンタ値が一対一の対応を取りながら変化することで電圧信号VSLをデジタル信号に変換する。
基本的に、AD変換部220は、参照電圧VREF(たとえばランプ信号RAMP)の変化は電圧の変化を時間の変化に変換するものであり、その時間をある周期(クロック)で数えることでデジタル値に変換する。
そして、アナログ信号VSLとランプ信号RAMP(参照電圧VREF)が交わったとき、比較器221の出力が反転し、カウンタ222の入力クロックを停止し、または、入力を停止していたクロックをカウンタ222に入力し、そのときのカウンタ222の値(データ)がメモリ部230に記憶されてAD変換を完了させる。
以上のAD変換期間終了後、各デジタル画素200のメモリ部230に格納されたデータ(信号)は出力回路40からDSP部70に出力され、所定の信号処理により2次元画像が生成される。
そして、本第1の実施形態のAD変換部220の比較器221は、画素信号の読み出し期間に次の2つの第1の比較処理および第2の比較処理を行うように、読み出し部60により駆動制御される。
なお、この第1の比較処理CMPR1の動作を、タイムスタンプADC(TS−ADC)モードの動作ともいう。
実際には、第2の比較処理CMPR2において、蓄積電荷に応じた電圧信号VSL2(VSIG)に対するデジタル化の前に、リセット時のフローティングディフュージョンFD1のリセット電圧に応じた電圧信号VSL2(VRST)に対するデジタル化を行う。
なお、この第2の比較処理CMPR2の動作を、リニアADC(LIN−ADC)モードの動作ともいう。
第1の比較処理CMPR1の期間PCMPR1は、フォトダイオードPD1およびフローティングディフュージョンFD1がリセットレベルにリセットされてから、転送期間PTが開始される前に、フローティングディフュージョンFD1がリセットレベルにリセットされるまでの期間である。
第2の比較処理CMPR2の期間PCMPR2は、フローティングディフュージョンFD1がリセットレベルにリセットされた後の期間であって、転送期間PT後の期間を含む期間である。
図5は、本実施形態に係る比較器221の第1の比較処理CMPR1を説明するための図である。
図5において、横軸が時間を示し、縦軸が出力ノードであるフローティングディフュージョンFD1の電圧レベルVFDを示している。
一方、飽和状態のときが電荷量が多く、電圧レベルVFDは低いレベルVFDsatとなる。
このような条件に従って、比較器221の参照電圧VREF1を、飽和状態となる手前の非飽和状態時のレベルに固定した電圧VREFsatに設定する、あるいはリセットレベル時の電圧レベルVREFrstから電圧レベルVREFsatに至るランプ電圧VREFrampに設定する。
最も高い照度の例EXP1の場合には、比較器221の出力が時刻t1に直ちにフリップ(反転)する。
例EXP1より低い照度の例EXP2の場合には、比較器221の出力が時刻t1より遅い時刻t2にフリップ(反転)する。
例EXP2より低い照度の例EXP3の場合には、比較器221の出力が時刻t2より遅い時刻t3にフリップ(反転)する。
図5に示すように、非常に明るい光の下では、リセット活性化期間の直後に比較器221の出力状態が反転され、その光レベルは、以下の時間で説明される飽和信号(ウェル容量)に対応する。
たとえば、FD飽和:8Ke @ 150uV / e 〜FD容量の1.1fF、最小サンプリング時間:15nsec、蓄積時間:3msec:
であると仮定する。
図7において,横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。
図7においては、さまざまな固定基準電圧DC1、DC2、DC3とランプ基準電圧VRAMPに対して反転するサンプリング時間を示している。ここでは、線形基準ランプが使用されている。
図8において、TC1がタイムスタンプADCモード動作による信号(AD変換伝達曲線)を示し、TC2がリニアADCモード動作による信号(AD変換伝達曲線)を示している。
たとえば、上述したように、光変換範囲の飽和信号は900Keである。
リニアADCモードは、ADCを適用した通常の読み出しモード動作のため、2eのノイズレベルから8KeのフォトダイオードPD1とフローティングディフュージョンFD1の飽和までカバーすることがでる。
リニアADCモードのカバレッジは、追加のスイッチと容量で30Keに拡張することができる。
このように補正精度が低い(ばらついている)場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプ等の画像劣化の要因になり得る。
そこで、本実施形態においては、後で詳述するように、DSP部70の信号処理部710で、測定された画素のFWC情報を適用して第1の比較処理CMPR1に応じた第1のAD変換伝達曲線TC1と第2の比較処理CMPR2に応じた第2のAD変換伝達曲線TC2の接合ギャップを補正する合成処理を行って、組み合わせようとする複数の信号のスムーズな切り替え(接続)が可能で、画像劣化を抑止しつつ実質的に広ダイナミックレンジ化を実現している。
メモリ部230はSRAMやDRAMにより構成され、デジタル変換された信号が供給され、フォトコンバージョン符号に対応し、画素アレイ周辺の出力回路40の外部IOバッファ41により読み出すことができる。
ここで、固体撮像装置10におけるフレーム読み出し方式の一例について説明する。
図10において、TSはタイムスタンプADCの処理期間を示し、LinはリニアADCの処理期間を示している。
実際には、タイムスタンプADCモードは、蓄積期間PI中であって、フローティングディフュージョンFD1がリセットされるまでの期間に動作する。
タイムスタンプADCモードの動作が終了すると、リニアADCモードに遷移し、フローティングディフュージョンFD1のリセット時の信号(VRST)を読み出してデジタル信号をメモリ部230に格納するように変換する。
さらに蓄積期間PIの終了後、リニアADCモードではフォトダイオードPD1の蓄積電荷に応じた信号(VSIG)を読み取ってデジタル信号をメモリ部230に格納するように変換する。
読み出されたフレームは、メモリノードからのデジタル信号データの読み出しによって実行され、そのようなMIPIデータフォーマットを有する、たとえば出力回路40のIOバッファ41(図9)を介して固体撮像装置10(イメージセンサ)のDSP部70に外部に送られる。この動作は、全画素(ピクセル)アレイに対してグローバルに実行することができる。
垂直走査回路30は、タイミング制御回路50の制御に応じて、各デジタル画素200の比較器221に対して、第1の比較処理CMPR1、第2の比較処理CMPR2に準じて設定される参照電圧VREF1,VREF2を供給する。
また、垂直走査回路30は、アドレス信号に従い、信号の読み出しを行うリード行と、フォトダイオードPDに蓄積された電荷をリセットするシャッタ行の行アドレスの行選択信号を出力する。
本第1の実施形態においては、DSP部70の信号処理部710が、測定された画素のFWC情報を適用して第1の比較処理CMPR1に応じた第1のAD変換伝達曲線TC1と第2の比較処理CMPR2に応じた第2のAD変換伝達曲線TC2の接合ギャップを補正する合成処理を行って、2つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
ただし、第1の比較処理と第2の比較処理は動作が不連続であり、2つのAD変換伝達曲線の接合点でオフセットが発生すること等に起因して、単純な合成処理では2つのAD変換伝達曲線をフムース(滑らか)に接続することは難しい。
そこで、本第1の実施形態において、DSP部70の信号処理部710では、第1の比較処理CMPR1に応じた第1のAD変換伝達曲線TC1と第2の比較処理CMPR2に応じた第2のAD変換伝達曲線TC2の傾きを略等しくするとともに、第2の比較処理CMPR2に応じたAD変換伝達曲線TC2が飽和する手前すなわち直線性が保たれている領域(非飽和領域)において、この2種類の信号を合成することで2つのAD変換伝達曲線をフムース(滑らか)に接続して、ダイナミックレンジを拡大した信号である合成信号を取得する。
適用されるFWC情報は、少なくとも第2の比較処理で得られるFWC情報である。
FWC情報を測定する方法としては、オンラインで測定する第1の測定方法と、オフラインで測定する第2の測定方法がある。
オンラインとは、固体撮像装置が正規に稼働しているときを含み、オフラインとは固体撮像装置が正規に稼働していない、たとえば出荷前のときを含む。
図11は、本実施形態に係る固体撮像装置のFWC情報をオンラインで測定する第1の測定方法を説明するための図である。
そこで、FWC情報を得るために、行ごとにタイムスタンプADC(TS−ADC)モード動作終了後に、アナログCDSで簡易的に短い第2の比較処理CMPR2である疑似的なリニアADC(LIN−ADC)モード動作を、無変調で行う。
たとえば、参照電圧VREF2であるランプ電圧の上方の1/4あるいは1/8の部分のみを導通させる。
ここでは、フォトダイオードPD1のFWC情報のみを取得できればいいことからこの方法で十分である。
図12(A)〜(C)は、本実施形態に係る固体撮像装置のFWC情報をオフラインで測定する第2の測定方法を説明するための図である。
次に、図12(B)に示すように、電源電圧VDDをもとの駆動レベルに戻し、リセットトランジスタRST1−Trをオン、オフさせてフローティングディフュージョンFD1をクリア(リセット)させるとともに、フォトダイオードPD1の余分な電荷を排出させる。
そして、図12(C)に示すように、転送トランジスタTG1−Trを導通状態(オン状態)にして、フォトダイオードPD1の電荷をフローティングディフュージョンFD1に転送させ、その読み出し信号をアナログおよび、または、デジタルCDSでリニアADC(LIN−ADC)モード動作を、変調して行う。
なお、このオフラインで測定する第2の測定方法において、複数回測定し平均化することで、読み出し雑音を低減することができ、高精度なFWC測定を実現することも可能である。
この合成処理方法は、基本的に、比較器221に供給される参照電圧VREFが線形(リニア)のランプ状参照電圧VREF−LRである場合と、変調されたランプ状参照電圧VREF−MRである場合で異なる。
変調されたランプ状参照電圧VREF−MRとは、ステップサイズ(mV/LSB)が単一の値をとらず、連続的に変化し得る変調された非線形のランプ状の電圧信号である。
まず、参照電圧が線形(リニア)のランプ状参照電圧VREF−LRである場合の信号処理部710における第1の合成処理方法を説明する。
図13において、横軸が入射光量および時間を示し、縦軸が出力ノードであるフローティングディフュージョンFD1の電圧レベルVFDを示している。
図13において、Aは画素PXLC−Aの接合部におけるFWC情報としての第2のAD変換伝達曲線TC2Aの最大AD変換コードを示し、A´は画素PXLC−Aの接合部におけるFWC情報としての第1のAD変換伝達曲線TC1Aの最小AD変換コードを示している。
図13において、Bは画素PXLC−Bの接合部におけるFWC情報としての第2のAD変換伝達曲線TC2Bの最大AD変換コードを示し、B´は画素PXLC−Bの接合部におけるFWC情報としての第1のAD変換伝達曲線TC1Bの最小AD変換コードを示している。
そして、TS−ADCモード時の最小AD変換コードA´、B´をLIN−ADCモード時の最大AD変換コードA,Bにシフトする。
この場合、ステップサイズは変わらないので、オフセットを調整するだけで滑らかな接合(接続)が実現される。
図13において、AD変換コードAとB間のFWCの変動は、最小AD変換コードA´、B´の開始点として識別される必要がある。
そして、上述したように、TS−ADCモード時の最小AD変換コードA´、B´をLIN−ADCモード時の最大AD変換コードA,Bにシフトする。
これにより、2つの第2のAD変換伝達曲線TC2Aと第1のAD変換伝達曲線TC1A,第2のAD変換伝達曲線TC2Bと第1のAD変換伝達曲線TC1Bがスムーズに(滑らかに)接合される。
次に、参照電圧が変調された非線形のランプ状参照電圧VREF−MRである場合の信号処理部710における第2の合成処理方法を説明する。
第1の方法では、ランプ波形は線形で、AD変換コードステップを変調して生成される。
第2の方法では、ランプ波形を変化させ、AD変換コードステップを線形にして生成される。
以下では、第1の方法を採用した場合を例に説明する。
図14の例では、ランプ波形は線形(LRAMP)で、AD変換コード(ADCコード)ステップを、1LSB、1/2LSB、1/3LSB、1/4LSBと変調して、変調されたAD変換コード曲線(γ曲線)MCDCを生成している。
図16は、本実施形態に係る固体撮像装置10において参照電圧が変調された非線形のランプ状参照電圧VREF−MRである場合の信号処理部710における第2の合成処理方法を説明するため図であって、AD変換コードステップを含めて示す図である。
図15および図16において、横軸が入射光量および時間を示し、縦軸が出力ノードであるフローティングディフュージョンFD1の電圧レベルVFDを示している。
図15および図16において、Aは画素PXLC−Aの接合部におけるFWC情報としての第2のAD変換伝達曲線TC2Aの最大AD変換コードを示し、A´は画素PXLC−Aの接合部におけるFWC情報としての第1のAD変換伝達曲線TC1Aの最小AD変換コードを示している。
図15および図16において、Bは画素PXLC−Bの接合部におけるFWC情報としての第2のAD変換伝達曲線TC2Bの最大AD変換コードを示し、B´は画素PXLC−Bの接合部におけるFWC情報としての第1のAD変換伝達曲線TC1Bの最小AD変換コードを示している。
領域C´は、LIN−ADCフェーズの場合、画素PXLC−Bの最低のAD変換コードステップ領域である。通常、領域CはFWCの変動のために領域C´と等しくない。
領域Dは、TS−ADCフェーズに対する画素PXXL−Aの高AD変換コードステップ領域であり、D´は画素PXLC−Bの高AD変換コードステップ領域である。通常、DはD´と等しくない。
したがって、オフセットの調整は、滑らかな接合を可能にするほど十分ではなく、そのゲインすなわちステップサイズも調整する必要がある。
この非線形利得補正は、デジタル−デジタル再変換(DDC:Digital to Digital Re-Conversion)によって行われる。
このDDC補正は、基本的に変調されたランプ状電圧の場合に必要であり、実際にはHDRイメージセンサのADC解像度数を減らすために使用される。
24mV/LSBから25mV/LSBへの切り替え位置をP1からP2にシフトさせ、また、25mV/LSBから26mV/LSBへの切り替えを位置P4ではなく位置P5とする非線形ゲイン補正を行う。
24mV/LSBから25mV/LSBへの切り替え位置をP3からP2にシフトさせ、また、25mV/LSBから26mV/LSBへの切り替えを位置P6ではなく位置P4とする非線形ゲイン補正を行う。
信号処理部710は、取得した接合部における第1の比較処理CMPR1による第1のAD変換伝達曲線TC1の最小値を、取得した接合部における第2の比較処理CMPR2による第2のAD変換伝達曲線TC2の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、第1のAD変換伝達曲線TC1と第2のAD変換伝達曲線TC2をスムーズに接合する。
信号処理部710は、取得した接合部における第1の比較処理CMPR1によるAD変換コードの最小値を、取得した接合部における第2の比較処理CMPR2によるAD変換コードの最大値にシフトするとともに、デジタルデジタル再変換においてデジタル領域のAD変換コードを所望の伝達曲線に合わせて再変換することにより、第1のAD変換伝達曲線TC1と第2のAD変換伝達曲線TC2をスムースに接合する。
また、信号処理部710は、デジタルデジタル再変換において、AD変換コードをデジタル領域の画素ごとのFWC情報に関連した補正係数を使用してデジタルデジタル再変換を行うことも可能である。
次に、参照電圧が線形のランプ状参照電圧VREF−LRである場合にデジタルデジタル再変換処理を適用する信号処理部710における第3の合成処理方法を説明する。
図18の例の場合、LIN−ADC領域では、コードステップは1mV/LSBのリニアランプで、TS−ADC領域も4mV/LSBのリニアランプである。
デジタルデジタル再変換処理(DDC)を1の比較処理CMPR1による第1のAD変換伝達曲線TC1と、第2の比較処理CMPR2による第2のAD変換伝達曲線TC2に適用して、ADC分解能を圧縮することができる。
信号処理部710は、取得した接合部における第1の比較処理CMPR1によるAD変換コードの最小値を、取得した接合部における第2の比較処理CMPR2によるAD変換コードの最大値にシフトするとともに、デジタルデジタル再変換においてデジタル領域のAD変換コードを所望の伝達曲線に合わせて再変換することにより、第1のAD変換伝達曲線TC1と第2のAD変換伝達曲線TC2をスムースに接合する。
また、信号処理部710は、デジタルデジタル再変換において、AD変換コードをデジタル領域の画素ごとのFWC情報に関連した補正係数を使用してデジタルデジタル再変換を行うことも可能である。
図20は、図19の信号処理部710の動作概要を説明するためのフローチャートである。
DDC係数は、H、V情報を使用するFWC登録テーブル715の情報を用いてDDC係数生成部716によって生成される(ステップST2)。この場合、LIN−ADCデータであるかTS−ADCデータであるかによって生成される。
次に、乗算器713においてオフセット補正された画素データに係数が乗算されてAD変換伝達曲線が補正される(ステップST3)。
その後に、加算器712においてオフセットが加算され(ステップST4)、2つのAD変換伝達曲線の接合境界で滑らかに接合された画像データが出力される。
次に、本第1の実施形態に係る固体撮像装置10の積層構造について説明する。
図22は、本第1の実施形態に係る固体撮像装置10の積層構造について説明するための簡略断面図である。
固体撮像装置10は、たとえばウェハレベルで貼り合わせた後、ダイシングで切り出した積層構造の撮像装置として形成される。
本例では、第1の基板110と第2の基板120が積層された構造を有する。
第1の基板110の光Lが入射側である第1面111側にフォトダイオードPDが形成され、その光入射側にマイクロレンズMCLやカラーフィルタが形成されている。
第1の基板110の第2面側に転送トランジスタTG1−Tr,リセットトランジスタRST1−Tr,ソースフォロワトランジスタSF1−Tr,カレントトランジスタIC1−Trが形成されている
また、第2の基板120には、垂直走査回路30、出力回路40、およびタイミング制御回路50も形成されてもよい。
また、本実施形態においては第1の基板110の各光電変換読み出し部210の読み出しノードND2と第2の基板120の各デジタル画素200の比較器221の反転入力端子(−)とが、結合キャパシタC221によりAC結合されている。
以上、固体撮像装置10の各部の特徴的な構成および機能について説明した。
次に、本第1の実施形態に係る固体撮像装置10のデジタル画素200の画素信号の基本的な読み出し動作等について説明する。
図24(A)〜(D)は、本第1の実施形態に係る固体撮像装置の所定シャッタモード時の主として画素部における読み出し動作を説明するための動作シーケンスおよびポテンシャル遷移を示す図である。
グローバルリセットにおいては、全画素同時にリセットトランジスタRST1−Trと転送トランジスタTG1−Trが所定期間導通状態に保持されて、フォトダイオードPD1およびフローティングディフュージョンFD1がリセットされる。そして、全画素同時にリセットトランジスタRST1−Trと転送トランジスタTG1−Trが非導通状態に切り替えられて、全画素同時並列的に露光、すなわち電荷の蓄積が開始される。
オーバーフロー電荷は蓄積期間PI中にフローティングディフュージョンFD1に蓄積される。タイムスタンプADCモードは蓄積時間PI中、具体的には、蓄積期間PI中であって、フローティングディフュージョンFD1がリセットされるまでの期間に動作する。
そして、AD変換部220の比較器221において、第1の比較処理CMPR1が行われる。比較器221では、読み出し部60の制御の下、蓄積期間PI中であって、フローティングディフュージョンFD1がリセットされるまでの期間にフォトダイオードPD1から出力ノードであるフローティングフュージョンFD1に溢れ出たオーバーフロー電荷に応じた電圧信号VSL1に対するデジタル化した第1の比較結果信号SCMP1が出力され、第1の比較結果信号SCMP1に応じたデジタルデータがメモリ部230のメモリ231に格納される。
リセット期間PR2においては、リセットトランジスタRST1−Trが所定期間導通状態に保持されて、フローティングディフュージョンFD1がリセットされる。フローティングディフュージョンFD1のリセット時の信号(VRST)を読み出してデジタル信号がメモリ部230のメモリ232に格納される。
そして、リセットトランジスタRST1−Trが非導通状態に切り替えられる。この場合、蓄積期間PIは継続される。
転送期間PTにおいては、転送トランジスタTG1−Trが所定期間導通状態に保持されて、フォトダイオードPD1の蓄積電荷がフローティングディフュージョンFD1に転送される。
そして、AD変換部220の比較器221において、第2の比較処理CMPR2が行われる。比較器221では、読み出し部60の制御の下、蓄積期間PI後に、フォトダイオードPD1から出力ノードであるフローティングフュージョンFD1に転送された蓄積電荷に応じた電圧信号VSL2に対するデジタル化した第2の比較結果信号SCMP2が出力され、第2の比較結果信号SCMP2に応じたデジタルデータがメモリ部230のメモリ232に格納される。
このときDSP部70では、信号処理部710が、測定された画素のFWC情報を適用して第1の比較処理CMPR1に応じた第1のAD変換伝達曲線TC1と第2の比較処理CMPR2に応じた第2のAD変換伝達曲線TC2の接合ギャップを補正する合成処理を行って、2つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号が生成される。
本第1の実施形態に係る固体撮像装置10において、各デジタル画素200がAD変換機能を有しており、AD変換部220は、光電変換読み出し部210により読み出される電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器221を有している。
そして、比較器221は、読み出し部60の制御の下、蓄積期間にフォトダイオードPD1から出力ノード(フローティングディフュージョン)FD1に溢れ出たオーバーフロー電荷に応じた電圧信号に対するデジタル化した第1の比較結果信号SCMP1を出力する第1の比較処理CMPR1と、蓄積期間後の転送期間にフローティングノードFD1(出力ノード)に転送されたフォトダイオードPD1の蓄積電荷に応じた電圧信号に対するデジタル化した第2の比較結果信号SCMP2を出力する第2の比較処理CMPR2と、を行う。
そして、DSP部70の信号処理部710が、測定された画素のFWC情報を適用して第1の比較処理CMPR1に応じた第1のAD変換伝達曲線TC1と第2の比較処理CMPR2に応じた第2のAD変換伝達曲線TC2の接合ギャップを補正する合成処理を行って、2つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
また、本発明によれば、実質的に広ダイナミックレンジ化、高フレームレート化を実現することが可能で、しかも低ノイズ化を図れ、有効画素領域を最大限に拡大することができ、コストあたりの価値を最大限に高めることが可能となる。
したがって、本第1の実施形態において、第1の基板110側を、基本的に、NMOS系の素子だけで形成すること、および、画素アレイにより有効画素領域を最大限に拡大することにより、コストあたりの価値を最大限に高めることができる。
図25は、本発明の第2の実施形態に係る固体撮像装置を説明するための図であって、タイムスタンプADCモード動作とリニアADCモード動作の選択処理の一例を示す図である。
第1の実施形態に係る固体撮像装置10では、タイムスタン(TS)ADCモード動作とリニア(Lin)ADCモード動作が連続して行われる。
通常の照度ではなく、非常に(極めて)高照度の場合(ST11、ST13)、フォトダイオードPD1から電荷がフローティングディフュージョンFD1にオーバーフローする確率が高いことから、タイムスタンプADCモード動作のみを行う(ST14)、
通常の照度ではなく、非常に(極めて)高照度でもなく、非常に(極めて)低照度の場合(ST11、ST13、ST15)、フォトダイオードPD1から電荷がフローティングディフュージョンFD1にオーバーフローする確率がきわめて低いことから、リニアADCモード動作のみを行う(ST16)。
図26は、本発明の第3の実施形態に係る固体撮像装置10Bにおけるフレーム読み出しシーケンスの一例を示す図である。
図27は、本第3の実施形態に係る比較器に参照電圧を入力した場合の光時間変換の状態を示す図である。
図27において,横軸がサンプリング時間を示し、縦軸がオーバーフロー信号における推定信号を示している。なお、ここでのオーバーフロー信号とは、転送トランジスタTG1−Trを導通状態にしてフォトダイオードPD1に電荷をためない条件(非オーバーフロー)にして見積もったものである。
図27は、適用される光の性質(適性)による非オーバーフロー電荷(信号)に対応する比較器221が反転するサンプリング時間を示している。
図28(A)および(B)は、本第3の実施形態におけるデジタルコードと光変換による電荷量との関係を示す図である。図28(A)はリニアのランプ信号を用いた場合の特性を、図28(B)はログ信号を用いた場合の特性を示している。
図29は、本発明の第4の実施形態に係る固体撮像装置の画素の構成例を示す図である。
本第4の実施形態に係る固体撮像装置10Bでは、電流源としてのカレントトランジスタIC1−Trが第1の基板110側ではなく、たとえば第2の基板120側のAD変換部220の入力側に配置されている。
た電子機器の構成の一例を示す図である。
さらに、電子機器300は、このCMOSイメージセンサ310の画素領域に入射光を導く(被写体像を結像する)光学系(レンズ等)220を有する。
電子機器200は、CMOSイメージセンサ310の出力信号を処理する信号処理回路(PRC)330を有する。
信号処理回路330で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。
Claims (21)
- 光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第1の比較結果信号を出力する第1の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第2の比較結果信号を出力する第2の比較処理と、を行い、
前記信号処理部は、
前記第1の比較処理に応じた第1のアナログデジタル(AD)変換伝達曲線と第2の比較処理に応じた第2のAD変換伝達曲線を接合する合成処理を行う
固体撮像装置。 - 前記信号処理部は、
前記合成処理において、測定された画素のフルウェルキャパシティ(FWC)情報を適用して前記第1のAD変換伝達曲線と前記第2のAD変換伝達曲線の接合ギャップを補正する
請求項1記載の固体撮像装置。 - 適用される前記FWC情報は、少なくとも前記第2の比較処理で得られるFWC情報である
請求項2記載の固体撮像装置。 - 前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとる線形のランプ状参照電圧であり、
前記信号処理部は、
取得した接合部における前記第1の比較処理による前記第1のAD変換伝達曲線の最小値を、取得した接合部における前記第2の比較処理による前記第2のAD変換伝達曲線の最大値にシフトするオフセット調整を行って、前記第1のAD変換伝達曲線と前記第2のAD変換伝達曲線を接合する
請求項2または3記載の固体撮像装置。 - 前記信号処理部は、
取得した接合部における前記第1の比較処理によるAD変換コードの最小値を、取得した接合部における前記第2の比較処理によるAD変換コードの最大値にシフトして、前記第1のAD変換伝達曲線と前記第2のAD変換伝達曲線を接合する
請求項4記載の固体撮像装置。 - 前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとらず、連続的に変化し得る変調されたランプ状参照電圧であり、
前記信号処理部は、
取得した接合部における前記第1の比較処理による前記第1のAD変換伝達曲線の最小値を、取得した接合部における前記第2の比較処理による前記第2のAD変換伝達曲線の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、前記第1のAD変換伝達曲線と前記第2のAD変換伝達曲線を接合する
請求項2または3記載の固体撮像装置。 - 前記信号処理部は、
取得した接合部における前記第1の比較処理によるAD変換コードの最小値を、取得した接合部における前記第2の比較処理によるAD変換コードの最大値にシフトするとともに、前記デジタルデジタル再変換においてデジタル領域のAD変換コードを所望の伝達曲線に合わせて再変換することにより、前記第1のAD変換伝達曲線と前記第2のAD変換伝達曲線を接合する
請求項6記載の固体撮像装置。 - 前記信号処理部は、
前記デジタルデジタル再変換を、AD変換コードをデジタル領域の画素ごとの前記FWC情報に関連した補正係数を使用して行う
請求項7記載の固体撮像装置。 - 前記変調されたランプ状参照電圧は、ランプ波形は線形で、AD変換コードステップを変調して生成される
請求項6から8のいずれか一に記載の固体撮像装置。 - 前記変調されたランプ状参照電圧は、ランプ波形を変化させ、AD変換コードステップを線形にして生成される
請求項6から8のいずれか一に記載の固体撮像装置。 - 前記比較器に入力される前記参照電圧は、ステップサイズが単一の値をとる線形のランプ状参照電圧であり、
前記信号処理部は、
取得した接合部における前記第1の比較処理による前記第1のAD変換伝達曲線の最小値を、取得した接合部における前記第2の比較処理による前記第2のAD変換伝達曲線の最大値にシフトするオフセット調整と、デジタルデジタル再変換によりステップサイズに対応するゲインを調整する非線形ゲイン補正とを行って、前記第1のAD変換伝達曲線と前記第2のAD変換伝達曲線を接合する
請求項2または3記載の固体撮像装置。 - 前記信号処理部は、
取得した接合部における前記第1の比較処理によるAD変換コードの最小値を、取得した接合部における前記第2の比較処理によるAD変換コードの最大値にシフトするとともに、前記デジタルデジタル再変換においてデジタル領域のAD変換コードを所望の伝達曲線に合わせて再変換することにより、前記第1のAD変換伝達曲線と前記第2のAD変換伝達曲線を接合する
請求項11記載の固体撮像装置。 - 前記信号処理部は、
前記デジタルデジタル再変換を、AD変換コードをデジタル領域の画素ごとの前記FWC情報に関連した補正係数を使用して行う
請求項12記載の固体撮像装置。 - 前記FWC情報は、
当該固体撮像装置が正規に稼働しているオンラインにおいて、前記第1の比較処理を行った後に、無変調のランプ状参照電圧を用いた簡易的な前記第2の比較処理を行った結果から測定される
請求項2から13のいずれか一に記載の固体撮像装置。 - 前記FWC情報は、
当該固体撮像装置が正規に稼働していないオフラインにおいて、前記各画素を駆動してあらかじめ測定された情報である
請求項2から14のいずれか一に記載の固体撮像装置。 - 前記比較器は、前記第1の比較処理において、
前記オーバーフロー電荷の量に応じた時間に対応する前記第1の比較結果信号を出力し、
前記オーバーフロー電荷が前記光電変換素子から前記出力ノードに溢れ始める最大サンプリング時間における前記光電変換素子の信号レベルから最小サンプリング時間で得られる信号レベルまでの光レベルに対応可能である
請求項1から15のいずれか一に記載の固体撮像装置。 - 前記蓄積期間は、
前記光電変換素子および前記出力ノードがリセットレベルにリセットされてから、前記転送素子が導通状態に切り替えられて前記転送期間が開始されるまでの期間であり、
前記第1の比較処理の期間は、
前記光電変換素子および前記出力ノードがリセットレベルにリセットされてから、前記転送期間が開始される前に、前記出力ノードがリセットレベルにリセットされるまでの期間であり、
前記第2の比較処理の期間は、
前記出力ノードがリセットレベルにリセットされた後の期間であって、前記転送期間後の期間を含む期間である
請求項1から16のいずれか一に記載の固体撮像装置。 - 前記読み出し部は、
前記第1の比較処理と前記第2の比較処理を、照度に応じて選択的に行うように制御する
請求項1から17のいずれか一に記載の固体撮像装置。 - 第1の基板と、
第2の基板と、を含み、
前記第1の基板と前記第2の基板は接続部を通して接続された積層構造を有し、
前記第1の基板には、
少なくとも、前記画素の前記光電変換素子、前記転送素子、前記出力ノード、および出力バッファ部が形成され、
前記第2の基板には、
少なくとも、前記比較器、前記メモリ部、および前記読み出し部の少なくとも一部が形成されている
請求項1から18のいずれか一に記載の固体撮像装置。 - 光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含む
固体撮像装置の駆動方法であって、
前記画素の画素信号を読み出す場合、前記比較器において、
前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第1の比較結果信号を出力する第1の比較処理を行い、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第2の比較結果信号を出力する第2の比較処理を行い、
前記信号処理部において、
前記第1の比較処理に応じた第1のアナログデジタル(AD)変換伝達曲線と第2の比較処理に応じた第2のAD変換伝達曲線を接合する合成処理を行う
固体撮像装置の駆動方法。 - 固体撮像装置と、
前記固体撮像装置に被写体像を結像する光学系と、を有し、
前記固体撮像装置は、
光電変換を行う画素が配置された画素部と、
前記画素部の前記画素から画素信号を読み出す読み出し部と、
複数の読み出し信号を合成して、ダイナミックレンジが拡大された合成信号を生成する信号処理部と、を有し、
前記画素は、
蓄積期間に光電変換により生成した電荷を蓄積する光電変換素子と、
前記光電変換素子に蓄積された電荷を前記蓄積期間後の転送期間に転送可能な転送素子と、
前記転送素子を通じて前記光電変換素子で蓄積された電荷が転送される出力ノードと、
前記出力ノードの電荷を電荷量に応じた電圧信号に変換し、変換した電圧信号を出力する出力バッファ部と、
前記出力バッファ部による電圧信号と参照電圧とを比較し、デジタル化した比較結果信号を出力する比較処理を行う比較器と、
前記比較器の比較結果信号に応じたデータを記憶するメモリ部と、を含み、
前記比較器は、前記読み出し部の制御の下、
前記蓄積期間に前記光電変換素子から前記出力ノードに溢れ出たオーバーフロー電荷に応じた前記電圧信号に対するデジタル化した第1の比較結果信号を出力する第1の比較処理と、
前記蓄積期間後の前記転送期間に前記出力ノードに転送された前記光電変換素子の蓄積電荷に応じた前記電圧信号に対するデジタル化した第2の比較結果信号を出力する第2の比較処理と、を行い、
前記信号処理部は、
前記第1の比較処理に応じた第1のアナログデジタル(AD)変換伝達曲線と第2の比較処理に応じた第2のAD変換伝達曲線を接合する合成処理を行う
電子機器。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017203676A JP7100439B2 (ja) | 2017-10-20 | 2017-10-20 | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
CN201811175455.1A CN109698917B (zh) | 2017-10-20 | 2018-10-09 | 固体摄像装置、固体摄像装置的驱动方法以及电子设备 |
US16/164,492 US10574925B2 (en) | 2017-10-20 | 2018-10-18 | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017203676A JP7100439B2 (ja) | 2017-10-20 | 2017-10-20 | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019080107A true JP2019080107A (ja) | 2019-05-23 |
JP7100439B2 JP7100439B2 (ja) | 2022-07-13 |
Family
ID=66169589
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017203676A Active JP7100439B2 (ja) | 2017-10-20 | 2017-10-20 | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10574925B2 (ja) |
JP (1) | JP7100439B2 (ja) |
CN (1) | CN109698917B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021057795A (ja) * | 2019-09-30 | 2021-04-08 | ブリルニクス インク | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10686996B2 (en) | 2017-06-26 | 2020-06-16 | Facebook Technologies, Llc | Digital pixel with extended dynamic range |
US10419701B2 (en) | 2017-06-26 | 2019-09-17 | Facebook Technologies, Llc | Digital pixel image sensor |
US10598546B2 (en) | 2017-08-17 | 2020-03-24 | Facebook Technologies, Llc | Detecting high intensity light in photo sensor |
US11393867B2 (en) | 2017-12-06 | 2022-07-19 | Facebook Technologies, Llc | Multi-photodiode pixel cell |
US10969273B2 (en) | 2018-03-19 | 2021-04-06 | Facebook Technologies, Llc | Analog-to-digital converter having programmable quantization resolution |
US11004881B2 (en) | 2018-04-03 | 2021-05-11 | Facebook Technologies, Llc | Global shutter image sensor |
US10812742B2 (en) * | 2018-04-18 | 2020-10-20 | Facebook Technologies, Llc | Apparatus and method for determining whether a photodiode saturates and outputting a digital value representing a charge from that photodiode based on that determination |
US10560646B2 (en) * | 2018-04-19 | 2020-02-11 | Teledyne Scientific & Imaging, Llc | Global-shutter vertically integrated pixel with high dynamic range |
US11233085B2 (en) | 2018-05-09 | 2022-01-25 | Facebook Technologies, Llc | Multi-photo pixel cell having vertical gate structure |
US11363221B2 (en) * | 2018-06-08 | 2022-06-14 | Facebook Technologies, Llc | Image sensor post processing |
US11089210B2 (en) | 2018-06-11 | 2021-08-10 | Facebook Technologies, Llc | Configurable image sensor |
US11089241B2 (en) | 2018-06-11 | 2021-08-10 | Facebook Technologies, Llc | Pixel cell with multiple photodiodes |
US11906353B2 (en) | 2018-06-11 | 2024-02-20 | Meta Platforms Technologies, Llc | Digital pixel with extended dynamic range |
US11463636B2 (en) | 2018-06-27 | 2022-10-04 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
US10897586B2 (en) | 2018-06-28 | 2021-01-19 | Facebook Technologies, Llc | Global shutter image sensor |
US10931884B2 (en) | 2018-08-20 | 2021-02-23 | Facebook Technologies, Llc | Pixel sensor having adaptive exposure time |
US11956413B2 (en) | 2018-08-27 | 2024-04-09 | Meta Platforms Technologies, Llc | Pixel sensor having multiple photodiodes and shared comparator |
US11595602B2 (en) | 2018-11-05 | 2023-02-28 | Meta Platforms Technologies, Llc | Image sensor post processing |
US11102430B2 (en) | 2018-12-10 | 2021-08-24 | Facebook Technologies, Llc | Pixel sensor having multiple photodiodes |
US11218660B1 (en) | 2019-03-26 | 2022-01-04 | Facebook Technologies, Llc | Pixel sensor having shared readout structure |
US11943561B2 (en) | 2019-06-13 | 2024-03-26 | Meta Platforms Technologies, Llc | Non-linear quantization at pixel sensor |
US11368639B2 (en) * | 2019-09-30 | 2022-06-21 | Canon Kabushiki Kaisha | Photoelectric conversion apparatus, image capturing system, method for driving photoelectric conversion apparatus, and moving object |
US11936998B1 (en) | 2019-10-17 | 2024-03-19 | Meta Platforms Technologies, Llc | Digital pixel sensor having extended dynamic range |
US11902685B1 (en) | 2020-04-28 | 2024-02-13 | Meta Platforms Technologies, Llc | Pixel sensor having hierarchical memory |
US11910114B2 (en) | 2020-07-17 | 2024-02-20 | Meta Platforms Technologies, Llc | Multi-mode image sensor |
US11956560B2 (en) | 2020-10-09 | 2024-04-09 | Meta Platforms Technologies, Llc | Digital pixel sensor having reduced quantization operation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004201094A (ja) * | 2002-12-19 | 2004-07-15 | Mitsubishi Electric Corp | 固体撮像装置 |
JP2005328493A (ja) * | 2004-04-12 | 2005-11-24 | Shigetoshi Sugawa | 固体撮像装置、光センサおよび固体撮像装置の動作方法 |
JP2009188819A (ja) * | 2008-02-07 | 2009-08-20 | Canon Inc | 撮像装置及びその制御方法 |
JP2012079861A (ja) * | 2010-09-30 | 2012-04-19 | Canon Inc | 固体撮像装置 |
JP2013009105A (ja) * | 2011-06-23 | 2013-01-10 | Jvc Kenwood Corp | 画像処理装置及び画像処理方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4107269B2 (ja) | 2004-02-23 | 2008-06-25 | ソニー株式会社 | 固体撮像装置 |
JP4243688B2 (ja) | 2004-04-02 | 2009-03-25 | 国立大学法人静岡大学 | 増幅型固体撮像装置 |
TWI249947B (en) | 2004-06-04 | 2006-02-21 | Via Tech Inc | Digital pixel sensor and operating method thereof |
KR100660858B1 (ko) * | 2005-01-28 | 2006-12-26 | 삼성전자주식회사 | 선 블랙 현상을 방지하는 시모스 이미지 센서의 칼럼 adc |
JP4649313B2 (ja) * | 2005-10-28 | 2011-03-09 | 株式会社東芝 | 固体撮像装置 |
JP4389981B2 (ja) * | 2007-08-06 | 2009-12-24 | ソニー株式会社 | 固体撮像装置、固体撮像装置のアナログ−デジタル変換方法および撮像装置 |
JP4735702B2 (ja) * | 2008-10-22 | 2011-07-27 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法および撮像装置 |
US8158923B2 (en) | 2009-01-16 | 2012-04-17 | Raytheon Company | Time-frequency fusion digital pixel sensor |
JP5369779B2 (ja) * | 2009-03-12 | 2013-12-18 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法および電子機器 |
JP5257176B2 (ja) * | 2009-03-18 | 2013-08-07 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法および電子機器 |
JP5521682B2 (ja) * | 2010-02-26 | 2014-06-18 | ソニー株式会社 | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 |
JP2013005396A (ja) * | 2011-06-21 | 2013-01-07 | Sony Corp | 固体撮像装置、固体撮像装置の駆動方法、及び電子機器 |
JP2013162148A (ja) * | 2012-02-01 | 2013-08-19 | Sony Corp | 個体撮像装置および駆動方法、並びに電子機器 |
US9094612B2 (en) * | 2012-09-25 | 2015-07-28 | Semiconductor Components Industries, Llc | Back side illuminated global shutter image sensors with back side charge storage |
US9602742B2 (en) * | 2013-05-20 | 2017-03-21 | Intellectual Discovery Co., Ltd. | Imaging device and method for achieving wide dynamic range |
JP2015056806A (ja) * | 2013-09-12 | 2015-03-23 | 株式会社東芝 | 固体撮像装置 |
TWI540899B (zh) * | 2014-08-28 | 2016-07-01 | 原相科技股份有限公司 | 影像感測器及其運作方法 |
US9706142B2 (en) * | 2015-09-23 | 2017-07-11 | Semiconductor Components Industries, Llc | High dynamic range and global shutter image sensor pixels having charge overflow signal detecting structures |
US10536675B2 (en) * | 2016-10-04 | 2020-01-14 | Canon Kabushiki Kaisha | Image capturing apparatus, driving method therefor, and image capturing system |
JP6987603B2 (ja) * | 2017-10-26 | 2022-01-05 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
JP7018293B2 (ja) * | 2017-11-06 | 2022-02-10 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
-
2017
- 2017-10-20 JP JP2017203676A patent/JP7100439B2/ja active Active
-
2018
- 2018-10-09 CN CN201811175455.1A patent/CN109698917B/zh active Active
- 2018-10-18 US US16/164,492 patent/US10574925B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004201094A (ja) * | 2002-12-19 | 2004-07-15 | Mitsubishi Electric Corp | 固体撮像装置 |
JP2005328493A (ja) * | 2004-04-12 | 2005-11-24 | Shigetoshi Sugawa | 固体撮像装置、光センサおよび固体撮像装置の動作方法 |
JP2009188819A (ja) * | 2008-02-07 | 2009-08-20 | Canon Inc | 撮像装置及びその制御方法 |
JP2012079861A (ja) * | 2010-09-30 | 2012-04-19 | Canon Inc | 固体撮像装置 |
JP2013009105A (ja) * | 2011-06-23 | 2013-01-10 | Jvc Kenwood Corp | 画像処理装置及び画像処理方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021057795A (ja) * | 2019-09-30 | 2021-04-08 | ブリルニクス インク | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
JP7460345B2 (ja) | 2019-09-30 | 2024-04-02 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
Also Published As
Publication number | Publication date |
---|---|
JP7100439B2 (ja) | 2022-07-13 |
US20190124285A1 (en) | 2019-04-25 |
CN109698917A (zh) | 2019-04-30 |
US10574925B2 (en) | 2020-02-25 |
CN109698917B (zh) | 2021-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7100439B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
CN109769083B (zh) | 固体摄像装置、固体摄像装置的驱动方法以及电子设备 | |
CN109587412B (zh) | 固体摄像装置、固体摄像装置的驱动方法以及电子设备 | |
JP5552858B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
TWI719801B (zh) | 固態攝像裝置、固態攝像裝置的驅動方法、以及電子設備 | |
CN109714551B (zh) | 固体摄像装置、固体摄像装置的驱动方法以及电子设备 | |
TW201507472A (zh) | 攝像裝置、電子機器 | |
JP7341659B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP2019087963A (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP6995549B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP2017011430A (ja) | 固体撮像装置およびその駆動方法、電子機器 | |
WO2018012068A1 (ja) | 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器 | |
JP6995550B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
JP7338983B2 (ja) | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 | |
TWI778847B (zh) | 固體攝像裝置、固體攝像裝置的驅動方法、及電子設備 | |
US11671730B2 (en) | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171115 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20171219 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190920 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210426 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7100439 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |