JP2021526323A - 画像センサー後処理 - Google Patents
画像センサー後処理 Download PDFInfo
- Publication number
- JP2021526323A JP2021526323A JP2020561072A JP2020561072A JP2021526323A JP 2021526323 A JP2021526323 A JP 2021526323A JP 2020561072 A JP2020561072 A JP 2020561072A JP 2020561072 A JP2020561072 A JP 2020561072A JP 2021526323 A JP2021526323 A JP 2021526323A
- Authority
- JP
- Japan
- Prior art keywords
- post
- output
- charge
- intensity
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012805 post-processing Methods 0.000 title description 32
- 238000013139 quantization Methods 0.000 claims description 95
- 230000010354 integration Effects 0.000 claims description 84
- 238000000034 method Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 27
- 229920006395 saturated elastomer Polymers 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 16
- 238000009825 accumulation Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 description 86
- 239000003990 capacitor Substances 0.000 description 64
- 210000005252 bulbus oculi Anatomy 0.000 description 20
- 238000007667 floating Methods 0.000 description 20
- 238000012545 processing Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 4
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 4
- 101100443251 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG2 gene Proteins 0.000 description 4
- 101100041128 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rst2 gene Proteins 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/701—Line sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
- H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
一例では、装置が提供される。本装置は、第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を生成することと、第2の関係に基づいて、入射光の第2の強度を表すための第2の生出力を生成することとを行うように構成された画像センサーを備える。本装置は、第1の生出力に基づいておよび第1の関係に基づいて、第1の後処理された出力を生成することであって、したがって、第1の後処理された出力が、第3の関係に基づいて第1の強度に線形的に関係付けられる、第1の後処理された出力を生成することと、第2の生出力に基づいておよび第2の関係に基づいて、第2の後処理された出力を生成することであって、したがって、第2の後処理された出力が、第3の関係に基づいて第2の強度に線形的に関係付けられる、第2の後処理された出力を生成することとを行うように構成されたポストプロセッサをさらに備える。【選択図】図17
Description
関連出願
本特許出願は、その全体がすべての目的のために参照により本明細書に組み込まれる、2018年6月8日に出願された、「METHOD AND SYSTEM FOR PROCESSING NON−LINEAR OUTPUT OF PIXEL SENSORS」と題する米国仮特許出願第62/682,627号、および2019年6月5日に出願された、「IMAGE SENSOR POST PROCESSING」と題する米国特許出願第16/432,072号の優先権を主張する。
本特許出願は、その全体がすべての目的のために参照により本明細書に組み込まれる、2018年6月8日に出願された、「METHOD AND SYSTEM FOR PROCESSING NON−LINEAR OUTPUT OF PIXEL SENSORS」と題する米国仮特許出願第62/682,627号、および2019年6月5日に出願された、「IMAGE SENSOR POST PROCESSING」と題する米国特許出願第16/432,072号の優先権を主張する。
本開示は、一般に画像センサーに関し、より詳細には、画像生成のために光強度を決定するためのインターフェース回路要素を含むピクセルセル構造に関する。
一般的な画像センサーは、光子を電荷(たとえば、電子または正孔)に変換することによって入射光を検知するためのフォトダイオードを含む。画像センサーは、積分期間中にフォトダイオードによって生成された電荷を収集するためのキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を生じさせることができる。電圧は、バッファされ、アナログデジタル変換器(ADC)に与えられ得、ADCは、電圧を、入射光の強度を表すデジタル値に量子化することができる。画像センサーは、異なる光強度のための複数のデジタル値を生成することができる。デジタル値は、画像特徴抽出、深度検知、ロケーション決定など、様々なアプリケーションをサポートするために提供され得る。
本開示は、画像センサーに関する。より詳細には、限定はしないが、本開示は、ピクセルセルに関する。本開示はまた、ピクセルセルによって生成されたデータの後処理に関する。
本開示は、入射光の強度を測定するための装置を提供する。一例では、本装置は、画像センサーとポストプロセッサとを備える。画像センサーは、第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を生成することと、第2の関係に基づいて、入射光の第2の強度を表すための第2の生出力を生成することとを行うように構成される。ポストプロセッサは、第1の生出力に基づいておよび第1の関係に基づいて、第1の後処理された出力を生成することであって、したがって、第1の後処理された出力が、第3の関係に基づいて第1の強度に線形的に関係付けられる、第1の後処理された出力を生成することと、第2の生出力に基づいておよび第2の関係に基づいて、第2の後処理された出力を生成することであって、したがって、第2の後処理された出力が、第3の関係に基づいて第2の強度に線形的に関係付けられる、第2の後処理された出力を生成することとを行うように構成される。
いくつかの態様では、第1の生出力と第1の強度との間の第1の関係は、第1の強度範囲に関連付けられる。第2の生出力と第2の強度との間の第2の関係は、第2の強度範囲に関連付けられる。第3の関係は、第1の強度範囲と第2の強度範囲とを含む第3の強度範囲に関連付けられる。
いくつかの態様では、画像センサーは、フォトダイオードと電荷貯蔵ユニットとを備える。フォトダイオードは、積分期間内に、入射光に応答して電荷を生成することと、フォトダイオードが飽和するまで、電荷の少なくとも一部を残留電荷として蓄積することとを行うように構成される。電荷貯蔵ユニットは、電荷貯蔵ユニットが飽和するまで、残りの電荷をオーバーフロー電荷として蓄積するように構成される。
いくつかの態様では、第3の関係は、積分期間内にフォトダイオードによって生成された電荷の推定された量に、後処理された出力を線形的に関係付ける。
いくつかの態様では、第1の生出力は、積分期間が終了する前に電荷貯蔵ユニットが飽和する飽和時間を測定する。第2の生出力は、積分期間内に電荷貯蔵ユニットによって蓄積されたオーバーフロー電荷の量を測定する。
いくつかの態様では、ポストプロセッサは、飽和時間に基づいて、電荷貯蔵ユニットによるオーバーフロー電荷の蓄積のレートを決定することと、オーバーフロー電荷の蓄積のレートと積分期間とに基づいて、積分期間内にフォトダイオードによって生成された電荷の推定された量を決定することと、電荷の推定された量に基づいて第1の後処理された出力を決定することとを行うように構成される。
いくつかの態様では、ポストプロセッサは、積分期間内に電荷貯蔵ユニットによって受け取られた暗電流の第1の量とフォトダイオードによって受け取られた暗電流の第2の量とに基づいて、電荷の推定された量を決定するように構成される。
いくつかの態様では、ポストプロセッサは、電荷貯蔵ユニットの第1の電荷貯蔵容量とフォトダイオードの第2の電荷貯蔵容量とに基づいて、オーバーフロー電荷の蓄積のレートを決定するように構成される。
いくつかの態様では、ポストプロセッサは、第2の生出力とフォトダイオードの電荷貯蔵容量とに基づいて、電荷の推定された量を決定することと、電荷の推定された量に基づいて第2の後処理された出力を決定することとを行うように構成される。
いくつかの態様では、ポストプロセッサは、積分期間内に電荷貯蔵ユニットによって受け取られた暗電流の第1の量とフォトダイオードによって受け取られた暗電流の第2の量とに基づいて、電荷の推定された量を決定するように構成される。
いくつかの態様では、第1の生出力は、積分期間内に電荷貯蔵ユニットによって蓄積されたオーバーフロー電荷の量を測定する。第2の生出力は、積分期間内にフォトダイオードによって蓄積された残留電荷の量を測定する。
いくつかの態様では、画像センサーは、入射光の第3の強度を表すための第3の生出力を生成することであって、第3の生出力は、電荷貯蔵ユニットが飽和する飽和時間を測定し、第4の関係に基づいて入射光の第3の強度に関係付けられる、第3の生出力を生成することを行うように構成される。ポストプロセッサは、第3の生出力に基づいておよび第4の関係に基づいて、第3の後処理された出力を生成することであって、したがって、第3の後処理された出力が、第3の関係に基づいて第3の強度に線形的に関係付けられる、第3の後処理された出力を生成することを行うように構成される。
いくつかの態様では、電荷貯蔵ユニットは、構成可能な電荷貯蔵容量を有する。画像センサーは、第1の生出力を生成するために、第1の電荷貯蔵容量を有する電荷貯蔵ユニットにおいてオーバーフロー電荷を貯蔵するように構成される。画像センサーは、第2の生出力を生成するために、フォトダイオードから、第2の電荷貯蔵容量を有する電荷貯蔵ユニットに残留電荷を転送するように構成される。第1の後処理された出力は、第1の電荷貯蔵容量と第2の電荷貯蔵容量とに基づいて生成される。
いくつかの態様では、第1の後処理された出力は、積分期間内に電荷貯蔵ユニットによって受け取られた暗電流の第1の量とフォトダイオードによって受け取られた暗電流の第2の量とに基づいて生成される。第2の後処理された出力は、積分期間内にフォトダイオードによって受け取られた暗電流の第2の量に基づいて生成される。
いくつかの態様では、ポストプロセッサは、第1の生出力を第1の後処理された出力にマッピングし、第2の生出力を第2の後処理された出力にマッピングする、1つまたは複数のルックアップテーブルを備える。ポストプロセッサは、1つまたは複数のルックアップテーブルに基づいて第1の後処理された出力と第2の後処理された出力とを生成するように構成される。
いくつかの態様では、1つまたは複数のルックアップテーブルは、第1の生出力を第1の後処理された出力にマッピングする第1のルックアップテーブルと、第2の生出力を第2の後処理された出力にマッピングする第2のルックアップテーブルとを含む。ポストプロセッサは、第1の強度に基づいて第1のルックアップテーブルを選択し、第2の強度に基づいて第2のルックアップテーブルを選択するように構成される。
いくつかの態様では、第1の生出力および第2の生出力は、非一様量子化プロセスに基づいて生成される。
いくつかの例では、方法が提供される。本方法は、画像センサーによって、第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を生成することと、画像センサーによって、第2の関係に基づいて、入射光の第2の強度を表すための第2の生出力を生成することと、ポストプロセッサによって、第1の生出力に基づいておよび第1の関係に基づいて、第1の後処理された出力を生成することであって、したがって、第1の後処理された出力が、第3の関係に基づいて第1の強度に線形的に関係付けられる、第1の後処理された出力を生成することと、ポストプロセッサによって、第2の生出力に基づいておよび第2の関係に基づいて、第2の後処理された出力を生成することであって、したがって、第2の後処理された出力が、第3の関係に基づいて第2の強度に線形的に関係付けられる、第2の後処理された出力を生成することとを含む。
いくつかの態様では、本方法は、画像センサーによって、入射光の第3の強度を表すための第3の生出力を生成することであって、第3の生出力は、画像センサーの電荷貯蔵ユニットが飽和する飽和時間を測定し、第4の関係に基づいて入射光の第3の強度に関係付けられる、第3の生出力を生成することと、ポストプロセッサによって、第3の生出力に基づいておよび第4の関係に基づいて、第3の後処理された出力を生成することであって、したがって、第3の後処理された出力が、第3の関係に基づいて第3の強度に線形的に関係付けられる、第3の後処理された出力を生成することとをさらに含む。
いくつかの例では、非一時的コンピュータ可読媒体が提供される。本非一時的コンピュータ可読媒体は、ハードウェアプロセッサによって実行されたとき、ハードウェアプロセッサに、画像センサーから、第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を受け取ることと、画像センサーから、第2の関係に基づいて、入射光の第2の強度を表すための第2の生出力を受け取ることと、第1の生出力に基づいておよび第1の関係に基づいて、第1の後処理された出力を生成することであって、したがって、第1の後処理された出力が、第3の関係に基づいて第1の強度に線形的に関係付けられる、第1の後処理された出力を生成することと、第2の生出力に基づいておよび第2の関係に基づいて、第2の後処理された出力を生成することであって、したがって、第2の後処理された出力が、第3の関係に基づいて第2の強度に線形的に関係付けられる、第2の後処理された出力を生成することとを行わせる、命令を記憶する。
以下の図を参照しながら、例示的な実施形態が説明される。
図は、単に説明の目的で本開示の実施形態を示す。本開示の原理またはうたわれている利益から逸脱することなく、示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。
添付の図において、同様の構成要素および/または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第2のラベルを参照ラベルの後に続けることによって区別され得る。第1の参照ラベルのみが明細書において使用される場合、説明は、第2の参照ラベルには関係なく同じ第1の参照ラベルを有する同様の構成要素のいずれか1つに適用可能である。
以下の説明では、説明の目的で、いくつかの発明の実施形態の完全な理解を提供するために、具体的な詳細が記載される。ただし、様々な実施形態がこれらの具体的な詳細なしに実施され得ることは明らかであろう。図および説明は、限定するものではない。
一般的な画像センサーは、光子を電荷(たとえば、電子または正孔)に変換することによって入射光を検知するためのフォトダイオードを含む。画像センサーは、積分期間中にフォトダイオードによって生成された電荷を収集するためのキャパシタとして構成されたフローティングノードをさらに含む。収集された電荷は、キャパシタにおいて電圧を生じさせることができる。電圧は、バッファされ、アナログデジタル変換器(ADC)に与えられ得、ADCは、電圧を、入射光の強度を表すデジタル値に変換することができる。
ある期間内にフローティングノードにおいて貯蔵された電荷の量を反映する、ADCによって生成されたデジタル値は、入射光の強度に相関し得る。しかしながら、相関の程度は、異なる要因によって影響を及ぼされ得る。第1に、フローティングノードに貯蔵された電荷の量は、フローティングノードが飽和限界に達するまで、入射光の強度に直接関係し得る。飽和限界を超えると、フローティングノードは、フォトダイオードによって生成された追加の電荷を受け入れることができないことがあり、追加の電荷は、漏洩され、貯蔵されないことがある。その結果、フローティングノードにおいて貯蔵された電荷の量は、フォトダイオードによって実際に生成された電荷の量よりも少なくなり得る。飽和限界は、画像センサーの測定可能な光強度の上限を決定し得る。
また、様々な要因が、画像センサーの測定可能な光強度の下限を設定することがある。たとえば、フローティングノードにおいて収集された電荷は、入射光の強度に関係しない雑音電荷、ならびに暗電流によってもたらされる暗電荷を含み得る。暗電流は、結晶欠陥により、フォトダイオードのpn接合においておよびキャパシタに接続された他の半導体デバイスのpn接合において生成される、漏洩電流を含むことがある。暗電流は、キャパシタ中に流れ、入射光の強度に相関されない電荷を追加することがある。フォトダイオードにおいて生成される暗電流は、一般的に、他の半導体デバイスにおいて生成される暗電流よりも小さい。雑音電荷の別のソースは、他の回路要素との容量結合であり得る。たとえば、ADC回路要素が、フローティングノードに貯蔵された電荷の量を決定するための読取り動作を実施するとき、ADC回路要素は、容量結合を通してフローティングノードに雑音電荷を導入することがある。
雑音電荷のほかに、ADCは、電荷の量を決定する際の測定誤差をも導入することがある。測定誤差は、デジタル出力と入射光の強度との間の相関の程度を低下させることがある。測定誤差の1つのソースは量子化誤差である。量子化プロセスにおいて、電荷の量の連続セットを表すために、量レベルの離散セットが使用され、各量レベルは、電荷の所定の量を表すことができる。ADCは、電荷の入力量を量レベルと比較し、入力量に最も近い量レベルを決定し、決定された量レベルを(たとえば、量レベルを表すデジタルコードの形式で)出力することができる。量子化誤差は、量レベルによって表される電荷の量と、量レベルにマッピングされる電荷の入力量との間に不一致があるとき、発生することがある。量子化誤差は、(たとえば、2つの隣接する量レベル間の電荷量の差を低減することによって)より小さい量子化ステップサイズを伴って低減され得る。測定誤差の他のソースは、たとえば、電荷の量の測定における不確実性を増やす、(たとえば、ADC回路要素の)デバイス雑音と比較器オフセットとをも含み得る。雑音電荷、暗電荷、ならびにADC測定誤差は、画像センサーの測定可能な光強度の下限を定義することがあるが、飽和限界は、画像センサーの測定可能な光強度の上限を決定し得る。上限と下限との間の比がダイナミックレンジを定義し、ダイナミックレンジは、画像センサーのための動作光強度の範囲を設定し得る。
画像センサーは、多くの異なるアプリケーションにおいて見られ得る。一例として、画像センサーは、デジタル撮像を提供するためのデジタル撮像デバイス(たとえば、デジタルカメラ、スマートフォンなど)中に含まれる。別の例として、画像センサーは、ウェアラブル仮想現実(VR)システムならびに/あるいは拡張現実(AR)および/または複合現実(MR)システム中のニアアイディスプレイのディスプレイコンテンツを制御するかまたはそのディスプレイコンテンツに影響を与えることなど、デバイスの動作を制御するかまたはデバイスの動作に影響を与えるための入力デバイスとして構成され得る。たとえば、画像センサーは、ユーザが位置する物理的環境の物理的画像データを生成するために使用され得る。物理的画像データは、たとえば、物理的環境におけるユーザのロケーション、ユーザの向き、および/またはユーザの移動の経路を追跡するための同時位置特定およびマッピング(SLAM:simultaneous localization and mapping)アルゴリズムを動作させるロケーション追跡システムに提供され得る。画像センサーは、物理的環境におけるユーザと物体との間の距離を測定するためのステレオ深度情報を含む、物理的画像データを生成するためにも使用され得る。画像センサーはまた、近赤外(NIR:near−infrared)センサーとして構成され得る。照明器が、ユーザの眼球にNIR光のパターンを投影し得る。眼球の内部構造(たとえば、瞳孔)が、NIR光から反射パターンを生成し得る。画像センサーは、反射パターンの画像をキャプチャし、その画像を、ユーザの眼球の移動を追跡してユーザの注視点を決定するためのシステムに提供することができる。この物理的画像データに基づいて、VR/AR/MRシステムは、ユーザにインタラクティブ体験を提供するために、ニアアイディスプレイを介してユーザに表示するための仮想画像データを生成および更新し得る。たとえば、VR/AR/MRシステムは、(物体に対するユーザの関心をシグナリングし得る)ユーザの注視する方向、ユーザのロケーションなどに基づいて仮想画像データを更新し得る。
ウェアラブルVR/AR/MRシステムは、極めて広範囲の光強度を伴う環境において動作し得る。たとえば、ウェアラブルVR/AR/MRシステムは、屋内環境または屋外環境において、および/あるいは1日の異なる時間において動作することが可能であり得、ウェアラブルVR/AR/MRシステムの動作環境の光強度は大幅に変動し得る。その上、ウェアラブルVR/AR/MRシステムはまた、上述のNIR眼球追跡システムを含み得、これは、眼球に損傷を与えることを防ぐために、ユーザの眼球に極めて低い強度の光を投影することを必要とし得る。その結果、ウェアラブルVR/AR/MRシステムの画像センサーは、異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること(たとえば、入射光の強度と相関する出力を生成すること)が可能であるために、広いダイナミックレンジを有する必要があり得る。ウェアラブルVR/AR/MRシステムの画像センサーは、ユーザのロケーション、向き、注視点などの追跡を可能にするために十分高速で画像を生成する必要もあり得る。比較的限られたダイナミックレンジをもち、比較的低速で画像を生成する画像センサーは、そのようなウェアラブルVR/AR/MRシステムに好適でないことがある。
本開示は、拡張されたダイナミックレンジを提供することができるピクセルセルに関する。ピクセルセルは、フォトダイオードと、電荷貯蔵ユニットと、フォトダイオードと電荷貯蔵ユニットとの間の転送ゲートとして構成されたトランジスタと、処理回路とを含み得る。フォトダイオードは、積分期間内に、入射光に応答して電荷を生成し、フォトダイオードが飽和するまで、電荷の少なくとも一部を残留電荷として貯蔵することができる。電荷貯蔵ユニットは、トランジスタのフローティングドレイン、金属キャパシタ、金属酸化物半導体(MOS)キャパシタ、またはそれらの任意の組合せであり得る。電荷貯蔵ユニットは、第1の電圧を生じさせるために、オーバーフロー電荷を貯蔵することができ、オーバーフロー電荷は、フォトダイオードが飽和し、追加の電荷を貯蔵することができないとき、フォトダイオードから転送される電荷である。電荷貯蔵ユニットはフローティングドレインノード(floating drain node)を含み得る。
処理回路は、積分期間内にフォトダイオードによって受け取られた入射光の強度を、測定の複数のモードを実施することによって測定することができる。測定の第1のモードにおいて、処理回路は、第1の電圧を第1のランピングしきい値電圧と比較することによって量子化プロセスを実施して、第1の判定を生成することができる。第1の判定が、第1の電圧が第1のランピングしきい値電圧を越えることを指示するとき、第1のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第1のカウント値は、第1のランピングしきい値電圧が第1の電圧を越えるのにかかった時間の測定値を表すことができ、これは、電荷貯蔵ユニットに貯蔵されたオーバーフロー電荷を量子化した結果をも表すことができる。オーバーフロー電荷の量は、入射光の強度に比例し得る。本開示の残部では、測定の第1のモードは「FD ADC」動作と呼ばれることがある。
処理回路は、測定の第2のモードについて第2の電荷を生じさせるために、フォトダイオードから電荷貯蔵ユニットに残留電荷を転送することができる。測定の第2のモードにおいて、処理回路は、第2の電圧を第2のランピングしきい値電圧と比較することによって別の量子化プロセスを実施して、第2の判定を生成することができる。第2の判定が、第1が第2のランピング基準電圧を越えることを指示するとき、第2のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第2のカウント値は、第2のランピングしきい値電圧が第2の電圧を越えるのにかかった時間の測定値を表すことができ、これは、電荷貯蔵ユニットに貯蔵された残留電荷を量子化した結果をも表す。残留電荷の量は、入射光の強度に比例し得る。いくつかの例では、量子化誤差を低減することができる電荷−電圧利得を増加させることを行うために、電荷貯蔵ユニットのキャパシタンスは、残留電荷を貯蔵するときに低減され得る。本開示の残部では、測定の第2のモードは「PD ADC」動作と呼ばれることがある。
いくつかの実施形態では、処理回路は、測定の第3のモードをも実施することができる。測定の第3のモードにおいて、処理回路は、第1の電圧を、電荷貯蔵ユニットの飽和限界を表す静的しきい値電圧と比較して、第3の判定を生成することができる。第3の判定が、電荷貯蔵ユニットが飽和限界に達するかまたは飽和限界を超えることを指示するとき、第3のカウント値が、カウンタからキャプチャされ、メモリに記憶され得る。第3のカウント値は、電荷貯蔵ユニットが飽和されるのにかかった時間の測定値を表すことができ、持続時間は、入射光の強度に反比例し得る。本開示の残部では、測定の第3のモードは、飽和までの時間(TTS:time−to−saturation)測定動作と呼ばれることがある。いくつかの例では、測定の第3のモードは、測定の第1のモードの前に実施され得る。
測定の異なるモードは、異なる光強度範囲を対象にし得、処理回路は、入射光がどの光強度範囲に属するかに基づいて、入射光の強度を表すための、第1のカウント値、第2のカウント値、または第3のカウント値のうちの1つをメモリから出力することができる。測定の第1のモードは、フォトダイオードが全容量に達し、飽和することが予想される、中光強度範囲を対象とし得る。測定の第2のモードは、フォトダイオードが飽和することが予想されない、低光強度範囲を対象とし得る。測定の第3のモードは、電荷貯蔵ユニットが飽和する、高光強度範囲を対象とし得る。入射光の強度範囲に基づいて、処理回路は、入射光の強度を表すための、第1のカウント値、第2のカウント値、または第3のカウント値のうちの1つをメモリから選択することができる。
上記で説明されたマルチモード測定動作は、ピクセルセルによる光強度測定のダイナミックレンジを拡張することができる。詳細には、TTS測定動作は、電荷貯蔵ユニットを飽和させる強度レベルを超える高光強度の測定を可能にし、これは、ダイナミックレンジの上限を拡張することができる。その上、PD ADC動作は、低光強度について、フォトダイオードに貯蔵された残留電荷を測定する。フォトダイオードは、一般的に、ごくわずかな暗電流を受け取るので、暗電流によって引き起こされる暗電荷の大きさは、入射光によって引き起こされる実信号に対して小さいままであり得、これは、検出可能な入射光強度を低減し、ダイナミックレンジの下限を押し下げることができる。
マルチモード測定動作は、ピクセルセルのダイナミックレンジを拡張することができるが、測定動作の各モードからの、画像センサーの生出力(たとえば、カウント値)は、カウント値によって表される光強度に対して異なる関係を有することがある。たとえば、TTSモードからのカウント値は、飽和までの時間を表し、これは、一般的に、入射光強度に反比例するか、または入射光強度に対して少なくとも非線形であるが、FD ADC動作およびPD ADC動作からのカウント値は、電荷の量を測定し、概して、入射光強度に対して線形である。その上、FD ADC動作およびPD ADC動作からのカウント値は、入射光強度に対して異なる線形関係を有することがある。これは、たとえば、FD ADC動作は、積分期間内にフォトダイオードによって生成された(残留電荷を含む)電荷の全体ではなくオーバーフロー電荷を測定するが、PD ADC動作は、フォトダイオードが飽和しない場合、積分期間内にフォトダイオードによって生成された電荷の全体であり得る残留電荷を測定することによるものであり得る。その上、上記で説明されたように、PD ADC動作のための電荷貯蔵ユニットのキャパシタンスは、電荷−電圧変換レートを増加させるために、および量子化誤差を低減するために、FD ADC動作に対して低減され得る。FD ADC動作とPD ADC動作の両方が、電荷貯蔵ユニットにおける電圧を量子化することに基づいて電荷を測定するので、電荷貯蔵ユニットの異なるキャパシタンスにより、FD ADC動作およびPD ADC動作のための(光強度を反映する)電荷とカウント値との間に異なる線形関係が生じ得る。
異なる動作モードの間の、カウント値と光強度との間の異なる関係は、カウント値を使用して入射光強度を決定するアプリケーションにとって、問題を提起することがある。アプリケーションは、一般的に、カウント値のみを受け取り、カウント値がどの動作モード(またはどの光強度範囲)に属するかの他の指示を受け取らず、カウント値が、ダイナミックレンジ全体にわたって、光強度に対して一様な関係を有することに依拠し得る。その上、SLAMなど、画像特徴抽出に依拠するいくつかのアプリケーションは、隣接ピクセルのカウント値間の差を決定するために、およびその差に基づいて画像特徴を抽出するために、カウント値が、光強度に対して一様な関係を有することに依拠し得る。そのようなアプリケーションは、追加の後処理なしに、上述のマルチモード測定動作から出力されたカウント値で適切に機能することが可能でないことがある。
本開示は、上記の問題点のうちの少なくともいくつかに対処することができるいくつかの技法を提案する。いくつかの例では、装置が、画像センサーとポストプロセッサとを備える。画像センサーは、積分期間内に、入射光に応答して電荷を生成することと、フォトダイオードが飽和するまで、電荷の少なくとも一部を残留電荷として蓄積することとを行うように構成されたフォトダイオードを含み得る。画像センサーは、電荷貯蔵デバイスが飽和するまで、残りの電荷をオーバーフロー電荷として蓄積するように構成された電荷貯蔵ユニットをさらに備え得る。画像センサーは、積分期間内に入射光の強度を表すための生出力を生成するために、残留電荷またはオーバーフロー電荷を量子化するための量子化器をも含み得る。量子化器は、第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を生成し、第2の関係に基づいて、入射光の第2の強度を表すための第2の生出力を生成することができる。第1の生出力は、たとえば、積分期間が終了する前に電荷貯蔵ユニットがオーバーフロー電荷によって飽和される飽和時間を測定することができ、飽和時間は、第1の関係に基づいて第1の強度に関係付けられる。第2の生出力は、積分期間内に蓄積された電荷の量(たとえば、電荷貯蔵ユニットによって蓄積されたオーバーフロー電荷の量、フォトダイオードによって蓄積された残留電荷の量など)を測定することができ、電荷の量は、第2の関係に基づいて第2の強度に関係付けられる。
ポストプロセッサは、第1の生出力に基づいておよび第1の関係に基づいて、第1の後処理された出力を生成することであって、したがって、第1の後処理された出力が、第3の関係に基づいて第1の強度に線形的に関係付けられる、第1の後処理された出力を生成することを行うことができる。ポストプロセッサは、第2の生出力に基づいておよび第2の関係に基づいて、第2の後処理された出力を生成することであって、したがって、第2の後処理された出力が、第3の関係に基づいて第2の強度に線形的に関係付けられる、第2の後処理された出力を生成することをも行うことができる。
詳細には、第3の関係は、積分期間内にフォトダイオードによって生成された電荷の推定された量に、後処理された出力を線形的に関係付けることができる。第1の後処理された出力を生成するために、ポストプロセッサは、画像センサーからの第1の生出力によって表される飽和時間に基づいて、電荷貯蔵ユニットによるオーバーフロー電荷の蓄積のレートを決定することと、次いで、オーバーフロー電荷の蓄積のレートと積分期間とに基づいて、積分期間内にフォトダイオードによって生成された電荷の推定された量を決定することとを行うことができる。次いで、第1の後処理された出力が、電荷の推定された量に基づいて決定され得る。その上、第2の生出力が、積分期間内に電荷貯蔵ユニットによって蓄積されたオーバーフロー電荷の測定値を表す場合、ポストプロセッサは、第2の生出力をフォトダイオードの電荷貯蔵容量と組み合わせることによって、積分期間内にフォトダイオードによって生成された電荷の推定された量を決定することができる。ポストプロセッサはまた、積分期間内に、電荷貯蔵ユニットによって蓄積された推定された暗電流の量とフォトダイオードによって蓄積された推定された暗電流の量とを加算すること基づいて、電荷の推定された量を決定することができる。その上、画像センサーが、残留電荷の読出しおよび量子化のために電荷貯蔵ユニットの電荷貯蔵容量を低減し、オーバーフロー電荷の読出しおよび量子化のために電荷貯蔵ユニットの電荷貯蔵容量を増加させる場合、オーバーフロー電荷の測定値に基づく生出力は、異なる電荷貯蔵容量を考慮するためにスケーリングされ得る。
いくつかの例では、ポストプロセッサは、上記で説明された技法に基づいて、第1および第2の後処理された出力を生成するためにソフトウェア命令を実行することができる、デジタル信号プロセッサ、汎用中央処理ユニット(CPU)など、ハードウェア回路を含むことができる。いくつかの例では、ポストプロセッサは、異なる生出力を異なる後処理された出力にマッピングする1つまたは複数のルックアップテーブル(LUT)を含むことができ、ポストプロセッサは、ルックアップテーブル中のマッピングに基づいて第1および第2の後処理された出力を提供することができる。ルックアップテーブルは、たとえば、量子化器が、第1および第2の生出力を生成するために非一様量子化プロセスを採用し、第1の関係と第2の関係とを第3の関係にマッピングするための閉形式解が存在しないとき、使用され得る。
本開示の例は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実(VR)、拡張現実(AR)、複合現実(MR)、ハイブリッド現実、あるいはそれらの何らかの組合せおよび/または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた(たとえば、現実世界の)コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る(観察者に3次元効果をもたらすステレオビデオなど)。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および/または人工現実において別様に使用される(たとえば、人工現実におけるアクティビティを実施する)アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ(HMD)、独立型HMD、モバイルデバイスまたはコンピューティングシステム、あるいは、1人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。
図1Aは、ニアアイディスプレイ100の一実施形態の図である。ニアアイディスプレイ100は、ユーザにメディアを提示する。ニアアイディスプレイ100によって提示されるメディアの例は、1つまたは複数の画像、ビデオ、および/またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス(たとえば、スピーカーおよび/またはヘッドフォン)を介して提示され、この外部デバイスは、ニアアイディスプレイ100、コンソール、またはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータを提示する。ニアアイディスプレイ100は、概して、仮想現実(VR)ディスプレイとして動作するように構成される。いくつかの実施形態では、ニアアイディスプレイ100は、拡張現実(AR)ディスプレイおよび/または複合現実(MR)ディスプレイとして動作するように変更される。
ニアアイディスプレイ100は、フレーム105とディスプレイ110とを含む。フレーム105は、1つまたは複数の光学要素に結合される。ディスプレイ110は、ユーザがニアアイディスプレイ100によって提示されたコンテンツを見るように構成される。いくつかの実施形態では、ディスプレイ110は、1つまたは複数の画像からの光をユーザの眼に向けるための導波路ディスプレイアセンブリを備える。
ニアアイディスプレイ100は、画像センサー120a、120b、120c、および120dをさらに含む。画像センサー120a、120b、120c、および120dの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。たとえば、センサー120aおよび120bは、Z軸に沿った方向Aに向かう2つの視野を表す画像データを提供するように構成され得、センサー120cは、X軸に沿った方向Bに向かう視野を表す画像データを提供するように構成され得、センサー120dは、X軸に沿った方向Cに向かう視野を表す画像データを提供するように構成され得る。
いくつかの実施形態では、センサー120a〜120dは、ニアアイディスプレイ100を装着したユーザにインタラクティブVR/AR/MR体験を提供するために、ニアアイディスプレイ100のディスプレイコンテンツを制御するかまたはニアアイディスプレイ100のディスプレイコンテンツに影響を与えるための入力デバイスとして構成され得る。たとえば、センサー120a〜120dは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境におけるユーザのロケーションおよび/または移動の経路を追跡するためのロケーション追跡システムに提供され得る。システムは、次いで、インタラクティブ体験を提供するために、たとえば、ユーザのロケーションおよび向きに基づいて、ディスプレイ110に提供された画像データを更新することができる。いくつかの実施形態では、ロケーション追跡システムは、ユーザが物理的環境内を移動するにつれて、物理的環境におけるおよびユーザの視野内の物体のセットを追跡するために、SLAMアルゴリズムを動作させ得る。ロケーション追跡システムは、物体のセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザのロケーションを追跡することができる。複数の視野に対応する画像データを提供することによって、センサー120a〜120dは、ロケーション追跡システムに物理的環境のより全体的なビューを提供することができ、これは、より多くの物体がマップの構築および更新に含まれることにつながり得る。そのような仕組みにより、物理的環境内のユーザのロケーションを追跡することの正確さおよびロバストネスが改善され得る。
いくつかの実施形態では、ニアアイディスプレイ100は、物理的環境に光を投影するための1つまたは複数のアクティブ照明器130をさらに含み得る。投影された光は、異なる周波数スペクトル(たとえば、可視光、赤外光、紫外光など)に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器130は、たとえば、ユーザのロケーション追跡を可能にするために、センサー120a〜120dが暗い環境内の異なる物体の画像をキャプチャするのを支援するために、暗い環境において(または、低強度の赤外光、紫外光などを伴う環境において)光を投影し得る。照明器130は、ロケーション追跡システムがマップ構築/更新のために物体を識別するのを支援するために、環境内の物体上にいくつかのマーカーを投影し得る。
いくつかの実施形態では、照明器130は、立体撮像をも可能にし得る。たとえば、センサー120aまたは120bのうちの1つまたは複数は、可視光検知のための第1のピクセルアレイと赤外(IR)光検知のための第2のピクセルアレイの両方を含むことができる。第1のピクセルアレイは、カラーフィルタ(たとえば、バイエルフィルタ)で覆われ得、第1のピクセルアレイの各ピクセルが、特定の色(たとえば、赤色、緑色または青色のうちの1つ)に関連付けられた光の強度を測定するように構成される。また、(IR光検知のための)第2のピクセルアレイは、IR光の通過のみを可能にするフィルタで覆われ得、第2のピクセルアレイの各ピクセルが、IR光の強度を測定するように構成される。ピクセルアレイは、物体のRGB画像およびIR画像を生成することができ、IR画像の各ピクセルが、RGB画像の各ピクセルにマッピングされる。照明器130は、物体上にIRマーカーのセットを投影し得、その画像は、IRピクセルアレイによってキャプチャされ得る。画像に示されている物体のIRマーカーの分布に基づいて、システムは、IRピクセルアレイからの物体の異なる部分の距離を推定し、その距離に基づいて物体の立体画像を生成することができる。物体の立体画像に基づいて、システムは、たとえば、ユーザに対する物体の相対位置を決定することができ、インタラクティブ体験を提供するために、相対位置情報に基づいて、ディスプレイ100に提供された画像データを更新することができる。
上記で説明されたように、ニアアイディスプレイ100は、極めて広範囲の光強度に関連する環境において動作され得る。たとえば、ニアアイディスプレイ100は、屋内環境または屋外環境において、および/あるいは1日の異なる時間において動作され得る。ニアアイディスプレイ100はまた、アクティブ照明器130がオンにされていてもいなくても動作し得る。その結果、画像センサー120a〜120dは、ニアアイディスプレイ100のための異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること(たとえば、入射光の強度と相関する出力を生成すること)が可能であるために、広いダイナミックレンジを有する必要があり得る。
図1Bは、ニアアイディスプレイ100の別の実施形態の図である。図1Bは、ニアアイディスプレイ100を装着したユーザの(1つまたは複数の)眼球135に面するニアアイディスプレイ100の側面を示す。図1Bに示されているように、ニアアイディスプレイ100は、複数の照明器140a、140b、140c、140d、140e、および140fをさらに含み得る。ニアアイディスプレイ100は、複数の画像センサー150aおよび150bをさらに含む。照明器140a、140b、および140cは、(図1Aの方向Aと反対である)方向Dに向かってある周波数範囲(たとえば、NIR)の光を放出し得る。放出された光は、あるパターンに関連付けられ得、ユーザの左眼球によって反射され得る。センサー150aは、反射光を受け取り、反射パターンの画像を生成するためのピクセルアレイを含み得る。同様に、照明器140d、140e、および140fは、パターンを搬送するNIR光を放出し得る。NIR光は、ユーザの右眼球によって反射され得、センサー150bによって受け取られ得る。センサー150bも、反射パターンの画像を生成するためのピクセルアレイを含み得る。センサー150aおよび150bからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいて、ディスプレイ100に提供された画像データを更新することができる。
上記で説明されたように、ユーザの眼球に損傷を与えることを回避するために、照明器140a、140b、140c、140d、140e、および140fは、一般的に、極めて低強度の光を出力するように構成される。画像センサー150aおよび150bが図1Aの画像センサー120a〜120dと同じセンサーデバイスを備える場合、画像センサー120a〜120dは、入射光の強度が極めて低いときに入射光の強度と相関する出力を生成することが可能である必要があり得、これは、画像センサーのダイナミックレンジ要件をさらに増加させ得る。
その上、画像センサー120a〜120dは、眼球の移動を追跡するために高速で出力を生成することが可能である必要があり得る。たとえば、ユーザの眼球は、ある眼球位置から別の眼球位置への素早いジャンプがあり得る極めて急速な移動(たとえば、サッカード運動(saccade movement))を実施することができる。ユーザの眼球の急速な移動を追跡するために、画像センサー120a〜120dは、高速で眼球の画像を生成する必要がある。たとえば、画像センサーが画像フレームを生成するレート(フレームレート)は、少なくとも、眼球の移動の速度に一致する必要がある。高いフレームレートは、画像フレームを生成することに関与するピクセルセルのすべてについての短い総露光時間、ならびに、画像生成のためにセンサー出力をデジタル値に変換するための高い速度を必要とする。その上、上記で説明されたように、画像センサーは、低光強度を伴う環境において動作することが可能である必要もある。
図2は、図1に示されているニアアイディスプレイ100の断面200の一実施形態である。ディスプレイ110が、少なくとも1つの導波路ディスプレイアセンブリ210を含む。射出瞳230は、ユーザがニアアイディスプレイ100を装着したときにユーザの単一の眼球220がアイボックス(eyebox)領域中に配置されるロケーションである。説明の目的で、図2は、眼球220と単一の導波路ディスプレイアセンブリ210に関連する断面200を示すが、第2の導波路ディスプレイがユーザの第2の眼のために使用される。
導波路ディスプレイアセンブリ210は、画像光を、射出瞳230に位置するアイボックスに、および眼球220に向けるように構成される。導波路ディスプレイアセンブリ210は、1つまたは複数の屈折率をもつ1つまたは複数の材料(たとえば、プラスチック、ガラスなど)から構成され得る。いくつかの実施形態では、ニアアイディスプレイ100は、導波路ディスプレイアセンブリ210と眼球220との間に1つまたは複数の光学要素を含む。
いくつかの実施形態では、導波路ディスプレイアセンブリ210は、制限はしないが、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、1つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色ソースが異なる色のものである導波路ディスプレイを積層することによって作り出された多色ディスプレイ(たとえば、赤緑青(RGB)ディスプレイ)である。積層導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ(たとえば、多平面カラーディスプレイ)でもある。いくつかの構成では、積層導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ(たとえば、多平面単色ディスプレイ)である。可変焦点導波路ディスプレイは、導波路ディスプレイから放出された画像光の焦点位置を調整することができるディスプレイである。代替実施形態では、導波路ディスプレイアセンブリ210は、積層導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。
図3は、導波路ディスプレイ300の一実施形態の等角図を示す。いくつかの実施形態では、導波路ディスプレイ300は、ニアアイディスプレイ100の構成要素(たとえば、導波路ディスプレイアセンブリ210)である。いくつかの実施形態では、導波路ディスプレイ300は、画像光を特定のロケーションに向ける何らかの他のニアアイディスプレイまたは他のシステムの一部である。
導波路ディスプレイ300は、ソースアセンブリ310と、出力導波路320と、コントローラ330とを含む。説明の目的で、図3は、単一の眼球220に関連付けられた導波路ディスプレイ300を示すが、いくつかの実施形態では、導波路ディスプレイ300とは別個の、または部分的に別個の別の導波路ディスプレイが、ユーザの別の眼に画像光を提供する。
ソースアセンブリ310は、画像光355を生成する。ソースアセンブリ310は、画像光355を生成し、出力導波路320の第1の側面370−1上に位置する結合要素350に出力する。出力導波路320は、拡大された画像光340をユーザの眼球220に出力する光導波路である。出力導波路320は、第1の側面370−1上に位置する1つまたは複数の結合要素350において画像光355を受け取り、受け取られた入力画像光355を方向付け要素360に導く。いくつかの実施形態では、結合要素350は、ソースアセンブリ310からの画像光355を出力導波路320に結合する。結合要素350は、たとえば、回折格子、ホログラフィック格子、1つまたは複数のカスケード型反射器、1つまたは複数のプリズム表面要素、および/またはホログラフィック反射器のアレイであり得る。
方向付け要素360は、受け取られた入力画像光355が分離要素365を介して出力導波路320から分離されるように、受け取られた入力画像光355を分離要素365に向け直す。方向付け要素360は、出力導波路320の第1の側面370−1の一部であるか、または出力導波路320の第1の側面370−1に取り付けられる。分離要素365は、方向付け要素360が分離要素365に対向するように、出力導波路320の第2の側面370−2の一部であるか、または出力導波路320の第2の側面370−2に取り付けられる。方向付け要素360および/または分離要素365は、たとえば、回折格子、ホログラフィック格子、1つまたは複数のカスケード型反射器、1つまたは複数のプリズム表面要素、および/またはホログラフィック反射器のアレイであり得る。
第2の側面370−2は、x次元およびy次元に沿った平面を表す。出力導波路320は、画像光355の内部全反射を促進する1つまたは複数の材料から構成され得る。出力導波路320は、たとえば、シリコン、プラスチック、ガラス、および/またはポリマーから構成され得る。出力導波路320は、比較的小さいフォームファクタを有する。たとえば、出力導波路320は、x次元に沿って幅約50mm、y次元に沿って長さ約30mm、およびz次元に沿って厚さ約0.5〜1mmであり得る。
コントローラ330は、ソースアセンブリ310のスキャン動作を制御する。コントローラ330は、ソースアセンブリ310のためのスキャン命令を決定する。いくつかの実施形態では、出力導波路320は、拡大された画像光340を大きい視野(FOV)でユーザの眼球220に出力する。たとえば、拡大された画像光340は、60度のおよび/またはそれよりも大きい、ならびに/あるいは150度のおよび/またはそれよりも小さい(xおよびyにおける)対角FOVでユーザの眼球220に提供される。出力導波路320は、20mm以上および/または50mm以下の長さ、ならびに/あるいは10mm以上および/または50mm以下の幅をもつアイボックスを提供するように構成される。
その上、コントローラ330は、画像センサー370によって提供される画像データに基づいて、ソースアセンブリ310によって生成される画像光355をも制御する。画像センサー370は、第1の側面370−1上に位置し得、たとえば、(たとえば、ロケーション決定のための)ユーザの前にある物理的環境の画像データを生成するために図1Aの画像センサー120a〜120dを含み得る。画像センサー370はまた、第2の側面370−2上に位置し得、ユーザの(たとえば、注視点決定のための)眼球220の画像データを生成するために図1Bの画像センサー150aおよび150bを含み得る。画像センサー370は、導波路ディスプレイ300内に位置しないリモートコンソールとインターフェースし得る。画像センサー370は、画像データをリモートコンソールに提供し得、リモートコンソールは、たとえば、ユーザのロケーション、ユーザの注視点などを決定し、ユーザに表示されるべき画像のコンテンツを決定し得る。リモートコンソールは、決定されたコンテンツに関係する命令をコントローラ330に送信することができる。命令に基づいて、コントローラ330は、ソースアセンブリ310による画像光355の生成および出力を制御することができる。
図4は、導波路ディスプレイ300の断面400の一実施形態を示す。断面400は、ソースアセンブリ310と、出力導波路320と、画像センサー370とを含む。図4の例では、画像センサー370は、ユーザの前にある物理的環境の画像を生成するために、第1の側面370−1上に位置するピクセルセル402のセットを含み得る。いくつかの実施形態では、ピクセルセル402のセットの露光を制御するために、ピクセルセル402のセットと物理的環境との間に挿入された機械的シャッター404があり得る。いくつかの実施形態では、機械的シャッター404は、以下で説明されるように、電子シャッターゲートと置き換えられ得る。ピクセルセル402の各々は、画像の1つのピクセルに対応し得る。図4には示されていないが、ピクセルセルによって検知されるべき光の周波数範囲を制御するために、ピクセルセル402の各々もフィルタで覆われ得ることを理解されたい。
リモートコンソールから命令を受け取った後に、機械的シャッター404は、積分期間において開き、ピクセルセル402のセットを露光することができる。積分期間中に、画像センサー370は、ピクセルセル402のセットに入射した光のサンプルを取得し、ピクセルセル402のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサー370は、次いで、画像データを、ディスプレイコンテンツを決定するリモートコンソールに提供し、ディスプレイコンテンツ情報をコントローラ330に提供することができる。コントローラ330は、次いで、ディスプレイコンテンツ情報に基づいて画像光355を決定することができる。
ソースアセンブリ310は、コントローラ330からの命令に従って画像光355を生成する。ソースアセンブリ310は、ソース410と光学システム415とを含む。ソース410は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。ソース410は、たとえば、レーザーダイオード、垂直キャビティ面発光レーザー、および/または発光ダイオードであり得る。
光学システム415は、ソース410からの光を調節する1つまたは複数の光学的構成要素を含む。ソース410からの光を調節することは、たとえば、コントローラ330からの命令に従って拡大し、コリメートし、および/または向きを調整することを含み得る。1つまたは複数の光学的構成要素は、1つまたは複数のレンズ、液体レンズ、ミラー、開口、および/または格子を含み得る。いくつかの実施形態では、光学システム415は、光ビームを液体レンズ外の領域にシフトするためにしきい値のスキャン角度を伴う光ビームのスキャンを可能にする複数の電極をもつ液体レンズを含む。光学システム415(同じくソースアセンブリ310)から放出される光は、画像光355と呼ばれる。
出力導波路320は、画像光355を受け取る。結合要素350は、ソースアセンブリ310からの画像光355を出力導波路320に結合する。結合要素350が回折格子である実施形態では、内部全反射が出力導波路320中で発生し、画像光355が、分離要素365に向かって、(たとえば、内部全反射によって)出力導波路320中を内部的に伝搬するように、回折格子のピッチが選定される。
方向付け要素360は、出力導波路320から分離するために、画像光355を分離要素365のほうへ向け直す。方向付け要素360が回折格子である実施形態では、回折格子のピッチは、入射画像光355が、分離要素365の表面に対して(1つまたは複数の)傾斜角において出力導波路320を出ることを引き起こすように選定される。
いくつかの実施形態では、方向付け要素360および/または分離要素365は、構造的に同様である。出力導波路320を出た拡大された画像光340は、1つまたは複数の次元に沿って拡大される(たとえば、x次元に沿って延長され得る)。いくつかの実施形態では、導波路ディスプレイ300は、複数のソースアセンブリ310と複数の出力導波路320とを含む。ソースアセンブリ310の各々は、原色(たとえば、赤、緑、または青)に対応する、波長の特定の帯域の単色画像光を放出する。出力導波路320の各々は、多色である拡大された画像光340を出力するために、離間距離を伴って一緒に積層され得る。
図5は、ニアアイディスプレイ100を含むシステム500の一実施形態のブロック図である。システム500は、各々制御回路要素510に結合された、ニアアイディスプレイ100と、撮像デバイス535と、入出力インターフェース540と、画像センサー120a〜120dおよび150a〜150bとを備える。システム500は、ヘッドマウントデバイス、ウェアラブルデバイスなどとして構成され得る。
ニアアイディスプレイ100は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ100によって提示されるメディアの例は、1つまたは複数の画像、ビデオ、および/またはオーディオを含む。いくつかの実施形態では、オーディオは、外部デバイス(たとえば、スピーカーおよび/またはヘッドフォン)を介して提示され、この外部デバイスは、ニアアイディスプレイ100および/または制御回路要素510からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータをユーザに提示する。いくつかの実施形態では、ニアアイディスプレイ100はまた、ARアイウェアグラスとして働き得る。いくつかの実施形態では、ニアアイディスプレイ100は、コンピュータ生成された要素(たとえば、画像、ビデオ、音など)を用いて、物理的現実世界の環境のビューを増強する。
ニアアイディスプレイ100は、導波路ディスプレイアセンブリ210、1つまたは複数の位置センサー525、および/または慣性測定ユニット(IMU)530を含む。導波路ディスプレイアセンブリ210は、ソースアセンブリ310と、出力導波路320と、コントローラ330とを含む。
IMU530は、位置センサー525のうちの1つまたは複数から受け取られた測定信号に基づいて、ニアアイディスプレイ100の初期位置に対するニアアイディスプレイ100の推定位置を指示する高速較正データを生成する電子デバイスである。
撮像デバイス535は、様々なアプリケーションのための画像データを生成し得る。たとえば、撮像デバイス535は、制御回路要素510から受け取られた較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス535は、たとえば、ユーザのロケーション追跡を実施するために、ユーザが位置する物理的環境の画像データを生成するために図1Aの画像センサー120a〜120dを含み得る。撮像デバイス535は、たとえば、ユーザの関心物体を識別するために、ユーザの注視点を決定するための画像データを生成するために、図1Bの画像センサー150a〜150bをさらに含み得る。
入出力インターフェース540は、ユーザが制御回路要素510にアクション要求を送ることを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、アプリケーションを開始または終了するためのものであるか、あるいはアプリケーション内で特定のアクションを実施するためのものであり得る。
制御回路要素510は、撮像デバイス535、ニアアイディスプレイ100、および入出力インターフェース540のうちの1つまたは複数から受け取られた情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ100に提供する。いくつかの例では、制御回路要素510は、ヘッドマウントデバイスとして構成されたシステム500内に収容され得る。いくつかの例では、制御回路要素510は、システム500の他の構成要素と通信可能に結合された独立型コンソールデバイスであり得る。図5に示されている例では、制御回路要素510は、アプリケーションストア545と、追跡モジュール550と、エンジン555とを含む。
アプリケーションストア545は、制御回路要素510が実行するための1つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。
追跡モジュール550は、1つまたは複数の較正パラメータを使用してシステム500を較正し、ニアアイディスプレイ100の位置の決定における誤差を低減するために、1つまたは複数の較正パラメータを調整し得る。
追跡モジュール550は、撮像デバイス535からの低速較正情報を使用して、ニアアイディスプレイ100の移動を追跡する。追跡モジュール550はまた、高速較正情報からの位置情報を使用して、ニアアイディスプレイ100の基準点の位置を決定する。
エンジン555は、システム500内でアプリケーションを実行し、追跡モジュール550から、ニアアイディスプレイ100の位置情報、加速度情報、速度情報、および/または予測された将来の位置を受け取る。いくつかの実施形態では、エンジン555によって受け取られた情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ210への信号(たとえば、ディスプレイ命令)をもたらすために使用され得る。たとえば、インタラクティブ体験を提供するために、エンジン555は、(たとえば、追跡モジュール550によって提供される)ユーザのロケーション、または(たとえば、撮像デバイス535によって提供される画像データに基づく)ユーザの注視点、(たとえば、撮像デバイス535によって提供される画像データに基づく)物体とユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。
図6は、ピクセルセル600の一例を示す。ピクセルセル600は、ピクセルアレイの一部であり得、画像のピクセルに対応するデジタル強度データを生成することができる。たとえば、ピクセルセル600は、図4のピクセルセル402の一部であり得る。図6に示されているように、ピクセルセル600は、フォトダイオード602、ならびに、シャッタースイッチ604と、転送ゲート606と、リセットスイッチ607と、電荷貯蔵ユニット608と、バッファ609と、ピクセルADC610とを含む処理回路を含み得る。
いくつかの実施形態では、フォトダイオード602は、たとえば、P−Nダイオード、P−I−Nダイオード、ピン止め(pinned)ダイオードなどを含み得る。フォトダイオード602は、光を受け取ると電荷を生成することができ、生成される電荷の量は、光の強度に比例し得る。フォトダイオード602はまた、フォトダイオードのウェル容量(well capacity)に達したときに発生する、フォトダイオードの飽和まで、生成された電荷の一部を貯蔵することができる。その上、シャッタースイッチ604、転送ゲート606、およびリセットスイッチ607の各々は、トランジスタを含むことができる。トランジスタは、たとえば、金属酸化物半導体電界効果トランジスタ(MOSFET)、バイポーラ接合トランジスタ(BJT)などを含み得る。シャッタースイッチ604は、ピクセルセル600の積分期間を制御するための電子シャッターゲートとして(図4の機械的シャッター404の代わりに、または機械的シャッター404と組み合わせて)働くことができる。積分期間中に、シャッタースイッチ604は、露光イネーブル信号611によって無効化され(オフにされ)得、これは、フォトダイオード602が生成された電荷を貯蔵することを可能にし、フォトダイオード602が飽和したとき、オーバーフロー電荷が電荷貯蔵ユニット608に流れることを可能にする。積分期間の終了時に、シャッタースイッチ604は有効化されて、フォトダイオード602によって生成された電荷をフォトダイオード電流シンク617に誘導する(steer)ことができる。その上、リセットスイッチ607が、リセット信号618によって同じく無効化され(オフにされ)得、これは、電荷貯蔵ユニット608が電荷を蓄積することを可能にする。電荷貯蔵ユニット608は、転送ゲート606のフローティング端子におけるデバイスキャパシタ、金属キャパシタ、MOSキャパシタ、またはそれらの任意の組合せであり得る。電荷貯蔵ユニット608は、入射光強度を表すデジタル出力を提供するためにピクセルADC610によって測定され得る電荷の量を貯蔵するために使用され得る。測定のモードが完了した後に、リセットスイッチ607は有効化されて、電荷貯蔵ユニット608において貯蔵された電荷を空にして電荷シンク620に移して、電荷貯蔵ユニット608を次の測定のために利用可能にすることができる。
次に図7を参照すると、図7は、異なる光強度範囲についての時間に対する蓄積された電荷の量を示す。特定の時点において蓄積された電荷の総量は、積分期間中にフォトダイオード602に入射する光の強度を反映することができる。上記量は、積分期間が終了したときに測定され得る。入射光の強度についての低光強度範囲706、中光強度範囲708、および高光強度範囲710を定義する電荷のしきい値の量について、しきい値702およびしきい値704が定義され得る。たとえば、総蓄積電荷(total accumulated charge)がしきい値702未満である場合(たとえば、Q1)、入射光強度は低光強度範囲706内にある。総蓄積電荷がしきい値704としきい値702との間にある場合(たとえば、Q2)、入射光強度は中光強度範囲708内にある。総蓄積電荷がしきい値704を超える場合、入射光強度は高光強度範囲710内にある。低光強度範囲および中光強度範囲についての、蓄積された電荷の量は、フォトダイオードが低光強度範囲706全体内で飽和せず、測定キャパシタが中光強度範囲708全体内で飽和しない場合、入射光の強度と相関することができる。
低光強度範囲706および中光強度範囲708、ならびにしきい値702および704の定義は、フォトダイオード602および電荷貯蔵ユニット608の貯蔵容量に基づき得る。たとえば、低光強度範囲706は、積分期間の終了時の、フォトダイオード602に貯蔵された電荷の総量が、フォトダイオードの貯蔵容量を下回るかまたはそれに等しくなるように定義され得、しきい値702は、フォトダイオード602の貯蔵容量に基づき得る。以下で説明されるように、しきい値702は、フォトダイオード602の潜在的容量変動を考慮するために、フォトダイオードのスケーリングされた貯蔵容量に基づいて設定され得る。そのような仕組みは、フォトダイオード602に貯蔵された電荷の量が強度決定のために測定されたとき、フォトダイオードが飽和せず、測定された量が入射光強度に関係することを保証することができる。その上、中光強度範囲708は、積分期間の終了時の、電荷貯蔵ユニット608に貯蔵された電荷の総量が、測定キャパシタの貯蔵容量を下回るかまたはそれに等しくなるように定義され得、しきい値704は、電荷貯蔵ユニット608の貯蔵容量に基づき得る。一般的に、しきい値704も、電荷貯蔵ユニット608に貯蔵された電荷の量が強度決定のために測定されたとき、測定キャパシタが飽和せず、測定された量が同じく入射光強度に関係することを保証するために、電荷貯蔵ユニット608のスケーリングされた貯蔵容量に基づくように設定される。以下で説明されるように、しきい値702および704は、フォトダイオード602および電荷貯蔵ユニット608が飽和したかどうかを検出するために使用され得、これは、出力されるべき入射光の強度範囲および測定結果を決定することができる。
さらに、入射光強度が高光強度範囲710内にある場合、電荷貯蔵ユニット608において蓄積された総オーバーフロー電荷は、積分期間が終了する前にしきい値704を超え得る。追加の電荷が蓄積されるにつれて、電荷貯蔵ユニット608は、積分期間の終了の前に全容量に達し得、電荷漏洩が発生し得る。電荷貯蔵ユニット608が全容量に達したことにより引き起こされる測定誤差を回避するために、電荷貯蔵ユニット608において蓄積された総オーバーフロー電荷がしきい値704に達するのにかかる持続時間を測定するために、飽和までの時間測定が実施され得る。電荷貯蔵ユニット608における電荷蓄積のレートは、しきい値704と飽和までの時間との間の比に基づいて決定され得、(キャパシタが無限の容量を有する場合に)積分期間の終了時に電荷貯蔵ユニット608において蓄積され得る電荷の仮定量(Q3)は、電荷蓄積のレートに従って外挿法によって決定され得る。電荷の仮定量(Q3)は、高光強度範囲710内の入射光強度の合理的に正確な表現を提供することができる。
再び図6を参照すると、転送ゲート606は、上記で説明されたように、異なる光強度範囲について、残留電荷キャパシタ603および電荷貯蔵ユニット608における電荷蓄積を制御するために測定制御信号612によって制御され得る。高光強度範囲710と中光強度範囲708とを測定するために、転送ゲート606は、部分的にオンにされた状態において動作するように制御され得る。たとえば、転送ゲート606のゲート電圧は、フォトダイオード602の電荷貯蔵容量に対応する、フォトダイオードにおいて生じた電圧に基づいて設定され得る。そのような仕組みにより、(高光強度範囲710について)飽和までの時間、および(中光強度範囲708について)電荷貯蔵ユニット608に貯蔵された電荷の量を測定するために、オーバーフロー電荷(たとえば、フォトダイオードが飽和した後にフォトダイオードによって生成された電荷)のみが、転送ゲート606を通って移って電荷貯蔵ユニット608に達する。その上、低光強度範囲706を測定するために、転送ゲート606は、フォトダイオード602に貯蔵された電荷の量を測定するために、フォトダイオード602に貯蔵された電荷を電荷貯蔵ユニット608に転送するように、完全にオンにされた状態において制御され得る。
電荷貯蔵ユニット608において蓄積された電荷は、バッファ609によって検知されて、アナログ出力ノード614におけるアナログ電圧の複製(ただし、より大きい駆動の強さをもつ)が生成され得る。アナログ出力ノード614におけるアナログ電圧は、ピクセルADC610によって(たとえば、論理1および0を備える)デジタルデータのセットに変換され得る。電荷貯蔵ユニット608において生じたアナログ電圧がサンプリングされ得、デジタル出力が、(たとえば、中光強度範囲708および高光強度範囲710について)積分期間の終了の前に、または(低光強度範囲706について)積分期間の後に生成され得る。デジタルデータは、積分期間中の光強度を表すために、たとえば、図5の制御回路要素510に、ピクセル出力バス616のセットによって送信され得る。
いくつかの例では、電荷貯蔵ユニット608のキャパシタンスは、低光強度範囲についての光強度決定の正確さを改善するように構成可能であり得る。たとえば、残留電荷キャパシタ603において貯蔵された残留電荷を測定するために電荷貯蔵ユニット608が使用されるとき、電荷貯蔵ユニット608のキャパシタンスは低減され得る。電荷貯蔵ユニット608のキャパシタンスの低減は、ある量の貯蔵された電荷についてより高い電圧を生じさせることができるように、電荷貯蔵ユニット608における電荷−電圧変換比を増加させることができる。より高い電荷−電圧変換比は、低光強度決定の正確さに対するピクセルADC610によって導入される測定誤差(たとえば、量子化誤差、比較器オフセットなど)の効果を低減することができる。測定誤差は、ピクセルADC610によって検出および/または弁別され得る最小電圧差に対する限界を設定することができる。電荷−電圧変換比を増加させることによって、最小電圧差に対応する電荷の量は低減され得、これは、ピクセルセル600による測定可能な光強度の下限を低減し、ダイナミックレンジを拡張する。一方、中光強度では、電荷貯蔵ユニット608のキャパシタンスは、電荷貯蔵ユニット608が、たとえば、しきい値704によって定義される量までの電荷の量を貯蔵するのに十分な容量を有することを保証するために、増加され得る。
図8は、ピクセルADC610の内部構成要素の一例を示す。図8に示されているように、ピクセルADC610は、しきい値生成器802と、比較器804と、デジタル出力生成器806とを含む。デジタル出力生成器806は、カウンタ808とメモリ810とをさらに含み得る。カウンタ808は、自走クロック信号812に基づいてカウント値のセットを生成することができ、メモリ810は、カウンタ808によって生成されたカウント値のうちの少なくともいくつか(たとえば、最新のカウント値)を記憶することができる。いくつかの実施形態では、メモリ810は、カウンタ808の一部であり得る。メモリ810は、たとえば、以下で説明されるように、ローカルピクセル値に基づいてカウンタ値を記憶するためのラッチ回路であり得る。しきい値生成器802は、デジタル値のセットを受け付け、デジタル値のセットを表す基準電圧(VREF)815を出力することができる、デジタルアナログ変換器(DAC)813を含む。以下でより詳細に説明されるように、しきい値生成器802は、静的デジタル値を受け付けて、固定しきい値を生成するか、またはカウンタ808の出力814を受け付けて、ランピングしきい値を生成し得る。
図8は、DAC813(およびしきい値生成器802)がピクセルADC610の一部であることを示しているが、DAC813(およびしきい値生成器802)は異なるピクセルセルからの複数のデジタル出力生成器806と結合され得ることを理解されたい。その上、カウンタ808など、デジタル出力生成器806の少なくとも一部は、デジタル値を生成するために複数のピクセルセルの間で共有され得る。
比較器804は、アナログ出力ノード614において生じたアナログ電圧をしきい値生成器802によって提供されたしきい値と比較し、比較結果に基づいて判定816を生成することができる。たとえば、比較器804は、アナログ出力ノード614におけるアナログ電圧がしきい値生成器802によって生成されたしきい値に等しいかまたはそのしきい値を超える場合、判定816について論理1を生成することができる。比較器804はまた、アナログ電圧がしきい値を下回る場合、判定816について論理0を生成することができる。判定816は、アナログ出力ノード614におけるランピングアナログ電圧の上述の飽和の時間(time−of−saturation)測定、ならびに入射光強度決定のためのアナログ出力ノード614におけるアナログ電圧の量子化処理を実施するために、カウンタ808のカウンティング動作および/またはメモリ810に記憶されたカウント値を制御することができる。
図9Aは、ピクセルADC610による飽和までの時間測定の一例を示す。飽和までの時間測定を実施するために、しきい値生成器802は、固定VREF815を生成するようにDAC813を制御することができる。固定VREF815は、電荷貯蔵ユニット608の飽和についての電荷量しきい値(たとえば、図7のしきい値704)に対応する電圧に設定され得る。カウンタ808は、積分期間が開始した直後に(たとえば、シャッタースイッチ604が無効化された直後に)カウントすることを開始することができる。アナログ出力ノード614におけるアナログ電圧がランプダウンする(または実装形態に応じてランプアップする)とき、クロック信号812は、カウンタ808におけるカウント値を更新するようにトグルし続ける。アナログ電圧は、ある時点において固定しきい値に達し得、これは、比較器804による判定816が反転することを引き起こす。判定816の反転はカウンタ808のカウンティングを停止し得、カウンタ808におけるカウント値は飽和までの時間を表し得る。飽和までの時間測定の分解能は、たとえば、カウンタ808がカウント値を更新する頻度に基づいて、定義され得る。以下でより詳細に説明されるように、持続時間に基づいて電荷貯蔵ユニット608における電荷蓄積のレートも決定され得、電荷蓄積のレートに基づいて入射光強度が決定され得る。
図9Bは、ピクセルADC610によってアナログ電圧を量子化することの一例を示す。測定が開始した後に、DAC813は、(図9Bの例において)ランプアップするかまたは実装形態に応じてランプダウンすることができるランピングVREF815を生成するように、カウンタ出力814によってプログラムされ得る。ランピングVREF815の電圧範囲は、しきい値704(電荷貯蔵ユニット608の飽和についての電荷量しきい値)としきい値702(フォトダイオード602の飽和についての電荷量しきい値)との間にあり得、これは、中光強度範囲を定義することができる。図9Bの例では、量子化プロセスは、VREF815がクロック信号812の各クロックサイクルについて同じ量だけ増加(または減少)する、一様量子化ステップで実施され得る。VREF815の増加(または減少)の量は量子化ステップに対応する。VREF815がアナログ出力ノード614におけるアナログ電圧の1つの量子化ステップ内に達したとき、比較器804による判定816が、負から正に反転する。判定816の反転は、カウンタ808のカウンティングを停止し得、カウント値は、1つの量子化ステップ内でアナログ電圧に一致するように蓄積された量子化ステップの総数に対応することができる。カウント値は、VREF815がアナログ電圧に達するのにかかった時間の測定値に対応し、電荷貯蔵ユニット608において貯蔵された電荷の量のデジタル表現、ならびに入射光強度のデジタル表現であり得る。上記で説明されたように、アナログ電圧の量子化は、(たとえば、中光強度範囲708について)積分期間中に、および(たとえば、低光強度範囲706について)積分期間の後に行われ得る。
上記で説明されたように、ADC610は、(たとえば、量子化ステップの総数によって表される)ADC610によって出力された量レベルによって表される電荷の量と、ADC610による量レベルにマッピングされる電荷の実際の入力量との間に不一致があるとき、量子化誤差を導入することがある。量子化誤差は、より小さい量子化ステップサイズを使用することによって低減され得る。図9Bの例では、量子化ステップサイズは、たとえば、(しきい値702としきい値704との間の)量子化動作の入力範囲902を低減すること、カウンタ808によって測定されるべき時間の対応する範囲を低減すること、クロック信号812のクロック周波数を増加させること、または、それらの任意の組合せに基づいて、クロックサイクルごとにVREF815の増加(または減少)の量だけ低減され得る。
量子化誤差は、より小さい量子化ステップサイズを使用することによって低減され得るが、エリアおよび実施速度は、量子化ステップがどの程度低減され得るかを限定し得る。たとえば、クロック信号812のクロック周波数が増加され、入力範囲902が同じままである場合、電荷量(および光強度)の特定の範囲を表すために必要とされる量子化ステップの総数は、増加し得る。増加された数の量子化ステップを表すためにより多数のデータビット(たとえば、255個のステップを表すために8ビット、127個のステップを表すために7ビットなど)が必要とされ得る。より多数のデータビットは、追加のバスがピクセル出力バス616に追加されることを必要とし得、これは、ピクセルセル600が、ヘッドマウントデバイスまたはごく限られたスペースをもつ他のウェアラブルデバイス上で使用される場合、実現可能でないことがある。その上、より多数の量子化ステップサイズの場合、ADC610は、(1つの量子化ステップと)一致する量レベルを見つける前により多数の量子化ステップを循環する必要があり得、これは、処理電力消費量および時間の増加、ならびに画像データを生成するレートの低減につながる。レートの低減は、高いフレームレートを必要とするいくつかのアプリケーション(たとえば、眼球の移動を追跡するアプリケーション)にとって許容できないことがある。
量子化誤差を低減するための1つのやり方は、量子化ステップが入力範囲にわたって一様でない非一様量子化方式を採用することによるものである。図10Aは、非一様量子化プロセスおよび一様量子化プロセスについてのADCコード(量子化プロセスの出力)と入力電荷量レベルとの間のマッピングの一例を示す。点線は、非一様量子化プロセスについてのマッピングを示し、実線は、一様量子化プロセスについてのマッピングを示す。一様量子化プロセスでは、(Δ1によって示される)量子化ステップサイズは、入力電荷量の範囲全体について同等である。対照的に、非一様量子化プロセスでは、量子化ステップサイズは、入力電荷量に応じて異なる。たとえば、(ΔSによって示される)低入力電荷量についての量子化ステップサイズは、(ΔLによって示される)大きい入力電荷量についての量子化ステップサイズよりも小さい。その上、同じ低入力電荷量について、非一様量子化プロセスについての量子化ステップサイズ(ΔS)は、一様量子化プロセスについての量子化ステップサイズ(Δ1)よりも小さくされ得る。
非一様量子化方式を採用することの1つの利点は、低入力電荷量を量子化するための量子化ステップが低減され得、これが、低入力電荷量を量子化する際の量子化誤差を低減し、ADC610によって弁別され得る最小入力電荷量が低減され得ることである。したがって、低減された量子化誤差は、画像センサーの測定可能な光強度の下限を押し下げることができ、ダイナミックレンジが増加され得る。その上、量子化誤差は高入力電荷量について増加されるが、量子化誤差は、高入力電荷量と比較して小さいままであり得る。したがって、電荷の測定に導入される全体的な量子化誤差は低減され得る。一方、入力電荷量の範囲全体をカバーする量子化ステップの総数は、同じ(さらには低減された)ままであり得、量子化ステップの数を増加させることに関連する上述の潜在的問題(たとえば、エリアの増加、処理速度の低減など)は、回避され得る。
図10Bは、非一様量子化プロセスを使用してピクセルADC610によってアナログ電圧を量子化することの一例を示す。(一様量子化プロセスを採用する)図9Bと比較して、VREF815は、最初により緩やかな傾きで、および後でより急な傾きで、各クロックサイクルに関して非線形様式で増加する。傾きの差は、不均一な量子化ステップサイズに起因する。(より低い入力量範囲に対応する)より低いカウンタカウント値では、量子化ステップはより小さくされ、したがって、VREF815は、より遅いレートで増加する。(より高い入力量範囲に対応する)より高いカウンタカウント値では、量子化ステップはより大きくされ、したがって、VREF815は、より高いレートで増加する。VREF815における不均一な量子化ステップは、異なる方式を使用して導入され得る。たとえば、上記で説明されたように、DAC813は、(カウンタ808からの)異なるカウンタカウント値について電圧を出力するように構成される。DAC813は、(量子化ステップサイズを定義する)2つの隣接するカウンタカウント値間の出力電圧の差が、異なるカウンタカウント値について異なるように構成され得る。別の例として、カウンタ808はまた、同じカウントステップだけ増加または減少する代わりに、カウンタカウント値の跳びを生成して、不均一な量子化ステップを生成するように構成され得る。いくつかの例では、図10Bの非一様量子化プロセスは、低光強度範囲706および中光強度範囲708についての光強度決定のために採用され得る。
次に図11を参照すると、図11は、ピクセルセル1100の一例を示し、ピクセルセル1100は、図6のピクセルセル600の一実施形態であり得る。図11の例では、PDがフォトダイオード602に対応することができ、トランジスタM0がシャッタースイッチ604に対応することができ、トランジスタM1が転送ゲート606に対応することができ、トランジスタM2がリセットスイッチ607に対応することができる。その上、COFキャパシタとCEXTキャパシタとの組合せが電荷貯蔵ユニット608に対応することができる。COFキャパシタは、フローティングドレインノードの寄生キャパシタであり得る。電荷貯蔵ユニット608のキャパシタンスは、信号LGによって構成可能である。LGが有効化されたとき、電荷貯蔵ユニット608は、COFキャパシタとCEXTキャパシタとの組み合わせられた容量を提供する。LGが無効化されたとき、CEXTキャパシタは、並列の組合せから切断され得、電荷貯蔵ユニット608は、COFキャパシタのみ(および他の寄生キャパシタンス)を備える。上記で説明されたように、電荷貯蔵ユニット608のキャパシタンスは、低光強度決定のための電荷−電圧変換比を増加させるために低減され得、中光強度決定のための必須の容量を提供するために増加され得る。
ピクセルセル1100は、バッファ609の一例と、ピクセルADC610の一例とをさらに含む。たとえば、トランジスタM3およびM4は、COFキャパシタにおいて(またはCOFキャパシタおよびCEXTキャパシタにおいて)貯蔵された電荷の量を表す、OFノードにおいて生じたアナログ電圧をバッファするための、図6のバッファ609であり得るソースフォロワを形成する。さらに、CCキャパシタ、比較器1102、トランジスタM5、NORゲート1116が、メモリ810とともに、OFノードにおけるアナログ電圧を表すデジタル出力を生成するためのピクセルADC610の一部であり得る。上記で説明されたように、量子化は、OFノードにおいて生じたアナログ電圧とVREFと間の、比較器1102によって生成された比較結果(VOUT)に基づき得る。ここで、CCキャパシタは、バッファ609の出力を追跡する(比較器1102の1つの入力における)VIN電圧を生成するように構成され、VIN電圧を比較器1102に提供して、VREFと比較する。VREFは、(高光強度範囲についての)飽和の時間測定のための静的電圧または(低光強度範囲および中光強度範囲についての)アナログ電圧の量子化のためのランピング電圧であり得る。ADCコードは自走カウンタ(たとえば、カウンタ808)によって生成され得、比較器1102によって生成された比較結果は、メモリ810に記憶され、入射光強度のデジタル表現として出力されるべき、ADCコードを決定することができる。いくつかの例では、低光強度決定および中光強度決定のためのVREFの生成は、図10Aおよび図10Bで説明されたように、非一様量子化方式に基づき得る。
ピクセルセル1100は、上記で開示された技法に加えて、入射光強度決定の正確さをさらに改善することができる技法を含む。たとえば、CCキャパシタとトランジスタM5との組合せは、比較器1102の正確さが改善され得るように、比較器1102によって導入される測定誤差(たとえば、比較器オフセット)、ならびに比較器1102に導入される他の誤差信号を補償するために使用され得る。雑音信号は、たとえば、リセットスイッチ607によって導入されるリセット雑音電荷、ソースフォロワしきい値不一致によるバッファ609の出力における雑音信号などを含み得る。比較器オフセットならびに誤差信号を反映する量の電荷が、トランジスタM2とトランジスタM5の両方が有効化されたとき、リセット段階中にCCキャパシタにおいて貯蔵され得る。貯蔵された電荷により、リセット段階中にCCキャパシタにわたる電圧差も生じ得る。測定段階中に、CCキャパシタにわたる電圧差は残っており、CCキャパシタは、VINを生成するために、電圧差を減算(または加算)することによってバッファ609の出力電圧を追跡することができる。その結果、VIN電圧は、測定誤差および誤差信号について補償され得、これは、VINとVREFとの間の比較と、その後の量子化との正確さを改善する。
加えて、ピクセルセル1100は、コントローラ1110をさらに含む。コントローラ1110は、図7の3つの光強度範囲(たとえば、低光強度範囲706、中光強度範囲708、および高光強度範囲710)に対応する3段階測定動作を実施するようにピクセルセル1100を動作させるために、シャッター、TX、RST1、RST2など、制御信号のシーケンスを生成することができる。各段階において、ピクセルセル1100は、対応する光強度範囲を対象とする測定モードにおいて動作され、比較器1102の判定出力(VOUT)に基づいて、入射光強度が、対応する光強度範囲内に入るかどうかを決定することができる。ピクセルセル1100は、段階のうちのいくつかの判定出力をFLAG_1信号およびFLAG_2信号として記憶するためのレジスタのセットをさらに含む。FLAG_1信号およびFLAG_2信号に基づいて、コントローラ1110は、入射光強度を表すために、3つの段階のうちの1つからADCコードを選択することができる。選択されたADCコードはメモリ810に記憶され得、メモリ810は、後続の測定段階がメモリ810中の選択されたADCコード出力を上書きするのを防ぐために、NORゲート1116によってFLAG_1信号とFLAG_2信号との組合せに基づいてロックされ得る。3段階測定プロセスの終了時に、コントローラ1110は、メモリ810に記憶されたADCコードを取り出し、そのADCコードを、入射光強度を表すデジタル出力として提供することができる。
次に図12を参照すると、図12は、時間に対する3段階測定動作についてのピクセルセル1100の制御信号のシーケンスを示す。図12を参照すると、T0’とT0との間の時間は第1のリセット段階に対応する。T0とT1との間の時間期間は、積分期間、および飽和までの時間測定モードに対応する。T1とT2との間の時間期間は、フローティングドレインに貯蔵されたオーバーフロー電荷の量を測定するための測定モードに対応する。オーバーフロー電荷の測定のための測定モードは、図12では「FD ADC」と標示されており、中光強度範囲708を測定するために使用され得る。さらに、T2とT3との間の時間期間は第2のリセット段階を含み、その後に、フローティングドレインへのフォトダイオード602に貯蔵された電荷の転送が続く。その上、T3とT4との間の時間期間は、フォトダイオードに貯蔵され、フローティングドレインに転送された電荷の量を測定するための測定モードに対応する。フォトダイオードに貯蔵された電荷を測定するための測定モードは、図12では「PD ADC」と標示されており、低光強度範囲706を測定するために使用され得る。ピクセルセル1100は、時間T4において入射光強度を表すデジタル出力を提供し、次いで、次の3段階測定動作を開始することができる。
図12に示されているように、T0の前に、RST1信号およびRST2信号と、LG信号と、シャッター信号とはアサートされるが、TX信号は電圧VLOWにおいてバイアスされる。VLOWは、(もしあれば)オーバーフロー電荷のみがフォトダイオードPDからトランジスタM1を介してCEXTキャパシタおよびCOFキャパシタに流れることを可能にするために、フォトダイオードPDの電荷容量に対応することができる。そのような仕組みにより、フォトダイオードPD、ならびにCEXTキャパシタおよびCOFキャパシタの両方が、リセットされ得る。その上、フォトダイオードPDによって生成された電荷はトランジスタM0によって迂回されるので、電荷はキャパシタに追加されない。フォトダイオードPD、ならびにOFノードにわたる電圧は、フォトダイオードPDとCEXTキャパシタとCOFキャパシタとが電荷を貯蔵しない状態を表すことができる、VRESETに等しい電圧に設定され得る。さらに、比較器1102もリセット段階にあり、CCキャパシタは、M2によって導入されたリセット雑音、比較器オフセット、バッファ609のしきい値不一致などを反映する、電荷を貯蔵することができる。さらに、VREFも、VRESETに等しい値に設定され得る。いくつかの例では、VRESETは、ピクセルセル1100への電源電圧(たとえば、VDD)に等しくなり得る。その上、カウンタ808はリセット状態にあり得る。
時間T0において、カウンタ808は、初期値(たとえば、0)からカウントすることを開始することができる。T0とT1との間の時間期間中に、シャッター信号はアサート解除されるが、LG信号はアサートされたままであり、TX信号はVLOWのままである。T0とT1との間の時間期間は積分期間であり得る。VREFは、CEXTキャパシタとCOFキャパシタの両方の容量がいっぱいであるときのOFノードの電圧に対応することができる、VFDSATに等しい値に設定され得る。VFDSATとVRESETとの間の差は、たとえば、図7のしきい値704に対応することができる。T0とT1との間の時間期間中に、飽和までの時間(TTS)測定が実施され得、この測定において、オーバーフロー電荷が、フォトダイオードPDからトランジスタM1を介してCOFキャパシタおよびCEXTキャパシタに流れて、OFノードにおいてランピング電圧を生じさせる。OFノードにおけるアナログ電圧(VIN)のバッファされ、誤差補償されたバージョンは、カウンタ808が自走している間、VFDSATと比較され得る。COFキャパシタおよびCEXTキャパシタにおいて貯蔵された総電荷が(OFノード電圧に基づく)しきい値704を超える場合、比較器1102の出力は反転することができ、これは、入射光が高強度範囲中にあり、TTS測定結果が、入射光の強度を表すために使用され得ることを指示する。したがって、反転の時間においてカウンタ808によって生成されたカウント値は、メモリ810に記憶され得る。比較器1102の出力の検査1202が時間T1において行われ得、比較器1102の反転はまた、コントローラ1110がレジスタ1112中のFLAG_1信号をアサートすることを引き起こす。非0FLAG_1信号値は、NORゲート1116の出力が、NORゲートへの他の入力にかかわらず低いままであることを引き起こすことができ、メモリをロックし、後続の測定段階がカウント値を上書きするのを防ぐことができる。一方、比較器1102がT1とT2との間の時間期間中に決して反転しない場合、これは、入射光強度が高光強度範囲よりも低いことを指示し、FLAG_1信号は0にとどまる。コントローラ1110は、時間期間T0〜T1の間にレジスタ1114に記憶されたFLAG_2値を更新せず、FLAG_2値は0のままであり得る。
時間T1において、カウンタ808は、その初期値(たとえば、0)からカウントすることを再開することができる。T1とT2との間の時間期間中に、FD ADC動作が実施され得、OFノードにおけるアナログ電圧は、CEXTキャパシタおよびCOFキャパシタに貯蔵されたオーバーフロー電荷の量を測定するために、ADC610によって量子化され得る。いくつかの例では、時間期間T1〜T2中に、フォトダイオードPDは、CEXTキャパシタおよびCOFキャパシタに貯蔵された総オーバーフロー電荷と、OFノードにおけるアナログ電圧とが一定のままであるように、(たとえば、機械的シャッター404によって)入射光から遮蔽され得る。(図12で「第1のランピングVREF」と標示された)第1のランピングしきい値電圧が、OFノードにおけるアナログ電圧(VIN)のバッファされ、誤差補償されたバージョンと比較されるように、比較器1102に供給され得る。いくつかの例では、第1のランピングVREFは、自走カウンタからのカウント値に基づいてDACによって生成され得る。ランピングVREFが(1つの量子化ステップ内で)VINに一致する場合、比較器1102の出力は反転することができ、(FLAG_1信号の0値によって指示されるように)測定の第1の段階によってメモリがロックされない場合、反転の時間においてカウンタ808によって生成されたカウント値は、メモリ810に記憶され得る。メモリがロックされる場合、カウント値はメモリ810に記憶されない。
いくつかの例では、図12に示されているように、第1のランピングVREFの電圧範囲は、VFDSATとVRESETとの間にあり得る。VFDSATは、(CEXTキャパシタおよびCOFキャパシタが飽和状態に近いときの)CEXTキャパシタおよびCOFキャパシタに貯蔵される総オーバーフロー電荷の上限を定義することができ、VRESETは、(オーバーフロー電荷がなく、したがって、OFノードの電圧がVRESETのままであるときの)キャパシタに貯蔵される総オーバーフロー電荷の下限を定義することができる。FD ADC段階における比較器1102の反転は、OFノード電圧がVRESETよりも低いことを指示することができ、これは、キャパシタに貯蔵された総オーバーフロー電荷が下限を超えることを意味し得る。したがって、FD ADC段階における比較器1102の反転は、フォトダイオードPDが飽和し、したがって、キャパシタに貯蔵されたオーバーフロー電荷があり、オーバーフロー電荷の量子化結果が入射光の強度を表すことができることを、指示することができる。比較器1102の出力の検査1204が、FD ADC段階の後に時間T2において行われ得、コントローラ1110は、比較器1102の反転に基づいてレジスタ1114中のFLAG_2信号をアサートして、メモリ810に記憶されたカウント値をロックすることができ、これは、後続の段階がメモリ810に別のカウント値を記憶するのを防ぐ。
T2とT3との間の時間期間の始まりにおいて、RST1信号とRST2信号の両方が第2のリセット段階のために再びアサートされ得る。第2のリセット段階の目的は、CEXTキャパシタとCOFキャパシタとをリセットすること、および(低光強度範囲についての)測定の第3の段階においてPDCAPキャパシタから転送された電荷を貯蔵するためにCOFキャパシタを準備することである。また、LG信号は、COFキャパシタからCEXTキャパシタを切断し、測定キャパシタのキャパシタンスを低減するために、アサート解除され得る。キャパシタンスの低減は、上記で説明されたように、電荷−電圧変換比を増加させて、低光強度決定を改善することになる。比較器1102もリセット状態に入れられ、ここで、CEXTキャパシタおよびCOFキャパシタをリセットすることによって生成された雑音電荷を貯蔵するためにCCキャパシタが使用され得る。時間T3に向かって、リセットが完了した後に、RST1信号とRST2信号とはアサート解除されるが、バイアスTXはVHIGHまで増加して、トランジスタM1を完全にオンにすることができる。フォトダイオードPDに貯蔵された電荷は、次いで、M1を介してCOFキャパシタに移動することができる。
時間T3において、カウンタ808は、その初期値(たとえば、0)からカウントすることを再開することができる。T3とT4との間の時間期間中に、PD ADC動作が、低光強度範囲について実施され得る。その期間中に、シャッター信号はアサートされるが、TX信号は、アサート解除される(たとえば、0への設定)かまたはVLOWに設定されて、COFキャパシタにおいて貯蔵された電荷がM1を介して漏洩するのを防ぐ。(図12で「第2のランピングVREF」と標示された)第2のランピングしきい値電圧が、OFノードにおけるアナログ電圧(VIN)のバッファされ、誤差補償されたバージョンと比較されるように、比較器1102に供給され得る。第2のランピングVREFは、フォトダイオードPDを飽和させる残留電荷の量をCOFキャパシタが貯蔵するときのCOFキャパシタにおける電圧を表すVPDSATと、VRESETとの間の電圧範囲を有することができる。第2のランピングVREFが(1つの量子化ステップ内で)VINに一致する場合、比較器1102の出力は反転し得、(FLAG_1信号の0値によって指示されるように)測定の第1の段階によってまたは(FLAG_2信号の0値によって指示されるように)測定の第2の段階によってメモリがロックされない場合、反転の時間においてカウンタ808によって生成されたカウント値は、メモリ810に記憶され得る。
図12は、入射光強度を測定するための3段階測定動作を示すが、それらの段階のうちの1つまたは複数が、たとえば、動作環境についての予想される入射光強度範囲に基づいて、スキップされることを理解されたい。たとえば、ピクセルセルが、低い周辺光を伴う環境において(たとえば、夜間において)動作する場合、高光強度を対象とする測定の第1の段階はスキップされ得る。その上、ピクセルセルが、中程度のまたは強い周辺光を伴う環境において(たとえば、昼間において)動作する場合、低光強度を対象とする測定の第3の段階はスキップされ得る。
図13Aは、ピクセルセル1100によって出力されるカウント値と入射光強度との間の関係の一例を示す。図13Aでは、x軸は、TTS動作についての強度範囲と、FD ADC動作についての強度範囲と、PD ADC動作についての強度範囲とを含む入射光強度の範囲を対数スケールで表し、y軸は、入射光強度の範囲について出力されるカウント値を線形スケールで表す。図13Aに示されているように、カウント値は、異なる強度範囲についての入射光強度に対して異なる関係を有することがある。たとえば、PD ADCにおいて、カウント値は、FD ADCよりも高いレートで入射光強度に対して変化する。これは、電荷−電圧変換利得を増加させるために、PD ADCにおいて、電荷貯蔵ユニット608の電荷貯蔵容量が低減されることによるものであり得る。その結果、PD ADCカウント値の所与の範囲が、FD ADCカウント値の同じ範囲よりも小さい強度範囲をカバーすることができ、PD ADCについての量子化分解能(quantization resolution)が改善され得る。その上、TTSにおいて、カウント値は、FD ADC(およびPD ADC)よりもさらに高いレートで入射光強度に対して変化する。これは、TTSが、FD ADC動作およびPD ADC動作の場合のような電荷の量ではなく、飽和までの時間を測定するということによるものであり得る。
図13Bは、図10Aおよび図10Bの非一様量子化方式が使用される、ピクセルセル1100によって出力されるカウント値と入射光強度との間の関係の別の例を示す。図13Bでは、x軸は、たとえば、FD ADC動作についての強度範囲を含む入射光強度の範囲を線形スケールで表し、y軸は、入射光強度の範囲について出力されるカウント値を線形スケールで表す。図13Bに示されているように、カウント値は、非一様量子化方式により、入射光強度に線形的に関係付けられない。強度範囲の下端に向かって、入射光強度に対するカウント値の変化レートは、より小さい量子化ステップにより、より高くなり得る。その上、強度範囲の上端に向かって、入射光強度に対するカウント値の変化レートは、より大きい量子化ステップにより、より低くなり得る。
カウント値と光強度との間の変動する関係は、カウント値を使用して入射光強度を決定するアプリケーションにとって、問題を提起することがある。アプリケーションは、一般に、カウント値のみを受け取り、どの(1つまたは複数の)動作モードがカウント値を生成するか、量子化分解能など、画像センサーの動作の他の情報を有しない。アプリケーションは、カウント値が、ダイナミックレンジ全体にわたって、光強度に対して一様な関係を有するという予想に基づいて、カウント値に基づいて動作し得る。その上、SLAMなど、画像特徴抽出に依拠するいくつかのアプリケーションは、隣接ピクセルのカウント値間の差を決定するために、およびその差に基づいて画像特徴を抽出するために、カウント値が、図13Cに示されている関係など、光強度に対して一様な関係を有することを必要とし得る。そのようなアプリケーションは、追加の後処理なしに、上述のマルチモード測定動作から出力されたカウント値で適切に機能することが可能でないことがある。
図14は、入射光強度に対して一様な関係を有する画像センサー出力を提供することができる、例示的なシステム1400を示す。図14に示されているように、システム1400は、ピクセルセル600と後処理モジュール1402とを含む。ピクセルセル600は入射光1401を受け取り、入射光1401の異なる強度を表すための生出力1404および1406(たとえば、カウント値)を生成することができる。生出力1404および1406は、それらの生出力によって表される光強度に対して異なる関係を有し得る。たとえば、生出力1404はTTS動作から生成され得るが、生出力1406は、FD ADC動作またはPD ADC動作から生成され得る。
後処理モジュール1402は、生出力1404および1406に対して後処理動作を実施して、それぞれ、後処理された出力1404および1406を生成することができ、それらの後処理された出力は、図13Cに示されている関係など、後処理された出力によって表される光強度に対して同じ関係を有する。いくつかの例では、後処理モジュール1402は、後処理動作を実施するためのソフトウェア命令を実行するためのハードウェアプロセッサ(たとえば、汎用中央処理ユニット、デジタル信号プロセッサなど)を含むことができる。いくつかの例では、後処理モジュール1402は、後処理を実施するための論理回路を含むことができる、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)などを含むことができる。
さらに、図14に示されているように、ピクセルセル600と後処理モジュール1402の両方がプログラミングデータ1430を受け取ることができる。プログラミングデータ1430は、アナログデジタル変換利得(ADC利得)、積分期間など、ピクセルセル600における生出力の生成の様々な態様を構成することができる。ADC利得は、カウント値と(電荷貯蔵ユニット608に貯蔵された電荷の量を表す)OF電圧との間の関係を定義することができ、積分期間は、フォトダイオードによって生成され、電荷貯蔵ユニットに貯蔵された電荷の量と、光強度との間の関係を定義することができる。プログラミングデータ1430に基づいて、後処理モジュール1402はまた、後処理動作を実施するために、生出力と光強度との間の関係を決定することができる。
再び図13Cを参照すると、入射光強度と、積分期間内に入射光に応答してフォトダイオードPDによって生成される電荷の量との間に、一様な関係が存在し得る。したがって、生出力からの後処理された出力を決定するために、後処理モジュール1402は、FD ADC動作およびPD ADC動作について、積分期間内にフォトダイオードPDによって生成された電荷の量を推定することができる。TTS動作について、生出力が飽和までの時間を測定し、電荷貯蔵ユニット608が、積分期間が終了する前に、電荷を蓄積することを停止し得るとすれば、後処理モジュール1402は、積分期間内にフォトダイオードPDによって生成されたであろう電荷の量をも推定することができる。後処理モジュール1402は、次いで、電荷の量に基づいて、後処理された出力を決定することができる。後処理モジュール1402はまた、後処理された出力と光強度との間の関係の一様性をさらに改善するために、フォトダイオードPDにおけるおよびフローティングドレインノードにおける暗電流によって生成された暗電荷など、他の雑音電荷を加算または減算するように電荷の量を調整することができる。
図15A、図15B、および図15Cは、後処理モジュール1402における後処理動作のための基礎として役立つことができる、異なる測定動作における、電荷と時間との間の例示的な関係を示す。図15Aは、PD ADC測定動作についての例示的な関係を示す。図15Aに示されているように、積分期間内に、フォトダイオードPDは、蓄積された残留電荷の量がフォトダイオードフルウェル容量FWPDに等しいとき、フォトダイオードPDが飽和する前に、ある量の残留電荷QPDを蓄積することができる。QPDの一部は、入射光に応答してフォトダイオードPDによって生成され、入射光の強度に線形的に関係付けられる、QPD_light_PDADCである。残りは、以下のように、積分期間Tint内の、フォトダイオードPDにおける暗電流DCPDの積分からの暗電荷QDark_PDADCである。
QPD_light_PDADC=QPD−QDark_PDADC=QPD−DCPD×Tint (式1)
QPD_light_PDADC=QPD−QDark_PDADC=QPD−DCPD×Tint (式1)
上記で説明されたように、PD ADC動作中に、残留電荷QPDは、電圧を生じさせるために電荷貯蔵ユニット608に転送され、その電圧は、量子化器(たとえば、比較器1102、カウンタ808、およびメモリ810)によってカウント値Dout_PDに量子化され得る。VRESETと、Dout_PDによって表される電圧との間の電圧差は、QPDの(ADC利得Gを伴う)量子化表現を表すことができる。式1は、以下のように書き直され得る。
上記の式2では、VRESET_Qは、アナログリセット電圧VRESETの量子化バージョンを表す。CHGは、電荷を量子化値に変換するための、単位e−/LSBでの、高利得モードにおける変換係数を表し、PD ADC測定について高利得モードにおける電荷貯蔵ユニット608のキャパシタンスに基づく。Dout_PDの後処理された出力Dout_PD_postは、以下のように、ADC利得Gの量子化器を用いて、高利得モードにおいてQPD_light_PDADCを電荷貯蔵ユニット608に貯蔵することで生じた電圧を量子化した結果を表すことができる。
ピクセルセル600からのカウント値がPD ADC動作からのものであるという指示に基づいて(たとえば、カウント値が、PD ADCに関連付けられたカウント値の範囲内にあることに基づいて、またはピクセルセル600からの他の信号に基づいて)、ポストプロセッサ1402は、式3を使用して、生出力Dout_PDからの後処理された出力Dout_PD_postを計算することができる。ポストプロセッサ1402はまた、プログラミングデータ1430から、ADC利得G、積分期間Tint、量子化リセット電圧VRESET−Q、暗電流、フォトダイオードのフルウェル容量などを取得することができる。
図15Bは、FD ADC測定動作についての、電荷と時間との間の例示的な関係を示す。図15Bに示されているように、積分期間内に、フォトダイオードPDは、フォトダイオードPDが飽和するとき、(e−の単位の)フォトダイオードフルウェル容量FWPDに等しい量の残留電荷を蓄積することができる。飽和点を超えると、積分期間が終了するまで、オーバーフロー電荷Qovが電荷貯蔵ユニット608において蓄積することができる。積分期間内に光に応答してフォトダイオードPDによって生成された総電荷QPD_light_FDADCは、以下のように、FWPDとQOVとの和であり、ただし、積分期間Tint内の、フォトダイオードPDにおける暗電流DCPDの積分とフローティングドレインノードにおける暗電流DCFDの積分とからの暗電荷QDark_FDADCによってオフセットされ得る。
QPD_light_FDADC=Qov+FWPD−QDark_FDADC
=Qov+FWPD−(DCPD+DCFD)×Tint (式4)
QPD_light_FDADC=Qov+FWPD−QDark_FDADC
=Qov+FWPD−(DCPD+DCFD)×Tint (式4)
上記で説明されたように、FD ADC動作中に、オーバーフロー電荷QFDは、電圧を生じさせるために電荷貯蔵ユニット608において蓄積され、その電圧は、量子化器(たとえば、比較器1102、カウンタ808、およびメモリ810)によってカウント値Dout_FDに量子化され得る。VRESETと、Dout_FDによって表される電圧との間の電圧差は、QFDの(ADC利得Gを伴う)量子化表現を表すことができる。式4は、以下のように書き直され得る。
上記の式5では、CLGは、e−/LSB単位での、低利得モードにおける、変換係数を表し、低利得モードにおける、電荷貯蔵ユニット608のキャパシタンスに基づき、ここで、電荷貯蔵ユニット608のキャパシタンスはPD ADCに関して増加する。Dout_FDの後処理された出力Dout_FD_postは、以下のように、ADC利得Gの量子化器を用いて、(PD ADCと同じスケールを有すべき)CHGでQPD_light_PDADCを貯蔵することで生じた電圧を量子化した結果を表すことができる。
ピクセルセル600からのカウント値がFD ADC動作からのものであるという指示に基づいて(たとえば、カウント値が、FD ADCに関連付けられたカウント値の範囲内にあることに基づいて、またはピクセルセル600からの他の信号に基づいて)、ポストプロセッサ1402は、式6を使用して、生出力Dout_FDからの後処理された出力Dout_FD_postを計算することができる。ポストプロセッサ1402はまた、プログラミングデータ1430から、ADC利得G、積分期間Tint、量子化リセット電圧VRESET−Q、暗電流、フォトダイオードのフルウェル容量などを取得することができる。
図15Cは、TTS測定動作についての、電荷と時間との間の例示的な関係を示す。図15Cに示されているように、積分期間が終了する前に、オーバーフロー電荷は(積分期間の開始に対する)時間Tsにおいて飽和し得る。積分期間が開始したときから時間Tsまでにフォトダイオードによって生成された電荷の総量は、FWPD(フォトダイオードPDのフルウェル容量)と、Qov_saturate、すなわち、(VRESET−VFDSAT)×CLGによって与えられ得る、低利得モードにおいて電荷貯蔵デバイス608を飽和させるオーバーフロー電荷の量との和に等しい。時間Tsは、カウンタ808によって測定および量子化されて、カウント値Dout_TTSを生成することができる。積分期間の終了は、カウント値DOUT_MAXによって表され得る。(PD ADCについて)式3の場合および(FD ADCについて)式6の場合と同じ、電荷と光強度との間の一様な関係を作り出すために、後処理モジュール1402は、以下の式に基づいて、TTS動作について、積分期間内に高利得モードにおいて電荷貯蔵デバイス608において貯蔵されたであろう電荷の量QTTS_extrapolateを外挿することができる。
外挿された電荷QTTS_extrapolateは、以下のように、QDark−TTSによってオフセットされてQPD−TTSを取得することができ、これは、入射光に応答してフォトダイオードによって生成された電荷の一部に対応する。
QPD_light_TTS=QTTS_extrapolate−QDark−TTS (式9)
QPD_light_TTS=QTTS_extrapolate−QDark−TTS (式9)
Dout_TTSの後処理された出力Dout_TTS_postは、以下のように、ADC利得Gの量子化器を用いて、(PD ADCおよびFD ADCと同じスケールを有すべき)CHGでQPD−lightを貯蔵することで生じた電圧を量子化した結果を表すことができる。
ピクセルセル600からのカウント値がTTS動作からのものであるという指示に基づいて(たとえば、カウント値が、TTSに関連付けられたカウント値の範囲内にあることに基づいて、またはピクセルセル600からの他の信号に基づいて)、ポストプロセッサ1402は、式12を使用して、生出力Dout_TTSからの後処理された出力Dout_TTS_postを計算することができる。ポストプロセッサ1402はまた、プログラミングデータ1430から、ADC利得G、積分期間Tint、低利得モードにおける電荷貯蔵ユニット608の(電荷に換算した)電荷貯蔵容量、暗電流、フォトダイオードのフルウェル容量などを取得することができる。
上式中の、フォトダイオードPDのフルウェル容量、暗電流、ADC利得、変換利得などのパラメータは、較正プロセスにおいて測定され得る。また、これらのパラメータのうちのいくつかは、(暗電流に影響を及ぼすことがある)温度など、異なる環境条件について測定され得る。次いで、後処理された出力と異なる光強度との間の関係の一様性をさらに改善するために、特定の温度に対応するパラメータのセットが、その特定の温度において取得されたカウント値の後処理動作を実施するために後処理モジュール1402に提供され得る。
いくつかのシナリオでは、生出力を後処理された出力にマッピングすることについての、式3、6、および12などの閉形式式が存在しない。1つの例示的なシナリオは、非一様量子化が使用されるときである。そのような場合、後処理動作を実施するために、1つまたは複数のルックアップテーブルが後処理モジュール1402において実装され得る。図16Aおよび図16Bは、後処理モジュール1402の一部であり得るルックアップテーブルの例を示す。図16Aに示されているように、ルックアップテーブル1602は、カウント値(たとえば、0000、0001、0002など)のセットを、後処理された出力として提供されるべき強度値のセットにマッピングすることができる。カウント値は、非一様量子化方式から生成され得、したがって、より低い値がより細かい量子化ステップを表し、より高い値がより粗い量子化ステップを表し、これは、対応する強度値間の間隔によって反映される。
いくつかの例では、図16Bに示されているように、後処理モジュール1402は、ルックアップテーブル1610、1612、および1614など、複数のルックアップテーブルを含み得る。各ルックアップテーブルは、特定の測定モード(たとえば、TTS、PD ADC、FD ADC)、特定の環境条件(たとえば、温度)についてのものであり得、それらの各々が、生入力と後処理された出力との間の異なるマッピングを必要とし得る。後処理モジュール1402は、ルーティング論理1616と出力論理1620とをさらに含む。ルーティング論理1616は、ピクセルセル600からの生出力1624、ならびにプログラミングデータ1430を受け取り、ルックアップテーブル1610、1612、または1614のうちのどれに生出力1624をルーティングすべきかを決定することができる。その決定は、たとえば、生出力1624が、TTS動作、PD ADC動作、またはFD ADC動作からのものであるという指示(たとえば、生出力が、TTS、PD ADC、またはFD ADCに関連付けられたカウント値の範囲内にあることに基づく、あるいはピクセルセル600からの他の信号に基づく)、(たとえば、プログラミングデータ1430からの)環境条件などに基づき得る。ルーティング論理1616はまた、生出力1624を後処理するためにどのルックアップテーブルが選択されるかに関する指示を、出力論理1620に送信することができる。その指示に基づいて、出力論理1620は、選択されたルックアップテーブルからの出力を、後処理された出力1630としてフォワーディングすることができる。
図17は、光強度を測定する例示的な方法1700のフローチャートを示す。方法1700は、たとえば、画像センサー(たとえば、ピクセルセル600)と後処理モジュール1402とを含むシステム1400によって実施され得る。
ステップ1702において、画像センサーは、第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を生成することができる。第1の関係は、TTS動作についての強度範囲など、第1の強度範囲に関連付けられ得、ここで、第1の生出力は、ピクセルセル600の電荷貯蔵ユニット608の飽和の時間を測定することができる。
ステップ1704において、画像センサーは、第2の関係に基づいて、入射光の第2の強度を表すための第2の生出力を生成することができる。第2の関係は、第1の強度範囲とは異なる第2の強度範囲に関連付けられ得る。たとえば、第2の強度範囲は、FD ADC動作についてのまたはPD ADC動作についての強度範囲であり得る。FD ADC動作の場合、第2の生出力は、電荷貯蔵ユニット608が(たとえば、増加されたキャパシタンスを有する)低利得モードにおいて動作するとき、フォトダイオードが飽和した後に電荷貯蔵ユニット608に貯蔵されたオーバーフロー電荷の量を測定することができる。PD ADC動作の場合、第2の生出力は、(たとえば、低減されたキャパシタンスを有する)高利得モードにおいてフォトダイオードから電荷貯蔵ユニット608に転送された残留電荷の量を測定することができる。
ステップ1706において、ポストプロセッサは、第1の生出力に基づいておよび第1の関係に基づいて、第1の後処理された出力を生成することができ、したがって、第1の後処理された出力は、第3の関係に基づいて第1の強度に線形的に関係付けられる。第3の関係は、図13Cに示されている関係など、光強度に対する、フォトダイオードによって生成された電荷の量の推定値など、カウント値と光強度との間の線形および一様な関係であり得る。第1の後処理された出力は、TTS動作について図15Cおよび式12において説明されるように、第1の関係と第3の関係との間のマッピングに基づいて決定され得る。
ステップ1708において、ポストプロセッサは、第2の生出力に基づいておよび第2の関係に基づいて、第2の後処理された出力を生成することができ、したがって、第2の後処理された出力は、第3の関係に基づいて第2の強度に線形的に関係付けられる。第2の後処理された出力は、PD ADC動作について図15Aおよび式3において説明されるように、またはFD ADC動作について図15Bおよび式6において説明されるように、第1の関係と第3の関係との間のマッピングに基づいて決定され得る。
本開示の実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。
本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および/またはハードウェアにおいて具現され得る。
説明されるステップ、動作、またはプロセスは、1つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。
本開示の実施形態はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および/あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または、コンピュータシステムバスに結合され得る、電子命令を記憶するのに好適な任意のタイプのメディアに記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または、増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。
本開示の実施形態はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の実施形態を含み得る。
本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。
Claims (20)
- 第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を生成することと、
第2の関係に基づいて、入射光の第2の強度を表すための第2の生出力を生成することと
を行うように構成された画像センサーと、
前記第1の生出力に基づいておよび前記第1の関係に基づいて、第1の後処理された出力を生成することであって、したがって、前記第1の後処理された出力が、第3の関係に基づいて前記第1の強度に線形的に関係付けられる、第1の後処理された出力を生成することと、
前記第2の生出力に基づいておよび前記第2の関係に基づいて、第2の後処理された出力を生成することであって、したがって、前記第2の後処理された出力が、前記第3の関係に基づいて前記第2の強度に線形的に関係付けられる、第2の後処理された出力を生成することと
を行うように構成されたポストプロセッサと
を備える、装置。 - 前記第1の生出力と前記第1の強度との間の前記第1の関係が、第1の強度範囲に関連付けられ、
前記第2の生出力と前記第2の強度との間の前記第2の関係が、第2の強度範囲に関連付けられ、
前記第3の関係が、前記第1の強度範囲と前記第2の強度範囲とを含む第3の強度範囲に関連付けられる、
請求項1に記載の装置。 - 前記画像センサーは、
フォトダイオードであって、
積分期間内に、入射光に応答して電荷を生成することと、
前記フォトダイオードが飽和するまで、前記電荷の少なくとも一部を残留電荷として蓄積することと
を行うように構成された、フォトダイオードと、
電荷貯蔵ユニットであって、前記電荷貯蔵ユニットが飽和するまで、残りの電荷をオーバーフロー電荷として蓄積するように構成された、電荷貯蔵ユニットと
を備える、請求項2に記載の装置。 - 前記第3の関係が、前記積分期間内に前記フォトダイオードによって生成された電荷の推定された量に、後処理された出力を線形的に関係付ける、請求項3に記載の装置。
- 前記第1の生出力は、前記積分期間が終了する前に前記電荷貯蔵ユニットが飽和する飽和時間を測定し、
前記第2の生出力が、前記積分期間内に前記電荷貯蔵ユニットによって蓄積された前記オーバーフロー電荷の量を測定する、
請求項4に記載の装置。 - 前記ポストプロセッサが、
前記飽和時間に基づいて、前記電荷貯蔵ユニットによる前記オーバーフロー電荷の蓄積のレートを決定することと、
前記オーバーフロー電荷の蓄積の前記レートと前記積分期間とに基づいて、前記積分期間内に前記フォトダイオードによって生成された電荷の前記推定された量を決定することと、
電荷の前記推定された量に基づいて前記第1の後処理された出力を決定することと
を行うように構成された、請求項5に記載の装置。 - 前記ポストプロセッサが、前記積分期間内に前記電荷貯蔵ユニットによって受け取られた暗電流の第1の量と前記フォトダイオードによって受け取られた暗電流の第2の量とに基づいて、電荷の前記推定された量を決定するように構成された、請求項6に記載の装置。
- 前記ポストプロセッサが、前記電荷貯蔵ユニットの第1の電荷貯蔵容量と前記フォトダイオードの第2の電荷貯蔵容量とに基づいて、前記オーバーフロー電荷の蓄積の前記レートを決定するように構成された、請求項6に記載の装置。
- 前記ポストプロセッサが、
前記第2の生出力と前記フォトダイオードの電荷貯蔵容量とに基づいて、電荷の前記推定された量を決定することと、
電荷の前記推定された量に基づいて前記第2の後処理された出力を決定することと
を行うように構成された、請求項4に記載の装置。 - 前記ポストプロセッサが、前記積分期間内に前記電荷貯蔵ユニットによって受け取られた暗電流の第1の量と前記フォトダイオードによって受け取られた暗電流の第2の量とに基づいて、電荷の前記推定された量を決定するように構成された、請求項9に記載の装置。
- 前記第1の生出力が、前記積分期間内に前記電荷貯蔵ユニットによって蓄積された前記オーバーフロー電荷の量を測定し、
前記第2の生出力が、前記積分期間内に前記フォトダイオードによって蓄積された前記残留電荷の量を測定する、
請求項3に記載の装置。 - 前記画像センサーが、入射光の第3の強度を表すための第3の生出力を生成するように構成され、前記第3の生出力は、前記電荷貯蔵ユニットが飽和する飽和時間を測定し、第4の関係に基づいて前記入射光の前記第3の強度に関係付けられ、
前記ポストプロセッサが、前記第3の生出力に基づいておよび前記第4の関係に基づいて、第3の後処理された出力を生成することであって、したがって、前記第3の後処理された出力が、前記第3の関係に基づいて前記第3の強度に線形的に関係付けられる、第3の後処理された出力を生成することを行うように構成された、
請求項11に記載の装置。 - 前記電荷貯蔵ユニットが、構成可能な電荷貯蔵容量を有し、
前記画像センサーが、前記第1の生出力を生成するために、第1の電荷貯蔵容量を有する前記電荷貯蔵ユニットにおいて前記オーバーフロー電荷を貯蔵するように構成され、
前記画像センサーが、前記第2の生出力を生成するために、前記フォトダイオードから、第2の電荷貯蔵容量を有する前記電荷貯蔵ユニットに前記残留電荷を転送するように構成され、
前記第1の後処理された出力が、前記第1の電荷貯蔵容量と前記第2の電荷貯蔵容量とに基づいて生成される、
請求項11に記載の装置。 - 前記第1の後処理された出力が、前記積分期間内に前記電荷貯蔵ユニットによって受け取られた暗電流の第1の量と前記フォトダイオードによって受け取られた暗電流の第2の量とに基づいて生成され、
前記第2の後処理された出力が、前記積分期間内に前記フォトダイオードによって受け取られた暗電流の前記第2の量に基づいて生成される、
請求項13に記載の装置。 - 前記ポストプロセッサが、前記第1の生出力を前記第1の後処理された出力にマッピングし、前記第2の生出力を前記第2の後処理された出力にマッピングする、1つまたは複数のルックアップテーブルを備え、
前記ポストプロセッサが、前記1つまたは複数のルックアップテーブルに基づいて前記第1の後処理された出力と前記第2の後処理された出力とを生成するように構成された、
請求項1に記載の装置。 - 前記1つまたは複数のルックアップテーブルが、前記第1の生出力を前記第1の後処理された出力にマッピングする第1のルックアップテーブルと、前記第2の生出力を前記第2の後処理された出力にマッピングする第2のルックアップテーブルとを含み、
前記ポストプロセッサが、前記第1の強度に基づいて前記第1のルックアップテーブルを選択し、前記第2の強度に基づいて前記第2のルックアップテーブルを選択するように構成された、
請求項15に記載の装置。 - 前記第1の生出力および前記第2の生出力が、非一様量子化プロセスに基づいて生成される、請求項16に記載の装置。
- 画像センサーによって、第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を生成することと、
前記画像センサーによって、第2の関係に基づいて、前記入射光の第2の強度を表すための第2の生出力を生成することと、
ポストプロセッサによって、前記第1の生出力に基づいておよび前記第1の関係に基づいて、第1の後処理された出力を生成することであって、したがって、前記第1の後処理された出力が、第3の関係に基づいて前記第1の強度に線形的に関係付けられる、第1の後処理された出力を生成することと、
前記ポストプロセッサによって、前記第2の生出力に基づいておよび前記第2の関係に基づいて、第2の後処理された出力を生成することであって、したがって、前記第2の後処理された出力が、前記第3の関係に基づいて前記第2の強度に線形的に関係付けられる、第2の後処理された出力を生成することと
を含む、方法。 - 前記画像センサーによって、入射光の第3の強度を表すための第3の生出力を生成することであって、前記第3の生出力は、前記画像センサーの電荷貯蔵ユニットが飽和する飽和時間を測定し、第4の関係に基づいて前記入射光の前記第3の強度に関係付けられる、第3の生出力を生成することと、
前記ポストプロセッサによって、前記第3の生出力に基づいておよび前記第4の関係に基づいて、第3の後処理された出力を生成することであって、したがって、前記第3の後処理された出力が、前記第3の関係に基づいて前記第3の強度に線形的に関係付けられる、第3の後処理された出力を生成することと
をさらに含む、請求項18に記載の方法。 - 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、ハードウェアプロセッサによって実行されたとき、前記ハードウェアプロセッサに、
画像センサーから、第1の関係に基づいて、入射光の第1の強度を表すための第1の生出力を受け取ることと、
前記画像センサーから、第2の関係に基づいて、前記入射光の第2の強度を表すための第2の生出力を受け取ることと、
前記第1の生出力に基づいておよび前記第1の関係に基づいて、第1の後処理された出力を生成することであって、したがって、前記第1の後処理された出力が、第3の関係に基づいて前記第1の強度に線形的に関係付けられる、第1の後処理された出力を生成することと、
前記第2の生出力に基づいておよび前記第2の関係に基づいて、第2の後処理された出力を生成することであって、したがって、前記第2の後処理された出力が、前記第3の関係に基づいて前記第2の強度に線形的に関係付けられる、第2の後処理された出力を生成することと
を行わせる、非一時的コンピュータ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862682627P | 2018-06-08 | 2018-06-08 | |
US62/682,627 | 2018-06-08 | ||
US16/432,072 | 2019-06-05 | ||
US16/432,072 US11363221B2 (en) | 2018-06-08 | 2019-06-05 | Image sensor post processing |
PCT/US2019/035783 WO2019236839A1 (en) | 2018-06-08 | 2019-06-06 | Image sensor post processing |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021526323A true JP2021526323A (ja) | 2021-09-30 |
Family
ID=68764386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020561072A Pending JP2021526323A (ja) | 2018-06-08 | 2019-06-06 | 画像センサー後処理 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11363221B2 (ja) |
EP (1) | EP3804293A1 (ja) |
JP (1) | JP2021526323A (ja) |
KR (1) | KR20210018349A (ja) |
CN (1) | CN112262565B (ja) |
TW (1) | TWI793334B (ja) |
WO (1) | WO2019236839A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7072362B2 (ja) * | 2017-09-26 | 2022-05-20 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
EP3540774B1 (en) * | 2018-03-16 | 2020-09-30 | Teledyne Dalsa B.V. | Image sensor and imaging system comprising the same |
TWI698010B (zh) * | 2018-08-09 | 2020-07-01 | 大陸商廈門星宸科技有限公司 | 用以控制影像擷取裝置的電路及相關的控制方法 |
KR20210059469A (ko) * | 2019-11-15 | 2021-05-25 | 삼성전자주식회사 | 픽셀 어레이 및 이를 포함하는 이미지 센서 |
US11343448B2 (en) * | 2020-05-05 | 2022-05-24 | Pixart Imaging Incorporation | Method of operating an HDR pixel circuit achieving high precision |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004363666A (ja) * | 2003-06-02 | 2004-12-24 | Shoji Kawahito | 広ダイナミックレンジイメージセンサ |
WO2017018215A1 (ja) * | 2015-07-27 | 2017-02-02 | ソニー株式会社 | 固体撮像装置およびその制御方法、並びに電子機器 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7319486B2 (en) * | 2001-09-13 | 2008-01-15 | Honda Giken Kogyo K.K. | High-speed event imaging device |
JPWO2006098374A1 (ja) * | 2005-03-15 | 2008-08-28 | オムロン株式会社 | 撮像装置、信号処理装置及び信号処理方法 |
US7326903B2 (en) | 2006-06-29 | 2008-02-05 | Noble Peak Vision Corp. | Mixed analog and digital pixel for high dynamic range readout |
US8026966B2 (en) | 2006-08-29 | 2011-09-27 | Micron Technology, Inc. | Method, apparatus and system providing a storage gate pixel with high dynamic range |
JP5135953B2 (ja) * | 2007-08-28 | 2013-02-06 | コニカミノルタアドバンストレイヤー株式会社 | 画像処理装置、画像処理方法、及び撮像装置 |
US8130298B2 (en) * | 2008-02-07 | 2012-03-06 | International Business Machines Corporation | Wide dynamic range image sensor utilizing switch current source at pre-determined switch voltage per pixel |
JP2010093753A (ja) * | 2008-10-10 | 2010-04-22 | Sony Corp | 固体撮像素子及び信号処理システム |
US8698922B2 (en) * | 2012-02-14 | 2014-04-15 | Omni Vision Technologies, Inc. | Black level correction for imaging pixels |
US11297258B2 (en) | 2015-10-01 | 2022-04-05 | Qualcomm Incorporated | High dynamic range solid state image sensor and camera system |
US9948875B2 (en) | 2015-10-01 | 2018-04-17 | Semiconductor Components Industries, Llc | High dynamic range imaging pixels with improved readout |
US9871965B2 (en) | 2016-02-03 | 2018-01-16 | Texas Instruments Incorporated | Image processing for wide dynamic range (WDR) sensor data |
CN108605105B (zh) * | 2016-02-15 | 2021-01-12 | 松下半导体解决方案株式会社 | 固体摄像装置以及摄像装置 |
US9838628B2 (en) * | 2016-03-16 | 2017-12-05 | Sony Corporation | Detecting quantities beyond sensor saturation |
JP2018152696A (ja) * | 2017-03-13 | 2018-09-27 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、その駆動方法および電子機器 |
JP7100439B2 (ja) * | 2017-10-20 | 2022-07-13 | ブリルニクス シンガポール プライベート リミテッド | 固体撮像装置、固体撮像装置の駆動方法、および電子機器 |
US10923523B2 (en) * | 2018-04-16 | 2021-02-16 | Facebook Technologies, Llc | Multi-photodiode pixel cell |
-
2019
- 2019-06-05 US US16/432,072 patent/US11363221B2/en active Active
- 2019-06-06 EP EP19734540.8A patent/EP3804293A1/en not_active Withdrawn
- 2019-06-06 JP JP2020561072A patent/JP2021526323A/ja active Pending
- 2019-06-06 CN CN201980038967.XA patent/CN112262565B/zh active Active
- 2019-06-06 KR KR1020207038037A patent/KR20210018349A/ko not_active Application Discontinuation
- 2019-06-06 WO PCT/US2019/035783 patent/WO2019236839A1/en unknown
- 2019-06-06 TW TW108119746A patent/TWI793334B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004363666A (ja) * | 2003-06-02 | 2004-12-24 | Shoji Kawahito | 広ダイナミックレンジイメージセンサ |
WO2017018215A1 (ja) * | 2015-07-27 | 2017-02-02 | ソニー株式会社 | 固体撮像装置およびその制御方法、並びに電子機器 |
Also Published As
Publication number | Publication date |
---|---|
US20190379848A1 (en) | 2019-12-12 |
CN112262565A (zh) | 2021-01-22 |
WO2019236839A1 (en) | 2019-12-12 |
CN112262565B (zh) | 2022-05-17 |
EP3804293A1 (en) | 2021-04-14 |
TW202011735A (zh) | 2020-03-16 |
US11363221B2 (en) | 2022-06-14 |
TWI793334B (zh) | 2023-02-21 |
KR20210018349A (ko) | 2021-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11910119B2 (en) | Digital pixel with extended dynamic range | |
US10827142B2 (en) | Digital pixel array with adaptive exposure | |
US11863886B2 (en) | Pixel sensor having multiple photodiodes | |
US10897586B2 (en) | Global shutter image sensor | |
US11089210B2 (en) | Configurable image sensor | |
JP7279082B2 (ja) | 拡張されたダイナミックレンジをもつデジタルピクセル | |
US11595602B2 (en) | Image sensor post processing | |
JP7292313B2 (ja) | 拡張されたダイナミックレンジをもつデジタルピクセル | |
JP2021519013A (ja) | 拡張ダイナミックレンジを有するデジタルピクセル | |
JP2021526323A (ja) | 画像センサー後処理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231114 |