JP2022073575A - 撮像装置及び情報処理装置 - Google Patents
撮像装置及び情報処理装置 Download PDFInfo
- Publication number
- JP2022073575A JP2022073575A JP2020183642A JP2020183642A JP2022073575A JP 2022073575 A JP2022073575 A JP 2022073575A JP 2020183642 A JP2020183642 A JP 2020183642A JP 2020183642 A JP2020183642 A JP 2020183642A JP 2022073575 A JP2022073575 A JP 2022073575A
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- unit
- conversion unit
- light
- conversion element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 8
- 230000010365 information processing Effects 0.000 title claims description 69
- 238000006243 chemical reaction Methods 0.000 claims abstract description 425
- 238000012545 processing Methods 0.000 claims description 70
- 238000012546 transfer Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 47
- 238000007599 discharging Methods 0.000 claims description 7
- 229910010272 inorganic material Inorganic materials 0.000 claims description 6
- 239000011147 inorganic material Substances 0.000 claims description 6
- 239000011368 organic material Substances 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims 1
- 238000010030 laminating Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 28
- 238000009792 diffusion process Methods 0.000 description 26
- 238000007667 floating Methods 0.000 description 26
- 239000000758 substrate Substances 0.000 description 14
- 239000004065 semiconductor Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 12
- 230000003321 amplification Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 238000003199 nucleic acid amplification method Methods 0.000 description 9
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 229910052710 silicon Inorganic materials 0.000 description 5
- 239000010703 silicon Substances 0.000 description 5
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000010936 titanium Substances 0.000 description 4
- 101100205847 Mus musculus Srst gene Proteins 0.000 description 3
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- 238000000231 atomic layer deposition Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007789 sealing Methods 0.000 description 3
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- 238000005229 chemical vapour deposition Methods 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 229910052757 nitrogen Inorganic materials 0.000 description 2
- 239000011347 resin Substances 0.000 description 2
- 229920005989 resin Polymers 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 229910052814 silicon oxide Inorganic materials 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 229910052719 titanium Inorganic materials 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 229910052581 Si3N4 Inorganic materials 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910052681 coesite Inorganic materials 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 229910052906 cristobalite Inorganic materials 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052735 hafnium Inorganic materials 0.000 description 1
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000005468 ion implantation Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 150000004767 nitrides Chemical class 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- VSZWPYCFIRKVQL-UHFFFAOYSA-N selanylidenegallium;selenium Chemical compound [Se].[Se]=[Ga].[Se]=[Ga] VSZWPYCFIRKVQL-UHFFFAOYSA-N 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 235000012239 silicon dioxide Nutrition 0.000 description 1
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 1
- 238000004544 sputter deposition Methods 0.000 description 1
- 229910052682 stishovite Inorganic materials 0.000 description 1
- 229910052715 tantalum Inorganic materials 0.000 description 1
- GUVRBAGPIYLISA-UHFFFAOYSA-N tantalum atom Chemical compound [Ta] GUVRBAGPIYLISA-UHFFFAOYSA-N 0.000 description 1
- 229910052905 tridymite Inorganic materials 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
- H01L27/14647—Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
- H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1464—Back illuminated imager structures
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Measurement Of Optical Distance (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】光電変換部が積層された固体撮像素子を備えた撮像装置の構成を簡素化する。【解決手段】撮像装置において、画素ブロックPBは、互いに異なる波長域の光により光電変換を行う光電変換素子(4個の有機光電変換素子30a1~30a4及び1個のフォトダイオードPD)をそれぞれ有し、光入射方向に積層された複数の光電変換部と、異なる光電変換部の光電変換素子に蓄積された電荷を保持する電荷保持部FDと、を備える。【選択図】図5
Description
本技術は、撮像装置及び情報処理装置に関するものであり、特には、積層された光電変換部を備えた撮像装置及び情報処理装置の技術分野に関する。
撮像装置としては、光電変換部が積層された固体撮像素子を備えたものが提案されている。このような撮像装置では、光電変換部の各光電変換素子で光電変換し生成された信号電荷を読み出す回路が、光電変換素子ごとに設けられている(例えば、下記特許文献1を参照)。
特許文献1に記載の撮像装置では、積層された光電変換部の光電変換素子ごとに、信号電荷を保持する電荷保持部としてのフローティングディフュージョンが設けられることになる。しかしながら、積層された光電変換部の光電変換素子ごとに電荷保持部を設けるとなると、構成が複雑になる。
本技術は上記事情に鑑み為されたものであり、構成を簡素化することを目的とする。
本技術に係る撮像装置は、互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えたものである。
これにより、積層された異なる光電変換部の光電変換素子に対して電荷保持部を共有して使用することが可能となる。
これにより、積層された異なる光電変換部の光電変換素子に対して電荷保持部を共有して使用することが可能となる。
上記した本技術に係る撮像装置においては、前記電荷保持部に蓄積された電荷をリセットする電荷リセット部を備えた構成とすることが考えられる。
これにより、電荷保持部に蓄積された電荷をリセットする電荷リセット部を共有して使用することが可能となる。
これにより、電荷保持部に蓄積された電荷をリセットする電荷リセット部を共有して使用することが可能となる。
上記した本技術に係る撮像装置においては、前記電荷保持部は、異なる前記光電変換部において前記光入射方向に対向して配置される前記光電変換素子に蓄積された電荷を保持する構成とすることが考えられる。
これにより、対向して配置される光電変換素子は光入射方向に重なっているため、それぞれの光電変換部の画素のずれを低減することが可能である。
これにより、対向して配置される光電変換素子は光入射方向に重なっているため、それぞれの光電変換部の画素のずれを低減することが可能である。
上記した本技術に係る撮像装置においては、前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、前記第1光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた光電変換素子を有し、前記第2光電変換部は、光を受光して光電変換する無機材料を用いた光電変換素子を有する構成とすることが考えられる。
これにより、第1光電変換部における透過光の減衰が少ないため、第2光電変換部における光電変換の効率を高めることが可能となる。
これにより、第1光電変換部における透過光の減衰が少ないため、第2光電変換部における光電変換の効率を高めることが可能となる。
上記した本技術に係る撮像装置においては、前記第2光電変換部の前記光電変換素子に蓄積された電荷を排出する電荷排出部を備えた構成とすることが考えられる。
これにより、第2光電変換部の光電変換素子に蓄積された電荷をリセットすることが可能となる。
これにより、第2光電変換部の光電変換素子に蓄積された電荷をリセットすることが可能となる。
上記した本技術に係る撮像装置においては、前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、前記第1光電変換部は、可視光を受光して光電変換する光電変換素子を有し、前記第2光電変換部は、赤外光を受光して光電変換する光電変換素子を有する構成とすることが考えられる。
これにより、第1光電変換部では第2光電変換部よりも光電変換の効率を高めることが可能となる。
これにより、第1光電変換部では第2光電変換部よりも光電変換の効率を高めることが可能となる。
上記した本技術に係る撮像装置においては、前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部を備えた構成とすることが考えられる。
これにより、可視光に基づく画像、及び、対象物までの距離を示す距離画像を取得することが可能となる。
これにより、可視光に基づく画像、及び、対象物までの距離を示す距離画像を取得することが可能となる。
上記した本技術に係る撮像装置においては、前記第2光電変換部の前記光電変換素子は、前記第1光電変換部の前記光電変換素子よりも受光面積が大きい構成とすることが考えられる。
これにより、第1光電変換部よりも対象物から遠く光電効率が低い第2光電変換部において電荷量を多くすることが可能となる。
これにより、第1光電変換部よりも対象物から遠く光電効率が低い第2光電変換部において電荷量を多くすることが可能となる。
上記した本技術に係る撮像装置においては、異なる前記光電変換部の前記光電変換素子に蓄積された電荷を異なるタイミングで前記電荷保持部に転送する駆動制御部を備えた構成とすることが考えられる。
これにより、積層された異なる光電変換部の光電変換素子で光電変換し生成された電荷を順次取得することが可能となる。
これにより、積層された異なる光電変換部の光電変換素子で光電変換し生成された電荷を順次取得することが可能となる。
本技術に係る情報処理装置は、画像を撮像する撮像装置と、前記撮像装置で撮像された前記画像に基づいて所定の処理を実行する情報処理部とを備え、前記撮像装置は、互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えたものである。
これにより、積層された異なる光電変換部に対して光電保持部を共有して使用することが可能となる。
これにより、積層された異なる光電変換部に対して光電保持部を共有して使用することが可能となる。
上記した本技術に係る情報処理装置においては、前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、前記第1光電変換部は、可視光を受光して光電変換する光電変換素子を有し、前記第2光電変換部は、赤外光を受光して光電変換する光電変換素子を有する構成とすることが考えられる。
これにより、可視光に基づく画像と、赤外光に基づく対象物までの距離を示す画像とに基づいて、処理を行うことが可能となる。
これにより、可視光に基づく画像と、赤外光に基づく対象物までの距離を示す画像とに基づいて、処理を行うことが可能となる。
上記した本技術に係る情報処理装置においては、前記撮像装置は、前記第1光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、前記情報処理部は、前記可視画像に基づいて、前記距離画像を撮像するかを決定する構成とすることが考えられる。
これにより、可視画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
これにより、可視画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
上記した本技術に係る情報処理装置においては、前記撮像装置は、前記第1光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、前記情報処理部は、前記距離画像に基づいて、前記可視画像を撮像するかを決定する構成とすることが考えられる。
これにより、距離画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
これにより、距離画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
<1.第一実施形態>
[1-1.撮像装置の構成]
[1-2.センサ部の回路構成]
[1-3.第一実施形態としての画素アレイ部の構成]
[1-4.画素アレイ部の回路構成]
<2.第二実施形態>
<3.変形例>
<4.情報処理装置への適用>
[4-1.情報処理装置の構成]
[4-2.第一例]
[4-3.第二例]
[4-4.変形例]
<5.実施形態のまとめ>
<6.本技術>
<1.第一実施形態>
[1-1.撮像装置の構成]
[1-2.センサ部の回路構成]
[1-3.第一実施形態としての画素アレイ部の構成]
[1-4.画素アレイ部の回路構成]
<2.第二実施形態>
<3.変形例>
<4.情報処理装置への適用>
[4-1.情報処理装置の構成]
[4-2.第一例]
[4-3.第二例]
[4-4.変形例]
<5.実施形態のまとめ>
<6.本技術>
<1.第一実施形態>
[1-1.撮像装置の構成]
図1は、本技術に係る第一実施形態としての撮像装置1の構成例を説明するためのブロック図である。
図1に示すように、撮像装置1は、撮像部2、発光部3、制御部4、画像処理部5、及びメモリ6を備えている。本例では、撮像部2、発光部3、及び制御部4は同一基板上に形成され、センシングモジュール7として構成される。
[1-1.撮像装置の構成]
図1は、本技術に係る第一実施形態としての撮像装置1の構成例を説明するためのブロック図である。
図1に示すように、撮像装置1は、撮像部2、発光部3、制御部4、画像処理部5、及びメモリ6を備えている。本例では、撮像部2、発光部3、及び制御部4は同一基板上に形成され、センシングモジュール7として構成される。
撮像装置1は、可視光に基づく画像、及び、赤外光に基づく画像を撮像する装置とされる。以下、可視光に基づく画像を可視画像、赤外光に基づく画像を距離画像と表記する。
発光部3は、光源として一又は複数の発光素子を有し、対象物Obに対して照射光Liを発する。具体的に、本例では、発光部3は、照射光Liとして波長が780nmから1000nmの範囲の赤外光を発光する。
制御部4は、発光部3による照射光Liの発光動作を制御する。具体的に、本例では、発光部3は、照射光Liとして、パルス光を所定周期で繰り返し発光する。
撮像部2は、詳しくは後述するように複数の光電変換部が積層されている。本例では、撮像部2は、2個の光電変換部が積層されている。撮像部2は、発光部3から発光され対象物Obで反射された反射光Lrを一方の光電変換部で受光し、反射光Lrと照射光Liの位相差に基づいて間接ToF(Time of Flight:光飛行時間)方式による距離情報を距離画像として出力する。なお、間接ToF方式は、対象物Obに対する照射光Liと、照射光Liが対象物Obで反射されて得られる反射光Lrとの位相差に基づいて対象物Obまでの距離を算出する測距方式である。従って、距離画像は、対象物Obまでの距離を示す情報が各画素に示されていると言える。
また、撮像部2は、対象物Obで反射した可視光Lvを他方の光電変換部で受光し、受光した可視光に基づく可視画像を出力する。
画像処理部5は、撮像部2で得られた可視画像及び距離画像が入力され、例えば圧縮符号化等の所定の信号処理を施してメモリ6に出力する。
メモリ6は、例えばフラッシュメモリやSSD(Solid State Drive)、HDD(Hard Disk Drive)などの記憶装置であり、画像処理部5で処理された可視画像及び距離画像を記憶する。
メモリ6は、例えばフラッシュメモリやSSD(Solid State Drive)、HDD(Hard Disk Drive)などの記憶装置であり、画像処理部5で処理された可視画像及び距離画像を記憶する。
[1-2.センサ部の回路構成]
図2は、撮像部2の内部回路構成例を示したブロック図である。図3は、画素の配置を示した概略図である。
図2に示すように、撮像部2は、画素アレイ部11、転送ゲート駆動部12、垂直駆動部13、システム制御部14、カラム処理部15、水平駆動部16、可視信号処理部17、及び距離信号処理部18を備えている。
図2は、撮像部2の内部回路構成例を示したブロック図である。図3は、画素の配置を示した概略図である。
図2に示すように、撮像部2は、画素アレイ部11、転送ゲート駆動部12、垂直駆動部13、システム制御部14、カラム処理部15、水平駆動部16、可視信号処理部17、及び距離信号処理部18を備えている。
画素アレイ部11は、図3に示すように、互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有する第1光電変換部30及び第2光電変換部31が光入射方向に積層されている。第1光電変換部30及び第2光電変換部31は、複数の画素が行方向及び列方向の行列状に2次元に配列されている。第1光電変換部30は、第2光電変換部31よりも対象物Ob側、すなわち、受光面側に配置されている。
ここで、行方向とは、水平方向の画素の配列方向を言い、列方向とは、垂直方向の画素の配列方向を言う。図2中では、行方向を横方向、列方向を縦方向としている。
ここで、行方向とは、水平方向の画素の配列方向を言い、列方向とは、垂直方向の画素の配列方向を言う。図2中では、行方向を横方向、列方向を縦方向としている。
第1光電変換部30では、第1画素P1(有機光電変換素子30a)が行方向及び列方向の行列状に2次元に配列されている。第1画素P1は、特定の色(波長域)の光を受光して光電変換する有機材料を用いた有機光電変換素子30aを有している。本例では、第1画素P1は、R(赤)、G(緑)、B(青)の可視光を受光して光電変換する有機光電変換素子30aを有している。なお、図3では、R(赤)の可視光を受光して光電変換する有機光電変換素子30aを「R」と表記し、G(緑)の可視光を受光して光電変換する有機光電変換素子30aを「G」と表記し、B(青)の可視光を受光して光電変換する有機光電変換素子30aを「B」と表記する。
第1光電変換部30は、R(赤)、G(緑)、B(青)の可視光をそれぞれ受光して光電変換する有機光電変換素子30a(第1画素P1)が例えばベイヤ配列で配置されている。なお、第1光電変換部30は、R(赤)、G(緑)、B(青)の可視光を受光して光電変換する有機光電変換素子30aが他の配列で配置されていてもよい。また、第1光電変換部30は、R(赤)、G(緑)、B(青)の可視光を分けることなく受光して光電変換する有機光電変換素子30aが配置されるようにしてもよい。また、第1光電変換部30では、シリコンなどの無機材料を用いた無機光電変換素子を有する第1画素P1が配列されるようにしてもよい。この場合、画素アレイ部11は、第1光電変換部30よりも対象物Ob側に、例えばR(赤)、G(緑)、B(青)の可視光のみをそれぞれ透過するカラーフィルタを配置すればよい。
第2光電変換部31は、複数の第2画素P2が行方向及び列方向の行列状に2次元に配列されている。第2画素P2は、赤外光を受光して光電変換する無機材料を用いた無機光電変換素子としてのフォトダイオードPDを有している。なお、図3では、赤外光を受光して光電変換するフォトダイオードPDを「IR」とも表記する。
フォトダイオードPDの受光面積は、有機光電変換素子30aの受光面積よりも大きい。本例では、フォトダイオードPDの受光面積は、有機光電変換素子30aの受光面積の4倍に相当する面積を有する。従って、第2画素P2は、第1画素P1の4個分、すなわち、第1画素P1の4倍に相当する面積を有する。
そして、画素アレイ部11では、4個の第1画素P1(有機光電変換素子30a)と、1個の第2画素P2(フォトダイオードPD)とが光入射方向に対向して配置されている。従って、画素アレイ部11では、1個の第2画素P2と、1個の第2画素P2と対向して配置される4個の第1画素P1とを一組とする画素ブロックPBが行方向及び列方向に2次元に配置されているとも言える。
画素アレイ部11においては、画素ブロックPBの行ごとに行駆動線20がそれぞれ行方向に沿って配線される。また、画素アレイ部11においては、画素ブロックPBの列ごとにゲート駆動線21がそれぞれ列方向に沿って配線されている。また、画素アレイ部11は、画素ブロックPBの列ごとに垂直信号線22がそれぞれ列方向に沿って配線されている。
例えば、行駆動線20は、第1画素P1又は第2画素P2から信号電荷を読み出す際の駆動を行うための駆動信号を伝送する。なお、図2では、行駆動線20について1本の配線として示しているが、1本に限られるものではない。行駆動線20の一端は、垂直駆動部13の各行に対応した出力端に接続されている。
システム制御部14は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、該タイミングジェネレータで生成された各種のタイミング信号を基に、転送ゲート駆動部12、垂直駆動部13、カラム処理部15、及び水平駆動部16などの駆動制御を行う。
転送ゲート駆動部12は、システム制御部14の制御に基づき、ゲート駆動線21を通じて、有機光電変換素子30a及び後述する転送ゲート素子(転送トランジスタTG)を駆動する。このため、システム制御部14は、転送ゲート駆動部12に対し、図1に示した制御部4より入力されるCLKを供給し、転送ゲート駆動部12は、このクロックCLKに基づいて有機光電変換素子30a及び転送ゲート素子を駆動する。
垂直駆動部13は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部11の第1画素P1及び第2画素P2を全画素同時或いは行単位等で駆動する。すなわち、垂直駆動部13は、垂直駆動部13を制御するシステム制御部14と共に、画素アレイ部11の第1画素P1及び第2画素P2の動作を制御する駆動制御部を構成している。
垂直駆動部13による駆動制御に応じて第1画素P1又は第2画素P2から出力される(読み出される)検出信号、具体的には、画素ブロックPBごとに設けられたフローティングディフュージョンに蓄積された信号電荷に応じた信号は、対応する垂直信号線22を通してカラム処理部15に入力される。カラム処理部15は、第1画素P1又は第2画素P2から垂直信号線22を通して読み出された検出信号に対して所定の信号処理を行うとともに、信号処理後の検出信号を一時的に保持する。具体的には、カラム処理部15は、信号処理としてノイズ除去処理やA/D(Analog to Digital)変換処理などを行う。
水平駆動部16は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部15の画素ブロックPB列に対応する単位回路を順番に選択する。この水平駆動部16による選択走査により、カラム処理部15において単位回路ごとに信号処理された検出信号が順番に出力される。
可視信号処理部17は、少なくとも演算処理機能を有し、第1画素P1から読み出されカラム処理部15から出力される検出信号に対して、色チャンネル間の補正処理、ホワイトバランス補正、収差補正、シェーディング補正等の信号処理を行い、可視画像を生成する。
距離信号処理部18は、少なくとも演算処理機能を有し、第2画素P2から読み出されカラム処理部15から出力される検出信号に対して、間接ToF方式に対応した距離の算出処理等の種々の信号処理を行い、距離情報を算出する(距離画像を生成する)。なお、検出信号に基づいて間接ToF方式による距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
距離信号処理部18は、少なくとも演算処理機能を有し、第2画素P2から読み出されカラム処理部15から出力される検出信号に対して、間接ToF方式に対応した距離の算出処理等の種々の信号処理を行い、距離情報を算出する(距離画像を生成する)。なお、検出信号に基づいて間接ToF方式による距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
[1-3.画素アレイ部の構造]
図4は、画素アレイ部11の概略構造を説明するための断面図である。
図4に示すように、画素アレイ部11は、半導体基板32と、半導体基板32の表面Ss側に形成された配線層33とを備えている。
図4は、画素アレイ部11の概略構造を説明するための断面図である。
図4に示すように、画素アレイ部11は、半導体基板32と、半導体基板32の表面Ss側に形成された配線層33とを備えている。
半導体基板32は、例えばシリコン(Si)で構成され、例えば1μmから6μm程度の厚みを有して形成されている。半導体基板32内において、第2光電変換部31の第2画素P2の領域には、無機光電変換素子としてのフォトダイオードPDが形成されている。隣接するフォトダイオードPD間は、画素間分離部34により電気的に分離されている。
配線層33は、半導体基板32の表面Ss側に形成されており、層間絶縁膜33bを介して複数層に積層された配線33aを有して構成されている。配線層33に形成される配線33aを介して、後述する画素トランジスタが駆動される。
半導体基板32の裏面Sbには、固定電荷を有する固定電荷膜35が、フォトダイオードPDを囲むように形成されている。
固定電荷膜35としては、負の電荷を有する高屈折率材料膜、又は高誘電体膜を用いることができる。具体的な材料としては、例えば、ハフニウム(Hf)、アルミニウム(Al)、ジルコニウム(Zr)、タンタル(Ta)及びチタン(Ti)のうち少なくとも何れかの元素を含む酸化物又は窒化物を適用することができる。成膜方法としては、例えば、CVD法(Chemical Vapor Deposition:化学気相成長法)、スパッタリング法、ALD法(Atomic Layer Deposition:原子層蒸着法)等が挙げられる。なお、ALD法を用いれば、成膜中に界面準位を低減するSiO2(酸化シリコン)膜を同時に1nm程度の膜厚に形成することができる。
なお、固定電荷膜35の材料には、絶縁性を損なわない範囲で膜中にシリコンや窒素(N)が添加されていてもよい。その濃度は、膜の絶縁性が損なわれない範囲で適宜決定される。このように、シリコンや窒素(N)が添加されることによって、膜の耐熱性やプロセス中におけるイオン注入の阻止能力を上げることが可能になる。
固定電荷膜35としては、負の電荷を有する高屈折率材料膜、又は高誘電体膜を用いることができる。具体的な材料としては、例えば、ハフニウム(Hf)、アルミニウム(Al)、ジルコニウム(Zr)、タンタル(Ta)及びチタン(Ti)のうち少なくとも何れかの元素を含む酸化物又は窒化物を適用することができる。成膜方法としては、例えば、CVD法(Chemical Vapor Deposition:化学気相成長法)、スパッタリング法、ALD法(Atomic Layer Deposition:原子層蒸着法)等が挙げられる。なお、ALD法を用いれば、成膜中に界面準位を低減するSiO2(酸化シリコン)膜を同時に1nm程度の膜厚に形成することができる。
なお、固定電荷膜35の材料には、絶縁性を損なわない範囲で膜中にシリコンや窒素(N)が添加されていてもよい。その濃度は、膜の絶縁性が損なわれない範囲で適宜決定される。このように、シリコンや窒素(N)が添加されることによって、膜の耐熱性やプロセス中におけるイオン注入の阻止能力を上げることが可能になる。
固定電荷膜35の周りには、絶縁層36が形成されている。絶縁層36上には、第1光電変換部30、封止膜37、平坦化膜38、及びマイクロレンズ(オンチップレンズ)39がこの順序で積層されている。
第1光電変換部30(有機光電変換素子30a)は、光電変換層40、第1電極41、電荷蓄積用電極42、及び第2電極43を備えている。第1電極41及び電荷蓄積用電極42は、絶縁層36内において離隔するように光電変換層40に対向して配置されている。第2電極43は、光電変換層40上に配置されている。第1光電変換部30の各第1画素P1の領域には、1個の有機光電変換素子30aが形成されることになる。
第1電極41、電荷蓄積用電極42及び第2電極43は、例えば、ITO又はIZO等の透明電極である。第1電極41は、光電変換層40に接続されるとともに、配線層33の配線33aまで貫通した配線44に接続されている。
なお、第1画素P1及び第2画素P2には、画素トランジスタ(転送トランジスタTG、リセットトランジスタRST、OF(オーバーフロー)ゲートトランジスタOFG、増幅トランジスタAMP、選択トランジスタSEL)及びフローティングディフュージョンFDも形成されるが、図4ではそれら画素トランジスタ及びフローティングディフュージョンFDについての図示は省略している。ここで、画素トランジスタの電極(ゲート、ドレイン、ソースの各電極)として機能する導電体及びフローティングディフュージョンFDは、配線層33における半導体基板32の表面Ss近傍に形成される。
絶縁層36の材料としては、固定電荷膜35とは異なる屈折率を有する材料で形成することが好ましく、例えば、酸化シリコン、窒化シリコン、酸窒化シリコン、樹脂などを用いることができる。また、正の固定電荷を持たない、又は正の固定電荷が少ないという特徴を持つ材料を絶縁層36に用いることができる。
封止膜37は、アルミニウム(Al)又はチタン(Ti)を含む絶縁体を用いることができる。
平坦化膜38は、封止膜37上に形成され、これにより半導体基板32の裏面Sb側の面が平坦とされる。平坦化膜38の材料としては、例えば、樹脂などの有機材料を用いることができる。
平坦化膜38は、封止膜37上に形成され、これにより半導体基板32の裏面Sb側の面が平坦とされる。平坦化膜38の材料としては、例えば、樹脂などの有機材料を用いることができる。
マイクロレンズ39は、平坦化膜38上において第1画素P1ごとに形成されている。マイクロレンズ39では入射光が集光され、集光された光が有機光電変換素子30a及びフォトダイオードPDに効率良く入射する。
また、絶縁層36内には、画素間遮光部45、及び、フィルタ部46が設けられている。
画素間遮光部45は、半導体基板32の裏面Sb側において、各第2画素P2のフォトダイオードPDを開口するように格子状に形成されている。すなわち、画素間遮光部45は、画素間分離部34に対応する位置に形成されている。
画素間遮光部45を構成する材料としては、遮光が可能な材料であればよく、例えば、タングステン(W)、アルミニウム(Al)又は銅(Cu)を用いることができる。
画素間遮光部45により、隣接する第2画素P2間において、一方の第2画素P2にのみ入射されるべき光が他方の第2画素P2に漏れ込んでしまうことの防止が図られる。
画素間遮光部45は、半導体基板32の裏面Sb側において、各第2画素P2のフォトダイオードPDを開口するように格子状に形成されている。すなわち、画素間遮光部45は、画素間分離部34に対応する位置に形成されている。
画素間遮光部45を構成する材料としては、遮光が可能な材料であればよく、例えば、タングステン(W)、アルミニウム(Al)又は銅(Cu)を用いることができる。
画素間遮光部45により、隣接する第2画素P2間において、一方の第2画素P2にのみ入射されるべき光が他方の第2画素P2に漏れ込んでしまうことの防止が図られる。
フィルタ部46は、所定の波長域の光を透過する波長フィルタが形成されている。ここでの波長フィルタとしては、例えば、可視光を遮断し赤外光を透過する波長フィルタを挙げることができる。
上記のような画素アレイ部11を備えた撮像装置1では、半導体基板32の裏面Sb側から光が照射され、マイクロレンズ39を透過した所定の波長域の光が第1光電変換部30の有機光電変換素子30aにて光電変換されることにより、信号電荷が生成される。そして、光電変換により得られた信号電荷が、半導体基板32の表面Ss側に形成された画素トランジスタを経由し、配線層33における所定の配線33aとして形成された垂直信号線22を介して出力される。
また、画素アレイ部11を備えた撮像装置1では、半導体基板32の裏面Sb側から光が照射され、第1光電変換部30及びフィルタ部46を透過した赤外光が第2光電変換部31のフォトダイオードPDにて光電変換されることにより、信号電荷が生成される。そして、光電変換により得られた信号電荷が、半導体基板32の表面Ss側に形成された画素トランジスタを経由し、配線層33における所定の配線33aとして形成された垂直信号線22を介して出力される。
[1-4.画素アレイ部の回路構成]
図5は、画素アレイ部11における画素ブロックPBの等価回路を示した図である。
図5に示すように、画素ブロックPBは、4個の有機光電変換素子30a(第1画素P1)、及び、1個のフォトダイオードPD(第2画素P2)を備える。
ここで、画素ブロックPBにおける4個の有機光電変換素子30aを区別する場合、図5に示すように、有機光電変換素子30a1、30a2、30a3及び30a4と表記する。
図5は、画素アレイ部11における画素ブロックPBの等価回路を示した図である。
図5に示すように、画素ブロックPBは、4個の有機光電変換素子30a(第1画素P1)、及び、1個のフォトダイオードPD(第2画素P2)を備える。
ここで、画素ブロックPBにおける4個の有機光電変換素子30aを区別する場合、図5に示すように、有機光電変換素子30a1、30a2、30a3及び30a4と表記する。
また、画素ブロックPBは、リセットトランジスタRST、フローティングディフュージョンFD、転送トランジスタTG、OFゲートトランジスタOFG、増幅トランジスタAMP、及び選択トランジスタSELをそれぞれ1個ずつ備える。
リセットトランジスタRST、転送トランジスタTG、OFゲートトランジスタOFG、増幅トランジスタAMP、及び選択トランジスタSELは、例えば、N型のMOSトランジスタで構成される。
リセットトランジスタRST、転送トランジスタTG、OFゲートトランジスタOFG、増幅トランジスタAMP、及び選択トランジスタSELは、例えば、N型のMOSトランジスタで構成される。
リセットトランジスタRSTは、ドレインが基準電位VDD(定電流源)に接続され、ゲートにリセット信号SRSTが入力される。また、リセットトランジスタRSTのソースには、有機光電変換素子30a1、30a2、30a3及び30a4の第1電極41、転送トランジスタTGのソース、及び、フローティングディフュージョンFDが接続される。
リセットトランジスタRSTは、ゲートに供給されるリセット信号SRSTがオンとされると導通状態となり、フローティングディフュージョンFDの電位を基準電位VDDにリセットする。
なお、リセット信号SRSTは、例えば垂直駆動部13より供給される。
リセットトランジスタRSTは、ゲートに供給されるリセット信号SRSTがオンとされると導通状態となり、フローティングディフュージョンFDの電位を基準電位VDDにリセットする。
なお、リセット信号SRSTは、例えば垂直駆動部13より供給される。
有機光電変換素子30aは、垂直駆動部13によって、第1電極41に正の電位が印加され、第2電極43に負の電位が印加される。有機光電変換素子30aでは、入射された光によって光電変換層40において光電変換が生じる。光電変換によって生成した正孔は、第2電極43から外部へと送出される。一方、第1電極41の電位が第2電極43の電位よりも高いため、光電変換によって生成した電子は、電荷蓄積用電極42に引き付けられ、電荷蓄積用電極42と対向した光電変換層40の領域に止まる。即ち、光電変換層40に信号電荷が蓄積される。このとき、光電変換層40の内部に生成した電子が、第1電極41に向かって移動することはない。光電変換の時間経過に伴い、電荷蓄積用電極42と対向した光電変換層40の領域における電位は、より負側の値となる。
その後、垂直駆動部13によって、第1電極41に所定の電位が印加され、電荷蓄積用電極42に第1電極41よりも低い電位が印加される。これによって、電荷蓄積用電極42と対向した光電変換層40の領域に止まっていた電子は、第1電極41を介して信号電荷としてフローティングディフュージョンFDへと転送される。このとき、フローティングディフュージョンFDは、有機光電変換素子30aから転送された信号電荷を一時保持する電荷保持部として機能する。
OFゲートトランジスタOFGは、フォトダイオードPDに蓄積された電荷を排出するために電荷排出部として設けられており、ゲートに供給されるOFゲート信号SOFGがオンされると導通状態となる。フォトダイオードPDは、OFゲートトランジスタOFGが導通状態となると、所定の基準電位VDDにクランプされて蓄積電荷がリセットされる。
なお、OFゲート信号SOFGは、例えば垂直駆動部13より供給される。
なお、OFゲート信号SOFGは、例えば垂直駆動部13より供給される。
転送トランジスタTGは、ゲートに供給される転送駆動信号STGがオンされると導通状態となり、フォトダイオードPDに蓄積されている信号電荷をフローティングディフュージョンFDに転送する。このとき、フローティングディフュージョンFDは、フォトダイオードPDから転送された信号電荷を一時保持する電荷保持部として機能する。
増幅トランジスタAMPは、ソースが選択トランジスタSELを介して垂直信号線22に接続され、ドレインが基準電位VDD(定電流源)に接続されて、ソースフォロワ回路を構成する。
選択トランジスタSELは、増幅トランジスタAMPのソースと垂直信号線22との間に接続され、ゲートに供給される選択信号SSELがオンとされると導通状態となり、フローティングディフュージョンFDに保持された信号電荷を、増幅トランジスタAMPを介して垂直信号線22に出力する。
なお、選択信号SSELは、行駆動線20を介して垂直駆動部13より供給される。
なお、選択信号SSELは、行駆動線20を介して垂直駆動部13より供給される。
このように、画素アレイ部11では、画素ブロックPBごとに、フローティングディフュージョンFD、選択トランジスタSEL及び増幅トランジスタAMPが1個ずつ設けられている。すなわち、フローティングディフュージョンFD、選択トランジスタSEL及び増幅トランジスタAMPは、第1光電変換部30及び第2光電変換部31で共有されている。
図6は、画素ブロックPBにおける動作のタイミングチャートを説明する図である。
次に、画素ブロックPBにおける動作について簡単に説明する。
画素ブロックPBでは、有機光電変換素子30a1、30a2、30a3、30a4、及び、フォトダイオードPDの順にリセット動作A1、受光動作A2及び転送動作A3を含む動作が行われる。すなわち、有機光電変換素子30a1、30a2、30a3、30a4、及び、フォトダイオードPDは異なるタイミングで電荷が転送される。まず、画素ブロックPBでは、有機光電変換素子30a1についてリセット動作A1が行われる。例えばリセットトランジスタRSTがオン(導通状態)とされ、第1電極41に所定の電位が印加され、電荷蓄積用電極42に第1電極41よりも低い電位が印加される。これにより、有機光電変換素子30a1、フローティングディフュージョンFDの蓄積電荷がリセットされる。
次に、画素ブロックPBにおける動作について簡単に説明する。
画素ブロックPBでは、有機光電変換素子30a1、30a2、30a3、30a4、及び、フォトダイオードPDの順にリセット動作A1、受光動作A2及び転送動作A3を含む動作が行われる。すなわち、有機光電変換素子30a1、30a2、30a3、30a4、及び、フォトダイオードPDは異なるタイミングで電荷が転送される。まず、画素ブロックPBでは、有機光電変換素子30a1についてリセット動作A1が行われる。例えばリセットトランジスタRSTがオン(導通状態)とされ、第1電極41に所定の電位が印加され、電荷蓄積用電極42に第1電極41よりも低い電位が印加される。これにより、有機光電変換素子30a1、フローティングディフュージョンFDの蓄積電荷がリセットされる。
蓄積電荷のリセット後、有機光電変換素子30a1の受光動作A2が開始される。ここでは、第1電極41に正の電位が印加され、第2電極43に負の電位が印加される。
その後、転送動作A3では、第1電極41に所定の電位が印加され、電荷蓄積用電極42に第1電極41よりも低い電位が印加される。これにより、有機光電変換素子30a1に蓄積された信号電荷(蓄積電荷)がフローティングディフュージョンFDに転送される。
その後、画素アレイ部11の全画素ブロックPBが、線順次に選択される。選択された画素ブロックPBでは、選択トランジスタSELがオンされる。これにより、フローティングディフュージョンFDに蓄積された信号電荷が垂直信号線22を介してカラム処理部15に出力される。
このように、有機光電変換素子30a1のリセット動作A1、受光動作A2及び転送動作A3が終了すると、有機光電変換素子30a2のリセット動作A1、受光動作A2及び転送動作A3が開始される。また、有機光電変換素子30a2のリセット動作A1、受光動作A2及び転送動作A3が終了すると、有機光電変換素子30a3のリセット動作A1、受光動作A2及び転送動作A3が開始される。また、有機光電変換素子30a3のリセット動作A1、受光動作A2及び転送動作A3が終了すると、有機光電変換素子30a4のリセット動作A1、受光動作A2及び転送動作A3が開始される。なお、有機光電変換素子30a2、30a3、30a4のリセット動作A1、受光動作A2及び転送動作A3は、有機光電変換素子30aのリセット動作A1、受光動作A2及び転送動作A3と同様であるため、その説明は省略する。
有機光電変換素子30a4のリセット動作A1、受光動作A2及び転送動作A3が終了すると、フォトダイオードPDのリセット動作A1、受光動作A2及び転送動作A3が開始される。フォトダイオードPDのリセット動作A1が開始されると、OFゲートトランジスタOFG、リセットトランジスタRST、転送トランジスタTGがオン(導通状態)とされる。これにより、フォトダイオードPD、フローティングディフュージョンFDの蓄積電荷がリセットされる。
そして、受光動作A2及び転送動作A3では、転送トランジスタTGをオン及びオフする動作が所定回数(本例では数千回から数万回程度)繰り返される。ここでは、転送トランジスタTGがオフしている間にフォトダイオードPDに電荷が蓄積され、転送トランジスタTGがオンしている間にフォトダイオードPDからフローティングディフュージョンFDに電荷が転送される。その後、画素アレイ部11の各第2画素P2が、線順次に選択される。選択された第2画素P2では、選択トランジスタSELがオンされる。これにより、フローティングディフュージョンFDに蓄積された電荷が垂直信号線22を介してカラム処理部15に出力される。
以上で、1回の動作が終了し、次の動作が実行される。
図7は、第2光電変換部31における複数のフォトダイオードPDの動作のタイミングチャートを説明する図である。
上記したように、フォトダイオードPDで受光した赤外光における反射光Lrと照射光Liの位相差に基づいて間接ToF方式による距離情報を出力する。
本件では、2行×2列=4個のフォトダイオードPDが異なる位相で動作制御される。ここで、行方向及び列方向に隣接する4個のフォトダイオードPDを区別する場合、図7に示されるように、フォトダイオードPD1、PD2、PD3及びPD4と表記する。
上記したように、フォトダイオードPDで受光した赤外光における反射光Lrと照射光Liの位相差に基づいて間接ToF方式による距離情報を出力する。
本件では、2行×2列=4個のフォトダイオードPDが異なる位相で動作制御される。ここで、行方向及び列方向に隣接する4個のフォトダイオードPDを区別する場合、図7に示されるように、フォトダイオードPD1、PD2、PD3及びPD4と表記する。
制御部4は、発光部3による照射光Liの発光動作を制御する。間接ToF方式の場合、照射光Liとしては所定の周期で強度が変化するように強度変調された光が用いられる。具体的に、本例では、図7に示すように、照射光Liとして、パルス光を所定周期で繰り返し発光する。以下、このようなパルス光の発光周期のことを「発光周期Cl」と表記する。
ここで、間接ToF方式において、発光周期Clは、例えば数十MHzから数百MHz程度と比較的高速とされる。
ここで、間接ToF方式において、発光周期Clは、例えば数十MHzから数百MHz程度と比較的高速とされる。
システム制御部14は、クロックCLKに基づき垂直駆動部13を制御して、フォトダイオードPD1、PD2、PD3及びPD4に接続されたリセットトランジスタRSTをオンさせるリセット動作A1を行う。ここでは、システム制御部14は、フォトダイオードPD1、PD2、PD3及びPD4にそれぞれ接続されたOFゲートトランジスタOFG、転送トランジスタTGをオンさせる。
その後、システム制御部14は、フォトダイオードPD1について、照射光Liの発光動作に同期して、1/4発光周期Clで受光動作A2を行わせ、3/4発光周期Clで転送動作A3を行わせる制御サイクルを繰り返す。
また、システム制御部14は、フォトダイオードPD2について、フォトダイオードPD1よりも1/4発光周期Cl遅らせた後に、1/4発光周期Clで受光動作A2を行わせ、3/4発光周期Clで転送動作A3を行わせる制御サイクルを繰り返す。
また、システム制御部14は、フォトダイオードPD2について、フォトダイオードPD1よりも1/2発光周期Cl遅らせた後に、1/4発光周期Clで受光動作A2を行わせ、3/4発光周期Clで転送動作A3を行わせる制御サイクルを繰り返す。
また、システム制御部14は、フォトダイオードPD2について、フォトダイオードPD1よりも3/4発光周期Cl遅らせた後に、1/4発光周期Clで受光動作A2を行わせ、3/4発光周期Clで転送動作A3を行わせる制御サイクルを繰り返す。
このように、フォトダイオードPD1、PD2、PD3及びPD4の受光動作A2及び転送動作A3をそれぞれ90度ずつ異ならせる。そして、距離信号処理部18は、フォトダイオードPD1、PD2、PD3及びPD4から得られた信号電荷(検出信号)に基づいて、4相を用いた間接ToF方式で距離情報を算出する(距離画像を生成する)。なお、4相を用いた間接ToF方式で距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
<2.第二実施形態>
図8は、第二実施形態としての画素アレイ部11の構成例を示した概略図である。図9は、第二実施形態としての第2光電変換部31における複数のフォトダイオードPDの動作のタイミングチャートを説明する図である。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分は同一符号を付して説明を省略する。
図8は、第二実施形態としての画素アレイ部11の構成例を示した概略図である。図9は、第二実施形態としての第2光電変換部31における複数のフォトダイオードPDの動作のタイミングチャートを説明する図である。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分は同一符号を付して説明を省略する。
第二実施形態においては、図8に示す2行×1列=2個のフォトダイオードPD(PD1、PD2)が異なる位相で動作される。
システム制御部14は、クロックCLKに基づき垂直駆動部13を制御して、リセットトランジスタRSTのオンと同期して、フォトダイオードPD1及びPD2に接続されたリセットトランジスタRSTをオンさせるリセット動作A1を行う。ここでは、システム制御部14は、フォトダイオードPD1及びPD2に接続されたOFゲートトランジスタOFG、転送トランジスタTGをオンさせる。
システム制御部14は、フォトダイオードPD1について、照射光Liの発光動作に同期して、1/2発光周期Clで受光動作A2を行わせ、1/2発光周期Clで転送動作A3を行わせる制御サイクルを繰り返す。
また、システム制御部14は、フォトダイオードPD2について、フォトダイオードPD1よりも1/2発光周期Cl遅らせた後に、1/2発光周期Clで受光動作A2を行わせ、1/2発光周期Clで転送動作A3を行わせる制御サイクルを繰り返す。
このように、フォトダイオードPD1及びPD2の受光動作A2及び転送動作A3をそれぞれ180度ずつ異ならせる。そして、距離信号処理部18は、フォトダイオードPD1及びPD2から得られた信号電荷(検出信号)に基づいて、2相を用いた間接ToF方式で距離情報を算出する(距離画像を生成する)。なお、2相を用いた間接ToF方式で距離情報を算出する手法については公知の手法を用いることができ、ここでの説明は省略する。
<3.変形例>
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
第一実施形態及び第二実施形態において、第1光電変換部30は、有機光電変換素子30aを含む第1画素P1を有し、第2光電変換部31は、フォトダイオードPDを含む第2画素P2を有するようにした。しかしながら、第1光電変換部30及び第2光電変換部31は、互いに異なる波長域の光を光電変換する光電変換素子を有していれば、その構成は問わない。
例えば、第1画素P1は、フォトダイオードであってもよい。この場合、第1画素P1で光電変換することにより生成された信号電荷をフローティングディフュージョンFDに転送させるための転送トランジスタが設けられるようにしてもよい。第1画素P1に接続される転送トランジスタは、転送動作A3時にオンされるようにすればよい。
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
第一実施形態及び第二実施形態において、第1光電変換部30は、有機光電変換素子30aを含む第1画素P1を有し、第2光電変換部31は、フォトダイオードPDを含む第2画素P2を有するようにした。しかしながら、第1光電変換部30及び第2光電変換部31は、互いに異なる波長域の光を光電変換する光電変換素子を有していれば、その構成は問わない。
例えば、第1画素P1は、フォトダイオードであってもよい。この場合、第1画素P1で光電変換することにより生成された信号電荷をフローティングディフュージョンFDに転送させるための転送トランジスタが設けられるようにしてもよい。第1画素P1に接続される転送トランジスタは、転送動作A3時にオンされるようにすればよい。
第一実施形態及び第二実施形態においては、第1光電変換部30は、R(赤)、G(緑)、B(青)の可視光を受光し光電変換する光電変換層40を有する第1画素P1がベイヤ配列で配置されるようにした。しかしながら、第1画素P1は、R(赤)、G(緑)、B(青)の可視光を受光し光電変換する光電変換層40が積層されて形成されてもよい。すなわち、第1画素P1は、R(赤)、G(緑)、B(青)の可視光をそれぞれ受光し光電変換する3個の光電変換層40が設けられるようにしてもよい。
第一実施形態及び第二実施形態において、撮像装置1は、間接ToF方式による距離情報を導出するようにした。しかしながら、撮像装置1は、直接ToF方式による距離情報を導出するようにしてもよい。また、フォトダイオードPDの動作のタイミングは、第一実施形態及び第二実施形態で示した以外であってもよい。
第一実施形態及び第二実施形態において、第2画素P2は、第1画素P1の4個分に相当する受光面積を有するようにした。しかしながら、第2画素P2は、第1画素P1と同一の受光面積でもよく、第1画素P1より大きくてもよく、また、第1画素P1より小さくてもよい。
第一実施形態及び第二実施形態において、リセットトランジスタRST、フローティングディフュージョンFD、転送トランジスタTG、OFゲートトランジスタOFG、増幅トランジスタAMP、及び選択トランジスタSELは、画素ブロックPBごとに、それぞれ1個ずつ備えるようにした。しかしながら、少なくとも、フローティングディフュージョンFDが画素ブロックPBごとに1個ずつ備えるようにすればよい。従って、例えばリセットトランジスタRSTは、画素ブロックPBごとではなく、有機光電変換素子30a及びフォトダイオードPDごとに設けられていてもよい。
第一実施形態及び第二実施形態において、撮像装置1は、可視画像及び距離画像を連続して交互に取得するようにした。しかしながら、撮像装置1は、可視画像及び距離画像の一方のみを連続して取得したり、可視画像及び距離画像の一方のみを連続して取得している間の所定のタイミングで他方を取得するようにしてもよい。例えば、撮像装置1は、第1光電変換部30のみを連続して動作させて可視画像のみを連続して取得してもよい。また、撮像装置1は、第2光電変換部31のみを連続して動作させて距離画像のみを連続して取得してもよい。
<4.情報処理装置への適応>
[4-1.情報処理装置の構成]
上述した第一実施形態、第二実施形態及び変形例の撮像装置1は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、パーソナルコンピュータなどの情報処理装置に適応することができる。
[4-1.情報処理装置の構成]
上述した第一実施形態、第二実施形態及び変形例の撮像装置1は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機、パーソナルコンピュータなどの情報処理装置に適応することができる。
図10は、情報処理装置100の構成例を説明するためのブロック図である。
図10に示すように、情報処理装置100は、撮像装置1、情報処理部101、記憶部103を備えている。
図10に示すように、情報処理装置100は、撮像装置1、情報処理部101、記憶部103を備えている。
情報処理部101は、CPU(Central Processing Unit)、RAM(Random Access Memory)及びROM(Read Only Memory)を有するマイクロコンピュータによって構成されている。情報処理部101は、撮像装置1及び記憶部103を適宜制御する。
記憶部103は、例えばフラッシュメモリやSSD(Solid State Drive)、HDD(Hard Disk Drive)などの記憶装置である。
[4-2.第一例]
図11は、第一例における情報処理の流れを示すフローチャートである。
情報処理部101は、情報処理の第一例として顔認証処理を実行する。第一例の顔認証処理においては、記憶部103には、予め認証対象の顔に関する認証情報が記憶されている。具体的には、情報処理部101は、撮像装置1によって認証対象の顔を撮像した可視画像から、顔の口、鼻、目などの特徴点の位置を抽出する。また、情報処理部101は、抽出した特徴点の距離を、撮像装置1によって認証対象の顔を撮像した距離画像から導出する。そして、導出した特徴点の位置及び距離を認証情報として記憶部103に記憶しておく。
図11は、第一例における情報処理の流れを示すフローチャートである。
情報処理部101は、情報処理の第一例として顔認証処理を実行する。第一例の顔認証処理においては、記憶部103には、予め認証対象の顔に関する認証情報が記憶されている。具体的には、情報処理部101は、撮像装置1によって認証対象の顔を撮像した可視画像から、顔の口、鼻、目などの特徴点の位置を抽出する。また、情報処理部101は、抽出した特徴点の距離を、撮像装置1によって認証対象の顔を撮像した距離画像から導出する。そして、導出した特徴点の位置及び距離を認証情報として記憶部103に記憶しておく。
情報処理部101は、顔認証処理を開始すると、ステップS1で、撮像装置1を制御して可視画像を取得する。ステップS2で情報処理部101は、取得した可視画像から人の顔を抽出する抽出処理を実行し、可視画像から顔が抽出されたかを判定する。
ステップS2において可視画像から顔が抽出されたと判定されなかった場合にはステップS1に処理を戻す。一方、ステップS2において可視画像から顔が抽出されたと判定された場合、ステップS3で情報処理部101は、撮像装置1を制御して距離画像を取得する。その後、ステップS4で情報処理部101は、取得した可視画像及び距離画像から、特徴点及び特徴点の距離を導出する。ステップS5で情報処理部101は、記憶部103に記憶された認証情報と、ステップS4で導出した特徴点及び特徴点の距離とを比較する認証処理を実行する。なお、認証処理は公知の手法を用いることができ、ここでの説明は省略する。
ステップS2において可視画像から顔が抽出されたと判定されなかった場合にはステップS1に処理を戻す。一方、ステップS2において可視画像から顔が抽出されたと判定された場合、ステップS3で情報処理部101は、撮像装置1を制御して距離画像を取得する。その後、ステップS4で情報処理部101は、取得した可視画像及び距離画像から、特徴点及び特徴点の距離を導出する。ステップS5で情報処理部101は、記憶部103に記憶された認証情報と、ステップS4で導出した特徴点及び特徴点の距離とを比較する認証処理を実行する。なお、認証処理は公知の手法を用いることができ、ここでの説明は省略する。
これにより、情報処理装置100では、撮像装置1を用いて高精度な顔認証処理を実行することができる。また、情報処理装置100は、顔が検出されるまで可視画像のみを撮像するため、処理負荷を低減することができる。
[4-3.第二例]
図12は、第二例における情報処理の流れを示すフローチャートである。
情報処理部101は、情報処理の第二例として監視処理を実行する。情報処理部101は、監視処理を開始すると、ステップS11で、撮像装置1を制御して距離画像を取得し、記憶部103に記憶する。なお、距離画像は、少なくとも前回撮像された距離画像が記憶部103に記憶されていればよく、新たな距離画像を記憶部103に記憶させる際に、既に記憶部103に記憶された距離画像を削除するようにしてもよい。
図12は、第二例における情報処理の流れを示すフローチャートである。
情報処理部101は、情報処理の第二例として監視処理を実行する。情報処理部101は、監視処理を開始すると、ステップS11で、撮像装置1を制御して距離画像を取得し、記憶部103に記憶する。なお、距離画像は、少なくとも前回撮像された距離画像が記憶部103に記憶されていればよく、新たな距離画像を記憶部103に記憶させる際に、既に記憶部103に記憶された距離画像を削除するようにしてもよい。
ステップS12で情報処理部101は、取得した距離画像と、記憶部103に記憶されている例えば前回の距離画像とを比較し、予め設定された差分が検出されたかを判定する。ここでは、例えば、2個の距離画像のそれぞれ対応する画素の距離情報に基づいて、何かしらの物体が新たに写り込んでいるかが判定される。
ステップS12において差分があると判定されなかった場合にはステップS11に処理を戻す。一方、ステップS12において差分があると判定された場合、ステップS13で情報処理部101は、撮像装置1を制御して可視画像を取得し、記憶部103に記憶する。
これにより、情報処理装置100では、何かしらの物体が新たに写り込んでいるとされるタイミングに亘って可視画像を記憶部103に記憶することができ、それ以外のタイミングで可視画像が記憶部103に記憶されないようにすることができる。よって、情報処理装置100は、記憶部103に記憶されるデータ容量を削減することができる。また、何かしらの物体が新たに写り込んでいないとされている間は距離画像のみが記憶部103に記憶されるため、可視画像が記憶される場合に比べて記憶される個人情報を減らすことができる。
[4-4.変形例]
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
第一例においては顔認証処理を実行し、第二例においては監視処理を実行するようにした。しかしながら、情報処理装置100は、撮像装置1で撮像される可視画像及び距離画像を使用した所定の処理を行うようにすれば、どのような処理を実行してもよい。
なお、実施形態としては上記により説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
第一例においては顔認証処理を実行し、第二例においては監視処理を実行するようにした。しかしながら、情報処理装置100は、撮像装置1で撮像される可視画像及び距離画像を使用した所定の処理を行うようにすれば、どのような処理を実行してもよい。
<5.実施形態のまとめ>
以上で説明したように実施形態としての撮像装置1は、互いに異なる波長域の光により光電変換を行う光電変換素子(例えば、有機光電変換素子30a、フォトダイオードPD)をそれぞれ有し、光入射方向に積層された複数の光電変換部(例えば、第1光電変換部30、第2光電変換部31)と、異なる光電変換部の光電変換素子に蓄積された電荷を保持する電荷保持部(例えば、フローティングディフュージョンFD)とを備えたものである。
これにより、積層された異なる光電変換部の光電変換素子に対して光電保持部を共有して使用することが可能となる。
従って、積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
以上で説明したように実施形態としての撮像装置1は、互いに異なる波長域の光により光電変換を行う光電変換素子(例えば、有機光電変換素子30a、フォトダイオードPD)をそれぞれ有し、光入射方向に積層された複数の光電変換部(例えば、第1光電変換部30、第2光電変換部31)と、異なる光電変換部の光電変換素子に蓄積された電荷を保持する電荷保持部(例えば、フローティングディフュージョンFD)とを備えたものである。
これにより、積層された異なる光電変換部の光電変換素子に対して光電保持部を共有して使用することが可能となる。
従って、積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
また、実施形態としての撮像装置においては、電荷保持部に蓄積された電荷をリセットする電荷リセット部(リセットトランジスタRST)を備えた構成にすることが考えられる。
これにより、電荷保持部に蓄積された電荷をリセットする電荷リセット部を共有して使用することが可能となる。
従って、積層された異なる光電変換部の光電変換素子ごとに電荷リセット部を設ける必要がなくなり、構成を簡素化することができる。
これにより、電荷保持部に蓄積された電荷をリセットする電荷リセット部を共有して使用することが可能となる。
従って、積層された異なる光電変換部の光電変換素子ごとに電荷リセット部を設ける必要がなくなり、構成を簡素化することができる。
さらに、実施形態としての撮像装置においては、電荷保持部は、異なる光電変換部において光入射方向に対向して配置される光電変換素子に蓄積された電荷を保持する構成とすることが考えられる。
これにより、対向して配置される光電変換素子は光入射方向に重なっているため、それぞれの光電変換部の画素のずれを低減することが可能である。
従って、取得された可視画像と距離画像との位置補正を行う必要がなく、その処理を行わない分だけ処理負荷を低減することができる。
また、位置補正を行うための処理装置を設ける必要がないため、構造を簡素化することができる。
これにより、対向して配置される光電変換素子は光入射方向に重なっているため、それぞれの光電変換部の画素のずれを低減することが可能である。
従って、取得された可視画像と距離画像との位置補正を行う必要がなく、その処理を行わない分だけ処理負荷を低減することができる。
また、位置補正を行うための処理装置を設ける必要がないため、構造を簡素化することができる。
さらに、実施形態としての撮像装置においては、光電変換部は、光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、第1光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた光電変換素子(例えば、有機光電変換素子30a)を有し、第2光電変換部は、光を受光して光電変換する無機材料を用いた光電変換素子(例えば、フォトダイオードPD)を有する構成とすることが考えられる。
これにより、第1光電変換部における透過光の減衰が少ないため、第2光電変換部における光電変換の効率(感度)を高めることが可能となる。
従って、第2光電変換部の光電変換素子において高精細の距離情報(距離画像)を取得することができる。
これにより、第1光電変換部における透過光の減衰が少ないため、第2光電変換部における光電変換の効率(感度)を高めることが可能となる。
従って、第2光電変換部の光電変換素子において高精細の距離情報(距離画像)を取得することができる。
さらに、実施形態としての撮像装置においては、第2光電変換部の光電変換素子に蓄積された電荷を排出する電荷排出部(例えば、OFゲートトランジスタOFG)を備えた構成とすることが考えられる。
これにより、第2光電変換部の光電変換素子に蓄積された電荷を精度良くリセットすることが可能となる。
従って、第2光電変換部の光電変換素子において高精細の距離情報(距離画像)を取得することができる。
これにより、第2光電変換部の光電変換素子に蓄積された電荷を精度良くリセットすることが可能となる。
従って、第2光電変換部の光電変換素子において高精細の距離情報(距離画像)を取得することができる。
さらに、実施形態としての撮像装置においては、光電変換部は、光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、第1光電変換部は、可視光を受光して光電変換する光電変換素子を有し、第2光電変換部は、赤外光を受光して光電変換する光電変換素子を有する構成とすることが考えられる。
これにより、第1光電変換部では第2光電変換部よりも光電変換の効率を高めることが可能となる。
従って、第1光電変換部の光電変換素子において高精細の可視情報を取得することができる。
これにより、第1光電変換部では第2光電変換部よりも光電変換の効率を高めることが可能となる。
従って、第1光電変換部の光電変換素子において高精細の可視情報を取得することができる。
さらに、実施形態としての撮像装置においては、第2光電変換部の光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部18を備えた構成とすることが考えられる。
これにより、可視光に基づく可視画像、及び、対象物までの距離を示す距離画像を取得することが可能となる。
従って、可視光に基づく可視画像、及び、対象物までの距離を示す距離画像を、簡素化な構成で取得することができる。
これにより、可視光に基づく可視画像、及び、対象物までの距離を示す距離画像を取得することが可能となる。
従って、可視光に基づく可視画像、及び、対象物までの距離を示す距離画像を、簡素化な構成で取得することができる。
さらに、実施形態としての撮像装置においては、第2光電変換部の光電変換素子は、第1光電変換部の光電変換素子よりも受光面積が大きい構成とすることが考えられる。
これにより、第1光電変換部よりも対象物から遠く光電効率が低い第2光電変換部において電荷量を多くすることが可能となる。
従って、第2光電変換部の光電変換素子において高精細の距離情報を取得することができる。
これにより、第1光電変換部よりも対象物から遠く光電効率が低い第2光電変換部において電荷量を多くすることが可能となる。
従って、第2光電変換部の光電変換素子において高精細の距離情報を取得することができる。
さらに、実施形態としての撮像装置においては、異なる光電変換部の光電変換素子に蓄積された電荷を異なるタイミングで電荷保持部に転送する駆動制御部を備えた構成とすることが考えられる。
これにより、積層された異なる光電変換部の光電変換素子で光電変換し生成された電荷を順次取得することが可能となる。
従って、積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
これにより、積層された異なる光電変換部の光電変換素子で光電変換し生成された電荷を順次取得することが可能となる。
従って、積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
以上で説明したように実施形態としての情報処理装置100は、画像を撮像する撮像装置と、画像装置で撮像された画像に基づいて処理を実行する情報処理部101とを備え、撮像装置は、互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、異なる光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えたものである。
これにより、積層された異なる光電変換部に対して光電保持部を共有して使用することが可能となる。
積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
これにより、積層された異なる光電変換部に対して光電保持部を共有して使用することが可能となる。
積層された異なる光電変換部の光電変換素子ごとに電荷保持部を設ける必要がなくなり、構成を簡素化することができる。
また、実施形態としての情報処理装置においては、光電変換部は、光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、第1光電変換部は、可視光を受光して光電変換する光電変換素子を有し、第2光電変換部は、赤外光を受光して光電変換する光電変換素子を有する構成とすることが考えられる。
これにより、可視光に基づく可視画像と、赤外光に基づく対象物までの距離を示す画像とに基づいて、処理を行うことが可能となる。
従って、第1光電変換部の光電変換素子において高精細の可視情報を取得することができる。
これにより、可視光に基づく可視画像と、赤外光に基づく対象物までの距離を示す画像とに基づいて、処理を行うことが可能となる。
従って、第1光電変換部の光電変換素子において高精細の可視情報を取得することができる。
さらに、実施形態としての情報処理装置においては、撮像装置は、第1光電変換部の光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、第2光電変換部の光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、情報処理部は、可視画像に基づいて、距離画像を撮像するかを決定する構成とすることが考えられる。
これにより、可視画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
従って、可視画像を取得する必要がない場合には、可視画像を取得しなくなるため、処理負荷を低減することができる。
これにより、可視画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
従って、可視画像を取得する必要がない場合には、可視画像を取得しなくなるため、処理負荷を低減することができる。
上記した本技術に係る情報処理装置においては、前記撮像装置は、第1光電変換部の光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、第2光電変換部の光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、情報処理部は、距離画像に基づいて、可視画像を撮像するかを決定する構成とすることが考えられる。
これにより、距離画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
従って、可視画像を取得する必要がない場合には、距離画像を取得しなくなるため、処理負荷を低減することができる。
これにより、距離画像に写る対象物によって距離画像を撮像するか否かを切り替えることが可能となる。
従って、可視画像を取得する必要がない場合には、距離画像を取得しなくなるため、処理負荷を低減することができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<6.本技術>
なお本技術は以下のような構成も採ることができる。
(1)
互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
撮像装置。
(2)
前記電荷保持部に蓄積された電荷をリセットする電荷リセット部を備えた
前記(1)に記載の撮像装置。
(3)
前記電荷保持部は、
異なる前記光電変換部において前記光入射方向に対向して配置される前記光電変換素子に蓄積された電荷を保持する
前記(1)又は(2)に記載の撮像装置。
(4)
前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた前記光電変換素子を有し、
前記第2光電変換部は、光を受光して光電変換する無機材料を用いた前記光電変換素子を有する
前記(1)から(3)の何れかに記載の撮像装置。
(5)
前記第2光電変換部の前記光電変換素子に蓄積された電荷を排出する電荷排出部を備えた
前記(4)に記載の撮像装置。
(6)
前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
前記第2光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
前記(1)から(5)の何れかに記載の撮像装置。
(7)
前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部を備えた
前記(6)に記載の撮像装置。
(8)
前記第2光電変換部の前記光電変換素子は、前記第1光電変換部の前記光電変換素子よりも受光面の面積が大きい
前記(6)又は(7)に記載の撮像装置。
(9)
異なる前記光電変換部の前記光電変換素子に蓄積された電荷を異なるタイミングで前記電荷保持部に転送する駆動制御部を備えた
前記(1)から(8)の何れかに記載の撮像装置。
(10)
画像を撮像する撮像装置と、
前記撮像装置で撮像された前記画像に基づいて所定の処理を実行する情報処理部とを備え、
前記撮像装置は、
互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
情報処理装置。
(11)
前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
前記第2光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
前記(10)に記載の情報処理装置。
(12)
前記撮像装置は、
前記第1光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
前記情報処理部は、前記可視画像に基づいて、前記距離画像を撮像するかを決定する
前記(11)に記載の情報処理装置。
(13)
前記撮像装置は、
前記第1光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
前記情報処理部は、前記距離画像に基づいて、前記可視画像を撮像するかを決定する
前記(11)に記載の情報処理装置。
なお本技術は以下のような構成も採ることができる。
(1)
互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
撮像装置。
(2)
前記電荷保持部に蓄積された電荷をリセットする電荷リセット部を備えた
前記(1)に記載の撮像装置。
(3)
前記電荷保持部は、
異なる前記光電変換部において前記光入射方向に対向して配置される前記光電変換素子に蓄積された電荷を保持する
前記(1)又は(2)に記載の撮像装置。
(4)
前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた前記光電変換素子を有し、
前記第2光電変換部は、光を受光して光電変換する無機材料を用いた前記光電変換素子を有する
前記(1)から(3)の何れかに記載の撮像装置。
(5)
前記第2光電変換部の前記光電変換素子に蓄積された電荷を排出する電荷排出部を備えた
前記(4)に記載の撮像装置。
(6)
前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
前記第2光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
前記(1)から(5)の何れかに記載の撮像装置。
(7)
前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部を備えた
前記(6)に記載の撮像装置。
(8)
前記第2光電変換部の前記光電変換素子は、前記第1光電変換部の前記光電変換素子よりも受光面の面積が大きい
前記(6)又は(7)に記載の撮像装置。
(9)
異なる前記光電変換部の前記光電変換素子に蓄積された電荷を異なるタイミングで前記電荷保持部に転送する駆動制御部を備えた
前記(1)から(8)の何れかに記載の撮像装置。
(10)
画像を撮像する撮像装置と、
前記撮像装置で撮像された前記画像に基づいて所定の処理を実行する情報処理部とを備え、
前記撮像装置は、
互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
情報処理装置。
(11)
前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
前記第2光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
前記(10)に記載の情報処理装置。
(12)
前記撮像装置は、
前記第1光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
前記情報処理部は、前記可視画像に基づいて、前記距離画像を撮像するかを決定する
前記(11)に記載の情報処理装置。
(13)
前記撮像装置は、
前記第1光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
前記情報処理部は、前記距離画像に基づいて、前記可視画像を撮像するかを決定する
前記(11)に記載の情報処理装置。
1 撮像装置
2 撮像部
3 発光部
4 制御部
5 画像処理部
6 メモリ
11 画素アレイ部
14 システム制御部
17 可視信号処理部
18 距離信号処理部
30 第1光電変換部
30a 有機光電変換素子
31 第2光電変換部
40 光電変換層
41 第1電極
42 電荷蓄積用電極
43 第2電極
100 情報処理装置
101 情報処理部
FD フローティングディフュージョン
OFG OFゲートトランジスタ
2 撮像部
3 発光部
4 制御部
5 画像処理部
6 メモリ
11 画素アレイ部
14 システム制御部
17 可視信号処理部
18 距離信号処理部
30 第1光電変換部
30a 有機光電変換素子
31 第2光電変換部
40 光電変換層
41 第1電極
42 電荷蓄積用電極
43 第2電極
100 情報処理装置
101 情報処理部
FD フローティングディフュージョン
OFG OFゲートトランジスタ
Claims (13)
- 互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
撮像装置。 - 前記電荷保持部に蓄積された電荷をリセットする電荷リセット部を備えた
請求項1に記載の撮像装置。 - 前記電荷保持部は、
異なる前記光電変換部において前記光入射方向に対向して配置される前記光電変換素子に蓄積された電荷を保持する
請求項1に記載の撮像装置。 - 前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、特定の波長域の光を受光して光電変換する有機材料を用いた前記光電変換素子を有し、
前記第2光電変換部は、光を受光して光電変換する無機材料を用いた前記光電変換素子を有する
請求項1に記載の撮像装置。 - 前記第2光電変換部の前記光電変換素子に蓄積された電荷を排出する電荷排出部を備えた
請求項4に記載の撮像装置。 - 前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
前記第2光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
請求項1に記載の撮像装置。 - 前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部を備えた
請求項6に記載の撮像装置。 - 前記第2光電変換部の前記光電変換素子は、前記第1光電変換部の前記光電変換素子よりも受光面積が大きい
請求項6に記載の撮像装置。 - 異なる前記光電変換部の前記光電変換素子に蓄積された電荷を異なるタイミングで前記電荷保持部に転送する駆動制御部を備えた
請求項1に記載の撮像装置。 - 画像を撮像する撮像装置と、
前記撮像装置で撮像された前記画像に基づいて所定の処理を実行する情報処理部とを備え、
前記撮像装置は、
互いに異なる波長域の光により光電変換を行う光電変換素子をそれぞれ有し、光入射方向に積層された複数の光電変換部と、
異なる前記光電変換部の前記光電変換素子に蓄積された電荷を保持する電荷保持部とを備えた
情報処理装置。 - 前記光電変換部は、前記光入射方向に沿って第1光電変換部及び第2光電変換部が順に積層され、
前記第1光電変換部は、可視光を受光して光電変換する前記光電変換素子を有し、
前記第2光電変換部は、赤外光を受光して光電変換する前記光電変換素子を有する
請求項10に記載の情報処理装置。 - 前記撮像装置は、
前記第1光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
前記情報処理部は、前記可視画像に基づいて、前記距離画像を撮像するかを決定する
請求項11に記載の情報処理装置。 - 前記撮像装置は、
前記第1光電変換部の前記光電変換素子によって光電変換された電荷に基づいて可視画像を生成する可視信号処理部と、
前記第2光電変換部の前記光電変換素子によって光電変換された電荷に基づいて、対象物までの距離を示す距離画像を生成する距離信号処理部とを備え、
前記情報処理部は、前記距離画像に基づいて、前記可視画像を撮像するかを決定する
請求項11に記載の情報処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020183642A JP2022073575A (ja) | 2020-11-02 | 2020-11-02 | 撮像装置及び情報処理装置 |
PCT/JP2021/036501 WO2022091698A1 (ja) | 2020-11-02 | 2021-10-01 | 撮像装置及び情報処理装置 |
US18/249,356 US20230387175A1 (en) | 2020-11-02 | 2021-10-01 | Imaging apparatus and information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020183642A JP2022073575A (ja) | 2020-11-02 | 2020-11-02 | 撮像装置及び情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022073575A true JP2022073575A (ja) | 2022-05-17 |
Family
ID=81382407
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020183642A Pending JP2022073575A (ja) | 2020-11-02 | 2020-11-02 | 撮像装置及び情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230387175A1 (ja) |
JP (1) | JP2022073575A (ja) |
WO (1) | WO2022091698A1 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006054252A (ja) * | 2004-08-10 | 2006-02-23 | Sony Corp | 固体撮像装置 |
JP5564847B2 (ja) * | 2009-07-23 | 2014-08-06 | ソニー株式会社 | 固体撮像装置とその製造方法、及び電子機器 |
JP2013070030A (ja) * | 2011-09-06 | 2013-04-18 | Sony Corp | 撮像素子、電子機器、並びに、情報処理装置 |
JP2018081946A (ja) * | 2016-11-14 | 2018-05-24 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置およびその製造方法、並びに電子機器 |
JP2019080245A (ja) * | 2017-10-26 | 2019-05-23 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び撮像装置 |
CN111373739B (zh) * | 2017-11-30 | 2023-04-07 | 索尼公司 | 成像装置、成像方法以及成像元件 |
-
2020
- 2020-11-02 JP JP2020183642A patent/JP2022073575A/ja active Pending
-
2021
- 2021-10-01 WO PCT/JP2021/036501 patent/WO2022091698A1/ja active Application Filing
- 2021-10-01 US US18/249,356 patent/US20230387175A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022091698A1 (ja) | 2022-05-05 |
US20230387175A1 (en) | 2023-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7301936B2 (ja) | 固体撮像素子およびその製造方法、並びに電子機器 | |
US10271037B2 (en) | Image sensors with hybrid three-dimensional imaging | |
US9490282B2 (en) | Photosensitive capacitor pixel for image sensor | |
JP6108172B2 (ja) | 固体撮像素子およびその製造方法、並びに電子機器 | |
US10403672B2 (en) | Solid-state imaging device with pixels having first and second photoelectric conversion units, driving method therefor, and electronic apparatus | |
US9601538B2 (en) | Image sensors with photoelectric films | |
US10186535B2 (en) | Image sensors with stacked photodiodes | |
TWI707464B (zh) | 影像感測器及其操作方法 | |
US10070079B2 (en) | High dynamic range global shutter image sensors having high shutter efficiency | |
US20210217787A1 (en) | Imaging device and electronic device | |
JP2015012127A (ja) | 固体撮像素子および電子機器 | |
TW201010418A (en) | Backside illuminated image sensor with global shutter and storage capacitor | |
US10075663B2 (en) | Phase detection pixels with high speed readout | |
KR102268707B1 (ko) | 이미지 센서 | |
US9825079B2 (en) | Photoelectric conversion device and imaging system | |
US20200296336A1 (en) | Imaging systems and methods for generating color information and pulsed light information | |
US20230047442A1 (en) | Solid-state imaging device and electronic device | |
WO2022091698A1 (ja) | 撮像装置及び情報処理装置 | |
US20150146062A1 (en) | Solid-state imaging device | |
US9761624B2 (en) | Pixels for high performance image sensor | |
US20210193701A1 (en) | Imaging systems and methods for generating image data in ambient light conditions | |
EP3579277A2 (en) | Image sensors and electronic devices including the same | |
US20210152770A1 (en) | Systems and methods for generating time trace information | |
TW202218105A (zh) | 感測器裝置及感測模組 |