KR20130137651A - 동일 프레임에 동일한 감광면에서 게이트-제어된 광과 비-게이트-제어된 광을 캡처하기 위한 방법 및 시스템 - Google Patents
동일 프레임에 동일한 감광면에서 게이트-제어된 광과 비-게이트-제어된 광을 캡처하기 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20130137651A KR20130137651A KR1020137015271A KR20137015271A KR20130137651A KR 20130137651 A KR20130137651 A KR 20130137651A KR 1020137015271 A KR1020137015271 A KR 1020137015271A KR 20137015271 A KR20137015271 A KR 20137015271A KR 20130137651 A KR20130137651 A KR 20130137651A
- Authority
- KR
- South Korea
- Prior art keywords
- gate
- period
- capture
- image
- during
- Prior art date
Links
- 238000003860 storage Methods 0.000 claims description 75
- 238000000034 method Methods 0.000 claims description 36
- 238000013500 data storage Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 5
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 claims description 4
- 229910052710 silicon Inorganic materials 0.000 claims description 4
- 239000010703 silicon Substances 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 2
- 229910044991 metal oxide Inorganic materials 0.000 claims description 2
- 150000004706 metal oxides Chemical class 0.000 claims description 2
- 229920000742 Cotton Polymers 0.000 claims 1
- 230000002045 lasting effect Effects 0.000 claims 1
- 210000004027 cell Anatomy 0.000 description 27
- 238000012546 transfer Methods 0.000 description 26
- 238000009792 diffusion process Methods 0.000 description 22
- 238000007667 floating Methods 0.000 description 20
- 238000005286 illumination Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 11
- 239000000758 substrate Substances 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000005684 electric field Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 230000000873 masking effect Effects 0.000 description 6
- 230000005693 optoelectronics Effects 0.000 description 6
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 229920005591 polysilicon Polymers 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010021033 Hypomenorrhoea Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005513 bias potential Methods 0.000 description 1
- 210000003850 cellular structure Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002019 doping agent Substances 0.000 description 1
- 238000000407 epitaxy Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000009416 shuttering Methods 0.000 description 1
- 235000012239 silicon dioxide Nutrition 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14806—Structural or functional details thereof
- H01L27/14812—Special geometry or disposition of pixel-elements, address lines or gate-electrodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
게이트-제어식 3D 카메라의 이미지 센서의 감광성 표면, 이하, 감광면이, 게이트-제어된 광과 비-게이트-제어된 광을 자신의 표면의 서로 다른 영역 상에서 동일한 프레임에서 획득하도록 제어된다. 감광면의 한 이미지 캡처 영역은 게이트-제어 주기 동안 게이트-제어된 광을 획득하고, 또 다른 이미지 캡처 영역은 이미지 캡처 목적으로 OFF 상태가 된다. 비-게이트-제어 주기 동안, 동일한 감광면의 나머지 이미지 캡처 영역이 비-게이트-제어된 광을 이미지 데이터로서 캡처한다. 일반적으로, 게이트-제어 주기 및 비-게이트-제어 주기는 동일한 프레임 주기 동안 인터리빙된다.
Description
게이트-제어식(gated) 3차원(3D) 카메라, 예를 들어, TOF(time-of-flight)(비행시간) 카메라는 장면(scene)을 조명(illuminate)하고 조명으로부터 반사된 광을 캡처함으로써, 장면 내 물체까지의 거리 측정치를 제공한다. 광의 캡처는 광을 수신하고 광을 나타내는 이미지 데이터를 저장하는 것을 말한다. 거리 측정치는 장면의 3D 이미지가 생성되는 장면의 깊이 맵(depth map)을 구성한다.
게이트-제어식 3D 카메라는 일반적으로 광 펄스의 트레인으로 장면을 조명하기 위한 광원을 포함한다. 상기 게이트-제어식 3D 카메라는 이하에서 "감광면(photosurface)"이라 하는 감광성 표면을 갖는 이미지 센서를 더 포함한다. 상기 감광면은 종래에 픽셀이라고 일컬어진 감광성 즉 광 감응성 센서 및 감지되는 이미지 데이터를 저장하기 위한 저장 매체를 포함한다.
일부 게이트-제어식 3D 카메라에서, 거리 측정치는 광이 카메라의 감광면에서 캡처되는지 여부와, 광 전송과 감광면에 의해 캡처되는 장면으로부터의 반사 사이에 소요되는 시간에만 기초한다. 그 밖의 다른 게이트-제어식 3D 카메라에서, 게이트-제어된 광(gated light)이라고 불리는 광의 양이 감광면에 의해 캡처되고 일반적으로 물체로부터 반사된 광의 총량을 캡처하는 비-게이트-제어된 광(ungated light)이라고 불리는 그 밖의 다른 측정치를 이용한 정규화를 통해 물체의 반사율, 암전류, 배경 광에 대해 교정(correct)된다. 하나의 예를 들면, 정규화는 게이트-제어된 측정치를 비-게이트-제어된 측정치로 나눠서, 깊이 맵을 위해 사용되는 정규화된 게이트-제어된 광 측정치를 생성한다.
이동하는 물체까지의 거리를 결정하기 위해 시간상 서로 가까운 게이트-제어된 광과 비-게이트-제어된 광을 캡처하는 것이 거리 측정치의 정확도를 개선시킨다. 종래에, 2개의 감광면이 딜레이 시간을 감소시키기 위해 사용되었다. 하나의 감광면이 게이트-제어된 광을 획득하는 동안 또 다른 감광면이, 실질적으로 동시에 비-게이트-제어된 광을 획득한다. 또 다른 경우, 게이트-제어된 광과 비-게이트-제어된 광이 동일한 감광면의 상이한 프레임에 캡처되어, 프레임 리드아웃 시간 주기와 적어도 동일한 딜레이 시간을 야기한다. 한 장면에서 이동하는 물체의 경우, 게이트-제어된 광과 비-게이트-제어된 광의 프레임의 획득 시점 간 딜레이가 "오정합(mismatch)"을 초래할 수 있는데, 여기서 감광면의 동일한 광 감응성 픽셀이 장면 내 동일한 물체가 아니라 서로 다른 물체로부터, 또는 카메라로부터 서로 다른 거리에 있는 동일한 물체로부터 게이트-제어된 광과 비-게이트-제어된 광을 캡처한다. 이러한 오정합은 픽셀이 제공하는 이미지로부터 결정되는 거리 측정에서 오류를 야기한다.
개요
감광면의 동일한 프레임 주기에서 한 장면으로부터 게이트-제어된 광(gated light)과 비-게이트-제어된 광(ungated light)을 캡처하도록 이미지 센서의 감광면을 제어하기 위한 기법이 제공된다. 상기 기법의 하나의 실시예는 시스템을 제공하며, 상기 시스템은 감광면 상에 적어도 제 1 이미지 캡처 영역과 상기 동일한 감광면 상에 적어도 제 2 이미지 캡처 영역을 포함하는 이미지 센서의 감광면을 포함한다. 게이트-제어된 광이 캡처되는 게이트-제어 주기 동안, 제 2 이미지 캡처 영역은 이미지 데이터가 캡처되지 않는, 즉, 수신되고 저장되지 않는 OFF 상태이다. 제어 회로는 이 주기 동안 제 1 이미지 캡처 영역에 의한 게이트-제어된 광의 캡처를 제어한다. 비-게이트-제어된 광이 캡처되는 비-게이트-제어 주기 동안, 제 1 이미지 캡처 영역이 OFF 상태이고, 제어 회로는 이 주기 동안 제 2 이미지 캡처 영역의 비-게이트-제어된 광의 캡처를 제어한다. 또 다른 시스템 실시예에서, 이미지 캡처 영역은 광 감지 픽셀 요소, 본원에서 포토픽셀의 라인의 각자의 세트와, 상기 포토픽셀에 의해 감지되는 광을 이미지 데이터로서 저장하기 위한 각자의 이미지 데이터 저장 매체를 포함한다.
일반적으로, 게이트-제어 주기와 비-게이트 제어 주기는 동일한 프레임 주기 동안 인터리빙되며, 이는 장면 내 움직이는 동일한 물체에 대한 게이트-제어된 광과 비-게이트-제어된 광 간 획득 딜레이를 더 최소화한다. 본 기법의 또 다른 실시예는 인터리빙된 게이트-제어된 광과 비-게이트 제어된 광을 한 장면으로부터 동일한 감광면 상에서 동일한 주기에서 캡처하는 방법을 제공한다. 방법의 실시예에서, 10마이크로초 이하의 지속시간을 갖는 게이트-제어 주기 동안 게이트-제어된 광은 제 1 이미지 캡처 영역에 의해 캡처되고, 제 2 이미지 캡처 영역은 OFF 상태로 만들어진다. 마찬가지로, 상기 방법은 약 10마이크로초의 지속시간을 갖는 비-게이트-제어 주기 동안 제 1 이미지 캡처 영역에 의한 비-게이트-제어된 광을 캡처한다. 감광면은 1 또는 2마이크로초 내에 게이트-제어된 광의 캡처와 비-게이트-제어된 광의 캡처를 교대하도록 제어된다.
본 기법의 실시예는 또한 감광면의 각자의 캡처 영역을 ON 상태와 OFF 상태 사이에서 게이트-제어하며, 영역은 각자의 게이트-제어 주기 또는 비-게이트 제어 주기 내에 광을 캡처한다. 앞서 언급된 것처럼, 장면을 조명하기 위해 광 펄스의 트레인이 사용될 수 있다. 게이트-제어 주기는 게이트라고도 불리는 하나 이상의 숏 캡처 주기를 포함한다. 하나의 실시예에서, 각각의 숏 캡처 주기는 약 광 펄스의 펄스 폭만큼 지속되도록 설정된다. 예시적 펄스 폭은 10 또는 20ns일 수 있다. 마찬가지로, 비-게이트-제어 주기는 하나 이상의 롱 캡처 주기를 포함하고, 각각의 롱 캡처 주기는 각각의 숏 캡처 주기보다 길다. 비-게이트-제어 주기 동안 비-게이트-제어된 광의 이미지 캡처 영역은, 게이트-제어된 광 이미지 데이터의 정규화(normalization)를 위해, 장면에 의해 펄스로부터 반사되어 비-게이트-제어 이미지 캡처 영역에 도달하는 모든 광을 캡처하려 시도한다. 숏 캡처 주기의 10ns 펄스 폭의 예시에서, 대응하는 롱 캡처 주기는 약 30ns일 수 있다. 마찬가지로, 20ns 펄스 폭의 경우, 대응하는 롱 캡처 주기는 약 60ns일 수 있다.
본 기법은 3D 카메라, 가령, 3D 비행시간 카메라(time-of-flight camera) 내에서 작동할 수 있다.
이 개요는 이하의 구체적인 내용에서 더 설명될 개념의 집합을 단순화된 형태로 소개하기 위해 제공된다. 이 개요는 청구되는 발명의 내용의 핵심 특징부 또는 필수 특징부를 식별하려는 것이 아니고, 청구되는 발명의 범위를 결정하고자 하는 것도 아니다.
본 명세서에 따라, 동일한 프레임 주기에서 게이트-제어된 광과 비-게이트-제어된 광을 캡처하기 위해 감광면을 제어하기 위한 기술은 첨부된 도면을 참조하여 더 설명된다.
도 1은 본 기술의 실시예가 작동할 수 있는 표적 인식, 분석, 및 추적 시스템의 예시적 실시예를 도시한다.
도 2는 본 기술의 실시예가 작동할 수 있는 표적 인식, 분석, 및 추적 시스템에서 사용될 수 있는 캡처 장치의 일례의 블록도를 도시한다.
도 3은 장면까지의 거리를 측정하기 위해 사용될 수 있는 게이트-제어식 3D 카메라의 하나의 실시예를 개략적으로 도시한다.
도 4는 게이트-제어 주기 동안 사용되기 위한 것과 비-게이트-제어 주기 동안 사용되기 위한 것의 적어도 2개의 이미지 캡처 영역을 포함하는 이미지 센서의 감광면을 제어하기 위한 시스템의 일례를 도시한다.
도 5는 한 장면으로부터 인터리빙된 게이트-제어된 광과 비-게이트 제어된 광을 동일한 감광면에서 동일한 프레임 주기에서 캡처하기 위한 방법의 하나의 실시예의 흐름도이다.
도 6a는 비-게이트-제어 주기의 롱 캡처 주기 동안의 인터라인 전하 결합 소자(CCD) 감광면 실시예의 일부분의 고도로 단순화된 단면도를 개략적으로 도시한다.
도 6b는 동일한 비-게이트-제어 주기 내의, 그러나 롱 캡처 주기 외의 주기에서의 도 6a의 인터라인 CCD 감광면 실시예의 일부분의 고도로 단순화된 단면도를 개략적으로 도시한다.
도 7은 게이트-제어 주기 동안 광을 캡처하기 위한 것과 비-게이트-제어 주기 동안 광을 캡처하기 위한 것의 적어도 2개의 이미지 캡처 영역을 포함하는 상보적 금속 옥사이드 실리콘(CMOS) 감광면을 제어하기 위한 시스템 실시예를 도시한다.
도 8a는 CMOS 포토게이트 픽셀이 형성되는 전하 감지 요소를 포함하는 기본 유닛 셀의 아키텍처의 실시예를 도시하는 조감도이다.
도 8b는 도 8a의 X-X 선을 따르는 전하 감지 요소 실시예들 중 하나의 횡단면도이다.
도 8c는 도 8a의 Y-Y 선을 따르는 전화 감지 요소 실시예들 중 하나의 횡단면도이다.
도 8d는 도 8a의 기본 유닛 셀 실시예와 함께 사용되기 위한 셀 제어 및 판독출력 회로의 일례를 도시한다.
도 9는 2개의 기본 유닛 셀을 포함하는 기본 픽셀 빌딩 블록의 하나의 실시예를 개략적으로 도시한다.
도 10은 도 8a의 기본 유닛 셀 실시예에 대한 예시적 타이밍도이다.
도 1은 본 기술의 실시예가 작동할 수 있는 표적 인식, 분석, 및 추적 시스템의 예시적 실시예를 도시한다.
도 2는 본 기술의 실시예가 작동할 수 있는 표적 인식, 분석, 및 추적 시스템에서 사용될 수 있는 캡처 장치의 일례의 블록도를 도시한다.
도 3은 장면까지의 거리를 측정하기 위해 사용될 수 있는 게이트-제어식 3D 카메라의 하나의 실시예를 개략적으로 도시한다.
도 4는 게이트-제어 주기 동안 사용되기 위한 것과 비-게이트-제어 주기 동안 사용되기 위한 것의 적어도 2개의 이미지 캡처 영역을 포함하는 이미지 센서의 감광면을 제어하기 위한 시스템의 일례를 도시한다.
도 5는 한 장면으로부터 인터리빙된 게이트-제어된 광과 비-게이트 제어된 광을 동일한 감광면에서 동일한 프레임 주기에서 캡처하기 위한 방법의 하나의 실시예의 흐름도이다.
도 6a는 비-게이트-제어 주기의 롱 캡처 주기 동안의 인터라인 전하 결합 소자(CCD) 감광면 실시예의 일부분의 고도로 단순화된 단면도를 개략적으로 도시한다.
도 6b는 동일한 비-게이트-제어 주기 내의, 그러나 롱 캡처 주기 외의 주기에서의 도 6a의 인터라인 CCD 감광면 실시예의 일부분의 고도로 단순화된 단면도를 개략적으로 도시한다.
도 7은 게이트-제어 주기 동안 광을 캡처하기 위한 것과 비-게이트-제어 주기 동안 광을 캡처하기 위한 것의 적어도 2개의 이미지 캡처 영역을 포함하는 상보적 금속 옥사이드 실리콘(CMOS) 감광면을 제어하기 위한 시스템 실시예를 도시한다.
도 8a는 CMOS 포토게이트 픽셀이 형성되는 전하 감지 요소를 포함하는 기본 유닛 셀의 아키텍처의 실시예를 도시하는 조감도이다.
도 8b는 도 8a의 X-X 선을 따르는 전하 감지 요소 실시예들 중 하나의 횡단면도이다.
도 8c는 도 8a의 Y-Y 선을 따르는 전화 감지 요소 실시예들 중 하나의 횡단면도이다.
도 8d는 도 8a의 기본 유닛 셀 실시예와 함께 사용되기 위한 셀 제어 및 판독출력 회로의 일례를 도시한다.
도 9는 2개의 기본 유닛 셀을 포함하는 기본 픽셀 빌딩 블록의 하나의 실시예를 개략적으로 도시한다.
도 10은 도 8a의 기본 유닛 셀 실시예에 대한 예시적 타이밍도이다.
감광면(photosurface)은 동일한 프레임 주기(frame period) 동안 자신의 표면의 서로 다른 캡처 영역에서 게이트-제어된(gated) 광과 비-게이트-제어된(ungated) 광을 모두 캡처한다. 이하의 실시예에서 나타나는 바와 같이, 게이트-제어된 광을 이미징하는 주기와 비-게이트-제어된 광을 이미징하는 주기 간의 시간 딜레이가 프레임을 획득하기 위해 필요한 시간보다 실질적으로 짧다. 예를 들어, 일부 실시예에서, 딜레이는 약 1 마이크로초(microsecond) 수준이며, 프레임 주기는 수 밀리초(millisecond)(ms)의 수준이다. 예를 들어, 통상의 프레임 주기는 25 내지 30ms이며, 반면에 게이트-제어 주기와 비-게이트-제어 주기 간의 전환 딜레이는 약 1 또는 2마이크로초이며, 각각의 게이트-제어 주기와 비-게이트-제어 주기는 약 10마이크로초이다.
감광면은 적어도 2개의 이미지 캡처 영역, 즉, 게이트-제어된 광을 캡처하기 위한 것과 비-게이트-제어된 광을 캡처하기 위한 것을 포함한다. 이미지 캡처 영역은 많은 모양 및 형태를 취할 수 있다. 예를 들어, 이미지 캡처 영역은 인터라인 CCD(interline CCD)의 라인의 세트일 수 있다. 그 밖의 다른 실시예에서, 캡처 영역은 서로 다른 기하 형태, 가령, 육각형, 정사각형, 직사학형, 등을 취할 수 있다.
3D로 이동하는 표적을 추적하는 것은 게이트-제어식 3D 카메라의 일반적인 적용예이다. 도 1은 본 발명의 기법에 의해 제공되는 고속 게이팅 감광면이 유용할 수 있는 맥락적 예시를 제공한다. 도 1은 동일한 프레임에서 게이트-제어된 광과 비-게이트-제어된 광을 캡처하기 위해 감광면을 제어하는 기술 실시예가 동작할 수 있는 표적 인식, 분석, 및 추적 시스템(10)의 하나의 예시적 실시예를 도시한다. 표적 인식, 분석, 및 추적 시스템(10)은 인간 표적, 가령, 사용자(18)를 인식, 분석, 및/또는 추적하도록 사용될 수 있다. 표적 인식, 분석, 및 추적 시스템(10)의 실시예는 게임 또는 그 밖의 다른 애플리케이션을 실행하기 위한 컴퓨팅 환경(12)과, 게임 또는 그 밖의 다른 애플리케이션에서 오디오 및 비주얼 표현(audio 및 visual representation)을 제공하기 위한 시청각 장치(16)를 포함한다. 상기 시스템(10)은 사용자에 의해 수행되는 위치 및 움직임을 3D로 캡처하기 위한 캡처 장치(20)를 더 포함하며, 컴퓨팅 환경(12)이 게임 또는 그 밖의 다른 애플리케이션을 제어하기 위해 상기 위치 및 움직임을 수신, 해석, 및 사용한다.
예시적 실시예에서, 컴퓨팅 환경(12)에서 실행되는 애플리케이션은 실시간 상호대화를 이용하는 게임, 가령, 사용자가 플레이할 수 있는 권투 게임일 수 있다. 예를 들어, 컴퓨팅 환경(12)은 사용자(18)의 권투 상대(15)의 시각적 표현을 제공하기 위해 시청각 장치(16)를 이용할 수 있다. 또한 상기 컴퓨팅 환경(12)은 사용자(18)가 자신의 움직임으로 제어할 수 있는 플레이어 아바타(13)의 시각적 표현을 제공하기 위해 시청각 장치(16)를 이용할 수 있다. 예를 들어, 사용자(18)는 물리적 공간에서 펀치(punch)을 휘둘러서, 플레이어 아바타(13)가 게임 공간에서 펀치를 휘두르게 할 수 있다. 따라서 예시적 실시예에 따르면, 캡처 장치(20)는 본원에 기재된 기술을 이용해 물리적 공간에서의 펀치의 3D 표현을 캡처한다. 표적 인식, 분석, 및 추적 시스템(10)의 캡처 장치 내 프로세서(도 2 참조) 및 컴퓨팅 환경(12)이 사용되어, 물리적 공간에서의 사용자(18)의 펀치를 인식 및 분석하여, 펀치가 게임 공간에서 실시간으로 플레이어 아바타(13)의 제스처(gesture) 또는 게임 제어로서 해석될 수 있도록 한다.
도 2는 표적 인식, 분석, 및 추적 시스템(10)에서 사용될 수 있는 캡처 장치(20)의 일례의 블록도를 도시한다. 예시적 실시예에서, 캡처 장치(20)는 임의의 적합한 기법을 통해, 가령, 비행시간(time-of-flight), 구조광(structured light), 스테레오 이미지(stereo image), 등을 통해, 깊이 값을 포함할 수 있는 깊이 이미지를 갖는 비디오를 캡처하도록 구성될 수 있다. 하나의 실시예에 따르면, 캡처 장치(20)는 계산된 깊이 정보를 "Z 레이어(Z layer)", 또는, 깊이 카메라로부터 이의 광축(optic axis)을 따라 뻗어 있는 Z축에 수직인 레이어로 조직할 수 있다.
도 2에 도시된 것처럼 하나의 예시적 실시예에 따라, 이미지 캡처 장치(20)는 IR 조명 구성요소(24), 3차원(3D) 카메라(26), 및 RGB 카메라(28)을 포함할 수 있고 장면의 깊이 이미지를 획득하도록 사용될 수 있는 이미지 카메라 구성요소(22)를 포함한다. 예를 들어, 상기 RGB 카메라는 콘트라스트 이미지(contrast image)를 캡처할 수 있다. 비행 시간 분석에서, 캡처 장치(20)의 IR 조명 구성요소(24)는 적외선 광 펄스를 상기 장면으로 발산할 수 있고, 그 후 카메라(26)의 감광면 상의 센서를 이용해 상기 장면 내 하나 이상의 표적과 물체들의 표면으로부터 후방산란되는 광을 검출하여 깊이 이미지를 획득할 수 있다.
하나의 실시예에서, 캡처 장치(20)는 이미지 카메라 구성요소(22)와 동작 가능하게 통신할 수 있는 프로세서(32)를 더 포함할 수 있다. 상기 프로세서(32)는 표준 프로세서, 특수 프로세서, 마이크로프로세서, 또는 깊이 이미지를 수신하기 위한 명령, 적합한 표적이 깊이 이미지에 포함될 수 있는지 여부를 결정하기 위한 명령, 적합한 표적의 이미지를 표적의 골격 표현(skeletal representation) 또는 모델로 변환하기 위한 명령, 또는 그 밖의 다른 임의의 적합한 명령을 실행할 수 있는 이와 유사한 프로세서를 포함할 수 있다. 덧붙이자면, 도 3에 도시된 것처럼, 프로세서(32)는 하드웨어, 펌웨어, 또는 소프트웨어 신호일 수 있는 프레임 메시지의 시작과 종료를 전송할 수 있다.
캡처 장치(20)는 프로세서(32)에 의해 실행될 수 있는 명령, 3D 카메라 또는 RGB 카메라에 의해 캡처되는 이미지 또는 이미지의 프레임, 또는 임의의 그 밖의 다른 적합한 정보, 이미지, 등등을 저장할 수 있는 메모리 구성요소(34)를 더 포함할 수 있다. 예시적 실시예에 따르면, 메모리 구성요소(34)는 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM), 캐시, 플래시 메모리, 하드 디스크, 또는 그 밖의 다른 임의의 적합한 저장 구성요소를 포함할 수 있다. 도 2에 도시된 것처럼, 하나의 실시예에서, 메모리 구성요소(34)는 이미지 카메라 구성요소(22) 및 프로세서(32)와 통신하는 개별 구성요소일 수 있다. 또 다른 실시예에 따르면, 메모리 구성요소(34)는 프로세서(32) 및/또는 이미지 카메라 구성요소(22)로 일체 구성될 수 있다.
도 2에 도시된 것처럼, 캡처 장치(20)는 통신 링크(36)를 통해 컴퓨팅 환경(12)과 통신할 수 있다. 상기 통신 링크(36)는 유선 연결, 가령, USB 연결, 파이어와이어(Firewire) 연결, 이더넷 케이블(Ethernet cable) 연결, 또는 등등 및/또는 무선 연결, 가령, 무선 802.11b, g, a, 또는 n 연결일 수 있다.
덧붙여, 캡처 장치(20)는 예를 들어 3D 카메라(26) 및 RGB 카메라(28)에 의해 캡처되는 깊이 정보 및 이미지를 제공할 수 있고, 캡처 장치(20)에 의해 생성될 수 있는 골격 모델(skeletal model)이 통신 링크(36)를 통해 컴퓨팅 환경(12)으로제공될 수 있다. 다양한 종래 기술이 캡처 장치(20)에 의해 검출되는 표적 또는 물체가 인간 표적에 대응하는지 여부를 결정하도록 존재한다. 골격 매핑 기법은 사용자의 골격에서의 다양한 신체 부분을 결정하도록 사용될 수 있다. 그 밖의 다른 기법으로는, 이미지를 사람의 신체 모델 표현(body model representation)으로 변환하는 기법과 이미지를 사람의 메쉬 모델 표현(mesh model representation)으로 변환하는 기법이 있다.
그 후 컴퓨팅 환경이 골격 모델을 추적하고 상기 골격 모델과 연관된 아바타를 렌더링할 수 있도록, 골격 모델은 컴퓨팅 환경(12)으로 제공될 수 있다. 제스처 인식 엔진 소프트웨어(190)의 제어 하에서, 컴퓨팅 환경(12)은 예를 들어, 골격 모델의 일부분의 3차원 움직임으로부터 인식된 사용자의 제스처를 바탕으로 하여, 컴퓨팅 환경에서 실행 중인 애플리케이션에서 어떤 제어가 수행될지를 더 결정할 수 있다.
도 3은 물체(131 및 132)로 개략적으로 표현되는 물체를 갖는 장면(130)까지의 거리를 측정하도록 사용될 수 있는 게이트-제어식(gated) 3D 이미지 카메라 구성요소(22)의 하나의 실시예를 개략적으로 도시한다. 개략적으로 표현된 카메라 구성요소(22)는 렌즈(121)로 표현된 렌즈 시스템, 상기 렌즈 시스템이 장면을 이미징하는 적어도 2개의 캡처 영역을 갖는 감광면(300), 및 적합한 광원(24)을 포함한다. 도 4의 CCD 실시예와 도 7의 CMOS 실시예에 대한 서로 다른 이미지 캡처 영역의 실시예가 이하에서 나타나고 설명된다. 적합한 광원의 일부 예로는 제어 회로(124)에 의해 광의 펄스로 장면(130)을 조명하도록 제어 가능한 레이저 또는 LED, 또는 레이저 및/또는 LED의 어레이가 있다.
광원(24)의 펄스화 및 감광면(300)의 서로 다른 이미지 캡처 영역의 게이트화는 동기되고 제어 회로(124)에 의해 제어된다. 하나의 실시예에서, 제어 회로(124)는 클록 로직(clock logic)을 포함하거나 클록을 액세스하여 동기화에 필요한 타이밍을 생성할 수 있다. 상기 제어 회로(124)는 예를 들어, 지정된 펄스 폭에서 광원(24)을 구동시키도록 전자 회로를 구동하는 전류 또는 전압을 이용하는 레이저 또는 LED 드라이브 회로를 포함한다. 상기 제어 회로(124)는 또한, 전력 공급장치(도시되지 않음) 및 필요에 따라 서로 다른 전압 레벨을 생성하기 위한 로직을 액세스한다. 이에 추가로, 또는 이를 대체하여, 제어 회로(124)는 서로 다른 전압 레벨을 액세스하고, 각자의 이미지 캡처 영역을 턴온 또는 턴오프하기 위한 서로 다른 전압 레벨을 인가할 타이밍과 전도 경로를 결정하기 위한 로직을 가진다.
장면(130)의 3D 이미지를 획득하기 위해, 제어 회로(1214)는, 장면(130)을 조명하기 위해, 개략적으로 펄스 폭을 갖는 사각 광 펄스(141)의 트레인(140)으로 표현되는 광 펄스의 트레인을 발산하도록 광원(24)을 제어한다. 일반적으로 광원은 단일 광 펄스로는 충분한 에너지를 제공하지 않을 수 있기 때문에, 광 펄스로부터 충분한 광이 장면 내 물체에 의해 반사되고, 다시 카메라로 되돌아 가서, 물체까지의 만족스러운 거리 측정치를 제공하기 위해 광 펄스의 트레인이 사용된다. 광 펄스의 강도(intensity), 및 광 펄스 트레인 내 광 펄스의 수는, 트레인 내 모든 광 펄스로부터 캡처된 반사광의 크기가 장면 내 물체까지의 만족스러운 거리 측정치를 제공하기에 충분하도록 설정된다. 일반적으로, 복사 광 펄스는 적외선(IR) 또는 근적외선(NIR) 광 펄스이다.
게이트되는 주기 동안, 숏 캡처 주기(short capture period)가 펄스 폭과 거의 동일한 지속시간일 수 있다. 하나의 예를 들면, 상기 숏 캡처 주기는 10-15ns일 수 있고, 펄스 폭은 약 10ns일 수 있다. 이 예시에서, 롱 캡처 주기(long capture period)는 30-45ns일 수 있다. 또 다른 예에서, 숏 캡처 주기는 20ns이고, 롱 캡처 주기는 약 60ns일 수 있다. 이들 주기는 예에 불과하며, 실시예에서 시간 주기는 이들 범위 및 값외의 것일 수 있다.
각각의 광 펄스(141)의 발산 시간 후 지정 타임 랩스(time lapse) 또는 딜레이, T 후, 제어 회로(124)는 게이트-제어된 또는 비-게이트-제어 주기가 시작하는지 여부에 따라, 감광면(300)의 각자의 이미지 캡처 영역을 켜거나 게이트 온(gate ON)한다. 예를 들어, 라인(304) 및 라인(305)이 이미지 캡처 영역들 중 하나를 형성하는 교대하는 라인들의 동일한 세트에 포함될 수 있다. (가령, 도 7을 참조.) 또 다른 예를 들면, 라인(304 및 305)이 서로 다른 라인 세트에 속할 수 있고, 각각의 라인 세트가 서로 다른 이미지 캡처 영역을 형성한다. (가령, 도 4를 참조.) 이미지 캡처 영역이 게이트 온될 때, 광 감응성 또는 광 감지 요소, 가령, 포토픽셀이 광을 캡처한다. 광의 캡처는 광을 수신하고 광의 전기적 표현을 저장하는 것을 일컫는다.
하나의 예를 들면, 게이트되는 주기의 펄스 각각에 대해, 제어 회로(124)는 숏 캡처 주기를 광 펄스 폭과 동일한 지속시간(duration)이도록 설정한다. 상기 광 펄스 폭, 숏 캡처 주기 지속시간, 및 딜레이 시간 T는 최소 및 최대 경계 거리에 의해 한정되는 장면(130)의 공간적 "이미징 슬라이스(imaging slice)"를 정의한다. 카메라는 하한 거리와 상한 거리 사이에 위치하는 장면의 물체에 대해서만 게이트-제어 캡처 주기 동안 장면으로부터 반사된 광을 캡처한다. 비-게이트-제어 주기 동안, 카메라는 게이트-제어된 광 이미지 데이터의 정규화를 위해 펄스로부터 장면에 의해 반사되어 카메라에 도달하는 모든 광을 캡처하려 시도한다.
광 펄스(141)로부터 장면(130) 내 물체에 의해 반사된 광은 장면(130)의 몇 개의 영역(131 및 132)에 대해 광 펄스(146)의 트레인(145)으로 개략적으로 표현된다. 이미징 슬라이스 내에 위치하는 장면(130) 내 물체로부터 반사된 광 펄스(146)가 렌즈 시스템(121)에 의해 포커싱되고 감광면(300)의 게이트 온(ON)된 영역의 광 감응성 픽셀(즉 포토픽셀)(302) 상에 이미징된다. 반사된 펄스 트레인(145)으로부터의 광의 양은 감광면(300)의 포토픽셀(302) 상으로 이미징되고, 캡처 주기 동안 장면의 3D 이미지를 제공하기 위해, 장면(130)까지의 거리를 결정하는 데 사용되도록 저장된다.
이 예에서, 제어 회로(124)는 이미지 캡처 장치(20)의 프로세서(32)와 통신 가능하게 연결되어, 프레임 타이밍 및 프레임 전송과 관련된 메시지를 전달할 수 있다. 프레임 캡처 주기가 종료되면, 감광면(300)에 의해 캡처되고 저장된 이미지 데이터가 추가 프로세싱을 위해, 가령, 도 2에 도시된 표적 인식, 분석 및 추적 시스템(10)의 프로세서(32) 및 컴퓨팅 환경(12)에 의해 추가 프로세싱을 위해, 메모리(34) 내 프레임 버퍼로 판독출력(readout)된다.
도 4는 교대하는 라인의 세트로서 적어도 2개의 이미지 캡처 영역을 포함하는 인터라인 CCD 감광면(400)을 제어하는 시스템의 일례를 도시한다. 이 시스템은 도 3에 도시된 시스템에서 사용될 수 있다. 이 실시예에서, CCD 감광면(400)은 선형 어레이로 저장 픽셀(403)과 정렬되는 광 감응성 픽셀 즉 포토픽셀(402)을 포함한다. 이 예에서, 영역은 포토픽셀(416) 및 이들의 동반되는 저장 픽셀(417)의 홀수 넘버링된 라인을 포함하는 비-게이트-제어된 캡처 영역과, 포토픽셀(418) 및 이들의 동반되는 저장 픽셀(419)의 짝수 넘버링된 라인을 포함하는 게이트-제어된 캡처 영역이다.
포토픽셀(402)은 광을 감지하고, 감광면의 캡처 주기 동안, 감광면으로 입사되는 광은 포토픽셀에서 광전하(photocharge)를 생성한다. 저장 픽셀은 광에 감응하지 않고, 감광면으로 입사하는 광은 저장 픽셀에서 광전하를 생성하지 않는다. 저장 픽셀은 감광면의 캡처 주기 동안 포토픽셀에 생성된 광을 축적 및 저장하도록 사용된다. 이 실시예에서, 저장 픽셀(403)의 라인 각각은 수직 레지스터(vertical register)로서 간주될 수 있다. 저장 픽셀(403)은, 저장 픽셀의 라인 각각을, 프레임 퍼버(34)로 전송하기 위해 직렬로 판독 출력하는 수평 시프트 레지스터(horizontal shift register)(404)를 액세스한다.
저장 픽셀의 라인 각각과, 포토픽셀 라인 각각은 그들 고유의 전극(도 6a 및 6b에서 631 및 641 참조)을 포함한다. 포토픽셀 및 저장 픽셀의 기능은 그들 각자의 전극으로의 전압을 제어함으로써 제어된다. 제어 회로(124)는 광원(24)과 함께 광 펄스(141)를 생성한다. 이 예시에서 제어 회로(124)는 전압(가령, Vevenl(428), Vevens(426), Voddl(427), Vodds(425), 및 Vsub(424))을 이용해, 게이트-제어 주기(422) 동안 하나의 이미지 캡처 영역이 펄스(141)로부터 반사된 광을 캡처하도록 하고, 또 비-게이트-제어 캡처 주기(420) 동안 또 다른 이미지 캡처 영역이 펄스(141)로부터 반사된 광(146)을 캡처하도록 한다. 이 실시예에서, 제어 회로(124)는 반도체 소자용 기판 전압 Vsub(424), 홀수 넘버링된 라인의 포토픽셀용 전극으로 연결된 전압 값 Voddl(427), 홀수 넘버링된 라인의 저장 픽셀용 전극으로 연결된 전압 값 Vodds(425), 짝수 넘버링된 라인의 포토픽셀용 전극으로 연결된 전압 값 Vevenl(428), 및 짝수 넘버링된 라인의 저장 픽셀용 전극으로 연결된 전압 값 전압 값 Vevens(426)을 제어한다. 제어 회로(124)는 감광면(400)과 광원(24)을 제어하기 위한 개별 제어 영역을 포함할 수 있지만, 감광면의 픽셀의 캡처 능력을 턴온 및 턴오프하는 것은 거리 측정을 위해 데이터를 캡처하기 위한 광 펄스를 발산하는 것과 동기화되어야 한다.
도 4는 게이트-제어 캡처 주기(422)와 비-게이트-제어 캡처 주기(420)를 더 도시하며, 각각은 광 펄스(141)로부터 반사된 광(146)을 캡처한다. 예시적 비-게이트-제어 캡처 주기(420) 내에서 나타나는 것처럼, 광 펄스(141)로부터 반사된 광(146)은 다른 소스로부터 반사된 광, 가령, 배경 광과 함께 CCD 감광면(400)으로 돌아 오는 비교적 긴 캡처 주기(410)를 가진다. 예시적 게이트-제어 캡처 주기(422) 동안, 짝수 넘버링된 라인(418 및 419)이 트레인(145)의 광 펄스(141)로부터 감광면으로 다시 반사되는 광(146)을 캡처하기 위한 비교적 짧은 캡처 주기(408)를 가진다. 앞서 언급한 바와 같이, 예를 들어, 숏 캡처 주기(408)가 레이저로부터의 20ns 펄스 폭에 대해 20나노초(ns)인 경우, 롱 캡처 주기(410)는 40 내지 60ns일 수 있다. 또 다른 예를 들어, 숏 캡처 주기(408)가 10-15ns인 경우, 롱 캡처 주기(410)는 20-45ns이다. 이들 캡처 주기는 단지 예에 불과하며, 다른 실시예에서, 비-게이트 제어 캡처 주기(420)의 롱 캡처 주기(410)가 숏 캡처 주기(408) 동안 캡처되는 광 또는 게이트-제어 캡처 주기(422)의 게이트를 정규화하기에 적합한 광을 캡처할 만큼 충분히 길다는 전제 하에, 달라질 수 있다.
장면으로부터 카메라에 도달하는 반사 광의 양이 프레임 내 만족스러운 거리 측정을 제공하기에 충분하도록, 천 개 또는 그 이상의 광 펄스가 광 펄스 트레인에서 필요할 수 있다. 이미징 시간 및/또는 가능한 이미지 블러(image blur)를 만족스러운 레벨까지 감소시키기 위해, 광 펄스 반복률(repetition rate), 및 이에 대응하는 캡처 주기의 반복률이 적어도 초당 107만큼 높은 것이 바람직할 수 있고, 따라서 약 100ns 이하의 반복 주기(repetition period)를 갖는 것이 바람직할 수 있다. 덧붙이자면, 광 펄스 폭 및 숏 캡처 주기의 지속시간은 약 30ns 이하일 수 있다. 모션 캡처 카메라의 통상적인 프레임율은 초당 30프레임이며, 따라서 숏 캡처 주기와 롱 캡처 주기가 짧을수록, 감광면이 자신의 이미지 캡처 영역을 가능한 빨리 켜고 끌 수 있을 때 더 많은 게이트 및 비-게이트-제어 주기가 캡처될 수 있다.
게이트-제어 주기에서 반복되는 숏 캡처 주기 각각 동안, 픽셀의 짝수 넘버링된 라인의 저장 픽셀과 포토픽셀 모두 "온(ON)" 상태(412)이도록 제어된다. ON 상태 동안, 포토픽셀(40)은 축적한 전하를 감광면(400)의 그들 각자의 저장 픽셀(403)로 전송한다. 전체 게이트-제어 주기 동안 홀수 넘버링된 픽셀 로우의 픽셀은 "오프(OFF)" 상태이도록 제어되어, 포토픽셀이 전하를 감광면의 그들 각자의 저장 픽셀로 전송하는 것을 막는다. 비-게이트-제어 주기의 롱 캡처 주기 각각 동안, 홀수 넘버링된 로우의 포토픽셀(402)은 "ON" 상태(414)이도록 제어되며, 상기 상태에서, 포토픽셀은 축전한 전하를 그들 각자의 저장 픽셀(403)로 전송한다. 전체 비-게이트-제어 주기 동안 전하 전송을 막기 위해, 짝수 넘버링된 로우의 픽셀들은 OFF 상태로 제어된다.
감광면의 서로 다른 실시예가 이하에서 설명되는데, 여기서 감광면은 동일한 프레임에서 게이트-제어 주기와 비-게이트-제어 주기 모두에 대해 게이트 온 및 게이트 오프될 수 있다. 어느 유형의 기법이든, 가령, CCD가 사용되든 CMOS 센서(도 7 참조)가 사용되든, 도 5에 기재된 실시예와 같은 동작 방법을 이용할 수 있다.
도 5는 장면으로부터의 인터리빙된 게이트-제어된 광과 비-게이트-제어된 광을 동일한 감광면 상에서 그리고 동일한 프레임 주기에서 캡처하기 위한 방법(500)의 하나의 실시예의 순서도이다. 도 5는 제한이 아니라, 예시 목적으로 이전 실시예의 측면에서 설명된다. 상기 방법 실시예(500)는 제어 회로(124)가 캡처 장치(20)의 프로세서(32)로부터 수신할 수 있는 프레임 통지(frame notification)의 시작과 함께 단계(502)에서 시작한다. 단계(504)에서, 제어 회로(124)는 게이트-제어 광 주기를 시작한다. 단계(506)에서, 제어 회로(124)는 감광면의 제 1 이미지 캡처 영역을 턴온(turn ON) 및 턴오프(turn OFF)하여, 프레임 주기 내에서 게이트-제어 주기의 숏 캡처 주기 각각 동안 게이트-제어된 광을 캡처하기 위해 광 펄스의 생성과 동기화되는 숏 캡처 주기를 생성한다. 도 3 및 4에 대해 앞서 설명된 바와 같이, 제어 회로(124)는 광원(24)과, 감광면(300 또는 400)의 서로 다른 캡처 영역을 제어하고, 따라서 회로는 동기화된 제어 신호를 제공할 수 있다. 단계(510)의 게이트-제어 주기(422)의 종료에서, 단계(512)의 제어 회로(124)는 제 1 이미지 캡처 영역을 끈다(OFF). 일부 실시예에서, 제어 회로(124)는, 게이트-제어 주기의 종료에서, 캡처된 이미지 데이터를 제 1 이미지 캡처 영역으로부터 캡처 장치(20)의 메모리, 가령, 메모리(34)로 전송되게 한다. 또 다른 실시예에서, 프레임의 게이트-제어 주기 동안 캡처되는 이미지 데이터가 프레임의 종료에서 프레임 버퍼 메모리(34)로 전송된다.
단계(516)에서, 동일한 프레임 주기 내 비-게이트-제어 주기가 제어 회로(124)에 의해 시작되며, 단계(518)에서, 제어 회로(124)는 감광면의 제 2 이미지 캡처 영역을 턴온(turn ON) 및 턴오프(trun OFF)해서, 비-게이트-제어 주기의 롱 캡처 주기 각각 동안 비-게이트-제어된 광을 캡처하기 위해, 광 펄스의 생성과 동기화되는 롱 캡처 주기를 생성한다.
단계(522)에서의 비-게이트되는 광 주기의 종료에 대해, 단계(524)에서 제어 회로는 제 2 이미지 캡처 영역을 끈다(OFF). 일부 실시예에서 다시, 제어 회로(124)는 비-게이트-제어 주기의 종료에서 제 2 이미지 캡처 영역으로부터 캡처된 이미지 데이터가 메모리(34)로 전송되게 한다. 다시, 또 다른 실시예에서, 프레임 내 비-게이트-제어 주기 동안 캡처된 이미지 데이터가 프레임의 종료에서 프레임 버퍼 메모리(34)로 전송된다.
제어 회로는 단계(526)에서 프레임의 종료가 발생하는지 여부를 결정할 수 있다. 이 결정은 프로세서(36)로부터의 인터럽트 신호(interrupt signal)를 기초로 이뤄질 수 있거나, 또 다른 예에서, 제어 회로가 프레임 클록을 모니터할 수 있다. 프레임의 종료가 발생되지 않은 경우, 제어 회로(124)는 다시 단계(504)에서 또 다른 게이트-제어된 광 주기를 시작하도록 진행한다. 프레임의 종료가 발생한 경우, 제어 회로(124)는 단계(502)에서 새로운 프레임을 시작하고, 다시 게이트-제어 주기와 비-게이트-제어 주기의 인터리빙(interleaving) 또는 교대화(alternating)를 시작하도록 진행한다. 새로운 프레임의 시작을 위해, 일부 프로세싱, 가령, 프레임 번호의 업데이트 및 일부 예시에서 프레임 클록의 시작이 존재할 수 있다.
게이트-제어 주기와 비-게이트-제어 주기의 인터리빙은 도 5의 실시예에서의 게이트-제어 주기로 시작하지만, 또 다른 실시예에서 순서가 반전될 수 있다.
도 6a 및 6b의 실시예가 오직 예시 목적으로 도 4의 실시예의 맥락에서 설명되며, 이에 한정되는 것은 아니다. 도 6a의 예시에서, 도시된 동작의 현재 상태는 게이트-제어 주기의 숏 캡처 주기 중이다. 이 예에서, 짝수 넘버링된 라인(402e, 403e)이 게이트-제어 주기 동안 활성화되고, 픽셀의 홀수 넘버링된 라인(402o, 403o)이 전체 게이트-제어 주기 동안 턴오프된다. 비-게이트-제어 주기 동안, 픽셀의 홀수 넘버링된 라인(402o, 403o)은 픽셀의 짝수 넘버링된 라인에 대해서와 동일한 방식으로 작동할 것이다. 또 다른 예에서, 홀수 넘버링된 라인이 게이트-제어 주기 동안 사용되는 지정 세트일 수 있고, 짝수 넘버링된 라인이 비-게이트-제어 주기 동안 사용되는 지정 세트일 수 있다. 기재의 편의를 위해, "짝수" 픽셀은 짝수 넘버링된 라인 내 저장 픽셀 또는 포토픽셀을 의미하고, "홀수" 픽셀은 홀수 넘버링된 라인 내 저장 픽셀 또는 포토픽셀을 의미한다.
도 6a는 인터라인 CCD 감광면(400)의 하나의 실시예의 일부분의 고도로 단순화된 단면도를 개략적으로 나타낸다. 상기 부분은 다음과 같은 대표적 포토픽셀 및 저장 픽셀의 두 세트를 도시한다: 포토픽셀(402e 및 403e)은 각각 감광면(400)의 짝수 넘버링된 라인(418 및 419)의 것이며; 포토픽셀(402o)과 저장 픽셀(403o)은 각각 홀수 넘버링된 라인(416 및 417)의 것이다. 수직 점선에 의해 나타나는 바와 같이, 어느 한 유형이라도 각각의 픽셀은 다양한 층으로 구성되며, 상기 층 내에서 동작 동안 감광면 내 영역의 전기적 특성 및 크기가 변할 것이다. 점선은 서로 다른 유형의 픽셀들 간의 정확한 구분은 아니고, 도면을 볼 때 서로 다른 픽셀과 연관된 감광면의 영역들을 식별하는 것을 돕기 위한 것이다.
표시의 편의를 위해, 인터라인 CCD(400)는 입사 광에 의해 생성되는 전자-정공 쌍(electron-hole pair) 중에서 정공이 아니라, 전자, 이하 "광전자(photoelectron)"를 캡처하기 위한 도핑 아키텍처(doping architecture)를 갖는 것으로 가정된다. 또 다른 실시예에서, CCD(400)에 입사 광에 의해 생성된 전자-정공 쌍 중에서 정공을 캡처하는 도핑 아키텍처가 제공될 수 있다.
이 예시적 실시예에서, CCD 감광면(400)은 실리콘 p++ 도핑된 기판(621), p 도핑된 에피택시 층(622), 및 n 도핑된 층(623)을 포함한다. 층(623)은 실리콘 다이옥사이드 절연 층(624)으로 덮힌다. 전도성 전극(631), 이 예시에서, 폴리실리콘이 np 접합(638)을 갖는 포토픽셀(402)을 포함하는 CCD 감광면의 영역 위에 형성된다. 이 예시에서, 폴리실리콘 전극(641)은 또한 np 접합(648)을 갖는 저장 픽셀(403)을 포함하는 CCD(400)의 영역 위에 형성된다. 저장 픽셀은 "마스킹" 층(644)으로 덮어 씌워져 있어서 저장 픽셀(403) 쪽으로 전파하는 광(60)이 저장 픽셀에 들어가는 것이 차단되기 때문에 상기 광(60)은 저장 픽셀에서 광전자를 생성하지 않는다. 마스킹 층(644)의 물질의 예로는 금속이 있고, 상기 금속은 광(60) 불투명성이며, 저장 픽셀(641) 아래의 영역이 광(60)에 노출되는 것을 막는다. 일부 실시예에서, 전극(641)은 광(60)에 불투명성인 전도성 물질로 형성되고, 상기 전극은 마스킹 층(644) 대신 저장 픽셀(403)의 마스킹을 제공하거나, 마스킹 층에 의해 제공되는 마스킹을 향상시킨다.
이 예시에서, 포토픽셀(402) 각각은 자신의 오른쪽에 있는 저장 픽셀(403)과 연관되고, 자신의 왼쪽의 저장 픽셀(403)과 전기적으로 절연된다. 포토픽셀을 자신의 왼쪽의 저장 픽셀(403)로부터 절연시키는 것은, 예를 들어, 적절한 도펀트를 주입(implant)시킴으로써, 또는 빗금친 영역(647)으로 개략적으로 표현된 얕은 트렌지 절연(shallow trench isolation) 영역을 형성함으로써, 이뤄질 수 있다.
이하의 특정 예시에서 설명되겠지만, 일반적으로 포토픽셀 전극(631)과 저장 픽셀 전극(641)은 서로에 대해 바이어스되어서, 롱 캡처 주기 또는 숏 캡처 주기 동안 ON 전압 값이 인가될 때, 장면으로부터의 광에 의해 포토픽셀에서 생성되는 광전하가 포토픽셀의 저장 픽셀로 빠르게 전송되고 축적되며 저장된다. OFF 전압 값이 포토픽셀 전극(631)에 인가될 때, 장면으로부터의 광에 의해 포토픽셀에서 생성되는 광전하는 기판으로 드레인(drain)되고, 포토픽셀로부터 전송되지 않고 저장 픽셀에 축적되지 않는다. 감광면의 캡처 주기 및 비-캡처 주기 동안 저장 픽셀 전극에 대한 포토픽셀 전극의 바이어스는 실질적으로 동일하게 유지된다.
제어 회로(124)는 픽셀들이 전기적으로 연결되는 전도 경로(가령, 금속 선) 상의 Vevenl(428), Vevens(426), Voddl(427), 및 Vodds(425)에 대해 ON 또는 OFF 전압 값을 제공한다. 짝수 저장 픽셀(403e)이 경로(419) 상의 전압 Vevens(426)을 수신하고, 짝수 포토픽셀(402e)이 경로(418) 상의 전압 Vevenl(428)을 수신한다. 마찬가지로, 홀수 저장 픽셀(403o)은 경로(417) 상의 전압 Vodds(425)을 수신하고, 홀수 포토픽셀(402o)이 경로(416) 상의 전압 Voddl(427)을 수신한다. 제어 회로(124)는 기준 전압 Vsub(424)을 기판(621)으로 제공하며, 상기 기준 전압은 ON 및 OFF 전압과 함께 사용되어, 광전자 또는 광전하에 의해 표현되는 이미지 데이터의 저장 및 비 저장을 위해 원하는 대로 픽셀을 바이어스하기 위해 가능한 전압차를 생성할 수 있을 것이다.
도 6a에서, 게이트-제어 주기 내 숏 캡처 주기 동안 짝수 저장 픽셀(403e)처럼 짝수 포토픽셀(402e)이 턴온된다. 전압 Vsub(424), Vevenl(428) 및 Vevens(426)은, 포토픽셀(402e) 및 저장 픽셀(403e) 내 각각 전극(631e 및 641e) 아래에서 np 접합(638e 및 648e)을 백 바이어스(back bias)하는 전압차를 제공한다. 전압은 포토픽셀(402e) 및 저장 픽셀(403e) 내 각자의 전위 우물(potential well)(632e 및 642e)을 생성한다. 저장 픽셀 전극(641e) 아래의 전위 우물(642e)은 포토픽셀 전극(631e) 아래의 전위 우물(632e)보다 더 깊다.
전위 우물(632e 및 642e)의 깊이의 차이로 인해, 포토픽셀(402e)과 이에 대응하는 저장 픽셀(403e) 사이에 전기장이 생성되며, 상기 전기장은 화살표로 표시되는 것처럼 포토픽셀에서 생성된 광전자를 저장 픽셀 쪽으로 몬다. 도핑된 영역(647)은 포토픽셀(가령, 402e)에 형성된 전자가 왼쪽으로 또는 왼쪽에 놓인 저장 픽셀(가령, 403o)로 표류하는 것을 막기 위한 전위 장벽(potential barrier)으로서 기능한다. 포토픽셀(402e)로 입사하는 광(60)에 의해 생성되는 광전자는 빗금친 원(650)으로 표현되고, 포토픽셀(402e)로부터 연속적이고 빠르게 상기 포토픽셀의 연관된 저장 픽셀(403e)로 전송되고 축적되며 저장된다.
상기 전기장은 광전자(650)가 포토픽셀(402e)에 생성되자마자 실질적으로 즉시 연관된 저장 픽셀(403e)로 전송되게 한다. 광전하가 자신이 생성된 포토픽셀 내 위치로부터 저장 픽셀로 전송되는 데 걸리는 시간은 광전하의 표류 속도(drift velocity) 및 상기 자신의 생성된 위치로부터 저장 픽셀까지의 거리에 의해 결정된다. 상기 표류 속도는 광전자에 작용하는 전기장의 강도의 함수이고, 상기 강도는 전위 우물(632e 및 642e) 간 전위차의 함수이다. 수 볼트의 통상적인 전위차 및 약 10미크론(micron) 미만의 픽셀 피치의 경우, 약 수 나노초 이하 또는 약 1 나노초 이하일 수 있는 시간 내에 광전자가 저장 픽셀로 전송된다.
np 접합(638e 및 648e)을 백 바이어스하기 위한 하나의 예에서, Vsub(424)는 기판 층(621)에 의해 수신된 ON 전압을 제어 회로(124)로부터 수신한다. 짝수 포토픽셀(402e)에 대한 전극(631e)은 전도 경로(418)를 통해 제어 회로(124)에 의해 Vevenl(428)에 대한 ON 전압으로 대전(electrify)된다. Vevenl(428)은 Vsub보다 더 양 전압(positive)이다. 저장 픽셀(403e) 위의 전극(641e)은 전도 경로(419)를 통해 Vevens(426)에 대한 ON 전압 값으로 대전된다. Vevens(426)은 전압 Vsub(424)보다 실질적으로 더 양 전압이다. Vsub(424)에 대한 ON 전압의 일례로는 15볼트의 짝수 포토픽셀에 대한 온 전압과 30볼트의 짝수 저장 픽셀(403e)에 대한 ON 전압을 포함하는 10볼트가 있다.
도 6a에서, 홀수 픽셀(402o 및 403o)은 OFF 상태이며, 여기서 이미지 캡처는 막아진다. 홀수 포토픽셀(402o)은 포토픽셀(402o) 내 np 접합(638o)을 포워드 바이어스(forward bias)하기에 충분한 Vsub(424)과 Voddl(427) 간 전압차를 가진다. 예를 들어, Vsub(424)가 10볼트인 경우, Voddl(427)는 15 볼트일 수 있다. 그러나 Vsub(424)와 Vodds(425) 간 전압차는 저장 픽셀(403o) 내 np 접합(648o)을 포워드 바이어스하기에 충분하지 않을 수 있다. Vsub(424)가 10볼트인 경우, Vodds(425)는 0볼트 또는 마이너스 5볼트로 설정될 수 있다. 따라서, 감소된 전압차에 의해 저장 픽셀(403o) 내 전위 우물(642o)의 깊이가 감소될 수 있지만, 롱 캡처 주기의 이전 비-게이트-제어 주기 동안 짝수 저장 픽셀(403o)이 활성 상태였던 시간 동안 축적한 광전하를 유지할만큼 충분히 깊게 유지한다. 홀수 포토픽셀의 np 접합(638o)의 포워드 바이어스는 포토픽셀로부터 전하를 드레인하고, 포토픽셀(402o)로 입사하는 광(60)에 의해 생성된 광전하는 저장 픽셀(403o)로 이동하는 것을 멈추지만 기판(621)으로 끌려가고 흡수된다.
짝수 픽셀의 경우, 비-게이트-제어 주기 동안 저장된 광전자(650)가 프레임 주기 내 각각의 비-게이트-제어 주기 후 또는 모든 비-게이트-제어 주기 후, 프레임 데이터에 대해 전송되는지에 무관하게, 전체 게이트-제어 주기에 대해 홀수 픽셀 라인이 게이트 오프될 때, 제어 회로(124)는 전압 값 Voddl(427) 및 Vodds(425)를 제어한다. 예를 들어, Vsub(424)이 10볼트로 설정된 경우, Voddl(427)은 15볼트로 설정되고 Vodds(425)는 0볼트로 설정될 수 있다. 비-게이트-제어 주기 각각으로부터의 광전자(650)가 축적되고, 프레임 당 한 번에 모두 전송되는 경우, Vodds(425)가 전위 우물(642o)에 대한 Vsub의 현재 값에 비해 충분히 양의 값이어서, CCD(400)의 홀수 넘버링된 픽셀 라인(416 및 417)이 게이트 온된 시간 동안 축적한 광전하를 유지하기에 충분히 깊게 유지될 수 있다.
비-게이트-제어 주기 각각 동안의 광전자(650)가, 롱 캡처 주기의 비-게이트-제어 주기 각각 후에, 프레임 버퍼로 전송되는 경우, 하나의 게이트-제어 주기 동안 축적된 전하를 유지하는 것은 문제가 되지 않는다.
도 6b에서, 게이트-제어 주기 내 숏 캡처 주기들 사이의 주기 동안 짝수 저장 픽셀(403e)이 턴오프된다. OFF 상태에서, 짝수 포토픽셀(402e) 및 저장 픽셀(403e)은 홀수 포토픽셀(402o) 및 저장 픽셀(403o)과 동일한 상태에 있다. 상기 포토픽셀(402e)은 기판(621)으로 드레인되고, 전위 우물(642e)은 전하를 받아 들이지 않지만 게이트-제어 주기의 이전 숏 캡처 주기(408) 동안 포토픽셀(402e)에 의해 전송된 광전자(650)의 저장을 유지하기에 충분히 깊다. 하나의 예를 들면, 기판 전압 Vsub(424)은 Vsub(424)에 대한 ON 전압에 비해 실질적으로 더 양 전압인 OFF 전압을 가짐으로써, 도 6b의 저장 픽셀(403e)의 전위 우물(642e)이 광전자(650)의 저장을 유지하기 위한 깊이를 갖지만 추가 전하를 받아 들이지 않는 반면에, 기판(621)을 통해 광전자(650)를 방전시키는 포워드 바이어스된 np 접합(638e)을 도출한다. 이 예에서, 전도 경로(416 및 417) 상의 Voddl(427) 및 Vodds(425)에 의해 제어되는 홀수 픽셀(402o, 403o)의 전압은 전도 경로(418 및 419) 상의 전압 Vevenl(428) 및 Vevens(426)과 동일할 수 있다. Vsub(424) OFF 전압의 예로는 30볼트가 있으며, Voddl(427), Vodds(425), Vevenl(428) 및 Vevens(426)에 대한 전압은 15볼트로 설정된다.
또 다른 예를 들면, Vsub(424)이 게이트-제어 주기와 비-게이트-제어 주기 모두 동안 유지되는 기준 전압(가령, 15볼트)일 수 있고, 홀수 및 짝수 픽셀의 전도 경로 상의 ON 및 OFF 전압은 각자의 픽셀 라인을 턴온 및 턴오프하도록 변경될 수 있다. 숏 캡처 주기(408) 동안 짝수 픽셀(402e, 403e)을 턴온하기 위해, 짝수 포토픽셀(402e)에 대한 전극(63le)은, Vsub(424)(가령, 15볼트)보다 더 양 전압(positive)인 Vevenl(428)(가령, 20볼트)로 대전(electrify)되고, 짝수 저장 픽셀(403e)에 대한 전극(641e)은, 전압 Vevenl(428)보다 실질적으로 더 양 전압인 전압 Vevens(426)(가령, 30볼트)으로 대전된다.
이 동일한 게이트-제어 주기 동안, 앞서 언급된 바와 같이, 동일한 Vsub(424)(가령, 15볼트)가, 홀수 포토픽셀 및 홀수 저장 픽셀뿐 아니라 짝수 포토픽셀 및 짝수 저장 픽셀도 형성되는 기판(621)으로 인가된다. 홀수 넘버링된 라인의 포토픽셀(402o) 및 저장 픽셀(403o)에 대해, Voddl(427)은 Vevenl(428)과 동일하거나(가령, 20볼트), 경우에 따라 더 작을 수 있지만, 홀수 포토픽셀(402o)의 np 전합(638o)을 포워드 바이어스하기에 충분할 수 있다. 그러나 Vodds(425)이 Vevens(426)(가령 30볼트)보다 더 낮은 전압 값(가령, 0볼트)이도록 설정되며, 이는 더 작은 전압차를 생성하고, 이는 전위 우물, 특히 저장 픽셀(403o)의 전위 우물(642o)의 크기에 영향을 미친다. Vodds(425) 값은 Vevens(426)이 수신하는 ON 값보다 덜 양의 값이며, 이는 홀수 저장 픽셀(403o)에 대해 np 접합(648o)을 포워드 바이어스하지 않는다. 게이트-제어 주기 동안 홀수 픽셀을 OFF 상태로 유지하는 동일한 전압 값 Voddl(427) 및 Vodds(425)이, 전압 값 Vevenl(428) 및 Vevens(426)이 게이트-제어 주기 내 숏 캡처 주기(408)들 간 주기에 동안 짝수 포토픽셀(402e) 및 저장 픽셀(403e)을 턴오프 또는 게이트 오프하도록 사용될 수 있다.
앞서 언급된 바와 같이, 숏 캡처 주기 동안인지 또는 숏 캡처 주기들 사이의 주기 동안인지에 무관하게, 포토픽셀(402o) 및 저장 픽셀(403o)의 홀수 넘버링된 라인은 전체 게이트-제어 주기 동안 OFF 상태이다. 따라서 홀수 포토픽셀(402o)은 Voddl(427)에서 OFF이도록, 짝수 포토픽셀이 게이트-제어 주기(422) 내 숏 캡처 주기들 외의 주기 동안 Vevenl(428)에서 수신한 것과 동일한 전압 값을 수신한다. 마찬가지로 게이트-제어 주기(422) 내 숏 캡처 주기(408)외의 주기 동안 Vodds(425)는 Vevens(426)는 동일하다.
CCD(400)를 전자적으로 개폐(shutter)하기 위해, 홀수 전압 전도 경로(416, 417) 및 짝수 전압 전도 경로(418, 419) 상의 N 및 OFF 전압 값 Voddl(427), Vodds(425), Vevenl(428), Vevens(426)은 빠르게 변경될 수 있다. 특히, 상기 개폐는 충분히 빠르게 이뤄져서, CCD(400)가 게이트되는 3D 카메라에서 사용되기에 충분히 빠르게 전자적으로 게이트될 수 있도록 하여, 추가적인 외부 고속 셔터(shutter)를 가질 필요 없이 장면 내 물체까지의 거리를 측정할 수 있게 한다. 하나의 실시예에서, ON 및 OFF 전압 값은 100ns 이하의 지속시간을 갖는 롱 캡처 주기(410) 및 숏 캡처 주기(408) 동안 CCD를 게이트 온하도록 스위칭된다. 선택사항으로서, 숏 캡처 주기 또는 롱 캡처 주기는 70ns 이하의 지속시간을 가진다. 일부 실시예에서, 숏 캡처 주기는 35ns 미만의 지속시간을 가진다. 일부 실시예에서, 숏 캡처 주기(408)는 20ns 이하의 지속시간을 가진다.
기술의 실시예의 실시는 인터라인 CCD 감광면 및 인터라인 CCD 감광면을 포함하는 카메라에 국한되지 않음을 알아야 한다. 예를 들어, 감광면은 CCD 기법 대신 CMOS 기법을 기초로 할 수 있다.
도 7은 2개의 이미지 캡처 영역, 이 예시에서는, 게이트-제어 주기 동안 사용되기 위한 것과 비-게이트-제어 주기 동안 사용되기 위한 것인 짝수 및 홀수 라인을 포함하는 CMOS 감광면(700)을 제어하기 위한 시스템 실시예를 도시한다. 이 예시에서, 저장 픽셀의 개별 라인은 필요하지 않다. 하나의 예를 들면, 각각의 광 감응성 CMOS 픽셀(702)과 연관된 제어 및 판독출력 회로(control and readout circuitry)가 반도체 감광면의 각자의 픽셀의 영역 내에 있을 수 있다. 또 다른 예에서, 픽셀의 전체 라인 또는 영역에 대한 제어 및 판독출력 회로가 감광면의 라인의 일부분에 위치할 수 있다. 추가 실시예에서 CMOS 레이아웃의 또 다른 예가 더 사용될 수 있다.
도 4의 CCD 감광면 실시예(400)에서처럼, 제어 회로(124)는 광 펄스(141)를 생성하도록 광원(24)을 제어한다. 이 실시예에서, CMOS 감광면 장치(700)에 대한 소스 전압 Vdd(724), 전도 경로(718)를 통한 짝수 라인 전압(728)의 세트, 및 전도 경로(716)를 통한 홀수 라인 전압(727)을 더 제공한다. 비-게이트-제어 주기 또는 게이트-제어 주기 각각 동안 라인의 적절한 세트를 게이트-제어하도록 전압이 설정된다. 이 예에서, 홀수 픽셀 라인은 홀수 픽셀 라인 ON(714)에 의해 나타나는 것처럼 게이트-제어 주기(422) 동안 활성화되고, 짝수 픽셀 라인은 짝수 픽셀 라인 ON(712)에 의해 나타나는 것처럼 비-게이트-제어 주기(420) 동안 활성화된다. 이전에 언급된 바와 같이, 픽셀의 홀수 넘버링된 라인은 비-게이트-제어 주기 동안 사용되도록 지정된 것일 수 있고, 픽셀의 짝수 넘버링된 라인은 게이트-제어 주기 동안 사용되도록 지정된 것일 수 있다.
도 7의 실시예 같은 실시예에서 사용될 수 있는 CMOS 픽셀 기법의 예가 CMOS 포토게이트 기법의 기본 유닛 셀의 하나의 실시예(820)를 도시하는 도 8a에 도시되어 있다. 기본 유닛 셀(820)은, 전송 게이트(transfer gate)이거나 전송 게이트 고리라고 일컬어지는 하나의 채널 주입물(channel implant) 내에 형성되고, 고리형 구조물(826a 및 826b)에 의해 둘러싸인 2개의 부유 확산부(floating diffusion)(822a 및 822b)를 포함한다. 전송 게이트는 고리일 필요는 없으며, 예를 들어, 전하 전송을 위한 실질적으로 균일한 360도 전기장 분포를 제공하는 한, 육각형 또는 그 밖의 다른 둘러싸는 형태일 수 있다. 부유 확산부 및 이의 연관된 전송 게이트 고리는 본원에서 "전하 감지 요소(charge sensing element)"라고 지칭된다.
이하에서 도면에 대한 기본 유닛 셀(820)의 구조 및 동작의 설명에 추가로, 이 CMOS 예시에 대한 추가 정보는, 2009년 7월 17일에 출원된 PCT/IB2009/053113 발명의 명칭 "CMOS Photogate 3D Camera System Having Improved Charge Sensing Cell And Pixel Geometry"에서 찾을 수 있으며, 상기 특허는 본원에서 참조로서 포함된다.
PCT/IB2009/053113에 따르면, 이들 셀로 형성된 포토픽셀은 낮은 커패시턴스에 의해 특징지어지고, 이에 따라 전하 축적의 작은 변화에 대한 개선된 감도를 제공할 수 있다. 동시에, 포토게이트에 인가되는 전압에 의해 생성되는 전기장이 감지 요소를 중심으로 실질적으로 방위각 대칭(azimuthally symetric)이며, 대전된 포토게이트 바디에 의해 형성되는 전하 축적 영역으로부터 채널을 통해 부유 확산부로 이동하는 전자가 이동 방향의 함수로서 실질적으로 어떠한 장애도 겪지 않는다. 이는 개선된 전송 특성을 야기할 수 있다.
전하 감지 요소로 형성된 포토픽셀 및 픽셀 어레이는 실질적으로 개선된 필 팩터(fill factor)도 보인다. 60퍼센트 이상의 필 팩터가 달성될 수 있다.
도 8a는 기본 유닛 셀(820)의 아키텍처를 평면도로, 도 8b 및 8C는 횡단면도로 도시하며, 상기 아키텍처로부터 일종의 포토픽셀, 포토게이트 픽셀이 본 발명의 기법의 실시예에 따라 형성된다. 도 8a의 조감도에서, 유닛 셀(820)은 3개의 실질적으로 환형인 N+ 부유 확산부(822a, 822b, 및 822d)를 포함한다. 전송 게이트(826a, 826b 및 826d)가 각각 확산부(822a, 822b 및 822d)를 둘러싸는 고리의 형태를 가진다.
부유 확산부(822a) 및 전송 게이트(826a), 그리고 부유 확산부(822b) 및 전송 게이트(826b) 각각이 제 1 및 제 2 전하 감지 요소(832a 및 832b)를 형성한다. 부유 확산부(822d) 및 전송 게이트(826d)는 배경 조명 소거(background illumination cancellation)를 제공하는 배경 전하 드레인 요소(832d)를 형성한다. 전하 드레인 요소와 연관된 전송 게이트는 조명 펄스의 발산 사이 간격 동안 에너자이징(energize)된다. 일부 실시예에서, 배경 전하 드레인 요소(832d)는 포함되지 않는다. 배경 전하 드레인을 수행하는 대신 출력 드라이버 회로가 사용될 수 있다.
일반적으로 환형 개구부(836a, 836b 및 836d)가 전하 감지 요소(832a 및 832b) 및 배경 전하 드레인 요소(832d)와 정렬된다. 개구부(836a, 836b 및 836d)는 편리한 배선 접속을 위해 이들 요소를 노출하고 전하 전송을 위해 실질적으로 균일한 360° 전기장 분포를 제공하기에 적합한 비움 공간(clearance)을 제공한다. 또한 다결정질 실리콘 포토게이트(834)가 또한, 셀(820)의 상부 표면의 전체 영역을 실질적으로 덮는 연속되며 일반적으로 평판인 층으로 형성된다.
도 8b는 도 8a 내 X-X 선을 따르는 전하 감지 요소(832a)의 횡단면도를 도시하고, 도 8c는 도 8a 내 Y-Y 선을 따르는 전하 감지 요소(832a)의 횡단면도를 도시한다. 도 8b 및 8C와 관련하여, 전하 감지 요소(832a) 및 포토게이트(834)의 기하학적 형태만 도시되지만, 전하 감지 요소(832b) 및 전하 드레인 요소(832d)도 실질적으로 동일함을 이해할 것이다. 부유 확산부(822a 및 822b)가 적합한 출력 회로(도시되지 않음)로 연결되고, 부유 확산부(822d)가 드레인 바이어스 전위(Vdd)로 연결됨을 이해할 것이다. (도면에서, 드레인 요소는 "D"라고도 라벨링되며, 전하 감지 요소는 "A" 및 "B"로 라벨링된다) 이 실시예에서, 전하 감지 요소(832a 및 832b), 배경 전하 드레인 요소(832d), 및 포토게이트(834)가 아닌 유닛 셀(820)의 일부분의 기본 구조는 종래의 CMOS 구조를 가질 수 있다. 상기 유닛은, 가령, 필요한 금속 드레인 및 소스 평면 및 배선(도면에 도시되지 않음)과 함께, P+ 실리콘 기판(840) 위에 적층된 P-에피택시 층(838)의 상면에 위치하는 N- 매립 채널 주입부(824)를 포함한다. 대안적으로, 그 밖의 다른 임의의 적합하고 바람직한 아키텍처가 채용될 수 있다.
다결정질 실리콘 전송 게이트(826a)는 N- 매립 채널 주입 층(824) 상에 형성된 옥사이드 층(828) 상에 위치한다. 또한 다결정질 실리콘 포토게이트(834)는 옥사이드 층(828) 상에, 셀(820)의 상부 표면의 전체 영역을 실질적으로 덮는 연속하고 일반적으로 평판인 층으로서 형성된다. 앞서 언급된 바와 같이, 개구부(836a)는 채널 주입 층(824)을 통한 전하 전송을 위해 실질적으로 균일한 360° 전기장 분포를 제공한다.
실질적으로 환형인 N+ 부유 확산부(822a)는 N- 매립 채널 주입부(824) 내에 형성된다. 다결정질 실리콘 고리형 전송 게이트(826a)가 옥사이드 층(828) 상에 위치한다. 부유 확산부가 매립 채널 주입부(824) 내에 위치하고, 따라서, 옥사이드 층 위에 위치하는 "둘러싸는" 전송 게이트가 구별하는 경계부(demarcating border)가 아닌 "륜(halo)"으로 간주될 수 있는 것을 형성한다. 그러나 간결함을 위해, 용어 "둘러싸는"은 전하 감지 셀 배열을 참조하여 사용될 것이다.
동작 중에, 포토게이트(834)는 출력되는 조명, 예를 들어, 도 3의 광 펄스(141)과 관련해 알려진 때에 적합한 전압의 인가에 의해 에너자이징되고, 설정된 전하 수집 간격 동안 에너자이징된 채 유지된다. 포토게이트(834)에 인가된 전압으로부터 도출된 전기장은 매립 채널 주입 층(824) 내 전하 축적 영역을 생성하고, 이미징되는 대상으로부터 반사된 광자(photon)가 상기 포토게이트(834)를 통과해 채널 주입 층(824)으로 통과함으로써 전자가 이 곳에서 방출되게 할 수 있다.
그 후 고리형 전송 게이트(826a)가, 수집된 전하가 채널(824)을 통해 부유 확산부(822a)로 전송되는 지정된 통합 구간(integration interval) 동안 에너자이징된다. 이 전하는 픽셀(702)에 의해 이미징되는 대상의 일부분까지의 거리를 측정 및 사용될 수 있는 전압을 유도한다. 그 후 부유 확산부(822a) 상의 전하-유도된 전압, 포토게이트(834) 및 전송 게이트(826a)의 알려진 타이밍 활성화 및 빛의 속력으로부터 비행 시간이 결정된다. 따라서 부유 확산부(822a)는 CMOS 포토게이트 감지 픽셀의 감지 노드이다.
도 8c는 옥사이드 층(828) 아래에서 P-우물(837)의 상부와 겹치는 채널 층(824) 내에 형성된 P+ 확산 영역(835)을 포함하는 정지 채널 구조(stop channel structure) 또는 "채널 정지부"를 더 도시한다. 활성화된 전송 게이트로부터 가장 먼 채널(824)의 단부로부터 전송되는 전하는, 채널이 선명하게 종료(sharply terminate)되지 않은 경우, 제어되지 않고 노이지할 수 있다. 채널 정지부는 채널 층(824)의 단부에서 잘 형성된 종료부를 제공하여, 부유 확산부(822a)로의 제어되는 전하 전송을 촉진하는 데 도움이 된다.
도 8d는 기본 유닛 셀과 함께 사용되기 위한 셀 제어 및 판독출력 회로의 일례를 도시한다. 그 밖의 다른 종래의 CMOS 제어 및 판독출력 회로 설계도 사용될 수 있다. 포토게이트 바이어스(842), 전송 게이트 A(844a), 및 전송 게이트 B(844b)에 대한 신호 경로가 포토게이트(834) 및 전송 게이트 A 및 B(가령, 도 8a의 826a 및 826b)를 각각 에너자이징시킨다.
출력 회로(846a) 및 출력 회로(846b)는 각각, 각자의 전하 감지 요소(832a 및 832b)의 부유 확산부(822a 및 822b) 상의 전하-유도된 전압의 출력 A(845) 및 출력 B(847)의 판독 전압(readout voltage)을 제공한다. 이들 판독출력 회로(846a, 846b)는 기본 유닛 셀(820)과 집적 회로 칩 상에 형성될 수 있다. 출력 회로(846a 및 846b)에 대해 선택 신호 경로(848) 및 리세트 신호 경로(850)가 제공된다.
펄스화된 조명을 채용하는 시스템에서, 배경 조명은 조명 펄스들 사이의 구간 동안 감지 셀(832a, 832b)에서 전하 축적을 야기할 수 있다. 이러한 조명 펄스들 사이의 이러한 전하 축적을 드레인하는 것이 바람직할 수 있다. TOF 카메라 픽셀 셀의 경우 배경 조명 소거를 이용하는 것에 대한 추가 정보는 Kawahito외, A CMOS Time-of-Flight Range Image Sensor, IEEE Sensors Journal, December 2007, p.1578에서 찾을 수 있다. 부유 확산부(822d)는 Vdd(849)로 연결되어, 방전 경로를 제공하며, 신호 경로 D(844d)는 조명 펄스의 발산들 사이의 구간 동안 전송 게이트 D(가령, 도 8b의 826d)를 에너자이징하여, 축적된 전하의 방전을 활성화한다.
기본 유닛 셀(180)은 필요에 따라 조합되어, 특정 적용예를 위한 광-수집 능력(light-gathering capability)을 제공할 수 있다. 도 9는 2개의 기본 유닛 셀을 포함하는 기본 포토픽셀 빌딩 블록의 하나의 실시예의 개략적 도시이다. 게이트 제어 및 판독출력 회로, 및 그 밖의 다른 종래의 특징부가 명료성을 위해 생략된다.
도 9는 점선에 의해 구분되는 2개의 기본 셀(852 및 854)을 포함하는 기본 다중-셀(basic multi-cell) 빌딩 블록(850)의 하나의 실시예를 도시한다. 셀(852)은 감지 요소(856a 및 856b)와, 배경 전하 드레인 요소(856d)를 포함한다. 셀(854)은 감지 요소(858a 및 858b), 및 배경 전하 드레인 요소(858d)를 포함한다. 도시된 바와 같이, 빌딩 블록(850)은 전하 감지 및 배경 전하 드레인 요소를 노출시키는 개구부(862)를 갖는 연속하는 단일 포토게이트(860)로 형성된다.
발명자에 의해 수행되는 시뮬레이션 연구를 기초로 하고, 3.3v의 최대 게이트 여기, 0.18미크론 CMOS 제조 기법, 및 70옹스트롬 게이트 옥사이드 두께를 가정하는 PCT 출원 PCT/IB2009/053113에 따르면, 적합한 적정 셀 구성요소 치수는 다음의 범위를 가질 수 있다: 포토게이트 천공 공간(채널 길이) 1.0-6.0μ(가령, 3.0μ); 전송 게이트 고리 폭(annular width): 0.3-1.0㎛(가령, 0.6㎛); 전송 게이트 비움 공간까지의 포토게이트 천공: 0.25-0.4㎛(가령, 0.25㎛) 부유 확산부의 지름: 0.6-1.5㎛(가령, 0.6㎛). 그러나 적합한 치수는 적용예, 제조 기법의 발전정도, 및 해당 분야의 통상의 기술자에게 자명할 그 밖의 다른 요인들에 따라 달라질 수 있고, 상기에 언급된 파라미터로 한정되지 않음을 알아야 한다.
도 10은 별도의 배경 전하 드레인 요소를 이용하여 배경 소거(background cancellation)를 제공하는 본원에 기재된 기본 유닛 셀의 예시적 타이밍도이다. 라인(a)은 조명 사이클을 나타낸다. 라인(b) 및 (c)는, 각자의 "A" 및 "B" 전송 게이트에 대한 활성화 시간에 의해 정의되는 나노초 범위의 "A" 및 "B" 부유 확산부에 대한 통합 시간을 나타낸다. 라인(d)는 전하 드레인 요소 전송 게이트에 대한 활성화 시간에 의해 정의되는 바의, 배경 소거 구간을 나타낸다. 도 10에 도시된 타이밍은 또한 배경 소거 없는 동작에도 적용되거나, 전하 감지 요소 전송 게이트 및/또는 포토게이트가 배경 전하 드레인을 활성화시키도록 사용되는 실시예에도 적용될 수 있다.
본 기술은 인터라인 CCD 또는 CMOS 감광면의 구조물과 상이한 비-선형 구조물을 가질 수 있는 감광면 실시예에서도 작동할 수 있다. 이미징 영역의 그 밖의 다른 구성 또는 기하학적 형태가 역시 사용될 수 있다. 예를 들어, 로우(row) 대신 컬럼(column)이 사용될 수 있다. 제어 및 판독출력 회로의 배열에 따라, 하나 걸러 하나의 픽셀이 하나의 세트가 될 수 있고, 나머지 픽셀이 또 다른 세트가 될 수 있다. 덧붙이자면, 경우에 따라 셋 이상의 이미징 영역이 지정될 수 있다.
본 발명의 내용이 구조적 특징부 및/또는 방법적 동작에 특정적인 언어로 기재되었지만, 이하의 청구항에서 정의되는 발명의 내용은 앞서 기재된 상기 특정 특징부 또는 동작에 한정될 필요는 없다. 오히려, 앞서 기재된 특정 특징부 및 동작은 청구항을 구현하는 예시적 형태로서 개시된다.
Claims (10)
- 장면(scene)으로부터 게이트-제어된 광(gated light)과 비-게이트-제어된 광(ungated light)을 동일한 프레임 주기에서 캡처하기 위해 감광면(photosurface)을 제어하기 위한 시스템으로서, 상기 시스템은
이미지 센서의 감광면;
상기 감광면의 제 1 이미지 캡처 영역;
상기 감광면의 제 2 이미지 캡처 영역;
프레임 주기 내 게이트-제어 주기(gated period) 동안 상기 제 1 이미지 캡처 영역에 의해 게이트-제어된 광을 이미지 데이터로서 캡처하는 것을 제어하기 위한 제어 회로를 포함하며,
상기 제 2 이미지 캡처 영역은 상기 게이트-제어 주기 동안 이미지 데이터가 캡처되지 않는 오프(OFF) 상태이며;
상기 제어 회로는 상기 프레임 주기 내 비-게이트-제어 주기(ungated period) 동안 상기 제 2 이미지 캡처 영역에 의해 비-게이트-제어된 광을 이미지 데이터로서 캡처하는 것을 제어하고,
상기 제 1 이미지 캡처 영역은 상기 비-게이트-제어 주기 동안 이미지 데이터가 캡처되지 않는 오프(OFF) 상태인
감광면을 제어하기 위한 시스템.
- 제 1 항에 있어서,
동일한 프레임 주기 동안 게이트-제어 주기 및 비-게이트-제어 주기는 인터리빙(interleave)되는
감광면을 제어하기 위한 시스템.
- 제 2 항에 있어서,
게이트-제어 주기는 하나 이상의 숏 캡처 주기(short capture period)를 포함하고, 각각의 숏 캡처 주기는 100나노초(nanosecond) 미만인 대략 광 펄스의 펄스 폭 동안 지속되며;
상기 제어 회로는, 각각의 숏 캡처 주기 동안 이미지 데이터가 캡처되는 온(ON) 상태와 이미지 데이터가 캡처되지 않는 오프(OFF) 상태 사이에서 상기 제 1 이미지 캡처 영역을 게이트-제어함으로써 상기 제 1 이미지 캡처 영역에 의한 캡처를 제어하며;
상기 비-게이트-제어 주기는 하나 이상의 롱 캡처 주기(long capture period)를 포함하고, 게이트-제어 주기 동안 캡처되는 이미지 데이터의 정규화(normalization)를 위해 장면으로부터 반사되는 더 많은 광을 캡처하기 위해, 각각의 롱 캡처 주기는 각각의 숏 캡처 주기보다 길고, 각각의 롱 캡처 주기는 100나노초 미만 동안 지속되며;
상기 제어 회로는 각각의 롱 캡처 주기 동안의 온(ON) 상태와 오프(OFF) 상태 사이에서 상기 제 2 이미지 캡처 영역을 게이트-제어함으로써, 제 2 이미지 캡처 영역에 의한 캡처를 제어하는
감광면을 제어하기 위한 시스템.
- 제 3 항에 있어서,
제 1 이미지 캡처 영역은 교대하는 픽셀 라인의 영역을 포함하고, 제 2 이미지 캡처 영역은 다른 교대하는 픽셀 라인의 영역을 포함하는
감광면을 제어하기 위한 시스템.
- 제 1 항에 있어서,
감광면은,
전하 결합 소자(CCD: charge coupled device); 또는
상보형 금속 옥사이드 실리콘(CMOS: complementary metal oxide silicon) 소자로 구성된 그룹 중 하나인
감광면을 제어하기 위한 시스템.
- 장면으로부터 인터리빙(interleave)된 게이트-제어된 광(gated light)과 비-게이트-제어된 광(ungated light)을 동일한 감광면 상에서 동일한 프레임 주기에서 캡처하기 위한 방법으로서, 상기 방법은:
이미지 센서의 감광면의 제 1 이미지 캡처 영역에 의해, 상기 프레임 주기 내 게이트-제어 주기(gated period) 동안 게이트-제어된 광을 이미지 데이터로서 캡처하는 단계;
상기 감광면의 제 2 이미지 캡처 영역에 의해, 상기 프레임 주기 내 비-게이트-제어 주기(ungated period) 동안 비-게이트-제어된 광을 이미지 데이터로서 캡처하는 단계;
상기 제 2 이미지 캡처 영역을, 게이트-제어 주기 동안 상기 제 2 이미지 캡처 영역에 의해 이미지 데이터가 캡처되지 않는 오프(OFF) 상태로 만드는 단계;
상기 제 1 이미지 캡처 영역을, 비-게이트-제어 주기 동안 상기 제 1 이미지 캡처 영역에 의해 이미지 데이터가 캡처되지 않는 오프(OFF) 상태로 만드는 단계; 및
동일한 감광면에서 2마이크로초(microsecond) 미만 내에 게이트-제어된 광의 캡처와 비-게이트-제어된 광의 캡처를 교대시키는 단계를 포함하는
캡처하기 위한 방법.
- 제 6 항에 있어서,
상기 게이트-제어 주기는 하나 이상의 숏 캡처 주기(short capture period)를 포함하고, 각각의 숏 캡처 주기의 지속시간은 50나노초 미만이고;
프레임 주기 내 게이트-제어 주기 동안 제 1 이미지 캡처 영역에 의해 게이트-제어된 광을 이미지 데이터로서 캡처하는 단계는, 이미지 데이터가 캡처되는 각각의 숏 캡처 주기 동안의 온(ON) 상태와 이미지 데이터가 캡처되지 않는 오프(OFF) 상태 사이에서 제 1 이미지 캡처 영역을 게이트-제어하는 단계를 포함하며,
상기 비-게이트 제어 주기는 하나 이상의 롱 캡처 주기(long capture period)를 포함하고, 각각의 롱 캡처 주기는 각각의 숏 캡처 주기보다 길고 지속시간이 100나노초 미만이며;
동일 프레임 주기 내 비-게이트-제어 주기 동안 제 2 이미지 캡처 영역에 의해 비-게이트-제어된 광을 이미지 데이터로서 캡처하는 단계는, 각각의 롱 캡처 주기 동안의 온(ON) 상태와 오프(OFF) 상태 사이에서 상기 제 2 이미지 캡처 영역을 게이트-제어하는 단계를 포함하는
캡처하기 위한 방법.
- 제 6 항에 있어서,
상기 프레임 주기 내 게이트-제어 주기 동안 제 1 이미지 캡처 영역에 의해 게이트-제어된 광을 이미지 데이터로서 캡처하는 단계는, 상기 프레임의 각각의 게이트-제어 주기 동안의 하나 이상의 숏 캡처 주기 동안 이미지 데이터를 상기 제 1 이미지 캡처 영역과 연관된 이미지 저장 매체에 저장하는 단계를 더 포함하고;
상기 프레임 주기 내 비-게이트-제어 주기 동안 제 2 이미지 캡처 영역에 의해 비-게이트-제어된 광을 이미지 데이터로서 캡처하는 단계는, 상기 프레임의 각각의 비-게이트-제어 주기 동안의 하나 이상의 롱 캡처 주기 동안 이미지 데이터를 상기 제 2 이미지 캡처 영역과 연관된 이미지 저장 매체에 저장하는 단계를 더 포함하는
캡처하기 위한 방법.
- 3D(3차원) 비행시간(time of flight) 카메라 시스템에서, 장면(scene)으로부터 게이트-제어된 광(gated light)과 비-게이트-제어된 광(ungated light)을 동일한 프레임 주기에서 캡처하도록 감광면을 제어하기 위한 시스템으로서, 상기 시스템은
상기 프레임 주기 내 게이트-제어 주기(gated period) 동안 게이트-제어된 광을 이미지 데이터로서 챕처하기 위한 포토픽셀 라인의 제 1 세트 및 이미지 데이터 저장 매체를 포함하는 제 1 이미지 캡처 영역과, 상기 프레임 주기 내 비-게이트-제어 주기(ungated period) 동안 비-게이트-제어되는 광을 이미지 데이터로서 캡처하기 위한 포토픽셀 라인의 제 2 세트 및 이미지 데이터 저장 매체를 포함하는 제 2 이미지 캡처 영역을 포함하는 감광면, 및
상기 게이트-제어 주기 동안 포토픽셀 라인의 제 1 세트에 의해 감지되는 이미지 데이터가 제 1 캡처 영역의 각자의 이미지 데이터 저장 매체에 저장되게 하며, 이미지 캡처 영역들로 전기적으로 연결된 제어 회로
를 포함하고, 상기 제어 회로는
전체 게이트-제어 주기 동안 상기 제 2 이미지 캡처 영역이 이미지 데이터가 포토픽셀 라인의 제 2 세트에 대한 각자의 이미지 데이터 저장 매체에 저장되지 않는 오프(OFF) 상태가 되게 하며,
상기 비-게이트 제어 주기 동안 포토픽셀 라인의 제 2 세트에 의해 감지되는 이미지 데이터가 제 2 캡처 영역의 각자의 이미지 데이터 저장 매체로 저장되게 하며,
전체 비-게이트-제어 주기 동안 상기 제 1 이미지 캡처 영역이 이미지 데이터가 포토픽셀 라인의 제 1 세트에 대한 각자의 이미지 데이터 저장 매체에 저장되지 않는 오프(OFF) 상태가 되게 하는
시스템.
- 제 9 항에 있어서,
상기 게이트-제어 주기와 비-게이트-제어 주기는 동일한 프레임 주기 동안 인터리빙(interleave)되는
시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/968,775 US20120154535A1 (en) | 2010-12-15 | 2010-12-15 | Capturing gated and ungated light in the same frame on the same photosurface |
| US12/968,775 | 2010-12-15 | ||
| PCT/US2011/063349 WO2012082443A2 (en) | 2010-12-15 | 2011-12-05 | Capturing gated and ungated light in the same frame on the same photosurface |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20130137651A true KR20130137651A (ko) | 2013-12-17 |
Family
ID=46233858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137015271A KR20130137651A (ko) | 2010-12-15 | 2011-12-05 | 동일 프레임에 동일한 감광면에서 게이트-제어된 광과 비-게이트-제어된 광을 캡처하기 위한 방법 및 시스템 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20120154535A1 (ko) |
| EP (1) | EP2652956A4 (ko) |
| JP (1) | JP5898692B2 (ko) |
| KR (1) | KR20130137651A (ko) |
| CN (1) | CN102547156B (ko) |
| CA (1) | CA2820226A1 (ko) |
| IL (1) | IL226723A (ko) |
| WO (1) | WO2012082443A2 (ko) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9083905B2 (en) * | 2011-04-26 | 2015-07-14 | Semiconductor Components Industries, Llc | Structured light imaging system |
| KR101823347B1 (ko) * | 2011-07-08 | 2018-02-01 | 삼성전자주식회사 | 센서와 이를 포함하는 데이터 처리 시스템 |
| US9516248B2 (en) * | 2013-03-15 | 2016-12-06 | Microsoft Technology Licensing, Llc | Photosensor having enhanced sensitivity |
| DK2835973T3 (da) * | 2013-08-06 | 2015-11-30 | Sick Ag | 3D-kamera og fremgangsmåde til registrering af tredimensionale billededata |
| US9462253B2 (en) * | 2013-09-23 | 2016-10-04 | Microsoft Technology Licensing, Llc | Optical modules that reduce speckle contrast and diffraction artifacts |
| US9826214B2 (en) * | 2014-09-08 | 2017-11-21 | Microsoft Technology Licensing, Llc. | Variable resolution pixel |
| US9608027B2 (en) * | 2015-02-17 | 2017-03-28 | Omnivision Technologies, Inc. | Stacked embedded SPAD image sensor for attached 3D information |
| US10062201B2 (en) | 2015-04-21 | 2018-08-28 | Microsoft Technology Licensing, Llc | Time-of-flight simulation of multipath light phenomena |
| US9945936B2 (en) | 2015-05-27 | 2018-04-17 | Microsoft Technology Licensing, Llc | Reduction in camera to camera interference in depth measurements using spread spectrum |
| GB201516701D0 (en) * | 2015-09-21 | 2015-11-04 | Innovation & Business Dev Solutions Ltd | Time of flight distance sensor |
| US10151838B2 (en) | 2015-11-24 | 2018-12-11 | Microsoft Technology Licensing, Llc | Imaging sensor with shared pixel readout circuitry |
| US9760837B1 (en) | 2016-03-13 | 2017-09-12 | Microsoft Technology Licensing, Llc | Depth from time-of-flight using machine learning |
| CN106231213B (zh) * | 2016-09-29 | 2023-08-22 | 北方电子研究院安徽有限公司 | 一种可消除smear效应的带快门ccd像元结构 |
| US10917626B2 (en) | 2016-11-23 | 2021-02-09 | Microsoft Technology Licensing, Llc | Active illumination 3D imaging system |
| US10901073B2 (en) | 2017-07-11 | 2021-01-26 | Microsoft Technology Licensing, Llc | Illumination for zoned time-of-flight imaging |
| US10430958B2 (en) | 2017-07-11 | 2019-10-01 | Microsoft Technology Licensing, Llc | Active illumination 3D zonal imaging system |
| US10942274B2 (en) | 2018-04-11 | 2021-03-09 | Microsoft Technology Licensing, Llc | Time of flight and picture camera |
| CN112461154B (zh) * | 2019-09-09 | 2023-11-10 | 睿镞科技(北京)有限责任公司 | 3d成像方法、装置和深度相机 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4935616A (en) * | 1989-08-14 | 1990-06-19 | The United States Of America As Represented By The Department Of Energy | Range imaging laser radar |
| WO1991004633A1 (en) * | 1989-09-23 | 1991-04-04 | Vlsi Vision Limited | I.c. sensor |
| US5949483A (en) * | 1994-01-28 | 1999-09-07 | California Institute Of Technology | Active pixel sensor array with multiresolution readout |
| IL114278A (en) * | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
| US6091905A (en) * | 1995-06-22 | 2000-07-18 | 3Dv Systems, Ltd | Telecentric 3D camera and method |
| US6044170A (en) * | 1996-03-21 | 2000-03-28 | Real-Time Geometry Corporation | System and method for rapid shape digitizing and adaptive mesh generation |
| WO1999034235A1 (de) * | 1997-12-23 | 1999-07-08 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes |
| AU9456198A (en) * | 1998-09-28 | 2000-04-17 | 3Dv Systems Ltd. | Distance measurement with a camera |
| AU5646299A (en) * | 1999-09-08 | 2001-04-10 | 3Dv Systems Ltd. | 3d imaging system |
| JP2002071309A (ja) * | 2000-08-24 | 2002-03-08 | Asahi Optical Co Ltd | ３次元画像検出装置 |
| WO2002049366A1 (en) * | 2000-12-14 | 2002-06-20 | 3Dv Systems, Ltd. | 3d camera |
| US6721094B1 (en) * | 2001-03-05 | 2004-04-13 | Sandia Corporation | Long working distance interference microscope |
| WO2005036372A2 (en) * | 2003-10-09 | 2005-04-21 | Honda Motor Co., Ltd. | Systems and methods for determining depth using shuttered light pulses |
| US8134637B2 (en) | 2004-01-28 | 2012-03-13 | Microsoft Corporation | Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing |
| JP2009047475A (ja) * | 2007-08-15 | 2009-03-05 | Hamamatsu Photonics Kk | 固体撮像素子 |
| US8004502B2 (en) * | 2007-10-05 | 2011-08-23 | Microsoft Corporation | Correcting for ambient light in an optical touch-sensitive device |
| CN102113309B (zh) * | 2008-08-03 | 2013-11-06 | 微软国际控股私有有限公司 | 卷帘相机*** |
| US8681321B2 (en) * | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
-
2010
- 2010-12-15 US US12/968,775 patent/US20120154535A1/en not_active Abandoned
-
2011
- 2011-12-05 KR KR1020137015271A patent/KR20130137651A/ko not_active Application Discontinuation
- 2011-12-05 CA CA2820226A patent/CA2820226A1/en not_active Abandoned
- 2011-12-05 EP EP11849863.3A patent/EP2652956A4/en not_active Withdrawn
- 2011-12-05 JP JP2013544547A patent/JP5898692B2/ja not_active Expired - Fee Related
- 2011-12-05 WO PCT/US2011/063349 patent/WO2012082443A2/en active Application Filing
- 2011-12-14 CN CN201110443241.XA patent/CN102547156B/zh not_active Expired - Fee Related
-
2013
- 2013-06-04 IL IL226723A patent/IL226723A/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| CA2820226A1 (en) | 2012-06-21 |
| CN102547156B (zh) | 2015-01-07 |
| WO2012082443A2 (en) | 2012-06-21 |
| EP2652956A4 (en) | 2014-11-19 |
| IL226723A (en) | 2016-11-30 |
| WO2012082443A3 (en) | 2012-10-04 |
| JP5898692B2 (ja) | 2016-04-06 |
| US20120154535A1 (en) | 2012-06-21 |
| EP2652956A2 (en) | 2013-10-23 |
| JP2014509462A (ja) | 2014-04-17 |
| CN102547156A (zh) | 2012-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20130137651A (ko) | 동일 프레임에 동일한 감광면에서 게이트-제어된 광과 비-게이트-제어된 광을 캡처하기 위한 방법 및 시스템 | |
| US9160932B2 (en) | Fast gating photosurface | |
| KR101508410B1 (ko) | 거리 화상 센서, 및 촬상 신호를 비행시간법에 의해 생성하는 방법 | |
| RU2686396C2 (ru) | Устройство фотодетектирования и система фотодетектирования | |
| JP6661617B2 (ja) | 光センサ及びカメラ | |
| WO2009147862A1 (ja) | 撮像装置 | |
| JP2021507584A (ja) | コンピュータビジョンアプリケーションのためのグロバールシャッタピクセル回路および方法 | |
| US9516248B2 (en) | Photosensor having enhanced sensitivity | |
| JP5518667B2 (ja) | 距離センサ及び距離画像センサ | |
| US6924887B2 (en) | Method and apparatus for generating charge from a light pulse | |
| KR20070009591A (ko) | 광 비행 시간형 거리 센서 | |
| JP2012217059A (ja) | 固体撮像装置 | |
| EP3664438B1 (en) | Imaging device | |
| US20180219035A1 (en) | Solid state imaging device | |
| CN106449668A (zh) | 光电转换元件、装置、距离检测传感器和信息处理*** | |
| CN110729315B (zh) | 像素架构和图像传感器 | |
| JPWO2018142878A1 (ja) | ３次元モーション取得装置、及び３次元モーション取得方法 | |
| KR20220005697A (ko) | 이미지 센싱 장치 | |
| KR20210150765A (ko) | 이미지 센싱 장치 및 이를 포함하는 촬영 장치 | |
| KR20210064687A (ko) | 이미지 센서 | |
| TWI837107B (zh) | 像素結構、具像素結構之影像感測器裝置和系統、及操作該像素結構之方法 | |
| US11335727B2 (en) | Image sensing device | |
| JP7358771B2 (ja) | ３ｄ撮像ユニット、カメラ、及び３ｄ画像生成方法 | |
| US8569804B2 (en) | Light receiving device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |