WO2023140471A1 - Spad 어레이를 이용하는 이미지 센서 - Google Patents

Spad 어레이를 이용하는 이미지 센서 Download PDF

Info

Publication number
WO2023140471A1
WO2023140471A1 PCT/KR2022/016320 KR2022016320W WO2023140471A1 WO 2023140471 A1 WO2023140471 A1 WO 2023140471A1 KR 2022016320 W KR2022016320 W KR 2022016320W WO 2023140471 A1 WO2023140471 A1 WO 2023140471A1
Authority
WO
WIPO (PCT)
Prior art keywords
counter
spad
image sensor
signal
mode
Prior art date
Application number
PCT/KR2022/016320
Other languages
English (en)
French (fr)
Inventor
채영철
박병철
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2023140471A1 publication Critical patent/WO2023140471A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/02—Details
    • H01L31/02016—Circuit arrangements of general character for the devices
    • H01L31/02019—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier
    • H01L31/02027—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier for devices working in avalanche mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Definitions

  • the present invention relates to an image sensor using a SPAD array, and more particularly, to an image sensor capable of mode conversion to improve image quality.
  • An image sensor is a device that implements an image using light, and may include various elements capable of detecting light.
  • a SPAD device is a device capable of detecting a single photon through an avalanche phenomenon, and research on an image sensor using the SPAD device has recently been actively conducted.
  • the image sensor detects light in various ways according to the mode.
  • Each mode has advantages and disadvantages at the same time, and it is necessary to select each mode according to the object to be sensed.
  • an image sensor with a new structure capable of solving the problems of each mode is required.
  • the present invention is the development of a 20 x 20cm large area hybrid X-ray video detector based on Global Shutter of the Ministry of Science and ICT, the Ministry of Trade, Industry and Energy, the Ministry of Health and Welfare, and the Ministry of Food and Drug Safety (Task identification number: 1711138026, task number: KMDF_PR_20200901_0048-03, research project name: pan-governmental medical device R&D project (R&D), project management agency: pan-ministerial It was derived from a study conducted as part of the Jeonju Medical Device R&D Project Group, project executing agency: Yonsei University Industry-University Cooperation Foundation, research period: 2021.03.01. ⁇ 2022.02.28.).
  • One object of the present invention relates to an image sensor for supplementing the disadvantages of each mode by using two or more counters.
  • an image sensor using two or more counters may be provided to compensate for the disadvantages of each mode.
  • FIG. 1 is a diagram showing the configuration of an image sensor using a conventional SPAD.
  • FIG. 2 is a diagram showing a counter operation and implemented images in a global shutter mode of a conventional image sensor.
  • FIG. 3 is a diagram showing a counter operation and implemented images in a rolling shutter mode of a conventional image sensor.
  • FIG. 4 is a diagram showing the configuration of an image sensor according to an embodiment of the present invention.
  • FIG. 5 is a diagram showing the configuration of an image sensor in a first mode according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a counter operation in the first mode.
  • FIG. 7 is a diagram showing the configuration of an image sensor in a second mode according to an embodiment of the present invention.
  • An image sensor includes a SPAD array including one or more SPAD elements; a mux receiving a signal output from the SPAD array; a controller transmitting a mode setting signal to the mux; and a first counter and a second counter that output digital signals based on signals output from the SPAD array, and the multiplexer may change a connection relationship between the first counter and the second counter according to the mode setting signal.
  • the mode setting signal may include: a first signal corresponding to a first mode in which the photon integration period of the first counter and the photon integration period of the second counter do not overlap; and a second signal corresponding to a second mode in which the operation of the second counter is performed after the operation of the first counter.
  • the first mode may be a mode in which one of the first counter and the second counter is a photon accumulation period and the other is a read out period
  • the second mode may be a mode in which a photon accumulation period corresponding to a first SPAD element included in the SPAD array of the first counter overlaps a photon accumulation period corresponding to a second SPAD element included in the SPAD array.
  • the mux transmits the signal output from the SPAD array to the first counter and the second counter when the first signal is obtained from the controller, and when the second signal is obtained from the controller, the signal output from the SPAD array may be directly transmitted only to the first counter.
  • the mux when the mux obtains the first signal, the first counter and the second counter may be connected in parallel, and the second counter may obtain a signal output from the SPAD array from the mux.
  • the mux obtains the second signal
  • the first counter and the second counter are connected in series, and the second counter can obtain the signal output from the SPAD array from the first counter.
  • first SPAD element and the second SPAD element may exist in different rows on the SPAD array.
  • the SPAD array may be disposed on a second wafer different from the first wafer on which the first counter and the second counter are disposed.
  • the controller may generate an image of an object having reflected light to the SPAD array based on a first result signal output from the first counter and a second result signal output from the second counter.
  • the controller may change the mode setting signal based on a first image of the object at a first time point and a second image of the object at a second time point.
  • FIG. 1 is a diagram showing the configuration of an image sensor using a conventional SPAD.
  • a conventional image sensor using a single photon avalanche diode may include a SPAD array including one or more SPAD elements and a counter for counting photons by receiving a signal resulting from the SPAD array.
  • SPAD single photon avalanche diode
  • FIG. 2 is a diagram showing a counter operation and implemented images in a global shutter mode of a conventional image sensor.
  • a photon integration period (T_INT) for accumulating photons and a read out period (T_READ) for reading the accumulated photons are alternately repeated.
  • 0 s to 16.5 ms may be a photon accumulation period (T_INT), and 16.5 ms to 33 ms after the photon accumulation period (T_INT) may be a lead-out period (33 ms). After the lead-out period from 16.5 ms to 33 ms, the photon accumulation period (T_INT) starts again from 33 ms to 49.5 ms. As such, in the global mode, the photon accumulation period and the lead-out period of the counter may be alternately repeated.
  • 2(b) shows an image generated based on a counting result of a counter in global shutter mode. 2(b) will be described below in comparison with FIG. 3(b) in the description of FIG. 3 .
  • the image sensor Since photons cannot be accumulated during the lead-out period of the counter, the image sensor takes a lot of time to generate one image frame. That is, when the image sensor operates in the global shutter mode, a low frame rate problem occurs. To solve the problem of the global shutter mode, a rolling shutter mode has been introduced.
  • FIG. 3 is a diagram showing a counter operation and implemented images in a rolling shutter mode of a conventional image sensor.
  • the counter may distinguish SPAD elements for each row in the SPAD array and perform photon accumulation and read-out for each SPAD element.
  • the counter allocates a first period of 33 ms for the first row as a photon accumulation period (T_INT), and a second period of 33 ms, which is a remaining period excluding the first period, as a read-out period (T_READ).
  • the counter may allocate a third period of 33 ms for the second row as a photon accumulation period T_INT, and a fourth period of 33 ms excluding the third period as a read-out period T_READ.
  • the lead-out period for each row can be set so as not to overlap. That is, when the counter performs lead-out for the first row, photons cannot be accumulated for the first row, but photons can be accumulated for the second row, so the problem of not being able to accumulate photons during the lead-out period, which was a problem in the global shutter, can be partially solved.
  • the time loss is smaller than in the global shutter mode.
  • an image generated by an image sensor may have a different sensing time for each row. That is, motion artifacts and jello effects may occur. Therefore, when an object of realizing an image moves, a problem in that the image is distorted may occur.
  • the image sensor operating in the rolling shutter mode has image distortion when considering the size of the fan as shown in the image of FIG. 3(b). This is because, in the rolling shutter mode, the SPAD elements included in the SPAD array are divided by row, and light sensing time points are different for each row.
  • the image sensor of the present invention proposes a method for solving the above problem below.
  • FIG. 4 is a diagram showing the configuration of an image sensor according to an embodiment of the present invention.
  • the image sensor may include a SPAD array 100, a multiplexer (MUX), a first counter 300, and a second counter 400.
  • MUX multiplexer
  • the SPAD array 100 may include one or more SPAD elements.
  • the SPAD array 100 may include a plurality of SPAD elements configured in a matrix.
  • the SPAD array 100 may be a SPAD matrix configured in the form of 8X8, 64X64, 100X100, 1024X1024, 4000X4000, etc., but is not limited thereto and can be implemented in various shapes such as circular, elliptical, and honeycomb structures.
  • the SPAD array 100 may include one or more sub-arrays composed of N SPAD elements.
  • the SPAD array 100 may include a plurality of sub-arrays constituted by SPAD elements in the form of a 4X4 matrix.
  • the SPAD array 100 When light is incident on the SPAD array 100, photons can be detected by an avalanche phenomenon.
  • the SPAD array 100 may output a signal resulting from photon detection.
  • the resulting signal may be a pulse in analog form. Accordingly, a counter capable of counting photons based on the analog type pulse is required.
  • the mux 200 may be connected to the SPAD array 100 and receive a signal output from the SPAD array 100 .
  • the signal output from the SPAD array 100 is a result signal according to photon detection, and the result signal may be the analog type pulse described above.
  • the mux 200 may receive the mode setting signal 500 by a controller (not shown).
  • the controller may perform overall control of the image sensor.
  • the controller may be an MCU that generates an image based on a resultant signal of the SPAD array 100 .
  • the mux 200 may transfer the signal received from the SPAD array 100 to the counters 300 and 400 . At this time, the transfer of the signal to the counters 300 and 400 may vary according to the mode setting signal 500 .
  • the mode setting signal is described below along with a description of the controller.
  • the mux 200 may change the connection relationship of the counters 300 and 400 according to the mode setting signal 500 . Specifically, the mux 200 may change the connection relationship between the first counter 300 and the second counter 400 in series or parallel according to the mode setting signal 500 . Alternatively, the mux 200 may change a signal applied to the second counter 400 . Alternatively, the mux 200 may change a subject inputting a signal to the second counter 400 .
  • the mux 200 may establish a connection relationship between counters such that the first counter 300 and the second counter 400 are connected in parallel to each other.
  • the second counter 400 may receive a signal output from the SPAD array 100 through the mux 200 . That is, a subject inputting a signal to the second counter 400 may be the mux 200 .
  • the mux 200 sets the input (IN) to a terminal connected to the SPAD array 100, and sets the output (OUT) to two terminals connected to the first counter 300 and the second counter 400, so that the first counter 300 and the second counter 400 are connected in parallel.
  • the mux 200 may set a connection relationship between the counters such that the first counter 300 and the second counter 400 are connected in series.
  • the second counter 400 may be serially connected to the first counter 300 to obtain a signal output from the SPAD array 100 through the first counter 300 . That is, a subject inputting a signal to the second counter 400 may be the first counter 300 .
  • the mux 200 sets the input (IN) to a terminal connected to the SPAD array 100 and sets the output (OUT) to a terminal connected to the first counter 300, so that the signal output from the SPAD array 100 can be directly transmitted only to the first counter 300.
  • the output terminal of the first counter 300 is connected to the input terminal of the second counter 400, so that the second counter 400 can indirectly obtain a signal output from the SPAD array 100.
  • the first counter 300 and the second counter 400 may count photons based on a signal output from the SPAD array 100 and output a digital signal corresponding thereto.
  • the first counter 300 and the second counter 400 may be N-bit counters (N is an integer greater than or equal to 1) capable of counting up to the Nth power of 2. When the first counter 300 and the second counter 400 are connected in series, they can operate as a 2N-bit counter.
  • the image sensor includes two counters as an example, but is not limited thereto, and the image sensor may include a plurality of counters. At this time, the two counters may form a pair and operate. That is, two counters can be connected in series or parallel according to a mode setting signal as a pair.
  • the image sensor may include a controller that outputs the mode setting signal 500 .
  • the mode setting signal 500 may include a first signal corresponding to the global shutter mode and a second signal corresponding to the rolling shutter mode.
  • the global shutter mode may be a mode in which photons are accumulated and read out at the same time for all SPAD elements included in the SPAD array 100 to generate one frame. That is, the global shutter mode may be a mode in which a photon integration period and a read out period of the counter are alternately and repeatedly performed.
  • the rolling shutter mode may be a mode in which photons are accumulated and read out for each row of the SPAD elements included in the SPAD array 100 to generate one frame. That is, the rolling shutter mode may be a mode in which the photon accumulation period of the SPAD elements of the first row included in the SPAD array 100 partially overlaps the photon accumulation period of the SPAD elements of the second row.
  • the controller may generate an image of an object to be sensed based on an output signal of the counter. In this case, the controller may determine and/or set the mode setting signal 500 according to the movement of the object.
  • the controller may set the mode setting signal 500 as the first signal corresponding to the global shutter mode, thereby minimizing motion artifacts and jello effects for dynamic motion.
  • the controller may set the mode setting signal 500 as the second signal corresponding to the rolling shutter mode to generate an image by increasing the frame rate.
  • the controller may determine the motion of the object and set or change a mode optimized for the object.
  • a method for the controller to determine the motion of the object may be various.
  • the controller may detect a distance of the object using light, and determine that the motion of the object is dynamic when a change in the distance of the object exceeds a predetermined level.
  • the image sensor may include a separate SPAD element for detecting a distance and detect the distance of the target object through the separate SPAD element.
  • the present invention is not limited thereto, and one or more SPAD elements among the SPAD elements included in the SPAD array 100 may be used for detecting a distance of an object without disposing a separate SPAD element.
  • the controller may determine the motion of the object based on a pixel value difference between a first image generated at a first viewpoint and a second image generated at a second viewpoint. Specifically, a pixel value at a first position included in a first image created at a first viewpoint is compared with a pixel value at a first position included in a second image generated at a second viewpoint, and when the change in pixel value exceeds a certain level, the controller may determine that the movement of the object is dynamic.
  • An image sensor may be implemented through one or more wafers. This may vary depending on the arrangement relationship between the SPAD array 100 and the counters 300 and 400.
  • the SPAD array 100 and the counters 300 and 400 may be disposed on one wafer. At this time, two counters may be connected to each SPAD element included in the SPAD array 100 . However, it is not limited thereto, and two counters may be connected to each sub-array included in the SPAD array 100 .
  • the SPAD array 100 and the counters 300 and 400 may be disposed on different wafers.
  • the first wafer on which the SPAD array 100 is disposed may be located above the second wafer on which the counters 300 and 400 are disposed.
  • the reason why the SPAD array 100 and the counters 300 and 400 are disposed on different wafers may be to secure a light receiving area of the SPAD element. That is, when the counters 300 and 400 are disposed between the SPAD elements included in the SPAD array 100, light incident on an area where the counters are disposed cannot be detected, and thus light loss may occur. Therefore, a region where the SPAD array 100 can sense light and a region where the counter can perform a circuit operation may be separated by using different wafers.
  • FIG. 5 is a diagram showing the configuration of an image sensor in a first mode according to an embodiment of the present invention.
  • the controller may set the mode setting signal 500 as the first signal 510 to set the image sensor to the first mode.
  • the first mode may be a mode corresponding to the global shutter mode.
  • the mux 200 may receive the first signal 510 from the controller.
  • the mux 200 may change a connection relationship between the first counter 300 and the second counter 400 based on the first signal 510 .
  • the mux 200 connects the first counter 300 and the second counter 400 in parallel to directly transmit signals output from the SPAD array 100 to the first counter 300 and the second counter 400.
  • the first counter 300 and the second counter 400 may alternately perform photon accumulation and read-out processes with respect to the output signal of the SPAD array 100 . Since two counters are used, the problem of the global shutter mode in which photons cannot be accumulated during the lead-out period can be solved.
  • the operation method of the first counter 300 and the second counter 400 will be described with reference to FIG. 6 .
  • FIG. 6 is a diagram for explaining a counter operation in the first mode.
  • the first counter 300 and the second counter 400 may alternately perform photon accumulation and read-out. That is, the second counter 400 may perform read-out while the first counter 300 accumulates photons, and the second counter 400 may accumulate photons while the first counter 300 performs read-out. Accordingly, the photon accumulation period of the first counter 300 and the photon accumulation period of the second counter 400 may not overlap each other.
  • the first counter 300 accumulates photons in a first period of 0 seconds to 16.5 ms as a photon accumulation period (T_INT), and the second counter 400 is a read-out period (T_READ) to read out the result of photon accumulation performed before the first period.
  • T_INT photon accumulation period
  • T_READ read-out period
  • the first counter 300 reads out the result of photon accumulation performed in the first period by using it as the lead-out period (T_INT), and the second counter 400 can accumulate photons by using it as the photon accumulation period (T_INT).
  • the image sensor of the present invention uses two counters, read-out of the counters can be alternately performed in the first mode corresponding to the global shutter mode, thereby solving the conventional low frame rate problem. That is, the time for generating an image can be shortened compared to the case of using one counter.
  • FIG. 7 is a diagram showing the configuration of an image sensor in a second mode according to an embodiment of the present invention.
  • the controller may set the mode setting signal 500 as the second signal 520 to set the image sensor to the second mode.
  • the second mode may be a mode corresponding to the rolling shutter mode.
  • the mux 200 may receive the second signal 520 from the controller.
  • the mux 200 may change a connection relationship between the first counter 300 and the second counter 400 based on the second signal 520 .
  • the mux 200 connects the first counter 300 and the second counter 400 in series, so that the signal output from the SPAD array 100 can be directly transmitted to the first counter 300, and the second counter 400 can be transmitted indirectly through the first counter 300.
  • the counting operation of the second counter 400 may be performed after the counting operation of the first counter 300 is performed. That is, the operation of the first counter 300 and the operation of the second counter 400 may not be performed simultaneously, and the operation of the second counter 300 may be performed after the operation of the first counter 300.
  • the first counter 300 and the second counter 400 are connected in series to operate as a 2N-bit counter. Since counting of 2 to the power of 2 can be performed using two counters, the dynamic range of the image sensor can be increased. Accordingly, the image sensor can maintain a high frame rate in the rolling shutter mode and can improve image quality by minimizing motion artifacts.
  • the first counter 300 and the second counter 400 may accumulate and read out photons for each row.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, and hardware devices specially configured to store and execute program instructions such as ROM, RAM, and flash memory.
  • program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명의 이미지 센서는 하나 이상의 SPAD 소자를 포함하는 SPAD 어레이; 상기 SPAD 어레이로부터 출력된 신호를 수신하는 먹스; 상기 먹스에 모드 설정 신호를 전송하는 컨트롤러; 및 상기 SPAD 어레이로부터 출력된 신호에 기초하여 디지털 신호를 출력하는 제1 카운터 및 제2 카운터를 포함하고, 상기 먹스는 상기 모드 설정 신호에 따라 상기 제1 카운터 및 상기 제2 카운터의 연결 관계를 변경할 수 있다.

Description

SPAD 어레이를 이용하는 이미지 센서
본 발명은 SPAD 어레이를 이용하는 이미지 센서에 관한 것으로, 보다 상세하게는, 모드 전환이 가능하여 이미지의 퀄리티를 향상시킬 수 있는 이미지 센서에 관한 것이다.
이미지 센서는 광을 통해 이미지를 구현하는 장치로서, 광을 감지할 수 있는 다양한 소자가 포함될 수 있다. 광을 감지할 수 있는 소자 중 SPAD 소자는 아발란치 현상을 통해 단일 광자를 검출할 수 있는 소자로서, 최근 SPAD 소자를 사용하는 이미지 센서에 대한 연구가 활발히 진행되고 있다.
이미지 센서는 모드에 따라 다양하게 광을 감지한다. 각 모드마다 장점과 단점이 동시에 존재하는데, 감지하는 대상체에 따라 각 모드를 선택할 필요가 있다. 또한, 각 모드의 문제점을 해결할 수 있는 새로운 구조의 이미지 센서가 필요하다.
본원 발명은 과학기술정보통신부, 산업통상자원부, 보건복지부 및 식품의약품안전처의 Global Shutter 기반의 20 x 20cm 대면적 Hybrid X선 동영상 검출기 개발(과제고유번호: 1711138026, 과제번호: KMDF_PR_20200901_0048-03, 연구사업명: 범부처전주기의료기기연구개발사업(R&D), 과제관리기관: 범부처전주기의료기기연구개발사업단, 과제수행기관: 연세대학교산학협력단, 연구기간: 2021.03.01.~2022.02.28.)의 일환으로 수행한 연구로부터 도출된 것이다.
한편, 본 발명의 모든 측면에서 과제 제공 주체인 한국 정부의 재산 이익은 없다.
본 발명의 일 과제는 2 이상의 카운터를 사용하여 각 모드의 단점을 보완하기 위한 이미지 센서에 관한 것이다.
본 발명의 일 실시예에 따르면 각 모드의 단점을 보완하기 위해 2 이상의 카운터를 사용하는 이미지 센서가 제공될 수 있다.
도 1은 종래의 SPAD를 사용한 이미지 센서의 구성을 나타낸 도면이다.
도 2는 종래 이미지 센서의 글로벌 셔터 모드에서의 카운터 동작 및 구현 이미지를 나타낸 도면이다.
도 3은 종래 이미지 센서의 롤링 셔터 모드에서의 카운터 동작 및 구현 이미지를 나타낸 도면이다.
도 4는 본원 발명의 일 실시예에 따른 이미지 센서의 구성을 나타낸 도면이다.
도 5는 본원 발명의 일 실시예에 따른 제1 모드에서의 이미지 센서의 구성을 나타낸 도면이다.
도 6은 제1 모드에서의 카운터 동작을 설명하기 위한 도면이다.
도 7은 본원 발명의 일 실시예에 따른 제2 모드에서의 이미지 센서의 구성을 나타낸 도면이다.
일 실시예에 따른 이미지 센서는 하나 이상의 SPAD 소자를 포함하는 SPAD 어레이; 상기 SPAD 어레이로부터 출력된 신호를 수신하는 먹스; 상기 먹스에 모드 설정 신호를 전송하는 컨트롤러; 및 상기 SPAD 어레이로부터 출력된 신호에 기초하여 디지털 신호를 출력하는 제1 카운터 및 제2 카운터를 포함하고, 상기 먹스는 상기 모드 설정 신호에 따라 상기 제1 카운터 및 상기 제2 카운터의 연결 관계를 변경할 수 있다.
여기서, 상기 모드 설정 신호는, 상기 제1 카운터의 광자 축적 기간 및 상기 제2 카운터의 광자 축적(integration) 기간이 오버랩되지 않는 모드인 제1 모드에 대응되는 제1 신호; 및 상기 제1 카운터의 동작 이후 상기 제2 카운터의 동작이 수행되는 모드인 제2 모드에 대응되는 제2 신호를 포함할 수 있다.
여기서, 상기 제1 모드는 상기 제1 카운터 및 상기 제2 카운터 중 어느 하나가 광자 축적 기간인 경우 다른 하나는 리드 아웃(read out) 기간인 모드이고, 상기 제2 모드는 상기 제1 카운터의 상기 SPAD 어레이에 포함된 제1 SPAD 소자에 대응되는 광자 축적 기간 및 상기 SPAD 어레이에 포함된 제2 SPAD 소자에 대응되는 광자 축적 기간이 오버랩되는 모드일 수 있다.
여기서, 상기 먹스는, 상기 컨트롤러부터 상기 제1 신호를 획득한 경우, 상기 제1 카운터 및 상기 제2 카운터에 상기 SPAD 어레이로부터 출력된 신호를 전송하고, 상기 컨트롤러로부터 상기 제2 신호를 획득한 경우, 상기 제1 카운터에만 직접적으로 상기 SPAD 어레이로부터 출력된 신호를 전송할 수 있다.
여기서, 상기 먹스가 상기 제1 신호를 획득한 경우, 상기 제1 카운터 및 상기 제2 카운터는 병렬로 연결되고, 상기 제2 카운터는 상기 먹스로부터 상기 SPAD 어레이로부터 출력된 신호를 획득할 수 있다.
여기서, 상기 먹스가 상기 제2 신호를 획득한 경우, 상기 제1 카운터 및 상기 제2 카운터는 직렬로 연결되고, 상기 제2 카운터는 상기 제1 카운터로부터 상기 SPAD 어레이로부터 출력된 신호를 획득할 수 있다.
여기서, 상기 제1 SPAD 소자 및 상기 제2 SPAD 소자는 상기 SPAD 어레이 상에서 서로 상이한 행(row)에 존재할 수 있다.
여기서, 상기 SPAD 어레이는 상기 제1 카운터 및 상기 제2 카운터가 배치되는 제1 웨이퍼와 상이한 제2 웨이퍼 상에 배치될 수 있다.
여기서, 상기 컨트롤러는 상기 제1 카운터로부터 출력된 제1 결과 신호 및 상기 제2 카운터로부터 출력된 제2 결과 신호에 기초하여 상기 SPAD 어레이로 광을 반사시킨 대상체의 이미지를 생성할 수 있다.
여기서, 상기 컨트롤러는 제1 시점에서의 상기 대상체의 제1 이미지 및 제2 시점에서의 상기 대상체의 제2 이미지에 기초하여, 상기 모드 설정 신호를 변경할 수 있다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.
도 1은 종래의 SPAD를 사용한 이미지 센서의 구성을 나타낸 도면이다.
도 1을 참조하면, 단광자 애벌런치 다이오드(SPAD: Single photon avalanche diode)를 사용한 종래의 이미지 센서는 하나 이상의 SPAD 소자를 포함한 SPAD 어레이 및 SPAD 어레이의 결과 신호를 수신하여 광자를 카운팅하는 카운터를 포함할 수 있다.
종래의 이미지 센서는 글로벌 셔터 모드 및 롤링 셔터 모드 중 하나의 모드로 고정되고, 하나의 카운터를 사용했기 때문에 여러 문제가 발생하였다. 아래 도 2 및 도 3을 참조하여, 종래의 이미지 센서의 문제에 대해서 설명한다.
도 2는 종래 이미지 센서의 글로벌 셔터 모드에서의 카운터 동작 및 구현 이미지를 나타낸 도면이다.
도 2를 참조하면, 종래의 이미지 센서는 하나의 카운터를 사용했기 때문에, 글로벌 셔터 모드에서 카운터가 리드 아웃할 때, 광자를 축적하지 못하는 문제가 발생했다.
구체적으로, 도 2(a)를 참조하면, 카운터에서는 광자를 축적하는 광자 축적(integration) 기간(T_INT) 및 축적한 광자를 읽어드리는 리드 아웃(read out) 기간(T_READ)이 번갈아 반복된다.
예를 들어, 도 2(a)에서, 30fps일 때, 0s에서 16.5ms는 광자 축적 기간(T_INT)이고, 광자 축적 기간(T_INT) 이후 16.5ms에서 33ms는 리드 아웃 기간(33ms)일 수 있다. 16.5ms에서 33ms까지의 리드 아웃 기간 이후, 33ms에서 49.5ms까지 다시 광자 축적 기간(T_INT)이 시작된다. 이처럼, 글로벌 모드에서 카운터의 광자 축적 기간과 리드 아웃 기간은 번갈아 반복될 수 있다.
도 2(b)는 글로벌 셔터 모드에서 카운터의 카운팅 결과에 기초하여 생성된 이미지를 나타낸 것이다. 도 2(b)는 도 3에 대한 설명에서 도 3(b)와 비교하여 이하에서 설명한다.
카운터의 리드 아웃 기간 동안 광자를 축적하지 못하기 때문에, 이미지 센서가 하나의 이미지 프레임을 생성하기 위해서는 많은 시간이 소요되는 문제가 발생했다. 즉, 이미지 센서가 글로벌 셔터 모드에서 동작할 경우, 프레임 레이트가 낮은 문제가 발생했다. 이와 같은 글로벌 셔터 모드의 문제를 해결하기 위해, 롤링 셔터 모드가 도입되었다.
도 3은 종래 이미지 센서의 롤링 셔터 모드에서의 카운터 동작 및 구현 이미지를 나타낸 도면이다.
도 3을 참조하면, 글로벌 셔터 모드에서의 낮은 프레임 레이트를 해결하기 위해, SPAD 어레이의 행마다 광자 축적 및 리드 아웃을 수행하는 롤링 셔터 모드에서의 카운터 동작 및 생성되는 이미지를 확인할 수 있다.
구체적으로, 도 3(a)를 참조하면, 카운터는 SPAD 어레이에서 SPAD 소자를 행마다 구별하여 각각에 대해 광자 축적 및 리드 아웃을 수행할 수 있다.
예를 들어, 30fps인 경우, 카운터는 제1 행에 대하여 33ms 중 일부인 제1 기간을 광자 축적 기간(T_INT)으로 할당하고, 33ms 중 제1 기간을 제외한 나머지 기간인 제2 기간을 리드 아웃 기간(T_READ)으로 할당할 수 있다. 또한, 카운터는 제2 행에 대하여 33ms 중 일부인 제3 기간을 광자 축적 기간(T_INT)으로 할당하고, 33ms 중 제3 기간을 제외한 나머지 기간인 제4 기간을 리드 아웃 기간(T_READ)으로 할당할 수 있다.
이때, 각 행마다의 리드 아웃 기간을 겹치지 않도록 설정할 수 있다. 즉, 카운터가 제1 행에 대하여 리드 아웃을 수행할 때, 제1 행에 대하여는 광자를 축적할 수 없으나, 제2 행에 대하여는 광자를 축적할 수 있으므로, 글로벌 셔터에서 문제가 됐던 리드 아웃 기간 중 광자를 축적할 수 없는 문제를 일부 해결할 수 있다.
롤링 셔터 모드에서, 카운터는 각 행별로 광자 축적 및 리드 아웃을 수행하기 때문에, 글로벌 셔터 모드보다 시간 손실이 작다. 그러나, 롤링 셔터 모드에서 이미지 센서가 생성한 이미지는 각 행별로 센싱한 시간이 다르다는 문제가 발생할 수 있다. 즉, 움직임 아티팩트(motion artifact) 및 젤로 현상(jello effect)가 발생할 수 있다. 따라서, 이미지 구현의 대상체가 움직일 경우, 이미지가 왜곡되는 문제점이 발생할 수 있다.
구체적으로, 도 2(b) 및 도 3(b)를 비교하면, 이들의 대상체는 모두 움직이는 팬(fan)이다. 움직이는 대상체에 대하여, 글로벌 셔터 모드에서 동작한 이미지 센서는 팬이 움직이더라도, 팬 날개의 크기 등을 고려했을 때, 이미지 왜곡이 발생하지 않은 것을 알 수 있다. 이는 글로벌 셔터 모드는 SPAD 어레이에 포함된 모든 SPAD 소자가 동일한 시점에서 센싱한 결과를 기초로 이미지를 생성하기 때문이다.
반면, 롤링 셔터 모드에서 동작한 이미지 센서는 도 3(b)의 이미지와 같이 팬의 크기 등을 고려했을 때, 이미지 왜곡이 발생한 것을 알 수 있다. 이는 롤링 셔터 모드는 SPAD 어레이에 포함된 SPAD 소자를 행별로 구분하여, 각 행마다 광을 센싱한 시점이 다르기 때문이다.
위에서 설명한 바와 같이, 글로벌 셔터 모드 및 롤링 셔터 모드는 각각 문제점을 가지고 있기 때문에, 하나의 모드에 고정되어서 동작하는 이미지 센서는 높은 퀄리티의 이미지를 구현하기 어려울 수 있다. 또한, 글로벌 셔터 모드에서 이미지 센서가 하나의 카운터를 사용하는 것은 낮은 프레임 레이트를 유발할 수 있다. 따라서, 본원 발명의 이미지 센서는 아래에서 위 문제점을 해결하기 위한 방안을 제안한다.
도 4는 본원 발명의 일 실시예에 따른 이미지 센서의 구성을 나타낸 도면이다.
도 4를 참조하면, 본원 발명의 일 실시예에 따른 이미지 센서는 SPAD 어레이(100), 먹스(MUX: Multiplexer), 제1 카운터(300) 및 제2 카운터(400)를 포함할 수 있다.
SPAD 어레이(100)는 하나 이상의 SPAD 소자를 포함할 수 있다. SPAD 어레이(100)는 매트릭스로 구성된 복수의 SPAD 소자를 포함할 수 있다. 예를 들어, SPAD 어레이(100)는 8X8, 64X64, 100X100, 1024X1024, 4000X4000 등의 형태로 구성된 SPAD 매트릭스일 수 있으나, 이에 한정되지 않고 원형, 타원형, 허니콤 구조 등 다양한 형태로 구현이 가능하다.
SPAD 어레이(100)는 N개의 SPAD 소자로 이루어진 하나 이상의 서브 어레이를 포함할 수 있다. 예를 들어, SPAD 어레이(100)는 4X4의 매트릭스 형태의 SPAD 소자들이 구성하는 서브 어레이를 복수개 포함할 수 있다.
SPAD 어레이(100)에 광이 입사되면, 아발란치(avalanche) 현상에 의해 광자를 디텍팅(detecting)할 수 있다. SPAD 어레이(100)는 광자 디텍팅에 따른 결과 신호를 출력할 수 있다. 상기 결과 신호는 아날로그 형태의 펄스일 수 있다. 이에 따라, 상기 아날로그 형태의 펄스에 기초하여 광자를 카운팅할 수 있는 카운터가 필요하다.
먹스(200)는 SPAD 어레이(100)에 연결되어, SPAD 어레이(100)로부터 출력된 신호를 수신할 수 있다. 이때, SPAD 어레이(100)로부터 출력된 신호는 광자 디텍팅에 따른 결과 신호이며, 상기 결과 신호는 위에서 설명한 아날로그 형태의 펄스일 수 있다.
먹스(200)는 컨트롤러(도시되지 않음)에 의해 모드 설정 신호(500)를 수신할 수 있다. 컨트롤러는 이미지 센서의 전체적인 제어를 수행할 수 있다. 또한, 컨트롤러는 SPAD 어레이(100)의 결과 신호에 기초하여 이미지를 생성하는 MCU일 수 있다.
먹스(200)는 SPAD 어레이(100)로부터 수신한 신호를 카운터(300, 400)로 전달할 수 있다. 이때, 카운터(300, 400)로 신호를 전달하는 것은 모드 설정 신호(500)에 따라 달라질 수 있다. 모드 설정 신호에 대해서는 이하에서 컨트롤러에 대한 설명과 함께 서술한다.
먹스(200)는 모드 설정 신호(500)에 따라 카운터들(300, 400)의 연결 관계를 변경할 수 있다. 구체적으로, 먹스(200)는 모드 설정 신호(500)에 따라 제1 카운터(300) 및 제2 카운터(400)의 연결 관계를 직렬 또는 병렬로 변경할 수 있다. 또는 먹스(200)는 제2 카운터(400)로 인가되는 신호를 변경할 수 있다. 또는 먹스(200)는 제2 카운터(400)로 신호를 입력시키는 주체를 변경할 수 있다.
예를 들어, 먹스(200)는 모드 설정 신호가 제1 신호일 경우, 제1 카운터(300) 및 제2 카운터(400)가 서로 병렬로 연결되도록 카운터들의 연결 관계를 설정할 수 있다. 이때, 제2 카운터(400)는 먹스(200)를 통해 SPAD 어레이(100)로부터 출력되는 신호를 전송받을 수 있다. 즉, 제2 카운터(400)로 신호를 입력시키는 주체는 먹스(200)일 수 있다.
구체적으로, 먹스(200)는 입력(IN)을 SPAD 어레이(100)와 연결된 단자로 설정하고, 출력(OUT)을 제1 카운터(300) 및 제2 카운터(400)와 연결된 2개의 단자로 설정하여, 제1 카운터(300) 및 제2 카운터(400)가 병렬로 연결되도록 연결 관계를 설정할 수 있다.
또한 예를 들어, 먹스(200)는 모드 설정 신호가 제2 신호일 경우, 제1 카운터(300) 및 제2 카운터(400)가 직렬로 연결되도록 카운터들의 연결 관계를 설정할 수 있다. 이때, 제2 카운터(400)는 제1 카운터(300)와 직렬로 연결되어, 제1 카운터(300)를 통해 SPAD 어레이(100)로부터 출력되는 신호를 획득할 수 있다. 즉, 제2 카운터(400)로 신호를 입력시키는 주체는 제1 카운터(300)일 수 있다.
구체적으로, 먹스(200)는 입력(IN)을 SPAD 어레이(100)와 연결된 단자로 설정하고, 출력(OUT)을 제1 카운터(300)와 연결된 단자로 설정하여, SPAD 어레이(100)로부터 출력된 신호를 제1 카운터(300)에만 직접적으로 전송할 수 있다. 이때, 제1 카운터(300)의 출력 단자는 제2 카운터(400)의 입력 단자로 연결되어, 제2 카운터(400)가 SPAD 어레이(100)로부터 출력된 신호를 간접적으로 획득할 수 있다.
모드 설정 신호(500)에 따른 먹스(200)의 동작은 도 5 내지 도 7을 참조하여 이하에서 설명한다.
제1 카운터(300) 및 제2 카운터(400)는 SPAD 어레이(100)로부터 출력된 신호에 기초하여 광자를 카운팅하고, 이에 대한 디지털 신호를 출력할 수 있다. 제1 카운터(300) 및 제2 카운터(400)는 2의 N승까지 카운팅할 수 있는 N-bit 카운터(N은 1 이상의 정수)일 수 있다. 제1 카운터(300) 및 제2 카운터(400)가 직렬로 연결될 경우, 2N-bit 카운터로서 동작할 수 있다.
본 명세서에서는 이미지 센서가 2개의 카운터를 포함하는 것을 예시로 설명하였으나, 이에 한정되지 않고, 이미지 센서는 복수개의 카운터를 포함할 수 있다. 이때, 2개의 카운터가 한 개의 쌍을 이루어 동작할 수 있다. 즉, 2개의 카운터가 한 개의 쌍으로서, 모드 설정 신호에 따라 직렬 또는 병렬 연결될 수 있다.
이미지 센서는 모드 설정 신호(500)를 출력하는 컨트롤러를 포함할 수 있다. 모드 설정 신호(500)는 글로벌 셔터 모드에 대응되는 제1 신호 및 롤링 셔터 모드에 대응되는 제2 신호를 포함할 수 있다.
글로벌 셔터 모드는 하나의 프레임을 생성하기 위해 SPAD 어레이(100)에 포함된 전체 SPAD 소자에 대해서 동일한 시점에 광자 축적 및 리드 아웃을 수행하는 모드일 수 있다. 즉, 글로벌 셔터 모드는 카운터의 광자 축적(integration) 기간과 리드 아웃(read out) 기간이 번갈아 반복적으로 수행되는 모드일 수 있다.
롤링 셔터 모드는 하나의 프레임을 생성하기 위해 SPAD 어레이(100)에 포함된 SPAD 소자들에 대하여 각 행별로 광자 축적 및 리드 아웃을 수행하는 모드일 수 있다. 즉, 롤링 셔터 모드는 SPAD 어레이(100)에 포함된 제1 행의 SPAD 소자의 광자 축적 기간이 제2 행의 SPAD 소자의 광자 축적 기간과 일부 오버랩되는 모드일 수 있다.
컨트롤러는 카운터의 출력 신호에 기초하여 감지하고자 하는 대상인 대상체에 대한 이미지를 생성할 수 있다. 이때, 컨트롤러는 대상체의 움직임에 따라 모드 설정 신호(500)를 판단 및/또는 설정할 수 있다.
예를 들어, 컨트롤러는 대상체가 동적인 경우 모드 설정 신호(500)를 글로벌 셔터 모드에 대응되는 제1 신호로 설정하여, 동적인 움직임에 대한 움직임 아티팩트 및 젤로 현상을 최소화할 수 있다.
또한 예를 들어, 컨트롤러는 대상체가 정적인 경우 모드 설정 신호(500)를 롤링 셔터 모드에 대응되는 제2 신호로 설정하여, 프레임 레이트를 높여 이미지를 생성할 수 있다.
이처럼, 컨트롤러는 대상체의 움직임을 판단하여, 대상체에 최적화된 모드를 설정 또는 변경할 수 있다. 컨트롤러가 대상체의 움직임을 판단하는 방법은 다양할 수 있다.
예를 들어, 컨트롤러는 광을 이용한 대상체의 거리를 감지하여, 대상체의 거리 변동이 일정 수준을 초과할 경우, 상기 대상체의 움직임을 동적인 것으로 판단할 수 있다. 구체적으로, 이미지 센서는 거리 감지를 위한 별도의 SPAD 소자를 포함하여, 상기 별도의 SPAD 소자를 통해 대상체의 거리를 감지할 수 있다. 그러나 이에 한정되지 않고, 별도의 SPAD 소자를 배치하지 않고 SPAD 어레이(100)에 포함된 SPAD 소자 중 하나 이상의 SPAD 소자를 대상체의 거리 감지용으로 사용할 수도 있다.
또한 예를 들어, 컨트롤러는 제1 시점에서 생성한 제1 이미지와 제2 시점에서 생성한 제2 이미지의 픽셀값 차이에 기초하여 대상체의 움직임을 판단할 수 있다. 구체적으로, 제1 시점에서 생성한 제1 이미지에 포함된 제1 위치의 픽셀값과 제2 시점에서 생성한 제2 이미지에 포함된 상기 제1 위치의 픽셀값을 비교하여, 상기 픽셀값 변동이 일정 수준을 초과할 경우, 컨트롤러는 대상체의 움직임을 동적인 것으로 판단할 수 있다.
이미지 센서는 하나 이상의 웨이퍼를 통해 구현될 수 있다. 이는 SPAD 어레이(100)와 카운터(300, 400)의 배치 관계에 따라 달라질 수 있다.
일 실시예에 따르면, SPAD 어레이(100)와 카운터(300, 400)는 하나의 웨이퍼 상에 배치될 수 있다. 이때, SPAD 어레이(100)에 포함된 SPAD 소자 하나당 2개의 카운터가 연결될 수 있다. 그러나, 이에 한정되지 않고, SPAD 어레이(100)에 포함된 서브 어레이 하나당 2개의 카운터가 연결될 수도 있다.
다른 일 실시예에 따르면, SPAD 어레이(100)와 카운터(300, 400)는 각각 상이한 웨이퍼 상에 배치될 수 있다. 이때, SPAD 어레이(100)가 배치되는 제1 웨이퍼는 카운터(300, 400)가 배치되는 제2 웨이퍼보다 상부에 위치할 수 있다.
SPAD 어레이(100)와 카운터(300, 400)가 상이한 웨이퍼에 배치되는 이유는 SPAD 소자의 수광 영역을 확보하기 위한 것일 수 있다. 즉, SPAD 어레이(100)에 포함된 SPAD 소자들 사이에 카운터(300, 400)가 배치될 경우, 카운터가 배치되는 영역에 입사되는 광을 감지하지 못하므로, 광손실이 발생할 수 있다. 따라서, SPAD 어레이(100)가 광을 감지할 수 있는 영역과 카운터가 회로적인 동작을 수행할 수 있는 영역을 상이한 웨이퍼를 이용하여 분리할 수도 있다.
도 5는 본원 발명의 일 실시예에 따른 제1 모드에서의 이미지 센서의 구성을 나타낸 도면이다.
도 5를 참조하면, 컨트롤러는 이미지 센서를 제1 모드로 설정하기 위해 모드 설정 신호(500)를 제1 신호(510)로 설정할 수 있다. 이때, 제1 모드는 글로벌 셔터 모드에 대응되는 모드일 수 있다.
먹스(200)는 컨트롤러로부터 제1 신호(510)를 수신할 수 있다. 먹스(200)는 제1 신호(510)에 기초하여, 제1 카운터(300) 및 제2 카운터(400)의 연결 관계를 변경할 수 있다. 먹스(200)는 제1 카운터(300) 및 제2 카운터(400)를 병렬로 연결하여, SPAD 어레이(100)로부터 출력된 신호를 제1 카운터(300) 및 제2 카운터(400)에 직접적으로 전송할 수 있다.
제1 모드에서 제1 카운터(300) 및 제2 카운터(400)는 SPAD 어레이(100)의 출력 신호에 대하여 광자 축적 및 리드 아웃 과정을 서로 번갈아 수행할 수 있다. 2개의 카운터를 사용하기 때문에, 리드 아웃 기간동안 광자 축적을 하지 못하는 글로벌 셔터 모드의 문제점을 해결할 수 있다.
제1 카운터(300) 및 제2 카운터(400)의 동작 방법은 도 6을 통해 설명한다.
도 6은 제1 모드에서의 카운터 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 제1 카운터(300) 및 제2 카운터(400)는 광자 축적 및 리드 아웃을 번갈아 수행할 수 있다. 즉, 제1 카운터(300)가 광자 축적을 할 동안 제2 카운터(400)가 리드 아웃을 수행하고, 제1 카운터(300)가 리드 아웃을 수행할 동안 제2 카운터(400)가 광자를 축적할 수 있다. 따라서, 제1 카운터(300)의 광자 축적 기간과 제2 카운터(400)의 광자 축적 기간은 서로 오버랩되지 않을 수 있다.
예를 들어, 도 6과 같이 프레임 레이트가 30fps인 경우, 0초 내지 16.5ms인 제1 구간을, 제1 카운터(300)는 광자 축적 기간(T_INT)으로 하여 광자를 축적하고, 제2 카운터(400)는 리드 아웃 기간(T_READ)으로 하여 제1 구간 이전에 수행한 광자 축적에 대한 결과를 리드 아웃할 수 있다.
또한, 16.5ms 내지 33ms인 제2 구간을, 제1 카운터(300)는 제1 카운터(300)는 리드 아웃 기간(T_INT)으로 하여 제1 구간에 수행한 광자 축적에 대한 결과를 리드 아웃 하고, 제2 카운터(400)는 광자 축적 기간(T_INT)으로 하여 광자를 축적할 수 있다.
본원 발명의 이미지 센서는 카운터를 2개 사용하므로, 글로벌 셔터 모드에 대응되는 제1 모드에서 카운터의 리드 아웃을 번갈아 수행할 수 있어 종래의 낮은 프레임 레이트 문제를 해결할 수 있다. 즉, 카운터를 1개 사용했을 때보다 이미지를 생성하기 위한 시간이 단축될 수 있다.
도 7은 본원 발명의 일 실시예에 따른 제2 모드에서의 이미지 센서의 구성을 나타낸 도면이다.
도 7을 참조하면, 컨트롤러는 이미지 센서를 제2 모드로 설정하기 위해 모드 설정 신호(500)를 제2 신호(520)로 설정할 수 있다. 이때, 제2 모드는 롤링 셔터 모드에 대응되는 모드일 수 있다.
먹스(200)는 컨트롤러로부터 제2 신호(520)를 수신할 수 있다. 먹스(200)는 제2 신호(520)에 기초하여, 제1 카운터(300) 및 제2 카운터(400)의 연결 관계를 변경할 수 있다. 먹스(200)는 제1 카운터(300) 및 제2 카운터(400)를 직렬로 연결하여, SPAD 어레이(100)로부터 출력된 신호를 제1 카운터(300)에는 직접적으로 전송하고, 제2 카운터(400)에는 제1 카운터(300)를 통해 간접적으로 전송할 수 있다.
제2 카운터(400)는 제1 카운터(300)로부터 입력 신호를 수신하기 때문에, 제1 카운터(300)의 카운팅 동작이 수행된 이후에 제2 카운터(400)의 카운팅 동작이 수행될 수 있다. 즉, 제1 카운터(300)의 동작과 제2 카운터(400)의 동작이 동시에 수행되지 않고, 제2 카운터(300)의 동작은 제1 카운터(300)의 동작 이후에 수행될 수 있다.
제2 모드에서 제1 카운터(300) 및 제2 카운터(400)는 직렬로 연결되어 2N-bit 카운터로서 동작할 수 있다. 2개의 카운터를 사용하여 2의 2N승개 카운팅을 수행할 수 있으므로, 이미지 센서의 동적 범위(Dynamic Range)를 증가시킬 수 있다. 따라서, 이미지 센서는 롤링 셔터 모드에서의 높은 프레임 레이트를 유지할 수 있고, 움직임 아티팩트도 최소화하여 이미지의 퀄리티를 향상시킬 수 있다.
제1 카운터(300) 및 제2 카운터(400)는 도 3에 도시된 바와 같이, 각 행별로 광자 축적 및 리드 아웃을 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 하나 이상의 SPAD 소자를 포함하는 SPAD 어레이;
    상기 SPAD 어레이로부터 출력된 신호를 수신하는 먹스;
    상기 먹스에 모드 설정 신호를 전송하는 컨트롤러; 및
    상기 SPAD 어레이로부터 출력된 신호에 기초하여 디지털 신호를 출력하는 제1 카운터 및 제2 카운터를 포함하고,
    상기 먹스는 상기 모드 설정 신호에 따라 상기 제1 카운터 및 상기 제2 카운터의 연결 관계를 변경하는
    이미지 센서.
  2. 제1항에 있어서,
    상기 모드 설정 신호는,
    상기 제1 카운터의 광자 축적 기간 및 상기 제2 카운터의 광자 축적(integration) 기간이 오버랩되지 않는 모드인 제1 모드에 대응되는 제1 신호; 및
    상기 제1 카운터의 동작 이후 상기 제2 카운터의 동작이 수행되는 모드인 제2 모드에 대응되는 제2 신호를 포함하는
    이미지 센서.
  3. 제2항에 있어서,
    상기 제1 모드는 상기 제1 카운터 및 상기 제2 카운터 중 어느 하나가 광자 축적 기간인 경우 다른 하나는 리드 아웃(read out) 기간인 모드이고,
    상기 제2 모드는 상기 제1 카운터의 상기 SPAD 어레이에 포함된 제1 SPAD 소자에 대응되는 광자 축적 기간 및 상기 SPAD 어레이에 포함된 제2 SPAD 소자에 대응되는 광자 축적 기간이 오버랩되는 모드인
    이미지 센서.
  4. 제2항에 있어서,
    상기 먹스는,
    상기 컨트롤러부터 상기 제1 신호를 획득한 경우, 상기 제1 카운터 및 상기 제2 카운터에 상기 SPAD 어레이로부터 출력된 신호를 전송하고,
    상기 컨트롤러로부터 상기 제2 신호를 획득한 경우, 상기 제1 카운터에만 직접적으로 상기 SPAD 어레이로부터 출력된 신호를 전송하는
    이미지 센서.
  5. 제4항에 있어서,
    상기 먹스가 상기 제1 신호를 획득한 경우,
    상기 제1 카운터 및 상기 제2 카운터는 병렬로 연결되고,
    상기 제2 카운터는 상기 먹스로부터 상기 SPAD 어레이로부터 출력된 신호를 획득하는
    이미지 센서.
  6. 제4항에 있어서,
    상기 먹스가 상기 제2 신호를 획득한 경우,
    상기 제1 카운터 및 상기 제2 카운터는 직렬로 연결되고,
    상기 제2 카운터는 상기 제1 카운터로부터 상기 SPAD 어레이로부터 출력된 신호를 획득하는
    이미지 센서.
  7. 제3항에 있어서,
    상기 제1 SPAD 소자 및 상기 제2 SPAD 소자는 상기 SPAD 어레이 상에서 서로 상이한 행(row)에 존재하는
    이미지 센서.
  8. 제1항에 있어서,
    상기 SPAD 어레이는 상기 제1 카운터 및 상기 제2 카운터가 배치되는 제1 웨이퍼와 상이한 제2 웨이퍼 상에 배치되는
    이미지 센서.
  9. 제1항에 있어서,
    상기 컨트롤러는 상기 제1 카운터로부터 출력된 제1 결과 신호 및 상기 제2 카운터로부터 출력된 제2 결과 신호에 기초하여 상기 SPAD 어레이로 광을 반사시킨 대상체의 이미지를 생성하는
    이미지 센서.
  10. 제9항에 있어서,
    상기 컨트롤러는 제1 시점에서의 상기 대상체의 제1 이미지 및 제2 시점에서의 상기 대상체의 제2 이미지에 기초하여, 상기 모드 설정 신호를 변경하는
    이미지 센서.
PCT/KR2022/016320 2022-01-19 2022-10-25 Spad 어레이를 이용하는 이미지 센서 WO2023140471A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0007607 2022-01-19
KR1020220007607A KR102632064B1 (ko) 2022-01-19 2022-01-19 Spad 어레이를 이용하는 이미지 센서

Publications (1)

Publication Number Publication Date
WO2023140471A1 true WO2023140471A1 (ko) 2023-07-27

Family

ID=87348907

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016320 WO2023140471A1 (ko) 2022-01-19 2022-10-25 Spad 어레이를 이용하는 이미지 센서

Country Status (2)

Country Link
KR (1) KR102632064B1 (ko)
WO (1) WO2023140471A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133955A1 (en) * 2010-11-30 2012-05-31 Stmicroelectronics (Research & Development) Limited Application using a single photon avalanche diode (spad)
US20160268331A1 (en) * 2015-03-10 2016-09-15 Stmicroelectronics (Research & Development) Limited Circuit for generating direct timing histogram data in response to photon detection
KR20180027527A (ko) * 2015-07-08 2018-03-14 오스트레일리아 연방 Spad 어레이 구조 및 동작 방법
KR20200011351A (ko) * 2018-07-24 2020-02-03 삼성전자주식회사 거리 측정 및 2차원 그레이 스케일 이미징을 위한 시간 분해 이미지 센서
JP2020022136A (ja) * 2018-08-03 2020-02-06 キヤノン株式会社 撮像装置、撮像システム、移動体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120133955A1 (en) * 2010-11-30 2012-05-31 Stmicroelectronics (Research & Development) Limited Application using a single photon avalanche diode (spad)
US20160268331A1 (en) * 2015-03-10 2016-09-15 Stmicroelectronics (Research & Development) Limited Circuit for generating direct timing histogram data in response to photon detection
KR20180027527A (ko) * 2015-07-08 2018-03-14 오스트레일리아 연방 Spad 어레이 구조 및 동작 방법
KR20200011351A (ko) * 2018-07-24 2020-02-03 삼성전자주식회사 거리 측정 및 2차원 그레이 스케일 이미징을 위한 시간 분해 이미지 센서
JP2020022136A (ja) * 2018-08-03 2020-02-06 キヤノン株式会社 撮像装置、撮像システム、移動体

Also Published As

Publication number Publication date
KR102632064B1 (ko) 2024-01-31
KR20230111754A (ko) 2023-07-26

Similar Documents

Publication Publication Date Title
US10645318B2 (en) Solid-state image sensor, electronic apparatus, and control method of solid-state image sensor
RU2589489C2 (ru) Устройство формирования изображения, система формирования изображения и способ для приведения в действие устройства формирования изображения
US10291871B2 (en) Imaging apparatus, imaging system, imaging apparatus driving method, and imaging system driving method using pixels outputting signal based on at least part of photoelectric conversion units
EP2549743B1 (en) Imaging apparatus
US9332202B2 (en) Solid-state imaging apparatus and imaging system
EP3493526A1 (en) Imaging device and imaging device control method
US20140209784A1 (en) Image sensing apparatus, driving method therefor, and image sensing system
US9247126B2 (en) Image pickup device and focus detection apparatus
KR20110014089A (ko) 고체 촬상 장치, 고체 촬상 장치의 아날로그-디지털 변환 방법 및 전자기기
JP2011513702A (ja) Ｘ線検出器における直接検出現象の抑制
US20170212252A1 (en) Radiation imaging apparatus, control method of radiation imaging apparatus, and radiation imaging system
US20150288903A1 (en) Solid-state image sensor, image capturing apparatus and control method thereof, and storage medium
WO2023173635A1 (zh) 一种图像传感器及其图像输出方法和应用
US8704144B2 (en) Dual speed readout integrated circuit for high spatial and temporal resolution applications
WO2023140471A1 (ko) Spad 어레이를 이용하는 이미지 센서
WO2020111369A1 (ko) 이미지 센서 및 그 제어 방법
JP2013138432A (ja) 複数の画素を有するアレイ及び画素情報転送方法
WO2023038417A1 (ko) 줌 히스토그래밍 tdc를 이용한 플래시 라이다 센서
WO2020153648A1 (ko) 반도체 수동소자 기반의 멀티플렉싱 신호 처리 장치
RU2696766C1 (ru) Способ управления чувствительностью телевизионной камеры на матрице ПЗС и воспроизведения её видеосигнала в составе мобильного устройства в условиях сложной освещённости и/или сложной яркости объектов
RU2699812C1 (ru) Способ управления чувствительностью телевизионной камеры на матрице ПЗС в условиях сложной освещённости и/или сложной яркости объектов, компьютерной регистрации видеосигнала и его воспроизведения
US20230247170A1 (en) Radiation imaging apparatus and radiation imaging system
Luo et al. Novel driver method to improve ordinary CCD frame rate for high-speed imaging diagnosis
JPH10224697A (ja) 固体撮像装置、および固体撮像装置の駆動方法
JP2020191505A (ja) 撮像装置および撮像装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22922330

Country of ref document: EP

Kind code of ref document: A1