KR100639155B1 - Extended dynamic range imaging system and method - Google Patents

Abstract

본 발명의 일 실시예에서, 영상기(201)는 집적기간 동안 검출된 광의 결과로써 집적기간 동안 전하를 각각 축적하는 광검출기 어레이를 가지며, 광검출기 어레이는 집적기간 동안 증가하는 전하 용량을 가진다. 영상기(201)에 접속된 전하 용량 제어기(202)는 영상기(201)가 적어도 하나의 이전 집적기간 동안 영상기에 의해 검출된 명암값 분포에 기초하여 어레이의 전하 용량을 증가시키는 방식을 조정한다. In one embodiment of the present invention, imager 201 has photodetector arrays each accumulating charge during integration as a result of light detected during integration, and the photodetector array has increasing charge capacity during integration. The charge capacity controller 202 connected to the imager 201 adjusts the manner in which the imager 201 increases the charge capacity of the array based on the intensity distribution detected by the imager during at least one previous integration period. .

Description

영상 시스템의 동적 범위를 확장하기 위한 시스템 및 방법{EXTENDED DYNAMIC RANGE IMAGING SYSTEM AND METHOD}System and method for extending the dynamic range of an imaging system {EXTENDED DYNAMIC RANGE IMAGING SYSTEM AND METHOD}

본 발명은 영상 시스템, 특히 영상 시스템의 동적범위를 확장하기 위하여 집적기간의 끝쪽으로 광검출기의 전하 용량을 증가시키는 영상 시스템에 관한 것이다.The present invention relates to an imaging system, in particular to an imaging system that increases the charge capacity of the photodetector towards the end of the integration period to extend the dynamic range of the imaging system.

오늘날에는 전하 결합장치(CCD) 영상 센서 및 상보형 금속 산화물 반도체 CMOS 영상 센서를 포함하는 다양한 형태의 영상기 또는 영상 센서가 사용되고 있다. 이들 장치는 전형적으로 각각 CCD 및 CMOS 영상 시스템에 통합된다. 이러한 시스템은 화소들의 어레이를 포함하며, 각각의 화소 어레이는 CCD와 같은 광 감지 센서 엘리먼트를 포함하거나, 또는 CMOS 영상 센서의 경우에 가상 게이트 매립형 n-채널 광검출기, N+ - p-기판 광다이오드 또는 광게이트 검출기를 포함한다. 이러한 광 감지 센서 엘리먼트는 여기에서는 광검출기로써 언급될 것이다.Various types of imagers or image sensors are in use today, including charge coupled device (CCD) image sensors and complementary metal oxide semiconductor CMOS image sensors. These devices are typically integrated into CCD and CMOS imaging systems, respectively. Such a system comprises an array of pixels, each pixel array comprising a photosensitive sensor element such as a CCD, or in the case of a CMOS image sensor a virtual gate buried n-channel photodetector, an N + -p-substrate photodiode or And a photogate detector. Such photosensitive sensor elements will be referred to herein as photodetectors.

이러한 장치에서, 광검출기는 광검출기의 관련 감지 영역 근처의 광 강도에 따라 광 집적기간 동안 전하 및 전압을 축적한다. 전하가 축적됨에 따라, 광검출기는 충전되기 시작한다. 광검출기에 저장된 전하는 때때로 CCD 형 광검출기의 "전하 우물(well)"에 저장되는 것으로 논의된다. 만일 광검출기가 전하에 의해 완전히 충전된다면, 초과 전하는 블루밍(blooming)을 부분적으로 방지하기 위하여 차단된다. 블루밍은 화소 포화 상태 이상의 초과 전하가 인접 화소쪽으로 확산하여 흐릿함(blurring) 및 관련 영상 인조잡상을 유발하는 현상이다. 그러나, 만일 집적기간의 끝 이전에 광검출기가 완전히 충전되어 임의의 추가 광자가 광검출기를 때리게 되면 추가의 전하가 축적되지 않을 수 있다. 따라서, 예를들어, 만일 매우 밝은 광이 광검출기에 공급되면, 이는 광검출기가 집적기간 끝 이전에 완전히 충전되어 포화되고 정보가 손실되도록 한다. In such a device, the photodetector accumulates charges and voltages during the light integration period depending on the light intensity near the relevant sensing area of the photodetector. As the charge accumulates, the photodetector begins to charge. Charges stored in photodetectors are sometimes discussed as being stored in the "charge wells" of CCD-type photodetectors. If the photodetector is fully charged by charge, excess charge is blocked to partially prevent blooming. Blooming is a phenomenon in which excess charge above the pixel saturation state diffuses toward adjacent pixels, causing blurring and associated image artifacts. However, if the photodetector is fully charged before the end of the integration period and any additional photons hit the photodetector, no additional charge may accumulate. Thus, for example, if very bright light is supplied to the photodetector, this causes the photodetector to be fully charged before the end of the integration period and to saturate and lose information.

1976년 4월 27일에 허여된 Levine의 미합중국 특허 제 3,953,733호(이하 "Levine" 특허)에는 상기와 같은 문제점을 막기 위하여 CCD 영상기를 동작시키는 방법이 개시되어 있으며, 상기 특허는 여기에 참조로 통합된다. CCD의 전극에 공급된 전압은 공핍영역이 전극 아래에 형성되도록 하며, 이는 주어진 최대 전하 용량의 "전위 우물(potential well)" 또는 전하 우물을 형성한다. 가장 큰 전극전압은 이에 상응하여 더 큰 전하용량 우물이 형성되도록 한다. CCD 전극 전압과 같이 광검출기의 최대 전하 용량을 제어하는 전압은 전하 용량 제어 전압으로써 언급되며, 광검출기에 축적될 수 있는 최대 전하는 광검출기의 전하 용량으로써 언급될 것이다. 전하 용량 제어전압은 때때로 블루밍 장벽 전압으로써 언급된다. 왜냐하면, 전하 용량 제어전압은 광의 과부하동안 전하가 인접 화소쪽으로 확산하는 것을 막기 위하여 화소 광다이오드로부터 전하를 제거하는 블루밍 드레인으로써 동작하기 때문이다. Levine, U.S. Patent No. 3,953,733 (hereinafter referred to as the "Levine" patent), issued April 27, 1976, discloses a method of operating a CCD imager to prevent such problems, which is incorporated herein by reference. do. The voltage supplied to the electrodes of the CCD causes a depletion region to form below the electrode, which forms a "potential well" or charge well of a given maximum charge capacity. The largest electrode voltage causes correspondingly larger charge capacity wells to be formed. The voltage that controls the maximum charge capacity of the photodetector, such as the CCD electrode voltage, is referred to as the charge capacity control voltage, and the maximum charge that can accumulate in the photodetector will be referred to as the charge capacity of the photodetector. The charge capacitance control voltage is sometimes referred to as the blooming barrier voltage. This is because the charge capacitance control voltage operates as a blooming drain that removes charge from the pixel photodiode to prevent the charge from diffusing to adjacent pixels during light overload.

전형적으로, 인가된 전하 용량 제어전압은 집적기간 전반에 걸쳐 일정하여, 주어진 전하 용량은 영상기 어레이의 각 화소에 대하여 집적기간 전반에 걸쳐 유지된다. Levine의 특허에서, 전하 용량 제어전압은 CCD 영상기의 광 동적범위를 증가시키기 위하여 집적기간 동안 변화된다. 예를들어, 일 실시예에서, Levine 특허는 이산 스텝 방식으로 전하 용량 제어전압을 집적기간의 끝쪽으로 증가시킴으로써 비선형 방식으로 전하 용량 제어전압(전하 용량)을 증가시키는 방법을 개시하고 있다. Levine 특허는 또한 연속적으로 증가하는 전하 용량 제어 전압을 구현하기 위해 다수의 이산 스텝을 사용하거나 전하 용량 제어 전압 파형을 선형으로 증가시키고 이러한 파형의 기울기 또는 기울기들을 증가시키는 방식을 사용하여, 영상 시스템의 동작 범위를 확장시키기 위하여 집적기간의 끝쪽으로 전하 용량 제어전압 및 전하 용량을 증가시키는 다른 방법을 개시하고 있다. Typically, the applied charge capacitance control voltage is constant throughout the integration period such that a given charge capacity is maintained throughout the integration period for each pixel of the imager array. In Levine's patent, the charge capacitance control voltage is changed during integration to increase the optical dynamic range of the CCD imager. For example, in one embodiment, the Levine patent discloses a method of increasing the charge capacity control voltage (charge capacity) in a nonlinear manner by increasing the charge capacity control voltage in a discrete step manner towards the end of the integration period. The Levine patent also uses a number of discrete steps to implement a continuously increasing charge capacitance control voltage or a method of linearly increasing the charge capacitance control voltage waveform and increasing the slope or slopes of such a waveform. Another method of increasing the charge capacity control voltage and charge capacity towards the end of the integration period is disclosed to extend the operating range.

그러나, 비록 이 방법이 주어진 영상기의 동적 범위를 확장시키기 위하여 사용될지라도, 확장된 동적 범위는 주어진 프레임에 대해 이용될 수 없다. 예를들어, 주어진 장면은 상당히 어두워서, 콘트라스트 비 및 장면 정보 내용을 손실시키면서 동적범위를 낭비한다. 이는 예를들어 감시용 영상 시스템의 경우에 발생한다.However, although this method is used to extend the dynamic range of a given imager, the extended dynamic range cannot be used for a given frame. For example, a given scene is quite dark, which wastes dynamic range while losing contrast ratio and scene information content. This occurs for example in the case of surveillance imaging systems.

본 발명은 영상 시스템 및 방법에 관한 것이다. 본 발명의 일 실시예에 있어서, 영상기는 광검출기의 어레이를 가지며, 각각의 광검출기는 집적기간 동안 검출된 광의 결과로써 집적기간 동안 전하를 축적하며, 상기 어레이는 집적기간 동안 증가하는 전하 용량을 가진다. 영상기에 접속된 전하 용량 제어기는 적어도 하나의 이전 집적기간 동안 영상기에 의해 검출된 명암값 분포에 기초하여 영상기가 어레이의 전하 용량을 증가시키는 방식을 조정한다. The present invention relates to an imaging system and method. In one embodiment of the invention, the imager has an array of photodetectors, each photodetector accumulating charge during the integration period as a result of light detected during the integration period, the array having an increased charge capacity during the integration period. Have The charge capacity controller connected to the imager adjusts the manner in which the imager increases the charge capacity of the array based on the intensity distribution detected by the imager during at least one previous integration period.

이하에서는 도면을 참조로하여 본 발명을 더 상세히 설명할 것이다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

도 1A-C는 본 발명의 실시예에 따라 영상기의 동적 범위를 확장하는 방법을 기술하는 파형도.1A-C are waveform diagrams illustrating a method of extending the dynamic range of an imager in accordance with an embodiment of the invention.

도 2는 본 발명에 따라 시스템의 동적 범위를 확장하기 위하여 사용된 전하 용량 제어 전압 함수를 동적으로 결정하는 비디오 처리 시스템의 블록도.2 is a block diagram of a video processing system that dynamically determines a charge capacity control voltage function used to extend the dynamic range of the system in accordance with the present invention.

도 3은 도 2의 비디오 처리시스템의 동작 방법을 기술하는 전형적인 히스토그램.3 is a typical histogram illustrating a method of operation of the video processing system of FIG.

도 1A-C에는 본 발명의 일 실시예에 따라 영상기의 동적범위를 확장시키는 방법을 기술하는 파형도가 도시되어 있다. 각각의 도 1A-C는 시간에 대하여 상대 신호 전하의 그래프에서 3개의 광레벨 I1, I2 및 I3을 도시하고 있으며, 여기서 I3는 가장 강한 강도의 광 레벨이며, I1는 가장 약한 강도의 광레벨이다. 상대 신호 전하는 주어진 일정 강도의 광에 응답하여 광다이오드의 전하 축적 영역 또는 우물에 축적된 전하이다. 시간 t은 전형적으로 1/30 또는 1/60 초인 집적기간에 대하여 t=0 내지 t=100%으로 도시되어 있다. 상대 신호 전하는 범위 0.0 내지 1.0 범위로 도시되어 있으며, 여기서 1.0은 광검출기의 포화를 지시하는 광검출기의 최대 전하 용량을 나타낸다. 1A-C are waveform diagrams illustrating a method of extending the dynamic range of an imager in accordance with one embodiment of the present invention. Each of FIGS. 1A-C shows three light levels I1, I2, and I3 in a graph of relative signal charge over time, where I3 is the lightest intensity level and I1 is the lightest intensity level. . The relative signal charge is the charge accumulated in the charge accumulation region or well of the photodiode in response to a given constant intensity of light. Time t is shown from t = 0 to t = 100% for an integration period that is typically 1/30 or 1/60 second. The relative signal charge is shown in the range 0.0 to 1.0, where 1.0 represents the maximum charge capacity of the photodetector indicating the saturation of the photodetector.

도 1A는, 광레벨 I1, I2 및 I3에 대한 집적기간 동안 시간 대 상대 신호 전하를 도시하며, 종래의 광검출기가 동작하는 것과 마찬가지로, 고정된 전하 용량 제어전압이 전체 집적기간 동안 공급된다. 기술된 바와 같이, 더높은 광레벨 I2 및 I3 모두는 집적기간이 완료되기 전에 포화된다. 왜냐하면, 각각의 레벨은 광검출기의 전하 용량이 초과되도록 하기 때문이다. 따라서, 광 레벨 I2 및 I3 모두는 비록 그들이 서로 다를지라도 광검출기로부터 판독된 동일한 신호를 발생한다. 따라서, 광 레벨 I2 및 I3 모두가 집적기간의 끝 이전에 포화되기 때문에, 발생된 영상이 임의의 영상을 이들 광 레벨 이상으로 상세히 디스플레이하는 것은 불가능하다. 전체 집적기간 동안 임의의 일정한 전하 용량 제어 전압에서 동작하도록 구성된 광검출기의 어레이는 광 레벨 I1, I2 및 I3가 모두 측정될 수 있도록 충분한 동적 범위를 가지지 못한다.1A shows time versus relative signal charge during integration periods for light levels I1, I2, and I3, and a fixed charge capacitance control voltage is supplied for the entire integration period, as does a conventional photodetector. As described, both higher light levels I2 and I3 are saturated before the integration period is complete. This is because each level causes the charge capacity of the photodetector to be exceeded. Thus, both light levels I2 and I3 generate the same signal read from the photodetector, although they are different. Therefore, since both light levels I2 and I3 are saturated before the end of the integration period, it is impossible for the generated image to display any image in detail beyond these light levels. An array of photodetectors configured to operate at any constant charge capacitance control voltage during the entire integration period does not have sufficient dynamic range for all of light levels I1, I2 and I3 to be measured.

이는 감시를 위한 상황에 대한 경우일 수 있으며, 장면내(intrascene) 동적 범위가 영상기의 동적 범위를 초과하여 포화 또는 블루밍이 발생되고 결과적으로 정보를 손실시킬 수 있다. 만일 영상기 렌즈가 기계적인 조리개를 조절하여 조정된다면, 이는 모든 3개의 광레벨 I1, I2 및 I3의 기울기를 효율적으로 낮게 하여 그들이 포화되지 않도록 하며 또한 정보의 손실을 야기할 수 있는 영상의 어두운 영역에서의 신호 대 잡음비가 감소된다. This may be the case for surveillance situations, where the intrascene dynamic range exceeds the dynamic range of the imager, resulting in saturation or blooming and consequently loss of information. If the imager lens is adjusted by adjusting the mechanical aperture, this effectively lowers the slope of all three light levels I1, I2 and I3 so that they do not saturate and may also cause loss of information. The signal-to-noise ratio at is reduced.

따라서, Levine 특허에서 앞서 기술된 바와 같이, 집적기간 동안 임의의 방식으로 전하 용량 제어전압을 증가시키는 전하 용량 제어 전압함수를 사용하여 영상 시스템의 동적 범위를 확장하는 것이 유용하다. 본 발명의 일 실시예에서, 전하 용량 제어 전압 함수는 제 1 전하 용량 제어 전압 V1이 집적기간의 제 1 기간 동안 광검출기에 공급되고 더높은 전하 용량 제어 전압 V2가 집적기간의 제 1 기간 다음부터 집적기간의 끝까지 광검출기에 공급되는 2 스텝의 비선형 전압 함수이다. 본 발명의 일 실시예에 있어서, 전압 V2은 최대 전하 용량 제어전압이며, 즉 전압 V2는 광검출기가 최대 전하 용량을 가지도록 하며, 전압 V1은 전압 V2의 일부분이어서 광검출기가 최대 전하 용량의 대응 일부분인 전하 용량을 가지도록 한다.Thus, as previously described in the Levine patent, it is useful to extend the dynamic range of the imaging system using a charge capacity control voltage function that increases the charge capacity control voltage in any manner during the integration period. In one embodiment of the invention, the charge capacitance control voltage function is provided such that the first charge capacitance control voltage V1 is supplied to the photodetector during the first period of the integration period and the higher charge capacity control voltage V2 is applied after the first period of the integration period. It is a two-step nonlinear voltage function supplied to the photodetector up to the end of the integration period. In one embodiment of the present invention, the voltage V2 is the maximum charge capacity control voltage, that is, the voltage V2 causes the photodetector to have the maximum charge capacity, and the voltage V1 is part of the voltage V2 so that the photodetector corresponds to the maximum charge capacity. Have a charge capacity that is part of it.

따라서, 전하 용량 제어 전압 V1은 집적기간의 특정 부분인 제 1 기간동안 인가되며, 전하 용량 제어 전압 V2는 제 1 기간후 집적기간의 나머지 기간과 동일한 제 2 기간동안 인가된다. 전압 V1이 인가되는 제 1 기간의 길이를 증가시키고, 이에 상응하여 V2가 인가되는 제 2 시간을 감소시킴으로써, 높은 전체 동적범위가 얻어질 수 있다.Thus, the charge capacitance control voltage V1 is applied for a first period which is a specific part of the integration period, and the charge capacity control voltage V2 is applied for a second period equal to the remaining period of the integration period after the first period. By increasing the length of the first period for which the voltage V1 is applied and correspondingly decreasing the second time for which V2 is applied, a high overall dynamic range can be obtained.

본 발명에서, 전하 용량 제어 전압 함수는 장면의 콘트라스트 비 및 정보 내용을 최대로 하면서 포화를 막기 위하여 충분한 동적 범위를 제공하도록 변화된다. 앞서 기술된 2 스텝 비선형 전압 함수에서, 전하 용량 제어 전압 함수는 집적기간이 제 1 및 제 2 기간으로 분할되는 방법을 변경시킴으로써 변화된다. 더 넓은 동적 범위는 높은 강도의 광 레벨에 대한 콘트라스트 정보의 어느 정도의 손실을 감수하고 제 1 기간을 길게하고 제 2 기간을 짧게 함으로써 얻어질 수 있다. 최대 전하 용량 제어전압이 전체 집적기간 동안 인가되는 경우 포화되지만, 제 2 기간동안 추가 전하를 부가하지 않기 때문에 포화되지 않는 강한 광레벨은 "압축된" 것으로 간주되며, 이는 그들이 낮은 강도의 광레벨보다 짧은 기간동안 광검출기에 여분의 전하를 부가하기 때문이다.In the present invention, the charge capacity control voltage function is changed to provide sufficient dynamic range to prevent saturation while maximizing the contrast ratio and information content of the scene. In the two step nonlinear voltage function described above, the charge capacity control voltage function is changed by changing the way in which the integration period is divided into first and second periods. A wider dynamic range can be obtained by taking some loss of contrast information for high intensity light levels, lengthening the first period and shortening the second period. Strong light levels that are saturated when the maximum charge capacity control voltage is applied during the entire integration period but are not saturated because they do not add additional charge during the second period are considered "compressed", which is why they This is because extra charge is added to the photodetector for a short period of time.

따라서, 전하 용량 제어전압 V1은 시간 t=0 내지 t1에서 인가되며, 전하 용량 제어전압 V2는 시간 Δt1동안 인가되며, 여기서 Δt1은 집적기간의 시간 t1 과 집적기간의 끝사이의 기간이다. V1이 인가되는 기간 t1을 증가시키고 V2가 인가되는 시간 Δt1을 감소시킴으로써, 보다 높은 전체 동적 범위가 얻어질 수 있다. 따라서, 본 발명의 일 실시예에서, 주어진 제 1 전하 용량 제어전압 V1 및 제 2 전하 용량 제어 전압 V2에 대하여, 전하 용량 제어 전압 함수는 시간 t1이 발생할 때를 변경시킴으로써 변화된다.Thus, the charge capacitance control voltage V1 is applied at times t = 0 to t1, and the charge capacitance control voltage V2 is applied during the time Δt1, where Δt1 is the period between the time t1 of the integration period and the end of the integration period. By increasing the period t1 during which V1 is applied and decreasing the time Δt1 when V2 is applied, a higher overall dynamic range can be obtained. Thus, in one embodiment of the present invention, for a given first charge capacity control voltage V1 and a second charge capacity control voltage V2, the charge capacity control voltage function is changed by changing when time t1 occurs.

이러한 전하 용량 제어 전압 함수는 각각 전압 V1이 전압 V2로 변화하는 시간이 서로 다른 도 1B 및 도 1C에 기술된다. 도 1B를 참조하면, 전하 용량 제어 전압 V1은 최대 전하 용량 제어전압 V2의 80%로 설정된다. 전압 V1은 시간 t1에서 전압 V2로 증가된다. 따라서, 시간 t1까지, 가장 큰 전압 V2가 시간 t1 이후에 인가될 때 존재하는 최대 전하 용량의 단지 80%인 전하 용량 때문에 일시적으로 포화점이 존재한다. 이는 도 1A에 도시된 실시예를 사용할 때 불가능한 광레벨 I2 및 I3사이의 콘트라스트 차이를 허용하며, 콘트라스트 전하 용량 제어전압은 전체 집적기간 전반에 걸쳐 사용된다. 이는 비록 광 레벨 I3가 계속 포화될지라도 광레벨 I2은 포화되지 않아 광 레벨 I3이 광 레벨 I2보다 더 많은 광검출기의 전하를 발생시키기 때문이며, 따라서, 영상에서 광 레벨을 구별하는데 사용될 수 있다. These charge capacity control voltage functions are described in FIGS. 1B and 1C, respectively, in which the time at which voltage V1 changes to voltage V2 is different. Referring to FIG. 1B, the charge capacity control voltage V1 is set to 80% of the maximum charge capacity control voltage V2. The voltage V1 is increased to the voltage V2 at time t1. Thus, by time t1, there is a saturation point temporarily because of the charge capacity which is only 80% of the maximum charge capacity present when the largest voltage V2 is applied after time t1. This allows for a contrast difference between light levels I2 and I3 which is impossible when using the embodiment shown in FIG. 1A, with the contrast charge capacity control voltage being used throughout the entire integration period. This is because the light level I2 is not saturated even though the light level I3 continues to saturate so that the light level I3 generates more photodetector charge than the light level I2 and thus can be used to distinguish the light level in the image.

그러나, 광 레벨 I3이 포화되기 때문에, 제 1 기간 t1은 광 레벨 I3 주위의 강도의 광레벨이 서로 구별되도록 하지 않는다. 도 1C에서, 전압 V1은 시간 t1보다 늦은 시간 t2에서 전압 V2로 스위칭된다. 이러한 실시예에서, 광레벨 I2 및 I3는 둘다 포화되지 않아서 I3까지의 모든 광레벨이 서로 구별되도록 한다. However, since the light level I3 is saturated, the first period t1 does not allow the light levels of the intensity around the light level I3 to be distinguished from each other. In Fig. 1C, voltage V1 is switched to voltage V2 at time t2 later than time t1. In this embodiment, the light levels I2 and I3 are both not saturated so that all light levels up to I3 are distinguished from each other.

본 발명에서, 비디오 데이터의 각 프레임이 광검출기의 어레이에서 포착되기 전에, 전하 용량 제어 전압 함수는 장면의 콘트라스트 비 및 정보 내용을 최대로하면서 포착된 장면 또는 영상의 가장 밝은 부분에 대한 포화를 막기에 충분한 동적범위를 제공하기 위하여 최적으로 조정된다. 이는 장면내의 가장 밝은 대상물이 영상기의 포화 용량에 도달하도록 제 1 기간을 설정하기 위하여 이전 영상으로부터의 동적 피드백 제어를 사용함으로써 수행되며, 이는 하기에서 상세히 설명된다. 이전 프레임 또는 영상으로부터의 정보는 이전 프레임의 명도값 분포가 포착될 다음 프레임의 명도값 분포에 대한 신뢰성 있는 예측자라는 가정에 기초하여 사용된다. In the present invention, before each frame of video data is captured in an array of photodetectors, the charge capacity control voltage function prevents saturation of the brightest portion of the captured scene or image while maximizing the contrast ratio and information content of the scene. Is optimally adjusted to provide sufficient dynamic range. This is done by using dynamic feedback control from the previous image to set the first period so that the brightest object in the scene reaches the saturation capacity of the imager, as described in detail below. Information from the previous frame or image is used based on the assumption that the brightness value distribution of the previous frame is a reliable predictor of the brightness value distribution of the next frame to be captured.

전하 용량 제어 전압을 변경시키면, 화소 전하 용량이 효율적으로 변화되며, 최대 전하 용량의 일부분이 대부분의 프레임 시간동안 집적되도록 하고 집적기간의 끝에서 전하 용량을 최대 전하 용량으로 증가시킴으로써 화소의 동적 범위를 확장할 수 있다. 이는 장면의 밝은 영역 및 어두운 영역 모두에서 상세한 영상을 동시에 발생시킬 수 있다. 전하 용량 제어전압의 동적 조정은 집적기간 동안 비선형 광검출 응답을 효율적으로 발생시킨다. Changing the charge capacity control voltage effectively changes the pixel charge capacity, allowing a portion of the maximum charge capacity to be integrated for most of the frame time and increasing the charge capacity to the maximum charge capacity at the end of the integration period. Can be extended. This can simultaneously generate detailed images in both bright and dark areas of the scene. Dynamic adjustment of the charge capacitance control voltage effectively generates a nonlinear photodetection response during the integration period.

도 2에는 본 발명의 일 실시예에 따라 시스템의 동적 범위를 확장시키기 위하여 사용되는 전하 용량 제어 전압 함수를 동적으로 결정하는 비디오 처리 시스템(200)의 블록도가 도시되어 있다. 시스템(200)은 각각 광검출기를 가지며, 화소 어레이를 가지는 영상기(201)를 포함한다. 시스템(200)은 영상기(201)에 접속된 전하 용량 제어기(202)를 더 포함한다. 전하 용량 제어기(202)는 히스토그래머(204), 피드백 함수 발생기(206), 콘트라스트 보정기(205), 히스토그램 등화/투영 블록(207) 및 MUX(210, 211)을 포함한다. 시스템(200)은 전하 용량 제어기(202)의 MUX(211)의 출력에 접속된 출력 모니터(220)를 포함한다. 영상기(201)의 화소 어레이는 예를들어 CCD 또는 CMOS 어레이일 수 있으며, 일 실시예에서 집적기간 동안 각각의 화소에 의해 축적된 전하량에 상응하여 각 화소에 대해 12-비트 출력 화소값(4096 레벨)을 제공한다. 출력 모니터(220)는 8비트 입력 화소 정보를 필요로 한다. 히스토그래머(204) 및 콘트라스트 보정기(205)는 라인(212)을 통해 영상기(201)에 접속되거나 접속가능하며, 피드백 함수 발생기(206)는 라인(213)을 통해 영상기(201)에 접속되거나 접속가능하다.2 is a block diagram of a video processing system 200 that dynamically determines the charge capacity control voltage function used to extend the dynamic range of the system in accordance with one embodiment of the present invention. The system 200 each has a photodetector and includes an imager 201 having a pixel array. The system 200 further includes a charge capacity controller 202 connected to the imager 201. The charge capacity controller 202 includes a histogram 204, a feedback function generator 206, a contrast corrector 205, a histogram equalization / projection block 207, and a MUX 210, 211. System 200 includes an output monitor 220 connected to the output of MUX 211 of charge capacitance controller 202. The pixel array of imager 201 may be, for example, a CCD or CMOS array, and in one embodiment a 12-bit output pixel value 4096 for each pixel corresponding to the amount of charge accumulated by each pixel during the integration period. Level). The output monitor 220 needs 8 bit input pixel information. The histogram 204 and contrast corrector 205 are connected or connectable to the imager 201 via a line 212, and the feedback function generator 206 is connected to the imager 201 via a line 213. Connected or connectable.

포착된 화소의 프레임에 대한 출력 화소정보는 영상기(201)에 의해 버스(212)를 통해 히스토그래머(204) 및 콘트라스트 보정기(205)에 공급된다. 탭 라인(216)은 MUX(210, 211)의 입력으로써 출력 화소정보를 추가로 제공한다. 히스토그래머(204)의 출력은 라인(214)을 통해 피드백 함수 발생기(206) 및 히스토그램 등화/투영 블록(207)의 입력에 인가된다. 피드백 블록(206)은 함수 정보를 라인(213)을 통해 영상기(201)에 제공하며, 역 함수 정보를 콘트라스트 보정기(205)의 입력에 제공한다. 콘트라스트 보정기(205)의 출력은 MUX(210) 및 라인(217)을 통해 히스토그램 등화/투영 블록(207) 및 MUX(211)에 인가된다. 히스토그램 등화/투영 블록(207)의 출력은 라인(218) 및 MUX(211)을 통해 모니터(220)의 입력에 인가된다.The output pixel information on the captured frame of the pixel is supplied by the imager 201 to the histogram 204 and the contrast corrector 205 via the bus 212. The tab line 216 further provides output pixel information as an input of the MUXs 210 and 211. The output of histogram 204 is applied via line 214 to the input of feedback function generator 206 and histogram equalization / projection block 207. The feedback block 206 provides the function information to the imager 201 via line 213 and provides the inverse function information to the input of the contrast corrector 205. The output of contrast corrector 205 is applied to histogram equalization / projection block 207 and MUX 211 via MUX 210 and line 217. The output of histogram equalization / projection block 207 is applied to the input of monitor 220 via line 218 and MUX 211.

당업자에게 명백한 바와같이, 전하 용량 제어기(202)의 함수들의 일부 또는 모두(즉, 히스토그래머(204), 피드백 함수 발생기(206), 콘트라스트 보정기(205), 히스토그램 등화/투영 블록(207), 및 MUX(210, 211))은 전용 디지털 신호 처리 하드웨어, 특정 응용 집적회로(ASIC)에 의해 또는 적절히 프로그램된 범용 컴퓨터 프로세서에 의해 실시간으로 실행될 수 있다. As will be apparent to those skilled in the art, some or all of the functions of the charge capacity controller 202 (ie, histogram 204, feedback function generator 206, contrast corrector 205, histogram equalization / projection block 207, And MUX 210, 211 may be executed in real time by dedicated digital signal processing hardware, by a specific application integrated circuit (ASIC), or by a suitably programmed general purpose computer processor.

시스템(200)은 영상기(201)의 실행을 최적화하기 위하여 전하 용량 제어 전압 함수를 동적으로 조정하기 위하여 다음과 같이 동작한다. 첫째, 장면(프레임 0)은 영상기(201)에 의해 포착되며, 히스토그래머(204)에 공급된다. 당업자에게 명백한 바와같이, 히스토그래머는 화소의 그레이 레벨, 즉 명암값 또는 강도를 나타내는 "빈"에 수신된 화소를 분류한다. 따라서, 히스토그래머(204)는 주어진 프레임의 전역(grobal) 명암값 분포를 나타내는 정보를 포함하는 히스토그램을 제공한다. 이러한 분포로부터, 전하 용량 제어 전압 함수는 영상기(201)의 그레이 스케일 해상도의 전체 4096 레벨을 사용하기 위해 다음 영상을 신장 또는 압축하도록 조정될 수 있다.The system 200 operates as follows to dynamically adjust the charge capacitance control voltage function to optimize the performance of the imager 201. First, the scene (frame 0) is captured by imager 201 and supplied to histogram 204. As will be apparent to those skilled in the art, the histogram sorts the received pixels in gray levels of the pixels, i.e., " bins " representing the intensity or intensity. Thus, histogram 204 provides a histogram that includes information indicative of the global intensity distribution of a given frame. From this distribution, the charge capacity control voltage function can be adjusted to stretch or compress the next image to use the full 4096 level of gray scale resolution of the imager 201.

도 3을 참조하면, 도 2의 신호 처리 시스템(200)의 동작 방법을 도시하는 예시적인 히스토그램(300)이 도시된다. 예시적인 히스토그램(300)은 프레임 0의 픽셀의 전역 명암값 분포를 도시한다. 이 분포로부터, 프레임 0에 대한 명암도 또는 강도 정보는 히스토그램을 수신하는 피드백 함수 발생기(206)에 의해 결정될 수 있다. 피드백 함수 발생기(206)는 다음 프레임을 포착하기 위하여 영상기(201)에 대한 제 1 기간을 설정하는 함수 정보를 발생시켜서, 프레임(0)에서 가장 밝은 대상물의 레벨에서의 광이 포화되는 것이 아니라 영상기의 포화지점에 도달하도록 한다. 주어진 레벨의 광에 대하여 영상기의 포화지점에 도달하는 것은 집적기간의 끝에서 상기 레벨의 광으로 인해 광검출기가 전체 전하 용량에 도달하도록 하는 것을 의미한다. 따라서, 2 스텝 비선형 전압 함수에 대한 함수 발생기(206)에 의해 발생된 함수 정보는 집적기간 동안 제 1 전압 V1이 제 2 전압 V2로 변화되는 시간을 나타내는 수이다. Referring to FIG. 3, an exemplary histogram 300 is shown that illustrates a method of operation of the signal processing system 200 of FIG. 2. Exemplary histogram 300 shows the global contrast distribution of pixels in frame 0. From this distribution, the intensity or intensity information for frame 0 can be determined by feedback function generator 206 receiving the histogram. The feedback function generator 206 generates function information that sets the first period for the imager 201 to capture the next frame so that light at the level of the brightest object in frame 0 is not saturated. Reach the saturation point of the imager. Reaching the saturation point of the imager for a given level of light means that the photodetector reaches its full charge capacity due to the light at that level at the end of the integration period. Thus, the function information generated by the function generator 206 for the two step nonlinear voltage function is a number representing the time during which the first voltage V1 changes to the second voltage V2 during the integration period.

예를들어, 히스토그램(300)은 대상물(화소의 클러스터)로 고려되는 영상의 가장 밝은 부분의 강도 또는 명암값이 무엇인지를 결정하기 위하여 피드백 함수 발생기(206)에 의해 사용될 수 있다. 이러한 분석은 단순히 프레임에서 가장 밝은 화소의 강도 레벨을 사용하는 것보다 오히려 결함있는(항상 흰색의) 화소 또는 약간 밝은 화소에 기초하여 결정되는 것을 막기 위하여 행해진다. 따라서, 예를들어, 피드백 함수 발생기(206)에 의해 100개의 가장 밝은 화소의 강도 레벨 또는 그레이 스케일에 기초하여 다음 프레임을 위해 사용되는 전하 용량 제어 전압 함수가 결정된다. 따라서, 예를들어, 만일 프레임(0)의 가장 밝은 대상물(단순히 분리된 화소가 아님)이 대략 I2의 강도를 가진다면, 피드백 함수 발생기(206)는 도 1B에 도시된 바와같이 제 1 기간을 t1 미만으로 설정하는 함수 정보를 발생시킨다. 그러나, 만일 프레임(0)의 가장 밝은 대상물이 대략 I3의 강도를 가진다면, 피드백 함수 발생기(206)는 도 1C에 도시된 바와같이 제 1 기간을 대략 t2로 설정하는 함수 정보를 발생시킨다.For example, the histogram 300 may be used by the feedback function generator 206 to determine what is the intensity or contrast value of the brightest portion of the image that is considered an object (a cluster of pixels). This analysis is done to avoid being determined based on defective (always white) pixels or slightly bright pixels rather than simply using the intensity levels of the brightest pixels in the frame. Thus, for example, the feedback capacitance generator 206 determines the charge capacity control voltage function used for the next frame based on the intensity level or gray scale of the 100 brightest pixels. Thus, for example, if the brightest object (not simply a separate pixel) of frame 0 has an intensity of approximately I2, the feedback function generator 206 may take the first period as shown in FIG. 1B. Generates function information that is set below t1. However, if the brightest object of frame 0 has an intensity of approximately I3, the feedback function generator 206 generates function information that sets the first period to approximately t2 as shown in FIG. 1C.

따라서, 본 발명의 전하 용량 제어 전압 함수의 동적 조정을 사용함으로써, 포착될 다음 프레임은 영상기의 동적 범위내로 효율적으로 "압축되나", 콘트라스트 비 및 장면 정보 내용을 최대화하는데 필요한 최소 범위로 압축된다.Thus, by using the dynamic adjustment of the charge capacity control voltage function of the present invention, the next frame to be captured is efficiently “compressed” within the dynamic range of the imager, but compressed to the minimum range necessary to maximize the contrast ratio and the scene information content. .

본 발명의 일 실시예에 있어서, 영상기(201)는 함수 발생기(206)에 의해 제공된 함수 정보에 따라 집적기간 동안 전하 용량 제어전압을 제어한다. 본 발명의 다른 실시예에 있어서, 함수 발생기(206)는 발생된 함수에 따라서 집적기간 동안 라인(213)을 통해 영상기(201)에 전하 용량 제어전압을 직접 제공한다. 본 발명의 또 다른 실시예에 있어서, 피드백 함수 발생기(206)는 프레임(0)에서 가장 밝은 대상물의 레벨에서의 광이 영상기를 포화시키지 않도록 하는 함수 정보를 발생시키지만, 이 레벨에서의 광이 영상기를 개략적으로 또는 정확하게 포화시키도록 보장하지는 못한다. In one embodiment of the invention, the imager 201 controls the charge capacitance control voltage during the integration period in accordance with the function information provided by the function generator 206. In another embodiment of the present invention, the function generator 206 provides a charge capacitance control voltage directly to the imager 201 via line 213 during the integration period in accordance with the generated function. In another embodiment of the invention, feedback function generator 206 generates function information such that light at the level of the brightest object in frame 0 does not saturate the imager, but light at this level is imaged. There is no guarantee to saturate the group approximately or accurately.

시스템(200)은 포착된 비디오 프레임에 대한 신호처리를 필수적으로 더 제공한다. 첫째, 전하 용량 제어 전압의 동적 조정이 집적기간 동안 비선형 광검출 응답을 효율적으로 발생시키기 때문에 이 함수의 역함수는 피드백 함수 발생기(206)에 의해 발생되며 콘트라스트 보정기(205)에 인가된다. 이는 전하가 화소로 표시되는 전하를 야기하는 대응하는 광 강도 레벨에 적합하게 매핑되도록 축적되는 비선형 방식을 허용한다. 이는 화소 칼라가 다수의 영상 센서 엘리먼트에 의해 표현되는 칼라 영상에 필수적인 실제 칼라 및 콘트라스트 표현을 유지하는데 도움이 된다. 콘트라스트 보정은 여러 센서 엘리먼트가 칼라 화소를 만들기 위하여 결합될 때 중요하다. 만일 하나의 칼라 성분(예를들어, 적색)을 포함하는 하나의 센서 엘리먼트가 낮은 휘도를 가진다면, 상기 엘리먼트는 다른 엘리먼트(예를들어, 청색)는 매우 밝고 불균형 압축에 대한 보정없이 압축되며, 검출된 칼라는 장면의 실제 표현이 아니다. 각각의 화소의 역함수를 실행함으로써, 이 경우의 적색 화소는 일정하게 유지되며 청색 화소는 센서 엘리먼트의 휘도들 사이의 콘트라스트를 복구하고 장면의 실제 컬러를 표현하기 위하여 압축해제된다.System 200 essentially further provides signal processing for captured video frames. First, the inverse of this function is generated by the feedback function generator 206 and applied to the contrast corrector 205 because the dynamic adjustment of the charge capacitance control voltage effectively generates a nonlinear photodetection response during the integration period. This allows a non-linear manner in which charge accumulates to suitably map to the corresponding light intensity level causing the charge represented by the pixel. This helps to maintain the actual color and contrast representation that pixel colors are essential for color images represented by multiple image sensor elements. Contrast correction is important when several sensor elements are combined to make color pixels. If one sensor element containing one color component (eg red) has a low brightness, the element is compressed very brightly and without correction for unbalanced compression, the other element (eg blue) The detected color is not the actual representation of the scene. By executing the inverse function of each pixel, the red pixel in this case remains constant and the blue pixel is decompressed to recover the contrast between the luminance of the sensor elements and to represent the actual color of the scene.

이 콘트라스트 보정은 콘트라스트가 유지되어야 하는 경우에 영상은 그레이 스케일 영상에 사용되고 영상은 영상 화소의 동적 범위(예를들어, 12비트)로부터 더 높은 광학 동적 범위(예를들어, 16비트)로 확장될 것이다. 따라서, 콘트라스트 보정기(205)의 출력은 비록 영상기(201)의 각 화소가 단지 12비트의 해상도만을 가질지라도 예를들어 16비트 동적 범위를 가질 수 있다.This contrast correction allows the image to be used for gray scale images where contrast must be maintained and the image can be extended from the dynamic range of the image pixels (e.g. 12 bits) to the higher optical dynamic range (e.g. 16 bits). will be. Thus, the output of the contrast corrector 205 may have a 16-bit dynamic range, for example, although each pixel of the imager 201 has only 12 bits of resolution.

본 발명의 일 실시예에 있어서, 히스토그램 등화/투영 블록(207)은 8비트 해상도의 출력 모니터(220)와 같은 낮은 동적 범위 모니터 상에 수신된 입력영상(예를들어, 라인(216) 및 MUX(210)를 통한 영상기(201)로부터의 12비트 영상 또는 콘트라스트 보정기(205) 및 MUX(210)을 통한 16비트의 콘트라스트 보정 영상)의 넓은 동적범위를 최적으로 디스플레이하기 위하여 사용된다. 이는 비디오 체인내의 각 링크의 정보내용을 최대화함으로써 출력 모니터(220)상에 최대 정보량을 효율적으로 디스플레이하기 위하여 사용된다. In one embodiment of the invention, the histogram equalization / projection block 207 is an input image (e.g., line 216 and MUX) received on a low dynamic range monitor, such as an output monitor 220 with 8-bit resolution. 12-bit image from the imager 201 through 210 or contrast corrector 205 and 16-bit contrast corrected image through MUX 210). This is used to efficiently display the maximum amount of information on the output monitor 220 by maximizing the information content of each link in the video chain.

히스토그램 등화 및 히스토그램 투영은 소위 "점 처리" 기술을 사용하여 콘트라스트를 개선하는 통상적인 방법이다. 이러한 기술을 사용하면, 그레이 레벨의 균일 밀도를 가진 영상은 보는 사람에게 가장 중요한 정보를 제공하기 위하여 보이는 콘트라스트를 최대로하기 위하여 발생된다. 이러한 기술은 제한된 해상도의 모니터상에 최적으로 디스플레이하기 위하여 클립핑없이 보다 작은 해상도 모니터에 고해상도 데이터를 매핑한다. 따라서, 히스토그램 등화/투영 블록(207)의 히스토그램 등화는 장면의 밝은 그리고 어두운 영역의 세밀한 부분이 적절히 개선되도록 그레이 스케일을 재분배한다. 이러한 처리를 실행하기 위하여, 히스토그램 등화/투영 블록(207)은 피드백 함수 발생기(206)로부터 이미 이용가능한 히스토그램만을 필요로한다. Histogram equalization and histogram projection are conventional methods of improving contrast using so-called "dot processing" techniques. Using this technique, an image with a uniform density of gray levels is generated to maximize the visible contrast to provide the viewer with the most important information. This technology maps high resolution data onto smaller resolution monitors without clipping for optimal display on limited resolution monitors. Thus, histogram equalization of histogram equalization / projection block 207 redistributes the gray scale so that the details of the bright and dark areas of the scene are appropriately improved. To perform this process, histogram equalization / projection block 207 needs only the histogram already available from feedback function generator 206.

라인(216)은 필요한 경우 라인(216)을 통해 출력 모니터(220)에 비보정 비디오를 전송하도록 멀티플렉서(211)를 설정함으로써 콘트라스트 보정기(205)의 콘트라스트 보정이 바이패스되도록 한다. 라인(217)은 필요한 경우 라인(217)을 통해 비보정 비디오를 출력 모니터(220)에 전송하도록 히스토그램 등화/투영 블록(207)의 히스토그램 등화/투영이 멀티플렉서(211)를 설정하여 바이패스되도록 한다. 따라서, MUX(210, 211)를 적절히 스위칭함으로써, 4개의 비디오 신호중 하나는 출력 모니터(220)상에 디스플레이될 수 있는데; (1) 비처리되거나(즉, 콘트라스트 보정기(205) 및 히스토그램 등화/투영 블록(207)을 스킵하며), (2) 콘트라스트 개선되거나(즉, 히스토그램 등화/투영 블록(207)을 스킵하며), (3) 히스토그램 개선되거나(즉, 콘트라스트 보정기(205)을 스킵하며) 또는 (4) 히스토그램 및 콘트라스트 개선된다.Line 216 allows the contrast correction of contrast corrector 205 to be bypassed by setting multiplexer 211 to send uncorrected video to output monitor 220 via line 216 as needed. Line 217 causes histogram equalization / projection of histogram equalization / projection block 207 to be bypassed by setting multiplexer 211 to send uncorrected video to output monitor 220 via line 217 if necessary. . Thus, by properly switching the MUXs 210, 211, one of the four video signals can be displayed on the output monitor 220; (1) unprocessed (i.e., skipping the contrast compensator 205 and histogram equalization / projection block 207), (2) contrast enhancement (i.e., skipping the histogram equalization / projection block 207), (3) histogram improvement (ie, skip contrast compensator 205) or (4) histogram and contrast improvement.

본 발명의 동적 피드백은 도 1B 및 1C에 도시된 2-전압 비선형 함수와 다른 전하 용량 제어 전압 함수와 함께 사용될 수 있다. 예를들어, 다중 이산 스텝 및 전압 또는 연속적으로 증가하는 전하 용량 제어 전압은 전하 용량 제어 전압 파형을 선형적으로 증가시키는 것와 같이 사용될 수 있다. 이들 경우에, 히스토그래머 (204)에 의해 제공된 전역 명암값 분포 정보는 이들 함수를 적절히 조정하기 위하여 사용된다. 따라서, 예를들어, 만일 연속적으로 증가하는 전하 용량 제어전압이 사용된다면, 이전 프레임에서 가장 밝은 대상물의 명암값은 이 명암값의 광레벨이 포화되도록 전하 용량 제어 전압 함수의 형상을 조정하기 위하여 사용된다. 이러한 경우에, 피드백 함수 발생기(206)는 전하 용량 제어 전압 함수를 바꾸는 방법을 영상기(201)에 명령하는 함수 정보를 발생시킨다. The dynamic feedback of the present invention can be used with a charge capacity control voltage function other than the two-voltage nonlinear function shown in FIGS. 1B and 1C. For example, multiple discrete steps and voltages or continuously increasing charge capacity control voltages may be used, such as linearly increasing the charge capacity control voltage waveform. In these cases, global intensity distribution information provided by histogram 204 is used to appropriately adjust these functions. Thus, for example, if a continuously increasing charge capacitance control voltage is used, the contrast value of the brightest object in the previous frame is used to adjust the shape of the charge capacitance control voltage function so that the light level of this contrast value is saturated. do. In this case, the feedback function generator 206 generates function information instructing the imager 201 how to change the charge capacitance control voltage function.

바로 이전 프레임과 다른 이전 프레임으로부터의 히스토그램이 사용될 수 있다. 예를들어, 마지막 5개의 프레임의 실행 평균의 히스토그램이 사용될 수 있다.Histograms from immediately preceding frames and other previous frames may be used. For example, a histogram of the running average of the last five frames can be used.

당업자는 본 발명의 권리범위를 벗어나지 않고 본 발명을 변형할 수 있다. 따라서, 본 발명은 청구범위의 사상 및 범위에 의해서만 제한된다. Those skilled in the art can modify the present invention without departing from the scope of the present invention. Accordingly, the invention is limited only by the spirit and scope of the claims.

Claims (13)

(a) 집적기간 동안 검출된 광의 결과로써 상기 집적기간 동안 각각 전하를 축적하는 광검출기들의 어레이 - 상기 어레이는 전하 용량 제어 전압에 의해 결정되는 전하 용량을 가지며, 상기 전하 용량 제어 전압은 상기 집적기간의 제 1 기간과 제 2 기간에서 증가되어 상기 집적기간의 상기 제 2 기간 동안 상기 어레이의 상기 전하 용량을 증가시킴 - 를 구비하는 영상기; 및(a) an array of photodetectors each accumulating charge during the integration period as a result of light detected during the integration period, wherein the array has a charge capacity determined by a charge capacity control voltage, the charge capacity control voltage being the integration period An increaser in the first and second periods of increasing the charge capacity of the array during the second period of the integration period; And (b) 상기 영상기에 접속되며, 적어도 하나의 이전 집적기간 동안 상기 영상기에 의해 검출된 증가된 명암값 분포에 응답하여 상기 집적기간의 상기 제 1 기간을 증가시키고, 상기 적어도 하나의 이전 집적기간 동안 상기 영상기에 의해 검출된 감소된 명암값 분포에 응답하여 상기 집적기간의 상기 제 1 기간을 감소시킴으로써, 상기 영상기가 상기 어레이의 상기 전하 용량을 증가시키는 방식을 조정하는 전하 용량 제어기를 포함하는 영상 시스템.(b) connected to the imager, increasing the first period of the integration period in response to the increased contrast distribution detected by the imager during at least one previous integration period, and during the at least one previous integration period An imaging system including a charge capacity controller that adjusts the manner in which the imager increases the charge capacity of the array by decreasing the first period of the integration period in response to the reduced contrast distribution detected by the imager . 제 1항에 있어서, 상기 영상기는 상기 집적기간 후에 상기 각각의 광검출기에 의해 축적된 상기 전하에 따라 비디오 프레임을 제공하고, 상기 영상기는 하나의 함수 및 상기 함수를 변화시키는 방식을 지정하는 함수 정보에 따라 상기 집적기간 동안 상기 어레이의 상기 전하 용량을 증가시키며, 상기 전하 용량 제어기는 상기 영상기에 의해 제공된 상기 적어도 하나의 이전 비디오 프레임의 명암값 분포에 따라 상기 함수 정보를 발생시키는 함수 발생기를 포함하는 것을 특징으로 하는 영상 시스템.2. The apparatus according to claim 1, wherein the imager provides a video frame according to the charge accumulated by each photodetector after the integration period, and the imager specifies a function and a manner of changing the function. Increasing the charge capacity of the array during the integration period, wherein the charge capacity controller includes a function generator for generating the function information according to a distribution of contrast values of the at least one previous video frame provided by the imager. Imaging system, characterized in that. 제 2항에 있어서, 상기 전하 용량 제어기는 상기 영상기 및 상기 함수 발생기에 접속된 히스토그래머를 더 포함하며, 상기 히스토그래머는 상기 영상기에 의해 제공된 비디오 프레임들을 수신하고, 상기 명암값 분포를 가지는 히스토그램을 상기 함수 발생기에 제공하는 것을 특징으로 하는 영상 시스템.3. The apparatus of claim 2, wherein the charge capacity controller further comprises a histogram connected to the imager and the function generator, the histogram receiving the video frames provided by the imager and receiving the contrast distribution. And a branched histogram to the function generator. 제 3항에 있어서, 상기 전하 용량 제어기는 상기 히스토그래머 및 상기 영상기에 접속된 히스토그램 등화/투영 블록을 더 포함하며, 상기 히스토그램 등화/투영 블록은 현재 비디오 프레임에 대한 히스토그램을 사용하여 상기 비디오 프레임의 정보 내용을 모니터상에 최적으로 디스플레이하는 것을 특징으로 하는 영상 시스템.4. The apparatus of claim 3, wherein the charge capacity controller further comprises a histogram equalization / projection block connected to the histogram and the imager, wherein the histogram equalization / projection block uses the histogram for a current video frame. Imaging system, characterized in that for optimal display of the information content on the monitor. 제 2항에 있어서, 상기 전하 용량 제어기는 콘트라스트 보정기를 더 포함하고, 상기 함수 발생기는 역함수 정보를 발생시키며, 상기 콘트라스트 보정기는 상기 영상기에 의해 제공된 상기 비디오 프레임들을 수신하고, 상기 함수 발생기에 의해 제공된 상기 역함수 정보를 수신하며, 상기 역함수 정보를 사용하여 상기 집적기간 동안 증가되는 광검출기의 어레이의 전하 용량에 의해 야기된 비디오 프레임들에서의 영향을 제거하는 것을 특징으로 하는 영상 시스템.3. The apparatus of claim 2, wherein the charge capacity controller further comprises a contrast corrector, the function generator generates inverse information, the contrast corrector receives the video frames provided by the imager, and is provided by the function generator. Receiving the inverse information and using the inverse information to remove the effect on video frames caused by the charge capacity of the array of photodetectors increased during the integration period. 제 2항에 있어서, The method of claim 2, 상기 영상기는 상기 집적기간의 제 1 기간동안 상기 광검출기들의 어레이에 제 1 전하 용량 제어전압을 인가하고, 상기 제 1 기간 이후에 상기 광검출기의 어레이에 제 2 전하 용량 제어 전압을 인가함으로써 상기 집적기간 동안 상기 광검출기의 어레이의 전하 용량을 증가시키고,The imager is configured to apply a first charge capacitance control voltage to the array of photodetectors during the first period of the integration period and to apply a second charge capacitance control voltage to the array of photodetectors after the first period. Increase the charge capacity of the array of photodetectors over a period of time, 상기 제 1 기간의 길이는 상기 함수 발생기에 의해 제공된 상기 함수 정보에 따라 결정되며, 상기 제 2 전하 용량 제어전압은 상기 제 1 전하 용량 제어전압보다 큰 것을 특징으로 하는 영상 시스템.And the length of the first period is determined according to the function information provided by the function generator, and wherein the second charge capacitance control voltage is greater than the first charge capacitance control voltage. 제 2항에 있어서, 상기 함수 발생기는 상기 영상기에 의해 제공된 가장 최근의 이전 비디오 프레임의 명암값 분포에 따라 함수 정보를 발생시키며,The method of claim 2, wherein the function generator generates function information according to a distribution of contrast values of the most recent previous video frame provided by the imager. 상기 함수 정보는 상기 함수 발생기에 의해 발생되어, 상기 가장 최근의 이전 비디오 프레임에서 가장 밝은 대상물의 명암값 레벨을 가지고 상기 집적기간 동안 상기 영상기의 광검출기에 충돌하는 상기 광이 상기 집적기간의 끝에서 상기 전하가 상기 광검출기의 상기 전하 용량을 초과하여 축적되지 않도록 하는 것을 특징으로 하는 영상 시스템.The function information is generated by the function generator such that the light impinging the photodetector of the imager during the integration period with the intensity level of the brightest object in the most recent previous video frame is at the end of the integration period. Wherein the charge does not accumulate beyond the charge capacity of the photodetector. 제 7항에 있어서, 상기 함수 정보는 상기 함수 발생기에 의해 발생되어, 상기 광이 상기 집적기간의 끝에서 상기 전하가 상기 광검출기의 전하 용량에 거의 도달하지만 초과하지 않게 축적되도록 하는 것을 특징으로 하는 영상 시스템.8. The method of claim 7, wherein the function information is generated by the function generator such that the light accumulates at the end of the integration period so that the charge almost reaches but does not exceed the charge capacity of the photodetector. Imaging system. 제 1항에 있어서, 상기 영상기는 가상 게이트 매립형 n-채널 광검출기들의 어레이를 가진 상보형 금속 산화물 반도체 영상기이며, 상기 각각의 광검출기는 상기 광검출기에 인가된 전하 용량 제어 전압의 크기와 관련된 전하 용량을 가지는 것을 특징으로 하는 영상 시스템.2. The imager of claim 1, wherein the imager is a complementary metal oxide semiconductor imager having an array of virtual gate buried n-channel photodetectors, each photodetector associated with a magnitude of a charge capacity control voltage applied to the photodetector. Imaging system having a charge capacity. 제 1항에 있어서, 상기 영상기는 전하 결합 장치(CCD) 광검출기들의 어레이를 포함하며, 상기 각각의 CCD 광검출기는 상기 CCD 광검출기에 인가된 전하 용량 제어 전압의 크기와 관련된 전하 용량을 가지는 것을 특징으로 하는 영상 시스템.2. The method of claim 1, wherein the imager comprises an array of charge coupled device (CCD) photodetectors, each CCD photodetector having a charge capacity associated with the magnitude of a charge capacity control voltage applied to the CCD photodetector. Imaging system characterized by the above. 집적기간 동안 검출된 광의 결과로써 상기 집적기간 동안 각각 전하를 축적하는 광검출기들의 어레이를 가진 영상기에 접속된 전하 용량 제어기를 포함하며; A charge capacity controller connected to the imager having an array of photodetectors each accumulating charge during the integration period as a result of light detected during the integration period; 상기 어레이는 상기 전하 용량 제어기에 의해 제공되는 저하 용량 제어 전압에 의해 결정되는 전하 용량을 가지고, The array has a charge capacity determined by a reduced capacitance control voltage provided by the charge capacity controller, 상기 전하 용량 제어 전압은 상기 집적기간의 제 1 기간과 제 2 기간사이에서 증가되어 상기 집적기간의 상기 제 2 기간 동안 상기 어레이의 상기 전하 용량을 증가시키며,The charge capacitance control voltage is increased between a first period and a second period of the integration period to increase the charge capacity of the array during the second period of the integration period, 상기 전하 용량 제어기는 적어도 하나의 이전 집적기간 동안 상기 영상기에 의해 검출된 증가된 명암값 분포에 응답하여 상기 집적기간의 상기 제 1 기간을 증가시키고, 상기 적어도 하나의 이전 집적기간 동안 상기 영상기에 의해 검출된 감소된 명암값 분포에 응답하여 상기 집적기간의 상기 제 1 기간을 감소시킴으로써, 상기 영상기가 상기 어레이의 상기 전하 용량을 증가시키는 방식을 조정하는 영상 시스템.The charge capacitance controller increases the first period of the integration period in response to the increased contrast distribution detected by the imager during at least one previous integration period, and increases the first period of the integration period by the imager. And reduce the first period of the integration period in response to the detected reduced intensity distribution to adjust the manner in which the imager increases the charge capacity of the array. 영상 시스템의 동적 범위를 확장하기 위한 방법으로서,As a method for extending the dynamic range of an imaging system, (a) 집적기간 - 각각의 광검출기는 상기 집적기간 동안 검출된 광의 결과로서 전하를 축적함 - 의 제 1 기간과 제 2 기간 사이에서 영상기에 의해 인가된 전하 용량 제어 전압을 증가시킴으로써 상기 광검출기들의 어레이의 전하 용량을 증가시키는 단계; 및(a) the photodetector by increasing the charge capacity control voltage applied by the imager between the first and second periods of integration period, each photodetector accumulating charge as a result of light detected during the integration period. Increasing the charge capacity of the array of electrons; And (b) 적어도 하나의 이전 집적기간 동안 상기 영상기에 의해 검출된 증가된 명암값 분포에 응답하여 상기 집적기간의 상기 제 1 기간을 증가시키고, 상기 적어도 하나의 이전 집적기간 동안 상기 영상기에 의해 검출된 감소된 명암값 분포에 응답하여 상기 집적기간의 상기 제 1 기간을 감소시킴으로써, 상기 영상기가 상기 어레이의 상기 전하 용량을 증가시키는 방식을 조정하는 단계를 포함하는 영상 시스템의 동적 범위를 확장하기 위한 방법.(b) increasing the first period of the integration period in response to the increased contrast distribution detected by the imager during at least one previous integration period, and detected by the imager during the at least one previous integration period. Adjusting the manner in which the imager increases the charge capacity of the array by decreasing the first period of the integration period in response to a reduced intensity distribution. . (a) 집적기간 - 각각의 광검출기는 상기 집적기간 동안 검출된 광의 결과로서 전하를 축적함 - 의 제 1 기간 및 제 2 기간 사이에서 영상기에 인가된 전하 용량 제어 전압을 증가시킴으로써 상기 광검출기의 어레이의 전하 용량을 증가시키는 수단; 및(a) increasing the charge capacity control voltage applied to the imager between the first and second periods of integration period, each photodetector accumulating charge as a result of light detected during the integration period of the photodetector. Means for increasing the charge capacity of the array; And (b) 적어도 하나의 이전 집적기간 동안 상기 영상기에 의해 검출된 증가된 명암값 분포에 응답하여 상기 집적기간의 상기 제 1 기간을 증가시키고, 상기 적어도 하나의 이전 집적기간 동안 상기 영상기에 의해 검출된 감소된 명암값 분포에 응답하여 상기 집적기간의 상기 제 1 기간을 감소시킴으로써, 상기 영상기가 상기 어레이의 전하 용량을 증가시키는 방식을 조정하는 수단을 포함하는 영상 시스템.(b) increasing the first period of the integration period in response to the increased contrast distribution detected by the imager during at least one previous integration period, and detected by the imager during the at least one previous integration period. And means for adjusting the manner in which the imager increases the charge capacity of the array by decreasing the first period of the integration period in response to a reduced intensity distribution.

Images