KR101716818B1 - Cctv camera systems for ultra low illumination - Google Patents

Abstract

The present invention relates to a CCTV camera system for ultra low illumination, which is capable of generating and outputting a high-quality image free from dragging and noise even in an environment of ultra low illumination of less than or equal to 0.005 Lux. The CCTV camera system for ultra low illumination according to the present invention comprises: a lens; an image sensor; an image signal processor; an illumination sensor; an optical low pass filter (OLPF); a filter controller for controlling a position of the OLPF; and a codec processor. The image signal processor is configured to perform a first function of determining whether an image received from the image sensor is in a low illumination state of equal to or less than 0.1 Lux; a second function of correcting brightness of the image through tone mapping when the image in the low illumination state as the determination result, and a third function of outputting a first image and a second image, respectively, by performing first processing and second processing on the image of which the brightness is corrected, respectively.

Description

초저조도용 CCTV 카메라 시스템{CCTV CAMERA SYSTEMS FOR ULTRA LOW ILLUMINATION}[0002] CCTV CAMERA SYSTEMS FOR ULTRA LOW ILLUMINATION [0003]

본 발명은 CCTV 카메라 시스템에 관한 것으로서, 보다 상세하게는 0.005 Lux 이하의 초저조도 환경에서도 끌림 및 노이즈 등이 없는 고품질 영상을 생성 출력할 수 있는 초저조도용 CCTV 카메라 시스템에 관한 것이다.
The present invention relates to a CCTV camera system, and more particularly, to a CCTV camera system capable of generating and outputting a high quality image free of dragging and noise even in an ultra low light environment of 0.005 Lux or less.

일반적으로 CCTV 카메라(폐쇄회로 텔레비젼용 카메라)는 특정한 장소나 사물을 촬영하여 폐쇄회로 텔레비젼에 보냄으로써 촬영되는 장소나 사물의 이상 유무를 확인할 수 있게 하는 촬영 기기로서, 빌딩, 주차장, 아파트 단지 등에서 관리나 경비의 효율제고를 위한 일반 감시용 카메라뿐만 아니라, 자동차 안전장치 등으로 이용되는 등 그 용도가 크게 다변화되고 있다.Generally, a CCTV camera (closed-circuit television camera) is an image-capturing device that can detect a place or an object that is photographed by shooting a specific place or object and sending it to a closed-circuit television. It is managed by a building, a parking lot, In addition to general surveillance cameras for enhancing the efficiency of expense, it is used for automobile safety devices, etc., and the use thereof is greatly diversified.

한편, CCTV는 사용목적이나 특성상 어두운 곳 즉, 저 조도에서도 동작될 수밖에 없게 되는데, 이럴 경우 적외선 카메라를 사용하거나 가시광선 영역 대의 조명을 사용하게 된다.On the other hand, CCTV is inevitably operated in a dark place, that is, in low light, for the purpose of use, and in this case, an infrared camera is used or a light of a visible ray area is used.

특히, 종래 보안감시 카메라(Day & Night)에서는 저조도 영상의 감도를 높이기 위해 흑백화면으로 전환하고 있어, 컬러의 식별성이 현저히 떨어지게 되는 점과, 저조도 영상의 감도를 높이므로 발생하는 영상 끌림 및 잔상 현상에 의해 감시자가 피사체의 구분이 어려워지는 문제점이 발생하고 있다.Particularly, in the conventional security surveillance camera (Day & Night), it is switched to a monochrome screen in order to increase the sensitivity of the low-illuminance image, and the discrimination of the color is remarkably deteriorated and the image drag and after- So that it is difficult for the surveillant to distinguish the subject.

즉, 종래의 보안감시 카메라(Day & Night)는 컬러 CCD(Charge Coupled Device)를 주간과 야간에 동시에 사용하여, 주간에는 컬러로 영상을 재현하고, 야간에는 컬러로 촬영된 영상이 소프트웨어에 의해 흑백 모드로 전환되는 방식을 채택하고 있으므로 컬러의 식별성이 현저히 떨어지는 문제점과, 저조도 영상의 감도를 높이므로 발생하는 영상 끌림 현상 및 잔상 현상에 의해 감시자가 피사체를 정확히 구분할 수 없는 문제점이 있는 것이다.That is, the conventional security surveillance camera (Day & Night) uses a color CCD (Charge Coupled Device) at the same time in daytime and nighttime, reproduces images in color in the daytime, There is a problem that the discrimination of the color is remarkably deteriorated and the monitor can not accurately distinguish the subject due to the image dragging phenomenon and the afterimage phenomenon caused by raising the sensitivity of the low illuminance image.

또한, 계절별이나 시간대별 그리고 CCTV 카메라의 설치장소에 따른 조도 변화에 대한 대응과 구름, 눈, 비, 안개 등과 같은 피사체 식별성에 영향을 주는 요소들에 대한 대응을 위하여, 다양한 방법도 제시되고 있는 실정이다.In addition, there are various methods for responding to changes in illumination depending on the season, time, and location of the CCTV camera, and factors affecting object identification such as clouds, snow, rain, and fog. to be.

한편, 이러한 다양한 방법에도 노이즈가 최대가 되어 화질이 떨어지는 문제가 발생하고, 특히 야간에 조명장치에 사용할 경우 셔터 속도를 최대로 하면 반사되는 빛에 의해 영상데이터가 손상되는 결과를 가져오기도 한다.On the other hand, even in such a variety of methods, there is a problem that the noise is maximized and the image quality is lowered. In particular, when the shutter speed is set to a maximum at the nighttime, the reflected light may cause image data to be damaged.

아울러, 일반적으로 카메라는 주간촬영시 선명한 색채 형상을 나타내는 장점이 있는 반면에 야간촬영시 컬러 버스트(Color Burst)에 의한 색 노이즈가 나타나게 되어 감시 카메라로서의 역할을 제대로 수행할 수 없는 문제점이 있었으며, 하나의 이미지센서를 공용으로 사용함으로써 가시광선과 적외선 대역의 서로 다른 파장에 의해 포커스가 틀어지는 문제점이 발생될 수밖에 없다.In addition, while the camera generally has the advantage of displaying a clear color shape during the daytime shooting, there is a problem that the color noise due to the color burst is displayed at the time of night shooting, A problem arises in that the focus is changed due to different wavelengths of the visible light and the infrared light band.

따라서, 종래 대한민국 등록특허 제10-1169017호에서는 "전방을 촬영할 수 있도록 몸체의 전면에 설치되며, 일측에는 주변의 조도를 감지하는 CdS 및 외부의 무선신호를 수신하는 리모콘수신부가 구비되며, 야간 촬영을 위한 복수의 아이알 엘이디가 방사상으로 설치된 고해상도 CMOS 카메라 및 CCD 카메라와; 고해상도 CMOS 카메라에서 전달된 디지털 영상신호를 제1EEPROM에 저장된 신호처리 알고리즘을 통해 아날로그신호로 변환하는 엔코더(ENCODER)와; 상기 CCD 카메라에서 전달된 아날로그 영상신호의 게인을 자동으로 콘트롤하는 AGC(Auto Gain Control) 및 상기 AGC에서 콘트롤된 신호를 제2EEPROM에 저장된 데이타값과 비교하여 노이즈가 제거된 영상신호로 변환하는 ISP(Image Signal Processor)와; 상기 엔코더와 ISP에서 출력되는 신호를 증폭하는 제1 및 제2비디오엠프(VIDEO AMP)와; 상기 제1 및 제2비디오엠프에서 증폭된 신호를 CdS회로부의 제어신호에 따라 주간 및 야간을 구분하여 스위칭하는 비디오 스위치;를 포함하여 구성된 고해상도 씨모스 카메라가 적용된 주야간 자동 스위칭방식의 감시용 카메라"가 제시된 바 있다.Accordingly, Korean Patent Registration No. 10-1169017 discloses that "installed on the front surface of a body so as to be able to take a picture of the front side, has a CdS for sensing the illuminance of the surroundings and a remote control receiver for receiving an external radio signal, An encoder (ENCODER) for converting a digital image signal transmitted from a high-resolution CMOS camera into an analog signal through a signal processing algorithm stored in a first EEPROM, a CCD An AGC (Auto Gain Control) for automatically controlling a gain of an analog video signal transmitted from a camera, and an ISP (Image Signal) for converting a signal controlled by the AGC to a data value stored in a second EEPROM and converting the signal to a video signal, A first and a second video amplifier for amplifying signals output from the encoder and the ISP, MP and a video switch for switching the amplified signals of the first and second video amplifiers in accordance with the control signal of the CdS circuit part for the daytime and the nighttime switching, Surveillance camera "has been proposed.

또한, 대한민국 등록특허 제10-1322829호에서는“목적 대상을 촬영하여 이미지 파일을 생성하는 디지털 카메라; 및 상기 디지털 카메라에 연결되며, 주변 환경의 조도에 따라 이미지 파일이 보정되도록 일출 일몰시간에 연동되어 상기 디지털 카메라의 노출을 보정하는 자동보정장치를 포함하며, 상기 자동보정장치는 지역별 일출 일몰시간이 저장된 일출 일몰시간 DB로부터 설정 지역의 일출시간 및 일몰시간을 수집하는 일출 일몰시간 수집모듈, 및 상기 일출 일몰시간 추출모듈로부터 추출된 일출시간 및 일몰시간에 따라 상기 카메라의 노출을 보정하는 노출 보정모듈로 이루어진 CCTV 시스템"이 제시된 바 있다.Korean Patent No. 10-1322829 discloses " a digital camera for photographing a target object and generating an image file; And an automatic correction device connected to the digital camera for correcting an exposure of the digital camera in response to a sunrise sunset so that an image file is corrected according to the illuminance of the surrounding environment, An exposure correction module for correcting an exposure of the camera according to a sunrise time and a sunset time extracted from the sunrise sunset time extraction module for collecting a sunrise time and a sunset time of the setting area from the stored sunrise time DB, A CCTV system consisting of "

그러나, 이와 같은 구성으로 이루어진 고해상도 씨모스 카메라가 적용된 주야간 자동 스위칭 방식의 감시용 카메라에서는 야간에 컬러를 재현할 경우 컬러 노이즈로 인해 피사체 식별에 문제가 생기고, 이 상황에서 피사체를 식별하고자 컬러 노이즈를 감소시키면 컬러의 재현성 문제와 야간에 피사체의 감도가 낮아지게 되므로 이 또한 피사체 식별에 문제가 된다.However, in the surveillance camera of the day / night automatic switching system using the high-resolution CMOS camera having the above-described configuration, when the color is reproduced at night, the color noise causes a problem in identifying the subject. In this situation, The problem of color reproducibility and the sensitivity of the subject at night are lowered, which is also a problem in object identification.

즉, 기존의 CCTV 카메라에서는 컬러의 재현성보다 감도를 더 우선함으로써 컬러는 흑백으로 전환하여 컬러 노이즈를 없애고, 흑백화면 상태에서 감도를 증가시키는 방법을 취하고 있는 실정이다.That is, in the conventional CCTV camera, the color is switched to black and white by eliminating the color noise, and the sensitivity is increased in the black and white screen state.

특히, 0.005 Lux 이하의 초저조도 촬영 환경 하에서 다양한 주변 상황을 종합하여 감시 영상으로서 최적으로 적합한 고품질 영상을 획득할 수 있는 기술은 전무한 실정이다.
Particularly, there is no technology capable of acquiring a high quality image that is optimal as a surveillance image by synthesizing various peripheral situations under an ultra-low light shooting environment of 0.005 Lux or less.

특허문헌 1: 한국등록특허공보 제10-1169017호(2012.07.20.)Patent Document 1: Korean Patent Publication No. 10-1169017 (July 20, 2012) 특허문헌 2: 한국등록특허공보 제10-1322829호(2013.10.22.)Patent Document 2: Korean Patent Publication No. 10-1322829 (Oct. 22, 2013)

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 핵심 목적은 0.005 Lux 이하의 초저조도 촬영 환경 하에서 다양한 주변 상황을 종합하여 감시 영상으로서 최적으로 적합한 영상을 출력할 수 있는 초저조도용 CCTV 카메라 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is a primary object of the present invention to provide an ultra-low noise CCTV system capable of outputting an optimal image as a surveillance image in a super low- And a camera system.

본 발명의 또 다른 목적은 기존 저조도 영상의 감도를 높이기 위해 흑백화면으로 전환하여 컬러의 식별성이 현저히 떨어지게 되는 점과, 저조도 영상의 감도를 높이므로 발생하는 영상 끌림 및 잔상 현상에 의해 감시자가 피사체의 구분이 어려워 감시카메라의 역할이 감소되는 현상을 예방하기 위해, CCTV 카메라의 중요한 요소는 피사체의 정확한 식별이므로 식별성을 높이기 위한 필연적인 요소인 야간 감도와 피사체 컬러를 모두 향상시킬 수 있는 초저조도용 CCTV 카메라 시스템을 제공하는 것이다.
It is a further object of the present invention to provide an image processing apparatus and a method thereof, in which discrimination of color is significantly reduced by switching to a monochrome screen in order to increase the sensitivity of existing low-illuminance images and a phenomenon of image dragging and after- In order to prevent the decrease of the role of the surveillance camera due to difficulty in classification, an important element of the CCTV camera is an accurate identification of the object. Therefore, the CCTV camera has an inevitable factor of improving the nighttime sensitivity and the object color. And a camera system.

상기 목적을 달성하기 위한 본 발명에 따른 초저조도용 CCTV 카메라 시스템은, 렌즈와; 이미지 센서와; 이미지 시그널 프로세서(Image Signal Procesor)와; 조도센서와; OLPF(Optical Low Pass Filter) 필터와; 상기 OLPF 필터의 위치를 제어하는 필터 제어기; 및 코덱 프로세서(Codec Procesor)를 포함한다.According to another aspect of the present invention, there is provided an ultra low illumination CCTV camera system comprising: a lens; An image sensor; An image signal processor; An illuminance sensor; An OLPF (Optical Low Pass Filter) filter; A filter controller for controlling the position of the OLPF filter; And a codec processor (Codec Processor).

그리고, 이미지 시그널 프로세서는, 이미지 센서를 통하여 전달받은 영상이 0.1 Lux 이하의 저조도 상태인지를 판별하는 제1 기능과, 상기 판별 결과 저조도 상태일 경우, 톤 맵핑 (Tone Mapping)을 통해 상기 영상의 밝기를 보정하는 제2 기능과, 상기 제2 기능에 의해 밝기가 보정된 영상에 대하여 제1 처리와 제2 처리를 각각 별도로 수행하여 제1 영상과 제2 영상을 각각 출력하는 제3 기능을 수행하도록 구성된다.The image signal processor may further include a first function for determining whether the image transmitted through the image sensor is in a low illumination state of 0.1 Lux or less and a second function for determining a brightness of the image through tone mapping, And a second function of performing a first process and a second process on the image whose brightness is corrected by the second function, respectively, to perform a third function of outputting the first image and the second image, respectively .

그리고, 이미지 시그널 프로세서의 상기 제1 처리는, 이미지 센서의 노광시간을 조정하는 제1a 처리와, 상기 이미지 센서로부터 현재 세팅된 현재센서게인을 입력받은 후, 상기 현재센서게인의 범위를 판별하여 컬러억제게인을 출력하는 제1b 처리와, 잔상이 남지 않도록 디지털신호 처리 잡음을 감소시키는 제1c 처리와, 영상의 출력 감마를 조정하는 제1d 처리를 포함한다.The first process of the image signal processor includes: a first processing for adjusting an exposure time of the image sensor; and a second processing for determining a range of the current sensor gain by receiving the presently set sensor gain from the image sensor, 1b processing for outputting a suppression gain, a first c processing for reducing digital signal processing noise so that no afterimage is left, and a first d processing for adjusting output gamma of an image.

그리고, 이미지 시그널 프로세서의 상기 제2 처리는, 필터 제어기의 제어를 통해, 상기 이미지 센서로 입사되는 광 경로 상에서 상기 OLPF 필터를 제거하여 상기 이미지 센서의 감지 파장대를 1200㎚ 영역으로 이동시키는 제2a 처리와, 상기 제2a 처리에 의해 획득된 영상에 대하여 상기 제1a 처리 내지 제1d 처리를 수행하는 제2b 처리와, 상기 제2b 처리에 의해 획득된 영상의 동적영역(Dynamic Range)을 동적영역압축기(DRC)로 조정하는 제2c 처리를 포함한다.The second process of the image signal processor is a process of removing the OLPF filter on the optical path incident on the image sensor through the control of the filter controller to move the detection wavelength band of the image sensor to the 1200 nm region (2b) for performing the first to (1d) -processing on the image obtained by the processing of the second processing (2a), and the dynamic range (Dynamic Range) of the image obtained by the processing of the second processing DRC). ≪ / RTI >

그리고, 코덱 프로세서는, 상기 제1 영상과 상기 제2 영상에 대하여 각각 신호대잡음비(SNR)와 영상밝기를 산출하는 제1' 기능과, 상기 제1' 기능에 의해 산출된 신호대잡음비와 영상밝기를 이용하여 상기 제1 영상과 상기 제2 영상 중 어느 하나의 영상을 최종 영상으로 선택 출력하는 제2' 기능을 수행하도록 구성되는 것을 특징으로 한다.
The codec processor may further include a first function for calculating a signal-to-noise ratio (SNR) and an image brightness for the first image and the second image, and a second function for calculating a signal-to- And a second function of selectively outputting one of the first image and the second image as a final image by using the first image and the second image.

본 발명에 따른 초저조도용 CCTV 카메라 시스템에 의하면, 컬러를 식별할 수 있고, 움직이는 피사체에 대한 식별성이 저해 받지 않으므로 저조도 CCTV 시스템 자체의 상품성과 사용 목적에 따른 신뢰도 등을 대폭 향상시킬 수 있는 효과가 있다.According to the CCTV camera system for ultra low illumination according to the present invention, the color can be discriminated and the discrimination of the moving object is not hindered. Therefore, the effect of greatly improving the commerciality and reliability according to the purpose of use of the low illumination CCTV system itself have.

본 발명에 따른 초저조도용 CCTV 카메라 시스템에 의하면, 특히 0.005 ~ 0.0005 Lux의 초저조도 환경시 특정 파장대 이동 전후 영상을 각각 획득하여 이를 소정의 알고리즘에 따라 처리/비교/선택하도록 구성함으로써, 초저조도이면서 시간대별, 계절별, 설치장소별로 상이한 다양한 환경 조건 하에서도 끌림 및 노이즈 등이 없고 항시 감시 영상으로서 최적으로 적합한 고품질 영상을 제공할 수 있는 효과가 있다.According to the CCTV camera system for ultra low illumination according to the present invention, it is possible to acquire images before and after a specific wavelength band in an extremely low illuminance environment of 0.005 to 0.0005 Lux and process / compare / select them according to a predetermined algorithm, It is possible to provide a high-quality image suitable for an optimal monitoring image without dragging and noise even under various environmental conditions which vary according to time, season, and installation place.

또한, 사용자 설정을 통해 가중치(즉, 제1 및 제2 가중치)를 탄력적으로 조절 및 부여할 수 있는 바, 사용자 목적에 최적으로 부합하는 감시 영상을 출력 제공할 수 있는 장점이 있다.
In addition, since the weights (i.e., the first and second weights) can be flexibly adjusted and given through the user setting, it is possible to provide the output of the surveillance image that best matches the user's purpose.

도 1은 본 발명에 따른 초저조도용 CCTV 카메라 시스템의 블럭 구성도.
도 2는 본 발명에 따른 ISP의 영상 처리 순서도.
도 3은 도 2 중 저 조도 컬러 조정 서브루틴을 설명하기 위한 플로우 챠트.
도 4는 ISP 내 디지털 슬로우 셔터 제어기에서 실시하는 노출 제어 방법을 도시한 그래프.
도 5는 본 발명에 따른 ISP의 상세 블록 구성도.
도 6은 도 5 중 디지털 노이즈 감쇠기의 상세 블록 구성도.
도 7은 ISP 내 감마 제어기에서 영상출력 감마를 제어하는 예시 그래프.
도 8은 본 발명 중 코덱 프로세스의 블록 구성도.
도 9는 ISP에서 노광시간을 제어하는 형태를 보인 그래프.
도 10은 본 발명 중 컬러 억제 구간을 도시한 그래프.
도 11의 (a)~(d)는 본 발명 중 ISP에서 컬러를 억제할 때 각 영역을 도시한 그래프.
도 12는 본 발명에 따른 코덱 프로세서의 영상 처리 순서도.
도 13은 본 발명에 따른 관제부의 CCTV 카메라 시스템 모니터링 기능의 처리 순서도.1 is a block diagram of a CCTV camera system for ultra low illumination according to the present invention.
2 is a flowchart of an image processing of an ISP according to the present invention;
3 is a flow chart for explaining the low illuminance color adjustment subroutine of FIG. 2;
4 is a graph showing an exposure control method performed in a digital slow shutter controller in an ISP.
5 is a detailed block diagram of an ISP according to the present invention;
Fig. 6 is a detailed block diagram of the digital noise attenuator shown in Fig. 5. Fig.
7 is an exemplary graph for controlling video output gamma in a gamma controller in an ISP;
8 is a block diagram of a codec process according to the present invention;
9 is a graph showing a form in which an exposure time is controlled by an ISP.
10 is a graph showing a color suppression period in the present invention.
11 (a) to 11 (d) are graphs showing respective areas when color is suppressed in ISP according to the present invention.
12 is a flowchart of an image processing of a codec processor according to the present invention;
13 is a flowchart of a monitoring function of the CCTV camera system monitoring unit according to the present invention.

본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

또한, 본 명세서에서, "~ 상에 또는 ~ 상부에" 라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상 측에 위치하는 것을 의미하는 것은 아니다. 또한, 영역, 판 등의 부분이 다른 부분 "상에 또는 상부에" 있다고 할 때, 이는 다른 부분 "바로 상에 또는 상부에" 접촉하여 있거나 간격을 두고 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다.Also, in the present specification, the term " above or above "means to be located above or below the object portion, and does not necessarily mean that the object is located on the upper side with respect to the gravitational direction. It will also be understood that when a section of an area, plate, or the like is referred to as being "above or above another section ", this applies not only to the case where the other section is " And the like.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.Also, in this specification, when an element is referred to as being "connected" or "connected" with another element, the element may be directly connected or directly connected to the other element, It should be understood that, unless an opposite description is present, it may be connected or connected via another element in the middle.

또한, 본 명세서에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Also, in this specification, the terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.Hereinafter, preferred embodiments, advantages and features of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 초저조도용 CCTV 카메라 시스템의 블럭 구성도이다. 도 1을 참조하면, 본 발명에 따른 저조도용 CCTV 카메라 시스템은 렌즈(10), 이미지 센서(20), 이미지 시그널 프로세서(Image Signal Procesor; 이하 "ISP"와 병기함)(30), 조도센서(13), OLPF(Optical Low Pass Filter) 필터(60), 필터 제어기 (65) 및 코덱 프로세서(Codec Procesor)(40)를 포함하고, 바람직하게는 적외선(IR) 광원(15)과 관제부(70)를 더 포함할 수 있다.1 is a block diagram of a CCTV camera system for ultra-low illumination according to the present invention. 1, the CCTV camera system for low illumination according to the present invention includes a lens 10, an image sensor 20, an image signal processor (hereinafter referred to as an "ISP") 30, an illuminance sensor 13, an optical low pass filter (OLPF) 60, a filter controller 65 and a codec processor 40, and preferably includes an infrared (IR) light source 15 and a control unit 70 ).

본 발명의 렌즈(10)는 OLPF(Optical Low Pass Filter) 필터(60) 전방의 광 경로 상에 구비되어 이미지 센서(20)로 입사되는 외부광을 집광하기 위한 광학계로서, 통상 좋은 성능의 렌즈가 사용하는 것이 바람직하나, F2.0 이상의 일반적인 렌즈(Fixed type or Varifocal type)를 적용할 수도 있다.The lens 10 of the present invention is an optical system provided on the optical path in front of an OLPF (Optical Low Pass Filter) 60 for condensing external light incident on the image sensor 20, But it is also possible to apply a general lens of F2.0 or more (Fixed type or Varifocal type).

본 발명의 이미지 센서(20)는 영상 신호를 검출하기 위한 구성으로서, 1440×1024 해상도를 갖는 1.5M 픽셀 이상의 고해상도를 갖는 것을 사용할 수 있으며, 그 이상의 고해상도일수록 더 좋은 효과를 얻을 수 있다.The image sensor 20 of the present invention may have a resolution of 1.5 M pixels or more having a resolution of 1440 x 1024, and a higher resolution may provide a better effect.

그러나, 480 또는 600 TV 라인(line)을 재현하는 270K 또는 410K 픽셀 이상의 컬러도 무난하다. 그리고, 더 선명한 촬영을 위해 1027 X 768 , 1280 X 960, 1920 X 1080 등의 고해상도를 갖는 HD급의 카메라를 채용할 수도 있다. 한편, 이미지 센서(20)는 최소 800mV 이상의 감도를 유지하도록 구성된다.However, a color of 270K or 410K pixels, which reproduces 480 or 600 TV lines, is also acceptable. In addition, HD cameras having high resolutions such as 1027 X 768, 1280 X 960, and 1920 X 1080 may be employed for a clearer picture. On the other hand, the image sensor 20 is configured to maintain a sensitivity of at least 800 mV or more.

아울러 상기 이미지 센서(20)를 통하여 촬영된 신호는 이미지 시그널 프로세서(30)에 전송된다. 그리고 이미지 시그널 프로세서(30)에서 컬러 노이즈(Color Noise)를 발생할 수 있는 조도에서는 컬러 억제를 통해 컬러 노이즈를 적절하게 제거하게 된다.The signal photographed through the image sensor 20 is transmitted to the image signal processor 30. In addition, the color signal can be appropriately removed from the image signal processor 30 through color suppression in the case of an illuminance which may cause color noise.

본 발명의 이미지 시그널 프로세서(30)는 이미지 센서(20)에서 출력된 저 조도에서 촬영된 영상 신호를 정해진 알고리즘을 통하여, 잔상과 끌림이 발생하지 않고 컬러 식별이 가능한 영상 신호를 만들기 위한 영상처리 알고리즘을 수행한다.The image signal processor 30 according to the present invention performs image processing on an image signal photographed at a low illuminance output from the image sensor 20 through a predetermined algorithm so as to generate a video signal capable of color identification without occurrence of afterimage and dragging .

이미지 시그널 프로세는 이에 구비된 디지털 슬로우 셔터 제어기(Dgital Slow Shutter)(31), 디지털 노이즈 감쇠기(Digital Noise Reducter)(32), 감마(Gamma) 제어기(33), 자동 게인 제어기(Auto Gain Control; AGC)(34) 및 컬러 제어기(35) 등을 통해 상기 영상처리 알고리즘을 수행하도록 구성된다.The image signal processor includes a digital slow shutter controller 31, a digital noise reducer 32, a gamma controller 33, an auto gain controller (AGC) ) 34, a color controller 35, and the like.

구체적으로, 이미지 시그널 프로세서(30)는 저조도 판별 단계(S20)와, 상기 판별 결과 저조도 상태일 경우 밝기를 보정하는 밝기 보정 단계(S30)와, 상기 밝기가 보정된 영상에 대하여 정해진 알고리즘에 따르는 처리를 수행하여 두 개 종류의 영상을 출력하는 영상 처리 및 출력 단계(S40~S56)를 수행하도록 구성되는 것을 특징으로 한다.Specifically, the image signal processor 30 includes a low-illuminance determination step S20, a brightness correction step S30 for correcting brightness in a low-illuminated state as a result of the discrimination, a processing according to a predetermined algorithm for the brightness- And performing image processing and outputting steps (S40 to S56) for outputting two types of images.

도 2는 본 발명에 따른 ISP의 영상 처리 순서도이다. 도 2를 참조하면, 본 발명의 저조도용 CCTV 카메라 시스템은 CCTV 카메라가 작동되기 시작하면, 렌즈(10)와 이미지 센서(20)를 통하여 들어온 영상신호를 근거로 ISP(30)에서 미리 정해진 알고리즘을 수행하게 된다.2 is an image processing flowchart of an ISP according to the present invention. 2, when the CCTV camera starts to operate, the low-illumination CCTV camera system of the present invention generates a predetermined algorithm in the ISP 30 based on the video signal input through the lens 10 and the image sensor 20 .

본 발명의 저조도 판별 단계(S20)는 이미지 센서(20)를 통하여 전달받은 영상 (S10)이 저조도 상태인지를 판별하는 단계이다. 이미지 시그널 프로세서(30)는 이미지 센서(20)를 통하여 전달받은 영상신호가 저조도 상태인지를 판단하여 만약, 저조도로 판별되면 밝기 보정 단계(S30)를 수행한다. 여기서, 단계 'S20'의 저조도란 0.1 Lux 이하일 수 있고, 바람직하게는 0.05 ~ 0.08 Lux 이하로 설정할 수 있다.The low-illuminance determination step S20 of the present invention is a step of determining whether the image S10 transmitted through the image sensor 20 is in a low-illuminated state. The image signal processor 30 determines whether the image signal received through the image sensor 20 is in a low-illuminance state. If it is determined that the image signal is low-illuminated, the brightness signal is corrected in step S30. Here, the low illuminance in step 'S20' may be 0.1 Lux or less, preferably 0.05 to 0.08 Lux or less.

바람직한 실시예에 따르면, 저 조도의 판별은 별도의 영상에 반영되는 이미지 센서(20)의 게인 값에 의해 판단하고, 혹은 가시광선 센서에 의해서도 판단하게 되며, 도 4에 도시된 디지털 슬로우 셔터 제어기(31)에서 실시하는 노출 제어방법을 도시한 그래프와 같이 카메라의 노출을 제어하는 단계가 Shutter -> Iris -> Gain으로 진행할 경우, Gain 단계로 진입하게 되면 저조도라 판단하게 된다.According to the preferred embodiment, the determination of the low illuminance is determined by the gain value of the image sensor 20 reflected on the separate image or by the visible light sensor, and the digital slow shutter controller 31), when the step of controlling the exposure of the camera proceeds to Shutter -> Iris -> Gain, it is judged that the camera enters the gain stage when it goes to the step of Shutter -> Iris -> Gain.

도 9는 상기 ISP(30)에서 노광시간을 제어(최소 게인 x1 대비 x8이 최대 게인으로 설정되어 있을 경우)하는 형태를 보인 그래프로서, 장 노출(Long Exposure) 구간에서는 밝기가 어두워지거나 밝아질 경우에 따라서 최대 게인인 x8의 노광시간까지 자동으로 제어하는데, 이때 이미지 센서(20)의 노광시간은 푸른색의 커브 구간을 따라 움직이게 된다.FIG. 9 is a graph showing a state in which the ISP 30 controls the exposure time (when x8 is set to the maximum gain relative to the minimum gain x1). When the brightness becomes dark or bright in the long exposure period The exposure time of the image sensor 20 is moved along the curve section of the blue color.

한편, 단계 'S20'의 판별 결과, 입력 영상의 상태가 저조도가 아닌 것으로 판단되면, 본 발명의 영상처리 알고리즘을 종료하고 일반 모드를 수행(S25)하여 획득된 영상을 관제부(70)로 전송한다. 여기서 상기 '일반 모드'란 종래 CCTV 카메라가 피사체를 촬상 및 처리하는 통상의 방식을 의미하며, 이는 널리 공지 및 기사용되고 있는 것인 바 상세한 설명은 생략하도록 한다.If it is determined that the state of the input image is not low, the image processing algorithm of the present invention is terminated and the normal mode is performed (S25), and the acquired image is transmitted to the control unit 70 do. Here, the 'normal mode' means a conventional method in which a conventional CCTV camera captures and processes a subject, which is widely known and used, and thus a detailed description thereof will be omitted.

본 발명의 밝기 보정 단계는 이미지 센서(20)로부터 전달받은 영상의 밝기를 보정하는 단계로서, 상기 밝기 보정은 톤 맵핑(Tone Mapping)을 통해 해당 영상의 밝기를 증대시키도록 구성된다.The brightness correction step of the present invention is a step of correcting the brightness of an image received from the image sensor 20, and the brightness correction is configured to increase the brightness of the corresponding image through tone mapping.

바람직한 실시에에 따르면, 밝기 보정 단계는 다음의 수학식 1의 비선형 함수를 적용하여 저조도 영상의 어두운 영역의 대비를 개선하고 선형 변환을 통해 밝은 영역의 보존 밝기를 최대 밝기로 변환하도록 구성된다.According to a preferred embodiment, the brightness correction step is configured to improve the contrast of the dark region of the low-illuminance image by applying the nonlinear function of Equation 1 and convert the brightness of the bright region into the maximum brightness through linear conversion.

여기서, x,y : 각각 위치의 픽셀값, I(x,y) : 입력 영상 픽셀값,Here, x and y: pixel values at positions, I (x, y): input image pixel values,

O(x,y) : 출력 영상 픽셀값, T₁ : 입력된 비선형 함수 적용 기준값O (x, y): output image pixel value, T ₁ : Input nonlinear function applied reference value

상기의 수학식 1을 적용할 경우, 밝기 보정 단계는 입력 밝기가 [0,T₁]인 어두운 픽셀에는 'r'을 인자로 갖는 비선형 함수를 적용하여 [0,T₂]의 밝기로 변환하고, 'T₁ '이상의 밝기를 갖는 픽셀은 밝기 'T₂' 부터 최대치인 'Max'까지 선형 변환하도록 구성된다.When the above Equation 1 is applied, the brightness correction step converts a brightness value of [0, T ₁ ] to a brightness of [0, T ₂ ] by applying a non-linear function having a factor of 'r' , And a pixel having brightness of 'T ₁ ' or higher is configured to be linearly converted from brightness 'T ₂ ' to a maximum value 'Max'.

본 발명의 영상 처리 및 출력 단계는 단계 'S30'를 통해 밝기가 보정된 영상(이하, '보정 영상'이라 칭함)에 대하여 제1 처리(S40~S45)를 수행하여 제1 영상을 출력하고, 또한 상기 보정 영상에 대하여 제1 처리와 구분되는 제2 처리(S50~S56)를 별도로 수행하여 제2 영상을 출력하는 단계이다.The image processing and output step of the present invention performs the first processing (S40 to S45) on the image whose brightness has been corrected through the step 'S30' (hereinafter referred to as a 'corrected image') to output the first image, And performing a second process (S50 to S56) separately from the first process on the corrected image to output the second image.

이하에서는, 상기 제1 처리와 제2 처리에 대하여 각각 상세히 설명하도록 한다. 먼저, 영상 처리 및 출력 단계의 제1 처리는 세부적으로 이미지 센서(20)의 노광시간을 조정하는 제1a 처리(S41)와, 저조도 컬러 조정을 위한 제1b 처리(S42)와, 저조도 노이즈 감쇠를 위한 제1c 처리(S43) 및 저조도 영상 출력 감마 조정을 위한 제1d 처리(S44)를 포함하고, 바람직하게는 게인(Gain)을 제어하는 게인 제어 처리(S40)를 더 포함할 수 있다. 한편, 상기 제1a 내지 제1d 처리는 순서와 상관없이 수행되어도 무방하고, 상기 게인 제어 처리(S40)는 제1a 처리(S41) 이전에 수행되는 것이 바람직하다.Hereinafter, the first process and the second process will be described in detail. First, the first process of the image processing and output step is executed by the first process S41 for adjusting the exposure time of the image sensor 20 in detail, the first process S42 for low-illuminance color adjustment, and the low- And a gain control process (S40) for controlling the gain, preferably including a first c process (S43) for adjusting the gamma of the low-illuminance image and a first d process (S44) for adjusting the gamma of the low-illuminance image. Meanwhile, the first to (d) -th processes may be performed irrespective of the order, and the gain control process (S40) is preferably performed before the first process (S41).

(1) 제1a 처리(S41)(1) Process 1a processing (S41)

영상 처리 및 출력 단계의 제1a 처리(S41)는 이미지 시그널 프로세서(30)의 디지털 슬로우 셔터 제어기(Dgital Slow Shutter)(31)를 통해 수행된다.The first processing (S41) of the image processing and outputting steps is performed through the digital slow shutter controller (31) of the image signal processor (30).

디지털 슬로우 셔터 제어기(31)는 피사체를 느낌있게 찍을 수 있도록 노광시간을 조절하는 기능을 수행하는 것으로, 저조도 모드에서 끌림이 발생하지 않기 위해서는 출력되는 프레임 수를 초당 복수 개의 프레임(바람직하게는, 7 프레임 이상)이 되도록 동작하는 것이 바람직하다. 여기서, 상기 저조도 모드는 0.1 Lux 이하일 수 있고, 바람직하게는 0.05 ~ 0.08 Lux 이하를 의미한다.The digital slow shutter controller 31 functions to adjust the exposure time so that the subject can be photographed in a sensible manner. In order to prevent the occurrence of the drag in the low-illuminance mode, the digital slow shutter controller 31 sets the number of output frames to a plurality of frames Frame or more). Here, the low-illuminance mode may be 0.1 Lux or less, preferably 0.05 to 0.08 Lux or less.

도 4는 ISP 내 디지털 슬로우 셔터 제어기에서 실시하는 노출 제어 방법을 도시한 그래프로서, 디지털 슬로우 셔터 제어기(31) 내의 마이컴(도시 생략함)의 제어를 받아 디지털 슬로우 셔터 제어기(31)에서 휘도성분(Y) 즉, 현재의 밝기를 나타내는 값을 기준으로 전체 노출을 제어하는 것을 도시한 것이다.FIG. 4 is a graph showing an exposure control method performed by the digital slow shutter controller in the ISP. In the digital slow shutter controller 31, under control of a microcomputer (not shown) in the digital slow shutter controller 31, Y), i.e., controlling the entire exposure based on a value representing the current brightness.

본 발명에서의 주된 내용은 도 4의 그레이 영역 즉, Low Light영역에서의 컬러 재현성에 대한 내용을 주안점을 두었으며, 카메라가 전체 노출제어를 어떻게 수행하는가를 나타내고 있다.The main contents of the present invention focuses on the color reproducibility in the gray area, that is, the low light area of FIG. 4, and shows how the camera performs the entire exposure control.

완전히 어두운 상태에서 밝아지는 경우에는 Slow Shutter -> Gain -> Iris(조리개) -> Shutter의 단계로 제어하게 되며, 밝은 상태에서 어두워지는 Low Light 단계로 접어들 경우에는 Shutter -> Iris -> Gain -> Slow Shutter의 순으로 제어가 되는데, 이때 밝고 어둡고의 관계는 휘도성분(Y)를 기준으로 판단하게 되며 저조도(Low Light)의 정도는 게인(Gain)이 인가되는 단계부터 시작된다고 보면 된다.If it is brightened in a completely dark state, it will be controlled by Slow Shutter -> Gain -> Iris -> Shutter. In case of going from low to light level, Shutter -> Iris -> Gain - > Slow Shutter. In this case, the relationship between bright and dark is determined based on the luminance component (Y), and the degree of low light is considered to be started from the stage where the gain is applied.

예를 들어, 센서(20) 입장에서 설명하면 Long Exposuer Time을 의미하며, 720p/60 기준에서 셔터 값이 1/60일 경우 4 frame 축척된 Long Exposuer Time은 16.67ms(1/60) * 4 = 66.68ms(약 15fps)로 노출시간을 늘린다는 것을 의미하게 된다.For example, in the case of sensor 20, Long Exposure Time is used. When the shutter value is 1/60 at 720p / 60, 4 frames long Exposure Time is 16.67ms (1/60) * 4 = Which means that the exposure time is increased to 66.68 ms (about 15 fps).

(2) 제1b 처리(S42)(2) Process 1b (S42)

영상 처리 및 출력 단계의 제1b 처리(S42)는 저조도 컬러 조정을 위한 영상 처리로서 이는 컬러 제어기(35)를 통해 수행되며, 컬러 제어기(35)는 이미지 센서(20)로부터 현재 세팅된 현재센서게인을 입력받은 후, 상기 현재센서게인의 범위를 판별하여 컬러억제게인을 출력하도록 구성된다.The first processing (S42) of the image processing and output step is image processing for low light color adjustment, which is performed through the color controller 35, and the color controller 35 controls the current sensor gain currently set from the image sensor 20 And outputs the color suppression gain by discriminating the range of the current sensor gain.

도 3은 도 2 중 저 조도 컬러 조정 서브루틴을 설명하기 위한 플로우 챠트이다. 일반적으로, 저 조도시 컬러 노이즈의 발생을 억제하기 위해서는 각각의 컬러에 대한 억제를 가하게 되며, 이때 영상에 반영되는 게인 값에 의해 조도를 판단하고, 컬러를 억제시키는 정도를 영상 변화에 따라 선형 보간하도록 방법을 채택하고 있다.3 is a flow chart for explaining the low illuminance color adjustment subroutine of FIG. Generally, in order to suppress the generation of color noise during low illumination, suppression is applied to each color. At this time, the illuminance is determined by the gain value reflected on the image, and the degree of suppression of color is determined by linear interpolation Has adopted.

저 조도 구간에서 컬러의 표현력을 높이기 위해서는 컬러 노이즈 대비 컬러 억제를 조절해야 하는데, 컬러 노이즈는 줄이고 컬러의 표현력을 최대한 살리기 위해 도 10에 도시한 본 발명 중 컬러 억제 구간의 그래프와 같이 저조도 게인의 범위를 총 4단계로 분리하고, 각 영역을 도 11의 (a)~(d)와 같이 각 컬러에 대해 억제를 하게 된다. 편의상 (a) 단계를 일반 조도 모드, (b) 단계를 저 조도 진입 모드, (c) 단계를 저 조도 지속 모드, 및 (d) 단계를 최저조도 모드라 칭하기로 한다.In order to increase the expression power of color in the low illuminance section, it is necessary to adjust the color suppression with respect to color noise. In order to reduce the color noise and maximize the expressive power of the color, Are separated into four steps, and the respective regions are suppressed for each color as shown in Figs. 11 (a) to 11 (d). For convenience, step (a) is referred to as a general illumination mode, step (b) as a low illumination entry mode, step (c) as a low illumination duration mode, and step (d) as a minimum illumination mode.

이와 같이 각 단계로 분리 적용한 이유는, 게인의 정도에 따라 노이즈의 크기가 달라지기 때문에 각 단계에서 컬러 억제 정도도 변해야 하고, 그래야 컬러 노이즈 대비 컬러의 재현성을 조절할 수 있기 때문이다.The reason for separating each step in this manner is that the degree of color suppression at each step must be changed because the size of the noise varies depending on the degree of gain, so that the reproducibility of color can be controlled compared to the color noise.

도 11은 본 발명 중 ISP에서 컬러를 억제할 때 각 영역을 도시한 그래프로써, 이와 같이 컬러억제 게인의 조정으로 각 조도에 맞게 튜닝되어 사용된다.FIG. 11 is a graph showing each region when suppressing color in the ISP according to the present invention, and is tuned for each illuminance by adjusting the color suppression gain as described above.

즉, 종래에는 고정된 게인 값을 적용함으로써 컬러억제를 노이즈 대비 컬러 표현력을 균등하게 유지시키지 못하였으나, 본 발명에서는 컬러 제어기(35)를 통해 노이즈 대비 컬러 표현력을 균등하게 유지할 수 있으며, 컬러 노이즈를 줄일 수 있는 선형보간법을 사용하였다.In other words, conventionally, by applying the fixed gain value, the color suppression can not maintain the color expressive power evenly with respect to the noise. However, in the present invention, the color expressive power relative to the noise can be uniformly maintained through the color controller 35, Linear interpolation method was used.

도 11 (a)는 일반 조도 모드로 판단하여 컬러 노이즈가 많이 포함되지 않으므로 최대의 컬러억제게인을 사용하여 컬러를 표현하도록 하는 영역이며, 수학식 2의 식 1에 의해 제어된다. 도 11의 (b)영역은 (a) 환경에서 저조도로 진입되는 저조도 진입 모드로 판단하여 컬러억제게인을 낮추어 컬러 표현력은 저해하지 않으며, 컬러 노이즈는 강하게 억제 되도록 수학식 2의 식 2을 따라 제어된다. 도 11의 (c)영역은 저조도로 진입되었으며 컬러 노이즈가 증대되는 저조도 지속 모드로 판별하고 컬러억제게인은 수학식 2의 식 3에 의해 제어되도록 한다. 도 11의 (d)영역은 최저조도 모드로 판별되는 영역이며 수학식 2의 식 4에 의해 제어된다. 수학식 1에 대한 컬러 조정은 ISP(30) 내의 컬러 제어기(35)에 의해 수행된다. 컬러 제어기(35)는 이미지 센서(20)로부터 현재센서게인을 입력받은 후, 해당 현재센서게인의 범위를 판별하고 이에 적합한 컬러억제게인을 조절하는 기능을 수행한다.11 (a) shows a color using a maximum color suppression gain because it is judged as a general illumination mode and does not include much color noise, and is controlled by Equation 1 in Equation (2). The area (b) of FIG. 11 is controlled in accordance with the expression (2) of Equation (2) so as to suppress the color suppression gain by suppressing the color suppression gain by judging the low- do. The region (c) of FIG. 11 is discriminated as a low-illuminance continuous mode in which the low-luminance region is increased and the color noise is increased, and the color suppression gain is controlled by Expression 3 in Equation (2). The region (d) in FIG. 11 is an area determined as the lowest illuminance mode and is controlled by Equation 4 in Equation (2). The color adjustment for Equation (1) is performed by the color controller (35) in the ISP (30). After receiving the current sensor gain from the image sensor 20, the color controller 35 determines the range of the current sensor gain and adjusts the appropriate color suppression gain.

여기서, a₀, a₁, a₂ : 컬러억제게인 상수 (단, a₀＞ a₁＞ a₂)Here, a ₀ , a ₁ , a ₂ : a color suppression gain constant (where a ₀ > a ₁ > a ₂ )

s_min : 최소센서게인, s_mid : 중간센서게인, s_max : 최대센서게인s _min : minimum sensor gain, s _mid : intermediate sensor gain, s _max : maximum sensor gain

s_cur : 현재센서게인, y : 컬러억제게인
s _cur : current sensor gain, y: color suppression gain

이와 같이 ISP(30)에서 컬러 억제를 하게 되면 컬러가 빠지게 되며, 이때에는 저 조도시의 컬러 억제 게인을 튜닝함으로써 컬러 표현이 원활하게 된다. 참고로 설명드리면 컬러억제게인은 큰 값을 가질수록 컬러가 빠짐이 없이 처리되며, 작은 값을 가질수록 흑백과 가까운 영상으로 처리된다.As described above, when the ISP 30 performs color suppression, the color disappears. At this time, the color reproduction is smooth by tuning the color suppression gain of the low-level city. For reference, the color suppression gain is processed without leaving the color with a large value, and the image with a small value is processed with a color close to black and white.

저 조도 컬러 조정에 대한 원리를 도 3과 상기한 도 10 및 도 11의 (a)~(d)를 참조하여 설명하면 다음과 같다.The principle of low illumination color adjustment will be described with reference to FIG. 3 and FIGS. 10 and 11 (a) to 11 (d).

먼저, 상기 ISP(30)에서 센서의 노광시간 조정 후 컬러 조정하는 단계가 시작되면, 현재 이미지 센서 게인 값(Scur)이 정해진 최소센서게인(Smin)값 보다 작거나 같은지(S41), 아니면 최소센서게인(Smin)값 보다는 크고 정해진 중간센서게인(Smid) 보다 작거나 같은지(S45), 또는 중간센서게인(Smid) 보다는 크고 정해진 최대센서게인(Smax) 보다 작거나 같은지(S49), 또는 정해진 최대센서게인(Smax) 보다 큰지(S53)를 순차적으로 판단하게 된다.First, when the ISP 30 adjusts the exposure time of the sensor and starts color adjustment, the current image sensor gain value Scur is smaller than or equal to the predetermined minimum sensor gain value S41 (S41) (S49), which is larger than the gain (Smin) value and smaller than or equal to the predetermined intermediate sensor gain (Smid) (S45) or smaller than or equal to the predetermined maximum sensor gain (Smax) And whether it is larger than the gain Smax (S53).

상기와 같이 ISP(30)에서 AGC에서 조정된 현재 이미지센서의 게인 값(Scur)의 크기를 판단한 결과, 정해진 최소센서게인(Smin) 보다 작거나 같으면(S41에서 Yes), 일반 조도 모드로 판별하고 컬러억제게인 상수를 최대로 유지시켜 주게 된다(S43). 즉, 조도를 인지하는 현재 게인 값(Scur)이 최소센서게인(Smin)값보다 작거나 같으면 컬러 보정을 하지 않고 최대 컬러억제게인을 유지하게 된다.If the ISP 30 determines the size of the gain value Scur of the current image sensor adjusted by the AGC to be less than or equal to the predetermined minimum sensor gain Smin (Yes in S41), the ISP 30 determines the general illumination mode The color suppression gain constant is maintained at the maximum (S43). That is, if the current gain value Scur recognizing the illuminance is less than or equal to the minimum sensor gain Smin, the maximum color suppression gain is maintained without color correction.

현재 게인 값(Scur)이 정해진 최소센서게인(Smin)보다는 크고(S41에서 No), 중간센서게인(Smid) 보다 작거나 같으면(S45에서 Yes), 조도센서의 출력값이 최저저항값(R_LOW)보다 큰지 여부를 판단한다(S46). 조도센서는 일반적으로 CdS 센서라고도 불리는 것으로서 어두울수록 높은 저항값을 출력한다. S46 단계를 추가하여 조도센서의 출력값을 한 번 더 판별하는 이유는 이미지 센서(20)가 촬영하는 대상이 검은 색 커튼과 같은 검은 색상의 물체일 경우에는 저조도 진입 단계가 아님에도 불구하고 저조도 진입 단계라고 판별되는 오류를 제거하기 위함이다. S46 단계의 판별 결과 조도센서의 출력값이 최저 저항값(Rmin)보다 클 경우에는 저조도 진입 모드로 처리하고(S47), 그렇지 않을 경우에는 일반 조도 모드로 처리하게 된다. 저조도 진입 모드에서는 저 조도 컬러억제게인을 영상의 변화에 따라 수학식 2의 식 2에 따라 선형 보간해 주게 된다(S47). 즉, 현재 게인 값(Scur)이 최소센서게인(Smin)값보다는 크고 중간센서게인(Smid)보다 작거나 같으면(도 11의 (b)참조), 현재 조도에 맞는 컬러억제게인상수를 적용하되, 조도 저하에 컬러 신호를 보정하기 위한 선형 보간은 도 10의 (b)에 도시한 바와 같이 해당 영역의 조도 변화에 따라 컬러 게인의 값을 보간하여 적용하게 된다.If the current gain value Scur is larger than the predetermined minimum sensor gain Smin (No in S41) and smaller than or equal to the intermediate sensor gain Smid (Yes in S45), the output value of the illuminance sensor is smaller than the minimum resistance value R_LOW (S46). The illuminance sensor is generally called a CdS sensor, and outputs a higher resistance value as it is darker. The reason why the output value of the illuminance sensor is discriminated once more by adding the step S46 is that when the object to be photographed by the image sensor 20 is a black color object such as a black curtain, To eliminate the error identified as " If it is determined in step S46 that the output value of the illuminance sensor is greater than the minimum resistance value Rmin, the low light intensity entry mode is performed (S47). Otherwise, the light intensity mode is processed in the general illumination mode. In the low-illuminance entry mode, the low-illuminance color suppression gain is linearly interpolated according to Equation 2 in Equation 2 according to the change of the image (S47). That is, if the present gain value Scur is larger than the minimum sensor gain Smin and smaller than or equal to the intermediate sensor gain Smid (see FIG. 11 (b)), As shown in FIG. 10 (b), the linear interpolation for correcting the color signal due to the degradation of the luminance is performed by interpolating the value of the color gain in accordance with the variation of the illuminance of the area.

또한, 현재 게인 값(Scur)의 크기를 판단한 결과 중간센서게인(Smid)보다는 크고(S45에서 No), 최대센서게인(Smax) 이하일 경우(S49에서 Yes), 저조도 지속 모드 처리 단계로 인식하고, 저 조도 컬러 게인을 영상의 변화에 따라 도 10의 (c) 및 수학식 2의 식3)에 따라 선형 보간해 주게 된다(S51). 즉, 현재 게인 값(Scur)이 중간센서게인(Smid)값보다는 크고 최대센서게인(Smax) 보다 작거나 같으면(도 11의 (c)참조), 컬러 노이즈의 증가분을 억제하기 위해, 컬러억제게인에 대한 선형 보간을 도 10의 (c)에 도시한 바와 같이 해당 영역의 조도 변화에 따라 컬러 게인의 값을 보간하여 적용하게 된다.If the magnitude of the current gain value is greater than the intermediate sensor gain Smid (No in S45) and the maximum sensor gain Smax is less than the maximum sensor gain Smax (Yes in S49) The low luminance color gain is linearly interpolated according to the change of the image according to the equation (3) of FIG. 10 (c) and the equation (2) (S51). That is, if the current gain value Scur is larger than the intermediate sensor gain Smid and smaller than or equal to the maximum sensor gain Smax (see FIG. 11 (c)), As shown in FIG. 10 (c), the value of the color gain is interpolated and applied according to the variation of the illuminance of the corresponding region.

ISP(30)에서 현재 게인 값(Scur)의 크기를 판단한 결과, 최대센서게인(Smax) 보다도 크면(도 10의 (d) 참조, S53에서 Yes), 조도센서의 저항값이 최대 저항값보다 큰지 여부를 판단한다(S55). S55 단계를 추가한 이유는 전술한 바와 같이 검정 색 물체를 촬영한 경우에는 촬영 당시의 조도보다 AGC의 센서값이 더 높은 값(더 어두운 상태로 인식하는 경우)을 나타내는 경우를 제거하기 위함이다. S55 단계의 판별결과가 참일 경우 수학식 2의 식4)에 따라 최저조도 모드로 처리하게 된다(S57). S55 단계의 판별결과가 거짓일 경우는 저조도 지속 모드로 처리하게 된다(S51). 즉, 현재 게인 값(Scur)이 최대센서게인(Smax)보다 크고, 조도센서의 출력값이 최대 저항값(Rmax)보다 크면, 완전히 어두운 상태로 간주하여 최저조도 모드로 판별하고 IR 조명을 켜고 컬러억제게인을 최소값으로 유지하여 흑백으로 촬영되도록 한다. 각 모드저 조도 컬러 조정에 대한 알고리즘 수행을 종료한다(S49).If the ISP 30 determines that the current value of the gain value Scur is greater than the maximum sensor gain Smax (see (d) in FIG. 10, Yes in S53), the resistance value of the illuminance sensor is greater than the maximum resistance value (S55). The reason why the step S55 is added is to eliminate the case where the sensor value of the AGC indicates a higher value (in the case of recognizing a darker state) than the illuminance at the time of photographing when a black color object is photographed as described above. When the determination result of step S55 is true, the minimum illumination mode is performed according to the equation (4) of the equation (2) (S57). If the result of the determination in step S55 is false, the low-luminance continuous mode is processed (S51). That is, if the present gain value Scur is greater than the maximum sensor gain Smax and the output value of the illuminance sensor is greater than the maximum resistance value Rmax, it is regarded as a completely dark state, The gain is kept at the minimum value so as to be photographed in black and white. The algorithm execution for each mode reduction low color adjustment is terminated (S49).

다시 말해서, ISP(30)에서 수행하는 컬러 조정 방법은, AGC에서 설정된 현재의 이미지 센서 게인 값이 정해진 최소센서게인(Smin, 예를 들어 Approx. 1[dB])값보다 작거나 같으면 컬러 보정을 하지 않고 최대 컬러억제게인을 사용하여 AGC의 컬러 게인을 거의 원래의 값으로 유지시켜 준다.In other words, the color adjustment method performed by the ISP 30 is such that if the current image sensor gain value set in the AGC is smaller than or equal to the predetermined minimum sensor gain (Smin, for example, Approx.1 [dB]), And the maximum color suppression gain is used to maintain the AGC color gain at almost the original value.

그러나, 좀더 어두운 상태로 조도가 변화할 경우(저조도 진입 모드), 즉 AGC에서 설정된 현재의 이미지 센서 게인 값이 최소센서게인(Smin)보다 크고 정해진 중간센서게인(Smid, 예를 들어 Approx. 35.1[dB])값보다 작거나 같은 경우에는 현재 조도에 맞는 컬러 게인 적용하되, 조도의 저하에 컬러 신호를 보정하기 위하여 선형 보간한다.However, when the illuminance changes in a darker state (low light entering mode), that is, when the current image sensor gain value set in the AGC is larger than the minimum sensor gain Smin and the predetermined intermediate sensor gain Smid (for example, Approx. 35.1 [ dB]), the color gain corresponding to the current illuminance is applied, but the linear interpolation is performed to correct the color signal to the degradation of the illuminance.

또한, 그보다 더 어두운 조도로 판단될 경우, 즉 AGC에서 설정된 현재의 이미지 센서 게인 값이 중간센서게인(Smdi)보다 크고 최대센서게인(Smax, 예를 들어 Approx. 35.1[dB])값보다 작거나 같은 경우에는, 컬러 노이즈의 증가분을 억제하기 위해 컬러 게인에 대한 선형 보간을 실행하고, 현재 이미지 센서 게인 값이 최대센서게인(Smax)보다 큰 경우에는 조도는 완전히 어두운 상태로 간주하여 컬러억제게인을 최소값을 유지하는 것이다.If the current image sensor gain value set in the AGC is larger than the intermediate sensor gain Smdi and smaller than the maximum sensor gain Smax (for example, Approx. 35.1 [dB]), In the same case, linear interpolation is performed on the color gain to suppress the increase of the color noise. If the current image sensor gain value is larger than the maximum sensor gain (Smax), the illumination is regarded as a completely dark state, It is to keep the minimum value.

한편, 상기에서 표현된 최소센서게인(Smin), 중간센서게인(Smid), 최대센서게인(Smax)의 기준은 표 1과 같다.The criteria of the minimum sensor gain (Smin), the intermediate sensor gain (Smid), and the maximum sensor gain (Smax) described above are shown in Table 1.

센서게인 구분Sensor gain classification Image Sensor Gain[dB]
Analog gain + Digital GainImage Sensor Gain [dB]
Analog gain + Digital gain 최소센서게인(Smin)Minimum sensor gain (Smin) Approx. 1 [dB]Approx. 1 [dB] 중간센서게인(Smid)Medium Sensor Gain (Smid) Approx. 35.1 [dB]Approx. 35.1 [dB] 최대센서게인(Smax)Maximum sensor gain (Smax) Approx. 35.1 [dB] 초과Approx. 35.1 [dB]

(3) 제1c 처리(S43)(3) First c processing (S43)

영상 처리 및 출력 단계의 제1c 처리(S43)는 저조도 노이즈 감쇠를 위한 처리로서, 영상에 잔상이 남지 않도록 디지털신호 처리 잡음을 감소시키도록 구성되고, 이는 이미지 시그널 프로세서(30)의 디지털 노이즈 감쇠기(Digital Noise Reducter)(32)를 통해 수행된다.The first c processing (S43) of the image processing and output step is a processing for attenuating low-luminance noise, and is configured to reduce the digital signal processing noise so that no afterimage is left on the image. This is because the digital noise attenuator (Digital Noise Reduction).

구체적으로, 디지털 노이즈 감쇠기(32)는 2D-NR(321)과 3D-NR(322)을 구비하고 디지털신호 처리로 잡음을 억압하여 저 조도 모드에서 잔상이 남지 않는 범위를 설정하고, 노이즈의 감쇠 정도를 결정하는 기능을 수행한다.Specifically, the digital noise attenuator 32 includes a 2D-NR 321 and a 3D-NR 322, suppresses noise by digital signal processing, sets a range in which no residual image remains in the low light mode, And performs the function of determining the degree of the difference.

이때, 2D-NR(321)은 상기 디지털 슬로우 셔터 제어기(31)를 통해 순차적으로 입력되는 복수의 영상 프레임 중 정해진 기준 프레임과 이전 프레임 2개를 상호 비교하여 그 편차에 대응하여 노이즈를 감쇠시켜 주는 기능을 하게 되는데, 이와 같은 2D-NR(321)에서 노이즈 감쇠를 크게 할 경우 노이즈 감쇠 정도에 비례하여 해상도가 나빠지는 역효과를 예방하기 위해 전체 노이즈 감쇠에 10% 정도를 담당하도록 하였다.At this time, the 2D-NR (321) compares a predetermined reference frame and two previous frames among a plurality of image frames sequentially input through the digital slow shutter controller 31 to attenuate noise corresponding to the deviation When the noise attenuation is increased in the 2D-NR (321), the total noise attenuation is about 10% in order to prevent the adverse effect of deteriorating the resolution in proportion to the degree of noise attenuation.

또, 3D-NR(322)은 상기 2D-NR(321)을 통해 1차적 노이즈가 감쇄된 상태에서 순차적으로 입력되는 영상 프레임들 중 3개의 프레임씩 상호 비교하고 그 편차에 대응하여 노이즈를 감쇠시켜 주는 기능을 수행하게 되는데, 이와 같은 3D-NR(322)에서는 노이즈 감쇠 정도를 크게 할 경우 영상의 끌림, 잔상 등의 역효과가 발생하지 않도록 전체 노이즈 감쇠에 70%를 담당하도록 하였다.In addition, the 3D-NR 322 compares three frames among the sequentially input image frames in a state where the primary noise is attenuated through the 2D-NR 321, and noise is attenuated corresponding to the deviation In the 3D-NR 322, when the degree of noise attenuation is increased, 70% of total noise attenuation is taken so as to prevent the adverse effects of image dragging and afterimage.

즉, 디지털 노이즈 감쇠기(32)는 저 조도 모드시 0.1 Lux이하 (바람직하게는 0.05~0.08 Lux)에서 잔상이 남지 않는 범위를 설정하며, 3D-NR(322)과 2D-NR(321) 두 가지를 모두 사용하여 노이즈를 감쇠하고 있으며, 주간/야간 구분하여 감도를 조정하도록 되어 있다.
That is, the digital noise attenuator 32 sets a range in which no afterimage remains at 0.1 lux or less (preferably 0.05 to 0.08 Lux) in the low-illuminance mode, and sets two ranges of the 3D-NR 322 and the 2D- Are used to attenuate the noise, and the sensitivity is adjusted by dividing the daytime / nighttime.

(4) 제1d 처리(S44)(4) First d processing (S44)

영상 처리 및 출력 단계의 제1d 처리(S44)는 영상의 출력 감마를 조정하는 처리로서, 이는 감마(Gamma) 제어기(33)를 통해 수행된다.The first d processing (S44) of the image processing and output step is a processing for adjusting the output gamma of the image, which is performed through the gamma controller 33. [

영상의 출력 감마의 조정은 영상의 대비도를 좋게 하기 위해서 일반적인 상황(밝은 상황에서는)에서는 도 7의 (a)와 같이 압축 감마를 사용하고, 저조도에서는 도 7의 (b)와 같이 고른 감마 패턴과 고휘도 영역을 고르게 표현할 수 있도록 하였다.Adjustment of the output gamma of the image uses compression gamma as shown in Fig. 7 (a) in a general situation (in a bright state) and gamma pattern as shown in Fig. 7 (b) And high brightness areas can be expressed evenly.

감마 제어기(33)는 주간에 LCD Mode를 유지하고, 저조도 감도를 증가시키기 위해 AGC Gain을 통해 야간을 인지하면 조건을 변경하는 기능을 수행한다. The gamma controller 33 maintains the LCD mode during the daytime and performs the function of changing the condition when recognizing the nighttime through the AGC gain in order to increase the low light sensitivity.

예를 들어, 야간을 인지하는 조건은 휘도와 게인 값을 동시에 적용하는 것으로, 일반 LCD 기준의 감마는 통상 1.0을 이야기하지만 튜닝하면서 변경된 0.55 감마를 적용하고, 카메라의 기본값을 기준으로 게인은 약 27.3dB 이상의 조건에서, 휘도가 약 4 Lux 이하일 경우 야간으로 간주하게 되며, 이때 감마값은 0.35 감마로 적용하게 된다.For example, the condition for recognizing the nighttime is to apply the luminance and gain values at the same time. The gamma of the standard LCD is usually 1.0, but the modified 0.55 gamma is applied while tuning, and the gain is about 27.3 If the luminance is less than or equal to about 4 Lux, it is regarded as nighttime. In this case, the gamma value is 0.35 gamma.

한편, 본 발명의 게인 제어 처리(S40)는 자동 게인 제어기(AGC)(34)를 통해 수행되며, 자동 게인 제어기(34)는 저 조도 감도의 필수 요소로 Gain 증가량에 따라 도트 노이즈(dot Noise)가 많이 발생하게 되는데 피사체 구분이 용이한 최대값을 설정하는 기능을 수행한다.Meanwhile, the gain control process (S40) of the present invention is performed through an automatic gain controller (AGC) 34, and the automatic gain controller 34 is an essential element of low illuminance sensitivity. The automatic gain controller 34 generates dot noise, And a function of setting a maximum value which facilitates classification of a subject is performed.

즉, 자동 게인 제어기(AGC)(34)는 이미지 센서(20)로부터 입력되는 신호레벨을 감지하여 기준레벨보다 작은 경우에는 게인을 상승시키고, 기준레벨보다 높은 경우에는 게인을 낮추는 기능을 한다.That is, the automatic gain controller (AGC) 34 senses a signal level input from the image sensor 20 and raises the gain when it is smaller than the reference level, and lowers the gain when the gain is higher than the reference level.

다음으로, 본 발명의 영상 처리 및 출력 단계의 제2 처리에 대하여 설명하도록 한다. Next, the second process of the image processing and output step of the present invention will be described.

영상 처리 및 출력 단계의 제2 처리는 세부적으로 이미지 센서(20)의 감지 파장대를 이동시키는 제2a 처리(S50)와, 이미지 센서(20)의 노광시간을 조정하는 제2b 처리(S51)와, 이미지 센서(20)로부터 현재 세팅된 현재센서게인을 입력받은 후, 상기 현재센서게인의 범위를 판별하여 컬러억제게인을 출력하는 제2c 처리 (S52)와, 잔상이 남지 않도록 디지털신호 처리 잡음을 감소시키는 제2d 처리(S53)와, 영상의 출력 감마를 조정하는 제2e 처리(S54)와, 영상의 동적영역을 조정하는 제2f 처리(S55)를 포함하고, 바람직하게는 제1 처리의 게인 제어 처리(S40)와 동일하게, 게인(Gain)을 제어하는 게인 제어 처리를 더 포함할 수 있다. 한편, 상기 제2b 내지 제2e 처리(S51~S54)는 순서와 상관없이 수행되어도 무방하고, 상기 게인 제어 처리는 제2b 처리 이전에 수행되는 것이 바람직하다.The second process of the image processing and output step includes a second process (S50) of moving the detection wavelength band of the image sensor (20), a second process (S51) of adjusting the exposure time of the image sensor (20) A second c processing (S52) of receiving a current sensor gain currently set from the image sensor 20 and outputting a color suppression gain by discriminating the range of the current sensor gain and a second c processing (S52) of reducing the digital signal processing noise A second processing (S53) for adjusting the output gamma of the video, and a second processing (S55) for adjusting the dynamic range of the video, and preferably the gain control of the first processing As in the process (S40), it may further include a gain control process for controlling the gain. Meanwhile, the second to e second processes (S51 to S54) may be performed irrespective of the order, and the gain control process is preferably performed before the second process.

참고로, 본 발명의 제2 처리는 조도 환경이 저조도를 넘어 초저조도일 경우 제1 처리와 병행하여 추가적으로 더 수행됨으로써 고품질 영상을 출력하기 위한 구성이다. 여기서, 상기 '초저조도'란 0.005 Lux 이하의 조도로서, 바람직하게는 0.005 ~ 0.0005 Lux 범위의 조도를 지칭한다.For reference, the second process of the present invention is a configuration for outputting a high-quality image by being further performed in parallel with the first process when the illuminance environment is beyond the low illuminance and at a very low illuminance. Here, the 'ultra low light intensity' refers to an illuminance of 0.005 Lux or less, preferably 0.005 to 0.0005 Lux.

(1) 제2a 처리(S50)(1) Process 2a (S50)

영상 처리 및 출력 단계의 제2a 처리(S50)는 단계 'S20'의 저조도 판별 단계에서 해당 영상의 조도가 0.005 Lux 이하의 초저조도로 판단되면, ISP(30)는 이미지 센서(20)에 감지되는 파장대를 1200㎚ 영역으로 이동(이하, '파장대 이동'이라 칭함)시키도록 구성된다.If it is determined in step S50 of the image processing and output step that the illuminance of the corresponding image is 0.005 Lux or less in the low illuminance determination step of step S20, the ISP 30 senses the image sensor 20 (Hereinafter, referred to as " wavelength band movement ").

바람직한 실시예에 따르면, 상기 '파장대 이동'은 OLPF(Optical Low Pass Filter) 필터(60)의 위치를 제어하는 필터 제어기(65)를 통해 수행된다.According to a preferred embodiment, the 'wavelength band movement' is performed through a filter controller 65 which controls the position of an OLPF (Optical Low Pass Filter) filter 60.

즉, 이미지 시그널 프로세서(30)는 필터 제어기(65)를 제어하여 이미지 센서(20)로 입사되는 광 경로 상에서 상기 OLPF 필터(60)를 제거 내지 위치 변경하도록 처리하고, 이와 같이 광 경로 상에서 OLPF 필터(60)가 제거됨으로써 1200㎚ 내외의 파장대를 갖는 근적외선이 이미지 센서(20)로 입사되어 감지되게 된다.
That is, the image signal processor 30 controls the filter controller 65 to process the OLPF filter 60 on the optical path incident on the image sensor 20 to remove or change the position of the OLPF filter 60, The near infrared ray having a wavelength band of about 1200 nm is incident on the image sensor 20 and is detected.

(2) 제2b 처리 ~ 제2e 처리(S51 ~ S54)(2) Processes 2b to 2e (S51 to S54)

영상 처리 및 출력 단계의 제2b 처리 내지 제2e 처리는 제2a 처리에 의해 획득되는 영상에 대하여 노광시간 조정(제2b 처리,S51), 컬러 조정(제2c 처리,S52), 노이즈 감쇠(제2d 처리,S53) 및 감마 조정(제2e 처리,S54)을 수행하기 위한 구성이다.(2b processing, S51), color adjustment (second c processing, S52), noise attenuation (second d processing, and second image processing) are performed on the image obtained by the 2a processing, Processing, S53) and gamma adjustment (second e processing, S54).

제2 처리에 있어서, 노광시간 조정(제2b 처리,S51)은 제1 처리의 제1a 처리 (S41)와 처리 방법이 동일하고, 컬러 조정(제2c 처리,S52)는 제1 처리의 제1b 처리 (S42)와 처리 방법이 동일하고, 노이즈 감쇠(제2d 처리,S53)는 제1 처리의 제1c 처리(S43)와 처리 방법이 동일하며, 감마 조정(제2e 처리,S54)은 제1 처리의 제1d 처리(S44)와 처리 방법이 동일하다. 따라서, 제2b 처리 내지 제2e 처리에 대한 상세한 설명은 생략하기로 한다.
In the second process, the exposure time adjustment (the second processing step S51) is the same as the first processing step S41 of the first processing and the color adjustment (the second processing c52) The noise reduction (second d processing, S53) is the same as the first c processing (S43) of the first processing and the processing method is the same as the processing (S42) The first d processing (S44) of processing is the same as the processing method. Therefore, the detailed description of the 2b processing to the 2e processing will be omitted.

(3) 제2f 처리(S55)(3) Second f processing (S55)

영상 처리 및 출력 단계의 제2f 처리(S55)는 제2a 내지 제2d 처리를 통해 획득된 영상에 대하여 동적영역을 조정하도록 구성된다.The second f processing (S55) of the image processing and output step is configured to adjust the dynamic range for the image obtained through the second to the second processing.

바람직한 실시예에 따르면, 제2f 처리(S55)는 동적영역압축기(Dynamic Range Compressor; DRC)를 적용하여, 상기 제2a 내지 제2e 처리가 수행된 영상의 동적영역(Dynamic Range)을 조정하도록 구성된다.According to a preferred embodiment, the second f processing S55 is configured to adjust a dynamic range of an image on which the second through e-th processing is performed by applying a dynamic range compressor (DRC) .

이에 대하여 보다 구체적으로 설명하면, 제2f 처리(S55)는 역광 상황과 같은 암/명부의 차이가 큰 영상에 대해 명부 데이터는 유지하면서 선택적 암부 데이터를 가시성을 확보할 수 있는 영역으로 끌어올려 결과적으로 동적영역(Dynamic Range)을 가용 영역 안으로 들어올 수 있도록 하도록 구성된다.More specifically, the second f processing (S55) increases the selective dark area data to an area where visibility can be ensured while maintaining the list data for an image having a large difference between the dark and dark areas such as the backlight situation, And is configured to allow the dynamic range to enter into the available area.

결국, 본 발명의 제2 처리는 기본적으로 저조도 영상에 대하여 톤 맵핑(Tone Mapping)을 적용하여 밝기를 최대치로 올리고 감마로 최적화 진행한 후, 동적영역압축기(DRC)로 반사되는 역광 상황과 동적영역을 가용 영역 안으로 들어올 수 있도록 하여 최적의 영상을 구현하도록 구성된다.As a result, the second process of the present invention basically applies tone mapping to the low-illuminance image to maximize the brightness and optimize it with gamma, and then, the backlight situation reflected by the dynamic range compressor (DRC) So that an optimal image can be realized.

전술한 바와 같은 ISP(30)의 영상처리 알고리즘에 따르면, 본 발명의 이미지 센서(20)에 의해 획득되는 영상은 이에 대해 두 개 종류의 처리(즉, 제1 및 제2 처리)를 수행하게 되고, 이에 따라 최종적으로 두 개 종류의 영상(즉, 제1 및 제2 영상)을 출력하게 된다.According to the image processing algorithm of the ISP 30 as described above, the image obtained by the image sensor 20 of the present invention performs two kinds of processing (i.e., the first and second processing) , And finally outputs two types of images (i.e., first and second images).

여기서, 제1 영상은 출력되는 프레임 수를 초당 복수 개의 프레임(frame)이 되도록 구성하는 것이 바람직하며, 상기 복수 개의 프레임은 초당 30 프레임으로 구성하는 것이 가장 좋다.Here, it is preferable that the first image is configured to have a plurality of frames per second, and it is best that the plurality of frames include 30 frames per second.

마찬가지로, 제2 영상은 출력되는 프레임 수를 초당 복수 개의 프레임 (frame)이 되도록 구성하는 것이 바람직하며, 상기 복수 개의 프레임은 초당 30 프레임으로 구성하는 것이 가장 좋다.Likewise, it is preferable to configure the second image to be a plurality of frames per second, and it is best that the plurality of frames are composed of 30 frames per second.

이와 같이 이미지 센서(20)에 의해 감지되는 영상에 대하여 30 개 프레임의 제1 영상과 30 개 프레임의 제2 영상을 획득하면, 설정 조건에 근거하여 제1 영상과 제2 영상을 상호 30 프레임씩 비교한 후 어느 하나의 영상을 최종 선택 및 출력하도록 구성되며, 이는 코덱 프로세서(Codec Procesor)(40)에 수행된다.
If a first image of 30 frames and a second image of 30 frames are acquired with respect to the image sensed by the image sensor 20 in this manner, the first image and the second image are mutually divided into 30 frames And finally selects and outputs one of the images after the comparison, which is performed in a codec processor 40.

이하에서는, 본 발명의 코덱 프로세서(40)의 특징에 대하여 상세히 설명하도록 한다.Hereinafter, the features of the codec processor 40 of the present invention will be described in detail.

본 발명의 코덱 프로세서(Codec Procesor)(40)는 영상압축 등의 통상의 코덱(Codec) 기능과, 제1 영상과 제2 영상의 비교/선택을 위한 처리를 수행하는 기능을 수행하도록 구성된다.The Codec Processor 40 of the present invention is configured to perform a function of performing a normal Codec function such as image compression and a process of comparing / selecting the first and second images.

코덱 프로세서(40)는 디지털 노이즈 감쇠기(32) 내의 3DNR(322)을 통해 2차적으로 노이즈가 감쇄된 상태에서 순차적으로 입력되는 영상 프레임들 중 복수 개의 프레임씩 상호 비교하고 그 편차에 대응하여 노이즈를 감쇠시켜 주는 3D-NR(41)을 구비하고 있는 것으로, 해상력 저하가 발생되지 않도록 전체 노이즈 감쇠에 20%를 담당하게 하여 3차적으로 노이즈를 감쇠하여 최종 영상신호로써 출력시켜 주게 된다.The codec processor 40 compares a plurality of frames among image frames sequentially input in a state in which the noise is attenuated secondarily through the 3DNR 322 in the digital noise attenuator 32 and outputs a noise corresponding to the deviation NR (41) for attenuating the noise, so that 20% of total noise attenuation is taken so as not to cause resolution degradation, thereby attenuating the noise in a tertiary manner and outputting it as a final video signal.

즉, 본 발명이 CCTV 카메라 시스템에서는, ISP(30)에서 전체 영상신호 처리(저 조도에서 촬영된 영상을 식별 가능한 컬러 영상과 잔상이 없는 영상으로 만드는 신호처리)의 약 80%를 수행하고, 코덱 프로세서(40)에서는 전체 영상신호 처리의 약 20%를 수행하게 된다.That is, in the CCTV camera system according to the present invention, the ISP 30 performs about 80% of the entire video signal processing (signal processing for making a captured image in a low illuminance into a color image and an image without residual image) The processor 40 performs about 20% of the total image signal processing.

이때, 영상의 끌림 및 잔상은 코덱 프로세서(40) 내 3D-NR(41)을 통해 노이즈 감쇠를 강하게 할 경우에 도드라지게 나타나게 되는데, 이러한 1차~3차 노이즈 감쇠기를 통해 영상 내 노이즈 감쇠 정도를 조정할 수 있게 되므로 영상의 끌림 및 잔상 등의 역효과가 발생하지 않게 된다.At this time, the dragging and the residual image of the image are displayed when the noise reduction is strengthened through the 3D-NR 41 in the codec processor 40. The degree of noise attenuation in the image is obtained through the first to third noise attenuator So that there is no adverse effect such as dragging and afterimage of the image.

뿐만 아니라, 도 1에는 도시하지 않았지만, 영상 신호를 증폭하여 외부로 출력될 수 있도록 비디오 앰프 등도 더 구비시킬 수 있다.In addition, although not shown in FIG. 1, a video amplifier or the like may be further provided so that the video signal can be amplified and output to the outside.

특히, 본 발명의 코덱 프로세서(40)는 제1 영상과 제2 영상을 상호 비교하여 보다 고품질의 영상을 선택 출력하는 기능(이하, '영상 비교 및 선택 기능'이라 함) 구성된다.In particular, the codec processor 40 of the present invention compares a first image and a second image to each other to select and output a higher quality image (hereinafter, referred to as an image comparison and selection function).

도 12는 본 발명에 따른 코덱 프로세서의 영상 처리 순서도이다. 도 12를 참조하면, 코덱 프로세서(40)의 영상 비교 및 선택 기능은 세부적으로 신호대잡음비 (SNR) 및 영상밝기 산출 기능(S62)과, 가중치 부여 및 수치화 기능(S63)과, 제1 및 제2 비교값 생성 및 대소 비교 기능(S64,S65)과, 최종 영상 선택 및 출력 기능(S66)을 포함한다.12 is an image processing flowchart of a codec processor according to the present invention. 12, the image comparison and selection function of the codec processor 40 includes a signal-to-noise ratio (SNR) and image brightness calculation function S62, a weighting and digitizing function S63, Comparison value generation and comparison (S64, S65), and final image selection and output function (S66).

신호대잡음비(SNR) 및 영상밝기 산출 기능(이하, '제1 기능'이라 함)(S62)은 코덱 프로세서에 전송(S61)된 제1 영상과 제2 영상에 대하여 각각 신호대잡음비 (SNR)와 영상밝기를 산출하기 위한 구성이다. 제1 기능에 따르면, 신호대잡음비 (SNR)는 수학식 2에 따라 디비(dB) 단위의 수치로 표현되고, 영상밝기는 휘도(Lm) 단위의 수치로 표현될 수 있다.The signal-to-noise ratio (SNR) and the image brightness calculation function (hereinafter, referred to as 'first function') S62 are performed on the first image and the second image transmitted to the codec processor S61, This is a configuration for calculating the brightness. According to the first function, the signal-to-noise ratio (SNR) is expressed by a value in units of dB (dB) according to Equation (2), and the image brightness can be expressed by a value in units of luminance (Lm).

여기서, P_signal : 영상신호의 파워(Power), P_noise : 노이즈의 파워(Power)Where P _signal is the power of the video signal, P _noise is the power of the noise,

본 발명의 코덱 프로세서(40)는 이와 같은 신호대잡음비(SNR)의 수치가 클수록 해당 영상은 노이즈가 적은 고품질 영상으로 간주하고, 더불어 영상밝기의 수치가 클수록 해당 영상은 선명하고 뚜렷한 고품질 영상으로 간주하도록 구성된다.
The codec processor 40 of the present invention regards the image as a high quality image with a small noise as the SNR value increases, and when the value of the image brightness is high, the image is regarded as a sharp and clear high quality image .

가중치 부여 및 수치화 기능(이하, '제2 기능'이라 함)(S63)은 제1 기능(S62)에 의해 산출된 신호대잡음비(SNR) 또는 영상밝기에 대하여 가중치를 적용하여 제1 기능(S62)에 의해 산출된 수치를 보정하기 위한 구성이다.The weighting and quantization function (hereinafter referred to as a 'second function') S63 is a function of applying a weight to the SNR or image brightness calculated by the first function S62, Is a configuration for correcting the numerical value calculated by the equation

즉, 제1 기능(S62)에 따라 산출되는 신호대잡음비는 SNR 단위인 'dB'에 따르는 상대치이고, 영상밝기는 조도 단위인 'Lux'에 따르는 상대치인 바, 제2 기능은 이와 같이 두 종류의 상이한 단위에 따른 수치 차이를 보정하여 신호대잡음비와 영상밝기의 수치를 단위와 무관한 절대치로 변환하도록 구성되며, 이는 제1 가중치에 의해 수행된다.That is, the signal-to-noise ratio calculated according to the first function S62 is a relative value according to the SNR unit of 'dB', the image brightness is a relative value according to the luminance unit Lux, And converts the numerical values of the signal-to-noise ratio and the image brightness into absolute values that are independent of the unit, which is performed by the first weight.

예컨대, 제1 기능(S61)에 의해 산출된 제1 영상의 신호대잡음비(SNR)의 수치는 '35 dB'이고, 영상밝기의 수치는 '85 Lm'이라고 가정하자. 그리고, 제1 기능 (S62)에 의해 산출된 제2 영상의 신호대잡음비(SNR)의 수치는 '2 dB'이고, 영상밝기의 수치는 '125 Lm'이라고 가정하자.For example, it is assumed that the numerical value of the SNR of the first image calculated by the first function S61 is '35 dB 'and the numerical value of the image brightness is '85 Lm'. It is assumed that the value of the signal-to-noise ratio (SNR) of the second image calculated by the first function S62 is '2 dB' and the value of the image brightness is '125 Lm'.

상기 경우, 제2 기능(S63)에 따른 가중치 적용없이 단순히 양 수치를 합산하여 후술할 제1 및 제2 비교값을 생성하면, 제1 영상의 비교값(즉, 제1 비교값)은 '120'으로 산출된고, 제2 영상의 비교값(즉, 제2 비교값)은 '127'로 산출되어, 비교값이 상대적으로 더 큰 제2 영상이 최종 영상으로 선택 출력되게 된다.In this case, when the first and second comparison values to be described later are generated by simply summing both values without applying the weight according to the second function S63, the comparison value (i.e., the first comparison value) of the first image is' 120 ', And the comparison value of the second image (i.e., the second comparison value) is calculated as' 127', so that the second image having the relatively larger comparison value is selected and outputted as the final image.

그러나, 제2 영상은 비록 비교값이 제1 영상보다 큰 영상이나 신호대잡음비가 상대적으로 너무 낮아, 감시 영상의 식별성 측면에서는 오히려 비교값이 더 작은 제1 영상이 최적 영상에 해당하게 된다.However, in the second image, a first image having a comparative value larger than that of the first image or a signal-to-noise ratio is relatively low, so that the first image having a smaller comparison value in terms of the discrimination of the monitored image corresponds to the optimal image.

결국, 이와 같은 오류를 제거하기 위하여, 제1 기능(S62)에 따라 산출되는 신호대잡음비 또는 영상밝기의 수치에 제1 가중치를 곱하여 양 값을 절대치로 만들어주는 것이다. 예컨대, 그 단위의 특성상 통상적으로 영상밝기의 수치는 신호대잡음비의 수치보다 상대적으로 큰 수치로 나오므로, 이와 같이 서로 상이한 단위에 따른 수치차를 보정하기 위해 예컨대 신호대잡음비에 제1 가중치로서 '7'을 더 곱하거나 더하도록 구성할 수 있다.As a result, in order to eliminate such an error, the signal-to-noise ratio or the image brightness calculated according to the first function S62 is multiplied by the first weight so that the positive values are made absolute values. For example, due to the characteristics of the unit, the numerical value of the image brightness is relatively larger than the numerical value of the signal-to-noise ratio. Thus, in order to correct the numerical difference according to different units, To be multiplied or added.

한편, 제2 기능(S63)의 가중치는 제2 가중치를 더 포함할 수 있으며, 제2 가중치는 신호대잡음비와 영상밝기 중 상대적 중요도를 더 반영하기 위한 상수에 해당한다.Meanwhile, the weight of the second function S63 may further include a second weight, and the second weight corresponds to a constant for further reflecting a relative importance among a signal-to-noise ratio and a video brightness.

예컨대, 관리자 'A'는 본 발명의 CCTV 카메라 시스템을 통해 출력되는 감시영상에 있어서 영상밝기보다 신호대잡음비를 더 중요시한다면, 제1 가중치가 적용된 신호대잡음비에 제2 가중치를 더 부여할 수 있다.For example, if the manager 'A' gives more importance to the signal-to-noise ratio than the image brightness in the surveillance image output through the CCTV camera system of the present invention, the second weight can be added to the signal-to-noise ratio to which the first weight is applied.

만약, 관리자 'B'는 본 발명의 CCTV 카메라 시스템을 통해 출력되는 감시영상에 있어서 신호대잡음보다 영상밝기를 더 중요시한다면, 제1 가중치가 적용된 영상밝기에 제2 가중치를 더 부여할 수 있다. 여기서, 제2 가중치의 부여는 제1 가중치가 적용된 신호대잡음 또는 영상밝기의 수치에 제2 가중치를 더 곱하거나 더하도록 구성할 수 있다.If the manager 'B' gives more importance to the image brightness than the signal-to-noise in the supervisory image output through the CCTV camera system of the present invention, the second weight can be added to the image brightness to which the first weight is applied. Here, the assignment of the second weight may be configured to further multiply or add the second weight to the value of the signal-to-noise or image brightness to which the first weight is applied.

상기와 같은 제2 기능(S63)에 따라 제1 영상과 제2 영상 각각에 대하여 가중치가 적용된 신호대잡음 및 영상밝기의 수치가 산출되면, 제1 영상의 신호대잡음비와 영상밝기의 수치를 각각 합산하여 제1 비교값을 생성하고, 제2 영상의 신호대잡음비와 영상밝기의 수치를 각각 합산하여 제2 비교값을 생성하게 된다(S64).When the values of the signal-to-noise and the image brightness to which weights are applied are calculated for the first image and the second image, respectively, according to the second function S63, the signal-to-noise ratio and the image brightness of the first image are summed The first comparison value is generated, and the second comparison value is generated by summing the values of the signal-to-noise ratio and the image brightness of the second image (S64).

제1 및 제2 비교값의 생성(S64)이 완료되면, 코덱 프로세서(40)는 상기 제1 비교값과 상기 제2 비교값의 대소를 비교(S65)하여, 제1 영상과 제2 영상 중 더 큰 비교값을 갖는 영상을 최종 영상으로 선택하여 이를 관제부로 전송(S66)하게 된다.When the generation of the first and second comparison values (S64) is completed, the codec processor 40 compares the first comparison value with the second comparison value (S65), and compares the first comparison value and the second comparison value An image having a larger comparison value is selected as a final image and transmitted to the controller (S66).

전술한 바와 같이, 본 발명의 저조도용 CCTV 카메라 시스템은 특히 0.005 ~ 0.0005 Lux의 초저조도 환경시 특정 파장대 이동 전후 영상을 각각 획득하여 이를 소정의 알고리즘에 따라 처리/비교/선택하도록 구성함으로써, 초저조도이면서 동시에 시간별, 계절별, 설치장소별로 상이한 다양한 환경 조건 하에서도 끌림 및 노이즈 등이 없고 항시 감시 영상으로서 최적으로 적합한 고품질 영상을 제공할 수 있게 되었다.As described above, the low-illuminance CCTV camera system of the present invention is configured to acquire images before and after a specific wavelength band in an ultra-low illuminance environment of 0.005 to 0.0005 Lux, respectively, and to process / compare / select them according to a predetermined algorithm, And at the same time, it is possible to provide a high quality image suited to the optimum as a constantly monitored image free from drag and noise even under various environmental conditions that vary according to time, season and installation place.

또한, 사용자 설정을 통해 가중치(즉, 제1 및 제2 가중치)를 탄력적으로 조절 및 부여할 수 있는 바, 사용자 목적에 최적으로 부합하는 감시 영상을 출력 제공할 수 있게 되었다.In addition, since the weights (i.e., the first and second weights) can be flexibly adjusted and given through the user setting, it is possible to provide a surveillance image that best matches the user's purpose.

한편, 코덱 프로세서(40)에 의해 최종 선택된 영상은 H.264 또는 H.265 등의 영상 포맷으로 코딩된 후 유무선 통신망(50)을 통하여 관제부(70)로 전송되게 된다.Meanwhile, the image finally selected by the codec processor 40 is coded into an image format such as H.264 or H.265, and then transmitted to the control unit 70 through the wired / wireless communication network 50.

이때, 유무선 통신망(50)은 인터넷(INTERNET), 이더넷(Ethernet), Wi-fi 등의 다양한 통신망 사용될 수 있음은 물론 통신 모듈(Module)을 사용할 수도 있다.At this time, the wired / wireless communication network 50 may be a variety of communication networks such as Internet, Ethernet, and Wi-fi, as well as a communication module.

본 발명의 관제부(70)는 CCTV 카메라 영상을 관리 및 모니터링하기 위한 관리 서버 및 이를 구동하기 위한 소프트웨어를 포함한다. 통상의 VMS 시스템을 포함할 수 있다.The control unit 70 of the present invention includes a management server for managing and monitoring CCTV camera images and software for driving the management server. And may include a conventional VMS system.

구체적으로, 관제부(70)는 코덱 프로세서(40)로부터 최종 영상을 전송받아 CCTV 카메라가 설치된 주변 상황을 감시하고, CCTV 카메라 시스템 상태를 모니터링하는 기능을 수행하도록 구성된다.Specifically, the controller 70 is configured to receive a final image from the codec processor 40 and to monitor the circumstance where the CCTV camera is installed, and to monitor the CCTV camera system status.

도 13은 본 발명에 따른 관제부의 CCTV 카메라 시스템 모니터링 기능의 처리 순서도이다. 도 13을 참조하면, 관제부(70)는 관리 대상인 CCTV 카메라에 각각 하나 이상의 신호를 송수신(S70)하고, 이 신호를 수신한 CCTV 카메라에게 상태 정보를 요청한다(S71).13 is a flowchart of a monitoring function of the CCTV camera system of the control unit according to the present invention. Referring to FIG. 13, the control unit 70 transmits and receives one or more signals to and from the CCTV camera to be managed (S70), and requests status information from the CCTV camera receiving the signals (S71).

상기 요청에 따라 해당 CCTV 카메라로부터 정상적으로 상태 정보를 수신하면 해당 해당 CCTV 카메라와의 네트워크는 정상상태로 판단(S75)하고 모니터링을 종료한다.Upon receiving the status information from the corresponding CCTV camera in response to the request, the network with the corresponding CCTV camera is determined to be in a normal state (S75), and the monitoring is terminated.

만약, 상기 상태 정보를 요청받은 CCTV 카메라로부터 정상적으로 상태 정보를 수신하지 못하면 시스템 응답속도를 측정한다(S72).If the status information is not normally received from the CCTV camera, the system response speed is measured (S72).

상기 시스템 응답속도 측정 결과, 응답속도가 임계값보다 크거나 같을 경우 네트워크 접속장애 상태(S73)로 판단하고, 응답속도가 임계값보다 작을 경우 정상상태로 판단(S75)하고 모니터링을 종료한다.If the response speed is greater than or equal to the threshold value, the network connection failure state is determined to be the network connection failure state (S73). If the response speed is less than the threshold value, the normal state is determined (S75).

도 13과 같은 양방향 통신 상태와 데이터(Data) 송수신에 의해 본 발명의 CCTV 카메라 시스템은 각 CCTV 카메라별 초저조도 설정 및 제어가 가능하고, CCTV 시스템 네트워크의 불량/정상 상태의 판단이 가능하게 된다.The CCTV camera system of the present invention can set and control the ultra low light level for each CCTV camera by the bi-directional communication state and data transmission / reception as shown in FIG. 13, and it is possible to determine the bad / steady state of the CCTV system network.

한편, 관제부(70)는 이미지 시그널 프로세서(30)로부터 제1 모드 정보, 제2 모드 정보 및 일반 모드 정보를 전송받을 수 있다.Meanwhile, the control unit 70 can receive the first mode information, the second mode information, and the general mode information from the image signal processor 30. [

제1 모드는 이미지 시그널 프로세서(30)의 현재 수행 중인 모드 중 전술한 제1 처리(S40~S45)를 의미하고, 제2 모드는 이미지 시그널 프로세서(30)의 현재 수행 중인 모드 중 전술한 제2 처리(S50~S56))를 의미하며, 일반 모드는 전술한 단계 'S25'를 의미한다.The first mode refers to the first process (S40 to S45) of the currently executing mode of the image signal processor 30 and the second mode refers to the second process (Steps S50 to S56), and the normal mode means step S25 described above.

그리고, 제1 모드 정보는 이미지 시그널 프로세서(30)가 현재 수행 중인 모드가 제1 모드임을 알려주는 정보를 포함하고, 제2 모드 정보는 이미지 시그널 프로세서(30)가 현재 수행 중인 모드가 제2 모드임을 알려주는 정보를 포함하며, 일반 모드 정보는 이미지 시그널 프로세서(30)가 현재 수행 중인 모드가 일반 모드임을 알려주는 정보를 포함한다.The first mode information includes information indicating that the mode currently being performed by the image signal processor 30 is the first mode, and the second mode information includes information indicating that the mode currently being performed by the image signal processor 30 is the second mode And the general mode information includes information indicating that the mode currently being performed by the image signal processor 30 is a normal mode.

즉, 이미지 시그널 프로세서(30)는 입력 영상에 대하여 현재 처리 중인 모드 정보를 관제부로 전송하고, 이를 통해 관제부는 현재 처리 상태를 알 수 있게 된다.That is, the image signal processor 30 transmits the currently processed mode information to the control unit with respect to the input image, so that the control unit can know the current processing state.

또한, 이미지 시그널 프로세서(30)는 제1 영상 및 제2 영상을 출력하는데, 이때 제1 영상은 제1 모드(즉,제1 처리)에 의해 생성된 영상임을 나타내는 정보와, 제2 영상은 제2 모드(즉,제2 처리)에 의해 생성된 영상임을 나타내는 정보와, 일반 모드에 의해 생성된 영상을임 나타내느 정보를 관제부로 더 전송할 수 있다. 상기 구성에 의해, 관제부는 이미지 시그널 프로세서(30)로부터 전송받은 영상이 어느 모드에 따라 처리된 것인지 알 수 있게 된다.Also, the image signal processor 30 outputs the first image and the second image, wherein the first image is information indicating that the image is generated by the first mode (i.e., the first process) Information indicating that the image is generated by the second mode (i.e., the second process), and information indicating that the image is generated by the normal mode, to the control unit. According to the above configuration, the control unit can know which mode the image transmitted from the image signal processor 30 is processed according to.

즉, 코덱 프로세서(40)에 의해 선택 출력되는 최종 영상과는 별도로, 이미지 시그널 프로세서(30)에 의해 생성되는 제1 영상과 제2 영상 모두가 관제부에 제공될 수 있다.That is, apart from the final image selectively outputted by the codec processor 40, both the first image and the second image generated by the image signal processor 30 can be provided to the control unit.

확장 실시예에 따르면, 본 발명의 초저조도용 CCTV 카메라 시스템은 적외선 광원(15)을 더 구비할 수 있고, 상기 경우 엘이디 광원은 이미지 시그널 프로세서(30)에 의해 그 점멸 및 광량이 제어되도록 구성될 수 있으며, 상기 적외선 광원(15)은 엘이디(LED)를 사용할 수 있다.According to the extended embodiment, the CCTV camera system for ultra low illumination of the present invention may further include an infrared light source 15, in which the LED light source is configured to be controlled by the image signal processor 30 such that the flashing and the amount of light are controlled And the infrared light source 15 may use an LED.

적외선 광원(15)은 조도 상태가 0.0005 Lux 보다 작은 극초저조도일 경우, 일정 광을 조사하여 0.0005 Lux 미만의 극초저조도를 0.0005 Lux로 만들어주는 역할을 한다. 이는 본 발명의 초저조도용 CCTV 카메라 시스템은 0.0005 Lux 이상의 초저조도에서는 고품질 영상 획득이 가능하나, 0.0005 Lux 미만의 극초저조도일 경우 영상 생성이 불가하기 때문이다.The infrared light source 15 irradiates a constant light to 0.0005 Lux at an ultra-low light level of less than 0.0005 Lux when the illuminance condition is less than 0.0005 Lux. This is because the CCTV camera system for ultra low illumination of the present invention can acquire high-quality images at an ultra-low light level of 0.0005 Lux or more, but can not generate images when the ultra low light level is less than 0.0005 Lux.

바람직한 실시예에 따르면, 적외선 광원(15)은 인가 전압이 점진적으로 증대되도록 제어되고, 인가전압의 점진적 상승에 따른 광량 증가로 조도가 올라가다 조도 상태가 0.0005 Lux에 도달하면 인가전압 상승을 중지시키도록 구성된다.
According to the preferred embodiment, the infrared light source 15 is controlled so that the applied voltage is gradually increased, and when the illuminance is raised to 0.0005 Lux by increasing the amount of light according to the gradual increase of the applied voltage, .

상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.
While the preferred embodiments of the present invention have been described and illustrated above using specific terms, such terms are used only for the purpose of clarifying the invention, and it is to be understood that the embodiment It will be obvious that various changes and modifications can be made without departing from the spirit and scope of the invention. Such modified embodiments should not be understood individually from the spirit and scope of the present invention, but should be regarded as being within the scope of the claims of the present invention.

10: 렌즈 20: 이미지 센서
30: 이미지 시그널 프로세서(ISP) 40: 코덱 프로세서
50: 유무선 통신망 60: OLPF 필터
65: 필터 제어기 70: 관제부10: Lens 20: Image sensor
30: image signal processor (ISP) 40: codec processor
50: wired / wireless communication network 60: OLPF filter
65: Filter controller 70:

Claims (6)

CCTV 시스템으로서,
렌즈; 이미지 센서; 이미지 시그널 프로세서(Image Signal Procesor); 조도센서; OLPF(Optical Low Pass Filter) 필터; 상기 OLPF 필터의 위치를 제어하는 필터 제어기; 및 코덱 프로세서(Codec Procesor)를 포함하고,
상기 이미지 시그널 프로세서는, 상기 이미지 센서를 통하여 전달받은 영상이 0.1 Lux 이하의 저조도 상태인지를 판별하는 제1 기능; 상기 판별 결과 저조도 상태일 경우, 톤 맵핑 (Tone Mapping)을 통해 상기 영상의 밝기를 보정하는 제2 기능; 및 상기 제2 기능에 의해 밝기가 보정된 영상에 대하여 제1 처리와 제2 처리를 각각 별도로 수행하여 제1 영상과 제2 영상을 각각 출력하는 제3 기능을 수행하도록 구성되고,
상기 제1 처리는, 상기 이미지 센서의 노광시간을 조정하는 제1a 처리; 상기 이미지 센서로부터 현재 세팅된 현재센서게인을 입력받은 후, 상기 현재센서게인의 범위를 판별하여 컬러억제게인을 출력하는 제1b 처리; 잔상이 남지 않도록 디지털신호 처리 잡음을 감소시키는 제1c 처리; 및 영상의 출력 감마를 조정하는 제1d 처리를 포함하고,
상기 제2 처리는, 상기 필터 제어기의 제어를 통해, 상기 이미지 센서로 입사되는 광 경로 상에서 상기 OLPF 필터를 제거하여 상기 이미지 센서의 감지 파장대를 1200㎚ 영역으로 이동시키는 제2a 처리; 상기 제2a 처리에 의해 획득된 영상에 대하여 상기 제1a 처리 내지 제1d 처리를 수행하는 제2b 처리; 및 동적영역압축기(DRC)를 통해, 상기 제2b 처리에 의해 획득된 영상의 동적영역(Dynamic Range)을 조정하는 제2c 처리를 포함하며,
상기 코덱 프로세서는, 상기 제1 영상과 상기 제2 영상에 대하여 각각 신호대잡음비(SNR)와 영상밝기를 산출하는 제1' 기능; 상기 제1' 기능에 의해 산출된 신호대잡음비에 가중치를 더하거나 곱하여 보정하는 제2' 기능; 상기 제2' 기능에 의해 보정된 상기 제1 영상의 신호대잡음비와 영상밝기의 수치를 각각 합산하여 제1 비교값을 생성하고, 상기 제2 영상의 신호대잡음비와 영상밝기의 수치를 각각 합산하여 제2 비교값을 생성하는 제3' 기능; 및 상기 제1 비교값과 상기 제2 비교값의 대소를 비교하여, 상기 제1 영상과 상기 제2 영상 중 더 큰 비교값을 갖는 영상을 최종 영상으로 선택 및 출력하는 제4' 기능을 수행하도록 구성되는 것을 특징으로 하는 초저조도용 CCTV 카메라 시스템.
As a CCTV system,
lens; Image sensor; An image signal processor; Illuminance sensor; An OLPF (Optical Low Pass Filter) filter; A filter controller for controlling the position of the OLPF filter; And a codec processor (Codec Processor)
Wherein the image signal processor comprises: a first function for determining whether an image transmitted through the image sensor is in a low illumination state of 0.1 Lux or less; A second function of correcting the brightness of the image through tone mapping when the determination result is a low-illuminated state; And a third function of performing a first process and a second process separately on an image whose brightness is corrected by the second function to output a first image and a second image, respectively,
The first process may comprise: a first processing for adjusting an exposure time of the image sensor; A first b processing for receiving a current sensor gain currently set from the image sensor and outputting a color suppression gain by determining a range of the current sensor gain; A first c processing for reducing the digital signal processing noise so that no afterimage remains; And a first d processing for adjusting an output gamma of the image,
The second process may include: an 2a process for removing the OLPF filter on an optical path incident on the image sensor through the control of the filter controller to move the detection wavelength band of the image sensor to a 1200 nm region; A 2b processing for performing the first through (1d) processing on the image obtained by the processing of the 2a; And a second c processing for adjusting a dynamic range of the image obtained by the second b processing through a dynamic region compressor (DRC)
Wherein the codec processor comprises: a first function for calculating a signal-to-noise ratio (SNR) and a video brightness for the first video and the second video; A second function of adding or multiplying a weight to a signal-to-noise ratio calculated by the first function; To-noise ratio and the image brightness value of the first image corrected by the second function to generate a first comparison value, summing the values of the signal-to-noise ratio and the image brightness of the second image, respectively, A third function to generate two comparison values; And a fourth function of comparing and comparing the first comparison value and the second comparison value to select and output an image having a larger comparison value among the first image and the second image as a final image Wherein the CCTV camera system comprises:
삭제delete 제1 항에 있어서,
상기 가중치는 상기 신호대잡음비와 상기 영상밝기 간의 상이한 단위에 의한 수치 차이를 보정하기 위한 가중치인 것을 특징으로 하는 초저조도용 CCTV 카메라 시스템.
The method according to claim 1,
Wherein the weight is a weight for correcting a numerical difference by a different unit between the signal-to-noise ratio and the image brightness.
삭제delete 제1 항에 있어서,
상기 제2 처리는 상기 제1 기능에 따른 판별 결과 상기 이미지 센서를 통하여 전달받은 영상이 0.005 Lux 이하의 초저조도 상태로 판단되는 경우에만 수행하도록 구성되는 것을 특징으로 하는 초저조도용 CCTV 카메라 시스템.
The method according to claim 1,
Wherein the second process is performed only when the image received through the image sensor is determined to be in an ultra low light condition of 0.005 Lux or less as a result of the discrimination based on the first function.
제1 항에 있어서,
상기 제1 처리는,
상기 이미지 센서로부터 입력되는 신호레벨을 감지하여 기준레벨보다 작은 경우에는 게인을 상승시키고, 기준레벨보다 높은 경우에는 게인을 낮추는 제1e 처리를 더 포함하는 것을 특징으로 하는 초저조도용 CCTV 카메라 시스템.The method according to claim 1,
The first process may include:
Further comprising first e processing for detecting a signal level input from the image sensor and increasing the gain when the signal level is lower than the reference level and lowering the gain when the gain is higher than the reference level.

Images