KR20220004925A - Color control method for low-illumination of CCTV systems and CCTV systems with a color control at low intensity - Google Patents
Color control method for low-illumination of CCTV systems and CCTV systems with a color control at low intensity Download PDFInfo
- Publication number
- KR20220004925A KR20220004925A KR1020200082491A KR20200082491A KR20220004925A KR 20220004925 A KR20220004925 A KR 20220004925A KR 1020200082491 A KR1020200082491 A KR 1020200082491A KR 20200082491 A KR20200082491 A KR 20200082491A KR 20220004925 A KR20220004925 A KR 20220004925A
- Authority
- KR
- South Korea
- Prior art keywords
- low
- color
- noise
- illuminance
- gain
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H04N5/217—
-
- H04N5/2353—
-
- H04N5/243—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 저 조도 시 컬러 제어기능을 갖는 CCTV(Closed-Circuit Television) 시스템 및 CCTV 시스템의 저 조도 시 컬러 제어방법에 관한 것으로 보다 구체적으로는 저조도 환경 하에서는 노광시간의 증가, 저조도 감도 상승 및 노이즈 제거를 통하여서 컬러를 식별할 수 있고, 움직이는 피사체에 대한 식별성이 저해 받지 않도록 발명한 저 조도 시 컬러 제어기능을 갖는 CCTV 시스템 및 CCTV 시스템의 저 조도 시 컬러 제어방법에 관한 것이다.The present invention relates to a Closed-Circuit Television (CCTV) system having a color control function in low light and a color control method in low light of a CCTV system. It relates to a CCTV system having a color control function in low light, and a color control method in low light of the CCTV system, which are invented so that the color can be identified through and the identification of a moving subject is not hindered.
반적으로 CCTV 카메라(폐쇄회로 텔레비젼용 카메라)는 특정한 장소나 사물을 촬영하여 폐쇄회로 텔레비젼에 보냄으로써 촬영되는 장소나 사물의 이상 유무를 확인할 수 있게 하는 촬영 기기로서, 빌딩, 주차장, 아파트 단지 등에서 관리나 경비의 효율제고를 위한 일반 감시용 카메라뿐만 아니라, 자동차 안전장치 등으로 이용되는 등 그 용도가 크게 다변화되고 있다.In general, a CCTV camera (closed circuit TV camera) is a filming device that allows you to check whether there is an abnormality in a filmed place or object by taking a picture of a specific place or object and sending it to a closed circuit TV. It is managed in buildings, parking lots, apartment complexes, etc. B. Its uses are being greatly diversified, such as being used not only as a general surveillance camera to enhance the efficiency of security, but also as a vehicle safety device.
한편, CCTV는 그의 사용목적이나 특성상 어두운 곳 즉, 저 조도에서도 동작될 수밖에 없게 되는데, 이럴 경우 적외선 카메라를 사용하거나 가시광선 영역 대의 조명을 사용하게 된다.On the other hand, CCTV has no choice but to operate in a dark place, that is, in low light due to its purpose or characteristics of use. In this case, an infrared camera or lighting in the visible range is used.
특히, 종래 보안감시 카메라(Day & Night)에서는 저조도 영상의 감도를 높이기 위해 흑백화면으로 전환하고 있어, 컬러의 식별성이 현저히 떨어지게 되는 점과, 저조도 영상의 감도를 높이므로 발생하는 영상 끌림 및 잔상 현상에 의해 감시자가 피사체의 구분이 어려워지는 문제점이 발생하고 있다.In particular, in conventional security surveillance cameras (Day & Night), in order to increase the sensitivity of low-light images, the black-and-white screen is converted to a black-and-white screen, which significantly reduces color discrimination and increases the sensitivity of low-light images. This causes a problem in that it is difficult for the observer to distinguish the subject.
즉, 종래의 보안감시 카메라(Day & Night)는 컬러 CCD(Charge Coupled Device)를 주간과 야간에 동시에 사용하여, 주간에는 컬러로 영상을 재현하고, 야간에는 컬러로 촬영된 영상이 소프트웨어에 의해 흑백 모드로 전환되는 방식을 채택하고 있으므로 컬러의 식별성이 현저히 떨어지는 문제점과, 저조도 영상의 감도를 높이므로 발생하는 영상 끌림 현상 및 잔상 현상에 의해 감시자가 피사체를 정확히 구분할 수 없는 문제점이 있는 것이다.That is, the conventional security surveillance camera (Day & Night) uses a color CCD (Charge Coupled Device) at the same time during the day and at night, and reproduces the image in color during the day, and the image captured in color at night is black and white by software. There is a problem in that the color discrimination is significantly lowered because the mode conversion method is adopted, and the monitor cannot accurately distinguish the subject due to the image dragging phenomenon and the afterimage phenomenon caused by increasing the sensitivity of the low-light image.
또한, 계절별이나 시간대별 그리고 CCTV 카메라의 설치장소에 따른 조도 변화에 대한 대응과 구름, 눈, 비, 안개 등과 같은 피사체 식별성에 영향을 주는 요소들에 대한 대응을 위하여, 다양한 방법도 제시되고 있는 실정이다.In addition, in order to respond to changes in illuminance according to seasons, time zones, and installation locations of CCTV cameras, and to respond to factors affecting object identification such as clouds, snow, rain, and fog, various methods are also proposed. to be.
한편, 이러한 다양한 방법에도 노이즈가 최대가 되어 화질이 떨어지는 문제가 발생하고, 특히 야간에 조명장치에 사용할 경우 셔터 속도를 최대로 하면 반사되는 빛에 의해 영상데이터가 손상되는 결과를 가져오기도 한다.On the other hand, even with these various methods, the noise is maximized and the image quality is deteriorated. In particular, when the shutter speed is maximized when used in a lighting device at night, image data may be damaged by reflected light.
아울러, 일반적으로 카메라는 주간 촬영 시 선명한 색채 형상을 나타내는 장점이 있는 반면에 야간 촬영 시 컬러 버스트(Color Burst)에 의한 색 노이즈가 나타나게 되어 감시 카메라로서의 역할을 제대로 수행할 수 없는 문제점이 있었으며, 하나의 이미지센서를 공용으로 사용함으로써 가시광선과 적외선 대역의 서로 다른 파장에 의해 포커스가 틀어지는 문제점이 발생될 수밖에 없다.In addition, while the camera generally has the advantage of displaying a vivid color shape during daytime photography, color noise due to color burst appears during night photography, so there is a problem that it cannot properly perform its role as a surveillance camera. By using the common image sensor of , there is inevitably a problem that the focus is shifted due to different wavelengths of visible light and infrared bands.
따라서, 종래 대한민국 등록특허 제10-1169017호에서는 "전방을 촬영할 수 있도록 몸체의 전면에 설치되며, 일측에는 주변의 조도를 감지하는 CdS 및 외부의 무선신호를 수신하는 리모콘 수신부가 구비되며, 야간 촬영을 위한 복수의 아이알 엘이디가 방사상으로 설치된 고해상도 CMOS 카메라 및 CCD 카메라와 고해상도 CMOS 카메라에서 전달된 디지털 영상신호를 제1EEPROM에 저장된 신호처리 알고리즘을 통해 아날로그신호로 변환하는 엔코더(ENCODER)와 상기 CCD 카메라에서 전달된 아날로그 영상신호의 게인을 자동으로 콘트롤하는 AGC(Auto Gain Control) 및 상기 AGC에서 콘트롤된 신호를 제2EEPROM에 저장된 데이타값과 비교하여 노이즈가 제거된 영상신호로 변환하는 ISP(Image Signal Processor)와; 상기 엔코더와 ISP에서 출력되는 신호를 증폭하는 제1 및 제2비디오엠프(VIDEO AMP)와; 상기 제1 및 제2비디오엠프에서 증폭된 신호를 CdS회로부의 제어신호에 따라 주간 및 야간을 구분하여 스위칭하는 비디오 스위치를 포함하여 구성된 고해상도 씨모스 카메라가 적용된 주야간 자동 스위칭방식의 감시용 카메라"가 제시된 바 있다.Therefore, in the prior Republic of Korea Patent Registration No. 10-1169017, "It is installed on the front side of the body so that the front can be photographed, and one side is provided with a remote control receiver for receiving CdS for detecting ambient illuminance and external radio signals, and night photography is provided. An encoder that converts the digital image signal transmitted from the high-resolution CMOS camera and CCD camera and the high-resolution CMOS camera to an analog signal through the signal processing algorithm stored in the first EEPROM, and the CCD camera. AGC (Auto Gain Control) that automatically controls the gain of the transmitted analog video signal, and ISP (Image Signal Processor) that compares the signal controlled by the AGC with the data value stored in the second EEPROM and converts it into an image signal from which noise has been removed first and second video amplifiers (VIDEO AMPs) amplifying the signals output from the encoder and the ISP; A day/night automatic switching type surveillance camera to which a high-resolution CMOS camera configured including a separate switching video switch is applied" has been proposed.
또한, 대한민국 등록특허 제10-1322829호에서는“목적 대상을 촬영하여 이미지 파일을 생성하는 디지털 카메라 및 상기 디지털 카메라에 연결되며, 주변 환경의 조도에 따라 이미지 파일이 보정되도록 일출 일몰시간에 연동되어 상기 디지털 카메라의 노출을 보정하는 자동보정장치를 포함하며, 상기 자동보정장치는 지역별 일출 일몰 시간이 저장된 일출 일몰시간 DB로부터 설정 지역의 일출시간 및 일몰시간을 수집하는 일출 일몰시간 수집모듈 및 상기 일출 일몰시간 추출모듈로부터 추출된 일출시간 및 일몰시간에 따라 상기 카메라의 노출을 보정하는 노출보정모듈로 이루어진 CCTV 시스템"이 제시된 바 있다.In addition, in Republic of Korea Patent Registration No. 10-1322829, “a digital camera that generates an image file by photographing a target object and the digital camera are connected to the digital camera, and the image file is corrected according to the illuminance of the surrounding environment. An automatic compensation device for compensating exposure of a digital camera, wherein the automatic compensation device includes a sunrise and sunset time collection module for collecting sunrise and sunset times of a set region from a sunrise and sunset time DB in which sunrise and sunset times for each region are stored, and the sunrise and sunset A CCTV system comprising an exposure correction module that corrects the exposure of the camera according to the sunrise and sunset times extracted from the time extraction module” has been proposed.
그러나, 이와 같은 구성으로 이루어진 고해상도 씨모스 카메라가 적용된 주야간 자동 스위칭 방식의 감시용 카메라에서는 야간에 컬러를 재현할 경우 컬러 노이즈로 인해 피사체 식별에 문제가 생기고, 이 상황에서 피사체를 식별하고자 컬러 노이즈를 감소시키면 컬러의 재현성 문제와 야간에 피사체의 감도가 낮아지게 되므로 이 또한 피사체 식별에 문제가 된다.However, in a day/night automatic switching type surveillance camera to which a high-resolution CMOS camera configured as described above is applied, when color is reproduced at night, there is a problem in object identification due to color noise. If it is reduced, the color reproducibility problem and the sensitivity of the subject at night are lowered, which is also a problem for subject identification.
즉, 기존의 CCTV 카메라에서는 컬러의 재현성보다 감도를 더 우선함으로써 컬러는 흑백으로 전환하여 컬러 노이즈를 없애고, 흑백화면 상태에서 감도를 증가시키는 방법을 취하고 있는 실정이다.That is, in the existing CCTV cameras, by giving priority to sensitivity over color reproducibility, the color is converted to black and white to eliminate color noise, and a method of increasing the sensitivity in a black and white screen is taken.
본 발명은 이와 같은 종래의 제반 문제점을 해결하기 위해 안출한 것으로서, 기존 저조도 영상의 감도를 높이기 위해 흑백화면으로 전환하여 컬러의 식별성이 현저히 떨어지게 되는 점과, 저조도 영상의 감도를 높이므로 발생하는 영상 끌림 및 잔상 현상에 의해 감시자가 피사체의 구분이 어려워 감시카메라의 역할이 감소되는 현상을 예방하기 위해, CCTV 카메라의 중요한 요소는 피사체의 정확한 식별이므로 식별성을 높이기 위한 필연적인 요소인 야간 감도와 피사체 컬러를 모두 향상시킬 수 있도록 컬러 노이즈 억제기, 저조도 감도 향상기, 저조도 노이즈 감쇠기를 제안함으로써, 감시하고자 하는 피사체의 컬러 영상 출력이 가능하여 피사체에 대한 정확한 식별을 할 수 있는 저 조도 시 컬러 제어기능을 갖는 CCTV 시스템 및 CCTV 시스템의 저 조도시 컬러 제어방법을 제공하는 데 그 목적이 있다.The present invention has been devised to solve the problems of the related art. In order to increase the sensitivity of the existing low-light image, the color discrimination is significantly reduced by switching to a black-and-white screen, and the image generated by increasing the sensitivity of the low-light image In order to prevent a phenomenon in which the role of a surveillance camera is reduced because it is difficult for a monitor to distinguish a subject due to dragging and afterimage phenomena, an important element of a CCTV camera is accurate identification of the subject, so night sensitivity and subject color, which are essential elements to increase identification, are essential. By proposing a color noise suppressor, low-light sensitivity enhancer, and low-light noise attenuator to improve all An object of the present invention is to provide a CCTV system having a low-illuminance color control method of the CCTV system.
상기한 목적을 달성하기 위한 본 발명의 저 조도 시 컬러 제어기능을 갖는 CCTV 시스템은, 렌즈와 이미지 센서, 이미지 시그널 프로세서(Image Signal Procesor) 및 코덱(Codec)을 구비한 CCTV 시스템에 있어서,In order to achieve the above object, the CCTV system having a color control function during low illumination of the present invention is a CCTV system having a lens, an image sensor, an image signal processor and a codec,
상기 이미지 시그널 프로세서는 피사체를 느낌 있게 찍을 수 있도록 노광시간을 조절하는 기능을 수행하는 디지털 슬로우 셔터(Dgital Slow Shutter) 제어기와 디지털신호 처리로 잡음을 억압하여 0.05~0.08 lux 이하의 저 조도 모드에서 잔상이 남지 않도록 하기 위해 전체 노이즈 대비 80% 범위 내에서 노이즈를 감쇠시켜주는 디지털노이즈 감쇠기(Digital Noise Reducter)와 주간에 LCD Mode를 유지하고, 저조도 감도를 증가시키기 위해 자동 게인 제어기를 통해 야간을 인지하면 영상의 출력 감마를 LCD Mode인 0.55 감마로 적용하고, 저조도 상태에서는 0.35 감마를 적용하여 감마를 조절해 주는 감마(Gamma) 제어기와 피사체 구분이 용이한 최대값으로 게인을 자동 조절하는 기능을 수행하는 자동 게인 제어기(Auto Gain Control; AGC)를 구비시킨 것을 특징으로 한다.The image signal processor suppresses noise with a digital signal processing and a digital slow shutter controller that controls the exposure time so that the subject can be taken with a feeling, and an afterimage in low light mode of 0.05 to 0.08 lux or less Digital Noise Reducter, which attenuates noise within 80% of the total noise, maintains LCD Mode during the daytime, and the automatic gain controller to increase low-light sensitivity. The gamma controller that adjusts the gamma by applying the output gamma of the image as 0.55 gamma, which is the LCD mode, and 0.35 gamma in low light conditions, and the function of automatically adjusting the gain to the maximum value for easy identification of subjects. It is characterized in that the automatic gain controller (Auto Gain Control; AGC) is provided.
이때, 상기 디지털 슬로우 셔터 제어기는, 저 조도 모드인 0.05~0.08(LUX) 이하에서 끌림이 발생하지 않도록 하기 위해 출력되는 프레임 수를 초당 7 프레임 이상이 되도록 동작하게 한 것을 특징으로 한다.In this case, the digital slow shutter controller is characterized in that the number of output frames is 7 frames per second or more in order to prevent dragging in the low-illuminance mode of 0.05 to 0.08 (LUX) or less.
또, 상기 디지털 노이즈 감쇠기는, 상기 디지털 슬로우 셔터 제어기를 통해 순차적으로 입력되는 복수의 영상 프레임 중 정해진 기준 프레임과 이전 프레임 2개를 상호 비교하여 그 편차를 감쇠시켜 주는 2D-NR(2-Digital Noise Reducter)과 상기 2D-NR을 통해 1차 노이즈가 감쇄된 상태에서 순차적으로 입력되는 영상 프레임을 3개씩 상호 비교하고 그 편차를 감쇠시켜 주는 3D-NR(3-Digital Noise Reducter)로 구성한 것을 특징으로 한다.In addition, the digital noise attenuator compares a predetermined reference frame with two previous frames among a plurality of image frames sequentially input through the digital slow shutter controller to attenuate the deviation. Reducter) and a 3D-NR (3-Digital Noise Reducter) that compares three sequentially input image frames in a state in which the primary noise is attenuated through the 2D-NR and attenuates the deviation. do.
또한, 상기 렌즈는 F2.0 이상의 렌즈(Fixed type or Varifocal type)를 사용하고, 이미지 센서는 최소 800mV 이상의 감도 유지가 가능한 센서를 사용한 것을 특징으로 한다.In addition, it is characterized in that the lens uses a lens of F2.0 or higher (Fixed type or Varifocal type), and the image sensor uses a sensor capable of maintaining a sensitivity of at least 800mV or higher.
또, 상기 이미지 센서는 1440×1024 해상도를 갖는 1.5M 픽셀 이상의 고해상도를 갖는 것을 특징으로 한다.In addition, the image sensor is characterized in that it has a high resolution of 1.5M pixels or more having a resolution of 1440×1024.
한편, 상기한 목적을 달성하기 위한 CCTV 시스템의 저 조도 시 컬러 제어방법은, 렌즈와 이미지 센서, 이미지 시그널 프로세서(Image Signal Procesor) 및 코덱(Codec)을 구비한 CCTV 시스템의 저 조도 시 컬러 제어방법을 구성함에 있어서, 상기 이미지 시그널 프로세서에서 상기 이미지 센서를 통하여 전달받은 영상신호의 조도가 저 조도 상태인지를 판단하는 단계와 저 조도로 판단된 경우 이미지 센서의 노광 시간을 조정하는 단계와 이어서 저 조도에서 촬영된 영상의 게인 값에 따라 저 조도 컬러를 조정하는 서브루틴을 수행하는 단계와 저 조도 노이즈를 감쇠시키는 단계와 저 조도 영상출력 감마를 조정하는 단계를 수행하도록 한 것을 특징으로 한다.On the other hand, the low-illuminance color control method of a CCTV system for achieving the above object is a low-illuminance color control method of a CCTV system having a lens, an image sensor, an image signal processor, and a codec. In configuring , the image signal processor determines whether the illuminance of the image signal received through the image sensor is in a low illuminance state, and when it is determined that the illuminance is low, adjusting the exposure time of the image sensor, followed by the low illuminance It is characterized in that the subroutine for adjusting the low-illuminance color is performed according to the gain value of the image taken in , the step of attenuating the low-illuminance noise, and the steps of adjusting the low-illuminance image output gamma.
이때, 상기 이미지 시그널 프로세서에서 이미지 센서를 통하여 전달받은 영상신호의 조도가 저 조도로 판단하는 기준은, 0.05~0.08 lux 이하로 설정한 것을 특징으로 한다.In this case, the criterion for determining that the illuminance of the image signal transmitted through the image sensor from the image signal processor is low is set to 0.05 to 0.08 lux or less.
또한, 저 조도 컬러를 조정하는 서브루틴은, 현재 조도를 인지하는 게인 값이 정해진 Low값 보다 작거나 같은지, 아니면 Low 보다는 크고 정해진 Middle 보다 작거나 같은지, 또는 Middle 보다는 크고 정해진 High 보다 작거나 같은지, 또는 정해진 High 보다 큰지를 순차적으로 판단하게 단계와 상기와 같이 순차적으로 판단한 결과, 조도를 인지하는 현재 게인 값이 Low값보다 작거나 같으면 컬러 보정을 하지 않고 최대 컬러 게인을 유지하는 단계와 현재 게인 값이 Low값보다는 크고 Middle 보다 작거나 같으면, 현재 조도에 맞는 컬러 게인 적용하되, 조도의 저하에 컬러 신호를 보정하기 위하여 선형 보간하는 단계와 현재 게인 값이 Middle값보다는 크고 High 보다 작거나 같으면, 컬러 노이즈의 증가분을 억제하기 위해, 컬러 게인에 대한 선형 보간을 실행하는 단계와 그러나 현재 게인 값이 High값보다 크면, 조도는 완전히 어두운 상태로 간주하여 컬러 게인의 최소값을 유지하는 단계로 이루어진 것을 특징으로 한다.In addition, the subroutine for adjusting the low illuminance color determines whether the gain value for recognizing the current illuminance is less than or equal to a predetermined Low value, whether greater than Low and less than or equal to a predetermined Middle, or whether greater than the Middle and less than or equal to a predetermined High, Alternatively, the step of sequentially determining whether it is greater than a predetermined High and the step of maintaining the maximum color gain without color correction if the current gain value for recognizing the illuminance is less than or equal to the Low value as a result of sequentially determining as described above and the current gain value If it is greater than this Low value and less than or equal to the Middle value, the color gain suitable for the current illuminance is applied, but a step of linear interpolation to correct the color signal when the illuminance is lowered and the current gain value is greater than the Middle value and less than or equal to the High In order to suppress the increase in noise, linear interpolation for the color gain is performed, but if the current gain value is greater than the High value, the illuminance is regarded as completely dark and the minimum value of the color gain is maintained. do.
이때, 상기 Low 값은 1[DB]로 설정하고, Middle 값은 35.1[DB]로 설정하며, High 값은 35.1[DB]를 초과하도록 설정한 것을 특징으로 한다.At this time, the Low value is set to 1 [DB], the Middle value is set to 35.1 [DB], and the High value is set to exceed 35.1 [DB].
이상에서 설명한 바와 같이 본 발명의 저 조도 시 컬러 제어기능을 갖는 CCTV 시스템 및 CCTV 시스템의 저 조도 시 컬러 제어방법에 의하면, 렌즈와 이미지 센서, 이미지 시그널 프로세서 및 코덱을 구비한 CCTV 시스템 중 상기 이미지 시그널 프로세서에서 상기 이미지 센서를 통하여 전달받은 영상신호의 조도가 저 조도 상태인지를 판단하여, 만약 저 조도로 판단되면 이미지 센서의 노광 시간을 조정하고, 이어서 저 조도에서 촬영된 영상의 게인 값에 따라 저 조도 컬러를 조정하는 서브루틴을 수행한 다음, 저 조도 노이즈를 감쇠시키고, 저 조도 영상출력 감마를 조정하도록 함으로써 저 조도 하에서 CCTV가 작동하게 되어 노광시간 증가, 저 조도 감도 상승 및 노이즈 제거의 단계를 거치게 되어도, 컬러를 식별할 수 있고 움직이는 피사체에 대한 식별성이 저해 받지 않으므로 저 조도 CCTV 시스템 자체의 상품성과 사용 목적에 따른 신뢰도 등을 대폭 향상시킬 수 있는 등 매우 유용한 발명인 것이다.As described above, according to the CCTV system having a low-illuminance color control function and the low-illuminance color control method of the CCTV system of the present invention as described above, the image signal among CCTV systems having a lens, an image sensor, an image signal processor, and a codec The processor determines whether the illuminance of the image signal received through the image sensor is in a low illuminance state. If it is determined that the illuminance is low, the processor adjusts the exposure time of the image sensor, and then adjusts the exposure time of the image sensor according to the gain value of the image captured in the low illuminance. After executing the subroutine to adjust the illuminance color, by attenuating the low illuminance noise and adjusting the low illuminance image output gamma, the CCTV works under low illuminance, increasing the exposure time, increasing the low illuminance sensitivity and removing the noise. It is a very useful invention, such as being able to identify colors and not hindering the identification of moving subjects, greatly improving the commerciality and reliability of the low-light CCTV system itself according to the purpose of use.
도 1은 본 발명이 적용된 저 조도 시 컬러 제어기능을 갖는 CCTV 시스템의 블럭 구성도.
도 2는 본 발명 방법을 설명하기 위한 플로우챠트.
도 3은 도 2 중 저 조도 컬러 조정 서브루틴을 설명하기 위한 플로우챠트.
도 4는 ISP 내 디지털 슬로우 셔터 제어기에서 실시하는 노출 제어방법을 도시한 그래프.
도 5는 본 발명이 적용된 저 조도 CCTV 시스템 중 ISP의 구체적인 블록 구성도.
도 6은 도 5 중 디지털 노이즈 감쇠기의 상세 블록 구성도.
도 7은 ISP 내 감마 제어기에서 영상출력 감가를 제어하는 예시 그래프.
도 8은 본 발명 중 코덱의 블록 구성도.
도 9는 ISP에서 노광시간을 제어하는 형태를 보인 그래프.
도 10은 본 발명 중 컬러 억제 구간을 도시한 그래프.
도 11의 (a)~(d)는 본 발명 중 ISP에서 컬러를 억제할 때 각 영역을 도시한 그래프.1 is a block diagram of a CCTV system having a color control function during low illumination to which the present invention is applied.
2 is a flowchart for explaining the method of the present invention;
3 is a flowchart for explaining a low-illuminance color adjustment subroutine in FIG. 2;
4 is a graph illustrating an exposure control method performed by a digital slow shutter controller in an ISP.
Figure 5 is a detailed block diagram of the ISP of the low-illuminance CCTV system to which the present invention is applied.
6 is a detailed block diagram of the digital noise attenuator of FIG. 5;
7 is an exemplary graph for controlling the image output depreciation in the gamma controller in the ISP.
8 is a block diagram of a codec in the present invention.
9 is a graph showing a form of controlling an exposure time in an ISP.
10 is a graph showing a color suppression section in the present invention.
11 (a) to (d) are graphs showing each region when color is suppressed in the ISP in the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하면 다음과 같다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
즉, 이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시 예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시 예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.That is, the following is merely illustrative of the principles of the present invention. Therefore, those skilled in the art will be able to devise various devices that, although not explicitly described or shown herein, embody the principles of the present invention and are included within the spirit and scope of the present invention. In addition, all conditional terms and examples listed herein are, in principle, expressly intended only for the purpose of understanding the concept of the present invention, and it should be understood that they are not limited to the specifically enumerated embodiments and states as such. do.
또한, 본 발명의 원리, 관점 및 실시 예들뿐만 아니라 특정 실시 예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.Moreover, it is to be understood that all detailed description reciting the principles, aspects, and embodiments of the invention, as well as specific embodiments, are intended to cover structural and functional equivalents of such matters. It should also be understood that such equivalents include not only currently known equivalents, but also equivalents developed in the future, i.e., all devices invented to perform the same function, regardless of structure.
아울러, 본 발명의 설명에 통상의 기술이 적용될 때에는 통상의 기술에 대한 상세 설명을 생략할 수 있다.In addition, when conventional technology is applied to the description of the present invention, a detailed description of the conventional technology may be omitted.
도 1은 본 발명이 적용된 저 조도 시 컬러 제어기능을 갖는 CCTV 시스템의 블럭 구성도를 나타낸 것이다.1 shows a block diagram of a CCTV system having a color control function in low light to which the present invention is applied.
먼저, 일반적인 CCTV에서 컬러의 감도특성은 1.5(LUX), 흑백은 0.15(LUX)로서, 야간 촬영시에는 오히려 컬러 영상이 흑백 영상보다 훨씬 떨어지는 영상을 나타내므로, 컬러 CCTV인 경우에도 야간에는 IR 광선을 사용하여 흑백 영상을 얻는 경우가 존재한다.First, in general CCTV, color sensitivity is 1.5 (LUX) and black and white is 0.15 (LUX). There are cases in which black and white images are obtained using
하지만 본 발명에서는 0.05~0.08(LUX) 이하에서도 컬러 영상을 구현하는 기술을 제공하고자 하는 것이다.However, in the present invention, it is an object to provide a technology for realizing a color image even at 0.05 to 0.08 (LUX) or less.
즉, 본 발명이 적용된 저 조도 컬러 제어기능을 갖는 CCTV 시스템은 도 1과 같이, 렌즈(10)와 이미지 센서(20), 이미지 시그널 프로세서(Image Signal Procesor; 이하 "ISP"와 병기함)(30) 및 코덱(Codec)(40)을 구비한 형태를 갖는다.That is, the CCTV system having a low-illuminance color control function to which the present invention is applied is, as shown in FIG. 1, a lens 10, an
또한, 상기 코텍(40)을 통하여 최종적으로 만들어진 영상은 유무선 통신망(50)을 통하여 필요한 곳에 전송되게된다.In addition, the image finally made through the
이때, 상기 유무선 통신망(50)은 인터넷(INTERNET), 이더넷(Ethernet), Wi-fi 등의 다양한 통신망 사용될 수도 있음은 물론 통신 모듈(Module)을 사용할 수도 있다.In this case, the wired/
한편, 본 발명이 적용된 저 조도 시 컬러 제어기능을 갖는 CCTV 시스템의 구성요소 중 상기 렌즈(10)는 통상 좋은 성능의 렌즈가 사용하는 것이 바람직하나, F2.0 이상의 일반적인 렌즈(Fixed type or Varifocal type)를 적용할 수도 있다.On the other hand, among the components of the CCTV system having a color control function in low light to which the present invention is applied, the lens 10 is preferably a lens with good performance, but a general lens (Fixed type or Varifocal type) of F2.0 or higher. ) can also be applied.
또한, 이미지 센서(20)로는 1440×1024 해상도를 갖는 1.5M 픽셀 이상의 고해상도를 갖는 것을 사용할 수 있으며, 그 이상의 고해상도일수록 더 좋은 효과를 얻을 수 있다.In addition, as the
그러나, 480 또는 600 TV line을 재현하는 270K 또는 410K 픽셀 이상의 컬러도 무난하다. 그리고, 더 선명한 촬영을 위해 1027 X 768 , 1280 X 960, 1920 X 1080 등의 고해상도를 갖는 HD급의 카메라를 채용할 수도 있다.However, color over 270K or 410K pixels that reproduces 480 or 600 TV lines is acceptable. In addition, for clearer shooting, a high-definition camera having a high resolution such as 1027 X 768 , 1280 X 960 , 1920 X 1080 may be employed.
아울러 상기 이미지 센서(20)를 통하여 촬영된 신호는 ISP(30)에 전송된다.In addition, the signal photographed through the
그리고 상기 ISP(30)에서 컬러 노이즈(Color Noise)를 발생할 수 있는 조도에서는 컬러 억제를 통해 컬러 노이즈를 적절하게 제거하게 된다.In addition, at the illuminance at which the
도 5는 본 발명이 적용된 저 조도 CCTV 시스템 중 ISP의 구체적인 블록 구성도를 나타낸 것이고, 도 6은 도 5중 디지털 노이즈 감쇠기의 상세 블록 구성도를 나타낸 것이다.5 shows a detailed block diagram of an ISP among the low-illuminance CCTV systems to which the present invention is applied, and FIG. 6 shows a detailed block diagram of the digital noise attenuator in FIG.
상기 ISP(Image Signal Proceser)(30)에서는, 크게 이미지 센서(20)에서 출력된 저 조도에서 촬영된 영상 신호를 정해진 알고리즘을 통하여, 잔상과 끌림이 발생하지 않고 컬러 식별이 가능한 영상 신호를 만들기 위한 알고리즘 즉, 상기한 도 2 및 도 3을 수행한다.In the ISP (Image Signal Processor) 30, the image signal photographed in low light output from the
이때, 상기 ISP(30) 내에는 디지털 슬로우 셔터 제어기(Dgital Slow Shutter)(31)와, 디지털 노이즈 감쇠기(Digital Noise Reducter)(32), 감마(Gamma) 제어기(33) 및 자동 게인 제어기(Auto Gain Control; AGC)(34) 등을 구비하고 있다.At this time, in the
또한, 본 발명에서 사용되는 광학부인 렌즈(10)는 F2.0 이상의 일반적인 렌즈(Fixed type or Varifocal type)를 사용하게 되고, 이미지 센서(20)는 최소 800mV 이상의 감도 유지가 필수이다.In addition, the lens 10, which is the optical unit used in the present invention, uses a general lens (Fixed type or Varifocal type) of F2.0 or higher, and it is essential for the
한편, 상기 ISP(30) 내 디지털 슬로우 셔터 제어기(31)에서는 피사체를 느낌 있게 찍을 수 있도록 노광시간을 조절하는 기능을 수행하는 것으로, 저 조도 모드인 0.05~0.08(LUX) 이하에서 끌림이 발생하지 않기 위해서는 출력되는 프레임 수를 초당 7 프레임 이상이 되도록 동작하는 것이 바람직하다.On the other hand, the digital
도 4는 ISP 내 디지털 슬로우 셔터 제어기에서 실시하는 노출 제어방법을 도시한 그래프로써, 상기 디지털 슬로우 셔터 제어기(31) 내의 마이컴(도시 생략함)의 제어를 받아 디지털 슬로우 셔터 제어기(31)에서 휘도성분(Y) 즉, 현재의 밝기를 나타내는 값을 기준으로 전체 노출을 제어하는 것을 도시한 것이다.4 is a graph showing an exposure control method performed by the digital slow shutter controller in the ISP. The luminance component in the digital
본 발명에서의 주된 내용은 도 4의 그레이 영역 즉, Low Light영역에서의 컬러 재현성에 대한 내용을 주안점을 두었으며, 카메라가 전체 노출제어를 어떻게 수행하는가를 나타내고 있다.The main content of the present invention focuses on color reproducibility in the gray region of FIG. 4, that is, in the low light region, and shows how the camera performs overall exposure control.
완전히 어두운 상태에서 밝아지는 경우에는 Slow Shutter -> Gain -> Iris(조리개) -> Shutter의 단계로 제어하게 되며, 밝은 상태에서 어두워지는 Low Light 단계로 접어들 경우에는 Shutter -> Iris -> Gain -> Slow Shutter의 순으로 제어가 되는데, 이때 밝고 어둡고의 관계는 휘도성분(Y)를 기준으로 판단하게 되며 저조도(Low Light)의 정도는 게인(Gain)이 인가되는 단계부터 시작된다고 보면 된다.When it becomes bright from a completely dark state, it is controlled by the steps of Slow Shutter -> Gain -> Iris -> Shutter. > Control is performed in the order of Slow Shutter. At this time, the relationship between light and dark is judged based on the luminance component (Y), and the degree of low light can be regarded as starting from the stage where gain is applied.
예를 들어, 센서 입장에서 설명하면 Long Exposuer Time을 의미하며, 720p/60 기준에서 셔터 값이 1/60일 경우 4 frame 축척된 Long Exposuer Time은 16.67ms(1/60) * 4 = 66.68ms(약 15fps)로 노출시간을 늘린다는 것을 의미하게 된다.For example, from the point of view of the sensor, it means Long Exposuer Time, and when the shutter value is 1/60 in 720p/60 standard, the Long Exposuer Time scaled by 4 frames is 16.67ms(1/60) * 4 = 66.68ms( It means increasing the exposure time to about 15 fps).
또, 상기 디지털 노이즈 감쇠기(32)는 2D-NR(321)과 3D-NR(322)을 구비하고 디지털신호 처리로 잡음을 억압하여 0.05~0.08 lux 이하의 저 조도 모드에서 잔상이 남지 않도록 하기 위해 전체 노이즈 대비 80% 범위 내에서 노이즈를 감쇠시켜 주는 기능을 수행한다.In addition, the
이때, 상기 2D-NR(321)은 상기 디지털 슬로우 셔터 제어기(31)를 통해 순차적으로 입력되는 복수의 영상 프레임중 정해진 기준 프레임과 이전 프레임 2개를 상호 비교하여 그 편차에 대응하여 노이즈를 감쇠시켜 주는 기능을 하게 되는데, 이와 같은 2D-NR(321)에서 노이즈 감쇠를 크게 할 경우 노이즈 감쇠 정도에 비례하여 해상도가 나빠지는 역효과를 예방하기 위해 전체 노이즈 감쇠에 10% 정도를 담당하도록 하였다.At this time, the 2D-
또, 상기 3D-NR(322)은 상기 2D-NR(321)을 통해 1차적 노이즈가 감쇄된 상태에서 순차적으로 입력되는 영상 프레임들 중 3개의 프레임씩 상호 비교하고 그 편차에 대응하여 노이즈를 감쇠시켜 주는 기능을 수행하게 되는데, 이와 같은 3D-NR(322)에서는 노이즈 감쇠 정도를 크게 할 경우 영상의 끌림, 잔상 등의 역효과가 발생하지 않도록 전체 노이즈 감쇠에 70%를 담당하도록 하였다.In addition, the 3D-
즉, 상기 디지털 노이즈 감쇠기(32)는 저 조도 모드 시 0.05~0.08 lux에서 잔상이 남지 않도록 전체 노이즈 대비 80% 범위 내에서 노이즈를 감쇠시켜 주는데, 3D-NR(322)과 2D-NR(321) 두 가지를 모두 사용하여 노이즈를 감쇠하고 있으며, 주간/야간 구분하여 감도를 조정하도록 되어 있다.That is, the
또한, 상기 감마 제어기(33)는 주간에 LCD Mode를 유지하고, 저조도 감도를 증가시키기 위해 자동 게인 제어기를 통해 야간을 인지하면 영상의 출력 감마를 LCD Mode인 0.55 감마로 적용하고, 저조도 상태에서는 0.35 감마를 적용하여 감마를 조절해 주는 기능을 수행한다.In addition, the
예를 들어, 야간을 인지하는 조건은 휘도와 게인 값을 동시에 적용하는 것으로, 일반 LCD 기준의 감마는 통상 1.0을 이야기하지만 튜닝하면서 변경된 0.55 감마를 적용하고, 카메라의 기본값을 기준으로 게인은 약 27.3dB 이상의 조건에서, 휘도가 약 4 lux 이하일 경우 야간으로 간주하게 되며, 이때 감마값은 0.35 감마로 적용하게 된다.For example, the condition for recognizing night time is to apply luminance and gain values at the same time. The standard LCD standard gamma is 1.0, but 0.55 gamma changed while tuning is applied, and the gain is about 27.3 based on the camera's default value Under the condition of dB or higher, when the luminance is less than about 4 lux, it is regarded as nighttime, and the gamma value is applied as 0.35 gamma.
또, 상기 자동 게인 제어기(34)는 저 조도 감도의 필수 요소로 Gain 증가량에 따라 도트 노이즈(dot Noise)가 많이 발생하게 되는데 피사체 구분이 용이한 최대값을 설정하는 기능을 수행한다.In addition, the
또한, 상기 코덱(40)은 디지털 노이즈 감쇠기(32) 내의 3D-NR(322)을 통해 2차적으로 노이즈가 감쇄된 상태에서 순차적으로 입력되는 영상 프레임들 중 3개의 프레임씩 상호 비교하고 그 편차에 대응하여 노이즈를 감쇠시켜 주는 3D-NR(41)을 구비하고 있는 것으로, 해상력 저하가 발생되지 않도록 전체 노이즈 감쇠에 20%를 담당하게 하여 3차적으로 노이즈를 감쇠하여 최종 영상신호로써 출력시켜 주게 된다.In addition, the
즉, 본 발명이 적용된 저 조도 시 컬러 제어기능을 갖는 CCTV 시스템에서는, 상기 ISP(30)에서 전체 영상신호 처리(저 조도에서 촬영된 영상을 식별 가능한 컬러 영상과 잔상이 없는 영상으로 만드는 신호처리)의 약 80%를 수행하고, 코덱(Codec)(40)에서는 전체 영상신호 처리의 약 20%를 수행하게 된다.That is, in the CCTV system having a color control function in low light to which the present invention is applied, the
이때, 영상의 끌림 및 잔상은 상기 코덱(40) 내 3D-NR(41)을 통해 노이즈 감쇠를 강하게 할 경우에 도드라지게 나타나게 되는데, 이러한 1차~3차 노이즈 감쇠기를 통해 영상 내 노이즈 감쇠 정도를 조정할 수 있게 되므로 영상의 끌림 및 잔상 등의 역효과가 발생하지 않게 된다.At this time, the drag and afterimage of the image appear conspicuously when the noise attenuation is strengthened through the 3D-
뿐만 아니라, 도 1에는 도시를 하지 않았지만, 영상 신호를 증폭하여 외부로 출력될 수 있도록 비디오 앰프 등도 더 구비시킬 수 있다.In addition, although not shown in FIG. 1 , a video amplifier or the like may be further provided to amplify an image signal and output it to the outside.
한편, 도 2는 본 발명 방법을 설명하기 위한 플로우챠트를 도시한 것으로, CCTV가 작동되기 시작하면(S1), 렌즈(10)와 이미지 센서(20)를 통하여 들어온 영상신호를 근거로 ISP(30)에서 미리 정해진 알고리즘을 수행하게 된다.On the other hand, FIG. 2 shows a flowchart for explaining the method of the present invention. When the CCTV starts to operate (S1), the
먼저, ISP(30) 내에서는 이미지 센서(20)를 통하여 전달받은 영상신호가 저조도 상태(예를 들어 0.05~0.08(LUX)이하)인지를 판단(S2)하여 만약, 저 조도로 판단되면 이미지 센서(20)의 노광시간을 도 9와 같이 조정하게 된다(S3).First, in the
이때, 저 조도의 판단은 별도의 영상에 반영되는 게인 값에 의해 판단하고, 혹은 가시광선 센서에 의해서도 판단하게 되며, 도 4에 도시된 디지털 슬로우 셔터 제어기(31)에서 실시하는 노출 제어방법을 도시한 그래프와 같이 카메라의 노출을 제어하는 단계가 Shutter -> Iris -> Gain으로 진행할 경우, Gain 단계로 진입하게 되면 저 조도라 판단하게 된다.At this time, the determination of low illuminance is determined by the gain value reflected in a separate image, or also determined by the visible light sensor, and the exposure control method performed by the digital
도 9는 상기 ISP(30)에서 노광시간을 제어(최소 게인 x1 대비 x8이 최대 게인으로 설정되어 있을 경우)하는 형태를 보인 그래프로서, 장 노출(Long Exposure) 구간에서는 밝기가 어두워지거나 밝아질 경우에 따라서 최대 게인인 x8의 노광시간까지 자동으로 제어하는데, 이때 이미지 센서(20)의 노광시간은 푸른색의 커브 구간을 따라 움직이게 된다.9 is a graph showing a form of controlling the exposure time in the ISP 30 (when the minimum gain x1 vs. x8 is set as the maximum gain), and when the brightness becomes dark or bright in the Long Exposure section Accordingly, the exposure time of the maximum gain of x8 is automatically controlled. At this time, the exposure time of the
이어서 상기 ISP(30)에서는 저 조도 컬러 조정(S4)과, 디지털 노이즈 감쇠기(32)를 통한 저 조도 노이즈 감쇠를 수행(S5)하고, 감마 제어기(33)를 통해 저 조도 영상출력 감마 조정을 수행(S6)하게 된다.Next, the
여기서 영상의 출력 감마의 조정은, 영상의 대비도를 좋게 하기 위해서 일반적인 상황(밝은 상황에서는)에서는 도 7의 (a)와 같이 압축 감마를 사용하고, 저조도에서는 도 7의 (b)와 같이 고른 감마 패턴과 고휘도 영역을 고르게 표현할 수 있도록 하였다.Here, to adjust the output gamma of the image, compressed gamma is used as shown in FIG. 7 (a) in a general situation (in a bright situation) in order to improve the contrast of the image, and is uniform as shown in FIG. 7 (b) in a low light. Gamma pattern and high luminance area can be expressed evenly.
결과적으로, 저 조도에서 촬영된 영상을 ISP(30)에서 전술한 단계를 수행하는 과정을 통해 통하여 컬러를 식별 할 수 있고, 움직이는 피사체에 대한 식별이 가능한 영상으로 변환하는 과정을 완료하고 종료(S7)하거나, 또는 S2 단계에서 저 조도가 아니라고 판단되면 곧바로 상기 알고리즘은 종료된다(S7).As a result, the
도 3은 도 2 중 저 조도 컬러 조정 서브루틴(S4)을 설명하기 위한 플로우챠트를 도시한 것이다.FIG. 3 is a flowchart illustrating the low-illuminance color adjustment subroutine S4 of FIG. 2 .
일반적으로, 저 조도시 컬러 노이즈의 발생을 억제하기 위해서는 각각의 컬러에 대한 억제를 가하게 되며, 이때 영상에 반영되는 게인 값에 의해 조도를 판단하고, 컬러를 억제시키는 정도를 영상의 변화에 따라 선형 보간하도록 방법을 채택하고 있다.In general, in order to suppress the occurrence of color noise during low illumination, each color is suppressed. At this time, the illumination is determined by the gain value reflected in the image, and the degree of color suppression is linear according to the change of the image. An interpolation method is adopted.
도 11은 본 발명 중 ISP에서 컬러를 억제할 때 각 영역을 도시한 그래프로써, 이와 같이 컬러억제 게인의 조정으로 각 조도에 맞게 튜닝되어 사용된다.11 is a graph showing each region when color is suppressed in the ISP of the present invention, and is tuned and used according to each illuminance by adjusting the color suppression gain as described above.
즉, 종래에는 고정된 게인 값을 적용함으로써 컬러억제를 노이즈 대비 컬러 표현력을 균등하게 유지시키지 못하였으나, 본 발명에서는 노이즈 대비 컬러 표현력을 균등하게 유지할 수 있으며, 컬러 노이즈를 줄일 수 있는 선형보간법을 사용 하였다.That is, conventionally, color suppression by applying a fixed gain value did not keep color expression power equal to noise, but in the present invention, color expression power versus noise can be equally maintained and a linear interpolation method capable of reducing color noise is used. did
도 11의 (a)는 일반조도의 환경으로 판단하여 컬러 노이즈의 도출이 되지 않게 되므로 최대의 게인으로 컬러를 표현하도록 하는 영역이며, 식 1에 의해 제어된다. 도 11의 (b)영역은 (a) 환경에서 저조도로 진입되는 영역으로 판단하여 게인을 낮추어 컬러 표현력은 저해하지 않으며, 컬러 노이즈는 강하게 억제 되도록 식 2 따라 제어된다.11( a ) is an area in which color is expressed with the maximum gain because color noise is not derived by judging by the general illuminance environment, and is controlled by
또한, 도 11의 (c)영역은 저조도로 진입되었으며 컬러 노이즈가 증대되는 시점으로 컬러 게인은 식 3에 의해 제어되도록 한다. 도 11의 (d)영역은 최저조도로 판단되는 영역이며 식 4에 의해 제어된다.In addition, the region (c) of FIG. 11 is a point in time at which low illuminance is entered and color noise is increased, and the color gain is controlled by Equation 3. The region (d) of FIG. 11 is the region determined by the lowest illuminance and is controlled by Equation 4.
이와 같이 ISP(30)에서 컬러 억제를 하게 되면 컬러가 빠지게 되며, 이때에는 저 조도시의 컬러 억제 게인을 튜닝함으로써 컬러 표현이 원활하게 된다.In this way, when color suppression is performed in the
이때, 컬러의 표현력을 높이기 위해서는 컬러 노이즈 대비 컬러 억제를 조절해야 하는데, 컬러 노이즈는 줄이고 컬러의 표현력을 최대한 살리기 위해 도 10에 도시한 본 발명 중 컬러 억제 구간의 그래프와 같이 저조도 게인의 범위를 총 4단계로 분리하고, 각 영역을 도 11의 (a)~(d)와 같이 각 컬러에 대해 억제를 하게 된다.At this time, in order to increase the expressive power of color, it is necessary to adjust the color suppression compared to the color noise. In order to reduce the color noise and maximize the expressive power of the color, as shown in the graph of the color suppression section of the present invention shown in FIG. It is divided into 4 steps, and each area is suppressed for each color as shown in (a) to (d) of FIG. 11 .
이와 같이 각 단계로 분리 적용한 이유는, 게인의 정도에 따라 노이즈의 크기가 달라지기 때문에 각 단계에서 컬러 억제 정도도 변해야 하고, 그래야 컬러 노이즈 대비 컬러의 재현성을 조절할 수 있기 때문입니다.The reason for applying separately in each stage like this is that since the size of noise varies according to the level of gain, the degree of color suppression must also change at each stage, so that color reproducibility can be adjusted compared to color noise.
한편, 저 조도 컬러 조정에 대한 원리를 도 3과 상기한 도 10 및 도 11의 (a)~(d)를 참조하여 설명하면 다음과 같다.Meanwhile, the principle of low-illuminance color adjustment will be described with reference to FIG. 3 and FIGS. 10 and 11 (a) to (d) above.
먼저, 상기 ISP(30)에서 센서의 노광시간 조정(S3) 후 컬러 조정(S4)하는 단계가 시작(S40)되면, 현재 게인 값이 정해진 Low값 보다 작거나 같은지(S41), 아니면 Low 보다는 크고 정해진 Middle 보다 작거나 같은지(S43), 또는 Middle 보다는 크고 정해진 High 보다 작거나 같은지(S45), 또는 정해진 High 보다 큰지(S47)를 순차적으로 판단하게 된다.First, when the step of adjusting the color (S4) after adjusting the exposure time (S3) of the sensor in the
상기와 같이 ISP(30)에서 현재 게인 값의 크기를 판단한 결과, 정해진 Low 보다 작거나 같으면(S41에서 Yes), 저 조도 컬러를 보정 게인 최대값으로 보정하여 게인 최대값을 유지시켜 주게 된다(S42).As a result of determining the magnitude of the current gain value in the
즉, 조도를 인지하는 현재 게인 값이 Low값보다 작거나 같으면 컬러 보정을 하지 않고 최대 컬러 게인을 유지하게 된다.That is, if the current gain value for recognizing illuminance is less than or equal to the Low value, the maximum color gain is maintained without color correction.
그러나, 현재 게인 값이 정해진 Low 보다는 크고(S41에서 No), Middle 보다 작거나 같으면(S43에서 Yes), 저 조도 컬러 게인을 영상의 변화에 따라 선형 보간해 주게 된다(S44).However, if the current gain value is greater than the predetermined Low (No in S41) and less than or equal to the Middle (Yes in S43), the low illuminance color gain is linearly interpolated according to the change of the image (S44).
즉, 현재 게인 값이 Low값보다는 크고 Middle 보다 작거나 같으면(도 11의 (b)참조), 현재 조도에 맞는 컬러 게인 적용하되, 조도의 저하에 컬러 신호를 보정하기 위한 선형 보간은 도 10의 (b)에 도시한 바와 같이 해당 영역의 조도 변화에 따라 컬러 게인의 값을 보간하여 적용하게 된다.That is, if the current gain value is greater than the Low value and less than or equal to the Middle value (refer to (b) of FIG. 11), a color gain suitable for the current illuminance is applied, but the linear interpolation for correcting the color signal in case of a decrease in illuminance is shown in FIG. As shown in (b), the color gain value is interpolated and applied according to the change in illuminance of the corresponding area.
또한, 현재 게인 값의 크기를 판단한 결과 Middle 보다는 크고(S43에서 No), High 보다 작거나 같으면(S45에서 Yes), 저 조도 컬러 게인을 영상의 변화에 따라 도 10의 (c)와 같이 선형 보간해 주게 된다(S46).In addition, as a result of judging the size of the current gain value, if it is greater than Middle (No in S43) and less than or equal to High (Yes in S45), the low-illuminance color gain is linearly interpolated as shown in (c) of FIG. It will do (S46).
즉, 현재 게인 값이 Middle값보다는 크고 High 보다 작거나 같으면(도 11의 (c) 참조), 컬러 노이즈의 증가분을 억제하기 위해, 컬러 게인에 대한 선형 보간을 도 10의 (c)에 도시한 바와 같이 해당 영역의 조도 변화에 따라 컬러 게인의 값을 보간하여 적용하게 된다.That is, if the current gain value is greater than the Middle value and less than or equal to High (refer to FIG. 11(c)), in order to suppress the increase in color noise, linear interpolation for the color gain is shown in FIG. 10(c). As shown, the color gain value is interpolated and applied according to the change in illuminance of the corresponding area.
한편, 상기 ISP(30)에서 현재 게인 값의 크기를 판단한 결과, High 보다도 크면, 도 10의 (d) 참조, S47에서Yes) 저 조도 컬러 보정을 최소값으로 보정하여 게인 최소값을 유지 즉, 현재 게인 값이 High값보다 크면 조도는 완전히 어두운 상태로 간주하여 컬러 게인의 최소값을 유지시켜 준 다음(S48), 저 조도 컬러 조정에 대한 알고리즘 수행을 종료한다(S49).On the other hand, as a result of determining the magnitude of the current gain in the
다시 말해서, 상기 ISP(30)에서 수행하는 컬러 조정 방법은, 조도를 인지하는 게인 값이 정해진 Low(예를 들어 Approx. 1[dB])값보다 작거나 같으면 컬러 보정을 하지 않고 최대 컬러 게인을 유지시켜 준다.In other words, in the color adjustment method performed by the
그러나, 좀더 어두운 상태로 조도가 변화할 경우, 즉 게인 값이 Low 보다 크고 정해진 Middle(예를 들어However, when the illuminance is changed to a darker state, that is, the gain value is larger than Low and set Middle (for example,
Approx. 35.1[dB])값보다 작거나 같은 경우에는 현재 조도에 맞는 컬러 게인 적용하되, 조도의 저하에 컬러 신호를 보정하기 위하여 선형 보간한다.Approx. 35.1[dB]) value, apply a color gain suitable for the current illuminance, but perform linear interpolation to correct the color signal in case of a decrease in illuminance.
또한, 그보다 더 어두운 조도로 판단될 경우, 즉 게인 값이 Middle 보다 크고 High(예를 들어 Approx. 35.1[dB] 초과)값보다 작거나 같은 경우에는, 컬러 노이즈의 증가분을 억제하기 위해 컬러 게인에 대한 선형 보간을 실행하고, 게인 값이 High보다 큰 경우에는 조도는 완전히 어두운 상태로 간주하여 컬러 게인의 최소값을 유지하는 것이다.In addition, when it is judged that the illuminance is darker than that, that is, when the gain value is greater than Middle and less than or equal to the High (eg Approx. 35.1 [dB] or more) value, the color gain is applied to suppress the increase in color noise. Linear interpolation is performed for the , and when the gain value is greater than High, the illuminance is regarded as a completely dark state and the minimum value of the color gain is maintained.
10 : 렌즈 20 : 이미지 선서
30 : 이미지 시그널 프로세서("ISP"와 병기함)
31 : 디지털 슬로우 셔터 제어기 32 : 디지털 노이즈 감쇠기
341 : 2D-NR 342 : 3D-NR
33 : 감마 제어기 34 : 자동 게인 제어기
40 : 코덱 41 : 3D-NR
50 : 유무선 통신부10: lens 20: image oath
30: image signal processor (combined with "ISP")
31: digital slow shutter controller 32: digital noise attenuator
341 : 2D-NR 342 : 3D-NR
33: gamma controller 34: automatic gain controller
40: codec 41: 3D-NR
50: wired and wireless communication unit
Claims (10)
있어서, 상기 이미지 시그널 프로세서는, 피사체를 느낌 있게 찍을 수 있도록 노광시간을 조절하는 디지털 슬로우 셔터(Dgital Slow Shutter) 제어기와 디지털신호 처리로 잡음을 억압하여 0.05~0.08 lux 이하의 저 조도모드에서 잔상이 남지 않도록 하기 위해 전체 노이즈 대비 80% 범위 내에서 노이즈를 감쇠시켜 주는 디지털 노이즈 감쇠기(Digital Noise Reducter)와 주간에 LCD Mode를 유지하고, 저조도 감도를 증가시키기 위해 자동 게인 제어기를 통해 야간을 인지하면 영상의 출력 감마를 LCD Mode인 0.55 감마로 적용하고, 저조도 상태에서는 0.35 감마를 적용하여 감마를 조절해 주는 감마(Gamma) 제어기와 피사체 구분이 용이한 최대값으로 게인을 자동 조절하는 기능을 수행하는 자동 게인 제어기(Auto Gain Control;AGC)로 구성하되, 상기 디지털 슬로우 셔터 제어기는,저 조도 모드인 0.05~0.08(LUX) 이하에서 끌림이 발생하지 않도록 하기 위해 출력되는 프레임 수를 초당 7 프레임 이상이 되도록 동작하게 한 것을 특징으로 하는 저 조도시 컬러 제어기능을 갖는 CCTV 시스템.CCTV system equipped with lens, image sensor, image signal processor and codec
In this case, the image signal processor suppresses noise with a digital slow shutter controller and digital signal processing that adjusts the exposure time so that the subject can be taken with a feeling, so that the afterimage is reduced in low illuminance mode of 0.05 to 0.08 lux or less. Digital Noise Reducter, which attenuates noise within 80% of the total noise, maintains LCD Mode during the daytime, and an automatic gain controller to increase low-light sensitivity. The gamma controller that adjusts the gamma by applying the output gamma of 0.55 gamma, which is the LCD mode, and 0.35 gamma in low-light conditions, and the automatic function that automatically adjusts the gain to the maximum value for easy subject identification. It consists of a gain controller (Auto Gain Control;AGC), but the digital slow shutter controller sets the number of output frames to 7 frames per second or more to prevent dragging in low-illuminance mode 0.05 to 0.08 (LUX) or less. CCTV system with color control function in low light, characterized in that it operates.
조도를 인지하는 현재 게인 값이 Low값보다 작거나 같으면 컬러 보정을 하지 않고 최대 컬러 게인을 유지하는 단계와 현재 게인 값이 Low값보다는 크고 Middle 보다 작거나 같으면, 현재 조도에 맞는 컬러 게인 적용하되, 조도의 저하에 컬러 신호를 보정하기 위하여 선형 보간하는 단계와 현재 게인 값이 Middle값보다는 크고 High 보다 작거나 같으면, 컬러 노이즈의 증가분을 억제하기 위해, 컬러 게인에 대한 선형 보간을 실행하는 단계와 현재 게인 값이 High값보다 크면, 조도는 완전히 어두운 상태로 간주하여 컬러 게인의 최소값을 유지하는 단계로 이루어진 것을 특징으로 하는 CCTV 시스템의 저 조도 시 컬러 제어방법.In configuring the low-illuminance color control method of a CCTV system having a lens, an image sensor, an image signal processor, and a codec, the image signal received from the image signal processor through the image sensor A subroutine of determining whether the illuminance is in a low illuminance state, adjusting the exposure time of the image sensor if it is determined to be low illuminance, and then adjusting the low illuminance color according to the gain value of the image taken in low illuminance is performed. Steps, attenuating low-illuminance noise, and adjusting the low-illuminance image output gamma are performed, but the subroutine for adjusting the low-illuminance color determines whether the gain for recognizing the current illumination is less than or equal to a predetermined Low value; Or the step to sequentially determine whether it is greater than Low and less than or equal to the determined Middle, or greater than the Middle and less than or equal to the predetermined High, or whether it is greater than the predetermined High and the result of sequential judgment as above,
If the current gain value for recognizing illuminance is less than or equal to the Low value, the stage of maintaining the maximum color gain without color correction. A step of linear interpolation to correct a color signal due to a decrease in illuminance, and if the current gain value is greater than the middle value and less than or equal to the high value, the step of performing linear interpolation on the color gain to suppress the increase in color noise; When the gain value is greater than the High value, the illuminance is regarded as completely dark and the color control method in low illuminance of a CCTV system, characterized in that it consists of the step of maintaining the minimum value of the color gain.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200082491A KR20220004925A (en) | 2020-07-05 | 2020-07-05 | Color control method for low-illumination of CCTV systems and CCTV systems with a color control at low intensity |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200082491A KR20220004925A (en) | 2020-07-05 | 2020-07-05 | Color control method for low-illumination of CCTV systems and CCTV systems with a color control at low intensity |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20220004925A true KR20220004925A (en) | 2022-01-12 |
Family
ID=79339627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200082491A KR20220004925A (en) | 2020-07-05 | 2020-07-05 | Color control method for low-illumination of CCTV systems and CCTV systems with a color control at low intensity |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20220004925A (en) |
-
2020
- 2020-07-05 KR KR1020200082491A patent/KR20220004925A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7859589B2 (en) | Imaging apparatus, and exposure control apparatus, method, and program | |
JP2749921B2 (en) | Imaging device | |
US9083928B2 (en) | Imaging apparatus for improving sensitivity to improve image quality under low luminance | |
JP4600684B2 (en) | Imaging apparatus and imaging method | |
CN101115149B (en) | Image processing method | |
US20120162467A1 (en) | Image capture device | |
US20120154646A1 (en) | Imaging device | |
KR100609155B1 (en) | Image processing device and method for compensating a picture taken against the light using the same | |
US7199821B2 (en) | Imaging apparatus and method for controlling white balance | |
KR100993231B1 (en) | Image signal processing circuit | |
US9113117B2 (en) | Image-taking apparatus and method for controlling the same | |
EP1557790A2 (en) | Noise reduction in low-illuminance image | |
KR101716818B1 (en) | Cctv camera systems for ultra low illumination | |
US9769391B2 (en) | Imaging device including light modulation element that varies between high and low transmittance for each segment | |
WO2018146945A1 (en) | Moving body monitoring device and moving body monitoring system | |
KR101510111B1 (en) | Cctv systems with a color control at low intensity | |
KR20220135993A (en) | Ultra-low-light CCTV system that combines next-generation memory and provides high-quality video | |
KR20220004925A (en) | Color control method for low-illumination of CCTV systems and CCTV systems with a color control at low intensity | |
KR101170748B1 (en) | Back light compensation method of camera | |
KR101498992B1 (en) | Color control method for low-illumination of CCTV systems and CCTV systems with a color control at low intensity | |
JP2527592B2 (en) | Imaging device | |
JP2007036714A (en) | Imaging apparatus | |
JP2002271688A (en) | Television camera | |
JP3100815B2 (en) | Camera white balance control method | |
JP7295329B2 (en) | Imaging system, image processing program, and image processing method |