KR100891434B1 - Apparatus and method for flicker noise detection and Computer readable medium stored thereon computer executable instruction for performing the method - Google Patents
Apparatus and method for flicker noise detection and Computer readable medium stored thereon computer executable instruction for performing the method Download PDFInfo
- Publication number
- KR100891434B1 KR100891434B1 KR1020070047530A KR20070047530A KR100891434B1 KR 100891434 B1 KR100891434 B1 KR 100891434B1 KR 1020070047530 A KR1020070047530 A KR 1020070047530A KR 20070047530 A KR20070047530 A KR 20070047530A KR 100891434 B1 KR100891434 B1 KR 100891434B1
- Authority
- KR
- South Korea
- Prior art keywords
- flicker
- line
- data
- lines
- interval
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
본 발명에서 개시되는 플리커 노이즈 검출장치는, 플리커 노이즈를 검출하는 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준데이터를 산출하는 산출부; 상기 기준데이터가 산출된 라인간 간격이 소정 오차범위 내에서 일정한 기준데이터인 플리커라인을 검출하는 플리커라인검출부; 및 상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단하는 판단부를 포함한다.An apparatus for detecting flicker noise disclosed in the present invention calculates reference data for flicker noise determination using statistical calculation values for each line calculated based on brightness information of pixels for each line of a target image for detecting flicker noise. part; A flicker line detector for detecting a flicker line having a constant reference data within a predetermined error range between the lines where the reference data is calculated; And a determination unit comparing the number of flicker lines with a reference number used as a criterion for determining flicker noise to determine whether the target image is a flicker noise image.
상기 본 발명에 의하면, 연산시간의 단축과 최소 메모리의 사용으로 획득된 영상에서 피사체의 특성에 강인함을 가지는 플리커 노이즈 검출방법을 실현할 수 있다.According to the present invention, it is possible to realize a flicker noise detection method having robustness to the characteristics of a subject in an image obtained by shortening the computation time and using the minimum memory.
플리커, flicker, 기준, 영상 데이터 처리, 프레임 메모리Flicker, flicker, reference, image data processing, frame memory
Description
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.The following drawings attached to this specification are illustrative of preferred embodiments of the present invention, and together with the detailed description of the invention to serve to further understand the technical spirit of the present invention, the present invention is a matter described in such drawings It should not be construed as limited to.
도 1은 본 발명의 바람직한 일실시예에 따른 플리커 노이즈 검출 장치를 도시한 블럭도,1 is a block diagram showing an apparatus for detecting flicker noise according to an embodiment of the present invention;
도 2는 본 발명의 바람직한 일실시예에 따른 플리커 노이즈 검출 방법의 과정을 도시한 흐름도,2 is a flowchart illustrating a process of a flicker noise detection method according to an embodiment of the present invention;
도 3은 대상영상과 상기 대상영상에 대응되는 라인별 밝기정보의 통계적 산출값을 도시한 도면,3 is a diagram illustrating a statistical calculation value of brightness information for each line corresponding to the target image and the target image;
도 4는 대상영상의 라인별 밝기정보의 통계적 산출값을 좌표계에 나타낸 도면,4 is a diagram illustrating a statistical calculation value of brightness information for each line of a target image in a coordinate system;
도 5a 및 도 5b는 상기 통계적 산출값에 대한 저대역 필터링과정을 도시한 도면, 5A and 5B illustrate a low-band filtering process for the statistical calculations.
도 6a 및 도 6b는 저대역 필터링된 제2데이터의 기준데이터를 도시하는 도면,6A and 6B show reference data of low-band filtered second data;
도 7은 본 발명에 의하여 플리커 노이즈 영상 여부가 판단된 결과영상을 도시한 도면이다.7 is a view showing a result image is determined whether the flicker noise image according to the present invention.
<도면의 주요 참조부호에 대한 설명><Description of main reference numerals in the drawings>
100 : 플리커 노이즈 검출 장치 102 : 입력부100: flicker noise detection device 102: input unit
103 : 산출부 104 : 제1산출부103: calculating unit 104: first calculating unit
106 : 필터링부 108 : 기준데이터산출부106: filtering unit 108: reference data calculation unit
110 : 플리커라인검출부 112 : 판단부110: flicker line detection unit 112: judgment unit
본 발명은 영상의 플리커 노이즈 검출장치 및 방법에 관한 것으로 영상 픽셀 정보 중 밝기정보의 통계적 규칙성을 통하여 단순하면서도 효과적인 플리커 노이즈를 검출하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting flicker noise of an image, and to an apparatus and method for detecting simple and effective flicker noise through statistical regularity of brightness information of image pixel information.
플리커 노이즈(flicker)는 상용 교류 전원에 의해 점등되는 형광등의 조명상태에서 카메라 등의 광학영상장치를 통해 피사체가 촬영되는 경우 발생하는 일종의 주파수 불일치에 의한 노이즈로서, 형광등의 휘도 변화의 주파수와 카메라의 수직 동기 주파수의 차이에 의해 출력된 영상 신호에 시간적인 명암의 변화가 발생하게 되는 노이즈를 의미한다.Flicker noise (flicker) is a kind of noise caused by a mismatch in frequency generated when a subject is photographed through an optical imaging device such as a camera in a lighting state of a fluorescent lamp lit by a commercial AC power source. Means the noise that changes the time and intensity of the video signal output by the difference in the vertical synchronization frequency.
예를 들면, 상용 교류 전원 주파수가 50Hz인 지역에서, 비인버터 방식의 형광등의 광원에서 NTSC 방식(수직 동기 주파수는 60Hz)의 CCD 카메라에 의해 피사체를 촬영하는 경우, 1 주기가 1/60초인 데 반하여, 형광등의 휘도 변화의 주기가 1/100초로 되기 때문에, 형광등의 휘도 변화에 대하여 각 필드의 노광 타이밍이 어긋나게 되며, 이러한 현상에 의하여 각 화소의 노광량이 달라지게 된다.For example, in a region where the commercial AC power supply frequency is 50 Hz, when a subject is photographed by a non-inverter fluorescent light source using a NTSC system (60 Hz vertical sync frequency) CCD camera, one cycle is 1/60 second. On the other hand, since the period of the luminance change of the fluorescent lamp is 1/100 second, the exposure timing of each field is shifted with respect to the luminance change of the fluorescent lamp, and the exposure amount of each pixel is changed by this phenomenon.
즉, 광학장치에 이용되는 센서인 CM0S 이미지 센서는 구조가 간단하여 저비용화가 가능하고 고화질로 저소비 전력이지만, 화소 또는 라인마다 광전을 변환시키는 타이밍이 다르기 때문에, 형광등 조명 아래에서와 같이 밝기가 주기적으로 변하는 환경에서 촬영하면 촬상 화상에 명암의 가로 줄무늬가 발생한다. 이 촬영된 화상에 포함되는 가로 줄무늬를 플리커 또는 플리커 노이즈라고 칭한다.That is, the CM0S image sensor, a sensor used in optical devices, is simple in structure, low in cost, and high in power, and low in power.However, since the timing of converting photoelectric to each pixel or line is different, the brightness is periodically maintained as in fluorescent lighting When shooting in a changing environment, horizontal stripes of light and dark appear in the captured image. Horizontal stripes included in the photographed image are referred to as flicker or flicker noise.
이러한 플리커를 검출하는 방법은 많이 제시되고 있는데 주로 공간적인 영역에서 처리하는 방법과 주파수 영역에서 처리하는 방법들이 이용된다. 공간적인 영역에서 처리하는 방법은 이웃화소, 줄간격 또는 프레임과의 상관관계를 이용하여 검출하는 방법들이 개시되고 있고, 주파수 영역에서 검출하는 방법은 FFT(Fast Fourier Transform), 캡스트럼(Cepstrum)과 같은 변환을 이용하여 플리커 노이즈 성분을 검출한다.Many methods for detecting such flicker have been proposed. The methods of processing in the spatial domain and the processing in the frequency domain are mainly used. Methods for processing in the spatial domain have been disclosed by using correlations between neighboring pixels, line spacing, or frames, and methods for detecting in the frequency domain include fast fourier transform (FFT), capstrum (Cepstrum) and the like. The same transform is used to detect flicker noise components.
주파수 영역에서 플리커를 검출하는 방법은 상기 공간 영역에서 검출하는 방법과 대비하여 비교적 더 정확하게 검출할 수는 있으나, 임베디드 장치나 칩 등으로 구현하기에는 너무나 많은 하드웨어 리소스와 메모리가 필요하다는 단점을 가지고 있다.The flicker detection method in the frequency domain can be detected more accurately than the detection method in the spatial domain, but has a disadvantage in that too many hardware resources and memory are required to be implemented in an embedded device or a chip.
반면, 공간 영역에서 검출하는 방법으로 이웃화소들, 줄간격 또는 프레임과의 상관관계를 이용하는 방법은 영상정보에 포함되어 있는 노이즈에 노출되게 되어 노이즈 성분에 따라 플리커 노이즈의 검출이 잘못될 확률이 높아지는 문제점이 있으며, 이 방법 또한, 현재 라인과 다음 라인의 정보를 비교하기 위하여 라인별 또는 프레임별 메모리가 필요하다는 문제점이 있다.On the other hand, the method of using the correlation with neighboring pixels, line spacing or frame as a method of detecting in the spatial domain is exposed to the noise included in the image information, which increases the probability of false detection of flicker noise according to the noise component. There is a problem, and this method also requires a memory for each line or frame in order to compare information of the current line and the next line.
본 발명은 상기의 문제점을 해결하기 위하여 창안된 것으로, 프레임 메모리 또는 라인 메모리를 사용하지 않고 정확하고 간단하게 플리커 노이즈 영상 여부를 검출할 수 있는 장치와 방법을 제공하는 데 목적이 있다.The present invention has been made to solve the above problems, and an object of the present invention is to provide an apparatus and method capable of accurately and simply detecting a flicker noise image without using a frame memory or a line memory.
또한, 상기와 같은 방법을 컴퓨터에서 구현하기 위하여 컴퓨터로 인식가능하고 실행되는 프로그램을 기록한 기록매체를 제공하는 데 목적이 있다.Another object of the present invention is to provide a recording medium on which a computer-readable program is executed so as to implement the method in a computer.
본 발명에 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 구성의 조합에 의해 실현될 수 있다.Other objects and advantages of the present invention will be described below and will be appreciated by the embodiments of the present invention. In addition, the objects and advantages of the present invention can be realized by the configuration and combination of configurations shown in the claims.
상기한 목적을 달성하기 위하여 본 발명에 따른 플리커 노이즈 검출장치는, 플리커 노이즈의 검출 대상인 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준이 되는 데이터인 기준데이터를 산출하는 산출부; 상기 기준데이터에 해당하는 라인간 간격이 소정 오차범위 내에서 일정한 기준데이터인 플리커라인을 검출하는 플리커라인검출부; 및 상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단하는 판단부를 포함한다.In order to achieve the above object, the flicker noise detection apparatus according to the present invention uses the statistical calculation value of each line calculated on the basis of brightness information of pixels of each line of the target image to be detected as flicker noise. A calculation unit for calculating reference data which is data as reference; A flicker line detection unit for detecting a flicker line having a constant reference data within a predetermined error range between lines corresponding to the reference data; And a determination unit comparing the number of flicker lines with a reference number used as a criterion for determining flicker noise to determine whether the target image is a flicker noise image.
상기의 구성을 통하여 라인별 또는 프레임별 메모리의 요구가 필요하지 않은 간단한 플리커 영상 여부를 검출할 수 있는 장치를 구현할 수 있다.Through the above configuration, an apparatus capable of detecting a simple flicker image that does not require a memory for each line or frame may be implemented.
또한, 상기 산출부는 상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 산출값인 제1데이터를 상기 대상영상의 라인마다 산출하는 제1산출부; 및 상기 제1데이터 중 이전 라인의 제1데이터보다 크고 이후 라인의 제1데이터보다 큰 제1데이터인 기준데이터를 산출하는 기준데이터산출부를 더 포함할 수 있다.The calculator may further include: a first calculator configured to calculate first data, which is a statistical calculation value for brightness information of pixels corresponding to one line in the target image, for each line of the target image; And a reference data calculator configured to calculate reference data which is first data larger than first data of a previous line and larger than first data of a subsequent line among the first data.
상기의 구성을 통하여 실질적인 플리커 라인의 통계적 의미를 가지는 라인을 중심으로 더욱 정교한 플리커 노이즈 영상을 판단할 수 있다.Through the above configuration, a more sophisticated flicker noise image can be determined based on a line having a statistical meaning of the actual flicker line.
한편, 상기 산출부는, 상기 라인별 제1데이터를 저대역 필터링하는 필터링부를 더 포함하고, 상기 기준데이터산출부는, 상기 저대역 필터링된 데이터인 제2데이터 중 이전 라인의 제2데이터보다 크고 이후 라인의 제2데이터보다 큰 제2데이터인 기준데이터를 산출하도록 구성하는 것이 더욱 바람직하다.The calculation unit may further include a filtering unit configured to low-band filter the first data for each line, and wherein the reference data calculator is greater than the second data of the previous line among the second data which is the low-band filtered data. More preferably, the reference data is configured to calculate the reference data, the second data larger than the second data.
상기의 구성을 통하여, 영상의 피대상체 특성에 따른 오류를 사전에 배제시켜 더욱 정밀한 플리커 노이즈 영상을 판단할 수 있는 기술사상을 실현할 수 있다.Through the above configuration, it is possible to realize a technical idea that a more precise flicker noise image can be determined by excluding an error in accordance with the object characteristic of the image in advance.
또한, 상기 제1산출부는 상기 통계적 산출값인 제1데이터를 한 라인에 해당하는 모든 픽셀의 밝기정보를 이용하여 산출하도록 구성하는 것이 바람직하다.The first calculation unit may be configured to calculate the first data, which is the statistical calculation value, using brightness information of all pixels corresponding to one line.
상기와 같은 구성에 의하여 영상데이터 내 피검사체의 특성으로부터 받게되는 영향을 최소화할 수 있는 장치를 실현할 수 있다.According to the above configuration, it is possible to realize a device capable of minimizing the influence of the object under test in the image data.
또한, 상기 통계적 산출값은 상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보의 합을 1 내지 상기 한 라인에 해당하는 픽셀의 개수 중 선택된 개수로 나눈 값으로 구성할 수 있다.The statistical calculation value may be configured by dividing the sum of brightness information of pixels corresponding to one line in the target image by a selected number from 1 to the number of pixels corresponding to one line.
상기의 구성을 통하여 플리커를 검출함에 있어 통계적 산출값을 라인별로 대별되도록 유연하게 조정할 수 있는 발명을 실현할 수 있다.Through the above configuration, it is possible to realize an invention that can flexibly adjust the statistical calculated values to be classified line by line in detecting flicker.
더욱이, 상기 필터링부는, 상기 라인별 제1데이터 6 내지 8개를 이용하여 저대역 필터링하는 것이 바람직하다. 이러한 필터링에 대한 구성을 통하여 연산속도와 메모리 사용에 대비하여 플리커 검출률에서 가장 바람직한 효율을 가지는 구성을 실현할 수 있다.In addition, the filtering unit, it is preferable to perform low-band filtering using 6 to 8 pieces of the first data per line. Through the configuration of the filtering, it is possible to realize a configuration having the most desirable efficiency in the flicker detection rate against the operation speed and the memory usage.
또한, 상기 기준개수는, 상기 입력영상의 높이를 상기 플리커 라인의 간격의 크기로 나눈값의 60%이상으로 구성함으로써, 이상적인 실질적인 광학적 특성과 영상처리과정을 반영한 플리커 노이즈 검출에 대한 구성을 실현할 수 있다.In addition, the reference number is configured by 60% or more of the value of the height of the input image divided by the size of the interval of the flicker line, thereby realizing the configuration of the flicker noise detection reflecting the ideal practical optical characteristics and image processing process have.
한편, 상기 간격의 크기는, 상기 플리커라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 상기 플리커라인 각각의 간격 크기의 평균값으로 구성하거나, 상기 플리커라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 상기 플리커라인 중 가장 많은 개수의 플리커 라인에 해당하는 간격의 크기로 구성할 수 있다.On the other hand, the size of the interval, if the spacing between the flicker lines are not the same, the average value of the interval size of each of the flicker lines that are not the same interval, or if the spacing between the flicker lines is not the same, The size of the interval corresponding to the largest number of flicker lines among the flicker lines having the same interval may be configured.
아울러, 상기 기준개수와 비교되는 상기 플리커라인의 개수는, 상기 플리커 라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 상기 플리커라인 각각의 개수의 합 또는 상기 간격이 동일하지 않은 상기 플리커라인 중 가장 많은 개수로 구성할 수 있다.In addition, the number of the flicker lines to be compared with the reference number is, if the interval between the flicker lines is not the same, the sum of the number of each of the flicker lines that are not equal to each other or the flicker lines are not equal to the interval It can be configured with the largest number of.
한편, 본 발명의 다른 측면에 의한 플리커 노이즈 검출 방법은, 플리커 노이즈의 검출 대상인 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준이 되는 데이터인 기준데이터를 산출하는 산출단계; 상기 기준데이터에 해당하는 라인간 간격이 소정 오차범위 내에서 일정한 기준데이터인 플리커라인을 검출하는 플리커라인검출단계; 및 상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단하는 판단단계를 포함한다. On the other hand, the flicker noise detection method according to another aspect of the present invention, by using the statistical calculation value for each line calculated on the basis of the brightness information of the pixel for each line of the target image to be detected flicker noise, Calculating a reference data which is data; A flicker line detection step of detecting a flicker line having a constant reference data within a predetermined error range between lines corresponding to the reference data; And determining whether the target image is a flicker noise image by comparing the number of flicker lines with a reference number which is a reference for determining flicker noise.
상기의 구성을 통하여 간단하면서도 시간, 공간의 최소화를 실현할 수 있는 플리커 노이즈 검출방법을 실현할 수 있다.Through the above configuration, it is possible to realize a flicker noise detection method which can realize a simple and minimal time and space.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiment of the present invention and do not represent all of the technical idea of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.
도 1은 본 발명의 바람직한 일실시예에 따른 플리커 노이즈 검출 장치를 도시한 블럭도이다.1 is a block diagram illustrating an apparatus for detecting flicker noise according to an exemplary embodiment of the present invention.
도 1을 참조하는 경우, 본 발명에 의한 플리커 노이즈 검출 장치(100)는 입력부(102), 산출부(103), 플리커라인검출부(110) 및 판단부(112)를 포함한다. 또한, 상기 산출부(103)는 제1산출부(104), 필터링부(106) 및 기준데이터산출부(108)를 포함할 수 있다. Referring to FIG. 1, the flicker noise detecting apparatus 100 according to the present invention includes an
본 발명의 상기 입력부(102)는 플리커 노이즈 검출 대상이 되는 영상인 대상영상을 입력받는다. 통상적으로 이미지 센서 등의 광학장치로 촬영되는 영상의 이미지 시그널 프로세스에서는 감마 보정, 칼라 보정 등을 거친 후, 필요에 따라 YCbCr 변환을 거친 후 상기와 같이 입력부(102)에 대상영상이 입력된다.The
상기 입력부(102)는 본 발명에 의한 장치와 외부장치 또는 외부에 존재하는 또 다른 장치 또는 장치 등과의 인터페이스 기능을 구현하는 구성요소이다.The
하나의 색공간으로 표현되는 영상정보는 간단한 수학적 변환식에 의하여 다른 다양한 색공간으로의 변환이 가능함은 주지의 사실에 해당하므로 본 발명의 설명에 있어 구체적인 예로 설명되는 밝기정보(YCbCr 중 Y)에 대한 내용은, 다른 색공간으로 표현되는 다양한 영상정보에도 동일하게 적용가능하다고 이해되어야 한다.It is well known that image information represented by one color space can be converted to other various color spaces by a simple mathematical conversion equation, so that the brightness information (Y of YCbCr) described as a specific example in the description of the present invention. It is to be understood that the content is equally applicable to various image information expressed in different color spaces.
영상은 행과 렬로 표현되는 소정의 매트릭스 구조로 되어 있으며, 영상처리과정에서 상기 영상은 좌상단 픽셀에서 우하단 픽셀에 이르기까지 시계열적인 특성을 가지며 입력되게 되며, 적용가능한 영상 프레임의 하나의 예로서 320×240 영상을 예로 설명하도록 한다.The image has a predetermined matrix structure expressed in rows and columns, and in the image processing process, the image is input with time series characteristics from the upper left pixel to the lower right pixel, and is an example of an applicable image frame. The x240 image will be described as an example.
이하 본 발명의 설명에서 라인이라고 표현되는 구성은 상기 영상에서 동일한 행에 해당하는 것으로 상기 320×240 영상의 경우 240개의 라인으로 표현될 수 있다.Hereinafter, in the description of the present invention, a configuration represented by a line corresponds to the same row in the image and may be represented by 240 lines in the case of the 320 × 240 image.
상기와 같이 상기 입력부(102)를 통하여 입력된 대상 영상은 산출부(103)로 전송되며, 상기 산출부(103)는 플리커 노이즈의 검출 대상인 대상영상의 각 라인별 픽셀의 밝기정보를 기초로 산출된 각 라인별 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준이 되는 데이터인 기준데이터를 산출한다.As described above, the target image input through the
플리커 노이즈가 형성된 영상은 픽셀 밝기에 대한 영상의 라인별 특성이 두드러지게 되고 이러한 물리적 현상이 영상에 반영되므로 상기와 같이 산출부(103)는 대상영상의 각 라인별 픽셀의 밝기정보를 이용하여 통계적 산출값을 연산하게 되고, 이러한 통계적 산출값을 각각의 라인마다 구별하여 산출하게 된다. In the image with flicker noise, line-specific characteristics of the image with respect to pixel brightness become prominent and the physical phenomenon is reflected in the image. As described above, the
이렇게 산출된 라인별 통계적 산출값들은 원래 영상의 피 대상체의 특성이 반영될 수도 있으므로 이를 선별하여 플리커 노이즈 여부가 판단될 수 있도록 특정 밝기 이상이 되며 밝기 정보가 주기적인 특성을 가지는 통계적 산출값을 이용하여 플리커 노이즈 판단의 기준이 되는 데이터인 기준데이터를 산출한다.Since the calculated statistical values for each line may reflect the characteristics of the subject of the original image, the statistical values are selected to be above a specific brightness to determine whether the flicker noise is determined, and the statistical information using the periodic information of brightness information is used. In this way, reference data, which is data that is a reference for flicker noise determination, is calculated.
상기와 같이 산출된 기준데이터는 후술되는 플리커라인검출부(110) 및 판단부(112)의 후속 과정을 거쳐 플리커 노이즈 영상 유무를 판단하게 되는 기준이 된다. 상기 플리커라인검출부(110) 및 판단부(112) 등의 상세한 설명은 상기 산출부(103)의 구체적인 구성요소에 대한 구체적인 설명을 기술하고 해당되는 부분에 후술하여 기술하도록 한다. The reference data calculated as described above becomes a reference for determining the presence or absence of a flicker noise image through subsequent processes of the flicker
상기와 같은 방식에 의하여 입력부(102)를 통하여 입력된 대상영상을 대상으로 상기 산출부(103)의 제1산출부(104)는 상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보에 대한 통계적 산출값인 제1데이터를 상기 대상영상의 라인마다 산출한다.By using the same method as described above, the
상기 예에서 240개의 라인은 각각 320개의 픽셀을 가지고 있으며, 각각의 픽셀은 다양한 색공간으로 표현되는 영상정보를 가지고 있다. 색공간인 YCbCr인 경우, Y, Cb, Cr 각각의 정보를 가지고 있으며, 상기 제1산출부(104)는 상기 영상정보 중 Y에 해당하는 픽셀의 밝기정보에 대한 통계적 산출값을 산출하게 된다.In the above example, 240 lines each have 320 pixels, and each pixel has image information represented by various color spaces. In the case of YCbCr, which is a color space, it has information of Y, Cb, and Cr, and the
앞서 설명한 바와 같이 예를 들어, 색공간이 RGB로 표현되는 경우, 간단한 수학적 방정식에 의하여 YCbCr로 변환될 수 있으므로 상기 제1산출부(104)는 형상화되는 색공간에 제한됨 없이 적용가능하다고 이해되어야 한다.As described above, for example, when the color space is expressed in RGB, it may be converted to YCbCr by a simple mathematical equation, so it should be understood that the
즉, 제1산출부(104)는 240개 라인 마다 각각의 통계적 산출값을 산출한다. 산출하는 과정에서 한 라인을 구성하는 320개 픽셀의 모든 밝기정보를 이용할 수도 있으며, 선택된 영역에 해당하는 픽셀을 중심으로 연산할 수도 있다. 영상의 특징적인 부분만을 추출하고 이에 해당되는 픽셀을 기초로 연산하는 경우, 메모리의 사용이나 연산속도 등에서는 효율적일 수 있으나, 영상에 담긴 피사체의 전반적인 특 징과 플리커 노이즈의 특성을 그대로 반영할 수 없는 단점 또한 존재할 수 있다.That is, the
그러므로 사용환경이나 영상특성 등에 따라 한 라인에 해당하는 특정 픽셀구간을 선택하여 적용할 수 있으나, 피사체의 특성에 대비한 플리커의 검출의 효율성의 차원에서 한 라인에 해당하는 모든 픽셀을 선택하여 산출하는 것이 바람직하다.Therefore, it is possible to select and apply a specific pixel section corresponding to one line according to the usage environment or image characteristics, but to select and calculate all pixels corresponding to one line in terms of the efficiency of detecting flicker against the characteristics of the subject. It is preferable.
상기 통계적 산출값은 평균값이 일반적일 수 있으며, 각각의 픽셀 중 선택된 픽셀에 가중치가 곱하여진 가중치 평균 등 다양한 변형례가 가능함은 물론이다.The statistical calculation value may be a general average value, and various modifications such as a weighted average obtained by multiplying a weight among a selected pixel of each pixel may be possible.
또한, 상기 통계적 산출값은 상기 대상영상에서 한 라인에 해당하는 픽셀의 밝기정보의 합을 1 내지 상기 한 라인에 해당하는 픽셀의 개수 중 선택된 개수로 나눈 값으로 결정될 수 있다.The statistical calculation value may be determined as a value obtained by dividing the sum of brightness information of pixels corresponding to one line in the target image by a selected number from 1 to the number of pixels corresponding to one line.
라인에 해당하는 픽셀의 밝기정보의 합산된 값을 상기 통계적 산출값인 제1데이터로 사용할 수 있으며, 이러한 경우는 각 라인마다의 통계적 산출값의 상호간의 차이를 가장 두드러지게 할 수 있다. 상기 합산된 값을 나누는 수가 커질수록 라인별 특이성이 조금씩 완화될 수 있다.The sum of the brightness information of the pixels corresponding to the line may be used as the first data which is the statistical calculation value. In this case, the difference between the statistical calculation values for each line may be most prominent. As the number of dividing the summed value increases, the specificity of each line may be alleviated little by little.
상기의 구성은 산출되는 결과에 따라 사용자 또는 장치에서 수동적 또는 자동적으로 조정할 수 있도록 구성되는 것이 바람직하며, 한 라인에 해당하는 픽셀의 개수가 선택되는 경우에는 한 라인의 밝기정보의 평균값이 된다.The above configuration is preferably configured to be manually or automatically adjusted by the user or the device according to the calculated result. When the number of pixels corresponding to one line is selected, the configuration is an average value of brightness information of one line.
도 3은 대상영상과 상기 대상영상에 대응되는 라인별 밝기정보의 통계적 산출값을 도시한 도면으로서 도 3을 참조하면, 첫번째 라인에서부터 마지막 라인까지 각각 라인의 밝기값의 통계적 산출값(평균값)을 대상영상의 우측에 병기하여 도시하고 있다.FIG. 3 is a diagram illustrating a statistical calculation value of brightness information for each line corresponding to the target image and the target image. Referring to FIG. 3, a statistical calculation value (average value) of the brightness values of each line from the first line to the last line is shown. It is shown on the right side of the target image.
도 4는 도 3의 입력영상의 라인별 밝기정보의 통계적 산출값을 회전시켜 직교 좌표계로 나타낸 도면으로서 상기 도 3에서 구한 바와 같이 제1데이터값들로 이루어진 결과를, x축을 영상의 라인의 축(원점을 기준으로 상위 라인에서 하위라인으로 전개)으로 y축을 통계적 산출값(제1데이터)의 축으로 2차원적으로 나타내었으며 영상의 라인별 특성에 해당한다.FIG. 4 is a view showing a Cartesian coordinate system by rotating statistical calculation values of brightness information for each line of the input image of FIG. 3. The result of the first data values as shown in FIG. The y-axis is expressed two-dimensionally as the axis of the statistical output value (first data) with (expanded from the upper line to the lower line based on the origin), and corresponds to the characteristics of each line of the image.
상기 도 4의 부분 확대도와 같이 상기 평균값은 이산적인 값에 해당하며 시각적인 인지성을 높이기 위하여 각각의 통계적 산출값에 해당하는 명암정보로 나타내었으며 결과적으로 일종의 물결형상으로 표현된다.As shown in the partial enlarged view of FIG. 4, the average value corresponds to a discrete value and is represented by contrast information corresponding to each statistical calculation value in order to increase visual recognition, and as a result, it is expressed in a wave shape.
본 발명의 필터링부(106)는 상기 라인별 제1데이터를 저대역 필터링한다. 도 5a 및 5b는 필터링 전의 제1데이터와 필터링 후의 제1데이터를 동순으로 나타내고 있다.The filtering unit 106 of the present invention low-band filters the first data for each line. 5A and 5B show the first data before filtering and the first data after filtering in the same order.
도 5a에 도시된 바와 같이 필터링 전의 제1데이터는 다양한 원인에 의하여 발생하는 노이즈 등의 영향으로 연속적인 분포를 가지지 못하며, 영상의 통계적 특성을 발현하지 못한다. 그러므로, 상기 필터링과 같이 영상의 전반적인 통계적 특성을 부각하기 위하여 저대역 필터링(low pass filtering)을 수행한다.As shown in FIG. 5A, the first data before filtering does not have a continuous distribution due to noise or the like caused by various causes, and does not express statistical characteristics of an image. Therefore, low pass filtering is performed to highlight the overall statistical characteristics of the image as in the filtering.
저대역 필터링에 적용되는 방식은 다양하게 이용할 수 있으나, 각각의 라인별 영상특징을 가장 효과적으로 반영하기 위하여 mean필터링이 바람직하다. 즉, 라인별 제1데이터의 평균값으로 해당 라인의 제1데이터를 치환하는 방식의 필터링을 취하게 된다.Various methods may be used for low-band filtering, but mean filtering is preferable to most effectively reflect image characteristics of each line. That is, filtering is performed in which the first data of the corresponding line is replaced with the average value of the first data of each line.
평균값에 의한 필터링을 구체적으로 설명하면, n-1번째 라인의 제1데이터, n 번째 라인의 제1데이터 및 n+1번째 라인의 제1데이터의 평균값을 n번째 라인의 제1데이터값으로 치환하게 된다. 영상의 특성과 연산에 요구되는 시간 또는 메모리 소모 등과의 관계에서 가장 바람직한 필터링은 상기 제1데이터 6개 내지 8개를 이용하여 필터링하는 방식이다.Specifically, the filtering by the average value will be described. The average value of the first data of the n-th line, the first data of the n-th line, and the first data of the n + 1th line is replaced with the first data value of the n-th line. Done. The most preferable filtering in relation to the characteristics of the image and the time or memory consumption required for the calculation is the filtering method using the six to eight pieces of the first data.
상기와 같은 방식에 의하여 필터링 후의 제1데이터가 도 5b에 도시되어 있다.The first data after filtering in the above manner is shown in FIG. 5B.
상기의 과정을 수행한 후, 기준데이터산출부(108)는 상기 저대역 필터링된 데이터인 제2데이터 중 이전 라인의 제2데이터보다 크고 이후 라인의 제2데이터보다 큰 제2데이터인 기준데이터를 산출한다.After performing the above process, the reference
상기 기준데이터는 도 4 등에서 도시된 상기 제1데이터의 곡선에서 접선의 기울기가 양에서 음으로 변화하는 부분에 해당하는 데이터로서, n번째 라인의 제1데이터 값과 n+1번째 라인의 제1데이터 값의 차를 이용하여 연산한다.The reference data is data corresponding to a portion in which a tangential slope changes from positive to negative in the curve of the first data shown in FIG. 4 and the like, wherein the first data value of the nth line and the first of the n + 1th line are shown. Calculate using the difference of data values.
도 6a 및 도 6b는 저대역 필터링된 제2데이터의 기준데이터가 존재하는 라인을 선으로 도시하고 있다.6A and 6B show lines with reference data of the low-band filtered second data as lines.
그 후, 플리커라인검출부(110)는 상기 기준데이터에 해당하는 라인간 간격이 소정 오차범위 내에서 일정한 기준데이터인 플리커라인을 검출한다.Thereafter, the flicker
상기 소정 오차범위는 사용자 또는 기 저장된 값 등에 의하여 설정되는 범위로서 물리적으로 완벽하게 동일한 간격은 불가능하므로 오차범위를 설정하게 되며, 장치 환경, 영상 특성 등에 따라 다양한 응용례가 가능함은 물론이다.The predetermined error range is a range set by a user or a pre-stored value, etc., so that the physically equal intervals are impossible, and thus the error range is set, and various application examples are possible depending on the device environment and image characteristics.
앞서 설명한 바와 같이 플리커 노이즈는 피사체에 대한 광원의 주기적인 특 성과 빛감각 센서의 빛 감각 주기의 불일치에 의한 물리적 현상으로 발생되는 것이므로 플리커 노이즈인 경우 일정한 주기적인 특성을 가지게 된다.As described above, the flicker noise is caused by a physical phenomenon caused by a mismatch between the periodic characteristics of the light source for the subject and the light sensor period of the light sensor, and thus flicker noise has a constant periodic characteristic.
플리커 노이즈가 존재하는 부분에서는 노이즈가 존재하지 않는 영역에 대비하여 더 낮은 밝기값을 가지게 되므로, 노이즈가 사라지는 지점에서는 다시 밝기값이 높아지는 주기적인 현상이 촬영영상에 나타나는 광학적 특성에 기초한다.Since the flicker noise has a lower brightness value in comparison with the non-noise area, a periodic phenomenon in which the brightness value increases again at the point where the noise disappears is based on the optical characteristic appearing in the captured image.
예를 들어, 첫번째부터 열번째까지의 기준데이터가 나타난 라인이 20, 40, 60, 81, 100, 122, 125, 132, 140, 160이고, 오차범위가 ±2라고 가정하면, 1라인(20), 2라인(40), 3라인(81),4라인(100), 5라인(100), 6라인(122), 9라인(140) 및 10라인(160)이 플리커 라인이 되며, 그 외의 라인은 영상의 피사체 특성에 따라 나타난 라인에 해당된다.For example, assuming that the first to tenth reference data is 20, 40, 60, 81, 100, 122, 125, 132, 140, 160 and the error range is ± 2, one line (20 ), 2 lines 40, 3 lines 81, 4 lines 100, 5 lines 100, 6 lines 122, 9 lines 140 and 10 lines 160 are flicker lines. The other lines correspond to the lines shown according to the characteristics of the subject of the image.
플리커 라인을 검출한 후, 상기 판단부(112)는 상기 플리커라인의 개수와 플리커 노이즈 판단의 기준이 되는 기준개수를 비교하여 상기 대상영상이 플리커 노이즈 영상인지 여부를 판단한다.After detecting the flicker line, the
상기 플리커 노이즈 판단의 기준이 되는 기준개수는 입력되는 영상의 크기와 광원 및 이미지 센서의 주파수 등을 기준으로 절대적인 값으로 설정하여 결정될 수 있으며, 다양한 실험 예를 통하여 플리커 노이즈가 존재하는 경우 발생되는 플리커 라인의 통계적 값을 기준으로 설정될 수 있음은 물론이다.The reference number for the flicker noise determination may be determined by setting an absolute value based on the size of the input image, the frequency of the light source and the image sensor, and the like, and the flicker generated when there is flicker noise through various experiments. Of course, it can be set based on the statistical value of the line.
또한, 상기 기준개수는 상기 입력영상의 높이를 상기 플리커라인의 간격의 크기로 나눈값의 60%이상이 되도록 입력영상의 높이에 따른 상대적인 값으로 설정할 수도 있다.The reference number may be set to a relative value according to the height of the input image such that the height of the input image is 60% or more of the value obtained by dividing the height of the flicker line by the size of the interval.
앞선 예에서 플리커라인의 간격은 20이며, 영상의 높이(height)가 240이라면, 이상적인 경우, 240/20=12를 기준 개수로 하여 플리커라인의 개수가 12개 이상인 경우 플리커 노이즈가 존재하는 영상으로 판단할 수 있으나, 영상처리장치의 다양한 factor가 반영되는 실질적인 환경에서는 상기값(12)의 60%(7.2개)이상의 값으로 설정되는 것이 바람직하다.In the previous example, if the interval between flicker lines is 20 and the height of the image is 240, ideally, if the number of flicker lines is 12 or more with 240/20 = 12 as the reference number, the flicker noise exists in the image. Although it can be determined, it is preferable to set the value to 60% (7.2) or more of the value 12 in a practical environment in which various factors of the image processing apparatus are reflected.
영상의 특성상 라인간 간격이 소정 오차범위 내에서 일정하나, 일정한 간격이 서로 동일하지 않는 플리커라인이 존재할 수 있다. 도 6b에 도시된 바와 같이 제1플리커라인군, 제2플리커라인군 및 제3플리커라인군으로 나타날 수 있게 된다.Although the interval between lines is constant within a predetermined error range due to the characteristics of an image, there may be flicker lines in which the constant intervals are not equal to each other. As shown in FIG. 6B, the first flicker line group, the second flicker line group, and the third flicker line group may be represented.
상기와 같은 경우, 상기 기준개수를 구함에 있어, 입력영상의 높이값을 나누는 상기 플리커라인의 간격의 크기는, 상기 간격이 동일하지 않은 플리커 라인 각각의 간격 크기의 평균값으로 설정할 수 있으며, 또한, 상기 간격이 동일하지 않은 상기 플리커라인 중 가장 많은 개수의 플리커라인에 해당하는 간격의 크기로 설정할 수도 있다. In the above case, in calculating the reference number, the size of the interval of the flicker lines dividing the height value of the input image may be set to an average value of the interval sizes of each of the flicker lines in which the intervals are not equal. It may be set to the size of the interval corresponding to the largest number of flicker lines of the flicker lines that are not the same interval.
실질적인 플리커라인의 의미를 반영하는 것은 후자에 해당하나, 크기별로 정렬하는 연산이 요구되므로, 더욱 실질적인 의미를 반영할 수 있다는 장점이 있는 반면, 전자에 비하여 다소 많은 연산시간 등이 소요될 수 있으며, 전자의 경우, 후자의 반대적인 장점을 가질 수 있다.Reflecting the meaning of the actual flicker line corresponds to the latter, but since the operation to sort by size is required, there is an advantage that it can reflect more practical meaning, while it may take a little more computation time than the former, In this case, the latter may have the opposite advantage.
상기된 내용과 유사한 관점에서, 플리커 노이즈 판단의 기준이 되는 기준개수와 비교되는 상기 플리커라인의 개수는 앞서 설명한 바와 같이 상기 플리커 라인 간 간격이 동일하지 않은 경우, 상기 간격이 동일하지 않은 플리커라인 각각의 개 수의 합으로 정할 수 있으며, 또한, 상기 간격이 동일하지 않은 플리커라인 중 가장 많은 개수로 설정할 수도 있다.From the viewpoint similar to the above, the number of the flicker lines compared with the reference number, which is the basis of the flicker noise determination, is different from each other if the spacing between the flicker lines is not the same as described above. It may be set to the sum of the number of and may be set to the largest number of flicker lines of which the interval is not equal.
도 7a는 본 발명의 방법에 의하여 검출된 플리커 노이즈가 존재하는 영상의 예가 되며, 도 7b는 플리커 노이즈가 존재하지 않는 영상이다.7A is an example of an image having flicker noise detected by the method of the present invention, and FIG. 7B is an image without flicker noise.
본 발명에 따른 플리커 노이즈 검출 장치 및 방법에 의하는 경우, 입력되는 영상의 라인별 데이터 또는 프레임 데이터를 저장하는 라인메모리, 프레임메모리가 요구되는 기존의 방법과는 달리, 라인의 통계적 산출값(평균값)을 기초로 모든 연산이 이루어지므로, 모든 라인별 데이터를 저장할 필요가 없게 된다.According to the flicker noise detection apparatus and method according to the present invention, unlike a conventional method requiring a line memory or a frame memory for storing line-specific data or frame data of an input image, the statistical value of the line (average value All operations are performed based on the), so there is no need to store all the line-by-line data.
픽셀의 집합체인 라인과 라인간의 비교, 프레임간 프레임간의 비교가 연산의 기초가 되는 것이 아니라, 라인별 통계적 산출값만으로 연산할 수 있어 저장공간을 최소화할 수 있게 되므로 칩 등으로 구현하는 경우에 비용적, 공간적 활용성을 높일 수 있다.The comparison between lines and lines, which are collections of pixels, and frames-to-frames, is not the basis of the calculation, but can be computed only by statistical calculation values per line, thus minimizing storage space. Red and spatial utility can be increased.
즉, 라인 하나의 평균값을 산출하기 위한 메모리 공간 정도가 요구되며, 평균값이 산출되고 나면 먼저 라인의 값이 저장되었던 공간에 다음 라인 픽셀의 값을 저장하여 작업을 수행하는 구조로 운용하면 가능하므로 기존의 플리커 검출방법과 대비하여 현저한 경제적 활용성을 가질 수 있게 된다.
도 2는 본 발명의 바람직한 일실시예에 따른 플리커 노이즈 검출 방법의 과정을 도시한 흐름도이다.
이하에서는 첨부된 도 2를 참조하여 본 발명의 바람직한 실시예에 의한 따른 플리커 노이즈 검출 방법의 과정을 설명하도록 한다. 앞서 설명된 본 발명의 따른 플리커 노이즈 검출 장치와 관련하여 중복된 설명은 생략하나 본 발명의 플리커 노이즈 검출 방법에도 그대로 적용될 수 있음은 자명하다.
본 발명의 플리커 노이즈 검출 방법은 도 2에 도시된 바와 같이 플리커 노이즈 검출의 대상이 되는 대상 영상을 입력받는다(S200).
상기 입력된 대상 영상은 소정 크기의 행(라인, line)과 열(컬럼, column)로 구성되는 영상으로서, 플리커 노이즈는 영상 특성 상 행과 관련된 요소이며, 특히 주기적으로 변화되는 밝기의 특성을 가지게 되므로 본 발명은 이러한 플리커 노이즈의 특성을 반영하기 위하여 상기 대상 영상에 속하는 각 라인의 밝기정보를 기초로 생성된 통계적 산출값을 활용하여 플리커 라인의 검출을 위한 기준 데이터를 산출한다(S205).
상기 기준데이터의 산출과정을 구체적으로 설명하면 다음과 같다.
우선 입력된 대상 영상의 라인을 연산의 대상으로 하여 각 라인에 해당하는 픽셀값들의 밝기정보에 대한 통계적 산출값인 제1데이터를 산출한다(S210). 상기 제1데이터는 상기 대상 영상의 각 라인마다 산출되므로 예를 들어 대상 영상의 라인이 240개 이면 240개의 제1데이터가 생성된다.
앞서 설명된 바와 같이 연산의 효율성 및 연산의 정밀성 등의 차원에서 상기 제1데이터 산출의 기초가 되는 한 라인에 해당하는 픽셀의 개수는 조정될 수 있으며, 또한, 통상적으로 플리커 노이즈와 관련된 영상 특성을 반영하기 위하여 상기 통계적 산출값은 평균값이 바람직하나, 실시형태에 따라 가중치 평균 등 변형 가능한 다양한 통계적 산출값을 적용할 수 있다.
상기와 같이 각 라인마다의 통계적 산출값인 제1데이터가 산출되면, 불필요한 노이즈 등을 제거하고 연산의 정확성 등을 높이기 위하여 인접된 라인에 해당하는 제1데이터들을 대상으로 저대역 필터링을 수행할 수 있다(S220).
상기 저대역 필터링은 불필요한 노이즈를 제거함으로써 상기 제1데이터 간의 연속적인 분포를 부각시킴으로써 영상의 특성이 더욱 부각되도록 하기 위하여 수행된다.
상기와 같이 저대역 필터링이 수행되고 나면, 상기 제1데이터들은 영상 특성이 더욱 부각되어 연속적인 분포를 가지게 된다. 상기와 같이 저대역 필터링이 수행된 제1데이터를 설명의 효율성을 높이기 위하여 제2데이터로 칭하도록 한다.
상기의 과정이 수행되면, 상기 제2데이터를 대상으로 플리커 라인을 검출하기 위한 기준데이터를 산출하게 되는데(S230), 상기 기준데이터는 다양한 방식이 존재할 수 있으나, 본 발명의 바람직한 실시예에서는 플리커 라인의 영상적 특성을 더욱 활용하기 위하여 상기 제2데이터 상호 간의 관련성을 이용하여 기준데이터를 산출한다.
상기 제2데이터들은 도 5 및 도 6에 도시된 바와 같이 실제로는 제2데이터의 개수가 유한적으로 존재하므로 이산된(discrete) 분포를 가지게 되며, 상기 제2데이터들이 형성하는 분포에는 상기 제2데이터 들 중 이전 라인의 제2데이터보다 크고 또한 이후 라인의 제2데이터보다 큰 제2데이터가 존재한다.
설명의 편의성을 위해 상기 이산된 분포를 연속(continuous)된 분포로 설명하면, 상기 제2데이터 들 중 이전 라인의 제2데이터보다 크고 또한 이후 라인의 제2데이터보다 큰 제2데이터는 연속된 분포 상에서는 일종의 마루(정상)에 해당하는 데이터가 된다.
즉, 상기 제2데이터 들 중 이전 라인의 제2데이터보다 크고 또한 이후 라인의 제2데이터보다 큰 제2데이터는 플리커 라인의 영상 특성에 대응되는 특성을 가지는, 즉 인접 라인과 대비하여 밝기정보에 대한 통계적 산출값이 두드러지는 데이터에 해당하므로 이를 기준데이터로 산출한다.
앞서 살펴본 바와 같이 플리커 라인은 피사체에 대한 광원의 주기적인 특성과 빛감각 센서의 빛 감각 주기의 불일치에 의하여 발생하는 물리적 현상이므로 플리커 라인은 영상의 특성상 밝기정보의 특이성과 그 주기적 반복성을 가지게 된다.
그러므로 상기 기준데이터는 플리커 라인의 밝기정보의 특이성을 만족하는 데이터라고 할 수 있다. 상기와 같이 플리커 라인의 밝기정보에 부합될 수 있는 기준데이터가 산출되면, 플리커 라인의 또 다른 특성인 주기성에 대한 요건의 부합여부를 판단한다.
즉, 상기 기준데이터가 존재하는 라인 간 간격이 소정 오차범위 내에서 일정한 기준데이터가 플리커 노이즈에 해당하는 라인으로 판단할 수 있으므로 상기 제2데이터들에 해당하는 라인 간 간격이 일정한 라인인 플리커 라인을 검출한다(S240).
상기와 같이 플리커 라인이 검출되면, 통상적으로 플리커 노이즈 영상은 대상 영상의 전반적인 부분에 플리커 노이즈가 존재하므로 상기 검출된 플리커 라인의 개수와 플리커 노이즈 영상인지 여부를 판단할 수 있는 소정 기준개수를 비교하여(S250), 상기 검출된 플리커 라인의 개수가 기준개수보다 큰 경우 플리커 노이즈가 존재하는 영상으로 판단하게 된다.That is, the memory space is required to calculate the average value of one line, and once the average value is calculated, it is possible to operate by storing the value of the next line pixel in the space where the value of the line is stored first. Compared to the flicker detection method, it can have a significant economic utility.
2 is a flowchart illustrating a process of a flicker noise detection method according to an exemplary embodiment of the present invention.
Hereinafter, with reference to the accompanying Figure 2 will be described the process of the flicker noise detection method according to a preferred embodiment of the present invention. The redundant description of the flicker noise detection apparatus according to the present invention described above will be omitted, but it is obvious that the present invention can be applied to the flicker noise detection method of the present invention as it is.
In the flicker noise detection method of the present invention, as shown in FIG. 2, a target image to be detected as flicker noise is input (S200).
The input target image is an image having a predetermined size of a line (line) and a column (column), and flicker noise is an element related to image characteristics, and has a characteristic of changing brightness periodically. Therefore, in order to reflect the characteristics of the flicker noise, the present invention calculates reference data for detecting the flicker line by using the statistical calculation value generated based on the brightness information of each line belonging to the target image (S205).
The calculation process of the reference data will be described in detail as follows.
First, the first data, which is a statistical calculation value for brightness information of pixel values corresponding to each line, is calculated using the input target image line as an operation target (S210). Since the first data is calculated for each line of the target image, for example, if there are 240 lines of the target image, 240 first data are generated.
As described above, the number of pixels corresponding to one line, which is the basis of the first data calculation, may be adjusted in terms of the efficiency of the operation and the precision of the operation, and also generally reflects image characteristics related to flicker noise. In order to achieve this, the statistically calculated value is preferably an average value, but various statistically transformable statistical values, such as weighted averages, may be applied according to embodiments.
As described above, when the first data, which is a statistical calculation value for each line, is calculated, low-band filtering may be performed on the first data corresponding to the adjacent lines in order to remove unnecessary noise and increase the accuracy of the calculation. There is (S220).
The low band filtering is performed to enhance the characteristics of the image by eliminating unnecessary noise to highlight the continuous distribution between the first data.
After the low-band filtering is performed as described above, the first data has a continuous distribution because the image characteristic is further enhanced. As described above, the first data on which the low band filtering is performed is referred to as second data in order to increase the efficiency of the description.
When the above process is performed, reference data for detecting the flicker line is calculated for the second data (S230). The reference data may have various methods, but in the preferred embodiment of the present invention, the flicker line In order to further utilize an image characteristic of the reference data, reference data is calculated by using the correlation between the second data.
As shown in FIGS. 5 and 6, since the second data has a finite number of second data, the second data has a discrete distribution, and the second data has a second distribution. Among the data, there is second data larger than the second data of the previous line and larger than the second data of the subsequent line.
For convenience of explanation, when describing the discrete distribution as a continuous distribution, the second data larger than the second data of the previous line and larger than the second data of the subsequent line among the second data is a continuous distribution. In the phase, it becomes data corresponding to a kind of floor.
That is, the second data larger than the second data of the previous line and larger than the second data of the subsequent line among the second data has a characteristic corresponding to the image characteristic of the flicker line, that is, the brightness information in contrast to the adjacent line. Since statistical calculations for the data correspond to the prominent data, it is calculated as reference data.
As described above, since the flicker line is a physical phenomenon caused by a mismatch between the periodic characteristics of the light source for the subject and the light sensor period of the light sensor, the flicker line has the specificity of brightness information and the periodic repeatability due to the characteristics of the image.
Therefore, the reference data may be referred to as data satisfying the specificity of the brightness information of the flicker line. When the reference data that can match the brightness information of the flicker line is calculated as described above, it is determined whether the requirement for periodicity, which is another characteristic of the flicker line, is met.
That is, since the reference data may be determined to be a line corresponding to the flicker noise within a predetermined error range between the lines where the reference data exists, the flicker line is a line having a constant interval between the lines corresponding to the second data. It is detected (S240).
When the flicker lines are detected as described above, the flicker noise image generally includes the flicker noise in the overall portion of the target image. In operation S250, when the number of the detected flicker lines is larger than the reference number, the flicker noise is determined to be an image.
상술한 본 발명에 따른 플리커 노이즈 검출방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 플리커 노이즈 검출방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The flicker noise detection method according to the present invention described above may be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer device is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer devices so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the flicker noise detection method may be easily inferred by programmers in the art to which the present invention belongs.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.Although the present invention has been described above by means of limited embodiments and drawings, the present invention is not limited thereto and will be described below by the person skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of the claims.
상기 본 발명에 의한 플리커 노이즈 검출장치 및 방법은 플리커 노이즈가 존재하는 영상인지 여부를 간단하고 신속하게 검출할 수 있는 효과를 창출한다. The apparatus and method for detecting flicker noise according to the present invention creates an effect of simply and quickly detecting whether an image having flicker noise exists.
또한, 프레임 영상정보 또는 라인별 영상 정보전체를 통합적으로 판단하는 방식을 지양하고, 라인별 데이터의 밝기정보를 이용한 평균값 등의 통계적 산출값만을 이용하므로 라인 메모리 또는 프레임 메모리의 사용이 필요없게 되므로, 더욱 경제적이면서도 효과적인 플리커 노이즈 영상 판단방법을 실현할 수 있다.In addition, the method of determining the frame image information or the entire line-by-line image information as a whole is avoided, and since only statistical calculation values such as the average value using the brightness information of the line-by-line data are used, the use of line memory or frame memory is unnecessary. A more economical and effective flicker noise image determination method can be realized.
Claims (23)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070047530A KR100891434B1 (en) | 2007-05-16 | 2007-05-16 | Apparatus and method for flicker noise detection and Computer readable medium stored thereon computer executable instruction for performing the method |
| US12/152,898 US8189068B2 (en) | 2007-05-16 | 2008-05-16 | Apparatus and method for detecting flicker noise and computer readable medium stored thereon computer executable instructions for performing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070047530A KR100891434B1 (en) | 2007-05-16 | 2007-05-16 | Apparatus and method for flicker noise detection and Computer readable medium stored thereon computer executable instruction for performing the method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080101161A KR20080101161A (en) | 2008-11-21 |
| KR100891434B1 true KR100891434B1 (en) | 2009-04-03 |
Family
ID=40072015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070047530A KR100891434B1 (en) | 2007-05-16 | 2007-05-16 | Apparatus and method for flicker noise detection and Computer readable medium stored thereon computer executable instruction for performing the method |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8189068B2 (en) |
| KR (1) | KR100891434B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4836896B2 (en) * | 2007-08-27 | 2011-12-14 | 三洋電機株式会社 | Video camera |
| KR100968377B1 (en) * | 2009-01-28 | 2010-07-09 | 주식회사 코아로직 | Device and method for removing flicker noise, and image processing apparatus comprising the same device |
| CN102164278B (en) * | 2011-02-15 | 2013-05-15 | 杭州海康威视数字技术股份有限公司 | Video coding method and device for removing flicker of I frame |
| WO2015175907A1 (en) * | 2014-05-15 | 2015-11-19 | Indiana University Research And Technology Corp. | Three dimensional moving pictures with a single imager and microfluidic lens |
| US9571749B2 (en) * | 2015-05-26 | 2017-02-14 | Novatek Microelectronics Corp. | Flicker detecting method for image capturing device |
| KR101877215B1 (en) * | 2017-11-10 | 2018-07-12 | 엘아이지넥스원 주식회사 | Method and apparatus for manufacturing simulation image reflecting noise induced image sensor |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030057465A (en) * | 2001-12-27 | 2003-07-04 | 샤프 가부시키가이샤 | Flicker correction apparatus and flicker correction method, and recording medium storing flicker correction program |
| KR20040058806A (en) * | 2002-12-27 | 2004-07-05 | 주식회사 하이닉스반도체 | Removal method of flicker noise and CMOS image sensor with same method |
| KR20050075425A (en) * | 2002-11-18 | 2005-07-20 | 소니 가부시끼 가이샤 | Flicker reduction method, image pickup device, and flicker reduction circuit |
| KR20050107959A (en) * | 2004-05-10 | 2005-11-16 | 매그나칩 반도체 유한회사 | Detecting method for flicker noise |
| KR20060010890A (en) * | 2004-07-29 | 2006-02-03 | 매그나칩 반도체 유한회사 | Method for detection of flicker in image signal |
| JP2006352242A (en) | 2005-06-13 | 2006-12-28 | Fujitsu Ltd | Flicker detectable imaging apparatus |
| KR20070044258A (en) * | 2005-10-24 | 2007-04-27 | (주) 픽셀플러스 | Flicker detecting apparatus |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8068148B2 (en) * | 2006-01-05 | 2011-11-29 | Qualcomm Incorporated | Automatic flicker correction in an image capture device |
-
2007
- 2007-05-16 KR KR1020070047530A patent/KR100891434B1/en not_active IP Right Cessation
-
2008
- 2008-05-16 US US12/152,898 patent/US8189068B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030057465A (en) * | 2001-12-27 | 2003-07-04 | 샤프 가부시키가이샤 | Flicker correction apparatus and flicker correction method, and recording medium storing flicker correction program |
| KR20050075425A (en) * | 2002-11-18 | 2005-07-20 | 소니 가부시끼 가이샤 | Flicker reduction method, image pickup device, and flicker reduction circuit |
| KR20040058806A (en) * | 2002-12-27 | 2004-07-05 | 주식회사 하이닉스반도체 | Removal method of flicker noise and CMOS image sensor with same method |
| KR20050107959A (en) * | 2004-05-10 | 2005-11-16 | 매그나칩 반도체 유한회사 | Detecting method for flicker noise |
| KR20060010890A (en) * | 2004-07-29 | 2006-02-03 | 매그나칩 반도체 유한회사 | Method for detection of flicker in image signal |
| JP2006352242A (en) | 2005-06-13 | 2006-12-28 | Fujitsu Ltd | Flicker detectable imaging apparatus |
| KR20070044258A (en) * | 2005-10-24 | 2007-04-27 | (주) 픽셀플러스 | Flicker detecting apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080101161A (en) | 2008-11-21 |
| US20080291291A1 (en) | 2008-11-27 |
| US8189068B2 (en) | 2012-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100891434B1 (en) | Apparatus and method for flicker noise detection and Computer readable medium stored thereon computer executable instruction for performing the method | |
| US11082628B2 (en) | Method of flicker reduction | |
| US8890975B2 (en) | Image processing apparatus, signal processing method and computer-readable medium for image flicker correction | |
| US9088727B2 (en) | Spatially-varying flicker detection | |
| US10298843B2 (en) | Image processing device, image processing method, and electronic apparatus for motion detection in image | |
| US20110255786A1 (en) | Method and apparatus for determining flicker in the illumination of a subject | |
| CN101304482A (en) | Method and apparatus for reducing flicker of image sensor | |
| EP1528797A2 (en) | Image processing apparatus, image-taking system and image processing method | |
| JP2011501841A (en) | Ambient light correction in optical touch-sensitive devices | |
| CN102611837A (en) | Flash band processing circuit, method of processing flash band, imaging apparatus, and imaging processing method | |
| JP2004260574A (en) | Flicker detecting method and detector | |
| JP3476400B2 (en) | Flicker detection / correction apparatus and flicker detection / correction method | |
| US20160142587A1 (en) | Information processing apparatus, information processing method, and medium | |
| JP6784130B2 (en) | Flicker detection device and method | |
| US20130155275A1 (en) | Image capturing apparatus, image capturing method, and computer-readable recording medium storing image capturing program | |
| JP2018086130A (en) | Biological information detection device and biological information detection method | |
| US8441549B2 (en) | Video artifact suppression via rolling flicker detection | |
| US20050206745A1 (en) | Method and circuit for detecting flicker noise | |
| US11055832B2 (en) | Image banding correction in high dynamic range imaging | |
| EP2827580B1 (en) | Flicker detection method and flicker detection apparatus | |
| US20170154236A1 (en) | Image processing device, imaging device, image processing method, and program | |
| KR100968377B1 (en) | Device and method for removing flicker noise, and image processing apparatus comprising the same device | |
| JP4515991B2 (en) | Flicker noise reduction device | |
| KR100575444B1 (en) | Apparatus for compensating defect pixel existing in image sensor and method thereof | |
| KR20140020464A (en) | Apparatus and method for processing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130111 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20140102 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20151201 Year of fee payment: 7 |
|
| R401 | Registration of restoration | ||
| FPAY | Annual fee payment |
Payment date: 20160104 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20170103 Year of fee payment: 9 |
|
| LAPS | Lapse due to unpaid annual fee |