KR20160001897A - Image Processing Method and Apparatus for Integrated Multi-scale Retinex Based on CIELAB Color Space for Preserving Color - Google Patents
Image Processing Method and Apparatus for Integrated Multi-scale Retinex Based on CIELAB Color Space for Preserving Color Download PDFInfo
- Publication number
- KR20160001897A KR20160001897A KR1020140079924A KR20140079924A KR20160001897A KR 20160001897 A KR20160001897 A KR 20160001897A KR 1020140079924 A KR1020140079924 A KR 1020140079924A KR 20140079924 A KR20140079924 A KR 20140079924A KR 20160001897 A KR20160001897 A KR 20160001897A
- Authority
- KR
- South Korea
- Prior art keywords
- kernel
- color space
- image
- quot
- color
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/83—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only the recorded chrominance signal occupying a frequency band under the frequency band of the recorded brightness signal
- H04N9/832—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only the recorded chrominance signal occupying a frequency band under the frequency band of the recorded brightness signal using an increased bandwidth for the luminance or the chrominance signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 레티넥스(Retinex) 방법에 관한 것으로, 더 상세하게는 색 보존을 위한 CIELAB 색공간에서의 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법 및 장치에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a Retinex method, and more particularly to an image processing method and apparatus for performing integrated multi-scale retinex in a CIELAB color space for color preservation.
카메라의 기술이 급진적으로 발전하고 있음에도 불구하고 이는 인간 시각 시스템에 비하여 여전히 부족한 점이 있었다. 그 대표적인 문제 중 하나는 카메라 센서의 물리적인 한계에 기인한 낮은 다이나믹 레인지 문제이다. 즉, 저휘도 영역과 고휘도 영역이 모두 존재하는 이미지는 현재의 기술수준의 센서에 의해서는 잘 표현되지 않지만, 인간 시각 시스템은 휘도 변화에 대해 지역적으로 적응하므로 사람의 눈은 높은 다이나믹 레인지를 가진다. Despite the radical development of camera technology, there is still a shortage in comparison with the human visual system. One of the typical problems is the low dynamic range problem due to the physical limitation of the camera sensor. That is, an image in which both the low luminance region and the high luminance region exist is not well represented by the sensor of the current technology level, but the human eye has a high dynamic range because it adapts locally to the luminance change.
이에 종래에는 상기한 인간 시각 시스템의 기능성을 모방하려는 다양한 알고리즘들이 제안되었다. 즉, 낮은 다이나믹 레인지 문제를 해결하기 위해 레티넥스 이론(Retinex theory)에 기반한 방법들이 다수 있으며, 이로는 Z. Rahman.: Properties of a center/surround Retinex: Part 1: Signal processing design. In: NASA Contractor Report 198194, (1995) D. J. Jobson, Z. Rahman, and G. A. Woodell.: Properties and performance of a center/surround retinex. In: IEEE Trans. Image Processing, vol. 6, (1997), E. H. Land.: An alternative technique for the computation of the designator in the Retinex theory of color vision. In: Proc. Natl. Acad. Sci. U.S.A., vol. 83, 3076, (1986) 등이 있다. 이러한 알고리즘들은 이미지를 반사 성분과 조명 성분의 곱으로서 나타내며, 이미지로부터의 조명 성분을 제거함으로써 계조를 재현하였다. In the past, various algorithms have been proposed to mimic the functionality of the human visual system described above. In other words, there are a number of methods based on the Retinex theory to solve the low dynamic range problem, which is Z. Rahman .: Properties of a center / surround Retinex: Part 1: Signal processing design. In: NASA Contractor Report 198194, (1995) D. J. Jobson, Z. Rahman, and G. A. Woodell .: Properties and performance of a center / surround retinex. In: IEEE Trans. Image Processing, vol. 6, (1997), E. H. Land: An alternative technique for the design of the retinex theory of color vision. In: Proc. Natl. Acad. Sci. U.S.A., vol. 83, 3076, (1986). These algorithms represent the image as a product of the reflection component and the illumination component, and reproduce the gradation by removing the illumination component from the image.
또한 다양한 스케일의 가우시안 커널(Gaussian kernel)을 가진 싱글 스케일 레티넥스(Single-scale Retinex; 이하 SSR라 칭함)의 가중치 합으로 구성된 멀티 스케일 레티넥스(Multi-scale Retinex; 이라 MSR라 칭함) 알고리즘이 최근 제안되었다. 이로는 Z. Rahman, D. Jobson, and G. A. Woodell.: Multiscale retinex for color image enhancement. In: Proc. IEEE International Conference on Image Processing, IEEE, (1996), D. J. Jobson, Z. Rahman.: A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes. In: IEEE Trans. Image Processing, vol. 6, (1997), Z. Rahman, D. J. Jobson, and G. A. Woodell.: Multiscale Retinex for color rendition and dynamic range compression. In: Proc. SPIE 2847, 183, (1996) 등이 있다. 상기한 스케일들을 사용하여 SSR에 기인한 할로 이펙트와 같은 결함들은 보완될 수 있었다. Also, a multi-scale retinex (MSR) algorithm, which is composed of a weight sum of single-scale retinex (SSR) with Gaussian kernel of various scales, It was proposed. Z. Rahman, D. Jobson, and G. A. Woodell: Multiscale retinex for color image enhancement. In: Proc. IEEE International Conference on Image Processing, IEEE, (1996), D. J. Jobson, Z. Rahman .: A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation of Scenes. In: IEEE Trans. Image Processing, vol. 6, (1997), Z. Rahman, D. J. Jobson, and G. A. Woodell: Multiscale Retinex for color rendition and dynamic range compression. In: Proc. SPIE 2847, 183, (1996). Using the above scales, defects such as halo effects due to SSR could be compensated.
그러나 RGB 채널간의 비율은 MSR에서의 독립적인 처리에 의해 왜곡되었다. 이에 통합된 멀티 스케일 레티넥스(Integrated Multi-scale Retinex;이하, IMSR이라 칭함)이 그러한 문제를 해소하기 위해 제안되었다. 이 알고리즘에서, 주변 이미지는 싱글 채널에서 계산되며, RGB 채널의 비율을 유지하기 위해 매 RGB 채널에 적용되었다. However, the ratio between RGB channels was distorted by independent processing in the MSR. Integrated Multi-scale Retinex (hereinafter referred to as IMSR) integrated therein has been proposed to solve such a problem. In this algorithm, the ambient image is computed on a single channel and applied to each RGB channel to maintain the ratio of the RGB channels.
이러한 노력에도 불구하고, 인간 시각 시스템은 결과 이미지에서 일부 왜곡을 여전히 감지하였다. CIELAB 색공간 알고리즘에 기초한 IMSR은 이러한 결점을 줄이기 위해 제안되었다. 이는 Wang-Jun Kyung, Tae-Hyoung Lee.: Improved color reproduction based on CIELAB color space in integrated multi-scale retinex. In: Proc. SPIE Electronic Imaging, vol.7241, (2009)에 개시되었다. 이는 오직 채널을 사용하여 주변 이미지를 계산하며, 그 주변 이미지를 사용하여 채널을 향상하였다. 그러나 오직 채널만 사용하는 것은 낮은 채도 문제를 야기할 수 있었고, 이는 채도 보상을 매우 중요한 문제로 만들었다.
Despite these efforts, the human visual system still detected some distortion in the resulting image. IMSR based on the CIELAB color space algorithm has been proposed to reduce these drawbacks. Wang-Jun Kyung, Tae-Hyoung Lee: Improved color reproduction based on CIELAB color space in integrated multi-scale retinex. In: Proc. SPIE Electronic Imaging, vol. 7241, (2009). Only Use the channel to calculate the surrounding image, and use the surrounding image Improved channel. But only Using only the channels could cause low saturation problems, which made saturation compensation a very important issue.
상기한 대부분의 레티넥스 알고리즘은 주변 이미지를 산출하는 가우시안 커널을 사용한다. 상기한 대부분의 레티넥스 알고리즘이 일반적인 이미지에 대해 좋은 성능을 가짐에도 불구하고, 실제 이미지에 대해서는 여전히 부적절하였다. Most of the retinex algorithms described above use a Gaussian kernel to produce the surrounding images. Although most of the retinex algorithms described above have good performance for general images, they are still inadequate for real images.
즉, 로컬 영역에서 조명이 불균일하더라도 가우시안 커널에 의해 만들어진 추정은 로컬 영역에서의 조명이 일정하게 처리되므로, 이는 적당하지 않았다. 더욱이 CIELAB 색공간에서의 이미지가 RGB 값으로부터 계산되므로, 이는 같은 휘도 조건에서 픽셀 색상이 상이하더라도 색공간에서의 계산시 문제를 만들었다. That is, even if the illumination is non-uniform in the local area, the estimation made by the Gaussian kernel is not suitable because the illumination in the local area is treated constantly. Furthermore, since the image in the CIELAB color space is calculated from the RGB values, even if the pixel colors are different under the same luminance conditions I made a problem in the calculation in the color space.
다시 말해, 같은 휘도를 가지더라도 값의 차이가 주변 이미지를 상이하게 만든다. 그리고 이는 주변 이미지 계산하는 것에 대한 에러를 야기한다.
In other words, even with the same luminance The difference in value makes the surrounding image different. And this causes errors in the calculation of the surrounding image.
<IMSR><IMSR>
이제 일반적인 레티넥스 방법에 대해 설명한다. 일반적으로 MSR 방법은 주변 이미지를 생성하기 위해 RBG 채널을 사용하고, 이는 RGB 채널 각각에 대해 독립적으로 적용된다. 이는 픽셀에서 RGB 비율을 변화시키며, 색 왜곡을 야기시킨다. The general Retinex method is now described. In general, the MSR method uses an RBG channel to generate a surrounding image, which is applied independently to each of the RGB channels. This changes the RGB ratio in the pixel, causing color distortion.
WANG에 의해 제안된 IMSR 방법은 상기한 문제를 해소하기 위해 주변 이미지를 형성하기 위해 휘도 채널을 사용하며, 이는 L. Wang, T. Horiuchi, and H. Kotera.: High Dynamic Range Image Compression by Fast Integrated Surround Retinex Model. In: J. Image Science and Technology, vol. 51, no. 1, (2007)에 개시된 바 있다. The IMSR method proposed by WANG uses a luminance channel to form the surrounding image to overcome the above problem, which is described by L. Wang, T. Horiuchi, and H. Kotera .: High Dynamic Range Image Compression by Fast Integrated Surround Retinex Model. In: J. Image Science and Technology, vol. 51, no. 1, (2007).
상기 주변 이미지들은 다른 표준 편차를 가지는 가우시안 커널을 사용하는 것에 의해 생성되며, 이러한 이미지들은 통합된 주변 이미지를 형성한다. 이는 색 균형을 유지하기 위해 각 색 채널에 적용된다. The peripheral images are generated by using a Gaussian kernel with a different standard deviation, and these images form an integrated peripheral image. This applies to each color channel to maintain color balance.
상기 IMSR 방법의 결과 이미지는 수학식 1과 같이 얻어진다. The resulting image of the IMSR method is obtained as shown in equation (1).
상기 수학식 1에서, I는 입력 RGB 이미지이고, i는 RGB 채널 인덱스이고, A는 이득계수이고, (x,y)는 픽셀의 위치이고, 은 통합된 주변이미지이다. Where I is the input RGB image, i is the RGB channel index, A is the gain coefficient, (x, y) is the position of the pixel, Is an integrated peripheral image.
상기 수학식 1의 통합된 주변 이미지 은 수학식 2에 따라 산출된다. The integrated peripheral image of Equation (1) Is calculated according to Equation (2).
상기 수학식 2에서, 상기 는 다른 스케일들로부터의 주변 이미지의 가중치 합을 나태내고, 은 스케일의 수이고, 는 주변 이미지의 표준 편차이고, 는 주변 이미지 의 가중치이다. In the above Equation 2, Quot; weight " of the surrounding images from the other scales, Is the number of scales, Is the standard deviation of the surrounding image, Surrounding image .
각 주변 이미지 는 휘도 와 상이한 표준편차를 이용한 가우시안 커널 을 컨볼루션한 것으로, 수학식 3과 같다. Each surrounding image The luminance And a Gaussian kernel using different standard deviations Is expressed by Equation (3). &Quot; (3) "
<CIELAB 색공간에서의 IMSR><IMSR in CIELAB color space>
CIELAB 색공간에서의 IMSR에 대해 설명한다. IMSR in the CIELAB color space will be described.
상기한 IMSR에 의해 야기될 수 있는 CIELAB 색공간에서의 휴 왜곡은 인간 시각 시스템에 의해 인지된다. The hi-distortion in the CIELAB color space, which can be caused by the above IMSR, is recognized by the human visual system.
이러한 문제를 방지하기 위해, CIELAB 색공간에 기초한 IMSR은 디바이스 독립적인 색공간인 CIELAB에 위치하며, 이는 Wang-Jun Kyung, Tae-Hyoung Lee.: Improved color reproduction based on CIELAB color space in integrated multi-scale retinex. In: Proc. SPIE Electronic Imaging, vol.7241, (2009)에 개시되었다. To avoid this problem, IMSR based on CIELAB color space is located in CIELAB, a device-independent color space, which is based on Wang-Jun Kyung, Tae-Hyoung Lee: Improved color reproduction based on CIELAB color space in integrated multi-scale retinex. In: Proc. SPIE Electronic Imaging, vol. 7241, (2009).
이 방법에서 입력 RGB 이미지는 CIELAB 색공간에서 변환되며, IMSR은 색 구성요소의 균형을 맞추기 위해 오직 채널에만 적용된다. 이는 이미지의 휘도를 향상하지만 채도에 대해서는 그렇지 않으므로, 원래의 이미지에서 어두운 영역은 레티넥스 방법이 적용된 후에는 낮은 채도값을 가진다.In this way, the input RGB image is transformed in the CIELAB color space, and the IMSR is transformed into the color component only Channel only. This improves the brightness of the image but not the saturation, so the dark area in the original image has a lower saturation value after the Retinex method is applied.
이에 채도 조정과정이 요구되며, 그 채도 조정은 채도 향상을 위한 휘도 변경에 따라 ,채널에서 수행되며, 이는 이 처리에서의 자연스럽지 않은 채도 문제 때문이다. Therefore, the saturation adjustment process is required, and the saturation adjustment is performed according to the luminance change for improving the saturation , Channel, which is due to a non-natural saturation problem in this process.
상기의 채도 조정후에, CIELAB 이미지는 RGB 컬러 공간으로 다시 변환된다.
After the above saturation adjustment, the CIELAB image is converted back to the RGB color space.
상기 휘도가 향상된 이미지는 채널에 대해 IMSR을 적용하여 얻어지며, 이는 수학식 4 내지 수학식 6에 의해 획득된다. The brightness enhanced image Channel is obtained by applying IMSR for the channel, which is obtained by Equations (4) to (6).
상기 수학식 4 내지 수학식 6에서, 은 이미지의 휘도 성분이고, (x,y)는 픽셀의 위치정보이고, 은 통합된 주변이미지로서 다른 스케일들로부터의 주변 이미지의 가중치 합을 나태내고, 은 스케일의 수이고, 는 주변 이미지의 표준 편차이고, 는 주변 이미지 의 가중치이고, 는 휘도이고, 는 상이한 표준편차를 이용한 가우시안 커널이다. In the above Equations 4 to 6, (X, y) is the position information of the pixel, Lt; RTI ID = 0.0 > a < / RTI > weighted sum of the surrounding images from other scales, Is the number of scales, Is the standard deviation of the surrounding image, Surrounding image Lt; / RTI > Is a luminance, Is a Gaussian kernel using different standard deviations.
그리고 표시가능한 범위의 값을 유지하기 위해 정규화가 필요하다. 그리고 최대 휘도 값의 수가 매우 작고, 그들은 노이즈로 판단될 수 있으므로, 최대 휘도 값 대신 휘도 cdf에서 제로 기울기(zero gradients)를 가지는 값이 채용된다.And normalization is required to maintain the value of the displayable range. Since the number of maximum luminance values is very small and they can be judged as noise, a value having zero gradients at the luminance cdf is employed instead of the maximum luminance value.
그리고 휘도 향상에 비례하는 채도 조정은 수학식 7에 따라 수행된다.And the saturation adjustment proportional to the luminance enhancement is performed according to Equation (7).
상기 수학식 7에서, 는 원래의 이미지의 크로마 값이고, 는 조정된 크로마 값이고, 은 휘도에 대응되는 sRGB 색영역 경계이다. 상기 는 향상된 휘도에 의해 수정된 색영역 경계이다. In Equation (7) Is the chroma value of the original image, Is the adjusted chroma value, Is an sRGB color gamut boundary corresponding to the luminance. remind Is a color gamut boundary modified by enhanced luminance.
그리고 채도 향상 프로세스에서, 과채도 문제는 sRGB 색역 경계의 비율을 이용하여 해결된다.
And in the saturation enhancement process, the hue and saturation problem is solved using the ratio of the sRGB gamut boundary.
상술한 종래 기술은 색 성분의 밸런스를 유지하기 위해 채널에서의 주변 이미지를 획득하기 위해 가우시안 커널을 사용한다. 그러나, 채널만을 사용하는 것은 문제를 가지고 있다. 예를들어, 같은 조명 아래 두 픽셀이 있다면, 값은 두 픽셀의 색상이 다르던지 그렇지 않던지 달라질 수 있다. 왜냐하면 값은 RGB 값으로부터 계산되기 때문이다. 그러므로 동일한 조도와 색 불일치 영역에서 정확한 주변 이미지를 얻는 것은 어려웠다. In order to maintain the balance of color components, The Gaussian kernel is used to obtain the surrounding images in the channel. But, Using a channel alone has problems. For example, if there are two pixels under the same illumination, The value can vary whether the colors of the two pixels are different or not. because Value is calculated from the RGB value. Therefore, it was difficult to obtain accurate peripheral images in the same illuminance and color discrepancy areas.
더욱이, 같은 색 픽셀들이 다른 조명 조건에 있다면, 그들 각각은 각기 다르게 강화되어야 하지만, 가우시안 커널은 같은 양으로 강화하며, 이는 그 로컬 영역의 조명은 천천히 변화하는 것으로 가정되기 때문이다.Moreover, if the same color pixels are in different lighting conditions, each of them must be strengthened differently, but the Gaussian kernel enhances in the same amount, because the illumination of that local area is assumed to change slowly.
이에 종래에는 좀더 정확한 주변 이미지를 얻기 위한 레티넥스 알고리즘의 개발이 요구되었다.
Therefore, in the past, it has been required to develop a Retinex algorithm for obtaining a more accurate peripheral image.
본 발명은 레티넥스 처리시에 정확한 주변 이미지를 획득하기 위해 가우시안 커널과 같은 같은 공간 거리를 사용하는 색 보존을 위한 CIELAB 색공간에서의 퍼지 연결을 이용하여 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법 및 장치를 제공하는 것을 그 목적으로 한다.
The present invention relates to image processing for performing integrated multiscale retinex using fuzzy connections in the CIELAB color space for color preservation using the same spatial distance as a Gaussian kernel to obtain accurate peripheral images during Retinex processing And to provide a method and an apparatus therefor.
상기한 목적을 달성하기 위한 본 발명에 따르는 CIELAB 색 공간에서의 통합된 멀티 스케일 레티넥스를 수행하는 이미지 처리 방법은, 이미지 정보를 입력받아 RGB 색공간에서 CIELAB 색공간으로 변환하는 단계; 상기 CIELAB 색공간의 이미지 정보 중 채널에 대해 중심 픽셀과 주변 픽셀의 색상차이를 반영한 커널을 이용하여 휘도를 향상하는 단계; 상기 휘도의 향상에 비례하여 채도를 조정하는 단계: 상기 채도를 조정한 이미지 정보를 RGB 색공간으로 변환하는 단계;를 포함하는 것을 특징으로 한다.
According to an aspect of the present invention, there is provided an image processing method for performing integrated multi-scale retinex in a CIELAB color space, comprising: receiving image information and converting the RGB color space to a CIELAB color space; Among the image information of the CIELAB color space Enhancing luminance by using a kernel reflecting a color difference between a center pixel and a surrounding pixel with respect to a channel; Adjusting the saturation in proportion to the improvement of the luminance; and converting the image information adjusted with the saturation into the RGB color space.
상기한 본 발명은 이미지의 레티넥스 처리시에 정확한 주변 이미지를 획득할 수 있게 하여 레티넥스 처리에 의한 색 왜곡을 최소화하는 효과를 야기한다.
The present invention can acquire an accurate peripheral image at the retinex processing of an image, thereby minimizing color distortion due to retinex processing.
도 1은 본 발명의 바람직한 실시예에 따른 이미지 처리 장치의 구성도.
도 2는 본 발명의 바람직한 실시예에 따른 이미지 처리 방법의 흐름도.
도 3은 본 발명의 바람직한 실시예에 따른 커널을 예시한 도면.
도 4 및 도 5는 본 발명의 바람직한 실시예에 따른 이미지 처리 예를 도시한 도면. 1 is a configuration diagram of an image processing apparatus according to a preferred embodiment of the present invention;
2 is a flow chart of an image processing method according to a preferred embodiment of the present invention.
Figure 3 illustrates a kernel in accordance with a preferred embodiment of the present invention.
4 and 5 are diagrams illustrating an example of image processing according to a preferred embodiment of the present invention.
본 발명의 바람직한 실시예에 따른 이미지 처리 장치의 구성을 도 1을 참조하여 설명한다. The configuration of an image processing apparatus according to a preferred embodiment of the present invention will be described with reference to FIG.
상기 이미지 처리 장치는 이미지 처리부(100)와 메모리부(102)로 구성된다. The image processing apparatus includes an image processing unit 100 and a memory unit 102.
상기 이미지 처리부(100)는 이미지 정보를 입력받아 본 발명에 따른 이미지 처리를 수행하고 그에 따른 결과 이미지를 출력한다. The image processing unit 100 receives image information, performs image processing according to the present invention, and outputs a resultant image.
상기 메모리부(102)는 상기 이미지 처리부(100)의 처리 프로그램을 포함하는 다양한 정보를 저장하며, 상기 이미지 처리부(100)의 이미지 처리에 필요한 저장영역을 제공한다.
The memory unit 102 stores various information including a processing program of the image processing unit 100 and provides a storage area necessary for image processing of the image processing unit 100. [
그리고 상기 이미지 처리 장치에 의해 수행되는 이미지 처리과정을 도 2를 참조하여 설명한다. The image processing process performed by the image processing apparatus will be described with reference to FIG.
상기 이미지 처리장치는 이미지 정보를 입력받아 RGB 색공간에서 CIELAB 색공간으로 변환한다(200단계). The image processing apparatus receives image information and converts the RGB color space into a CIELAB color space (operation 200).
이후 상기 이미지 처리 장치는 상기 CIELAB 색공간의 이미지 정보 중 채널에 대해 본 발명에 따르는 IMSR을 적용하여 휘도를 향상시키고, 그 휘도 향상에 비례하여 상기 CIELAB 색공간의 이미지 정보에 대해 채도조정을 이행한다(202,204단계). Thereafter, the image processing apparatus displays image information of the CIELAB color space The IMSR according to the present invention is applied to the channel to improve the luminance and the saturation adjustment is performed on the image information of the CIELAB color space in proportion to the luminance improvement (steps 202 and 204).
이후 상기 이미지 처리 장치는 상기 휘도 향상 및 채도 조정이 완료된 이미지 정보를 RGB 색공간으로 변환하여 출력한다(208단계)
Then, the image processing apparatus converts the image information for which the brightness enhancement and saturation adjustment have been completed into an RGB color space and outputs the image data (Step 208)
이제 본 발명에 따르는 IMSR에 대해 설명한다. The IMSR according to the present invention will now be described.
본 발명은 중심 픽셀과 주변 픽셀 사이의 색 차이를 반영한 커널을 토대로 휘도를 향상시키며, 이 커널은 수학식 8에 따른다. The present invention improves the brightness based on the kernel reflecting the color difference between the center pixel and the surrounding pixels, and this kernel is according to Equation (8).
상기 수학식 8에서 은 중심 픽셀의 위치가 인 가우시안 커널이고, 은 상기 가우시안 커널의 표준편차이고, 는 가우시안 커널 에서 중심픽셀 를 제외한 픽셀의 위치를 의미하고, 는 , 공간에서 픽셀의 색 정보를 나타내는 2차원 벡터이고, 는 커널 가중치를 생성하는 데에 사용되는 색 정보의 양을 결정하는 파라미터이다. In Equation (8) Lt; RTI ID = 0.0 > Gaussian kernel, Is the standard deviation of the Gaussian kernel, Gaussian kernel In the center pixel Quot; is the position of the pixel except for " The , Dimensional vector representing color information of a pixel in a space, Is a parameter that determines the amount of color information used to generate the kernel weights.
상기 커널 은 주변 이미지의 생성을 위해 적용되며, 이는 수학식 9와 같다. The kernel Is applied to the generation of the surrounding image, which is shown in Equation (9).
상기 수학식 9에서 은 주변 이미지이고, 은 색차이 뿐만 아니고 공간 거리를 고려한 퍼지 연결을 가지는 커널이고, 은 휘도 정보이다.
In Equation (9) Is an ambient image, Is a kernel with a fuzzy connection considering not only color difference but also spatial distance, Is luminance information.
이와같이 본 발명은 컬러 왜곡을 감소하기 위해 각 픽셀에 대해 (x,y)와 그의 주변 픽셀 사이의 색 차이를 사용하여 적응적으로 생성된 를 사용한다.
Thus, the present invention provides a method and apparatus for reducing color distortion by using (x, y) and Lt; / RTI >
도 3은 본 발명의 바람직한 실시예에 따라 휘도 향상을 위해 원래의 이미지에 적용된 커널을 예시한 것이다. 도 3에서 커널 (a)로 정의된 백색 픽셀은 다른 백색 픽셀들로 둘러쌓여 있으므로, 와 는 동일한 값이 된다. 이는 무시할만한 수학식 8의 분모를 만든다. 3 illustrates a kernel applied to an original image for luminance enhancement according to a preferred embodiment of the present invention. In Figure 3, the white pixels defined by kernel (a) are surrounded by other white pixels, Wow Becomes the same value. This makes the denominator of Equation 8 negligible.
그러나 다른 커널 (b)의 오른쪽은 중심 픽셀과 검정의 주변 픽셀 사이의 큰 색 차이로 인하여 거의 제로가 된다.
However, the right side of the other kernel (b) is almost zero due to the large color difference between the center pixel and surrounding black pixels.
이와 같이 본 발명은 중심 픽셀과 주변 픽셀 사이의 색 차이를 반영한 커널을 토대로 휘도를 향상함으로써, 같은 색 픽셀들이 다른 조명 조건에 있을 때에는 각기 다르게 강화시킴으로서 고품위의 이미지 정보를 생성할 수 있게 한다.
As described above, the present invention improves luminance based on a kernel reflecting a color difference between a center pixel and a surrounding pixel, thereby enhancing different colors when the same color pixels are in different illumination conditions, thereby enabling high quality image information to be generated.
본 출원인은 이러한 본 발명의 효과를 입증하기 위한 실험을 실행하였다. Applicants have conducted experiments to demonstrate the effects of the present invention.
이를 위해 본 출원인은 IXUS 110 IS 디지털 카메라에 의해 얻어진 이미지를 사용하여 평가하였다.
For this purpose, the present applicant was evaluated using images obtained by the IXUS 110 IS digital camera.
<제1평가><First Evaluation>
도 4는 본 발명에 의한 효과를 평가하기 위한 위한 테스트 이미지들을 예시한 것이다. 상기 도 의 (a) 및 (d)는 원래의 이미지이고, 도 4의 (b) 및 (e)는 종래 방식에 따라 휘도를 향상시킨 이미지이고, 도 4의 (c) 및 (f)는 본 발명에 따라 휘도를 향상시킨 이미지를 도시한 것이다. 4 illustrates test images for evaluating effects according to the present invention. 4 (a) and 4 (d) are original images, and FIGS. 4 (b) and 4 (e) And an image obtained by improving brightness according to the present invention.
상기 도 4의 (a)에서 A 지점과 B 지점은 같은 색상이나 조명 조건이 서로 다르다. 이에 상기 A 지점은 조명의 영향을 제거하기 위해 B 지점에 비해 더 향상되어야 하지만, 종래 방식에 따르는 도 4의 (b)에서는 A 지점과 B 지점에 대해 같은 강화량으로 강화되는 것으로 나타났다. 그러나 본 발명에 따르는 도 4의 (c)에서는, A 지점과 B 지점 사이의 휘도 차이가 도 4의 (b)에 비해 작게 나타났다. 이는 본 발명에 의한 커널 사용에 의해 A 지점에서 더 많이 강화되었기 때문이다.
In FIG. 4A, the point A and the point B have the same color or different lighting conditions. Thus, the point A has to be improved in comparison with the point B in order to eliminate the influence of the illumination, but it has been shown that the points A and B are reinforced with the same amount of reinforcement as in the conventional method shown in FIG. 4 (b). However, in FIG. 4C according to the present invention, the difference in luminance between points A and B is smaller than that in FIG. 4 (b). This is because the use of the kernel according to the present invention has further strengthened at point A.
한편 도 4의 (d)에서 A 지점과 B 지점은 매우 비슷하지만, 도 4의 (e)에서는 다르게 보인다. 그 지점들은 서로 다른 이웃 픽셀을 가지고 있으므로, A 지점과 B 지점에 대한 강화량이 다르다. 그러나 본 발명에 의한 커널 사용에 의하면, 도 4의 (f)와 같이 그 차이는 감소한다.
On the other hand, in FIG. 4 (d), the point A and the point B are very similar, but they are different in FIG. 4 (e). Since the points have different neighboring pixels, the amount of reinforcement for points A and B is different. However, according to the use of the kernel according to the present invention, the difference is reduced as shown in FIG. 4 (f).
<제2평가>≪ Second Evaluation >
그리고 본 출원인은 컬러 체커 이미지를 이용하여 종래 방식에 비해 컬러 왜곡이 감소되는 것을 확인하고자 하였다. The applicant of the present invention has tried to confirm that the color distortion is reduced as compared with the conventional method using the color checker image.
도 5는 본 발명에 의한 효과를 평가하기 위한 위한 테스트 이미지들을 예시한 것이다. 상기 도 5의 (a)는 원래의 이미지이고, 도 5의 (b)는 종래 방식에 따라 휘도를 향상시킨 이미지이고, 도 5의 (c)는 본 발명에 따라 휘도를 향상시킨 이미지를 도시한 것이다. 5 illustrates test images for evaluating effects according to the present invention. 5 (a) is an original image, FIG. 5 (b) is an image in which luminance is improved according to a conventional method, and FIG. 5 (c) will be.
도 5의 (a)에서, 조명 조건은 A 지점과 B 지점에서 동일하다. 그러므로 두 지점은 동일하다. 그러나 도 5의 (b)에서 A 지점은 B 지점에 비해 어둡다. 이는 주변 픽셀이 다르기 때문이다. 도 5의 (c)에서, 도 5의 (b)에 비해 A 지점과 B 지점의 색 차이가 더 작아진 것을 눈으로 확인할 수 있다. In Fig. 5 (a), the illumination conditions are the same at points A and B. Therefore, the two points are the same. However, in (b) of FIG. 5, point A is darker than point B. This is because the surrounding pixels are different. In FIG. 5 (c), it can be visually confirmed that the color difference between the point A and the point B is smaller than that of FIG. 5 (b).
이를 더 정량적으로 확인하기 위해, 도 5의 (b)와 (c)의 이미지들을 HSV 색공간으로 변환하고 휴의 표준편차를 비교하였다. 각 컬러 영역에 대한 휴 값은 더 작은 컬러 왜곡을 나타낼 때에 더 작은 휴의 표준편차를 만든다. In order to confirm this more quantitatively, the images of FIGS. 5 (b) and 5 (c) are converted into the HSV color space and the standard deviation of hue is compared. The hue value for each color area produces a smaller hue standard deviation when displaying smaller color distortions.
좀 더 설명하면, 테스트 이미지는 7개의 색 영역을 가지므로 두 테스트 이미지의 7개의 구성요소를 가우시안 믹스쳐 모델에 의해 모델링하고, 각 구성요소에 대한 표준편차를 찾을 수 있다. 그리고 7개의 구성요소의 표준편차의 합은 휴의 표준편차로 간주될 수 있다. 그 결과 도 5의 (c)는 휴의 표준편차가 도 5의 (b)에 비해 더 작고, 이는 종래 방식보다 본 발명이 색 왜곡 정도를 감소시킨 것을 나타낸다. 그 결과는 표 1에 도시한 바와 같다. More specifically, since the test image has seven color areas, seven components of the two test images can be modeled by the Gaussian mixer model and the standard deviation of each component can be found. And the sum of the standard deviations of the seven components can be regarded as the standard deviation of the hurdles. As a result, FIG. 5 (c) shows that the standard deviation of hue is smaller than that of FIG. 5 (b), indicating that the present invention reduces the degree of color distortion compared to the conventional method. The results are shown in Table 1.
상기한 본 발명에 따른 방법을 실현하는 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있으며, 이는 본 발명에 의해 당업자에게 자명하다.
The program for realizing the above-described method according to the present invention can be recorded on a computer-readable recording medium, which is obvious to a person skilled in the art by the present invention.
100 : 이미지 처리부
102 : 메모리부 100:
102: memory unit
Claims (7)
이미지 정보를 입력받아 RGB 색공간에서 CIELAB 색공간으로 변환하는 단계;
상기 CIELAB 색공간의 이미지 정보 중 채널에 대해 중심 픽셀과 주변 픽셀의 색상차이를 반영한 커널을 이용하여 휘도를 향상하는 단계;
상기 휘도의 향상에 비례하여 채도를 조정하는 단계:
상기 채도를 조정한 이미지 정보를 RGB 색공간으로 변환하는 단계;를 포함하는 것을 특징으로 하는 이미지 처리 방법. 1. An image processing method for performing integrated multi-scale retinex in a CIELAB color space,
Receiving image information and converting the RGB color space to the CIELAB color space;
Among the image information of the CIELAB color space Enhancing luminance by using a kernel reflecting a color difference between a center pixel and a surrounding pixel with respect to a channel;
Adjusting the saturation in proportion to the improvement of the luminance;
And converting the image information obtained by adjusting the saturation to an RGB color space.
상기 커널은 수학식 10에 따름을 특징으로 하는 이미지 처리 방법.
<수학식 10>
상기 수학식 10에서 은 중심 픽셀의 위치가 인 가우시안 커널이고, 은 상기 가우시안 커널의 표준편차이고, 는 가우시안 커널 에서 중심픽셀 를 제외한 픽셀의 위치를 의미하고, 는 , 공간에서 픽셀의 색 정보를 나타내는 2차원 벡터이고, 는 커널 가중치를 생성하는 데에 사용되는 색 정보의 양을 결정하는 파라미터임. The method according to claim 1,
Wherein the kernel is according to < RTI ID = 0.0 > (10). ≪ / RTI >
&Quot; (10) "
In Equation (10) Lt; RTI ID = 0.0 > Gaussian kernel, Is the standard deviation of the Gaussian kernel, Gaussian kernel In the center pixel Quot; is the position of the pixel except for " The , Dimensional vector representing color information of a pixel in a space, Is a parameter that determines the amount of color information used to generate kernel weights.
상기 커널 은 주변 이미지의 생성을 위해 적용되며, 이는 수학식 11에 따름을 특징으로 하는 이미지 처리 방법.
<수학식 11>
상기 수학식 11에서 은 주변 이미지이고, 은 색차이 뿐만 아니고 공간 거리를 고려한 퍼지 연결을 가지는 커널이고, 은 휘도 정보임. 3. The method of claim 2,
The kernel Is applied for the generation of the surrounding image, which is according to the equation (11).
Equation (11)
In Equation (11) Is an ambient image, Is a kernel with a fuzzy connection considering not only color difference but also spatial distance, Is luminance information.
이미지 정보를 입력받아 RGB 색공간에서 CIELAB 색공간으로 변환하고, 상기 CIELAB 색공간의 이미지 정보 중 채널에 대해 중심 픽셀과 주변 픽셀의 색상차이를 반영한 커널을 이용하여 휘도를 향상하고, 상기 휘도의 향상에 비례하여 채도를 조정하고, 상기 채도를 조정한 이미지 정보를 RGB 색공간으로 변환하는 이미지 처리부;와,
상기 이미지 처리부의 처리 프로그램을 포함하며 프로그램 수행을 위한 저장영역을 제공하는 메모리부;를 구비함을 특징으로 하는 이미지 처리 장치. 1. An image processing apparatus for performing an integrated multiscale retinex in a CIELAB color space,
Receives the image information, converts the RGB color space to the CIELAB color space, and converts the image information of the CIELAB color space An image processing unit for improving brightness by using a kernel reflecting the color difference between the center pixel and the surrounding pixels with respect to the channel, adjusting the saturation in proportion to the improvement of the luminance, ;Wow,
And a memory unit including a processing program of the image processing unit and providing a storage area for program execution.
상기 커널은 수학식 12에 따름을 특징으로 하는 이미지 처리 장치.
<수학식 12>
상기 수학식 12에서 은 중심 픽셀의 위치가 인 가우시안 커널이고, 은 상기 가우시안 커널의 표준편차이고, 는 가우시안 커널 에서 중심픽셀 를 제외한 픽셀의 위치를 의미하고, 는 , 공간에서 픽셀의 색 정보를 나타내는 2차원 벡터이고, 는 커널 가중치를 생성하는 데에 사용되는 색 정보의 양을 결정하는 파라미터임. 6. The method of claim 5,
Wherein the kernel is according to < RTI ID = 0.0 > (12). ≪ / RTI >
&Quot; (12) "
In Equation (12) Lt; RTI ID = 0.0 > Gaussian kernel, Is the standard deviation of the Gaussian kernel, Gaussian kernel In the center pixel Quot; is the position of the pixel except for " The , Dimensional vector representing color information of a pixel in a space, Is a parameter that determines the amount of color information used to generate kernel weights.
상기 커널 은 주변 이미지의 생성을 위해 적용되며, 이는 수학식 13에 따름을 특징으로 하는 이미지 처리 장치.
<수학식 13>
상기 수학식 13에서 은 주변 이미지이고, 은 색차이 뿐만 아니고 공간 거리를 고려한 퍼지 연결을 가지는 커널이고, 은 휘도 정보임.
The method according to claim 6,
The kernel Is applied for the generation of a peripheral image, which is according to the equation (13).
&Quot; (13) "
In Equation (13) Is an ambient image, Is a kernel with a fuzzy connection considering not only color difference but also spatial distance, Is luminance information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140079924A KR101585187B1 (en) | 2014-06-27 | 2014-06-27 | Image Processing Method and Apparatus for Integrated Multi-scale Retinex Based on CIELAB Color Space for Preserving Color |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140079924A KR101585187B1 (en) | 2014-06-27 | 2014-06-27 | Image Processing Method and Apparatus for Integrated Multi-scale Retinex Based on CIELAB Color Space for Preserving Color |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160001897A true KR20160001897A (en) | 2016-01-07 |
KR101585187B1 KR101585187B1 (en) | 2016-01-15 |
Family
ID=55168645
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140079924A KR101585187B1 (en) | 2014-06-27 | 2014-06-27 | Image Processing Method and Apparatus for Integrated Multi-scale Retinex Based on CIELAB Color Space for Preserving Color |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101585187B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126904A1 (en) * | 2016-01-22 | 2017-07-27 | 한국전자통신연구원 | Image signal conversion method and apparatus for reducing image quality deterioration |
CN109886885A (en) * | 2019-01-23 | 2019-06-14 | 齐鲁工业大学 | A kind of image enchancing method and system based on Lab color space and Retinex |
CN110727223A (en) * | 2019-10-22 | 2020-01-24 | 西安科技大学 | Ring-type track intelligent inspection robot based on underground coal face and application thereof |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070039347A (en) * | 2005-10-07 | 2007-04-11 | 삼성전자주식회사 | Method and system for enhancement color image quality |
KR20100027888A (en) | 2008-09-03 | 2010-03-11 | 현대자동차주식회사 | Method for image processing using retinex algorithm |
KR20110128463A (en) | 2010-05-24 | 2011-11-30 | 금오공과대학교 산학협력단 | Color restoration retinex method |
KR101321840B1 (en) | 2012-04-25 | 2013-10-23 | 연세대학교 산학협력단 | Image normalization method and apparatus by using fuzzy-based retinex |
-
2014
- 2014-06-27 KR KR1020140079924A patent/KR101585187B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070039347A (en) * | 2005-10-07 | 2007-04-11 | 삼성전자주식회사 | Method and system for enhancement color image quality |
KR20100027888A (en) | 2008-09-03 | 2010-03-11 | 현대자동차주식회사 | Method for image processing using retinex algorithm |
KR20110128463A (en) | 2010-05-24 | 2011-11-30 | 금오공과대학교 산학협력단 | Color restoration retinex method |
KR101321840B1 (en) | 2012-04-25 | 2013-10-23 | 연세대학교 산학협력단 | Image normalization method and apparatus by using fuzzy-based retinex |
Non-Patent Citations (3)
Title |
---|
논문1 * |
논문2 * |
논문3 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126904A1 (en) * | 2016-01-22 | 2017-07-27 | 한국전자통신연구원 | Image signal conversion method and apparatus for reducing image quality deterioration |
CN109886885A (en) * | 2019-01-23 | 2019-06-14 | 齐鲁工业大学 | A kind of image enchancing method and system based on Lab color space and Retinex |
CN110727223A (en) * | 2019-10-22 | 2020-01-24 | 西安科技大学 | Ring-type track intelligent inspection robot based on underground coal face and application thereof |
Also Published As
Publication number | Publication date |
---|---|
KR101585187B1 (en) | 2016-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | CID: IQ–a new image quality database | |
Weng et al. | A novel automatic white balance method for digital still cameras | |
JP4685864B2 (en) | Image processing method, display image processing method, image processing apparatus, image processing program, and integrated circuit including the image processing apparatus | |
KR101309498B1 (en) | Histogram adjustment for high dynamic range image mapping | |
KR101309497B1 (en) | Histogram adjustment for high dynamic range image mapping | |
US8731322B2 (en) | Image brightness controlling apparatus and method thereof | |
JP6004481B2 (en) | Color image processing method, color image processing apparatus, and color image processing program | |
US8665348B2 (en) | Image processing apparatus and method using forward and inverse local adaptation processing and dynamic range processing | |
WO2006064913A1 (en) | Image processing method | |
Jang et al. | Adaptive color enhancement based on multi-scaled Retinex using local contrast of the input image | |
Kwok et al. | Gray world based color correction and intensity preservation for image enhancement | |
Kwon et al. | Luminance adaptation transform based on brightness functions for LDR image reproduction | |
US9794450B2 (en) | Image processor, image display device, and image processing method for correcting input image | |
KR101585187B1 (en) | Image Processing Method and Apparatus for Integrated Multi-scale Retinex Based on CIELAB Color Space for Preserving Color | |
JP5410378B2 (en) | Video signal correction apparatus and video signal correction program | |
Kwon et al. | CAM-based HDR image reproduction using CA–TC decoupled JCh decomposition | |
Viswanath | Enhancement of brain tumor images | |
JP4719559B2 (en) | Image quality improving apparatus and program | |
Singh et al. | Spatial domain color image enhancement based on local processing | |
JPWO2006106750A1 (en) | Image processing apparatus, image processing method, and image processing program | |
Yun et al. | A contrast enhancement method for HDR image using a modified image formation model | |
US20100309231A1 (en) | Method for adjusting the settings of a reproduction color device | |
JP2005039458A (en) | Image processing apparatus and method | |
Son et al. | Color correction of images projected on a colored screen for mobile beam projector | |
Lin et al. | Level-base compounded logarithmic curve function for colour image enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190107 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20200304 Year of fee payment: 5 |