KR101257946B1 - 영상의 색수차를 제거하는 장치 및 그 방법 - Google Patents

영상의 색수차를 제거하는 장치 및 그 방법 Download PDF

Info

Publication number
KR101257946B1
KR101257946B1 KR1020110078750A KR20110078750A KR101257946B1 KR 101257946 B1 KR101257946 B1 KR 101257946B1 KR 1020110078750 A KR1020110078750 A KR 1020110078750A KR 20110078750 A KR20110078750 A KR 20110078750A KR 101257946 B1 KR101257946 B1 KR 101257946B1
Authority
KR
South Korea
Prior art keywords
chromatic aberration
channel
pixels
region
pixel value
Prior art date
Application number
KR1020110078750A
Other languages
English (en)
Other versions
KR20130016743A (ko
Inventor
최은철
이재철
강문기
강희
Original Assignee
연세대학교 산학협력단
삼성테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 삼성테크윈 주식회사 filed Critical 연세대학교 산학협력단
Priority to KR1020110078750A priority Critical patent/KR101257946B1/ko
Priority to US13/550,796 priority patent/US8818089B2/en
Publication of KR20130016743A publication Critical patent/KR20130016743A/ko
Application granted granted Critical
Publication of KR101257946B1 publication Critical patent/KR101257946B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 피사체를 촬영하여 생성된 영상에 나타나는 색수차를 제거하는 장치 및 그 방법에 관한 것이다. 본 발명은, 입력 영상에서 색수차가 발생한 영역을 검출하는 색수차 영역 검출부; 상기 색수차 발생 영역의 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값을 산출하는 계수 산출부; 상기 산출된 화소값과 상기 색수차 발생 영역의 주변의 화소들의 색도값을 이용하여 상기 색수차 발생 영역의 색수차를 제거하는 색도신호 처리부; 및 퍼플 프린징(purple fringing)의 색특성을 가진 화소들의 주변 화소들로부터 복원된 화소값과 상기 퍼플 프린징을 갖는 영상 프레임의 이전 영상 프레임으로부터 보간된 화소값을 가중치로 사용하여 상기 퍼플 프린징을 제거하는 퍼플 프린징 제거부를 구비하는 색수차 제거 장치를 제공한다.

Description

영상의 색수차를 제거하는 장치 및 그 방법{Device for removing chromatic aberration in image and method thereof}
본 발명은 화상 통신에 관한 것으로, 특히 피사체를 촬영하여 생성된 영상에 나타나는 색수차를 제거하는 장치 및 그 방법에 관한 것이다.
최근 디지털 카메라는 많은 수요와 멀티미디어 기술의 발전으로 인해 기술적인 측면에서 많은 발전을 이루었다. 이 중에서 센서의 집적도 발전은 해상도 측면에서 많은 발전을 이루었다. 하지만 이로 인해 증가된 해상도는 렌즈에 의한 수차 현상들을 더욱 눈에 띄게 보이는 단점을 가져왔다. 특히 색수차는 영상의 에지 주변에서 잘못된 색 결함으로써 쉽게 눈에 띄기 때문에 문제가 된다. 색수차는 빛이 카메라의 렌즈를 통과할 때 파장에 따른 회절률의 차이로 인해 발생되는 것으로 모든 파장이 카메라의 초점면에 정확히 맞지 않아 발생된다.
색수차는 생기는 원인에 따라 축상 색수차와 배율 색수차 두 가지 종류로 나눌 수 있다. 배율 색수차는 도 1a에서 보는 바와 같이 렌즈(111)를 통과하는 빛의 굴절률이 파장 별로 달라 촬상면(121)의 다른 위치에 초점들(C1,C2,C3)이 맞아 결국 채널별 영상의 사이즈가 달라지는 기하학적 왜곡 현상을 발생시킨다. 즉, 영상의 주변부로 갈수록 각기 다른 굴절률의 영향을 더 많이 받아 색수차에 의한 결함 정도가 점점 심하게 나타나는 특성을 가지게 된다. 축상 색수차는 도 1b에서 보는 바와 같이 렌즈(111)를 통과한 빛의 굴절률의 차이로 인해 파장에 따라 렌즈(111)와 초점들(C1,C2,C3)의 거리가 차이가 날 때 발생한다. 그 결과 축상 색수차는 촬상면(121)에 초점들(C1,C2,C3)이 맞지 않는 파장에 대해서 흐림 현상이 초래된다. 이러한 색수차들은 공통적으로 RGB 채널의 에지들이 어긋나 그 주변에서 색 결함들을 발생시키게 된다. 디지털 영상에서는 추가적으로 퍼플 프린징(purple fringing) 현상이 색수차로 인한 결함과 더불어 나타나게 된다. 이 현상은 영상의 아주 밝은 영역 주변부에 보라색의 번짐이 넓게 발생하는 현상이다. 이 현상은 CMOS(Complementary Metal Oxide Semiconductor) 센서보다는 CCD(Charge Coupled Device) 센서로 획득한 영상에서 주로 발생하며, 센서에 입사하는 자외선의 영향으로 발생하게 된다. 이 현상은 일반적인 색수차 현상과 색 특성은 비슷하지만 넓은 영역에 걸쳐 발생하기 때문에 기존의 색수차 제거 방법으로는 효과적으로 제거하기 힘들다.
이와 같은 색수차 현상을 제거하기 위해서 대부분의 종래 기술은 렌즈의 특성을 대표하는 계수들을 추출해 영상을 각 채널에 따라 크기를 변화시키는 방법으로써 보정하였다. 종래 기술들은 큰 범주 안에서 사전에 패턴 영상을 사용해 계수들을 추출하는 방법들과 추가적인 영상없이 보정하는 방법들로 분류된다. 하지만 이와 같은 방법들은 축상 색수차에 의한 흐림 현상이 고려되어 있지 않으며, 퍼플 프린징에 대한 고려가 없어 배율 색수차에 의해 일어난 결함만을 보정할 수 있다. 이러한 단점을 보안하기 위해 최근 필터링 방법을 통해 색수차를 제거하는 방법들이 제안되었다. 이 방법은 처리하는 현재 화소 주변 화소들에 가중치의 합을 통해 색수차를 제거하는 방법으로 색수차의 영향이 많은 화소들의 비중을 작게 하고 색수차의 영향을 적게 받은 화소들의 비중을 크게 해 색수차를 제거하는 방법이다. 이 방법을 통해 배율 색수차뿐만 아니라 축상 색수차와 퍼플 프린징까지 제거할 수 있지만 필터링 방법의 한계로 인해 색수차와 퍼플 프린징을 효과적으로 제거하는 데에는 한계를 갖는다.
본 발명은 색수차와 퍼플 프린징을 모두 효과적으로 제거하는 장치 및 그 방법을 제공하기 위한 것이다.
상기 과제를 해결하기 위하여 본 발명은,
입력 영상에서 색수차가 발생한 영역을 검출하는 색수차 영역 검출부; 상기 색수차 발생 영역의 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값을 산출하는 계수 산출부; 상기 산출된 화소값과 상기 색수차 발생 영역의 주변의 화소들의 색도값을 이용하여 상기 색수차 발생 영역의 색수차를 제거하는 색도신호 처리부; 및 퍼플 프린징(purple fringing)의 색특성을 가진 화소들의 주변 화소들로부터 복원된 화소값과 상기 퍼플 프린징을 갖는 영상 프레임의 이전 영상 프레임으로부터 보간된 화소값을 가중치로 사용하여 상기 퍼플 프린징을 제거하는 퍼플 프린징 제거부를 구비하는 색수차 제거 장치를 제공한다.
상기 계수 산출부는, 상기 R 채널의 에지의 화소들의 크기와 상기 B 채널의 에지의 화소들의 크기의 차이를 최소화하는 계수를 추정하고, 이러한 계수를 이용하여 상기 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값을 산출한다.
상기 색도신호 처리부는, 상기 색수차 발생 영역에 포함된 R 채널들의 에지들과 상기 B 채널의 에지들을 상기 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값에 대응되는 위치로 이동시키는 채널 이동부; 및 상기 색수차 발생 영역에 포함된 RB 채널들의 화소들의 주변 화소들 중 색수차가 발생하지 않은 화소들의 색도값을 이용하여 상기 색수차 발생 영역에 포함된 RB 채널들의 화소들이 색수차가 발생하지 않았을 경우에 추정되는 색도값들을 구하고, 상기 추정된 색도값들을 상기 색수차가 발생한 영역에 포함된 RB 채널들의 화소들의 색도값들로 대체하는 색도 보간부를 구비한다.
상기 과제를 해결하기 위하여 본 발명은,
(a) 입력되는 영상에서 색수차가 발생한 영역을 검출하는 단계; (b) 상기 R 채널의 에지의 화소들의 크기와 상기 B 채널의 에지의 화소들의 크기의 차이를 최소화하는 계수를 추정하는 단계; (c) 상기 추정된 계수를 이용하여 상기 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값을 산출하는 단계; (d) 상기 색수차 발생 영역에 포함된 R 채널들의 에지들과 상기 B 채널의 에지들을 상기 화소값에 대응되는 위치로 이동시키는 단계; 및 (e) 상기 색수차 발생 영역에 포함된 RB 채널들의 화소들의 주변 화소들 중 색수차가 발생하지 않은 화소들의 색도값을 이용하여 상기 색수차 발생 영역에 포함된 RB 채널들의 화소들이 색수차가 발생하지 않았을 경우에 추정되는 색도값들을 구하고, 상기 추정된 색도값들을 상기 색수차가 발생한 영역에 포함된 RB 채널들의 화소들의 색도값들로 대체하는 단계를 포함하는 색수차 제거 방법을 제공한다.
상기 (e) 단계 이후에, 퍼플 프린징(purple fringing)의 색특성을 가진 화소들의 주변 화소들로부터 복원된 화소값과 상기 퍼플 프린징을 갖는 영상 프레임의 이전 영상 프레임으로부터 보간된 화소값을 가중치로 사용하여 상기 퍼플 프린징을 제거하는 단계를 더 포함할 수 있다.
본 발명은 후 처리 방식으로 색수차 현상과 퍼플 프린징을 제거하며, 또한, 사전 정보 없이 색수차 현상과 퍼플 프린징 제거가 가능하다.
본 발명은 또한, 이전 영상 프레임의 정보를 사용하기 때문에 넓은 영역에 걸쳐 일어나는 색수차 현상까지도 제거할 수 있다.
도 1a 및 도 1b는 각각 배율 색수차와 축상 색수차를 설명하기 위한 도면들이다.
도 2는 본 발명에 따른 색수차 제거 장치의 블록도이다.
도 3의 (a)와 (b)는 각각 RGB 채널들의 이상적인 에지의 모양과 색수차가 발생한 RGB 채널들의 에지의 모양을 보여준다.
도 4A는 일반적인 영상을 보여주고, 도 4B는 영상의 에지맵을 보여준다.
도 5는 수학식 2에서 구한 좌표들을 필터링에 사용하는 방법을 설명하기 위한 도면이다.
도 6A는 B 채널의 에지가 색수차로 인해 색번짐 현상이 나타난 경우를 보여주고, 도 6B는 B 채널의 에지의 색수차가 제거된 상태를 보여준다.
도 7은 전형적인 퍼플 프린징을 나타낸 것으로 형광등 주변 영역에 보라색 계열의 색상이 넓게 존재하는 것을 보여준다.
도 8은 이전 영상 프레임을 여러 개의 블록들로 분할한 상태를 보여준다.
도 9는 본 발명에 따른 색수차 제거 방법을 도시한 흐름도이다.
이하, 첨부한 도면들을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예에 대하여 상세히 설명하가로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명에 따른 색수차 제거 장치(201)의 블록도이다. 도 2를 참조하면, 색수차 제거 장치(201)는 영상 입력부(211), 색수차 영역 검출부(221), 계수 산출부(231), 색도신호 처리부(241), 퍼플 프린징 제거부(251) 및 영상 출력부(261)를 구비한다.
영상 입력부(211)는 외부로부터 영상을 입력한다.
색수차 영역 검출부(221)는 영상 입력부(211)로부터 출력되는 영상을 입력하고, 상기 영상에서 색수차가 발생한 영역을 검출한다. 색수차는 대부분 R(Red) 채널과 G(Green) 채널 및 B(Blue) 채널의 에지 영역(Edge area)에서 발생하므로, 색수차 영역을 감지한다는 것은 RGB 채널들의 에지 영역을 감지한다는 것을 의미한다.
계수 산출부(231)는 상기 색수차 발생 영역의 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값을 산출한다. 즉, 계수 산출부(231)는 먼저, R 채널의 에지의 화소들의 크기와 B 채널의 에지의 화소들의 크기의 차이를 최소화하는 계수를 추정한 다음, 이러한 계수를 이용하여 상기 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값을 산출한다.
영상의 광학 중심(도 3의 311)으로부터 거리가 멀어짐에 따라 RGB 채널들의 크기는 차이가 있다. 도 3의 (a)는 RGB 채널들의 이상적인 에지의 모양을 나타낸다. 즉, 광학 중심(311)과의 거리에 상관없이 이상적인 에지는 RGB 채널들의 에지가 모두 유사한 거리에 위치하게 된다. 그러나 색수차가 발생할 경우, 도 3의 (b)와 같이 RGB 채널들의 에지는 다른 거리에 위치하게 된다. 계수 산출부(231)는 이러한 채널별 크기 차이가 발생한 정도를 추정하여 원래의 위치라 판단되는 곳으로 화소들을 이동시킬 수 있도록 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값을 산출한다.
RGB 채널들의 크기를 보정하는 계수를 추정하기 위해서는 외부로부터 입력되는 영상의 에지 영역을 이용한다. 도 4A는 일반적인 영상을 보여주고, 도 4B는 영상의 에지맵을 나타낸다. 도 4B의 에지맵에서 밝은 색으로 나타난 부분들이 영상의 에지이며, 영상의 강한 에지에서는 각 채널별로 에지의 위치가 색수차로 인해 약간씩 다르게 나타난다. 따라서, RGB 채널들의 에지의 차이를 최소화하는 계수를 추정하면 이를 보정할 수 있게 된다. 본 발명은 아래 수학식 1을 만족시키는 수학식 2를 계산함으로써, 한 채널의 에지의 크기와 다른 채널의 에지의 크기값의 차이를 최소화하는 방법으로 계수를 추정하고 이를 이용하여 화소값을 산출한다. 즉, G 채널의 에지의 화소값(I
Figure 112011061168963-pat00001
)과 R 채널의 에지의 화소값(I
Figure 112011061168963-pat00002
)의 차이를 최소화하는 화소들(i',j')을 검출한다.
Figure 112011061168963-pat00003
Figure 112011061168963-pat00004
(i,j)는 화소의 수직 및 수평 좌표를 나타내고, I(i,j)는 화소값을 나타낸다. 또한, r(i,j)는 영상의 광학 중심(도 3의 311)으로부터 에지 화소(i,j)까지의 거리를 의미한다. 수학식 2의 추정 계수들(a0,a1,a2,a3)은 수치 해석적 방법으로 구할 수 있다. 이러한 추정 계수들(a0,a1,a2,a3)은 영상을 촬영하는 디지털 카메라에 장착된 광학계의 배율 등 광학적 특성이 바뀌지 않는 한 변하지 않기 때문에 광학적 특성이 바뀔 때에만 계산한다.
도 5는 수학식 2에서 구한 좌표들을 필터링에 사용하는 방법을 설명하기 위한 도면이다. 즉, 좌표들과 광학중심까지의 거리를 알면 현재 G채널에서 R 채널과 B 채널이 얼마나 차이가 나는지를 산출할 수 있다.
색도신호 처리부(241)는 상기 산출된 화소값과 상기 색수차 발생 영역의 주변의 화소들의 색도값을 이용하여 상기 색수차 발생 영역의 색수차를 제거한다. 색도신호 처리부(241)는 채널 이동부(243)와 색도 보간부(245)를 구비한다.
채널 이동부(243)는 상기 색수차 발생 영역에 포함된 R 채널들의 에지들과 상기 B 채널의 에지들을 상기 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값에 대응되는 위치로 이동시킨다.
색도 보간부(245)는 상기 색수차 발생 영역에 포함된 RB 채널들의 화소들의 주변 화소들 중 색수차가 발생하지 않은 화소들의 색도값(Cb,Cr)을 이용하여 상기 색수차 발생 영역에 포함된 RB 채널들의 화소들이 색수차가 발생하지 않았을 경우에 추정되는 색도값(Cb',Cr')들을 구하고, 상기 추정된 색도값들을 상기 색수차가 발생한 영역에 포함된 RB 채널들의 화소들의 색도값들로 대체함으로써, 색수차를 제거한다.
본 발명은 색도값으로 Y/Cb/Cr을 이용한다. 도 6A는 G 채널의 에지가 날카롭게 있는 반면 B 채널의 에지가 색수차로 인해 색번짐 현상이 나타난 경우이다. 이 때, 현재 화소에 색수차가 존재한다면 주변 화소들 중 색수차가 발생하지 않은 화소들의 색도(Cb)값을 이용하여 색수차가 발생하지 않았을 경우에 추정되는 색도(Cb') 값을 구하여 원래의 색도(Cb)값을 대체하면, 도 6B와 같이 G 채널의 에지와 비슷한 형태의 B 채널의 에지를 얻을 수 있게 된다. 이 같은 일련의 과정은 아래 수학식 3으로 산출될 수 있다.
Figure 112011061168963-pat00005
N은 현재 화소 주변 영역을 나타낸다. 즉, 수학식 3은 주변 화소들의 색도 값들을 가중 평균한 형태임을 알 수 있다. 이 때, 주변 화소의 색도 중 같은 계열의 색도만을 가중 평균하기 위해 스위치 함수(S)를 사용한다. 함수(S)는 주변 화소의 색도 중 부호가 같으면 1, 그렇지 않을 경우는 0의 값을 갖도록 하여 앞에서 언급한 기능을 수행한다. 수학식 3의 분모에 위치한 함수들(w1,w2,w3)은 새로운 색도값(I'Cb)을 계산시 적용되는 일종의 가중치이다. 즉, 함수(w1)는 G 채널과 B채널의 기울기 차의 절대값이다. 색수차가 발생한 영역에서는 G채널과 B채널의 기울기가 많이 차이나게 된다. 따라서, 분모에 함수(w1)을 사용함으로써, 색수차가 발생한 것으로 추정되는 화소의 색도는 가중 평균시 그 비중을 감소시키게 된다. 함수(w2)는 Y 채널의 기울기의 절대값이다. 일반적으로 밝기의 변화가 심한 곳에서는 색수차의 정도가 심해지므로, 이러한 경우 또한 그 비중을 감소시키기 위하여 사용된다. 마지막으로 함수(w3)은 현재 픽셀의 Y값과 주변 화소의 Y값의 차이로서, 이 값이 크다는 것은 주변에 비해 과도한 색도신호의 열화로 색이 바래지는 현상을 방지하는 역할을 한다. 이러한 과정을 수행함으로써, 영상에 나타나는 대부분의 색수차 현상은 제거된다. 색도(Cr)값을 필터링하는 과정도 색도(Cb)값을 얻는 과정과 동일하므로 이에 대한 중복 설명은 생략한다.
퍼플 프린징 제거부(251)는 퍼플 프린징(purple fringing)의 색특성을 가진 화소들의 주변 화소들로부터 복원된 화소값과 상기 퍼플 프린징을 갖는 영상 프레임의 이전 영상 프레임으로부터 보간된 화소값을 가중치로 사용하여 상기 퍼플 프린징을 제거한다. 퍼플 프린징은 촬영 소자에 입사되는 자외선에 의한 영향과 촬영 소자의 특성으로 인해 밝은 영역 및 그 주변부에서 보랏빛으로 나타나는 현상이며, 배율 색수차나 축상 색수차에 비해 넓은 영역에 걸쳐 발생한다. 도 7은 전형적인 퍼플 프린징을 나타낸 것으로 형광등(711)의 주변 영역에 보라색 계열의 색상(721)이 넓게 존재하는 것을 확인할 수 있다. 퍼플 프린징(721)은 이렇게 넓은 영역에 걸쳐 발생하기 때문에 일반적으로 사용되는 라인 메모리를 통한 하드웨어 시스템에서 현재 메모리에 존재하는 영상의 데이터만을 이용하여 퍼플 프린징(721)을 제거하는 데에는 한계가 존재한다. 본 발명은 이러한 한계를 극복하기 위해 이전 영상 프레임의 영상을 이용한다. 즉, 현재 영상 프레임에서는 퍼플 프린징(721)의 발생 정도와 위치를 정확하게 파악하기 어려우므로, 이전 영상 프레임에서 대강의 퍼플 프린징의 발생 영역을 검출한 후 현재 영상 프레임에서 처리할 때 이 정보를 이용한다.
구체적으로, 이전 영상 프레임을 도 8과 같이 여러 개의 블록들로 분할한다. 그리고 각각의 블록 내부에서 화소의 밝기가 일정 밝기 이상이 되는 화소의 수를 세어 저장한다. 본 발명에서는 Y 채널의 밝기값을 이용한다. 이에 따라, 작은 포화(saturation) 영역에 관한 영상을 얻을 수 있다. 이전 영상 프레임으로부터 이러한 영상을 획득한 후 현재 영상 프레임에서는 원래 사이즈로 보간하여 영상을 확대한다.
이어서, 현재 영상 프레임에서 퍼플 프린징(721)의 색 특성을 찾는다. 일반적으로 퍼플 프린징(721)은 보라색의 결함을 띄기 때문에 본 발명은 보라색의 특징을 다음 수학식 4로 판단한다.
Figure 112011061168963-pat00006
Figure 112011061168963-pat00007
여기서, ICb,ICr은 색도값을 나타내고, (i,j)는 현재 화소를 나타내며, (p,q)는 퍼플 프린징 여부를 판단하고자 하는 주변 화소를 의미한다.
주변의 퍼플 프린징이 일어나지 않는다고 판단되는 영역을 이용하여 Cb 채널의 값을 아래 수학식 5와 같이 변환시킨다.
Figure 112011061168963-pat00008
여기서, w4는 현재 화소와의 거리에 따른 가중치를 나타내며 N'는 퍼플 프린징(721)이 일어나지 않은 영역을 나타낸다.
이와 같이, 현재 프레임에서 퍼플 프린징(721)의 색 특성을 가진 화소들을 주변 화소로부터 복원된 값과 이전 영상 프레임으로부터 얻은 보간된 영상값을 가중치로 사용하여 퍼플 프린징(721)이 제거된 화소들로 복원할 수가 있다.
영상 출력부(261)는 색수차와 퍼플 프린징이 제거된 영상을 출력한다.
상술한 바와 같이 본 발명은 후 처리 방식으로 색수차 현상과 퍼플 프린징을 제거하며, 또한, 사전 정보 없이 색수차 현상과 퍼플 프린징 제거한다. 본 발명은 또한, 이전 영상 프레임의 정보를 사용하기 때문에 넓은 영역에 걸쳐 일어나는 색수차 현상까지도 제거할 수 있다.
도 9는 본 발명에 따른 색수차 제거 방법을 도시한 흐름도이다.
제1 단계(911)로써, 입력되는 영상에서 색수차가 발생한 영역을 검출한다.
제2 단계(921)로써, 상기 R 채널의 에지의 화소들의 크기와 상기 B 채널의 에지의 화소들의 크기의 차이를 최소화하는 계수를 추정한다.
제3 단계(931)로써, 상기 추정된 계수를 이용하여 상기 RGB 채널들의 에지의 크기 차이를 최소화하는 화소값을 산출한다.
제4 단계(941)로써, 상기 색수차 발생 영역에 포함된 R 채널들의 에지들과 상기 B 채널의 에지들을 상기 화소값에 대응되는 위치로 이동시킨다.
제5 단계(951)로써, 상기 색수차 발생 영역에 포함된 RB 채널들의 화소들의 주변 화소들 중 색수차가 발생하지 않은 화소들의 색도값을 이용하여 상기 색수차 발생 영역에 포함된 RB 채널들의 화소들이 색수차가 발생하지 않았을 경우에 추정되는 색도값들을 구하고, 상기 추정된 색도값들을 상기 색수차가 발생한 영역에 포함된 RB 채널들의 화소들의 색도값들로 대체한다.
제6 단계(951)로써, 퍼플 프린징의 색특성을 가진 화소들의 주변 화소들로부터 복원된 화소값과 상기 퍼플 프린징을 갖는 영상 프레임의 이전 영상 프레임으로부터 보간된 화소값을 가중치로 사용하여 상기 퍼플 프린징을 제거한다.
상술한 방법에 의해 피사체를 촬영하여 생성된 영상에 나타나는 색수차 현상과 퍼플 프린징을 제거할 수 있다.
본 발명은 도면들에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

Claims (8)

  1. 입력 영상에서 색수차가 발생한 영역을 검출하는 색수차 영역 검출부;
    상기 색수차 발생 영역의 R 채널과 G 채널과 B 채널 간의 에지의 크기 차이를 최소화하는 화소값을 산출하는 계수 산출부;
    상기 산출된 화소값과 상기 색수차 발생 영역의 주변의 화소들의 색도값을 이용하여 상기 색수차 발생 영역의 색수차를 제거하는 색도신호 처리부; 및
    퍼플 프린징(purple fringing)의 색특성을 가진 화소들의 주변 화소들로부터 복원된 화소값과 상기 퍼플 프린징을 갖는 영상 프레임의 이전 영상 프레임으로부터 보간된 화소값을 가중치로 사용하여 상기 퍼플 프린징을 제거하는 퍼플 프린징 제거부를 구비하는 것을 특징으로 하는 색수차 제거 장치.
  2. 제1항에 있어서, 상기 계수 산출부는
    상기 R 채널과 상기 G 채널 간의 에지의 화소들의 크기의 차이 및, 상기 B 채널과 상기 G 채널 간의 에지의 화소들의 크기의 차이를 최소화하는 계수를 추정하고, 이러한 계수를 이용하여 상기 R 채널과 상기 G 채널과 상기 B 채널 간의 에지의 크기 차이를 최소화하는 화소값을 산출하는 것을 특징으로 하는 색수차 제거 장치.
  3. 청구항 3은(는) 설정등록료 납부시 포기되었습니다.
    제2항에 있어서, 상기 R 채널과 상기 G 채널과 상기 B 채널 간의 에지의 크기 차이를 최소화하는 화소값은 {min∥IG(i,j)-IR(i',j')∥, min∥IG(i,j)-IB(i',j')∥ (i,j) ∈ 에지영역}을 만족시키는 화소값(i',j') 즉, [(i',j')=(i,j){a0+a1r(i,j)+a2r(i,j)2+a3r(i,j)3}] (여기서, a0,a1,a2,a3는 채널간 크기 계수)으로써 산출될 수 있는 것을 특징으로 하는 색수차 제거 장치.
  4. 제1항에 있어서, 상기 색도신호 처리부는
    상기 색수차 발생 영역에 포함된 상기 R 채널과 상기 B 채널 각각의 에지들을 상기 R 채널과 상기 G 채널과 상기 B 채널 간의 에지의 크기 차이를 최소화하는 화소값에 대응되는 위치로 이동시키는 채널 이동부; 및
    상기 색수차 발생 영역에 포함된 상기 R 채널과 상기 B 채널 각각의 화소들의 주변 화소들 중 색수차가 발생하지 않은 화소들의 색도값을 이용하여 상기 색수차 발생 영역에 포함된 상기 R 채널과 상기 B 채널 각각의 화소들이 색수차가 발생하지 않았을 경우에 추정되는 색도값들을 구하고, 상기 추정된 색도값들을 상기 색수차가 발생한 영역에 포함된 상기 R 채널과 상기 B 채널 각각의 화소들의 색도값들로 대체하는 색도 보간부를 구비하는 것을 특징으로 하는 색수차 제거 장치.
  5. 청구항 5은(는) 설정등록료 납부시 포기되었습니다.
    제4항에 있어서, 상기 색도값{I'Cb(i,j)}은
    Figure 112012086800896-pat00009
    Figure 112012086800896-pat00010

    {Cb는 채도, (i,j)는 색수차가 발생한 영역의 화소들, (p,q)는 색수차 발생 영역의 주변 화소들, N은 색수차 발생 영역의 주변 영역, S는 색수차 발생 영역의 주변 화소들의 색도들 중 같은 계열의 색도만을 가중 평균하기 위한 스위치 함수, w1은 상기 G 채널과 상기 B 채널의 기울기 차의 최대값, w2는 Y채널의 기울기의 절대값, w3은 색수차가 발생한 영역의 화소의 Y(휘도)값과 그 주변 화소들의 Y값의 차이}에 의해 산출될 수 있는 것을 특징으로 하는 색수차 제거 장치.
  6. 제1항에 있어서, 상기 퍼플 프린징 발생 영역은
    ICb〉0, 및 ICr〉threshold 및 ICb〉ICr 으로 정의되고, 상기 퍼플 프린징 발생 영역과 그 주변의 화소값들은 ICb(i,j)〉ICb(p,q)≤ICr(p,q) 로 정의되며, 상기 퍼플 프린징 발생 영역의 화소들의 보간된 채도값{I'Cb(i,j)}은
    Figure 112012086800896-pat00011
    (Cb는 채도, (i,j)는 퍼플 프린징이 발생한 화소, (p,q)는 퍼플 프린징 여부를 판단하고자 하는 주변 화소, W4는 퍼플 프린징이 발생한 영역의 화소들과 그 주변 화소들과의 거리에 따른 가중치, N'는 퍼플 프린징이 발생하지 않은 영역)으로써 산출될 수 있는 것을 특징으로 하는 색수차 제거 장치.
  7. (a) 입력되는 영상에서 색수차가 발생한 영역을 검출하는 단계;
    (b) 상기 색수차가 발생한 영역의 R 채널과 G 채널 간의 에지의 화소들의 크기의 차이 및, 상기 색수차가 발생한 영역의 B 채널과 상기 G 채널 간의 에지의 화소들의 크기의 차이를 최소화하는 계수를 추정하는 단계;
    (c) 상기 추정된 계수를 이용하여 상기 R 채널과 상기 G 채널과 상기 B 채널 간의 에지의 크기 차이를 최소화하는 화소값을 산출하는 단계;
    (d) 상기 R 채널과 상기 B 채널 각각의 에지들을 상기 화소값에 대응되는 위치로 이동시키는 단계; 및
    (e) 상기 R 채널과 상기 B 채널 각각의 화소들의 주변 화소들 중 색수차가 발생하지 않은 화소들의 색도값을 이용하여 상기 색수차 발생 영역에 포함된 상기 R 채널과 상기 B 채널 각각의 화소들이 색수차가 발생하지 않았을 경우에 추정되는 색도값들을 구하고, 상기 추정된 색도값들을 상기 색수차가 발생한 영역에 포함된 상기 R 채널과 상기 B 채널 각각의 화소들의 색도값들로 대체하는 단계를 포함하는 것을 특징으로 하는 색수차 제거 방법.
  8. 제7항에 있어서, 상기 (e) 단계 이후에
    퍼플 프린징(purple fringing)의 색특성을 가진 화소들의 주변 화소들로부터 복원된 화소값과 상기 퍼플 프린징을 갖는 영상 프레임의 이전 영상 프레임으로부터 보간된 화소값을 가중치로 사용하여 상기 퍼플 프린징을 제거하는 단계를 더 포함하는 것을 특징으로 하는 색수차 제거 방법.
KR1020110078750A 2011-08-08 2011-08-08 영상의 색수차를 제거하는 장치 및 그 방법 KR101257946B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110078750A KR101257946B1 (ko) 2011-08-08 2011-08-08 영상의 색수차를 제거하는 장치 및 그 방법
US13/550,796 US8818089B2 (en) 2011-08-08 2012-07-17 Device and method of removing chromatic aberration in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110078750A KR101257946B1 (ko) 2011-08-08 2011-08-08 영상의 색수차를 제거하는 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130016743A KR20130016743A (ko) 2013-02-19
KR101257946B1 true KR101257946B1 (ko) 2013-04-23

Family

ID=47677588

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110078750A KR101257946B1 (ko) 2011-08-08 2011-08-08 영상의 색수차를 제거하는 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8818089B2 (ko)
KR (1) KR101257946B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5367053B2 (ja) * 2011-02-28 2013-12-11 キヤノン株式会社 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
TW201336319A (zh) * 2012-02-23 2013-09-01 Novatek Microelectronics Corp 消除影像色彩偏差的方法與裝置
KR102126532B1 (ko) * 2013-09-30 2020-06-24 엘지디스플레이 주식회사 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
CN103699973A (zh) * 2013-12-31 2014-04-02 国家电网公司 基于gis的电网防台救灾辅助决策支持***
US20190355105A1 (en) 2017-01-27 2019-11-21 Sony Mobile Communications Inc. Method and device for blind correction of lateral chromatic aberration in color images
CN113784101A (zh) * 2021-09-26 2021-12-10 三星半导体(中国)研究开发有限公司 紫边校正方法和紫边校正装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006135744A (ja) 2004-11-08 2006-05-25 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
KR100866490B1 (ko) 2007-01-17 2008-11-03 삼성전자주식회사 영상의 색 수차를 보정하기 위한 장치 및 방법
JP2009124580A (ja) 2007-11-16 2009-06-04 Canon Inc 画像処理装置及び画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495429A (en) * 1993-02-12 1996-02-27 West Virginia University Method and apparatus for measuring the color of three dimensional objects
EP1197946B1 (en) * 2000-02-10 2007-04-04 Sony Corporation Image processing device and method, and recording medium
EP1736812B1 (en) * 2000-12-15 2010-04-14 Samsung Electronics Co.,Ltd. Wearable display system comprising a waveguide
JP4479457B2 (ja) 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4331159B2 (ja) * 2005-11-25 2009-09-16 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよびその記録媒体
US7577292B2 (en) 2005-12-30 2009-08-18 Microsoft Corporation Automatic removal of purple fringing from images
US7792357B2 (en) 2007-05-30 2010-09-07 Microsoft Corporation Chromatic aberration correction
KR101460610B1 (ko) 2008-07-30 2014-11-13 삼성전자주식회사 색수차 제거 방법 및 장치
KR101517407B1 (ko) 2008-11-06 2015-05-06 삼성전자주식회사 색수차 제거 방법 및 장치
KR101532605B1 (ko) 2008-11-06 2015-07-01 삼성전자주식회사 색수차 제거 방법 및 장치
US8237823B2 (en) 2008-11-06 2012-08-07 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
US8644640B2 (en) 2009-05-27 2014-02-04 Microsoft Corporation Purple fringing artifact reduction within a digital image with guidance from a green channel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006135744A (ja) 2004-11-08 2006-05-25 Sony Corp 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
KR100866490B1 (ko) 2007-01-17 2008-11-03 삼성전자주식회사 영상의 색 수차를 보정하기 위한 장치 및 방법
JP2009124580A (ja) 2007-11-16 2009-06-04 Canon Inc 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR20130016743A (ko) 2013-02-19
US8818089B2 (en) 2014-08-26
US20130039573A1 (en) 2013-02-14

Similar Documents

Publication Publication Date Title
JP5314357B2 (ja) 映像の色収差の補正方法および装置
JP5284537B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置
JP6525718B2 (ja) 画像処理装置、その制御方法、および制御プログラム
US9581436B2 (en) Image processing device, image capturing apparatus, and image processing method
US8571308B2 (en) Image processing for aberration correction
KR101257946B1 (ko) 영상의 색수차를 제거하는 장치 및 그 방법
US20090074324A1 (en) Image Processing Device And Image Processing Method
JP5847471B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2014126903A (ja) 画像処理装置および画像処理方法、ならびに、プログラム
JP4986820B2 (ja) 画像処理装置及び画像処理方法
JP5047055B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP4945942B2 (ja) 画像処理装置
JP4945943B2 (ja) 画像処理装置
JP2010219683A (ja) 画像処理装置、画像処理方法及びプログラム
JP2009200635A (ja) 画像処理装置及びその方法並びにプログラム
KR101874538B1 (ko) 영상의 대비 및 채도 동시 향상시키는 영상 처리 방법 및 장치
KR101205833B1 (ko) 디지털 줌 시스템을 위한 영상 처리 장치 및 방법
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法
JP2011041094A5 (ko)
JP5178421B2 (ja) 画像処理装置、画像処理方法及び撮像装置
CN114511469B (zh) 一种图像智能降噪先验检测方法
KR101517407B1 (ko) 색수차 제거 방법 및 장치
JP6486076B2 (ja) 画像処理装置および画像処理方法
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160328

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180327

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 7