KR101536191B1 - 컬러 재현 장치 및 컬러 재현 방법 - Google Patents

컬러 재현 장치 및 컬러 재현 방법 Download PDF

Info

Publication number
KR101536191B1
KR101536191B1 KR1020080127877A KR20080127877A KR101536191B1 KR 101536191 B1 KR101536191 B1 KR 101536191B1 KR 1020080127877 A KR1020080127877 A KR 1020080127877A KR 20080127877 A KR20080127877 A KR 20080127877A KR 101536191 B1 KR101536191 B1 KR 101536191B1
Authority
KR
South Korea
Prior art keywords
light source
correction data
color
image
correcting
Prior art date
Application number
KR1020080127877A
Other languages
English (en)
Other versions
KR20100069239A (ko
Inventor
이호진
문영수
이상조
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080127877A priority Critical patent/KR101536191B1/ko
Priority to US12/458,603 priority patent/US8395678B2/en
Publication of KR20100069239A publication Critical patent/KR20100069239A/ko
Application granted granted Critical
Publication of KR101536191B1 publication Critical patent/KR101536191B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

컬러 재현 장치는 화이트 밸런스 게인을 이용하여 센서로부터 수집한 영상에 대해 화이트 밸런스를 수행하는 화이트 밸런스 수행부, 상기 화이트 밸런스가 수행된 영상으로부터 컬러 필터의 어레이 보간을 수행하여 RGB 영상을 복원하는 영상 복원부, 광원에 따른 컬러 디스토션을 보정하기 위한 제1 보정 데이터를 적용하여 컬러 디스토션을 보정하는 제1 컬러 보정부 및 센서 특성에 따른 컬러 디스토션을 보정하기 위한 제2 보정 데이터를 적용하여 컬러 디스토션을 보정하는 제2 컬러 보정부를 포함할 수 있다.
컬러 재현(color reproduction), 컬러 보정(color correction), 화이트 밸런스(WB), 컬러 디스토션(color distortion)

Description

컬러 재현 장치 및 컬러 재현 방법{APPARATUS AND METHOD FOR REPRODUCTING COLOR}
본 발명의 일실시예는 영상 처리에 관한 것으로, 보다 구체적으로는, 센서로부터 수집한 영상으로부터 컬러 보정을 적용하여 컬러 재현을 수행하는 장치 및 방법에 관한 것이다.
디지털 카메라, 캠코더 등과 같이 영상 촬영 기기를 보급화됨에 따라, 영상 결과의 품질에 대해 연구가 많이 이루어지고 있다. 즉, 영상 촬영 기기를 통해 영상을 수집하고, 수집된 영상을 효과적으로 복원하는 것이 중요한 이슈가 되고 있다.
영상 촬영 기기의 센서 특성은 최적화된 것이 아니기 때문에, 센서를 통해 수집한 영상은 실제 눈으로 보는 영상과는 차이가 존재한다. 특히, 센서를 통해 수집된 영상의 컬러와 실제 눈으로 보는 영상의 컬러는 차이가 큰 경우, 컬러 디스토션으로 인해 사용자는 출력 영상의 품질에 만족하지 못한다. 따라서, 센서를 통해 수집한 영상을 실제 눈으로 보이는 영상과 같이 컬러 재현을 정확하게 수행하는 것이 필요하다.
이러한 컬러 디스토션은 광원과 센서로 인해 발생할 수 있다. 또한, 센서의 입출력간의 비선형성으로 인해 발생할 수 있다. 따라서, 정확한 컬러 보정을 통해 컬러 디스토션을 제거할 수 있는 영상 처리 방법을 통해 품질이 향상된 출력 영상을 생성할 수 있다.
본 발명의 일실시예에 따른 컬러 재현 장치는 화이트 밸런스 게인을 이용하여 센서로부터 수집한 영상에 대해 화이트 밸런스를 수행하는 화이트 밸런스 수행부, 상기 화이트 밸런스가 수행된 영상으로부터 컬러 필터의 어레이 보간을 수행하여 RGB 영상을 복원하는 영상 복원부, 광원에 따른 컬러 디스토션(color distortion)을 보정하기 위한 제1 보정 데이터를 적용하여 컬러 디스토션을 보정하는 제1 컬러 보정부 및 센서 특성에 따른 컬러 디스토션을 보정하기 위한 제2 보정 데이터를 적용하여 컬러 디스토션을 보정하는 제2 컬러 보정부를 포함할 수 있다.
본 발명의 일실시예에 따른 컬러 재현 장치는 센서의 입출력 간 회색 영역의 비선형성을 보정하기 위한 제3 보정 데이터를 적용하여 회색 영역을 보정하는 회색 영역 보정부를 더 포함할 수 있다.
본 발명의 일실시예에 따른 컬러 재현 방법은 화이트 밸런스 게인을 이용하여 센서로부터 수집한 영상에 대해 화이트 밸런스를 수행하는 단계, 상기 화이트 밸런스가 수행된 영상으로부터 컬러 필터의 어레이 보간을 수행하여 RGB 영상을 복원하는 단계, 광원에 따른 컬러 디스토션(color distortion)을 보정하기 위한 제1 보정 데이터를 적용하여 컬러 디스토션을 보정하는 단계 및 센서 특성에 따른 컬러 디스토션을 보정하기 위한 제2 보정 데이터를 적용하여 컬러 디스토션을 보정하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 컬러 재현 방법은 센서의 입출력 간 회색 영역 의 비선형성을 보정하기 위한 제3 보정 데이터를 적용하여 회색 영역을 보정하는 단계를 더 포함할 수 있다.
본 발명의 일실시예에 따르면, 화이트 밸런스를 수행하는 것과 더불어 광원에 의한 컬러 디스토션을 보정함으로써 센서로부터 수집한 영상의 컬러가 효과적으로 재현될 수 있다.
본 발명의 일실시예에 따르면, 광원에 의한 컬러 디스토션 및 센서에 의한 컬러 디스토션을 보정함으로써, 센서로부터 수집한 영상의 컬러가 효과적으로 재현될 수 있다.
본 발명의 일실시예에 따르면, 센서의 입출력 특성에 따른 회색 영역의 비선형성을 보정함으로써, 센서로부터 수집한 영상의 컬러가 효과적으로 재현될 수 있다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 본 발명의 일실시예에 따른 컬러 재현 방법은 컬러 재현 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 컬러 재현 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 1을 참고하면, 컬러 재현 장치(100)는 화이트 밸런스 수행부(101), 영상 복원부(102), 제1 컬러 보정부(103), 제2 컬러 보정부(104) 및 회색 영역 보정부(105)를 포함할 수 있다.
화이트 밸런스 수행부(101)는 화이트 밸런스 게인을 이용하여 센서로부터 수집한 영상에 대해 화이트 밸런스를 수행할 수 있다. 일례로, 화이트 밸런스 수행부(101)는 영상으로부터 화이트 영역을 검출하여 블루(blue)와 레드(red) 각각에 대한 화이트 밸런싱 게인을 결정할 수 있다. 이 때, 센서는 CCD, CMOS 등을 포함할 수 있다.
그리고, 화이트 밸런스 수행부(101)는 영상에 화이트 밸런싱 게인을 적용하여 화이트 밸런스를 수행할 수 있다. 이 때, 블루에 대한 화이트 밸런싱 게인(Kb)은 화이트 영역의 평균 그린과 블루의 비율로 결정될 수 있다. 또한, 레드에 대한 화이트 밸런싱 게인(Kr)은 화이트 영역의 평균 그린과 블루의 비율로 결정될 수 있다. 화이트 밸런싱 게인이 결정되면, 화이트 밸런스 수행부(101)는 영상 전체를 구성하는 픽셀의 컬러 채널에 적용하여 화이트 밸런스를 수행할 수 있다.
영상 복원부(102)는 화이트 밸런스가 수행된 영상으로부터 컬러 필터의 어레이 보간을 수행하여 RGB 영상을 복원할 수 있다. 이 때, 영상은 베이어 영상(Bayer image)일 수 있다. 베이어 영상은 mosaic 형태의 영상으로 raw data로 구성될 수 있다. 또한, 8bit 영상으로 이루어지기 때문에, 베이어 영상은 그레이 영상으로 구성될 수 있다.
따라서, 영상 복원부(102)는 컬러 필터의 어레이 보간을 수행하여 컬러 필터의 배치에 따라 이웃의 값을 통해 보간함으로써 베이어 영상을 컬러 영상으로 복 원할 수 있다.
제1 컬러 보정부(103)는 광원에 따른 컬러 디스토션(color distortion)을 보정하기 위한 제1 보정 데이터를 적용하여 컬러 디스토션을 보정할 수 있다.
화이트 밸런스 수행을 통해 광원에 의한 컬러 디스토션을 보정하는 것은 한계가 있기 때문에, 본 발명의 일실시예에 따른 컬러 재현 장치는 광원에 의한 컬러 디스토션을 보정하는 제1 컬러 보정부(103)를 포함할 수 있다.
광원에 의한 컬러 디스토션은 광원이 주광 (day light)과 동일하지 않을 때 발생하는 컬러 디스토션이다. 인간은 주광 환경에서 사물의 색이 가장 자연스럽고 정확하다고 판단할 수 있다. 이 때, 주광이 아닌 백열등, 형광등과 같은 인공광원 환경에서 느끼는 사물의 색의 차이를 광원에 의한 컬러 디스토션이라고 한다. 구체적으로, 광원에 의한 컬러 디스토션은 인공 광원을 구성하는 빛의 파장이 주광과 다르기 때문에 이 빛이 피사체에 반사되어 인간의 눈이나 센서와 같은 측정 장치에 도달할 때 주광의 경우와는 다르게 되어 발생할 수 있다.
제2 컬러 보정부(104)는 센서 특성에 따른 컬러 디스토션을 보정하기 위한 제2 보정 데이터를 적용하여 컬러 디스토션을 보정할 수 있다. 센서 특성에 의한 컬러 디스토션은 영상 센서의 특성이 인간의 눈과 동일하지 않기 때문에 발생하는 것을 의미할 수 있다. 빛에 반응하는 센서의 특성이 CIE (Internatoinal Commission on Illumination)에서 정의하는 표준 관찰자(statndard observer)의 특성과 다르기 때문에, 이 차이만큼 사람의 눈과 센서로 취득한 영상간의 컬러에는 차이가 발생할 수 있다. 이 차이를 센서에 의한 컬러 디스토션이라고 한다.
이 때, 제2 컬러 보정부(104)는 화이트 밸런스 수행부(101)와 제1 컬러 보정부(103)를 통해 광원에 의한 컬러 디스토션이 보정된 영상에 대해 제2 보정 데이터를 적용할 수 있다. 결국, 제2 보정 데이터는 광원이 데이라이트(day light)일 때의 보정 데이터를 의미할 수 있다.
회색 영역 보정부(105)는 센서의 입출력 간 회색 영역의 비선형성을 보정하기 위한 제3 보정 데이터를 적용하여 회색 영역을 보정할 수 있다. 센서의 입출력간의 비선형성은 센서에 도달하는 빛의 양과 센서에서 감지하는 빛의 양이 선형적이지 못하는 경우를 의미할 수 있다. 선형적으로 밝기가 증가하는 gray-chart의 영상을 센서로 취득한 경우, 센서의 출력단에서 얻는 gray chart의 밝기값은 선형적이지 않을 수 있다. 예를 들어, 센서의 입출력 간 비선형성은 어두운 영역에서 더 어두운 밝기값으로 취득되는 현상을 의미할 수 있다.
센서의 입출력 간의 비선형성으로 인해, 영상의 회색 영역도 비선형이 발생할 수 있다. 따라서, 회색 영역 보정부(105)는 영상의 그레이 영역을 이용하여 제3 보정 데이터를 결정할 수 있다. 이 대, 제3 보정 데이터는 광원이 데이라이트 일 때의 보정 데이터를 의미할 수 있다.
이하, 도 2 및 도 3은 미리 설정한 광원에 대해 제1 보정 데이터, 제2 보정 데이터 및 제3 보정 데이터를 결정하는 것을 나타낸다. 그리고, 도 4는 미리 설정한 광원이 아닌 특정 광원의 영향을 받은 영상이 입력되었을 때, 제1 보정 데이터를 조절하는 과정을 설명한다.
도 2 내지 도 5에서, 화이트 밸런스 수행부(101)는 AWB(auto white balance), 영상 복원부(102)는 CFAi(Color filter array interpolation), 제1 컬러 보정부(103)는 Pre-CC(color correction), 제2 컬러 보정부(104)는 CC(color correction) 및 회색 영역 보정부(105)는 S-GC(Sensor gamma correction)으로 정의될 수 있다.
도 2는 본 발명의 일실시예에 따라 제2 보정 데이터 및 제3 보정 데이터를 결정하는 과정(step 1)을 설명하기 위한 도면이다.
Step 1에서는 제2 보정 데이터와 제3 보정 데이터가 결정될 수 있다. 이 때, 광원은 데이라이트(D65)일 수 있다.
(1) 영상에 대해 AWB(101)를 통해 화이트 밸런스가 수행될 수 있다. 그리고, AWB(101)는 화이트 영역에 대해 B/R ratio를 계산할 수 있다. 이 때, 광원이 데이라이트 일 때의 B/R ratio가 결정될 수 있다. 여기서, B/R ratio는 화이트 영역의 R값의 합계와 B값의 합계로 결정될 수 있다.
그리고, CFAi(102)는 컬러 필터 어레이 보간을 수행할 수 있다. CFAi(102)를 통해 컬러 영상이 복원될 수 있으며, 이 때, 복원된 컬러 영상을 X'로 결정될 수 있다.
(2) 복원된 컬러 영상이 결정되면, Pre-CC(103)의 제1 보정 데이터(S)를 단위 행렬(I)로 설정할 수 있다. 그리고, 입력 영상에 대해 최적화된 영상인 결과 참조 영상에 기초하여 CC(104)의 제2 보정 데이터(T) 및 S-GC(105)의 제3 보정 데이터(P)가 결정될 수 있다.
제1 보정 데이터가 단위 행렬로 설정되었기 때문에, Pre-CC(103)의 결과 영 상(X)은 X'(X=SX')로 결정될 수 있다.
(3) S-GC(105)의 제3 보정 데이터(P)는 입력 영상의 그레이 영역을 통해 결정될 수 있다. 제3 보정 데이터는 하기 수학식 1과 같이 정의될 수 있다.
Figure 112008086414094-pat00001
Figure 112008086414094-pat00002
이 때, Z는 결과 참조 영상의 데이터를 의하고, Y는 S-GC(105)의 입력 데이터를 의미한다. 즉, Z가 이미 결정되었기 때문에, 제3 보정 데이터(P)는 2차 다항식 근사화를 통해 결정될 수 있다. 이 때,
Figure 112008086414094-pat00003
는 2차 다항식 근사화를 통해 결정되는 LUT(look-up table)일 수 있다.
(4) 결과 참조 영상(Z)은 Z=PY로 결정되기 때문에, CC(104)의 결과 데이터(Y)는 Y=P-1Z로 결정될 수 있다. 그러면, CC(104)의 제2 보정 데이터(T)는 하기 수학식 2에 따라 결정될 수 있다. 제2 보정 데이터는 행렬로 결정될 수 있다.
Figure 112008086414094-pat00004
결국, step 1에 의하면, 광원이 데이라이트 일 때, CC(104)의 제2 보정 데이터
Figure 112008086414094-pat00005
와 S-GC(105)의 제3 보정 데이터
Figure 112008086414094-pat00006
가 결정될 수 있다.
도 3은 본 발명의 일실시예에 따라 제1 보정 데이터를 결정하는 과정(step 2)을 설명하기 위한 도면이다.
Step 2에서는 광원이 미리 설정한 광원일 때, 제1 보정 데이터가 결정될 수 있다. 도 3에서 미리 설정한 광원은 HOR(허리즌 라이트), INCA(홈라이트) 및 CWF(쿨화이트)일 수 있다.
(1) 미리 설정한 광원에 대해 AWB(101)는 화이트 밸런스를 수행하고, 각각의 광원에 대해 B/R ratio를 계산할 수 있다. 이 때, 광원이 HOR(허리즌 라이트), INCA(홈라이트) 및 CWF(쿨화이트) 일 때의 B/R ratio가 결정될 수 있다.
그리고, CFAi(102)는 컬러 필터 어레이 보간을 수행할 수 있다. CFAi(102)를 통해 컬러 영상이 복원될 수 있으며, 이 때, 복원된 컬러 영상을 X'로 결정될 수 있다.
(2) Step 1-(2)에서 도출한 X와 step 2-(1)에서 도출된 X'를 이용하여 Pre-CC(103)는 미리 설정한 광원 각각에 대해 제1 보정데이터를 결정할 수 있다. 제1 보정 데이터는 행렬로 결정될 수 있다.
이 때, 제1 보정 데이터는 하기 수학식 3에 따라 결정될 수 있다.
Figure 112008086414094-pat00007
Figure 112008086414094-pat00008
Figure 112008086414094-pat00009
이 때,
Figure 112008086414094-pat00010
는 결과 참조 영상인 Z로부터 CC(104)의 제2 보정 데이터
Figure 112008086414094-pat00011
와 S-GC(105)의 제3 보정 데이터
Figure 112008086414094-pat00012
를 통해 결정될 수 있다.
도 4는 본 발명의 일실시예에 따라 특정 광원에서 제1 보정 데이터를 조절하는 과정(step3)을 설명하기 위한 도면이다.
Step 3은 미리 설정한 광원이 아닌 외부 광원에 대한 영상이 입력되었을 때, 제1 보정 데이터를 조절하는 과정을 나타낸다.
(1) 외부 광원에 대해 AWB(101)는 화이트 밸런스를 수행하고, 외부 광원에 대해 B/R ratio를 계산할 수 있다.
(2) CFAi(102)를 통해 복원된 컬러 영상인 X'가 결정된다. 또한, 결과 참조 영상인 Z로부터 CC(104)의 제2 보정 데이터
Figure 112008086414094-pat00013
와 S-GC(105)의 제3 보정 데이터
Figure 112008086414094-pat00014
를 통해 Pre-CC(103)의 결과 데이터인 X가 결정된다.
이 때, Step 1, 2에서 데이라이트, HOR(허리즌 라이트), INCA(홈라이트) 및 CWF(쿨화이트)에 대한 제1 보정 데이터(S)가 결정되었다. 만약, 외부 광원이 상기 언급한 광원에 속하지 않는 경우, Pre-CC(103)는 미리 결정된 제1 보정 데이터를 조절할 수 있다.
만약, 외부 광원에 대한 제1 보정 데이터가 S일 때, 외부 광원에 가까운 2 개의 광원을 각각 S1, S2라고 한다면, S는 하기 수학식 4에 따라 결정될 수 있다.
S = w1S1 + w2S2
이 때, w1과 w2는 B/R ratio 커브를 통해 결정될 수 있다. B/R ratio 커브를 통해 w1과 w2를 결정하여 제1 보정 데이터를 조절하는 과정은 도 5에서 구체적으로 설명된다.
도 5는 본 발명의 일실시예에 따라 특정 광원에서 B/R ratio 커브에서의 보간 과정을 통해 제1 보정 데이터를 조절하는 과정을 설명하기 위한 도면이다.
도 5를 참고하면, 광원에 대한 B/R ratio를 나타내는 그래프가 도시되어 있다. 미리 설정한 광원인 데이라이트, HOR(허리즌 라이트), INCA(홈라이트) 및 CWF(쿨화이트) 각각의 B/R ratio는 step 1 및 step 2를 통해 AWB(101)에서 결정되었다.
만약, 외부 광원이 INC와 CWF의 색온도 사이에 해당하는 K라고 할 때, K에 대한 제1 보정 데이터는 B/R ratio 커브에서 도면부호(501)에 위치한다. 그리고, INC에 대한 제1 보정 데이터(
Figure 112008086414094-pat00015
)는 S1(503)이고, CWF에 대한 제1 보정 데이터(
Figure 112008086414094-pat00016
)는 S2(502)이다.
그러면, 외부 광원 K에 대한 제1 보정 데이터(S)는 상기 수학식 4와 같이 결정될 수 있다. 이 때, w1은 외부 광원 K와 CWF의 B/R ratio 차이를 의미하고, w2는 외부 광원 K와 INC의 B/R ratio 차이를 의미한다. 즉, 수학식 4에서 S는 S1과 S2를 보간하여 결정된 값이라고 할 수 있다.
결국, Pre-CC(103)는 미리 설정한 광원에 대한 제1 보정 데이터를 이용하여 외부 광원에 대한 제1 보정 데이터를 결정함으로써, 광원에 의한 컬러 디스토션을 보정할 수 있다.
도 6은 본 발명의 일실시예에 따른 컬러 재현 방법의 전체 과정을 도시한 플로우차트이다.
단계(S601)에서, 컬러 재현 장치는 화이트 밸런스 게인을 이용하여 센서로부터 수집한 영상에 대해 화이트 밸런스를 수행할 수 있다.
이 때, 컬러 재현 장치는 영상으로부터 화이트 영역을 검출하여 블루와 레드 각각에 대한 화이트 밸런싱 게인을 결정하고, 화이트 밸런싱 게인을 적용하여 화이트 밸런스를 수행할 수 있다.
또한, 컬러 재현 장치는 미리 설정한 적어도 하나의 광원에 대해 화이트 영역을 검출하여 대한 블루와 레드의 채널 신호 평균 비(B/R ratio)를 결정할 수 있다. 이 때, 미리 설정한 적어도 하나의 광원은 데이라이트(DL), 홈라이트(INC), 쿨화이트(CWF) 또는 허리즌 라이트(HOR)를 포함할 수 있다.
단계(S602)에서, 컬러 재현 장치는 화이트 밸런스가 수행된 영상으로부터 컬러 필터의 어레이 보간을 수행하여 RGB 영상을 복원할 수 있다.
이 때, 컬러 재현 장치는 그레이를 나타내는 베이어 영상으로부터 컬러 필터의 어레이 보간을 통해 컬러 영상인 RGB 영상을 복원할 수 있다.
단계(S603)에서, 컬러 재현 장치는 광원에 따른 컬러 디스토션(color distortion)을 보정하기 위한 제1 보정 데이터를 적용하여 컬러 디스토션을 보정할 수 있다. 제1 보정 데이터는 외부 광원이 데이라이트인 경우 단위 행렬로 결정될 수 있다.
만약, 미리 설정한 적어도 하나의 광원이 아닌 다른 외부 광원이 입력되면, 상기 외부 광원에 따른 B/R ratio를 이용하여 제1 보정 데이터를 조절할 수 있다. 이 때, 컬러 재현 장치는 미리 설정한 적어도 하나의 광원에 대한 B/R ratio 커브에 상기 외부 광원에 따른 B/R ratio를 맵핑 할 수 있다. 그리고, 컬러 재현 장치는 맵핑된 외부 광원에 따른 B/R ratio에 기초하여 제1 보정 데이터를 보간함으로써 제1 보정 데이터를 조절할 수 있다.
단계(S604)에서, 컬러 재현 장치는 센서 특성에 따른 컬러 디스토션을 보정하기 위한 제2 보정 데이터를 적용하여 컬러 디스토션을 보정할 수 있다.
단계(S605)에서, 컬러 재현 장치는 센서의 입출력 간 회색 영역의 비선형성을 보정하기 위한 제3 보정 데이터를 적용하여 회색 영역을 보정할 수 있다.
제2 보정 데이터 및 제3 보정 데이터는 데이라이트 일 때의 데이터를 의미한다. 제2 보정 데이터 및 제3 보정 데이터는 Step 1을 통해 결정될 수 있다. 일례로, 제2 보정 데이터 및 제3 보정 데이터는 광원이 데이라이트 일 때, 센서로부터 수집한 영상의 최적화된 영상인 결과 참조 영상에 기초하여 결정될 수 있다.
결국, 단계(S601) 내지 단계(S605)를 통해 센서로부터 수집된 영상으로부터 광원 및 센서 특성에 따른 컬러 디스토션과 센서의 입출력간 비선형성에 따른 회색 영역의 비선형성이 제거되어 효과적인 컬러 재현이 이루어질 수 있다.
도 6에서 설명되지 않은 제1 보정 데이터, 제2 보정 데이터 및 제3 보정 데이터를 결정하는 일례는 도 2 내지 도 5에서 구체적으로 설명된다.
또한 본 발명의 일실시예에 따른 컬러 재현 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명 되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 컬러 재현 장치의 전체 구성을 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따라 제2 보정 데이터 및 제3 보정 데이터를 결정하는 과정(step 1)을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따라 제1 보정 데이터를 결정하는 과정(step 2)을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 특정 광원에서 제1 보정 데이터를 조절하는 과정(step 3)을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 특정 광원에서 B/R ratio 커브에서의 보간 과정을 통해 제1 보정 데이터를 조절하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 컬러 재현 방법의 전체 과정을 도시한 플로우차트이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 컬러 재현 장치
101: 화이트 밸런스 수행부
102: 영상 복원부
103: 제1 컬러 보정부
104: 제2 컬러 보정부
105: 회색 영역 보정부

Claims (19)

  1. 화이트 밸런스 게인을 이용하여 센서로부터 수집한 영상에 대해 화이트 밸런스를 수행하는 화이트 밸런스 수행부;
    상기 화이트 밸런스가 수행된 영상으로부터 컬러 필터의 어레이 보간을 수행하여 RGB 영상을 복원하는 영상 복원부;
    광원에 따른 컬러 디스토션(color distortion)을 보정하기 위한 제1 보정 데이터를 상기 복원된 RGB 영상에 적용하여 컬러 디스토션을 보정하는 제1 컬러 보정부;
    상기 제1 보정 데이터가 적용된 후, 센서 특성에 따른 컬러 디스토션을 보정하기 위한 제2 보정 데이터를 상기 컬러 디스토션이 보정된 RGB 영상에 적용하여 컬러 디스토션을 보정하는 제2 컬러 보정부; 및
    센서의 입출력 간 회색 영역의 비선형성을 보정하기 위한 제3 보정 데이터를 적용하여 상기 제2 컬러 보정부에 의해 보정된 RGB 영상의 회색 영역을 보정하는 회색 영역 보정부
    를 포함하고,
    상기 제1 보정 데이터는,
    상기 광원이 데이라이트인 경우, 미리 설정된 값으로 결정되고,
    상기 광원이 데이라이트를 제외한 미리 설정된 적어도 하나의 광원인 경우, 상기 미리 설정된 적어도 하나의 광원에서 복원된 RGB 영상과 데이라이트인 광원에서 결정된 제2 보정 데이터 및 제3 보정 데이터에 기초하여 결정되는, 컬러 재현 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 화이트 밸런스 수행부는,
    상기 영상으로부터 화이트 영역을 검출하여 블루와 레드 각각에 대한 화이 트 밸런싱 게인을 결정하고, 상기 화이트 밸런싱 게인을 적용하여 화이트 밸런스를 수행하는, 컬러 재현 장치.
  4. 제1항에 있어서,
    상기 화이트 밸런스 수행부는,
    미리 설정한 적어도 하나의 광원에 대해 화이트 영역을 검출하여 대한 블루와 레드의 채널 신호 평균 비(B/R ratio)를 결정하는, 컬러 재현 장치.
  5. 제4항에 있어서,
    상기 제1 컬러 보정부는,
    상기 미리 설정한 적어도 하나의 광원이 아닌 다른 외부 광원이 입력되면, 상기 외부 광원에 따른 B/R ratio를 이용하여 상기 제1 보정 데이터를 조절하는, 컬러 재현 장치.
  6. 제5항에 있어서,
    상기 제1 컬러 보정부는,
    상기 미리 설정한 적어도 하나의 광원에 대한 B/R ratio 커브에 상기 외부 광원에 따른 B/R ratio를 맵핑하고, 상기 맵핑된 외부 광원에 따른 B/R ratio에 기초하여 상기 제1 보정 데이터를 보간하는, 컬러 재현 장치.
  7. 제4항에 있어서,
    상기 미리 설정한 적어도 하나의 광원은,
    데이라이트(DL), 홈라이트(INC), 쿨화이트(CWF) 또는 허리즌 라이트(HOR)를 포함하는, 컬러 재현 장치.
  8. 제1항에 있어서,
    상기 제2 보정 데이터 및 상기 제3 보정 데이터는,
    상기 광원이 데이라이트일 때, 상기 센서로부터 수집한 영상의 최적화된 영상인 결과 참조 영상에 기초하여 결정되는, 컬러 재현 장치.
  9. 제8항에 있어서,
    상기 제1 보정 데이터는,
    상기 광원이 데이라이트인 경우, 단위 행렬로 결정되는, 컬러 재현 장치.
  10. 화이트 밸런스 게인을 이용하여 센서로부터 수집한 영상에 대해 화이트 밸런스를 수행하는 단계;
    상기 화이트 밸런스가 수행된 영상으로부터 컬러 필터의 어레이 보간을 수행하여 RGB 영상을 복원하는 단계;
    광원에 따른 컬러 디스토션(color distortion)을 보정하기 위한 제1 보정 데이터를 상기 복원된 RGB 영상에 적용하여 컬러 디스토션을 보정하는 단계;
    상기 제1 보정 데이터가 적용된 후, 센서 특성에 따른 컬러 디스토션을 보정하기 위한 제2 보정 데이터를 상기 컬러 디스토션이 보정된 RGB 영상에 적용하여 컬러 디스토션을 보정하는 단계; 및
    센서의 입출력 간 회색 영역의 비선형성을 보정하기 위한 제3 보정 데이터를 적용하여 상기 제2 컬러 보정부에 의해 보정된 RGB 영상의 회색 영역을 보정하는 단계
    를 포함하고,
    상기 제1 보정 데이터는,
    상기 광원이 데이라이트인 경우, 미리 설정된 값으로 결정되고,
    상기 광원이 데이라이트를 제외한 미리 설정된 적어도 하나의 광원인 경우, 상기 미리 설정된 적어도 하나의 광원에서 복원된 RGB 영상과 데이라이트인 광원에서 결정된 제2 보정 데이터 및 제3 보정 데이터에 기초하여 결정되는, 컬러 재현 방법.
  11. 삭제
  12. 제10항에 있어서,
    상기 화이트 밸런스를 수행하는 단계는,
    상기 영상으로부터 화이트 영역을 검출하여 블루와 레드 각각에 대한 화이트 밸런싱 게인을 결정하고, 상기 화이트 밸런싱 게인을 적용하여 화이트 밸런스를 수행하는, 컬러 재현 방법.
  13. 제10항에 있어서,
    상기 화이트 밸런스를 수행하는 단계는,
    미리 설정한 적어도 하나의 광원에 대해 화이트 영역을 검출하여 대한 블루와 레드의 채널 신호 평균 비(B/R ratio)를 결정하는, 컬러 재현 방법.
  14. 제13항에 있어서,
    상기 제1 보정 데이터를 적용하여 컬러 디스토션을 보정하는 단계는,
    상기 미리 설정한 적어도 하나의 광원이 아닌 다른 외부 광원이 입력되면, 상기 외부 광원에 따른 B/R ratio를 이용하여 상기 제1 보정 데이터를 조절하는, 컬러 재현 방법.
  15. 제14항에 있어서,
    상기 제1 보정 데이터를 적용하여 컬러 디스토션을 보정하는 단계는,
    상기 미리 설정한 적어도 하나의 광원에 대한 B/R ratio 커브에 상기 외부 광원에 따른 B/R ratio를 맵핑하는 단계; 및
    상기 맵핑된 외부 광원에 따른 B/R ratio에 기초하여 상기 제1 보정 데이터를 보간하는 단계
    를 포함하는, 컬러 재현 방법.
  16. 제13항에 있어서,
    상기 미리 설정한 적어도 하나의 광원은,
    데이라이트(DL), 홈라이트(INC), 쿨화이트(CWF) 또는 허리즌 라이트(HOR)를 포함하는, 컬러 재현 방법.
  17. 제10항에 있어서,
    상기 제2 보정 데이터 및 상기 제3 보정 데이터는,
    상기 광원이 데이라이트일 때, 상기 센서로부터 수집한 영상의 최적화된 영상인 결과 참조 영상에 기초하여 결정되는, 컬러 재현 방법.
  18. 제17항에 있어서,
    상기 제1 보정 데이터는,
    상기 광원이 데이라이트인 경우, 단위 행렬로 결정되는, 컬러 재현 방법.
  19. 제10항 및 제12항 내지 제18항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020080127877A 2008-12-16 2008-12-16 컬러 재현 장치 및 컬러 재현 방법 KR101536191B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080127877A KR101536191B1 (ko) 2008-12-16 2008-12-16 컬러 재현 장치 및 컬러 재현 방법
US12/458,603 US8395678B2 (en) 2008-12-16 2009-07-16 Apparatus and method of reproducing color

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080127877A KR101536191B1 (ko) 2008-12-16 2008-12-16 컬러 재현 장치 및 컬러 재현 방법

Publications (2)

Publication Number Publication Date
KR20100069239A KR20100069239A (ko) 2010-06-24
KR101536191B1 true KR101536191B1 (ko) 2015-07-13

Family

ID=42240051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080127877A KR101536191B1 (ko) 2008-12-16 2008-12-16 컬러 재현 장치 및 컬러 재현 방법

Country Status (2)

Country Link
US (1) US8395678B2 (ko)
KR (1) KR101536191B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000015303A (ko) * 1998-08-28 2000-03-15 윤종용 비디오 카메라의 화이트 밸런스 보정 방법
KR20040069403A (ko) * 2003-01-29 2004-08-06 주식회사 하이닉스반도체 이미지센서의 칼라 정보 보간 방법
KR20060104495A (ko) * 2005-03-30 2006-10-09 엘지전자 주식회사 자동 화이트 밸런스 조정 방법
KR20060114218A (ko) * 2005-04-29 2006-11-06 매그나칩 반도체 유한회사 자동 화이트 밸런스 조절 장치 및 자동 화이트 조절 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534340B2 (ja) 2000-10-31 2010-09-01 ソニー株式会社 色再現補正装置
JP3863773B2 (ja) 2001-08-22 2006-12-27 富士フイルムホールディングス株式会社 画像撮影方法および装置
US7529424B2 (en) * 2003-05-02 2009-05-05 Grandeye, Ltd. Correction of optical distortion by image processing
US7728880B2 (en) * 2004-06-25 2010-06-01 Qualcomm Incorporated Automatic white balance method and apparatus
JP4434073B2 (ja) 2005-05-16 2010-03-17 ソニー株式会社 画像処理装置および撮像装置
JP4967440B2 (ja) 2006-04-03 2012-07-04 ソニー株式会社 撮像装置およびその光源推定装置
US20100277610A1 (en) * 2006-11-29 2010-11-04 Nokia Corporation Apparatus, Method And Computer Program Product Providing a Light Source With Memory
US8063948B2 (en) * 2007-02-26 2011-11-22 Texas Instruments Incorporated Proximity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000015303A (ko) * 1998-08-28 2000-03-15 윤종용 비디오 카메라의 화이트 밸런스 보정 방법
KR20040069403A (ko) * 2003-01-29 2004-08-06 주식회사 하이닉스반도체 이미지센서의 칼라 정보 보간 방법
KR20060104495A (ko) * 2005-03-30 2006-10-09 엘지전자 주식회사 자동 화이트 밸런스 조정 방법
KR20060114218A (ko) * 2005-04-29 2006-11-06 매그나칩 반도체 유한회사 자동 화이트 밸런스 조절 장치 및 자동 화이트 조절 방법

Also Published As

Publication number Publication date
US20100149373A1 (en) 2010-06-17
US8395678B2 (en) 2013-03-12
KR20100069239A (ko) 2010-06-24

Similar Documents

Publication Publication Date Title
US8654207B2 (en) Imaging pickup apparatus, image pickup method, image processing apparatus, image processing method, and image processing program
JP4955235B2 (ja) デジタルカメラおよびゲイン算出方法
US9438875B2 (en) Image processing apparatus, image processing method, and program
US7030913B2 (en) White balance control apparatus and method, and image pickup apparatus
JP4904440B2 (ja) 画像処理方法および装置，ならびに画像処理プログラムおよびこのプログラムを記録した媒体
US9013594B1 (en) Preventing color artifacts in overexposed regions and preserving maximum signals in near-overexposed regions of digital images
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
KR101639664B1 (ko) 촬상장치 및 촬상방법
JP2008153768A (ja) 撮像装置、およびホワイトバランス処理装置
US7289128B2 (en) Image processing device
JP7307541B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5977565B2 (ja) 画像処理装置
KR100595251B1 (ko) 디스플레이 장치의 색재현 장치 및 방법
JP5706705B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2009100302A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法
KR101536191B1 (ko) 컬러 재현 장치 및 컬러 재현 방법
JP2007274226A (ja) 画像処理装置および方法、情報処理装置および方法、プログラム、並びに記録媒体
JP4052001B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2012065069A (ja) 欠陥検出補正装置、及びプログラム、並びに記憶媒体
US10937230B2 (en) Image processing
JP4258237B2 (ja) 画像信号処理装置
JP4867983B2 (ja) 画像信号処理装置及びその方法
JP5968021B2 (ja) 撮像装置及び撮像装置の制御方法
JP5158239B2 (ja) 画像信号処理装置及びその方法
JP2013179400A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 5