KR20150006258A

KR20150006258A - 쉐이딩 보정이 가능한 화이트 발란스 방법, 그리고 이에 적용되는 장치

Info

Publication number: KR20150006258A
Application number: KR1020130079831A
Authority: KR
Inventors: 정영제; 김은정
Original assignee: 삼성테크윈 주식회사
Priority date: 2013-07-08
Filing date: 2013-07-08
Publication date: 2015-01-16
Also published as: KR101920816B1; US9451226B2; US20150009358A1; CN104284169B; CN104284169A

Abstract

본 발명은 쉐이딩 보정이 가능한 화이트 발란스 방법를 개시한다. 본 발명에 따른 쉐이딩 보정이 가능한 화이트 발란스 방법은, 화이트 발란스를 제어하는 처리 모듈 상에서 화이트 발란스를 제어함과 함께 쉐이딩 보정을 수행하기 위한 구성을 갖춘다. 따라서, 본 발명은 화이트 발란스 제어와 쉐이딩 보정을 각각 수행함에 따른 처리 시간이 지연되는 것을 방지할 수 있을 뿐만 아니라 쉐이딩 현상으로 인한 영상 왜곡을 방지하기 위한 처리 모듈을 별도로 구비할 필요가 없다.

Description

쉐이딩 보정이 가능한 화이트 발란스 방법, 그리고 이에 적용되는 장치{WHITE BALANCE METHOD FOR SHADING COMPENSATION, AND APPARATUS APPLIED TO THE SAME}

본 발명은 쉐이딩 보정이 가능한 화이트 발란스 방법에 관한 것으로, 더욱 상세하게는 카메라 구동 시 촬상 되는 입력 영상에 대해 화이트 발란스 제어를 개시한 후 개시된 화이트 발란스 제어를 수행하는 과정상에서 쉐이딩 보정을 함께 수행하기 위한 쉐이딩 보정이 가능한 화이트 발란스 방법에 관한 것이다.

최근의 카메라가 이미지 센서의 화소가 높아지고 탑재되는 렌즈 화각의 광각화 및 소형화가 이루어지면서 렌즈의 직경이 감소하게 되었고, 이로 인해 렌즈의 주광선 입사각이 증가하여 렌즈로 인해 생성되는 영상에 대한 주변부 밝기가 중앙부의 밝기보다 감소 되거나 주변부의 컬러가 왜곡되는 렌즈 쉐이딩 현상이 발생되는 문제점이 있다.

이를 해결하기 위한 종래의 쉐이딩 보정 방법은 별도의 메모리를 사용하여 쉐이딩을 보정 하거나, 영상의 입력단에서 별도의 영상 처리를 수행함으로써 쉐이딩을 보정 하는 방식을 취하고 있다.

하지만, 이와 같은 종래의 쉐이딩 보정 방법은 쉐이딩 현상을 회피하기 위한 별도의 제어 수행 과정이 포함됨에 따라 처리 시간이 길어지며, 쉐이딩 현상을 회피하기 위한 별도의 제어 수행을 담당하는 처리 모듈을 칩의 형태로 추가 구비하여야 하는 한계가 있다.

대한민국 등록특허공보 제10-0325806(2002.02.09)

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 목적은 쉐이딩 보정을 위한 처리 모듈에 의해서가 아닌 화이트 발란스를 제어하는 처리 모듈 상에서 화이트 발란스를 제어함과 함께 쉐이딩 보정을 수행하기 위한 쉐이딩 보정이 가능한 화이트 발란스 방법을 제공하는 데 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 제1 관점에 따른 쉐이딩 보정이 가능한 화이트 발란스 방법은 입력 영상의 색 온도를 맞추기 위한 화이트 발란스를 실행하는 단계, 상기 화이트 발란스의 실행 도중에 기 저장된 색 온도별 쉐이딩 이득 테이블 중 상기 색 온도와 대응하는 쉐이딩 이득 테이블을 추출하는 단계, 추출된 쉐이딩 이득 테이블을 이용하여 상기 입력 영상의 블록별 영상에 대한 쉐이딩 보정을 실행하는 단계 및 상기 화이트 발란스를 종료하는 단계를 포함한다.

바람직하게는, 상기 쉐이딩 보정이 가능한 화이트 발란스 방법은, 상기 색 온도별 쉐이딩 이득 테이블을 생성하는 단계;를 더 포함한다.

바람직하게는, 상기 쉐이딩 보정은 상기 추출된 쉐이딩 이득 테이블을 이용하여 상기 입력 영상의 블록별 영상에 대해 중심 대비 별도의 색 이득을 적용한다.

바람직하게는, 상기 색 온도별 쉐이딩 이득 테이블을 생성하는 단계는 색 온도별로 화이트 영상을 캡처하는 단계, 상기 캡처 된 화이트 영상을 N개의 블록으로 분리하고 분리된 각 블록에 대해 RGB 평균값을 구하는 단계, 상기 블록별 RGB 평균값을 정규화된 YCrCb 값으로 변환하고 상기 변환된 YCrCb 값을 정규화된 YDrDb 값으로 재변환하는 단계, 상기 블록별 YDrDb 값을 이용하여 전체 블록에 대한 YDrDb 평균값을 구하는 단계, 상기 색 온도별 블록 전체 평균의 YDrDb 값을 적용하여 색 온도별 YDrDb 테이블을 구하는 단계 및 상기 색 온도별 YDrDb 테이블을 이용하여 유효한 화이트 프레임을 선택하고, 선택된 프레임에 해당하는 특성 데이터를 기초로 하여 상기 색 온도별 쉐이딩 이득 테이블을 생성하는 단계를 포함한다.

바람직하게는, 상기 쉐이딩 이득 테이블을 추출하는 단계는 상기 입력 영상을 N개의 블록으로 분리하고 분리된 각 블록에 대한 RGB 평균값을 구하는 단계, 상기 블록별 RGB 평균값을 YDrDb 값으로 변환하는 단계, 변환된 YDrDb 값으로부터 기 정해진 화이트 프레임 범위에 해당하는 유효한 화이트 블록을 선택하는 단계, 선택된 각 화이트 블록의 YDrDb 값에 대한 YDrDb 평균값을 구하는 단계, 상기 YDrDb 평균값을 포함하는 특성 데이터를 판정하는 단계 및 상기 색 온도별 쉐이딩 이득 테이블 중에서 상기 특성 데이터와 대응하는 쉐이딩 이득 테이블을 추출하는 단계를 포함한다.

바람직하게는, 상기 쉐이딩 보정을 실행하는 단계는 상기 입력 영상에 대한 유효한 화이트 블록의 RGB 평균값을 기준으로 한 기준 R 이득 값 및 기준 B 이득 값을 구하는 단계, 기 기준 R 이득 값 및 기준 B 이득 값을 상기 쉐이딩 이득 테이블에 적용하여 블록별 R 이득 값 및 B 이득 값을 구하는 단계, 상기 블록별 R 이득 값 및 B 이득 값을 Y 신호 및 C 신호로 분리하는 단계 및 상기 Y 신호 및 C 신호 중 적어도 하나에 대해 쉐이딩 보정을 실행하는 단계를 포함한다.

그리고, 상기 목적을 달성하기 위한 본 발명의 제2 관점에 따른 쉐이딩 보정이 가능한 화이트 발란스 제어 장치는 색 온도별 쉐이딩 이득 테이블을 기 저장하는 저장 모듈 및 입력 영상의 색 온도를 맞추기 위한 화이트 발란스를 실행하는 도중에 상기 색 온도별 쉐이딩 이득 테이블 중 상기 색 온도와 대응하는 쉐이딩 이득 테이블을 추출하고, 추출된 쉐이딩 이득 테이블을 이용하여 상기 입력 영상의 블록별 영상에 대한 쉐이딩 보정을 실행하는 화이트 발란스 처리 모듈을 포함한다.

바람직하게는, 상기 색 온도별 쉐이딩 이득 테이블은 색 온도별로 캡처 된 화이트 영상을 N개의 블록으로 분리하고 분리된 N개의 블록과 대응하는 소정의 값을 기초로 해서 기 정해진 화이트 프레임 범위에 속하는 유효한 화이트 블록을 선택한 이후, 선택된 화이트 프레임에 해당하는 특성 데이터를 기초로 하여 생성된 테이블인 것을 특징으로 한다.

바람직하게는, 상기 소정의 값은 상기 분리된 각 블록에 대한 RGB 평균값이고, 블록별 RGB 평균값은 YCrCb 변환 및 YDrDb 변환을 거쳐 상기 화이트 블록을 선택하기 위한 값으로 변환된다.

바람직하게는, 상기 화이트 발란스 처리 모듈은 상기 입력 영상을 N개의 블록으로 분리하고, 분리된 블록들 중에서 기 정해진 화이트 프레임 범위에 속하는 유효한 화이트 블록을 선택한 후 선택된 화이트 블록과 대응하는 특성 데이터를 판정하며, 상기 색 온도별 쉐이딩 이득 테이블 중에서 상기 특성 데이터와 대응하는 쉐이딩 이득 테이블을 추출한다.

바람직하게는, 상기 화이트 발란스 처리 모듈은 상기 입력 영상에 대한 유효한 화이트 블록의 RGB 평균값을 기준으로 한 기준 R 이득 값 및 기준 B 이득 값을 구하고, 상기 기준 R 이득 값 및 기준 B 이득 값을 상기 쉐이딩 이득 테이블에 적용하여 블록별 R 이득 값 및 B 이득 값을 구한 이후 상기 블록별 R 이득 값 및 B 이득 값을 Y 신호 및 C 신호로 분리하고, 상기 Y 신호 및 C 신호 중 적어도 하나에 대해 쉐이딩 보정을 실행한다.

따라서, 본 발명에서는 쉐이딩 보정을 위한 처리 모듈에 의해서가 아닌 화이트 발란스를 제어하는 처리 모듈 상에서 화이트 발란스를 제어함과 함께 쉐이딩 보정을 수행함으로써, 화이트 발란스 제어와 쉐이딩 보정을 각각 수행함에 따른 처리 시간이 지연되는 것을 방지할 수 있을 뿐만 아니라 쉐이딩 현상으로 인한 영상 왜곡을 방지하기 위한 처리 모듈을 별도로 구비할 필요가 없는 이점이 있다.

도 1은 본 발명에 의한 화이트 발란스 제어 장치의 일실시 예를 나타내는 도면이다.
도 2는 본 발명에 의한 화이트 영상의 캡처 개념을 일실시 예로 나타내는 도면이다.
도 3은 도 2에서 캡처한 영상에 대한 블록 분할의 일실시 예를 나타내는 도면이다.
도 4는 본 발명에 의한 특성 곡선의 일실시 예를 나타내는 도면이다.
도 5는 도 4에 도시된 특성 곡선을 기준으로 한 경계 영역의 일실시 예를 나타내는 도면이다.
도 6은 도 1에 도시된 화이트 발란스 제어 장치의 동작 과정을 일실시 예로 나타내는 도면이다.
도 7은 도 6에 도시된 동작 과정 중 알고리즘 실행 과정의 일실시 예를 나타내는 도면이다.
도 8은 본 발명에 의한 화이트 발란스 제어 장치의 다른 실시 예를 나타내는 도면이다.
그리고, 도 9는 도 8에 도시된 화이트 발란스 제어 장치의 동작 과정을 일실시 예로 나타내는 도면이다.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 다음과 같이 상세히 설명한다.

도 1은 본 발명에 의한 화이트 발란스 제어 장치(100)의 일실시 예를 나타내는 도면이다. 도 1에 도시된 바와 같이 화이트 발란스 제어 장치(100)는 색 온도와 같은 영상속성에 대한 환경적 특성을 검출한 후 검출된 환경적 특성과 대응되는 영상 보간 과정을 수행하는 과정과 관련된 것으로서, 화이트 발란스를 제어하는 알고리즘 상에서 쉐이딩 보정도 함께 수행하기 위한 구성을 갖춘다.

여기서, 환경적 특성이라 함은 카메라의 렌즈계(110), 대역 통과 필터(120) 및 이미지 센서(130) 중 1 이상을 포함하는 조합의 컬러 속성에 기초한 것을 포함하는 개념이다.

이를 위해, 화이트 발란스 제어 장치(100)는 위 언급된 환경적 특성과 부합하는 색 온도의 영상으로 맞추기 위한 화이트 발란스를 실행하면서 영상 주변의 컬러 및 밝기 중 적어도 하나가 왜곡되는 현상을 방지하는 쉐이딩 보정 또한 함께 실행할 때, 전술된 쉐이딩 보정의 보정 값 생성을 위한 쉐이딩 이득 테이블을 생성하는 사전 처리를 위한 구성과, 실제 입력 영상에 대해 화이트 발란스를 실행하는 도중에 쉐이딩 보정을 실행하는 알고리즘 실행을 위한 구성으로 구분 가능하다.

즉, 화이트 발란스 제어 장치(100)는 전술된 알고리즘 실행을 위한 구성인 화이트 발란스 처리 모듈(140), 화이트 발란스 처리된 영상을 화면에 출력하기 위한 영상 출력 모듈(160) 및 영상 보정을 위한 각종 정보를 저장하는 저장 모듈(150)을 포함할 수 있다.

저장 모듈(150)에 저장되는 각종 정보는 입력 영상의 환경적 특성이 다양한 것인 바, 다양한 환경적 특성과 대응할 수 있는 색 온도별 쉐이딩 이득 테이블을 포함하는 것이 바람직하다.

화이트 발란스 처리 모듈(140)은 입력 영상의 색 온도를 맞추기 위한 화이트 발란스를 실행하는 도중에 저장 모듈(150)에 저장된 색 온도별 쉐이딩 이득 테이블 중 상기 입력 영상의 환경적 특성과 대응하는 쉐이딩 이득 테이블을 추출하고, 추출된 쉐이딩 이득 테이블을 이용하여 입력 영상의 블록별 영상에 대한 쉐이딩 보정을 실행할 수 있다.

여기서, 입력 영상은 카메라를 통해 촬상된 영상일 수 있다.

또한, 색 온도별 쉐이딩 이득 테이블은 색 온도별로 캡처 된 화이트 영상을 N개의 블록으로 분리하고 분리된 N개의 블록과 대응하는 소정의 값을 기초로 해서 기 정해진 화이트 프레임 범위에 속하는 유효한 화이트 블록을 선택한 이후, 선택된 화이트 프레임에 해당하는 특성 데이터를 기초로 하여 생성된 테이블을 일컫는다.

이때, 전술된 특성 데이터는 x축을 Dr값으로, Y축을 Db값으로 하는 특성 곡선의 형태로 표현 가능하며, 이하에서는 전술된 특성 데이터를 특성 곡선으로 하는 실시 예로 해서 상술하고자 한다.

이러한 특성 곡선을 도 2 내지 도 4를 참조로 설명하면 다음과 같다.

먼저, 특성 곡선을 생성하기 위해 색 온도별로 n개의 화이트 영상을 캡처하고, 각 n개의 색 온도별 화이트 영상에 대해 각각 m개의 작은 블록으로 나누며, 이와 같은 m개 블록은 각각 블록별로 RGB 평균값을 구하고, 구해진 블록의 RGB 평균값을 정규화된 YDrDb값으로 변환한 후 블록별 YDrDb값을 이용하여 블록별 전체 평균 YDrDb 값을 구한다.

또한, 동일한 방법으로 색 온도별 n개 화이트 영상에 동일하게 평균 YDrDb값을 산출하고, 색 온도별로 평균 YDrDb값이 산출된 n개의 화이트 영상은 각각 x축을 Dr값으로, Y축을 Db값으로 해서 곡선으로서 표시한다.

즉, 표시된 곡선 색 온도별 YDrDb 값을 2차원 수식으로 근사화한 것을 특성 곡선이라 할 수 있으며, 도 4에 도시된 바와 같이 특성 곡선을 이루는 각 포인트는 색 온도별 참조 포인트(Dr, Db)를 일컫는다.

쉐이딩 이득 테이블은 입력 영상에 대한 중심부와 주변부에 대한 컬러 왜곡을 보정 하기 위한 컬러 쉐이딩 이득 테이블 및 상기 입력 영상에 대한 중심부와 주변부에 대한 밝기 왜곡을 보정 하기 위한 휘도 쉐이딩 이득 테이블을 포함하는 것이 가능하다.

색 온도별 쉐이딩 이득 테이블에 대한 정보는 디폴트로 저장 모듈(150)에 이미 저장되어 있는 상태이거나, 웹 연결과 같은 통신 연결을 통해 영상 보정 서비스를 제공하는 관련 서버에 접속하여 색 온도별 쉐이딩 이득 테이블에 대한 정보를 저장 모듈(150)에 다운로드하는 것이 가능하다.

화이트 발란스 처리 모듈(140)은 입력 영상을 블록으로 나눈 후 각 블록들이 화이트 프레임 안에 포함되는지를 확인하고, 확인한 결과에 따라 유효한 화이트 블록을 기준으로 평균 RGB 값과 평균 YDrDb를 구한 후 평균 RGB 값으로 화이트 발란스 적용을 위한 R 이득 값과 B 이득 값을 구한다.

이후, 화이트 발란스 처리 모듈(140)은 평균 YDrDb 값을 특성 곡선의 각 참조 포인트에 매칭시켜 입력 영상의 색 온도를 찾아내서 각각 색 온도별 메트릭스, 컬러 쉐이딩 테이블 및 휘도 쉐이딩 테이블을 선택하고, 선택한 결과를 기준으로 입력 영상의 블록별 R 이득 값과 B 이득 값을 산출한 후 이를 영상 처리에 적용한다.

또한, 본 발명을 통해 입력 영상에 대한 알고리즘 적용 시, 정규화된 YDrDb 값으로 재변환하는 것은 다음 수식을 통해 변환된 YCrCb 값을 정규화된 YDrDb 값으로 재변환하는 것이 가능하다.

<수식>

Dr = (Cr/Y)*a, Db = (Cb/Y)*a

(단, a: 정규화 값)

도 5를 참조하면, 특성 곡선을 기준으로 한 화이트 프레임 경계 영역을 확인할 수 있다. 즉, 각 블록의 YDrDb 값을 특성 곡선상의 포인트(Dr, Db)에 적용할 경우, 전술된 화이트 프레임 경계 영역 내에 위치하게 되는 경우, 유효한 화이트 값으로 인정할 수 있다.

또한, 본 발명의 알고리즘 적용 시, 입력 영상을 n개의 블록으로 분리한 후 각 블록마다 YDrDb 값을 변환하여 해당 특성 곡선상의 포인트(Dr,Db)에 적용할 때, 특성 곡선을 기준으로 한 화이트 프레임 경계 영역 내에 각 YDrDb 값이 위치하는지를 확인한 후, 화이트 프레임 경계 영역 내에 위치한 블록만을 화이트 블록으로 인식하여 화이트로 유효성이 확인된 블록들의 평균 RGB 값과 평균 YDrDb 값을 산출한다.

화이트 발란스 처리 모듈(140)은 저장 모듈(150)에 저장 중인 정보를 기초로 하여 카메라 구동 시 입력되는 입력 영상을 블록별 영상으로 구분한 후 구분된 블록별 영상에 대해 중심 대비 별도의 색 이득을 적용하는 쉐이딩 보정을 실행하면서 화이트 발란스 보정을 수행한다.

도 6은 도 1에 도시된 화이트 발란스 제어 장치(100)의 동작 과정을 일실시 예로 나타내는 도면이다. 도 6에 도시된 바와 같이 화이트 발란스 제어 장치(100)는 카메라 구동 시 입력되는 입력 영상에 대한 화이트 발란스를 개시한다(S100 및 S102).

이후, 카메라를 촬영하는 환경에 부합하는 색 온도에 맞게 영상을 보정하는 화이트 발란스를 실행하고, 이러한 화이트 발란스를 수행하는 도중에 영상 주변의 왜곡 또한 보정하기 위한 쉐이딩 보정 기능을 활성화 한다(S104).

S104 단계의 화이트 발란스 제어 알고리즘을 거친 영상을 화면에 출력하는 경우, 화이트 발란스 및 쉐이딩 보정이 모두 수행된 영상이 화면상에 출력된다(S106 및 S108).

이후, 카메라 구동을 종료하면 상기 언급된 각 단계의 수행도 함께 종료된다(S110).

도 7을 참조로 화이트 발란스를 실행하는 도중에 쉐이딩 보정을 함께 수행하는 상세 과정을 살펴보기로 한다.

즉, 쉐이딩 보정이 가능한 화이트 발란스 방법은 입력 영상의 색 온도를 맞추기 위한 화이트 발란스를 실행하는 단계(S104-1), 화이트 발란스의 실행 도중에 기 저장된 색 온도별 쉐이딩 이득 테이블 중 상기 색 온도와 대응하는 쉐이딩 이득 테이블을 추출하는 단계(S104-3), 추출된 쉐이딩 이득 테이블을 이용하여 입력 영상의 블록별 영상에 대한 쉐이딩 보정을 실행하는 단계(S104-5) 및 실행 중인 화이트 발란스를 종료하는 단계(S104-7)를 포함하는 과정으로 이루어질 수 있다.

S104-3 단계는 카메라 구동 시 입력되는 입력 영상을 N개의 블록으로 분리하고 분리된 각 블록에 대한 RGB 평균값을 구하는 것으로 시작된다.

이후, 블록별 RGB 평균값을 YDrDb 값으로 변환하고 변환된 블록별 YDrDb 값을 미리 정해진 화이트 프레임에 적용하여 유효한 화이트 블록을 선택한다.

이후, 블록별 YDrDb 값을 미리 정해진 화이트 프레임에 적용하여 유효한 화이트 블록을 선택한 후 선택한 화이트 블록들의 YDrDb 값에 대한 YDrDb 평균값을 구하고, 산출한 YDrDb 평균값과 대응되는 특성 곡선상의 위치를 특정한 후 특정된 포인트를 기준으로 하는 메트릭스, 컬러 쉐이딩 이득 테이블 및 휘도 쉐이딩 이득 테이블을 선택한다.

한편, S104-5 단계는 입력 영상에 대한 유효한 화이트 블록의 RGB 평균값을 기준으로 한 기준 R 이득 값 및 기준 B 이득 값을 구한 후, 기준 R 이득 값 및 기준 B 이득 값을 상기 쉐이딩 이득 테이블에 적용하여 블록별 R 이득 값 및 B 이득 값을 구하는 것으로 진행된다.

이후, 블록별 R 이득 값 및 B 이득 값을 Y 신호 및 C 신호로 분리하고, 분리된 Y 신호 및 C 신호 중 적어도 하나에 대해 쉐이딩 보정을 실행한다.

즉, 상기 산출된 R 이득 값 및 B 이득 값은 화이트 프레임을 통해 산출된 RGB 평균값과 RGB to RGB 변환 메트릭스를 통해 'R1 값, G1 값 및 B1 값'을 각각 산출한다.

이후, 'R1 이득값 = G1 값/R1 값, B1 이득값 = G1 값/B1 값'을 산출하며, R 이득 값 및 B 이득 값은 다음의 수식을 통해 산출 가능하다.

<수식>

R 이득 값 = R1 이득값 * Rn 이득값, B 이득 값 = B1 이득값 * Bn 이득값

(단, Rn 이득값: 블록별 R 이득값, Bn 이득값: 블록별 B 이득값)

이후, 블록별 R 이득 값 및 B 이득 값을 밝기에 대한 색 신호인 Y 신호 및 색깔에 대한 색 신호인 C 신호로 분리하고, 분리된 Y 신호 및 C 신호 중 적어도 하나 이상에 대해 쉐이딩 보정을 실행한다.

도 8은 본 발명에 의한 화이트 발란스 제어 장치(200)의 다른 실시 예를 나타내는 도면이다. 도 8에 도시된 바와 같이 화이트 발란스 제어 장치(200)는 카메라 구동 시 렌즈계, 대역 통과 필터 및 이미지 센서 중 1 이상의 조합에 의한 컬러 속성의 변동 여부를 판정하는 것이 가능하다.

이때, 카메라 구동 시 판정된 결과에서 컬러 속성이 변경된 경우 변경된 컬러 속성(또한, 영상 속성이라고도 함)과 대응되는 특성 곡선 및 쉐이딩 이득 테이블에 대한 정보를 구비하고 있는지를 추가 판정한다.

이후, 추가 판정된 결과에서 상기 변경된 컬러 속성(또한, 영상 속성이라고도 함)과 대응되는 특성 곡선 및 쉐이딩 이득 테이블에 대한 정보가 구비되지 아니한 경우, 상기 변경된 컬러 속성(또한, 영상 속성이라고도 함)과 대응되는 특성 곡선 및 쉐이딩 이득 테이블에 대한 정보를 생성하기 위한 과정이 더 실행된다.

상기 언급된 컬러 속성의 변동 여부에 대한 판정 내지 상기 변경된 컬러 속성(또한, 영상 속성이라고도 함)과 대응되는 특성 곡선 및 쉐이딩 이득 테이블에 대한 정보를 생성하는 것은 화이트 발란스 제어 장치(200)에 더 추가되는 영상 속성 판정 모듈(260)에 의해 실행되거나 도 1의 실시 예에서 언급된 화이트 발란스 처리 모듈(240)에 의해 수행되는 것으로 구현될 수도 있다.

영상 속성 판정 모듈(260) 또는 화이트 발란스 처리 모듈(240)에 의해 컬러 속성의 변동 여부에 대한 판정 내지 상기 변경된 컬러 속성(또한, 영상 속성이라고도 함)과 대응되는 특성 곡선 및 쉐이딩 이득 테이블에 대한 정보를 생성하는 과정은 카메라 구동 시의 입력 영상에 대해 색 온도별 화이트 영상을 캡처하고, 캡처 된 화이트 영상을 N개의 블록으로 분리하고 분리된 각 블록에 대해 RGB 평균값을 구하는 과정이 수행된다.

이후, 블록별 RGB 평균값을 기초로 전체 블록의 RGB 평균값을 구한 후 전체 블록의 RGB 평균값을 정규화된 YCrCb 값으로 변환하고 Y 신호에 대한 CrCb 값의 크기 변화에 대한 오차를 없애기 위하여 Y 신호에 대해 정규화된 YDrDb 값을 구한다.

정규화된 YDrDb 값으로 재변환하는 것은 다음 수식을 통해 변환된 YCrCb 값을 정규화된 YDrDb 값으로 재변환하는 것이 가능하다.

<수식>

Dr = (Cr/Y)*a, Db = (Cb/Y)*a

(단, a: 정규화 값)

블록별 YDrDb 값을 이용하여 전체 블록에 대한 전체 평균의 YDrDb 값을 구한 후 전체 평균의 YDrDb 값을 색 온도별로 입력 영상에 적용하여 색 온도별 YDrDb 테이블을 생성한다.

이후, 상기 생성된 색 온도별 YDrDb 테이블을 통해 화이트 발란스 제어 환경에 맞는 특성 곡선을 산출할 수 있다.

또한, 상기와 같이 산출된 특성 곡선은 실제 카메라 구동 시 측정된 색 온도별 YDrDb 값을 프로젝션함에 따라 색 온도별 특성 곡선의 참조 포인트를 특정하게 되면, 이후 특정된 참조 포인트를 기준으로 하여 색 온도별 RGB to RGB 변환 메트릭스와 쉐이딩 이득 테이블을 매칭하는 방식으로 이용된다.

도 9는 도 8에 도시된 화이트 발란스 제어 장치(200)의 동작 과정을 일실시 예로 나타내는 도면이다. 도 8에 도시된 바와 같이 화이트 발란스 제어 장치(200)는 카메라 구동 시 렌즈계, 대역 통과 필터 및 이미지 센서 중 1 이상의 조합에 의한 컬러 속성의 변동 여부를 판정한다(S200 및 S202).

이후, S202 단계에서 영상 속성이 변경된 경우 변경된 화이트 발란스 제어 환경에 기초한 특성 곡선 및 쉐이딩 이득 테이블을 설정하기 위한 과정이 실행된다(S204 및 S206).

S206 단계는 변경된 영상 속성에 대응되는 특성 곡선 및 쉐이딩 이득 테이블아 구비되어 있지 않은 경우, 상기 변경된 영상 속성에 대응되는 특성 곡선 및 쉐이딩 이득 테이블에 대한 정보를 생성하는 과정을 추가 수행한다.

이후, 카메라의 입력 영상에 대한 화이트 발란스를 개시하면(S208), 해당 화이트 발란스의 제어 환경을 특정 데이터로 측정하기 위한 특성 곡선에 대응되는 쉐이딩 이득 테이블을 추출한 후 이를 기초로 화이트 발란스 제어를 수행하면서 쉐이딩 보정을 함께 수행한다(S210).

S210 단계의 화이트 발란스 제어 알고리즘을 거친 영상을 화면상에 출력할 시 화이트 발란스 및 쉐이딩 보정이 수행된 영상이 화면상에 출력된다(S212 및 S214).

이후, 카메라 구동을 종료하면 상기 언급된 각 단계의 수행도 함께 종료된다(S216).

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

또한, 본 발명은 화이트 발란스를 제어하는 처리 모듈 상에서 화이트 발란스를 제어함과 함께 쉐이딩 보정을 수행하기 위한 것임에 따라, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100, 200: 화이트 발란스 제어 장치 110, 210: 렌즈계
120, 220: 대역 통과 필터 130, 230: 이미지 센서
140, 240: 화이트 발란스 처리 모듈 150, 250: 저장 모듈
160, 270: 영상 출력 모듈 260: 영상 속성 판정 모듈

Claims

화입력 영상의 색 온도를 맞추기 위한 화이트 발란스를 실행하는 단계;
상기 화이트 발란스의 실행 도중에 기 저장된 색 온도별 쉐이딩 이득 테이블 중 상기 색 온도와 대응하는 쉐이딩 이득 테이블을 추출하는 단계;
추출된 쉐이딩 이득 테이블을 이용하여 상기 입력 영상의 블록별 영상에 대한 쉐이딩 보정을 실행하는 단계; 및
상기 화이트 발란스를 종료하는 단계;를 포함하는 쉐이딩 보정이 가능한 화이트 발란스 방법.
제1 항에 있어서,
상기 쉐이딩 보정이 가능한 화이트 발란스 방법은,
상기 색 온도별 쉐이딩 이득 테이블을 생성하는 단계;를 더 포함하는 쉐이딩 보정이 가능한 화이트 발란스 방법.
제1 항 또는 제2 항에 있어서,
상기 쉐이딩 보정은 상기 추출된 쉐이딩 이득 테이블을 이용하여 상기 입력 영상의 블록별 영상에 대해 중심 대비 별도의 색 이득을 적용하는 쉐이딩 보정이 가능한 화이트 발란스 방법.
제2 항에 있어서,
상기 색 온도별 쉐이딩 이득 테이블을 생성하는 단계는,
색 온도별로 화이트 영상을 캡처하는 단계;
상기 캡처 된 화이트 영상을 N개의 블록으로 분리하고 분리된 각 블록에 대해 RGB 평균값을 구하는 단계;
상기 블록별 RGB 평균값을 정규화된 YCrCb 값으로 변환하고 상기 변환된 YCrCb 값을 정규화된 YDrDb 값으로 재변환하는 단계;
상기 블록별 YDrDb 값을 이용하여 전체 블록에 대한 YDrDb 평균값을 구하는 단계;
상기 색 온도별 블록 전체 평균의 YDrDb 값을 적용하여 색 온도별 YDrDb 테이블을 구하는 단계; 및
상기 색 온도별 YDrDb 테이블을 이용하여 유효한 화이트 프레임을 선택하고, 선택된 프레임에 해당하는 특성 데이터를 기초로 하여 상기 색 온도별 쉐이딩 이득 테이블을 생성하는 단계;를 포함하는 쉐이딩 보정이 가능한 화이트 발란스 방법.
제1 항 또는 제2 항에 있어서,
상기 쉐이딩 이득 테이블을 추출하는 단계는,
상기 입력 영상을 N개의 블록으로 분리하고 분리된 각 블록에 대한 RGB 평균값을 구하는 단계;
상기 블록별 RGB 평균값을 YDrDb 값으로 변환하는 단계;
변환된 YDrDb 값으로부터 기 정해진 화이트 프레임 범위에 해당하는 유효한 화이트 블록을 선택하는 단계;
선택된 각 화이트 블록의 YDrDb 값에 대한 YDrDb 평균값을 구하는 단계;
상기 YDrDb 평균값을 포함하는 특성 데이터를 판정하는 단계; 및
상기 색 온도별 쉐이딩 이득 테이블 중에서 상기 특성 데이터와 대응하는 쉐이딩 이득 테이블을 추출하는 단계;를 포함하는 쉐이딩 보정이 가능한 화이트 발란스 방법.
제1 항 또는 제2 항에 있어서,
상기 쉐이딩 보정을 실행하는 단계는,
상기 입력 영상에 대한 유효한 화이트 블록의 RGB 평균값을 기준으로 한 기준 R 이득 값 및 기준 B 이득 값을 구하는 단계;
상기 기준 R 이득 값 및 기준 B 이득 값을 상기 쉐이딩 이득 테이블에 적용하여 블록별 R 이득 값 및 B 이득 값을 구하는 단계;
상기 블록별 R 이득 값 및 B 이득 값을 Y 신호 및 C 신호로 분리하는 단계; 및
상기 Y 신호 및 C 신호 중 적어도 하나에 대해 쉐이딩 보정을 실행하는 단계;를 포함하는 쉐이딩 보정이 가능한 화이트 발란스 방법.
색 온도별 쉐이딩 이득 테이블을 기 저장하는 저장 모듈; 및
입력 영상의 색 온도를 맞추기 위한 화이트 발란스를 실행하는 도중에 상기 색 온도별 쉐이딩 이득 테이블 중 상기 색 온도와 대응하는 쉐이딩 이득 테이블을 추출하고, 추출된 쉐이딩 이득 테이블을 이용하여 상기 입력 영상의 블록별 영상에 대한 쉐이딩 보정을 실행하는 화이트 발란스 처리 모듈;을 포함하는 쉐이딩 보정이 가능한 화이트 발란스 제어 장치.
제7 항에 있어서,
상기 색 온도별 쉐이딩 이득 테이블은 색 온도별로 캡처 된 화이트 영상을 N개의 블록으로 분리하고 분리된 N개의 블록과 대응하는 소정의 값을 기초로 해서 기 정해진 화이트 프레임 범위에 속하는 유효한 화이트 블록을 선택한 이후, 선택된 화이트 프레임에 해당하는 특성 데이터를 기초로 하여 생성된 테이블인 것을 특징으로 하는 쉐이딩 보정이 가능한 화이트 발란스 제어 장치.
제8 항에 있어서,
상기 소정의 값은 상기 분리된 각 블록에 대한 RGB 평균값이고, 블록별 RGB 평균값은 YCrCb 변환 및 YDrDb 변환을 거쳐 상기 화이트 블록을 선택하기 위한 값으로 변환되는 쉐이딩 보정이 가능한 화이트 발란스 제어 장치.
제7 항에 있어서,
상기 화이트 발란스 처리 모듈은 상기 입력 영상을 N개의 블록으로 분리하고, 분리된 블록들 중에서 기 정해진 화이트 프레임 범위에 속하는 유효한 화이트 블록을 선택한 후 선택된 화이트 블록과 대응하는 특성 데이터를 판정하며, 상기 색 온도별 쉐이딩 이득 테이블 중에서 상기 특성 데이터와 대응하는 쉐이딩 이득 테이블을 추출하는 쉐이딩 보정이 가능한 화이트 발란스 제어 장치.
제7 항에 있어서,
상기 화이트 발란스 처리 모듈은 상기 입력 영상에 대한 유효한 화이트 블록의 RGB 평균값을 기준으로 한 기준 R 이득 값 및 기준 B 이득 값을 구하고, 상기 기준 R 이득 값 및 기준 B 이득 값을 상기 쉐이딩 이득 테이블에 적용하여 블록별 R 이득 값 및 B 이득 값을 구한 이후 상기 블록별 R 이득 값 및 B 이득 값을 Y 신호 및 C 신호로 분리하고, 상기 Y 신호 및 C 신호 중 적어도 하나에 대해 쉐이딩 보정을 실행하는 쉐이딩 보정이 가능한 화이트 발란스 제어 장치.