KR102366254B1 - Image processing apparatus and method - Google Patents
Image processing apparatus and method Download PDFInfo
- Publication number
- KR102366254B1 KR102366254B1 KR1020150153810A KR20150153810A KR102366254B1 KR 102366254 B1 KR102366254 B1 KR 102366254B1 KR 1020150153810 A KR1020150153810 A KR 1020150153810A KR 20150153810 A KR20150153810 A KR 20150153810A KR 102366254 B1 KR102366254 B1 KR 102366254B1
- Authority
- KR
- South Korea
- Prior art keywords
- block
- group
- determining
- evaluation value
- shading
- Prior art date
Links
Images
Classifications
-
- H04N5/3658—
-
- H04N5/235—
-
- H04N5/3572—
-
- H04N5/361—
Landscapes
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
촬상 영상을 입력 받는 단계, 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 블록의 영상 특성을 나타내는 블록 통계를 결정하는 단계, 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계, 및 결정된 쉐이딩 추정 계수를 이용하여 촬상 영상의 쉐이딩을 보정하는 단계를 포함하는 영상 처리 방법이 개시된다.Step of receiving a captured image, determining block statistics representing the image characteristics of the block using a plurality of blocks obtained by dividing the captured image, applying the determined block statistics and the amount of infrared light included in the light source to the captured image Disclosed is an image processing method including determining a shading estimation coefficient to be used, and correcting shading of a captured image by using the determined shading estimation coefficient.
Description
다양한 실시예들은 영상 처리 장치 및 방법에 관한 것으로서, 더욱 상세하게는 다양한 쉐이딩 추정을 이용한 촬상 영상의 색상 쉐이딩(color shading)을 보정시키는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.Various embodiments relate to an image processing apparatus and method, and more particularly, to an image processing apparatus and an image processing method for correcting color shading of a captured image using various shading estimations.
영상 처리 장치는 촬상 영상을 복수의 블록으로 분할하고 블록의 다양한 통계값을 이용하여 촬상 영상의 색상 쉐이딩을 보정할 수 있다.The image processing apparatus may divide the captured image into a plurality of blocks and correct color shading of the captured image by using various statistical values of the blocks.
다양한 실시예들은, 다양한 쉐이딩 추정을 이용하여, 촬상 영상의 색상 쉐이딩을 보정하는 영상 처리 장치 및 방법을 제공하고자 하는 것이다.Various embodiments are intended to provide an image processing apparatus and method for correcting color shading of a captured image by using various shading estimations.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 촬상 영상을 입력 받는 입력부; 및 상기 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 상기 복수의 블록 각각의 영상 특성을 나타내는 블록 통계를 결정하고, 상기 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 쉐이딩 추정 계수를 이용하여 상기 촬상 영상의 쉐이딩을 보정하는 데이터 처리부;를 포함하는, 영상 처리 장치를 제공할 수 있다.As a technical means for achieving the above technical problem, an embodiment of the present disclosure includes an input unit for receiving a captured image; and using a plurality of blocks obtained by dividing the captured image, block statistics indicating image characteristics of each of the plurality of blocks are determined, and the determined block statistics and the amount of infrared light included in the light source are used to apply to the captured image A data processing unit that determines a shading estimation coefficient to be performed and corrects shading of the captured image by using the determined shading estimation coefficient.
일 실시예에 따른 상기 데이터 처리부는, 상기 촬상 영상의 휘도, 상기 광원의 색온도 및 상기 촬상 영상의 평탄도 중 적어도 하나를 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.The data processing unit according to an embodiment may determine a shading estimation coefficient to be applied to the captured image by using at least one of a luminance of the captured image, a color temperature of the light source, and flatness of the captured image. there is.
일 실시예에 따른 상기 데이터 처리부는, 상기 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 상기 촬상 영상의 평탄도를 결정하는 것을 특징으로 할 수 있다.The data processing unit according to an embodiment may determine the flatness of the captured image by adding up differences in characteristic values of blocks continuous from a peripheral portion to a central portion of the captured image.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 블록 통계를 이용하여 블록색 평가값을 결정하고, 상기 결정된 블록색 평가값을 이용하여 블록 무게를 결정하고, 상기 결정된 블록 통계 및 상기 결정된 블록 무게를 이용하여 블록 평가값을 결정하고, 상기 블록 평가값을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.The data processing unit according to an embodiment determines a block color evaluation value using the determined block statistics, determines a block weight using the determined block color evaluation value, and calculates the determined block statistics and the determined block weight. and determining a block evaluation value using the block evaluation value, and determining a shading estimation coefficient to be applied to the captured image by using the block evaluation value.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 블록색 평가값을 이용하여 히스토그램 무게를 결정하고, 상기 히스토그램 무게 및 G레벨 무게를 이용하여 상기 블록 무게를 결정하는 것을 특징으로 할 수 있다.The data processing unit according to an embodiment may determine a histogram weight using the determined block color evaluation value, and determine the block weight using the histogram weight and the G-level weight.
일 실시예에 따른 상기 데이터 처리부는, 상기 복수의 블록을 복수의 그룹으로 분류하고, 상기 결정된 블록 통계 및 상기 분류된 그룹을 이용하여 그룹 평가값을 결정하고, 상기 결정된 블록 통계 및 상기 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하고, 상기 결정된 유효 그룹을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.The data processing unit according to an embodiment classifies the plurality of blocks into a plurality of groups, determines a group evaluation value using the determined block statistics and the classified group, and determines the determined block statistics and the determined group evaluation The effective group may be determined using the value, and a shading estimation coefficient to be applied to the captured image may be determined using the determined effective group.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 블록 평가값의 평균값을 상기 촬상 영상 중앙으로부터의 거리마다 평균하여 상기 그룹 평가값을 결정하는 것을 특징으로 할 수 있다.The data processing unit may determine the group evaluation value by averaging an average value of the determined block evaluation values for each distance from the center of the captured image.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 상기 추정된 근사 직선을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.The data processing unit according to an embodiment may estimate an approximate straight line using the determined group evaluation value, determine a shading estimation coefficient to be applied to the captured image using the estimated approximate straight line, and determine the determined block evaluation value may be used to estimate a sample variance, and a shading estimation coefficient to be applied to the captured image may be determined using the estimated sample variance.
일 실시예에 따른 상기 데이터 처리부는, 상기 추정된 근사 직선의 기울기가 음수이면 상기 음수의 기울기 중 0에 가장 가까운 값을 가지도록 하는 쉐이딩 추정 계수를 결정하고, 상기 추정된 근사 직선의 기울기가 음수가 아니면 상기 음수가 아닌 기울기 중 가장 작은 값을 가지도록 하는 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.The data processing unit according to an embodiment may determine a shading estimation coefficient to have a value closest to 0 among the slopes of the negative number when the slope of the estimated approximate straight line is negative, and the slope of the estimated approximate straight line is negative. If not, the shading estimation coefficient to have the smallest value among the non-negative gradients may be determined.
일 실시예에 따른 상기 데이터 처리부는, 상기 결정된 그룹 평가값을 이용하여 분산을 추정하고, 상기 추정된 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 특징으로 할 수 있다.The data processing unit according to an embodiment may estimate a variance using the determined group evaluation value, determine a shading estimation coefficient to be applied to the captured image using the estimated variance, and use the determined block evaluation value to estimate the sample variance, and determine a shading estimation coefficient to be applied to the captured image using the estimated sample variance.
또한, 본 개시의 다른 실시예는, 촬상 영상을 입력 받는 단계; 상기 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 상기 블록의 영상 특성을 나타내는 블록 통계를 결정하는 단계; 상기 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및 상기 결정된 쉐이딩 추정 계수를 이용하여 상기 촬상 영상의 쉐이딩을 보정하는 단계;를 포함하는 영상 처리 방법을 제공할 수 있다.In addition, another embodiment of the present disclosure includes the steps of receiving a captured image; determining block statistics indicating image characteristics of the blocks using a plurality of blocks obtained by dividing the captured image; determining a shading estimation coefficient to be applied to the captured image using the determined block statistics and an amount of infrared light included in a light source; and correcting shading of the captured image by using the determined shading estimation coefficient.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 촬상 영상의 휘도, 광원 색온도 및 상기 촬상 영상의 평탄도 중 적어도 하나를 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함할 수 있다.The determining of the shading estimation coefficient according to an embodiment may include determining a shading estimation coefficient to be applied to the captured image using at least one of luminance, light source color temperature, and flatness of the captured image. may include
일 실시예에 따른 상기 촬상 영상의 평탄도는, 상기 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 상기 촬상 영상의 평탄도를 결정할 수 있다.The flatness of the captured image according to an embodiment may be determined by adding differences between characteristic values of blocks continuous from a peripheral portion to a central portion of the captured image to determine the flatness of the captured image.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 결정된 블록 통계를 이용하여 블록색 평가값을 결정하는 단계; 상기 결정된 블록색 평가값을 이용하여 블록 무게를 결정하는 단계; 상기 결정된 블록 통계 및 상기 결정된 블록 무게를 이용하여 블록 평가값을 결정하는 단계; 및 상기 결정된 블록 평가값을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함할 수 있다.The determining of the shading estimation coefficient according to an embodiment may include: determining a block color evaluation value using the determined block statistics; determining a block weight using the determined block color evaluation value; determining a block evaluation value using the determined block statistics and the determined block weight; and determining a shading estimation coefficient to be applied to the captured image by using the determined block evaluation value.
일 실시예에 따른 블록 무게를 결정하는 단계는, 상기 결정된 블록색 평가값을 이용하여 히스토그램 무게를 결정하고, 상기 히스토그램 무게 및 G레벨 무게를 이용하여 상기 블록 무게를 결정하는 단계를 포함할 수 있다.The determining of the block weight according to an embodiment may include determining a histogram weight using the determined block color evaluation value, and determining the block weight using the histogram weight and the G-level weight. .
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 복수의 블록을 복수의 그룹으로 분류하는 단계; 상기 결정된 블록 통계 및 상기 분류된 그룹을 이용하여 그룹 평가값을 결정하는 단계; 상기 결정된 블록 통계 및 상기 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하는 단계; 및 상기 결정된 유효그룹을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함할 수 있다.The determining of the shading estimation coefficient according to an embodiment may include: classifying the plurality of blocks into a plurality of groups; determining a group evaluation value using the determined block statistics and the classified group; determining a valid group using the determined block statistics and the determined group evaluation value; and determining a shading estimation coefficient to be applied to the captured image by using the determined effective group.
일 실시예에 따른 상기 그룹 평가값을 결정하는 단계는, 상기 결정된 블록 평가값의 평균값을 상기 촬상 영상 중앙으로부터의 거리마다 평균하여 상기 그룹 평가값을 결정할 수 있다.The determining of the group evaluation value according to an embodiment may include averaging an average value of the determined block evaluation values for each distance from the center of the captured image to determine the group evaluation value.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 상기 추정된 근사 직선을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 더 포함할 수 있다.The determining of the shading estimation coefficient according to an embodiment may include estimating an approximate straight line using the determined group evaluation value, and determining a shading estimation coefficient to be applied to the captured image using the estimated approximate straight line. ; The method may further include estimating a sample variance using the determined block evaluation value and determining a shading estimation coefficient to be applied to the captured image using the estimated sample variance.
일 실시예에 따른 상기 쉐이딩 추정 계수를 결정하는 단계는, 상기 결정된 그룹 평가값을 이용하여 분산을 추정하고, 상기 추정된 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 쉐이딩 추정 계수를 결정하는 단계를 더 포함할 수 있다.The determining of the shading estimation coefficient according to an embodiment may include: estimating a variance using the determined group evaluation value, and determining a shading estimation coefficient to be applied to the captured image using the estimated variance; and estimating a sample variance using the determined block evaluation value, and determining a shading estimation coefficient using the estimated sample variance.
또한, 본 개시의 다른 실시예에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.In addition, it is possible to provide a computer-readable recording medium in which a program for executing a method according to another embodiment of the present disclosure is recorded in a computer.
도 1은 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 2는 다른 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 3은 일 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 4는 일 실시예에 따른 영상 처리 장치의 동작방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 쉐이딩 추정부의 동작방법을 나타내는 흐름도이다.
도 6은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 영상의 예를 나타내는 도면이다.
도 7은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 화소값의 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 영상의 예를 나타내는 도면이다.
도 9는 일 실시예에 따른 쉐이딩 추정 계수 결정부의 동작방법을 나타내는 흐름도이다.
도 10은 일 실시예에 따른 쉐이딩 추정 계수 결정부가 분류하는 그룹의 예를 나타내는 도면이다.
도 11은 다른 실시예에 따른 쉐이딩 추정 계수 결정부가 분류하는 그룹의 예를 나타내는 도면이다.
도 12는 일 실시예에 따른 2개 이상의 다른 색상이 혼재된 평탄한 피사체를 포함하는 영상의 예를 나타내는 도면이다.
도 13은 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 14는 일 실시예에 따른 블록색 평가값 결정부의 동작방법을 나타내는 흐름도이다.
도 15A 및 도 15B는 일 실시예에 따른 블록색 평가값 결정부, 블록 무게 계수 결정부 및 블록 평가값 결정부의 동작방법을 나타내는 흐름도이다.
도 16은 일 실시예에 따른 블록 무게 계수 결정부(212)가 처리하는 영상의 예를 나타내는 도면이다.
도 17은 일 실시예에 따른 블록 무게 계수 결정부가 생성하는 히스토그램의 예를 나타내는 도면이다.
도 18은 일 실시예에 따른 블록 무게 계수 결정부가 처리하는 영상의 예를 나타내는 도면이다.
도 19는 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 20은 일 실시예에 따른 그룹 분류부 및 그룹 평가값 결정부의 동작방법을 나타내는 흐름도이다.
도 21은 일 실시예에 따른 그룹 분류부가 분류하는 그룹의 예를 나타내는 도면이다.
도 22는 일 실시예에 따른 유효 그룹 결정부 및 근사 추정부의 동작방법을 나타내는 흐름도이다.
도 23은 일 실시예에 따른 유효 그룹 결정부가 처리하는 그룹의 예를 나타내는 도면이다.
도 24는 다른 실시예에 따른 유효 그룹 결정부가 처리하는 그룹의 예를 나타내는 도면이다.
도 25는 일 실시예에 따른 유효 그룹 결정부의 동작방법을 설명하기 위한 도면이다.
도 26은 일 실시예에 따른 근사 추정부가 처리하는 근사 직선을 나타내는 그래프이다.
도 27은 일 실시예에 따른 분산 추정부의 동작방법을 나타내는 흐름도이다.
도 28은 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.
도 29는 다른 실시예에 따른 쉐이딩 추정부의 동작방법을 나타내는 흐름도이다.
도 30은 일 실시예에 따른 유효 그룹의 판단방법을 설명하기 위한 도면이다.
도 31은 다른 실시예에 따른 유효 그룹의 판단방법을 설명하기 위한 도면이다.1 is a block diagram illustrating a configuration of an image processing apparatus according to an exemplary embodiment.
2 is a block diagram illustrating a configuration of an image processing apparatus according to another exemplary embodiment.
3 is a block diagram illustrating a configuration of a shading estimator according to an exemplary embodiment.
4 is a flowchart illustrating a method of operating an image processing apparatus according to an exemplary embodiment.
5 is a flowchart illustrating a method of operating a shading estimator according to an exemplary embodiment.
6 is a diagram illustrating an example of an image for explaining an operation of a flat determiner according to an exemplary embodiment.
7 is a diagram illustrating an example of a pixel value for explaining an operation of a flat determiner according to an exemplary embodiment.
8 is a diagram illustrating an example of an image for explaining an operation of a flat determiner according to an embodiment.
9 is a flowchart illustrating an operation method of a shading estimation coefficient determiner according to an exemplary embodiment.
10 is a diagram illustrating an example of a group classified by a shading estimation coefficient determiner according to an embodiment.
11 is a diagram illustrating an example of a group classified by a shading estimation coefficient determiner according to another embodiment.
12 is a diagram illustrating an example of an image including a flat subject in which two or more different colors are mixed, according to an exemplary embodiment.
13 is a block diagram illustrating a configuration of a shading estimator according to another exemplary embodiment.
14 is a flowchart illustrating an operation method of a block color evaluation value determiner according to an exemplary embodiment.
15A and 15B are flowcharts illustrating an operation method of a block color evaluation value determiner, a block weight coefficient determiner, and a block evaluation value determiner according to an exemplary embodiment.
16 is a diagram illustrating an example of an image processed by the block weight factor determiner 212 according to an embodiment.
17 is a diagram illustrating an example of a histogram generated by a block weight factor determiner according to an embodiment.
18 is a diagram illustrating an example of an image processed by a block weight factor determiner according to an embodiment.
19 is a block diagram illustrating a configuration of a shading estimator according to another embodiment.
20 is a flowchart illustrating an operation method of a group classifying unit and a group evaluation value determining unit according to an exemplary embodiment.
21 is a diagram illustrating an example of a group classified by a group classification unit according to an embodiment.
22 is a flowchart illustrating an operation method of a valid group determiner and an approximate estimator according to an exemplary embodiment.
23 is a diagram illustrating an example of a group processed by a valid group determiner according to an embodiment.
24 is a diagram illustrating an example of a group processed by a valid group determiner according to another embodiment.
25 is a diagram for explaining a method of operating a valid group determiner according to an embodiment.
26 is a graph illustrating an approximate straight line processed by an approximate estimator according to an exemplary embodiment.
27 is a flowchart illustrating a method of operating a variance estimator according to an exemplary embodiment.
28 is a block diagram illustrating a configuration of a shading estimator according to another embodiment.
29 is a flowchart illustrating an operation method of a shading estimator according to another embodiment.
30 is a diagram for explaining a method of determining a valid group according to an embodiment.
31 is a diagram for explaining a method of determining a valid group according to another embodiment.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. .
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
도 1은 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.1 is a block diagram illustrating a configuration of an image processing apparatus according to an exemplary embodiment.
도 1을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 촬상 영상을 입력 받는 입력부(300) 및 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 복수의 블록 각각의 영상 특성을 나타내는 블록 통계를 결정하고, 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 결정된 쉐이딩 추정 계수를 이용하여 촬상 영상의 쉐이딩을 보정하는 데이터 처리부(310)를 포함할 수 있다.Referring to FIG. 1 , an
일 실시예에 따른 데이터 처리부(310)는, 촬상 영상의 평탄도를 결정하고, 촬상 영상의 휘도, 광원의 색온도 및 결정된 평탄도 중 적어도 하나를 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.The
다른 실시예에 따른 데이터 처리부(310)는, 결정된 블록 통계를 이용하여 블록색 평가값을 결정하고, 결정된 블록색 평가값을 이용하여 블록 무게를 결정하고, 결정된 블록 통계 및 결정된 블록 무게를 이용하여 블록 평가값을 결정하고, 블록 평가값을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.The
다른 실시예에 따른 데이터 처리부(310)는, 복수의 블록을 복수의 그룹으로 분류하고, 결정된 블록 통계 및 분류된 그룹을 이용하여 그룹 평가값을 결정하고, 결정된 블록 통계 및 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하고, 결정된 유효 그룹을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.The
다른 실시예에 따른 데이터 처리부(310)는, 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 추정된 근사 직선을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 추정된 표본 분산을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.The
다른 실시예에 따른 데이터 처리부(310)는, 결정된 그룹 평가값을 이용하여 분산을 추정하고, 추정된 분산을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 추정된 표본 분산을 이용하여 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 것을 포함할 수 있다.The
도 2는 다른 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.2 is a block diagram illustrating a configuration of an image processing apparatus according to another exemplary embodiment.
도 2를 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 렌즈 광학계(102), 촬상 소자(104), 아날로그 프론트 엔드(analog front end, AFE) 회로(106), 영상 신호 처리 회로(108), 영상 표시부(110), 영상 기록부(112), 드라이버(114), 타이밍 제너레이터(TG)(200), 블록 통계부(118), 제어부(120), 계수 저장부(122) 등으로 구성될 수 있다. 영상 처리 장치(100)는 디지털 카메라뿐만 아니라 PC 등의 외부 장치에 의해 구성될 수 있고, 외부 장치에서 영상의 쉐이딩 추정 및 쉐이딩 보정을 실시할 수도 있다.Referring to FIG. 2 , an
일 실시예에 따른 렌즈 광학계(102)는 렌즈, 조리개, 셔터 등을 가지며, 피사체상을 촬상 소자(104)의 촬상면에 결상한다. 촬상 소자(104)는 CCD나 CMOS 등의 이미지 센서이고, 촬상 소자(104)의 렌즈 광학계(102) 측에는 적외 커트 필터(미도시)가 장착되어 있다. 촬상 소자(104)는 피사체상을 광전 변환하여 영상 신호(RGB 색신호)를 취득한다. AFE 회로(106)는 촬상 소자(104)가 취득하고, CDS 회로(미도시)가 신호 처리를 실시한 영상 신호를 디지털 신호로 A/D 변환한다.The lens
영상 신호 처리 회로(108)는 AFE 회로(106)가 출력한 영상 신호에, 디모자이킹 처리, 에지 강조 처리, 화이트 밸런스(WB) 보정 처리, 쉐이딩 보정 처리, 감마 보정 처리 등을 실시한다. 영상 표시부(110)는 액정 표시 디스플레이(LCD) 등이고, 영상 신호 처리 회로(108)에서 다양한 처리를 거친 영상 신호를 표시한다. 영상 기록부(112)는 메모리이고, 영상 신호 처리 회로(108)에서 다양한 처리를 거친 영상 신호를 기록한다.The video
드라이버(114)는 렌즈 광학계(102)의 렌즈, 조리개, 셔터를 구동한다. 타이밍 제너레이터(TG)(116)는 촬상 소자(104)를 구동하기 위한 타이밍을 생성한다. 블록 통계부(118)는 AFE 회로(106)에서 디지털 신호가 된 영상 신호의 촬상 영상 또는 촬상 영상의 일부 영역을 복수의 블록으로 분할하고, 블록마다 블록 통계값을 결정한다. 일 실시예에 따른 블록 통계부(118)는 블록 분할부와 통계치 결정부를 포함할 수 있다. 블록 통계부(118)는 블록 통계값으로서 각 블록에서의 RGB별 화소 합산값이나 RGB별 화소 평균값 등의 각 블록의 영상 특성을 나타내는 값을 결정할 수 있다. 또한, 블록 통계부(118)는 통계치 이외의 각 블록의 영상 특성을 나타내는 값을 결정할 수도 있다. 일 실시예에 따를 때, 블록의 특성값(블록의 R값, G값 및 B값)은 각각 블록 내 화소의 R, G 및 B값의 합산값 내지 평균값일 수 있으나, 이에 한정되지 않는다.The
제어부(120)는 블록 통계부(118)가 산출한 블록 통계값에 따라, 영상 신호 처리 회로(108)의 화이트 밸런스 보정 처리를 제어할 수 있다. 일 실시예에 따른 제어부(120)는 쉐이딩 추정부(124), 쉐이딩 보정부(126)를 포함할 수 있다.The
쉐이딩 추정부(124)는 블록 통계부(118)가 결정한 블록 통계값과 계수 저장부(122)가 저장한 쉐이딩 추정 계수에 따라 쉐이딩을 추정하고, 영상에 적합한 쉐이딩 추정 계수를 선택할 수 있다. 일 실시예에 따를 때, 쉐이딩 추정 계수는 광원에 따라, R값, G값 및 B값에 따라, 또한 블록에 따라 각각 계수를 가질 수 있다. 쉐이딩 추정 계수군은 광원 별로 설정된 복수의 쉐이딩 추정 계수의 집합을 의미할 수 있다.The
쉐이딩 보정부(126)는 쉐이딩 추정부(124)가 결정한 쉐이딩 추정 계수에 대응하는 쉐이딩 보정 계수를 계수 저장부(122)로부터 결정하고, 촬상 영상의 쉐이딩을 보정할 수 있다. 일 실시예에 따를 때, 영상 신호 처리 회로(108)에서 쉐이딩 보정부(126)에서 결정한 쉐이딩 보정 계수를 이용하여 촬상 영상의 쉐이딩을 보정할 수 있다. 쉐이딩 보정부(126)는 광원에 따라, R값, G값, B값에 따라, 또한 블록에 따라 각각 쉐이딩 보정 계수를 결정할 수 있다.The
계수 저장부(122)는 쉐이딩 추정 계수와 쉐이딩 보정 계수와의 쌍을 태양광, 전구, 형광등 등의 광원 별로 저장할 수 있다. 일 실시예에 따른 계수 저장부(122)는, 추정 계수 저장부 및 보정 계수 저장부를 포함할 수 있다. 쉐이딩 추정 계수 및 쉐이딩 보정 계수는 1 대 1의 쌍으로 되어 있으나, 이에 한정되는 것은 아니다. 쉐이딩 추정 계수 및 쉐이딩 보정 계수는 PC 등의 외부 장치에 대해 산출할 수 있다. 계수 저장부(122)는 각 광원 별 각각 대응되는 복수의 쉐이딩 추정 계수를 포함하는 쉐이딩 추정 계수군을 저장할 수 있고, 또한 보정 강도가 다른 복수의 쉐이딩 추정 계수를 포함하는 쉐이딩 추정 계수군을 저장할 수 있다.The
쉐이딩 추정 계수는 각 광원 하에서 촬영한 백색 차트의 영상을 이용하여 획득될 수 있다. 백색 차트는 분광 반사율이 대상 파장 영역 전반에 걸쳐 일정하고 또한 90% 이상인, 표준 백색 반사판 등의 균등 확산 반사면이 이용될 수 있다. 예를 들어, 적외선광이 많이 포함되는 전구 등의 광원에 대해서는 영상 주변부의 R신호를 강하게 보정하는 쉐이딩 추정 계수가 결정될 수 있다. 적외선광이 따로 포함되지 않는 형광등 등의 광원에 대해서는 영상 주변부의 R 신호를 약하게 보정하는 쉐이딩 추정 계수가 결정될 수 있다. 일 실시예에 따른 쉐이딩 추정 초기 계수는 영상 주변부의 R신호를 가장 약하게 보정하는 초기 설정(디폴트)의 쉐이딩 추정 계수일 수 있다.The shading estimation coefficient may be obtained using an image of a white chart photographed under each light source. For the white chart, a uniform diffuse reflection surface such as a standard white reflector having a spectral reflectance constant over the target wavelength region and not less than 90% may be used. For example, with respect to a light source such as a light bulb containing a lot of infrared light, a shading estimation coefficient for strongly correcting the R signal in the periphery of the image may be determined. For a light source, such as a fluorescent lamp, which does not separately include infrared light, a shading estimation coefficient for weakly correcting an R signal around an image may be determined. The shading estimation initial coefficient according to an embodiment may be an initial setting (default) shading estimation coefficient for most weakly correcting the R signal of the image periphery.
또한, 일 실시예에 따른 영상 처리 장치(100)는, 영상 신호 처리 회로(108), 블록 통계부(118), 제어부(120) 및 계수 저장부(122) 등을 포함하여 구성되나, 이 구성에 한정되는 것은 아니다.In addition, the
또한, 제어부(120)가 포함하는 각 구성 요소는, 예를 들어, 컴퓨터인 제어부(120)가 구비하는 연산 장치(미도시)의 제어에 의해, 프로그램을 실행시킴으로써 실현 가능할 수 있다. 구체적으로 제어부(120)는 기억부(미도시)에 저장된 프로그램을 주기억 장치(미도시)에 로드하고, 연산 장치의 제어에 의해 프로그램을 실행하여 실현 가능할 수 있다. 또한, 각 구성 요소는 프로그램에 의한 소프트웨어로 실현하는 것에 한정되지 않고, 하드웨어, 펌웨어 및 소프트웨어 중 몇 개의 조합 등에 의해 실현할 수도 있다.In addition, each component included in the
상술한 프로그램은 여러 타입의 비일시적인 컴퓨터 가독 매체(non-transitory computer readable medium)를 이용하여 저장되어 컴퓨터에 공급될 수 있다. 비일시적인 컴퓨터 가독 매체는 여러 타입의 실체가 있는 기록 매체(tangible storage medium)를 포함한다. 비일시적인 컴퓨터 가독 매체의 예는 자기 기록 매체(예를 들어, flexible disk, 자기테이프, 하드 디스크 드라이브 등), 광자기 기록 매체(예를 들어, 광학 자기 디스크 등), CD-ROM(Read Only Memory), CD-R, CDR/W, 반도체 메모리(예를 들어, 마스크 ROM, PROM(Programmable ROM), EPROM(Erasable PROM), 플래시 ROM, RAM(random access memory)) 등을 포함할 수 있다.The above-described program may be stored and supplied to a computer using various types of non-transitory computer readable media. Non-transitory computer-readable media includes various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives, etc.), magneto-optical recording media (eg, optical magnetic disks, etc.), CD-ROM (Read Only Memory, etc.) ), CD-R, CDR/W, semiconductor memory (eg, mask ROM, programmable ROM (PROM), erasable PROM (EPROM), flash ROM, random access memory (RAM)), and the like.
또한, 프로그램은 다양한 타입의 일시적인 컴퓨터 가독 매체(transitory computer readable medium)에 의해 컴퓨터에 공급될 수 있다. 일시적인 컴퓨터 가독 매체의 예는 전기 신호, 광신호 및 전자파를 포함한다. 일시적인 컴퓨터 가독 매체는 전선 및 광섬유 등의 유선 통신로, 또는 무선 통신로를 통해 프로그램을 컴퓨터에 공급할 수 있다.Also, the program may be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. The temporary computer-readable medium may supply a program to the computer through a wired communication path such as an electric wire and optical fiber, or a wireless communication path.
도 3은 일 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.3 is a block diagram illustrating a configuration of a shading estimator according to an exemplary embodiment.
도 3을 참조하면, 쉐이딩 추정부(124)는 플랫 결정부(201), 쉐이딩 추정 계수 결정부(202) 등을 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 쉐이딩 추정부(124)는 피사체의 휘도(또는 명도, 밝기 등)를 구하는 수단 내지 피사체의 색온도를 구하는 수단을 포함할 수 있다.Referring to FIG. 3 , the
쉐이딩 추정부(124)는 촬영된 피사체가 평탄한지 여부를 결정할 수 있다. 일 실시예에 따를 때, 플랫 결정부(201)는 촬영된 피사체가 평탄한지 여부를 결정할 수 있다. 쉐이딩 추정부(124)는 피사체가 평탄한지 여부에 따라, 또는 피사체의 휘도(Bv)나 광원 색온도(R Color Gain) 등의 촬상 조건에 따라, 쉐이딩 추정 계수군 중에서 영상에 적합한 쉐이딩 추정 계수를 선택할 수 있다. 일 실시예에 따를 , 쉐이딩 추정 계수 결정부(202)는 피사체가 평탄한지 여부에 따라, 또는 피사체의 휘도(Bv)나 광원 색온도(R Color Gain) 등의 촬상 조건에 따라, 쉐이딩 추정 계수군 중에서 영상에 적합한 쉐이딩 추정 계수를 선택할 수 있다.The
도 4는 일 실시예에 따른 영상 처리 장치의 동작방법을 나타내는 흐름도이다.4 is a flowchart illustrating a method of operating an image processing apparatus according to an exemplary embodiment.
S500에서 영상 처리 장치는 촬상 영상을 수신한다.In S500, the image processing apparatus receives the captured image.
S510에서 영상 처리 장치는 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 블록 통계를 결정한다. 일 실시예에 따를 때, 쉐이딩 추정부(124)는 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 블록 통계를 결정할 수 있다.In S510, the image processing apparatus determines block statistics using a plurality of blocks obtained by dividing the captured image. According to an embodiment, the
S520에서 영상 처리 장치는 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 쉐이딩 추정 계수를 결정한다. 일 실시예에 따를 때, 쉐이딩 추정부(124)는 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 쉐이딩 추정 계수를 결정할 수 있다.In S520, the image processing apparatus determines a shading estimation coefficient using block statistics and the amount of infrared light included in the light source. According to an embodiment, the
S530에서 영상 처리 장치는 쉐이딩 추정 계수를 이용하여 촬상 영상의 쉐이딩을 보정한다. 일 실시예에 따를 때, 쉐이딩 추정부(124)는 쉐이딩 추정 계수를 이용하여 촬상 영상의 쉐이딩을 보정할 수 있다.In S530, the image processing apparatus corrects shading of the captured image by using the shading estimation coefficient. According to an embodiment, the
도 5는 일 실시예에 따른 쉐이딩 추정부의 동작방법을 나타내는 흐름도이다.5 is a flowchart illustrating a method of operating a shading estimator according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 5에서의 플랫 결정부(201)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 5에서의 쉐이딩 추정 계수 결정부(202)의 동작을 포함할 수 있다.The
단계 S1에서 플랫 결정부(201)는 촬영된 피사체가 평탄한지를 결정한다. 플랫 결정부(201)는 영상에 기발생한 쉐이딩에 의한 화소값의 변화를 제외하고 일부 영역 내의 피사체에 의한 화소값의 변화 정도를 구함으로써, 촬영된 피사체가 평탄한지 여부를 결정한다. 또한, 플랫 결정부(201)는 피사체의 휘도나 피사체의 색온도를 결정할 수도 있다.In step S1, the flat determining
단계 S1에서의 판단 결과, 촬영된 피사체가 평탄하면, 단계 S2에서 쉐이딩 추정 계수 결정부(202)는 제1 쉐이딩 추정 계수군으로부터 평가값(Ed)이 가장 작은 쉐이딩 추정 계수를 결정한다. 일 실시예에 따를 때, 평가값(Ed)은 후술할 수학식 13에 의해 구해질 수 있다.As a result of the determination in step S1, if the photographed subject is flat, in step S2, the shading
이하 표 1은, 일 실시예에 따른 6종류의 광원에 각각 대응하는 6종류의 쉐이딩 추정 계수(또는 쉐이딩 추정 테이블)를 포함하는 제1 쉐이딩 추정 계수군의 일례를 나타낸다.
Table 1 below shows an example of a first shading estimation coefficient group including 6 types of shading estimation coefficients (or shading estimation tables) respectively corresponding to 6 types of light sources according to an embodiment.
표 1을 참조하면, 표 번호가 커질수록 적외선광이 많은 광원에 대응하여 R의 보정 강도가 강한 쉐이딩 추정 계수가 된다.Referring to Table 1, as the table number increases, the correction intensity of R becomes a strong shading estimation coefficient corresponding to a light source with a large amount of infrared light.
단계 S1에서의 판단 결과, 촬영된 피사체가 평탄하지 않으면, 단계 S3에서 쉐이딩 추정 계수 결정부(202)는 제1 쉐이딩 추정 계수군으로부터 제2 쉐이딩 추정 계수군을 선택한다. 구체적으로, 쉐이딩 추정 계수 결정부(202)는 제1 쉐이딩 추정 계수군 중 쉐이딩 추정 계수를 적어도 하나 선택하여 제2 쉐이딩 추정 계수군으로 할 수 있다.If it is determined in step S1 that the photographed subject is not flat, the shading
단계 S4에서 쉐이딩 추정 계수 결정부(202)는 제2 쉐이딩 추정 계수군으로부터 평가값(Ed)이 가장 작은 쉐이딩 추정 계수를 선택한다.In step S4, the shading estimation
또한, 쉐이딩 추정 계수 결정부(202)는 제2 쉐이딩 추정 계수군을 선택하는 경우, 피사체의 휘도(Bv)나 광원 색온도(R Color Gain) 등의 촬상 조건에 따라, 쉐이딩 추정 계수군 중에서 영상에 적합한 쉐이딩 추정 계수를 선택할 수 있다.In addition, when the shading estimation
이하 표 2는, 일 실시예에 따른 피사체의 휘도(Bv)나 광원 색온도(R Color Gain)에 따라 제2 쉐이딩 추정 계수군을 선택하는 일례를 나타낸다.
Table 2 below shows an example of selecting the second shading estimation coefficient group according to the luminance (Bv) of the subject or the color temperature of the light source (R Color Gain) according to an exemplary embodiment.
표 2를 참조하면, 제2 쉐이딩 추정 계수군은 기설정된 전구색 임계값(R Gain Limit Threshold), 실내 임계값(Indoor Bv Threshold) 및 실외 임계값(Outdoor Bv Threshold)에 대해 조건 1 및 조건 2를 적용하여 선택된다. 일 실시예에 따를 때, 촬상 영상이 평탄하다고 결정된 경우(즉, 플랫한 피사체) 내지 피사체 휘도(Bv)에 따라 촬상 영상이 실내 영상(즉, Bv<실내 임계값)이라고 결정된 경우, 광원의 색온도(R Color Gain)에 따라 제1 쉐이딩 추정 계수군 중에서 제2 쉐이딩 추정 계수군이 선택된다. 반면, 촬상 영상이 평탄하지 않다고 결정된 경우(즉, 플랫하지 않은 피사체), 피사체의 휘도(Bv)에 따라 제1 쉐이딩 추정 계수군 중에서 제2 쉐이딩 추정 계수군이 선택된다.Referring to Table 2, the second shading estimation coefficient group includes
구체적으로, 조건 1에서 플랫한 피사체 내지 피사체 휘도<실내 임계값이고, 또한 조건 2에서 광원 색온도<전구색 임계값인 경우, 표 1의 제1 쉐이딩 추정 계수군 중에서 전체 광원의 쉐이딩 추정 계수(즉, 표 번호 0 내지 5)가 제2 쉐이딩 추정 계수군으로 선택된다. 또한, 조건 1에서 플랫한 피사체 내지 피사체 휘도<실내 임계값이고, 또한 조건 2에서 광원 색온도≥전구색 임계값인 경우, 표 1의 전구색계 광원 이외의 쉐이딩 추정 계수(즉, 표 번호 0 내지 3)가 제2 쉐이딩 추정 계수군으로 선택된다.Specifically, in the case of a flat subject or subject luminance < indoor threshold in
또한, 조건 1에서 플랫하지 않은 피사체이고, 또한 조건 2에서 실내 임계값≤피사체 휘도≤실외 임계값인 경우, 표 1의 실외측 광원의 쉐이딩 추정 계수(즉, 표 번호 1 내지 3)가 제2 쉐이딩 추정 계수군으로 선택된다. 또한, 조건 1에서 플랫하지 않은 피사체이고, 또한 조건 2에서 피사체 휘도>실외 임계값인 경우, 표 1의 실외 광원의 쉐이딩 추정 계수(즉, 표 번호 1 내지 2)가 제2 쉐이딩 추정 계수군으로 선택된다.In addition, when the subject is not flat under
도 6은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 영상의 예를 나타내는 도면이다.6 is a diagram illustrating an example of an image for explaining an operation of a flat determiner according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 6에서의 플랫 결정부(201)의 동작을 포함할 수 있다.The
도 6을 참조하면, 일 실시예에 따른 플랫 결정부(201)는 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 영상 평탄도를 결정할 수 있다.Referring to FIG. 6 , the
일 실시예에 따른 플랫 결정부(201)는 영상의 대각선 상에 위치하는 블록의 G값을 이용하여 피사체가 플랫한지를 결정할 수 있다. 도 6을 참조하면, 영상의 대각선 상의 블록이 판단 대상의 블록이 되도록, 영상을 4라인으로 분할한다. 예를 들어, 영상의 좌상으로부터 중앙으로 연장되는 L2C 라인 상의 좌측 상방 블록(301)으로부터 중앙 블록(302)까지, 영상의 중앙으로부터 우측 하방으로 연장되는 C2R 라인 상의 중앙 블록(303)으로부터 우측 하방 블록(304)까지, 영상의 우측 상방으로부터 중앙으로 연장되는 R2C 라인 상의 우측 상방 블록(305)으로부터 중앙 블록(306)까지, 영상의 중앙으로부터 좌측 하방으로 연장되는 C2L 라인 상의 중앙 블록(307)으로부터 좌측 하방 블록(308)까지를 판단 대상 블록으로 할 수 있다. 따라서, 도 6에서 영상을 분할하는 라인은 영상의 모서리로부터 중앙으로 연장되는 라인과 중앙으로부터 대각으로 연장되는 라인이나, 이에 한정되지 않는다.The
일 실시예에 따른 플랫 결정부(201)는 수학식 1 내지 수학식 3을 이용하여, 해당 피사체가 플랫한지를 결정할 수 있다.The
일 실시예에 따른 upG 및 dwG는 수학식 1과 같이 나타낼 수 있다.upG and dwG according to an embodiment may be expressed as in Equation (1).
수학식 1에서, deltaG는 i+1번째 블록의 G값인 Gi+1과 i번째 블록의 G값인 Gi의 차이값이다. upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다.In
한편, 우측 상방 블록(305)으로부터 중앙 블록(306)까지, 중앙 블록(307)으로부터 좌측 하방 블록(308)까지에 대해서도 수학식 1을 이용할 수 있다.On the other hand,
또한, 플랫 결정부(201)는 수학식 1의 결과를 이용하여, L2C 라인과 C2R 라인간의 라인 평가값(El1), R2C 라인과 C2L 라인간의 라인 평가값(El2)을 결정할 수 있다.Also, the
일 실시예에 따른 E11 및 E12는 수학식 2와 같이 나타낼 수 있다.E11 and E12 according to an embodiment may be expressed as Equation (2).
수학식 2에서, L2C는 좌측 상방 블록(301)부터 중앙 블록(302)까지의 라인, L2C_upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, L2C_dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다. 또한, C2R는 중앙 블록(303)부터 우측 하방 블록(304)까지의 라인, C2R_upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, C2R_dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다. 또한, R2C는 우측 상방 블록(305)부터 중앙 블록(306)까지의 라인, R2C_upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, R2C_dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다. 또한, C2L는 중앙 블록(307)부터 좌측 하방 블록(308)까지의 라인, C2L_upG는 deltaG가 0보다 큰 경우 deltaG의 합산값, C2L_dwG는 deltaG가 0보다 작은 경우 deltaG의 합산값이다.In
또한, 플랫 결정부(201)는 수학식 2의 결과를 이용하여, 플랫 평가값(Ef)을 결정할 수 있다.Also, the
일 실시예에 따른 플랫 평가값(Ef)은 수학식 3과 같이 나타낼 수 있다.The flat evaluation value Ef according to an embodiment may be expressed as Equation (3).
플랫 결정부(201)는 수학식 3의 결과를 이용하여, 플랫 평가값(Ef)이 소정의 임계값(즉, 플랫 임계값) 미만인 경우 해당 피사체를 플랫한 피사체로 판단하고, 플랫 평가값(Ef)이 소정의 임계값(즉, 플랫 임계값) 이상인 경우 해당 피사체를 플랫하지 않은 피사체로 판단한다.The
도 7은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 화소값의 예를 나타내는 도면이다. 7 is a diagram illustrating an example of a pixel value for explaining an operation of a flat determiner according to an exemplary embodiment.
도 7을 참조하면, 영상의 대각선 상의 블록의 G값에 대하여, 좌측 상방 블록(301)부터 중앙 블록(302)까지의 경우 deltaG는 0보다 크고, 한편 중앙 블록(303)부터 우측 하방 블록(304)까지의 경우 deltaG는 0보다 작다. 도 7 및 수학식 1을 참조하면, upG와 dwG의 합은 0에 가까워질 것이다. 즉, 피사체가 플랫하다면, upG와 dwG의 합은 0에 가까워질 것이다.Referring to FIG. 7 , with respect to the G value of the block on the diagonal of the image, from the upper
도 8은 일 실시예에 따른 플랫 결정부의 동작을 설명하기 위한 영상의 예를 나타내는 도면이다.8 is a diagram illustrating an example of an image for explaining an operation of a flat determiner according to an embodiment.
쉐이딩 추정부(124)는 도 8에서의 플랫 결정부(201)의 동작을 포함할 수 있다.The
도 8을 참조하면, 도 8A의 경우, 플랫 평가값(Ef)이 플랫 임계값 미만이기 때문에, 플랫 결정부(201)는 피사체가 플랫하다고 판단하고, 도 8B의 경우, 플랫 평가값(Ef)이 플랫 임계값 이상이기 때문에, 플랫 결정부(201)는 피사체가 플랫하지 않다고 판단한다.Referring to FIG. 8 , in the case of FIG. 8A , since the flat evaluation value Ef is less than the flat threshold value, the
도 9는 일 실시예에 따른 쉐이딩 추정 계수 결정부의 동작방법을 나타내는 흐름도이다.9 is a flowchart illustrating an operation method of a shading estimation coefficient determiner according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 9에서의 쉐이딩 추정 계수 결정부(202)의 동작을 포함할 수 있다.The
일 실시예에 따른 쉐이딩 추정 계수 결정부(202)는 제1 내지 제2 쉐이딩 추정 계수군으로부터 쉐이딩 추정 계수를 선택하나, 이에 한정되지 않는다.The shading
단계 S010에서 쉐이딩 추정 계수 결정부(202)는 블록 통계부(118)가 쉐이딩 보정의 대상이 되는 영상으로부터 얻은 블록 통계값을 이용하여, 모든 블록에 대해 블록의 R값, G값 및 B값의 평균값(Rav, Gav 및 Bav)을 각각 결정한다.In step S010, the shading estimation
단계 S020에서 쉐이딩 추정 계수 결정부(202)는 R값, G값 및 B값의 규격화 계수(Rg, Bg 및 Gg)를 각각 결정한다.In step S020, the shading estimation
일 실시예에 따른 R값, G값 및 B값의 규격화 계수(Rg, Bg 및 Gg)는 수학식 4와 같이 나타낼 수 있다.The normalization coefficients (Rg, Bg, and Gg) of the R value, the G value, and the B value according to an embodiment may be expressed as in Equation (4).
수학식 4에서, R값, G값 및 B값의 규격화 계수(Rg, Bg 및 Gg)는 영상 전체의 RGB 밸런스를 일치시키기 위한 계수로서, 영상을 규격화하는 게인(gain)이다.In
단계 S030에서 쉐이딩 추정 계수 결정부(202)는 Rc[t](x,y), Gc[t](x,y) 및 Bc[t](x,y)를 계산한다.In step S030, the shading
일 실시예에 따른 Rc[t](x,y), Gc[t](x,y) 및 Bc[t](x,y)는 수학식 5와 같이 나타낼 수 있다.
Rc[t](x,y), Gc[t](x,y), and Bc[t](x,y) according to an embodiment may be expressed as
수학식 5에서, Rc[t](x,y), Gc[t](x,y) 및 Bc[t](x,y)는 R값, G값 및 B값의 블록 통계값 R(x,y), G(x,y) 및 B(x,y)에 대해 R값, G값 및 B값의 쉐이딩 추정 계수(Cr[t](x,y), Cg[t](x,y) 및 Cb[t](x,y)) 및 R값, G값 및 B값의 규격화 계수(Rg, Gg 및 Bg)를 각각 곱하여 얻을 수 있다.In
일 실시예에 따를 때, S030에서 쉐이딩 추정 계수는 쉐이딩 추정 초기 계수를 이용할 수 있다. 일 실시예에 따른 쉐이딩 추정 초기 계수는 영상 주변부의 R신호를 가장 약하게 보정하는 초기 설정(디폴트)의 쉐이딩 추정 계수일 수 있다. 쉐이딩 추정 계수가 영상에 적합할수록 Rc[t](x,y), Gc[t](x,y), Bc[t](x,y)는 동일하고 1.0에 가까워지고, 한편 Rc[t](x,y), Gc[t](x,y), Bc[t](x,y)를 영상으로 표시하면, 영상은 회색 일색이 될 수 있다.According to an embodiment, the shading estimation coefficient may use an initial shading estimation coefficient in S030. The shading estimation initial coefficient according to an embodiment may be an initial setting (default) shading estimation coefficient for most weakly correcting the R signal of the image periphery. As the shading estimation coefficients fit the image, Rc[t](x,y), Gc[t](x,y), Bc[t](x,y) are the same and close to 1.0, while Rc[t] If (x,y), Gc[t](x,y), and Bc[t](x,y) are displayed as an image, the image may be a single gray color.
단계 S040에서 쉐이딩 추정 계수 결정부(202)는 블록 특성치를 나타내는 R 신호비(Rr[t](x,y))를 계산한다.In step S040, the shading
일 실시예에 따른 R 신호비(Rr[t](x,y))는 수학식 6과 같이 나타낼 수 있다.
The R signal ratio (Rr[t](x,y)) according to an embodiment may be expressed as Equation (6).
한편, 일 실시예에 따를 때 수학식 6에서 분모는 Rc[t](x,y), Gc[t](x,y) 및 Bc[t](x,y)의 합일 수도 있다. 또한, Rr[t](x,y)는 R 신호비를 부가하거나 또는 R 신호비 대신 B 신호비를 이용할 수도 있다.Meanwhile, according to an embodiment, the denominator in
수학식 6을 참조하면, 규격화 계수를 적용한 RGB 영상에 대해 R 신호비를 구하고 있기 때문에, 쉐이딩 추정 계수가 영상에 적합할수록, 유채색의 피사체, 예를 들어, 영상 전면이 빨강이 되는 피사체라 하더라도 R 신호비는 1.0에 가까운 값이 된다. 반면, 쉐이딩 추정 계수가 영상에 적합하지 않을수록, R 신호비는 1.0으로부터 멀어진 값이 될 수 있다.Referring to
단계 S060에서 쉐이딩 추정 계수 결정부(202)는 공간 필터(m)를 이용하여 현재 블록과 그 주변 블록의 R 신호비의 차이 Rd(x, y)를 계산하고, 이를 이용하여 블록 무게(Wb(x, y))를 계산한다.In step S060, the shading
일 실시예에 따른 공간 필터(m)는 수학식 7과 같이 나타낼 수 있다.
The spatial filter m according to an embodiment may be expressed as in Equation (7).
일 실시예에 따른 Rd(x, y)는 수학식 8과 같이 나타낼 수 있다.Rd(x, y) according to an embodiment may be expressed as Equation (8).
일 실시예에 따른 블록 무게(Wb(x, y))는 수학식 9와 같이 계산될 수 있다.The block weight Wb(x, y) according to an embodiment may be calculated as in
수학식 9에서, Rdmax는 R 신호비의 차이(Rd(x, y))의 최대값이다. 수학식 9를 참조하면, 촬영한 피사체의 복잡도, 영상의 일부 영역의 복잡도를 블록 무게에 반영시켜 영상의 변화가 작고 매끄러울 때, 즉 블록간의 유사도가 클 경우 블록 무게가 커지고, 영상의 변화가 클 때, 즉 블록간의 유사도가 작을 경우 블록 무게가 작아질 수 있다. 또한, Wb(x, y)는 R 신호비에 부가하거나 또는 R 신호비 대신 B 신호비를 이용할 수도 있다.In Equation (9), Rdmax is the maximum value of the difference (Rd(x, y)) of the R signal ratios. Referring to
단계 S080에서 쉐이딩 추정 계수 결정부(202)는 그룹 특성치를 나타내는 R 신호비(GpRr[j])를 계산한다.In step S080, the shading
일 실시예에 따른 그룹 특성치를 나타내는 R 신호비(GpRr[j])는 수학식 10과 같이 나타낼 수 있다.An R signal ratio (GpRr[j]) representing a group characteristic value according to an embodiment may be expressed as in Equation (10).
그룹 특성치를 나타내는 R 신호비(GpRr[j])는 Wb(x, y)를 이용하여 그룹에 포함되는 블록의 R 신호비(Rr(i))를 가중 평균하여 결정할 수 있다. 수학식 10을 참조하면, 현재 블록과 주변 블록과의 유사도에 따른 블록 무게(Wb(x, y))를 이용함으로써, 영상의 변화가 작은 블록이나 그 블록이 구성하는 영역의 특성치를 보다 중시하여 그룹 특성치를 계산할 수 있다. 예를 들어, 초록색 잎, 붉은 꽃, 하늘 또는 건물 등이 찍힌 영상에서는 초록색 잎과 붉은 꽃이 인접한 블록이나 영역의 특성치보다 하늘이나 건물이 있는 블록이나 영역의 특성치를 중시할 수 있다.The R signal ratio (GpRr[j]) representing the group characteristic value may be determined by weighted averaging the R signal ratios (Rr(i)) of the blocks included in the group using Wb(x, y). Referring to
단계 S100에서 쉐이딩 추정 계수 결정부(202)는 기준 그룹을 선택한다. 영상 중앙부의 그룹으로부터 차례로 외측 그룹을 향해 탐색하고, 기준 그룹으로서 하나의 그룹을 결정한다.In step S100, the shading
일 실시예에 따른 기준 그룹은 수학식 11과 같이 나타낼 수 있다.The reference group according to an embodiment may be expressed as Equation (11).
일 실시예에 따를 때, 그룹 특성치를 나타내는 R 신호비(GpRr[j]) 중 최초로 수학식 11을 만족하는 그룹이 기준 그룹으로서 선택될 수 있다. 기준 그룹 임계값(Th1, Th2)은 그 사이에 1.0이 포함되도록, 예를 들어, 0.9, 1.1로 설정할 수 있다. 규격화 계수를 적용한 후에 기준 그룹을 선택하고 있으므로, 무채색 피사체인 경우에 한정하지 않고, 유채색 피사체인 경우라도 기준 그룹이 선택될 수 있다.According to an embodiment, a
단계 S110에서 쉐이딩 추정 계수 결정부(202)는 기준 그룹이 존재하는지 결정한다.In step S110, the shading estimation
단계 S110에서의 판단 결과, 기준 그룹이 존재하면, 단계 S120에서 쉐이딩 추정 계수 결정부(202)는 그룹 평가값(Dg[j+k])을 계산한다. 일 실시예에 따를 때, 그룹 평가값은 단계 S100에서 선택한 기준 그룹보다 외측의 각 그룹에 대해 계산할 수 있다. 예를 들어, 도 10에서 기준 그룹으로서 그룹 1이 선택된 경우 쉐이딩 추정 계수 결정부(202)는 그룹 1의 외측의 그룹인 그룹 2 내지 그룹 5의 각 그룹에 대해 그룹 평가값을 계산한다.As a result of the determination in step S110, if a reference group exists, the shading estimation
일 실시예에 따른 그룹 평가값(Dg[j+k])은 수학식 12와 같이 계산될 수 있다.The group evaluation value (Dg[j+k]) according to an embodiment may be calculated as in Equation (12).
수학식 12를 참조하면, 각 그룹 평가값(Dg[j+k])은 기준 그룹의 그룹 특성치를 나타내는 R 신호비(GpRr[j])와 외측 그룹의 그룹 특성치를 나타내는 R 신호비(GpRr[j+k])와의 차이에 기설정된 외측 그룹의 무게(Wg[j+k])를 곱하여 결정될 수 있다.Referring to
또한, 일 실시예에 따를 때, 각 그룹 평가값(Dg[j+k])은 기설정된 외측 그룹의 무게(Wg[j+k])를 곱하지 않고, 기준 그룹의 그룹 특성치를 나타내는 R 신호비(GpRr[j])와 외측 그룹의 그룹 특성치를 나타내는 R 신호비(GpRr[j+k])와의 차이만으로 결정될 수도 있다.In addition, according to an exemplary embodiment, each group evaluation value (Dg[j+k]) does not multiply by the preset weight of the outer group (Wg[j+k]), and the R signal ratio (GpRr[ j]) and the R signal ratio (GpRr[j+k]) representing the group characteristic value of the outer group may be determined only by the difference.
이하 표 3은, 일 실시예에 따른 그룹의 무게(Wg)의 일례를 나타낸다.Table 3 below shows an example of the weight (Wg) of a group according to an embodiment.
영상 주변부의 그룹이 무게(Wg)는 크다. 따라서, 쉐이딩 추정 계수의 영상 주변부의 쉐이딩 보정의 적합성 여부를 더 높은 정밀도로 평가할 수 있다.The weight (Wg) of the group at the periphery of the image is large. Accordingly, it is possible to evaluate with higher precision whether the shading estimation coefficient is suitable for shading correction in the periphery of the image.
단계 S140에서 쉐이딩 추정 계수 결정부(202)는 그룹 평가값(Dg[j+k])의 절대값의 총합을 취하여 단계 S030에서 이용한 쉐이딩 추정 계수가 적합한지 여부를 결정하기 위한 쉐이딩 추정 계수의 평가값(Ed)을 계산한다.In step S140, the shading estimation
일 실시예에 따른 쉐이딩 추정 계수의 평가값(Ed)은 수학식 13과 같이 나타낼 수 있다.The evaluation value Ed of the shading estimation coefficient according to an embodiment may be expressed as Equation (13).
쉐이딩 추정 계수의 평가값(Ed)은 영상 중심부로부터 주변부에 걸쳐 감쇠하는 R 신호비의 특징을 추출하는 것으로서 쉐이딩 보정의 대상이 되는 영상에 대해 단계 S030에서 이용한 쉐이딩 추정 계수의 적합성 여부를 판단하는 지표가 될 수 있다.The evaluation value (Ed) of the shading estimation coefficient is an index for determining the suitability of the shading estimation coefficient used in step S030 for the image to be shading correction as extracting the characteristic of the R signal ratio that is attenuated from the center of the image to the periphery. can be
또한, 일 실시예에 따를 때, 쉐이딩 추정 계수의 평가값(Ed)은 그룹 평가값의 분산 등 수학식 13과 다른 그룹 평가값의 통계치로도 구할 수 있다.Also, according to an exemplary embodiment, the evaluation value Ed of the shading estimation coefficient may be obtained as a statistical value of the group evaluation value different from
단계 S150에서 쉐이딩 추정 계수 결정부(202)는 모든 쉐이딩 추정 계수(즉, 제1 쉐이딩 추정 계수군 또는 제2 쉐이딩 추정 계수군에 포함되는 쉐이딩 추정 계수)에 대한 쉐이딩 추정 계수의 평가값(Ed)을 산출하였는지를 판단한다.In step S150, the shading
단계 S150에서의 판단 결과, 모든 쉐이딩 추정 계수에 대한 쉐이딩 추정 계수의 평가값(Ed)을 산출하지 않은 경우, 단계 S030으로 되돌아 가서, 쉐이딩 추정 계수의 평가값(Ed)을 산출하지 않은 쉐이딩 추정 계수에 대해 단계 S030으로부터 단계 S150까지의 처리를 반복한다.As a result of the determination in step S150, if evaluation values (Ed) of shading estimation coefficients for all shading estimation coefficients are not calculated, the flow returns to step S030 and shading estimation coefficients for which evaluation values (Ed) of shading estimation coefficients are not calculated For , the processing from step S030 to step S150 is repeated.
일 실시예에 따를 때, 쉐이딩 추정 초기 계수 이외의 쉐이딩 추정 계수의 평가값(Ed)을 산출하는 경우에는, 단계 S100의 기준 그룹의 선택 및 단계 S110의 기준 그룹이 존재하는지 여부를 실시하지 않는다. 그리고, 쉐이딩 추정 초기 계수의 평가값(Ed)을 산출하는 경우에 선택한 기준 그룹을, 쉐이딩 추정 초기 계수 이외의 쉐이딩 추정 계수의 평가값(Ed)을 산출할 때의 기준 그룹으로서 선택할 수 있다.According to an embodiment, when the evaluation value Ed of the shading estimation coefficient other than the initial shading estimation coefficient is calculated, the selection of the reference group in step S100 and whether the reference group in step S110 exist are not performed. Then, the reference group selected when calculating the evaluation value Ed of the shading estimation initial coefficient can be selected as the reference group when calculating the evaluation value Ed of the shading estimation coefficient other than the shading estimation initial coefficient.
단계 S160에서 쉐이딩 추정 계수 결정부(202)는 쉐이딩 추정 초기 계수를 포함하는 모든 쉐이딩 추정 계수 중에서 쉐이딩 추정 계수의 평가값(Ed)을 가장 작게 하는 쉐이딩 추정 계수를 선택한다.In step S160 , the shading
또한, 단계 S110에서의 판단 결과, 기준 그룹이 없는 경우, 쉐이딩 추정 계수 결정부(202)는 쉐이딩 추정 초기 계수를 쉐이딩 추정 계수로 선택할 수 있다.In addition, when there is no reference group as a result of the determination in step S110 , the shading
일 실시예에 따를 때, 쉐이딩 보정 계수는 쉐이딩 추정 계수와 동일한 값뿐만 아니라 다른 값이 이용될 수도 있다.According to an embodiment, the shading correction coefficient may use a different value as well as the same value as the shading estimation coefficient.
또한, 일 실시예에 따를 때, 쉐이딩 추정 계수를 평가하기 위해, RGB 색공간(color space)뿐만 아니라 HSV 등의 다른 색공간을 이용하여 쉐이딩 추정 계수를 평가할 수도 있다. 구체적으로, 블록간의 유사도인 블록 무게를 산출할 때, RGB값을 HSV 변환하고, 블록간 휘도 내지 채도 변화에 따라 블록 무게를 산출할 수도 있다.Also, according to an embodiment, in order to evaluate the shading estimation coefficient, the shading estimation coefficient may be evaluated using not only the RGB color space but also another color space such as HSV. Specifically, when calculating the block weight, which is the degree of similarity between blocks, the RGB values may be HSV-converted and the block weight may be calculated according to changes in luminance or chroma between blocks.
또한, 일 실시예에 따를 때, 쉐이딩 추정 계수 결정부(202)는 기준 그룹 선택 처리부터 쉐이딩 추정 계수의 평가값 결정까지(단계 S100 내지 단계 S150) 실시하고 있지만, 쉐이딩 추정 계수 결정부(202)는 쉐이딩 보정의 대상이 되는 영상을 복수의 영역으로 나누고, 각각의 영역에 대해 기준 그룹 선택 처리부터 쉐이딩 추정 계수의 평가값 결정까지 실시할 수도 있다.In addition, according to an embodiment, the shading estimation
도 10은 일 실시예에 따른 쉐이딩 추정 계수 결정부가 분류하는 그룹의 예를 나타내는 도면이다.10 is a diagram illustrating an example of a group classified by a shading estimation coefficient determiner according to an embodiment.
쉐이딩 추정부(124)는 도 10에서의 쉐이딩 추정 계수 결정부(202)의 동작을 포함할 수 있다.The
쉐이딩 추정 계수 결정부(202)는 블록 통계부(118)가 영상 영역을 격자상으로 분할하여 취득한 각 블록을 영상 중앙부로부터의 거리에 따라 복수의 그룹으로 분류한다. 도 10을 참조하면, 영상(400) 중앙부로부터 영상 주변부를 따라, 영상의 각 블록을 그룹 0부터 그룹 5까지 6개의 그룹으로 분류하고 있다. 그리고, 기준 그룹을 선택하기 위해서 도 10에 도시한 그룹 0으로부터 탐색을 개시하고, 쉐이딩의 영향을 받지 않는 것으로 생각되는 그룹 3까지를 탐색할 수 있다.The shading estimation
도 11은 다른 실시예에 따른 쉐이딩 추정 계수 결정부가 분류하는 그룹의 예를 나타내는 도면이다.11 is a diagram illustrating an example of a group classified by a shading estimation coefficient determiner according to another embodiment.
쉐이딩 추정부(124)는 도 11에서의 쉐이딩 추정 계수 결정부(202)의 동작을 포함할 수 있다.The
쉐이딩 추정 계수 결정부(202)는 영상(401)을 4개의 영역(I 내지 IV)으로 나누고, 또한 영역(I 내지 IV) 내의 각 블록을 영상 중앙부로부터의 거리에 따라 복수의 그룹으로 분류한다. 도 11을 참조하면, 영역 I에서 각 블록을 그룹 I-1부터 그룹 I-5까지 5개의 그룹으로 분류한다. 그리고, 쉐이딩 추정 계수 결정부(202)는 영역(I 내지 IV)의 각각의 영역에서 기준 그룹 선택 처리부터 쉐이딩 추정 계수의 평가값 결정까지 실시한다. 이에 따라, 각 영역(I 내지 IV)마다 각 쉐이딩 추정 계수의 평가값을 결정하고, 각 영역(I 내지 IV)마다 피사체에 적절한 쉐이딩 추정 계수를 선택할 수 있다.The shading
도 12는 일 실시예에 따른 2개 이상의 다른 색상이 혼재된 평탄한 피사체를 포함하는 영상의 예를 나타내는 도면이다. 12 is a diagram illustrating an example of an image including a flat subject in which two or more different colors are mixed according to an exemplary embodiment;
도 12를 참조하면, 영상(410)은 회색(gray) 배경에 파란 평탄한 피사체를 포함하고 있다. 이 경우 도 3의 쉐이딩 추정부는 도 12의 영상(410)에 대해 적합한 쉐이딩 추정 계수를 선택하지 못할 수 있다. 예를 들어, 파란색 및 빨간색 등 다른 색상의 평탄한 피사체가 혼재하는, 복잡하지 않은 단조로운 장면에서는 근방 블록의 블록 특성 유사도가 높아지기 때문에, 복잡한 피사체로 결정되지는 않는다. 그러나, 이 경우 다른 색상의 평탄부는 동일한 무게가 되므로, 피사체 색의 영향을 받아 쉐이딩 추정 에러가 발생할 수 있다.12 , an
도 13은 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.13 is a block diagram illustrating a configuration of a shading estimator according to another exemplary embodiment.
다른 실시예에 따를 때, 쉐이딩 추정부는 국소적으로는 복잡하지 않고 단조로운 복수의 색상이 혼재하는 영상에서의 쉐이딩 추정 계수 선택의 에러를 감소시킬 수 있다. 구체적으로, 쉐이딩 추정부는 영상에서 대면적을 차지하는 색상의 블록을 추출하여 평가함으로써, 영상에 적합한 쉐이딩 보정 계수를 추정할 수 있다.According to another embodiment, the shading estimator may reduce an error in selecting a shading estimation coefficient in an image in which a plurality of colors that are not locally complex and monotonous are mixed. Specifically, the shading estimator may estimate a shading correction coefficient suitable for an image by extracting and evaluating a color block occupying a large area in the image.
도 13을 참조하면, 쉐이딩 추정부(124)는 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212), 블록 평가값 결정부(213) 및 쉐이딩 추정 계수 결정부(214) 등을 포함할 수 있으나, 이에 한정되지 않는다. 예를 들어, 쉐이딩 추정부(124)는 블록색 평가값 결정부(211) 및 블록 무게 계수 결정부(212)를 하나의 블록으로 할 수도 있다.Referring to FIG. 13 , the
쉐이딩 추정부(124)는 블록색 평가값 결정부(211)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 블록 무게 계수 결정부(212)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 블록 평가값 결정부(213)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 쉐이딩 추정 계수 결정부(214)의 동작을 포함할 수 있다.The
블록색 평가값 결정부(211)는 블록 통계값과 정규화 게인(average gain)을 이용하여 블록색 평가값(Hb)을 결정한다. 블록 무게 계수 결정부(212)는 블록색 평가값(Hb)으로부터 히스토그램 무게를 계산하고, 히스토그램 무게와 G레벨 무게를 이용하여 블록 무게(Wb)를 결정한다. 블록 평가값 결정부(213)는 블록 통계값과 블록 무게(Wb)를 이용하여 블록 평가값(Eb)을 결정한다. 쉐이딩 추정 계수 결정부(214)는 블록 평가값(Eb)을 이용하여 그룹 평가값을 결정하고, 그룹 평가값의 변화량에 따라, 쉐이딩 추정 계수를 결정한다.The block color evaluation
도 14는 일 실시예에 따른 블록색 평가값 결정부의 동작방법을 나타내는 흐름도이다.14 is a flowchart illustrating an operation method of a block color evaluation value determiner according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 14에서의 블록색 평가값 결정부(211)의 동작을 포함할 수 있다.The
일 실시예에 따른 블록색 평가값 결정부(211)는 영상에서 대면적을 차지하는 색상의 블록을 결정할 수 있다.The block color
단계 S201에서 블록색 평가값 결정부(211)는 쉐이딩 보정 전의 R값, G값 및 B값의 블록 통계값(Ri, Gi 및 Bi)에 쉐이딩 추정 초기 계수를 곱하여, R값, G값 및 B값의 블록 통계값(Rn(N, M), Gn(N, M) 및 Bn(N, M))을 결정한다. 단계 S201에 의해, 블록색 평가값 결정부(211)는 쉐이딩 보정 전의 블록 통계값에 가장 보정 강도가 약한 디폴트의 쉐이딩 추정 계수(즉, 쉐이딩 추정 초기 계수)를 곱하여 쉐이딩을 경감할 수 있다.In step S201, the block color evaluation
일 실시예에 따른 R값, G값 및 B값의 블록 통계값(Rn(N, M), Gn(N, M), Bn(N, M))은 수학식 14와 같이 나타낼 수 있다.
Block statistical values Rn(N, M), Gn(N, M), Bn(N, M)) of the R value, the G value, and the B value according to an embodiment may be expressed as
수학식 14에서, Nr, Ng 및 Nb는 각각 R값, G값 및 B값의 쉐이딩 추정 초기 계수이다.In
단계 S202에서 블록색 평가값 결정부(211)는 모든 블록의 블록 통계값(Rn(N, M), Gn(N, M), Bn(N, M))을 R, G 및 B 각각에 대해서 더한다.In step S202, the block color evaluation
단계 S204 내지 단계 S206에서 블록색 평가값 결정부(211)는 R값의 정규화 게인(AverageGainR)을 결정하고, 또한 단계 S207 내지 단계 S209에서 블록색 평가값 결정부(211)는 B값의 정규화 게인(AverageGainB)을 결정한다. 일 실시예에 따를 때, 블록색 평가값 결정부(211)는 G값의 정규화 게인은 1.0으로 하고, R값의 정규화 게인(AverageGainR) 및 B값의 정규화 게인(AverageGainB)을 구할 수 있다.In steps S204 to S206, the block color evaluation
단계 S204 내지 단계 S206에서 블록색 평가값 결정부(211)는 R값의 정규화 게인(AverageGainR)을 결정한다.In steps S204 to S206, the block color evaluation
단계 S204에서 블록색 평가값 결정부(211)는 R값의 블록 통계값(Rn(N, M))의 합이 0인지를 판단한다.In step S204, the block color evaluation
단계 S204에서의 판단 결과, R값의 블록 통계값(Rn(N, M))의 합이 0이 아니라면, 단계 S205에서 블록색 평가값 결정부(211)는 R값의 정규화 게인(AverageGainR)을 G합산값/R합산값으로 결정한다. 한편, 오버플로우 방지를 위해 R값의 정규화 게인(AverageGainR)은 R값의 정규화 게인 상한(AverageGainLimitR)을 한계로 한다.As a result of the determination in step S204, if the sum of the block statistical values Rn(N, M) of R values is not 0, in step S205, the block color evaluation
단계 S204에서의 판단 결과, R값의 블록 통계값(Rn(N, M))의 합이 0이라면, 단계 S206에서 블록색 평가값 결정부(211)는 R값의 정규화 게인(AverageGainR)을 1.0으로 결정한다.As a result of the determination in step S204, if the sum of the block statistical values Rn(N, M) of the R values is 0, in step S206, the block color evaluation
단계 S207 내지 단계 S209에서 블록색 평가값 결정부(211)는 B값의 정규화 게인(AverageGainB)을 결정한다.In steps S207 to S209, the block color evaluation
단계 S207에서 블록색 평가값 결정부(211)는 B값의 블록 통계값(Bn(N, M))의 합이 0인지를 판단한다.In step S207, the block color evaluation
단계 S207에서의 판단 결과, B값의 블록 통계값(Bn(N, M))의 합이 0이 아니라면, 단계 S208에서 블록색 평가값 결정부(211)는 B값의 정규화 게인(AverageGainb)을 G합산값/B합산값으로 결정한다. 한편, 오버플로우 방지를 위해 B값의 정규화 게인(AverageGainB)은 B값의 정규화 게인 상한(AverageGainLimitB)을 한계로 한다.As a result of the determination in step S207, if the sum of the block statistical values (Bn(N, M)) of the B values is not 0, in step S208, the block color evaluation
단계 S207에서의 판단 결과, B값의 블록 통계값(Bn(N, M))의 합이 0이라면, 단계 S209에서 블록색 평가값 결정부(211)는 B값의 정규화 게인(AverageGainB)을 1.0으로 결정한다.As a result of the determination in step S207, if the sum of the block statistical values (Bn(N, M)) of the B values is 0, in step S209, the block color evaluation
일 실시예에 따른 R값의 정규화 게인(AverageGainR) 및 B값의 정규화 게인(AverageGainB)은 수학식 15와 같이 나타낼 수 있다.
According to an embodiment, the normalization gain of the R value (AverageGainR) and the normalization gain of the B value (AverageGainB) may be expressed as in
도 15A 및 도 15B는 일 실시예에 따른 블록색 평가값 결정부, 블록 무게 계수 결정부 및 블록 평가값 결정부의 동작방법을 나타내는 흐름도이다.15A and 15B are flowcharts illustrating an operation method of a block color evaluation value determiner, a block weight coefficient determiner, and a block evaluation value determiner according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 15A 및 도 15B에서의 블록색 평가값 결정부(211)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 15A 및 도 15B에서의 블록 무게 계수 결정부(212)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 15A 및 도 15B에서의 블록 평가값 결정부(213)의 동작을 포함할 수 있다.The
단계 S210에서 블록 무게 계수 결정부(212)는 G레벨 무게를 결정한다. 일 실시예에 따른 G레벨 무게는, G값의 블록 통계값(Gn(N, M))을 이용할 수 있다. 블록 무게 계수 결정부(212)는 G값의 블록 통계값(Gn(N, M))이 기설정된 상한과 하한의 범위 내의 값이라면, 해당 블록의 G레벨 무게를 1로 결정하고, 그 범위 이외의 값이라면, 해당 블록의 G레벨 무게를 0으로 결정할 수 있다.In step S210, the block weight
도 16은 일 실시예에 따른 블록 무게 계수 결정부(212)가 처리하는 영상의 예를 나타내는 도면이다.16 is a diagram illustrating an example of an image processed by the block
쉐이딩 추정부(124)는 도 16에서의 블록 무게 계수 결정부(212)의 동작을 포함할 수 있다.The
도 16을 참조하면, 블록 무게 계수 결정부(212)는 암부나 포화 부근의 블록을 평가 대상으로부터 제외할 수 있다. 또한, 블록 무게 계수 결정부(212)는 임의의 블록의 R값, G값 및 B값 중 하나가 기설정된 범위 이외인 경우 해당 블록을 평가 대상 블록으로부터 제외시킬 수 있다.Referring to FIG. 16 , the block weight
단계 S211에서 블록색 평가값 결정부(211)는 블록색 평가값(Hb(N, M))을 결정한다.In step S211, the block color evaluation
일 실시예에 따른 블록색 평가값(Hb(N, M))은 수학식 16과 같이 나타낼 수 있다. 전체 블록에 대해서 블록색 평가값(Hb(N, M))을 구할 수 있다.
The block color evaluation value Hb(N, M) according to an embodiment may be expressed as Equation (16). A block color evaluation value (Hb(N, M)) can be obtained for all blocks.
수학식 16을 참조하면, 수학식 14에서 구한 B값의 블록 통계값(Bn(N, M))에 수학식 15에서 구한 B값의 정규화 게인(AverageGainB)을 곱하여 블록색 평가값(Hb(N, M))을 결정할 수 있다. R값 이외에 G값 및 B값에 대해서도 블록색 평가값(Hb(N, M))을 결정할 수 있다. 일 실시예에 따를 때, 수학식 14에서 구한 블록 통계값(Bn(N, M))을 제1 블록 통계값이라 하고, 제1 블록 통계값에 B값의 정규화 게인(AverageGainB)을 곱한 값을 제2 블록 통계값(Bng(N,M))이라 한다면, 제1 블록 통계값 및 제2 블록 통계값을 이용하여 블록색 평가값(Hb(N, M))을 결정할 수 있다. 일 실시예에 따를 때, 블록색 평가값 결정부(211)는 제2 블록 통계값의 R값에 대한 비율, 제2 블록 통계값의 G값에 대한 비율 및 제2 블록 통계값의 B값에 대한 비율 중 적어도 하나를 이용하여 블록색 평가값(Hb(N, M))을 결정할 수 있다. R값에 대한 비율은 모든 RGB에 대한 R의 비율의 3배(3 R/(R+G+B))일 수 있고, 모든 RGB에 대한 R의 비율(R/(R+G+B))일 수도 있다. Referring to
단계 S212에서 블록 무게 계수 결정부(212)는 블록색 평가값(Hb)의 히스토그램을 결정한다.In step S212, the block weight
단계 S213 내지 단계 S218에서 블록 무게 계수 결정부(212)는 히스토그램 무게를 결정하여 최빈값으로부터 떨어져 있는 블록을 제외할 수 있다.In steps S213 to S218, the block
단계 S213에서 블록 무게 계수 결정부(212)는 Hb의 히스토그램의 최빈값을 결정한다.In step S213, the block weight
단계 S214에서 블록 무게 계수 결정부(212)는 각 블록에 대해 블록색 평가값(Hb)이 Hb의 히스토그램 최빈값의 범위 내인지를 결정한다.In step S214, the block weight
단계 S214에서의 판단 결과, 블록색 평가값(Hb)이 Hb의 히스토그램 최빈값의 범위 내라면, 단계 S215에서 블록 무게 계수 결정부(212)는 Hb의 히스토그램 무게를 1로 결정한다.As a result of the determination in step S214, if the block color evaluation value Hb is within the range of the histogram mode of Hb, the block weight
단계 S216에서 블록 무게 계수 결정부(212)는 G레벨 무게와 Hb의 히스토그램 무게를 곱하여 블록 무게(Bw)를 결정한다.In step S216, the block weight
단계 S214에서의 판단 결과, 블록색 평가값(Hb)이 Hb의 히스토그램 최빈값의 범위 밖이라면, 단계 S217에서 블록 무게 계수 결정부(212)는 Hb의 히스토그램 무게를 0으로 결정한다.If it is determined in step S214 that the block color evaluation value Hb is out of the range of the histogram mode of Hb, the block weight
도 17은 일 실시예에 따른 블록 무게 계수 결정부가 생성하는 히스토그램의 예를 나타내는 도면이다.17 is a diagram illustrating an example of a histogram generated by a block weight factor determiner according to an embodiment.
도 17A는 블록 무게 계수 결정부가 생성하는 히스토그램의 예를 나타내는 도면이다. 도 17A를 참조하면, 0.65 내지 1.35를 0.05 간격으로 구분하였다. 도 17B는 단계 S215 및 단계 S217의 동작을 영상에 도시한 예를 나타내는 도면이다.17A is a diagram illustrating an example of a histogram generated by a block weight factor determining unit. Referring to FIG. 17A , 0.65 to 1.35 were divided by 0.05 intervals. Fig. 17B is a diagram showing an example in which the operations of steps S215 and S217 are shown in an image.
도 18은 일 실시예에 따른 블록 무게 계수 결정부가 처리하는 영상의 예를 나타내는 도면이다.18 is a diagram illustrating an example of an image processed by a block weight factor determiner according to an embodiment.
쉐이딩 추정부(124)는 도 18에서의 블록 무게 계수 결정부(212)의 동작을 포함할 수 있다.The
도 18 및 단계 216을 참조하면, 블록 무게 계수 결정부(212)는 G레벨 무게와 Hb의 히스토그램 무게를 곱하여 블록 무게(Bw)를 결정한다.18 and step 216 , the block weight
단계 S219에서 블록 평가값 결정부(213)는 쉐이딩 보정 전의 R값, G값 및 B값의 블록 통계값(Ri, Gi 및 Bi)에 쉐이딩 추정 후보 중 하나인 쉐이딩 추정 계수를 곱하여 R값, G값 및 B값의 블록 통계값(Rc, Gc 및 Bc)을 결정한다.In step S219, the block evaluation
일 실시예에 따른 블록 통계값(Rc, Gc 및 Bc)은 수학식 17과 같이 나타낼 수 있다.
Block statistical values Rc, Gc, and Bc according to an embodiment may be expressed as in
수학식 17에서, Cr[t], Cg[t]는 쉐이딩 추정 후보 중 하나인 쉐이딩 추정 계수이고, t는 표 번호이다.In
단계 S221에서 블록 평가값 결정부(213)는 블록 통계값(Rc, Gc 및 Bc)에 블록 무게(Bw(N,M))를 곱하여 블록 평가값(Eb(N, M))을 결정한다.In step S221, the block evaluation
일 실시예에 따른 블록 평가값(Eb(N, M))은 수학식 18과 같이 나타낼 수 있다.The block evaluation value Eb(N, M) according to an embodiment may be expressed as Equation (18).
쉐이딩 추정 계수 결정부(214)는 모든 블록의 블록 평가값(Eb)을 결정한 후, 영상 영역을 영상 중심으로부터의 거리에 따라 구분한 그룹에 대해, 그룹 내의 블록 평가값(Eb)이 0인 것을 제외하고 평균하여 해당 그룹의 그룹 평가값으로 결정한다. 그리고, 중심부의 그룹으로부터 주변부의 그룹에 걸쳐 그룹 평가값의 변화량을 쉐이딩 추정 계수의 평가값으로 결정할 수 있다.After determining the block evaluation values (Eb) of all blocks, the shading estimation
도 19는 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.19 is a block diagram illustrating a configuration of a shading estimator according to another embodiment.
다른 실시예에 따를 때, 쉐이딩 추정부는 소정의 광원별 쉐이딩 추정 계수를 적용한 블록 통계값에 대해 블록의 유효성을 판정하고, 블록의 집합으로 구성되는 그룹의 유효성을 판정하며, 영상 중앙의 그룹으로부터 주변 그룹으로 향하는 유효 그룹의 연속성을 판정하는 판정부를 포함하고, 그룹 연속성 판정 결과에 따라 무효 그룹을 보간하여 유효화하며, 동계색(similar color)의 피사체 영역의 그룹을 추출하고, 유효 그룹의 영상 중앙부로부터 주변부에 걸친 R비의 근사 직선의 기울기 따라 촬상 영상의 보정에 적절한 쉐이딩 보정 계수를 선택함으로써 피사체에 의한 오판정을 저감시킬 수 있다.According to another embodiment, the shading estimator determines the validity of a block with respect to a block statistical value to which a shading estimation coefficient for each light source is applied, determines the validity of a group consisting of a set of blocks, a judging unit that determines the continuity of the valid group toward the group, interpolates and validates the invalid group according to the group continuity judgment result, extracts a group of subject areas of a similar color, and extracts a group of the valid group from the image center of the valid group By selecting a shading correction coefficient suitable for correction of the captured image according to the slope of the approximate straight line of the R ratio over the peripheral portion, it is possible to reduce misjudgment by the subject.
도 19를 참조하면, 쉐이딩 추정부(124)는 도 13의 쉐이딩 추정부(124)에 포함되어 있는 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212), 블록 평가값 결정부(213) 및 쉐이딩 추정 계수 결정부(214) 이외에, 그룹 분류부(221), 그룹 평가값 결정부(222), 유효 그룹 결정부(223), 근사 추정부(또는, 근사 직선 추정부, 직선 근사부(224) 및 분산 추정부(225)를 더 포함하고 있으나, 이에 한정되지 않는다. 예를 들어, 근사 추정부(224)의 근사에 따라 쉐이딩 추정 계수 결정부(214)가 쉐이딩 추정 계수를 선택할 수도 있다.Referring to FIG. 19 , the
쉐이딩 추정부(124)는 그룹 분류부(221)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 그룹 평가값 결정부(222)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 유효 그룹 결정부(223)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 근사 추정부(224)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 분산 추정부(225)의 동작을 포함할 수 있다.The
그룹 분류부(221)는 영상의 중앙부로부터의 거리에 따라, 촬상 영상을 분할한 복수의 블록을 복수의 그룹으로 분류한다. 그룹 평가값 결정부(222)는 블록 통계값에 따라 그룹 평가값을 결정한다. 또한, 그룹 평가값 결정부(222)는 블록 통계값에 따라 블록의 유효 내지 무효를 판정하는 유효 블록 결정부를 포함할 수 있고, 그룹 내의 유효 블록에 대해 통계치의 색상 별 총합에 따라 그룹 평가값을 결정할 수 있다. 유효 그룹 결정부(223)는 그룹 평가값 또는 그룹 내의 유효 블록수에 따라 그룹의 유효 내지 무효를 결정한다. 근사 추정부(224)는 그룹 평가값에 따라, 쉐이딩 추정 계수에 의한 보정을 근사하는 근사식을 결정하고, 근사식에 따라 쉐이딩 추정 계수를 선택한다. 또한, 근사 추정부(224)는 촬상 영상의 중앙부로부터 주변부로의 유효 그룹에 대해, 색(R) 비율을 직선 근사할 수 있다. 분산 추정부(225)는 블록 평가값의 표본 분산을 결정하고, 분산값이 최소가 되는 쉐이딩 추정 계수를 선택한다.The
일 실시예에 따를 때, 도 19의 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212) 및 블록 평가값 결정부(213)는 각각 도 13의 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212) 및 블록 평가값 결정부(213)와 동일하게 동작할 수 있다.According to an exemplary embodiment, the block color
도 20은 일 실시예에 따른 그룹 분류부 및 그룹 평가값 결정부의 동작방법을 나타내는 흐름도이다.20 is a flowchart illustrating an operation method of a group classifying unit and a group evaluation value determining unit according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 20에서의 그룹 분류부(221)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 20에서의 그룹 평가값 결정부(222)의 동작을 포함할 수 있다.The
단계 S301에서 그룹 분류부(221)는 촬상 영상을 분할한 복수의 블록을 사분면(Q[0] 내지 Q[3])으로 4분할하고, 또한 중앙으로부터의 거리에 따라 그룹 G[0] 내지 G[g]로 분류한다.In step S301, the
도 21은 일 실시예에 따른 그룹 분류부가 분류하는 그룹의 예를 나타내는 도면이다. 쉐이딩 추정부(124)는 도 21에서의 그룹 분류부(221)의 동작을 포함할 수 있다.21 is a diagram illustrating an example of a group classified by a group classification unit according to an embodiment. The
단계 S302에서 그룹 평가값 결정부(222)는 블록 검파 데이터에 추정 후보의 쉐이딩 추정 계수(Small Table)를 곱한다. 일 실시예에 따를 때, 그룹 평가값 결정부(222)는 쉐이딩 보정 전의 R값, G값 및 B값의 블록 통계값(Ri, Gi 및 Bi)에 쉐이딩 추정 후보 중 하나인 쉐이딩 추정 계수를 곱하여 R값, G값 및 B값의 블록 통계값(Rc, Gc 및 Bc)을 결정할 수 있다.In step S302, the group
단계 S303에서 그룹 평가값 결정부(222)는 블록 평가값(Eb)을 결정한다. 그룹 평가값 결정부(222)는 수학식 17 및 수학식 18을 이용하여 블록 평가값(Eb)을 결정할 수 있다.In step S303, the group evaluation
단계 S304에서 그룹 평가값 결정부(222)는 그룹 합산값(Eg[g])을 결정한다.In step S304, the group evaluation
일 실시예에 따른 그룹 합산값(Eg[g])은 수학식 19와 같이 나타낼 수 있다.
The group sum value Eg[g] according to an embodiment may be expressed as
일 실시예에 따를 때, 그룹 평가값 결정부(222)는 그룹 내에 포함되는, 쉐이딩 추정 계수를 차례로 적용한 블록 통계값 중 유효 블록의 블록 통계값의 총합을 그룹 합산값(Eg)으로 할 수 있다.According to an embodiment, the group
단계 S305에서 그룹 평가값 결정부(222)는 유효 블록수(Nb[g])를 결정한다.In step S305, the group evaluation
일 실시예에 따른 유효 블록수(Nb[g])는 수학식 20과 같이 나타낼 수 있다.The number of effective blocks (Nb[g]) according to an embodiment may be expressed as in
수학식 20을 참조하면, 그룹 평가값 결정부(222)는 각각의 그룹(G[0] 내지 G[g])마다 블록 무게(Bw(N, M))를 합산하여 유효 블록수(Nb[g])를 결정할 수 있다.Referring to
쉐이딩 추정 계수의 모든 후보에 대해서 그룹 평가값 결정부(222)는 단계 S301 내지 단계 S305를 실시한다.The group evaluation
도 22A 및 도 22B는 일 실시예에 따른 유효 그룹 결정부 및 근사 추정부의 동작방법을 나타내는 흐름도이다.22A and 22B are flowcharts illustrating operating methods of a valid group determiner and an approximate estimator according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 22A 및 도 22B에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 도 22A 및 도 22B에서의 근사 추정부(224)의 동작을 포함할 수 있다.The
단계 S310에서 유효 그룹 결정부(223)는 각각의 그룹(G[0] 내지 G[g])마다 유효 블록수(Nb[g])를 결정한다. 한편, 유효 그룹 결정부(223)는 유효 블록수(Nb[g])가 소정의 임계값(즉, 유효 블록수 임계값)보다 작은 경우, 유효 블록수(Nb[g])를 0으로 한다.In step S310, the effective
단계 S311에서 유효 그룹 결정부(223)는 각각의 그룹(G[0] 내지 G[g])마다 블록 평가값(Eb)의 평균값(Ag[g])을 결정한다.In step S311, the effective
일 실시예에 따른 블록 평가값(Eb)의 평균값(Ag[g])은 수학식 21과 같이 나타낼 수 있다.
The average value Ag[g] of the block evaluation value Eb according to an embodiment may be expressed as
유효 그룹 결정부(223)는 유효 블록수(Nb[g])가 그룹 내 유효 블록수 임계값보다 작은 경우, 블록 평가값(Eb)의 평균값(Ag[g])을 0으로 한다. 일 실시예에 따를 때, 유효 블록수(Nb[g])가 유효 블록수 임계값 미만인 그룹의 경우, 쉐이딩 추정부는 해당 그룹을 쉐이딩 추정 계수의 추정에서 제외시킬 수 있다.The effective
단계 S312에서 유효 그룹 결정부(223)는 블록 평가값(Eb)의 평균값(Ag[g])을 영상 중앙으로부터의 거리(D[0] 내지 D[d])마다 평균하여 그룹 평가값(Ad[d])을 결정한다.In step S312, the
일 실시예에 따른 그룹 평가값(Ad[d])은 수학식 22와 같이 나타낼 수 있다.The group evaluation value Ad[d] according to an embodiment may be expressed as in
도 23은 일 실시예에 따른 유효 그룹 결정부가 처리하는 그룹의 예를 나타내는 도면이다.23 is a diagram illustrating an example of a group processed by a valid group determiner according to an embodiment.
쉐이딩 추정부(124)는 도 23에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.The
도 23을 참조하면, 거리 D[0] 내지 D[6]인 그룹의 예를 나타내고 있다.Referring to FIG. 23 , an example of a group having a distance D[0] to D[6] is shown.
단계 S313에서 유효 그룹 결정부(223)는 각 거리 그룹에 대해, 인접 거리 그룹과의 그룹 평가값(Ad)의 차분값(Diff)을 계산한다.In step S313 , the effective
쉐이딩 추정 계수의 모든 후보에 대해서 유효 그룹 결정부(223)는 단계 S310 내지 단계 S313을 실시한다.For all candidates of the shading estimation coefficient, the
단계 S314에서 유효 그룹 결정부(223)는 단계 S310 내지 단계 S313에서 이용된 쉐이딩 추정 계수가 쉐이딩 추정 초기 계수인지를 판단한다.In step S314, the
단계 S314에서의 판단 결과, 쉐이딩 추정 초기 계수이면, 단계 S315에서 유효 그룹 결정부(223)는 그룹 평가값((Ad)[d])의 값을 이용하여 각각의 거리(D[0] 내지 D[d])마다 그룹의 유효 또는 무효를 결정(유효인 경우 Ed=1, 무효인 경우 Ed=0)한다.As a result of the determination in step S314, if it is the shading estimation initial coefficient, in step S315, the
일 실시예에 따를 때, 그룹 평가값((Ad)[d])이 0이거나 또는 인접 거리 그룹과의 그룹 평가값(Ad)의 차분값(Diff)이 소정의 상한치보다 크거나 소정의 하한치보다 작은 경우의 그룹은 무효로 결정할 수 있다.According to an exemplary embodiment, the group evaluation value (Ad)[d]) is 0, or the difference value Diff of the group evaluation value Ad with the adjacent distance group is greater than a predetermined upper limit or less than a predetermined lower limit. A small group may be declared invalid.
도 24는 다른 실시예에 따른 유효 그룹 결정부가 처리하는 그룹의 예를 나타내는 도면이다. 쉐이딩 추정부(124)는 도 24A 및 도 24B에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다. 도 24A를 참조하면, D[2] 내지 D[6]이 유효이고, D[0] 내지 D[1]이 무효인 경우의 예이다. 도 24B를 참조하면, D[0] 내지 D[3], D[6]이 유효이고, D[4] 및 D[5]이 무효인 경우의 예이다.24 is a diagram illustrating an example of a group processed by a valid group determiner according to another embodiment. The
일 실시예에 따를 때, 유효 그룹 결정부(223)는 촬상 영상의 중앙부에서 주변부로 향하는 그룹 중 유효 그룹의 연속성을 결정하는 그룹 연속성 결정부 및 그룹 연속성 결정 결과에 따라 무효로 결정된 그룹을 유효화하는 무효 그룹 유효화부를 포함할 수 있다.According to an embodiment, the
단계 S316에서 유효 그룹 결정부(223)는 단독의 무효 그룹(즉, Ed=0)의 양측에 각각 2개 이상이 연속된 유효 그룹(즉, Ed=1)이 있고, 또한 단독의 무효 그룹과 양측의 유효 그룹과의 그룹 평가값(Ad)의 차분값(Diff)이 각각 소정의 임계값(즉, 무효 거리 그룹 보간 임계값) 이하인 경우, 단독의 무효 그룹을 유효 그룹으로 변경할 수 있다(즉, Ed=0을 1로 보간).In step S316, the valid
도 25는 일 실시예에 따른 유효 그룹 결정부의 동작방법을 설명하기 위한 도면이다.25 is a diagram for explaining a method of operating a valid group determiner according to an embodiment.
쉐이딩 추정부(124)는 도 25에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.The
도 25A 내지 24C를 참조하면, 도 25A는 D[2]의 양측 그룹 평가값(Ad)의 차분값이 소정의 임계값 이하이므로 보간 대상이 되는 예이고, 도 25B는 D[1]의 양측이 연속되지 않으므로 보간 대상이 아닌 예이며, 도 25C는 D[2] 내지 D[3]이 단독의 Ed=0이 아니므로 보간 대상이 아닌 예이다.Referring to FIGS. 25A to 24C, FIG. 25A is an example of an interpolation target because the difference value between the group evaluation values Ad of both sides of D[2] is less than or equal to a predetermined threshold, and FIG. 25B shows that both sides of D[1] are Since it is not continuous, it is an example not to be interpolated, and FIG. 25C is an example not to be interpolated because D[2] to D[3] are not Ed=0 alone.
단계 S317에서 유효 그룹 결정부(223)는 유효 그룹의 연속수(즉, 유효 거리)(Ne)가 소정의 임계값(즉, 유효 그룹 연속수 임계값) 이상인지를 계산한다.In step S317, the valid
단계 S317에서의 판단 결과, 유효 그룹의 연속수(Ne)가 소정의 임계값보다 작으면, 단계 S318에서 유효 그룹 결정부(223)는 쉐이딩 추정 계수 결정 방식을 분산 추정으로 한다. 일 실시예에 따를 때, 유효 그룹의 연속수(Ne)가 적은 경우, 추정 곤란한 복잡한 피사체일 가능성이 높기 때문에 유효 그룹 결정부(223)는 쉐이딩 추정 계수 결정 방식을 분산 추정으로 결정할 수 있다.If it is determined in step S317 that the number of consecutive valid groups Ne is less than a predetermined threshold, in step S318, the effective
한편, 단계 S317에서의 판단 결과, 유효 그룹의 연속수(Ne)가 소정의 임계값 이상이면, 또는 단계 S314에서의 판단 결과, 쉐이딩 추정 초기 계수가 아니면, 유효 그룹 결정부(223)는 쉐이딩 추정 계수 결정 방식을 근사 직선 추정으로 한다.On the other hand, if it is determined in step S317 that the number of consecutive valid groups Ne is equal to or greater than a predetermined threshold value, or if it is determined in step S314 that the shading estimation initial coefficient is not, the effective
쉐이딩 추정 계수의 모든 후보에 대해서 그룹 평가값 결정부(222)는 단계 S314 내지 단계 S319를 실시한다.For all candidates of the shading estimation coefficient, the group evaluation
단계 S320에서 근사 추정부(224)는 쉐이딩 추정 계수의 모든 후보에 대해서 최소제곱법을 이용하여 유효 그룹의 그룹 평가값(Ad)에 대한 근사 직선을 추정한다. 일 실시예에 따른 유효 거리는 단계 S315 및 단계 S316에서 쉐이딩 추정 초기 계수를 이용하여 구한 유효 거리를 쉐이딩 추정 계수의 모든 후보에 적용할 수 있다. 예를 들어, 쉐이딩 추정 초기 계수의 유효 거리가 D[2] 내지 D[4]인 경우, 모든 쉐이딩 추정 계수의 유효 거리를 D[2] 내지 D[4]로 할 수 있다.In step S320, the
단계 S321에서 근사 추정부(224)는 단계 S320에서 추정한 근사 직선의 기울기가 음수가 되는 쉐이딩 추정 계수의 표 번호가 있는지를 판단한다.In step S321, the
단계 S321에서의 판단 결과, 근사 직선의 기울기가 음수가 되는 쉐이딩 추정 계수의 표 번호가 있으면, 단계 S322에서 근사 추정부(224)는 음수의 기울기 중에서 0에 가장 가까운 값을 가지도록 하는 표 번호를 쉐이딩 추정 계수의 표 번호로 결정한다.As a result of the determination in step S321, if there is a table number of the shading estimation coefficient in which the slope of the approximate straight line is negative, in step S322, the
단계 S321에서의 판단 결과, 근사 직선의 기울기가 음수가 되는 쉐이딩 추정 계수의 표 번호가 없으면, 단계 S323에서 근사 추정부(224)는 가장 작은 값을 가지도록 하는 표 번호를 쉐이딩 추정 계수의 표 번호로 결정한다.As a result of the determination in step S321, if there is no table number of the shading estimation coefficient in which the slope of the approximate straight line is negative, in step S323, the
일 실시예에 따를 때, 근사 추정부(224)는 근사한 직선이 수평에 가까워지거나 또는 미리 설정한 기준의 기울기에 가장 가까워지는 쉐이딩 추정 계수를 선택할 수도 있다. 또한, 근사 추정부(224)는 R값의 비율을 근사하는 경우, 모든 RGB에 대한 R값의 비율(R/(R+G+B))을 이용할 수도 있고, 모든 RGB에 대한 R값의 비율의 3배(3R/(R+G+B))를 이용할 수도 있다.According to an embodiment, the
단계 S324에서 근사 추정부(224)는 현재 추정된 표 번호에서 이전 추정된 표 번호를 뺀다. 일 실시예에 따를 때, 근사 추정부(224)는 추정 결과가 안정되도록 히스테리시스(hysteresis)를 이용하여 추정 결과의 갱신 여부를 결정한다.In step S324, the
단계 S324에서의 차이를 구한 결과, 현재 추정된 표 번호에서 이전 추정된 표 번호를 뺀 값이 1이면, 단계 S325에서 근사 추정부(224)는 Slope(기울기)>SlopeHys(히스테리시스의 기울기)x(-1)인지를 판단한다.As a result of obtaining the difference in step S324, if the value obtained by subtracting the previously estimated table number from the current estimated table number is 1, in step S325, the
단계 S324에서의 차이를 구한 결과, 현재 추정된 표 번호에서 이전 추정된 표 번호를 뺀 값이 (-1)이면, 단계 S326에서 근사 추정부(224)는 Slope(기울기)<SlopeHys(히스테리시스의 기울기)인지를 판단한다.As a result of obtaining the difference in step S324, if the value obtained by subtracting the previously estimated table number from the currently estimated table number is (-1), in step S326, the
단계 S325의 판단 결과, Slope(기울기)>SlopeHys(히스테리시스의 기울기)x(-1)이면, 단계 S327에서 근사 추정부(224)는 추정 결과를 이전 추정된 표 번호로 유지한다.As a result of the determination in step S325, if Slope>SlopeHys(slope of hysteresis)x(-1), in step S327, the
단계 S324에서의 차이를 구한 결과 현재 추정된 표 번호에서 이전 추정된 표 번호를 뺀 값이 ±1이 아니면, 단계 S325의 판단 결과 Slope(기울기)>SlopeHys(히스테리시스의 기울기)x(-1)이 아니면, 또는 단계 S326의 판단 결과 Slope(기울기)<SlopeHys(히스테리시스의 기울기)이 아니면, 단계 S328에서 근사 추정부(224)는 추정 결과를 현재 추정된 표 번호로 갱신한다.As a result of obtaining the difference in step S324, if the value obtained by subtracting the previously estimated table number from the currently estimated table number is not ±1, as a result of the determination in step S325, Slope > SlopeHys (slope of hysteresis) x (-1) Otherwise, or if it is determined in step S326 that Slope is not SlopeHys (slope of hysteresis), in step S328, the
단계 S326의 판단 결과, Slope(기울기)<SlopeHys(히스테리시스의 기울기)이면, 단계 S329에서 근사 추정부(224)는 추정 결과를 이전 추정된 표 번호로 유지한다.As a result of the determination in step S326, if Slope < SlopeHys (slope of hysteresis), in step S329 the
도 26은 일 실시예에 따른 근사 추정부가 처리하는 근사 직선을 나타내는 그래프이다.26 is a graph illustrating an approximate straight line processed by an approximate estimator according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 26에서의 근사 추정부(224)의 동작을 포함할 수 있다.The
도 26을 참조하면, 쉐이딩 추정 계수의 모든 후보에 대해 근사 직선이 있으며, 해당 근사 직선 중 과보정이 아니고 또한 보정 결과가 수평에 가깝게 만드는 쉐이딩 추정 계수(도 26(a))를 추정 결과로 한다. 한편, 모든 근사 직선이 과보정인 경우, 보정 정도를 가장 약하게 하는 쉐이딩 추정 계수를 추정 결과로 할 수 있다.Referring to FIG. 26 , there is an approximate straight line for all candidates of the shading estimation coefficient, and the shading estimation coefficient ( FIG. 26( a ) ) that is not over-corrected and makes the correction result close to the horizontal among the approximate straight lines is used as the estimation result. On the other hand, when all approximate straight lines are overcorrected, the shading estimation coefficient that weakens the correction degree may be used as the estimation result.
도 27은 일 실시예에 따른 분산 추정부의 동작방법을 나타내는 흐름도이다.27 is a flowchart illustrating a method of operating a variance estimator according to an exemplary embodiment.
쉐이딩 추정부(124)는 도 27에서의 분산 추정부(225)의 동작을 포함할 수 있다.The
일 실시예에 따른 분산 추정부(225)는, 근사 직선 추정이 곤란한 복잡한 피사체의 경우 영상 전체의 블록 평가값(Eb)의 평균값인 블록 평가 평균값(Ab) 및 각 블록 평가값(Eb)으로부터 표본 분산을 구하고, 분산값을 최소가 되게 하는 표 번호(t)를 추정 결과로 할 수 있다.The
단계 S331에서 분산 추정부(225)는 유효 블록의 블록 평가 평균값(Ab)을 결정한다.In step S331, the
일 실시예에 따른 유효 블록의 블록 평가 평균값(Ab)은 수학식 23과 같이 나타낼 수 있다.
According to an embodiment, the block evaluation average value Ab of valid blocks may be expressed as in
수학식 23에서, Nb는 유효 블록(블록 무게(Bw)=1)의 수이다.In
단계 S332에서 유효 블록의 표본 분산(Varp)을 결정한다.In step S332, the sample variance (Varp) of the valid block is determined.
단계 S333에서 유효 블록의 표본 분산(Varp)의 최소치와 그에 대응되는 표 번호(t)를 저장한다.In step S333, the minimum value of the sample variance (Varp) of the valid block and the corresponding table number (t) are stored.
일 실시예에 따른 유효 블록의 표본 분산(Varp)은 수학식 24와 같이 나타낼 수 있다.A sample variance (Varp) of a valid block according to an embodiment may be expressed as Equation (24).
단계 S334에서 쉐이딩 추정 계수의 모든 후보에 대해서 분산 추정부(225)는 단계 S331 내지 단계 S333을 실시했는지를 판단한다.In step S334, the
단계 S335에서 분산 추정부(225)는 유효 블록의 표본 분산(Varp)이 최소가 되게 하는 표 번호(t)를 추정 결과로 할 수 있다.In step S335, the
일 실시예에 따른 단계 S335에 대한 추정 결과(result)는 수학식 25와 같이 나타낼 수 있다.An estimation result for step S335 according to an embodiment may be expressed as Equation (25).
다른 실시예에 따를 때, 쉐이딩 추정부는 쉐이딩 추정 계수의 후보를 적용한 블록 영상에 대해, 영상 중앙의 블록으로부터의 거리에 따라 블록을 그룹별 분류하고, 추정에 이용할 그룹인지를 판정한다. 영상 중앙의 그룹으로부터 영상 주변의 그룹의 색상(R) 비를 직선 근사할 수 있다. 복수의 광원에 각각 대응하는 쉐이딩 추정 테이블에 대한 근사 직선의 기울기에 따라 쉐이딩 추정 계수에 일 대 일로 대응한 쉐이딩 보정 테이블을 선택할 수 있다. 다른 실시예에 따른 쉐이딩 추정부는 영상 중앙 영역에서 주변 영역으로의 색상(R) 비 변화의 연속성을 평가하여 테이블 평가값을 결정하기 때문에, 피사체색에 의한 색상(R) 비의 변화를 배제함으로써 쉐이딩 추정 오차를 줄일 수 있다.According to another embodiment, the shading estimator classifies a block image by group according to a distance from a block in the center of the image with respect to a block image to which a candidate of a shading estimation coefficient is applied, and determines whether a group is used for estimation. A color (R) ratio of the group around the image may be approximated by a straight line from the group in the center of the image. A shading correction table corresponding to one-to-one shading estimation coefficients may be selected according to a slope of an approximate straight line with respect to a shading estimation table corresponding to a plurality of light sources. The shading estimator according to another embodiment determines the table evaluation value by evaluating the continuity of the color R ratio change from the central region of the image to the peripheral region. The estimation error can be reduced.
도 28은 다른 실시예에 따른 쉐이딩 추정부의 구성을 나타내는 블록도이다.28 is a block diagram illustrating a configuration of a shading estimator according to another embodiment.
다른 실시예에 따를 때, 쉐이딩 추정부는 유효 그룹의 판정 방법을 변경하여 유효 그룹의 수, 즉 평가 대상 그룹의 수를 늘리고, 또한 연속되는 유효 그룹마다 분산을 구하고, 구한 분산을 가산한 것을 쉐이딩 추정 계수의 평가값으로 할 수 있다.According to another embodiment, the shading estimation unit increases the number of effective groups, that is, the number of evaluation target groups by changing the method for determining effective groups, and calculates the variance for each successive effective group, and adds the obtained variance. It can be set as the evaluation value of a coefficient.
도 28을 참조하면, 쉐이딩 추정부(124)는 도 19의 쉐이딩 추정부(124)에 포함되어 있는 근사 추정부(224) 및 분산 추정부(225) 대신, 그룹 분산 추정부(226) 및 블록 분산 추정부(227)를 포함하고 있으나, 이에 한정되지 않는다. 쉐이딩 추정부(124)는 그룹 분산 또는 블록 분산 중 어느 하나에 따라 쉐이딩을 추정할 수 있다.Referring to FIG. 28 , the
쉐이딩 추정부(124)는 그룹 분산 추정부(226)의 동작을 포함할 수 있다.The
일 실시예에 따른 그룹 분산 추정부(226)는 연속되는 유효 그룹(즉, 그룹 연속 영역)마다 그룹 평가값(Ad[d])의 분산값을 구하고, 분산값을 합산한 것을 쉐이딩 추정 계수의 평가값으로 하고, 평가값을 가장 작게 하는 쉐이딩 추정 계수를 결정할 수 있다.The group variance estimator 226 according to an embodiment obtains a variance value of the group evaluation value Ad[d] for each successive effective group (ie, a group continuation region), and calculates the sum of the variance values of the shading estimation coefficient. It is set as an evaluation value, and the shading estimation coefficient which makes the evaluation value the smallest can be determined.
쉐이딩 추정부(124)는 블록 분산 추정부(227)의 동작을 포함할 수 있다. 또한, 쉐이딩 추정부(124)는 그룹 분산 추정부(226)의 동작을 포함할 수 있다.The
일 실시예에 따른 블록 분산 추정부(227)는 그룹 연속 영역의 수가 소정의 임계값보다 작을 때, 그룹 분산 추정부(226)의 처리 대신에 유효 블록 분산 추정 처리를 실시할 수 있다.The block
도 29는 다른 실시예에 따른 쉐이딩 추정부의 동작방법을 나타내는 흐름도이다.29 is a flowchart illustrating an operation method of a shading estimator according to another embodiment.
쉐이딩 추정부(124)는 도 29에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.The
일 실시예에 따를 때, 도 29의 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212), 블록 평가값 결정부(213), 그룹 분류부(221), 그룹 평가값 결정부(222) 및 유효 그룹 결정부(223)는 각각 도 19의 블록색 평가값 결정부(211), 블록 무게 계수 결정부(212), 블록 평가값 결정부(213), 그룹 분류부(221), 그룹 평가값 결정부(222) 및 유효 그룹 결정부(223)와 동일하게 동작할 수 있다.According to an embodiment, the block color evaluation
단계 S401에서 유효 그룹 결정부(223)는 각각의 그룹(G[0] 내지 G[g])마다 유효 블록수(Nb[g])를 결정한다. 한편, 유효 그룹 결정부(223)는 유효 블록수(Nb[g])가 소정의 임계값(즉, 유효 블록수 임계값)보다 작은 경우, 유효 블록수(Nb[g])를 0으로 한다. 일 실시예에 따를 때, 단계 S401의 동작은 단계 S310의 동작과 동일할 수 있다.In step S401, the effective
단계 S402에서 유효 그룹 결정부(223)는 각각의 그룹(G[0] 내지 G[g])마다 블록 평가값(Eb)의 평균값(Ag[g])을 결정한다. 일 실시예에 따를 때, 단계 S402의 동작은 단계 S311의 동작과 동일할 수 있다.In step S402, the effective
일 실시예에 따른 블록 평가값(Eb)의 평균값(Ag[g])은 단계 S311의 수학식 21을 이용하여 구할 수 있다. 이 때, 유효 블록수(Nb[g])가 0인 경우, 유효 그룹 결정부(223)는 블록 평가값(Eb)의 평균값(Ag[g])을 0으로 한다. 즉, 유효 그룹 결정부(223)는 그룹 내의 유효 블록수가 적은 경우 그 그룹을 무효로 할 수 있다.The average value Ag[g] of the block evaluation value Eb according to an exemplary embodiment may be obtained using
단계 S403에서 유효 그룹 결정부(223)는 블록 평가값(Eb)의 평균값(Ag[g])을 영상 중앙으로부터의 거리(D[0] 내지 D[d])마다 평균하여 그룹 평가값(Ad[d])을 결정한다. 일 실시예에 따를 때, 단계 S403의 동작은 단계 S312의 동작과 동일할 수 있다.In step S403, the effective
일 실시예에 따른 그룹 평가값(Ad[d])은 단계 S312의 수학식 22을 이용하여 구할 수 있다.The group evaluation value Ad[d] according to an embodiment may be obtained using
쉐이딩 추정 계수의 모든 후보에 대해서 유효 그룹 결정부(223)는 단계 S401 내지 단계 S403을 실시한다.For all candidates of the shading estimation coefficients, the effective
단계 S404에서 유효 그룹 결정부(223)는 단계 S401 내지 단계 S403에서 이용된 쉐이딩 추정 계수가 쉐이딩 추정 초기 계수인지를 판단한다.In step S404, the effective
단계 S404에서의 판단 결과, 쉐이딩 추정 초기 계수이면, 단계 S405에서 유효 그룹 결정부(223)는 각 거리 그룹에 대해, 인접 거리 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)을 계산한다.As a result of the determination in step S404, if it is the shading estimation initial coefficient, in step S405, the effective
단계 S406에서 유효 그룹 결정부(223)는 유효 그룹 및 그룹 연속 영역을 결정한다.In step S406, the effective
도 30은 일 실시예에 따른 유효 그룹의 판단방법을 설명하기 위한 도면이다.30 is a diagram for explaining a method of determining a valid group according to an embodiment.
쉐이딩 추정부(124)는 도 30에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.The
도 30A 및 도 30B를 참조하면, 도 30A 및 도 30B의 가로 방향은 영상을 거리 D[0] 내지 D[6]의 7개의 그룹으로 나눈 경우를 나타내고, 또한 도 30A 및 도 30B의 세로 방향은 각 거리(D[0] 내지 D[6])마다의 그룹 평가값(Ad[d])을 나타낸다.30A and 30B, the horizontal direction of FIGS. 30A and 30B shows a case in which the image is divided into seven groups of distances D[0] to D[6], and the vertical direction of FIGS. 30A and 30B is The group evaluation value Ad[d] for each distance D[0] to D[6] is shown.
일 실시예에 따를 때, 현재 그룹의 그룹 평가값(Ad[d])과 현재 그룹의 양측 그룹에 대한 그룹 평가값(Ad[d])의 차분값(Diff)이 모두 소정의 임계값(즉, 인접 그룹차 판단 임계값)보다 큰 경우, 유효 그룹 결정부(223)는 현재 그룹을 무효 그룹으로 판단한다.According to an embodiment, the difference value Diff between the group evaluation value Ad[d] of the current group and the group evaluation value Ad[d] for both groups of the current group is a predetermined threshold value (that is, , adjacent group difference determination threshold), the valid
도 30A를 참조하면, D[0] 내지 D[2]의 그룹 평가값(Ad[d]) 및 D[3] 내지 D[6]의 그룹 평가값(Ad[d])은 각각 거의 일정하고, 이들 거리 사이의 차분값은 거의 0이다. 또한, D[2]와 D[3]간 차분값은 인접 그룹차 판단 임계값보다 크다. 이 경우, 유효 그룹 결정부(223)는 D[0] 내지 D[6]의 각 그룹을 모두 유효 그룹으로 판단한다.Referring to FIG. 30A, the group evaluation values (Ad[d]) of D[0] to D[2] and the group evaluation values (Ad[d]) of D[3] to D[6] are almost constant, respectively, and , the difference between these distances is almost zero. Also, the difference between D[2] and D[3] is greater than the adjacent group difference judgment threshold. In this case, the effective
도 30B를 참조하면, D[0] 내지 D[2]의 그룹 평가값(Ad[d]) 및 D[4] 내지 D[6]의 그룹 평가값(Ad[d])은 각각 거의 일정하고, 이들 거리 사이의 차분값은 거의 0이다. 또한, D[2]와 D[3]간 차분값 및 D[3]와 D[4]간 차분값은 각각 인접 그룹차 판단 임계값 보다 크다. 이 경우, 유효 그룹 결정부(223)는 D[0] 내지 D[2], D[4] 내지 D[6]의 각 그룹을 유효 그룹으로 판단하고, 한편 D[3]은 무효 그룹으로 판단한다.30B, the group evaluation values (Ad[d]) of D[0] to D[2] and the group evaluation values (Ad[d]) of D[4] to D[6] are almost constant, respectively , the difference between these distances is almost zero. In addition, the difference value between D[2] and D[3] and the difference value between D[3] and D[4] are respectively greater than the adjacent group difference judgment threshold value. In this case, the valid
일 실시예에 따를 때, D[0] 또는 D[6]와 같이 인접 그룹이 하나만 존재하는 그룹의 경우, 해당 인접 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)을 인접 그룹차 판단 임계값과 비교하여 유효 그룹인지를 판단할 수 있다.According to an embodiment, in the case of a group in which only one adjacent group exists, such as D[0] or D[6], the difference value (Diff) of the group evaluation value (Ad[d]) with the adjacent group is adjacent It may be determined whether the group is a valid group by comparing it with a group difference determination threshold.
도 31은 다른 실시예에 따른 유효 그룹의 판단방법을 설명하기 위한 도면이다. 31 is a diagram for explaining a method of determining a valid group according to another embodiment.
쉐이딩 추정부(124)는 도 31에서의 유효 그룹 결정부(223)의 동작을 포함할 수 있다.The
도 31을 참조하면, 도 30A 및 도 30B와 마찬가지로, 도 31의 가로 방향은 영상을 거리 D[0] 내지 D[6]의 7개의 그룹으로 나눈 경우를 나타내고, 도 31의 세로 방향은 각 거리(D[0] 내지 D[6])마다의 그룹 평가값(Ad[d])을 나타낸다.Referring to FIG. 31 , similarly to FIGS. 30A and 30B , the horizontal direction of FIG. 31 represents a case in which the image is divided into seven groups of distances D[0] to D[6], and the vertical direction of FIG. 31 is each distance The group evaluation value (Ad[d]) for each (D[0] to D[6]) is shown.
Diff 배열은 현재 그룹의 그룹 평가값(Ad[d])과 인접 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)에 따라 0 또는 1을 저장한다. 일 실시예에 따를 때, Diff 배열은 현재 그룹의 그룹 평가값(Ad[d])과 인접 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)이 인접 그룹차 판단 임계값 이상인 구간은 0으로 하고, 현재 그룹의 그룹 평가값(Ad[d])과 인접 그룹과의 그룹 평가값(Ad[d])의 차분값(Diff)이 인접 그룹차 판단 임계값 이내인 구간은 1로 하여 이 값을 저장한다. 이 때, Diff 배열은 (인접 그룹의 수)+1만큼의 길이를 가지며, Diff 배열의 처음과 끝 성분은 0으로 한다.The
그리고, Ed 배열은 각 그룹의 유효성 여부를 판단한다. 일 실시예에 따를 때, Ed 배열은 Diff 배열의 인접 성분 중 적어도 한 성분이 1인 경우 1을 저장한다. 그리고, 유효 그룹 결정부(223)는 Ed 배열 내에서 2개 이상 1이 연속되는 경우, 즉 유효 그룹이 2개 이상 연속되는 경우 그룹 연속 영역(Series)이라 판단한다.And, the Ed array determines whether each group is valid. According to one embodiment, the Ed array stores 1 if at least one of the adjacent components of the Diff array is 1. In addition, the effective
도 31을 참조하면, Diff 배열은 (*D0), (D1D2), (D2D3), (D7*) 성분에 0을 저장한다. 그리고, Ed 배열은 D2 성분에 0을 저장한다. 따라서, 유효 그룹 결정부(223)는 D[2]를 무효 그룹이라 판단하고, 그 외의 D[0], D[1], D[3] 내지 D[6]를 유효 그룹이라 판단한다. 한편, 유효 그룹 결정부(223)는 D[0] 및 D[1], 또한 D[3] 내지 D[6]을 각각 그룹 연속 영역으로 판단한다.Referring to FIG. 31 , the
단계 S407에서 유효 그룹 결정부(223)는 그룹 연속 영역의 수(Ns)가 소정의 임계값(즉, 연속 영역 임계값) 이상인지를 판단한다.In step S407, the effective
도 31을 참조하면, 그룹 연속 영역의 수(Ns)는 2개이다.Referring to FIG. 31 , the number Ns of group continuation regions is two.
단계 S407에서의 판단 결과 그룹 연속 영역의 수(Ns)가 연속 영역 임계값 이상이면, 또는 단계 S404에서의 판단 결과 쉐이딩 추정 초기 계수가 아니면, 단계 S408에서 그룹 분산 추정부(226)는 그룹 평가값(Ad[d])의 평균값(AveAd)을 결정한다.If it is determined in step S407 that the number Ns of group continuous regions is equal to or greater than the continuous region threshold, or if the determination in step S404 is not the initial coefficient of shading estimation, in step S408 the group variance estimation unit 226 returns the group evaluation value Determine the average value (AveAd) of (Ad[d]).
일 실시예에 따른 그룹 평가값(Ad[d])의 평균값(AveAd)은 수학식 26과 같이 나타낼 수 있다.
The average value AveAd of the group evaluation values Ad[d] according to an embodiment may be expressed as Equation 26.
수학식 26에서, Ne는 그룹 연속 영역 내의 그룹수이다. 일 실시예에 따를 때, 쉐이딩 추정 초기 계수에 따른 분산값 내지 쉐이딩 추정 초기 계수 이외의 쉐이딩 추정 계수에 따른 분산값을 구할 때 단계 S405 및 단계 S406에서 구한 그룹 연속 영역이 공통적으로 이용될 수 있다.In the formula (26), Ne is the number of groups in the group continuation area. According to an embodiment, the group continuation region obtained in steps S405 and S406 may be commonly used when obtaining a variance value according to the shading estimation initial coefficient or a variance value according to a shading estimation coefficient other than the shading estimation initial coefficient.
단계 S409에서 그룹 분산 추정부(226)는 그룹 평가값(Ad[d])의 분산값(SeriesVarp[n])을 결정한다.In step S409, the group variance estimation unit 226 determines a variance value SeriesVarp[n] of the group evaluation value Ad[d].
일 실시예에 따른 그룹 평가값(Ad)의 분산값(SeriesVarp[n])은 수학식 27과 같이 나타낼 수 있다.A variance value SeriesVarp[n] of the group evaluation value Ad according to an embodiment may be expressed as Equation 27.
단계 S410에서 그룹 분산 추정부(226)는 테이블 평가값(Et[t])을 결정한다.In step S410, the group variance estimation unit 226 determines a table evaluation value Et[t].
일 실시예에 따른 테이블 평가값(Et[t])은 수학식 28과 같이 나타낼 수 있다.The table evaluation value Et[t] according to an embodiment may be expressed as Equation (28).
쉐이딩 추정 계수의 모든 후보에 대해서 그룹 분산 추정부(226)는 단계 S408 내지 단계 S410을 실시한다.For all candidates of the shading estimation coefficients, the group variance estimation unit 226 performs steps S408 to S410.
단계 S411에서 그룹 분산 추정부(226)는 모든 쉐이딩 추정 계수 중에서 테이블 평가값(Et[t])을 가장 작게 하는 쉐이딩 추정 계수를 결정한다.In step S411, the group variance estimation unit 226 determines a shading estimation coefficient that has the smallest table evaluation value Et[t] among all the shading estimation coefficients.
일 실시예에 따른 단계 S411에 대한 쉐이딩 추정 계수는 수학식 29와 같이 나타낼 수 있다.The shading estimation coefficient for step S411 according to an embodiment may be expressed as Equation 29.
한편, 단계 S407에서의 판단 결과 그룹 연속 영역의 수(Ns)가 연속 영역 임계값보다 작으면, 단계 S412에서 블록 분산 추정부(227)는 추정 방식을 분산 추정으로 한다. 일 실시예에 따를 때, 블록 분산 추정부(227)의 동작은 도 27의 분산 추정부(225)의 동작과 동일할 수 있다.On the other hand, if it is determined in step S407 that the number Ns of group continuous regions is smaller than the continuous region threshold, the block
일 실시예에 따른 영상 표시 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.The image display method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention as defined in the following claims are also included in the scope of the present invention. belongs to
100 : 영상 처리 장치
300 : 입력부
310 : 데이터 처리부100: image processing device
300: input unit
310: data processing unit
Claims (20)
상기 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 상기 복수의 블록 각각의 영상 특성을 나타내는 블록 통계를 결정하고, 상기 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 쉐이딩 추정 계수를 이용하여 상기 촬상 영상의 쉐이딩을 보정하는 데이터 처리부; 를 포함하고,
상기 데이터 처리부는,
상기 결정된 블록 통계를 이용하여 블록색 평가값을 결정하고, 상기 결정된 블록색 평가값을 이용하여 블록 무게(weight)를 결정하고, 상기 결정된 블록 통계 및 상기 결정된 블록 무게를 이용하여 블록 평가값을 결정하고, 상기 블록 평가값을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.an input unit for receiving a captured image; and
Block statistics representing image characteristics of each of the plurality of blocks are determined using a plurality of blocks obtained by dividing the captured image, and applied to the captured image using the determined block statistics and the amount of infrared light included in the light source. a data processing unit that determines a shading estimation coefficient and corrects shading of the captured image by using the determined shading estimation coefficient; including,
The data processing unit,
A block color evaluation value is determined using the determined block statistics, a block weight is determined using the determined block color evaluation value, and a block evaluation value is determined using the determined block statistics and the determined block weight. and determining a shading estimation coefficient to be applied to the captured image by using the block evaluation value.
상기 데이터 처리부는,
상기 촬상 영상의 휘도, 상기 광원의 색온도 및 상기 촬상 영상의 평탄도 중 적어도 하나를 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.According to claim 1,
The data processing unit,
and determining a shading estimation coefficient to be applied to the captured image by using at least one of a luminance of the captured image, a color temperature of the light source, and flatness of the captured image.
상기 데이터 처리부는,
상기 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 상기 촬상 영상의 평탄도를 결정하는, 영상 처리 장치.3. The method of claim 2,
The data processing unit,
The image processing apparatus of claim 1, wherein the flatness of the captured image is determined by summing differences in characteristic values of blocks continuous from a peripheral portion to a central portion of the captured image.
상기 데이터 처리부는,
상기 결정된 블록색 평가값을 이용하여 히스토그램 무게를 결정하고, 상기 히스토그램 무게 및 G레벨 무게를 이용하여 상기 블록 무게를 결정하는, 영상 처리 장치.According to claim 1,
The data processing unit,
An image processing apparatus for determining a histogram weight using the determined block color evaluation value, and determining the block weight using the histogram weight and G-level weight.
상기 데이터 처리부는,
상기 복수의 블록을 복수의 그룹으로 분류하고, 상기 결정된 블록 통계 및 상기 분류된 그룹을 이용하여 그룹 평가값을 결정하고, 상기 결정된 블록 통계 및 상기 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하고, 상기 결정된 유효 그룹을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.According to claim 1,
The data processing unit,
classifying the plurality of blocks into a plurality of groups, determining a group evaluation value using the determined block statistics and the classified group, determining a valid group using the determined block statistics and the determined group evaluation value, and determining a shading estimation coefficient to be applied to the captured image by using the determined effective group.
상기 데이터 처리부는,
상기 결정된 블록 평가값의 평균값을 상기 촬상 영상 중앙으로부터의 거리마다 평균하여 상기 그룹 평가값을 결정하는, 영상 처리 장치.7. The method of claim 6,
The data processing unit,
and averaging an average value of the determined block evaluation values for each distance from the center of the captured image to determine the group evaluation value.
상기 데이터 처리부는,
상기 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 상기 추정된 근사 직선을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.7. The method of claim 6,
The data processing unit,
estimating an approximate straight line using the determined group evaluation value, determining a shading estimation coefficient to be applied to the captured image using the estimated approximate straight line, estimating a sample variance using the determined block evaluation value, and An image processing apparatus for determining a shading estimation coefficient to be applied to the captured image by using the estimated sample variance.
상기 데이터 처리부는,
상기 추정된 근사 직선의 기울기가 음수이면 상기 음수의 기울기 중 0에 가장 가까운 값을 가지도록 하는 쉐이딩 추정 계수를 결정하고, 상기 추정된 근사 직선의 기울기가 음수가 아니면 상기 기울기 중 가장 작은 값을 가지도록 하는 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.9. The method of claim 8,
The data processing unit,
If the slope of the estimated approximate straight line is negative, a shading estimation coefficient is determined to have a value closest to 0 among the slopes of the negative number, and if the slope of the estimated approximate straight line is not negative, it has the smallest value among the slopes. An image processing apparatus that determines a shading estimation coefficient to be used.
상기 데이터 처리부는,
상기 결정된 그룹 평가값을 이용하여 분산을 추정하고, 상기 추정된 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하고, 상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는, 영상 처리 장치.7. The method of claim 6,
The data processing unit,
Estimating variance using the determined group evaluation value, determining a shading estimation coefficient to be applied to the captured image using the estimated variance, estimating a sample variance using the determined block evaluation value, and An image processing apparatus for determining a shading estimation coefficient to be applied to the captured image by using a sample variance.
상기 촬상 영상을 분할하여 얻은 복수의 블록을 이용하여 상기 복수의 블록의 영상 특성을 나타내는 블록 통계를 결정하는 단계;
상기 결정된 블록 통계 및 광원에 포함되는 적외선광의 양을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및
상기 결정된 쉐이딩 추정 계수를 이용하여 상기 촬상 영상의 쉐이딩을 보정하는 단계;를 포함하고,
상기 쉐이딩 추정 계수를 결정하는 단계는,
상기 결정된 블록 통계를 이용하여 블록색 평가값을 결정하는 단계;
상기 결정된 블록색 평가값을 이용하여 블록 무게를 결정하는 단계;
상기 결정된 블록 통계 및 상기 결정된 블록 무게를 이용하여 블록 평가값을 결정하는 단계; 및
상기 결정된 블록 평가값을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함하는, 영상 처리 방법.receiving a captured image;
determining block statistics representing image characteristics of the plurality of blocks using a plurality of blocks obtained by dividing the captured image;
determining a shading estimation coefficient to be applied to the captured image using the determined block statistics and an amount of infrared light included in a light source; and
correcting shading of the captured image using the determined shading estimation coefficient;
The step of determining the shading estimation coefficient comprises:
determining a block color evaluation value using the determined block statistics;
determining a block weight using the determined block color evaluation value;
determining a block evaluation value using the determined block statistics and the determined block weight; and
and determining a shading estimation coefficient to be applied to the captured image by using the determined block evaluation value.
상기 쉐이딩 추정 계수를 결정하는 단계는,
상기 촬상 영상의 휘도, 광원 색온도 및 상기 촬상 영상의 평탄도 중 적어도 하나를 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함하는, 영상 처리 방법.12. The method of claim 11,
The step of determining the shading estimation coefficient comprises:
and determining a shading estimation coefficient to be applied to the captured image by using at least one of a luminance of the captured image, a light source color temperature, and a flatness of the captured image.
상기 촬상 영상의 평탄도는,
상기 촬상 영상의 주변부로부터 중앙부로 연속되는 블록의 특성값 차분을 합산하여 상기 촬상 영상의 평탄도를 결정하는, 영상 처리 방법.13. The method of claim 12,
The flatness of the captured image is,
An image processing method of determining flatness of the captured image by summing differences in characteristic values of blocks continuous from a peripheral portion to a central portion of the captured image.
상기 블록 무게를 결정하는 단계는,
상기 결정된 블록색 평가값을 이용하여 히스토그램 무게를 결정하고, 상기 히스토그램 무게 및 G레벨 무게를 이용하여 상기 블록 무게를 결정하는 단계를 포함하는, 영상 처리 방법.12. The method of claim 11,
Determining the block weight includes:
and determining a histogram weight using the determined block color evaluation value, and determining the block weight using the histogram weight and the G-level weight.
상기 쉐이딩 추정 계수를 결정하는 단계는,
상기 복수의 블록을 복수의 그룹으로 분류하는 단계;
상기 결정된 블록 통계 및 상기 분류된 그룹을 이용하여 그룹 평가값을 결정하는 단계;
상기 결정된 블록 통계 및 상기 결정된 그룹 평가값을 이용하여 유효 그룹을 결정하는 단계; 및
상기 결정된 유효그룹을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 포함하는, 영상 처리 방법.12. The method of claim 11,
The step of determining the shading estimation coefficient comprises:
classifying the plurality of blocks into a plurality of groups;
determining a group evaluation value using the determined block statistics and the classified group;
determining a valid group using the determined block statistics and the determined group evaluation value; and
and determining a shading estimation coefficient to be applied to the captured image by using the determined effective group.
상기 그룹 평가값을 결정하는 단계는,
상기 결정된 블록 평가값의 평균값을 상기 촬상 영상 중앙으로부터의 거리마다 평균하여 상기 그룹 평가값을 결정하는, 영상 처리 방법.17. The method of claim 16,
The step of determining the group evaluation value,
An image processing method for determining the group evaluation value by averaging an average value of the determined block evaluation values for each distance from the center of the captured image.
상기 쉐이딩 추정 계수를 결정하는 단계는,
상기 결정된 그룹 평가값을 이용하여 근사 직선을 추정하고, 상기 추정된 근사 직선을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및
상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계를 더 포함하는, 영상 처리 방법.17. The method of claim 16,
The step of determining the shading estimation coefficient comprises:
estimating an approximate straight line using the determined group evaluation value, and determining a shading estimation coefficient to be applied to the captured image using the estimated approximate straight line; and
The method further comprising the step of estimating a sample variance using the determined block evaluation value, and determining a shading estimation coefficient to be applied to the captured image using the estimated sample variance.
상기 쉐이딩 추정 계수를 결정하는 단계는,
상기 결정된 그룹 평가값을 이용하여 분산을 추정하고, 상기 추정된 분산을 이용하여 상기 촬상 영상에 적용할 쉐이딩 추정 계수를 결정하는 단계; 및
상기 결정된 블록 평가값을 이용하여 표본 분산을 추정하고, 상기 추정된 표본 분산을 이용하여 쉐이딩 추정 계수를 결정하는 단계를 더 포함하는, 영상 처리 방법.17. The method of claim 16,
The step of determining the shading estimation coefficient comprises:
estimating a variance using the determined group evaluation value, and determining a shading estimation coefficient to be applied to the captured image using the estimated variance; and
The method further comprising the step of estimating a sample variance using the determined block evaluation value, and determining a shading estimation coefficient using the estimated sample variance.
상기 쉐이딩 추정 계수를 결정하는 단계는,
상기 추정된 근사 직선의 기울기가 음수이면 상기 음수의 기울기 중 0에 가장 가까운 값을 가지도록 하는 쉐이딩 추정 계수를 결정하는 단계; 및
상기 추정된 근사 직선의 기울기가 음수가 아니면 상기 기울기 중 가장 작은 값을 가지도록 하는 쉐이딩 추정 계수를 결정하는 단계를 포함하는 영상 처리 방법.19. The method of claim 18,
The step of determining the shading estimation coefficient comprises:
determining a shading estimation coefficient to have a value closest to 0 among the slopes of the negative number when the slope of the estimated approximate straight line is negative; and
and determining a shading estimation coefficient to have a smallest value among the slopes if the slope of the estimated approximate straight line is not negative.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/948,922 US9661290B2 (en) | 2014-11-21 | 2015-11-23 | Image processing apparatus and method |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014236433 | 2014-11-21 | ||
JPJP-P-2014-236433 | 2014-11-21 | ||
JP2015155685A JP6573798B2 (en) | 2014-11-21 | 2015-08-06 | Image processing apparatus and image processing method |
JPJP-P-2015-155685 | 2015-08-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160061251A KR20160061251A (en) | 2016-05-31 |
KR102366254B1 true KR102366254B1 (en) | 2022-02-22 |
Family
ID=56102612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150153810A KR102366254B1 (en) | 2014-11-21 | 2015-11-03 | Image processing apparatus and method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6573798B2 (en) |
KR (1) | KR102366254B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021256504A1 (en) * | 2020-06-17 | 2021-12-23 | ソニーグループ株式会社 | Information processing device and information processing method |
CN112819838B (en) * | 2021-04-19 | 2021-07-06 | 浙江华创视讯科技有限公司 | Image enhancement method, electronic device, and storage medium |
CN113259556B (en) * | 2021-05-06 | 2023-04-18 | 深圳市中诺通讯有限公司 | Method, device and equipment for eliminating brightness difference and color difference in different areas and storage medium |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050270425A1 (en) * | 2004-06-08 | 2005-12-08 | Min Kyung-Sun | Video signal processing apparatus and method to enhance image sharpness and remove noise |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11327497A (en) * | 1998-05-14 | 1999-11-26 | Hitachi Ltd | Video signal processing device and display device |
JP4137015B2 (en) * | 2004-06-30 | 2008-08-20 | キヤノン株式会社 | Image processing apparatus and method |
JP4603319B2 (en) * | 2004-09-01 | 2010-12-22 | パナソニック株式会社 | Image input device |
JP2008053931A (en) * | 2006-08-23 | 2008-03-06 | Fujifilm Corp | Imaging apparatus |
JP2008277926A (en) * | 2007-04-25 | 2008-11-13 | Kyocera Corp | Image data processing method and imaging device using same |
JP5358344B2 (en) * | 2009-08-12 | 2013-12-04 | 三星テクウィン株式会社 | Imaging apparatus and imaging method |
JP6004221B2 (en) * | 2012-03-22 | 2016-10-05 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Image processing device |
-
2015
- 2015-08-06 JP JP2015155685A patent/JP6573798B2/en not_active Expired - Fee Related
- 2015-11-03 KR KR1020150153810A patent/KR102366254B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050270425A1 (en) * | 2004-06-08 | 2005-12-08 | Min Kyung-Sun | Video signal processing apparatus and method to enhance image sharpness and remove noise |
Also Published As
Publication number | Publication date |
---|---|
KR20160061251A (en) | 2016-05-31 |
JP2016105578A (en) | 2016-06-09 |
JP6573798B2 (en) | 2019-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100983037B1 (en) | Method for controlling auto white balance | |
RU2537038C2 (en) | Automatic white balance processing with flexible colour space selection | |
US8730341B2 (en) | Image processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium storing control program therefor | |
US20070047803A1 (en) | Image processing device with automatic white balance | |
KR101030393B1 (en) | Apparatus and method for adjusting white balance of digital image | |
US20130343646A1 (en) | Image processing apparatus and control method thereof | |
TWI532385B (en) | White balance method and apparatus thereof | |
JP2012168181A (en) | Systems, methods, and apparatus for image processing for color classification and for skin color detection | |
KR101685887B1 (en) | Image processing device, image processing method, and computer-readable storage medium having image processing program | |
KR20060080217A (en) | Method and system in a digital image processing chain for adjusting a colour balance, corresponding equipment, and software means for implementing the method | |
KR102366254B1 (en) | Image processing apparatus and method | |
JP2013026755A (en) | Image processing apparatus, imaging device, image processing method, and image processing program | |
TW201316784A (en) | Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium | |
KR20170030418A (en) | Imaging processing device and Imaging processing method | |
KR20060118352A (en) | Image process apparatus, image pickup apparatus, and image processing program | |
US7486819B2 (en) | Sampling images for color balance information | |
CN108063934B (en) | Image processing method and device, computer readable storage medium and computer device | |
US9219896B1 (en) | Method of color processing using a color and white filter array | |
US20070041064A1 (en) | Image sampling method for automatic white balance | |
KR101516963B1 (en) | Apparatus and method for adjusting auto white balance using effective area | |
JP6346431B2 (en) | Image processing apparatus and image processing method | |
JP6276564B2 (en) | Image processing apparatus and image processing method | |
JP2009004966A (en) | Imaging apparatus | |
EP3493527B1 (en) | Method, apparatus and system for detecting and reducing the effects of color fringing in digital video acquired by a camera | |
US20080079749A1 (en) | White balance method for image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |