KR101774735B1 - Method for improvement of shadow area around car number plate and car number recognition - Google Patents
Method for improvement of shadow area around car number plate and car number recognition Download PDFInfo
- Publication number
- KR101774735B1 KR101774735B1 KR1020170073196A KR20170073196A KR101774735B1 KR 101774735 B1 KR101774735 B1 KR 101774735B1 KR 1020170073196 A KR1020170073196 A KR 1020170073196A KR 20170073196 A KR20170073196 A KR 20170073196A KR 101774735 B1 KR101774735 B1 KR 101774735B1
- Authority
- KR
- South Korea
- Prior art keywords
- retinex
- image
- layer
- low
- license plate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000010410 layer Substances 0.000 description 33
- 238000009826 distribution Methods 0.000 description 32
- 238000012937 correction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000009499 grossing Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G06K9/3258—
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G06K2209/15—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 차량번호판 주변 그림자 영역 개선 및 차량번호 인식 방법에 관한 것이다. 보다 상세하게는 차량 번호판 주변의 그림자를 제거하여 양질의 이미지를 획득하는 것이 가능한 차량번호판 주변 그림자 영역 개선 및 차량번호 인식 방법에 관한 것이다.The present invention relates to a shadow area enhancement around a license plate and a car number recognition method. And more particularly, to a shadow area enhancement around a license plate and a vehicle number recognition method capable of obtaining high quality images by removing shadows around the license plate.
현대 사회에서 경제 발전과 이에 따른 핵심적 교통수단인 차량의 수요가 계속적으로 증가하고 있고, 더불어 급격히 증가하는 인구와 치안 유지를 위한 관리 인력과 시설은 이에 미치지 못하고 있다. 한정된 자원과 관리 체계를 극복하려는 이유들이 맞물려 다양한 연구와 개발이 많이 이루어지고 있으며 CCTV를 이용한 지능형 시스템들이 많이 개발되고 있다. 지능형 불법 주정차 단속시스템, 지능형 주차유도시스템 등 다양한 분야의 시스템이 개발되고 있으며 모든 지능형 시스템엔 차량 번호인식이 선행되어야 한다. In the modern society, the economic development and thus the demand for the vehicle as the main transportation means are continuously increasing, and the management personnel and the facilities for maintaining the rapidly increasing population and policing are insufficient. There are a lot of researches and developments in connection with reasons to overcome limited resources and management system, and many intelligent systems using CCTV are being developed. Intelligent illegal parking regulation system and intelligent parking guidance system are being developed and various intelligent systems should be recognized.
이러한 차량 번호 인식기술은 차량의 통제, 단속, 주차 유도 등 다양한 분야에 응용될 수 있으며, 인식률이 높아질수록 지능형 관리 시스템의 신뢰성이 높아진다.Such a car number recognition technology can be applied to various fields such as vehicle control, enforcement, and parking induction, and the higher the recognition rate, the higher the reliability of the intelligent management system.
높은 인식률에 양질의 영상은 필수적인 요소이며 이는 저조도 영역과 고조도 영역의 분포가 고르게 형성되어 있어야 한다. 조도 영역의 분포는 주변의 밝기에 영향을 받거나 날씨조건, 카메라의 위치, 조명 위치, 차량의 외형 정보에 따른 영상 밝기 불균형에 따라 분포가 달리 된다.High-quality images with high recognition rate are essential, and the distribution of low-light areas and high-intensity areas should be evenly distributed. The distribution of the illuminance region is affected by the brightness of the surroundings, or the distribution is different according to the image brightness imbalance according to the weather condition, the camera position, the illumination position, and the vehicle exterior information.
특히 차량의 번호판은 실외 환경에서는 태양광 실내 환경에서는 실내조명으로부터 카메라의 위치나 자동차가 갖고 있는 외형의 변화, 고정된 배경물체와 같은 제약조건에 의해 다르게 보일 수 있다. 이때 카메라로부터 입력된 영상에서 차량번호판을 중심으로 보통 상-하단의 밝기가 서로 달리 표현된다.In particular, vehicle license plates can be seen differently depending on constraints such as the position of the camera from the indoor lighting, changes in the external shape of the vehicle, and fixed background objects in the solar environment environment in the outdoor environment. In this case, the brightness of the upper and lower ends of the vehicle license plate is different from that of the image input from the camera.
도 1은 주차면을 촬영하는 카메라로부터 촬영된 영상으로 차량 번호판에서 서로 다른 조도분포를 갖는 예시 이미지이다. 도 1에서 차량 번호판을 크게 두 영역으로 구분했을 때 주변의 밝기에 영향을 받아 저조도 영역과 고조도 영역으로 나뉘어 원 영상이 왜곡된 것을 나타낸다.FIG. 1 is an image taken from a camera for photographing a parking surface and having different illuminance distributions on a license plate. In FIG. 1, when the vehicle license plate is largely divided into two areas, it is divided into a low-illuminance area and a high-illuminance area by the brightness of the surroundings, thereby indicating that the original image is distorted.
도 1과 같은 이미지들은 번호 인식 과정에서 밝기 차이로 오인식 혹은 미인식될 경우가 발생된다. (a), (b)의 경우 태양광과 카메라 위치 및 자동차의 외형 생김새로 인해 조도영역의 분포가 달라지며, 이는 영상처리를 통해 개선될 수 있다. The images shown in FIG. 1 may be misrecognized or unrecognized due to differences in brightness during the number recognition process. In the case of (a) and (b), the distribution of the illuminance region changes due to the sunlight, the camera position, and the appearance of the car, which can be improved through image processing.
영상 왜곡 보정을 함에 있어서 차량 번호판의 그림자 영역은 보통 저조도 분포를 갖는 특징이 있기 때문에, 주차면에서 촬영된 영상의 경우 주차면의 색상과 유사하여 전처리하는 단계인 이진화(binarization) 과정에서 실제 가지고 있는 차량 번호의 정보 값을 잃거나 왜곡되는 경우가 발생할 수 있다. 이는 이진화 과정은 임계치(threshold) 값의 의존도가 높기 때문이다. 이러한 이유로 인해 차량 번호판 주변의 그림자를 제거하여 양질의 이미지를 획득하기 위해 하나의 이미지에서 서로 다른 조도 값들의 변화를 갖는 영상분포 이미지를 생성하고 이를 융합하여 차량 번호판을 보정하는 방법이 요구된다. 이는 주차 유도 시스템과 같은 차량 번호 인식 시스템이 사용되는 곳에 응용되어 활용될 수 있다.In the image distortion correction, since the shadow region of the license plate usually has a low-illuminance distribution, in the case of the image taken on the parking surface, it is similar to the color of the parking surface, The information value of the car number may be lost or distorted. This is because the binarization process is highly dependent on the threshold value. For this reason, there is a need for a method of correcting a license plate by generating image distribution images having different illuminance values in one image and blending them in order to obtain high quality images by removing shadows around the license plate. This can be applied to applications where a vehicle identification system such as a parking guidance system is used.
도 2는 실내 및 실외 환경에서 차량 번호판에 그림자가 발생된 예시 이미지이다.Fig. 2 is an exemplary image in which shadows are generated on license plates in indoor and outdoor environments.
주차된 차량에서 태양광이나 내부 조명과 차량의 후면 굴곡 등으로 인해 도 2와 같이 차량 번호판에 그림자가 생기는 경우가 발생한다.In a parked vehicle, a shadow may appear on the license plate as shown in FIG. 2 due to sunlight, internal illumination, and rear curvature of the vehicle.
주로 차량의 정면부 보다는 후면부에서 많이 발견되며 차량의 구조적인 특징과 차량보다 위에 설치된 조명위치 때문에 이러한 현상이 발생하게 된다. 그림자로 인해 정보가 왜곡된 번호판의 경우 번호 인식률 저하를 발생시키는 원인이 되며, 영상의 왜곡된 정보를 처리하기 위해 감마 보정(Gamma Correction)이나 히스토그램 평활화(Histogram Equalization), 레티넥스 알고리즘(retinex algorithm) 등의 여러 영상처리 알고리즘이 존재한다.This phenomenon occurs mainly due to the structural characteristics of the vehicle and the location of the lighting installed above the vehicle, which is mainly found in the rear part rather than the front part of the vehicle. In the case of a plate with distorted information due to shadows, the number recognition rate is lowered. In order to process distorted information of the image, gamma correction, histogram equalization, retinex algorithm, There are several image processing algorithms.
도 3은 저조도 분포가 적은 번호판 영상에 대해 감마 보정이나 히스토그램 평활화, 레티넥스 알고리즘을 통해 영상 처리 결과를 나타내는 예시 이미지이고, 도 4는 저조도 분포와 고조도 분포가 유사한 번호판 영상에 대해 감마 보정이나 히스토그램 평활화, 레티넥스 알고리즘을 통해 영상 처리 결과를 나타내는 예시 이미지이다.FIG. 3 is an exemplary image showing a result of image processing through a gamma correction, a histogram smoothing, and a Retinex algorithm on a license plate image having a low low-illuminance distribution, FIG. 4 shows an example image of a license plate image having a low illuminance distribution and a high illuminance distribution, Smoothing, and retinex algorithm.
먼저, 전체 영상의 전역적인 처리를 위한 감마 보정이나 히스토그램 평활화 알고리즘은 다음과 같은 특징이 있다. 감마 보정(B)의 경우 감마는 이미지 내에서 명암 대비 정도를 나타내는데 쓰이며, 이는 영상 내 명암의 대비 보정하는 것을 말한다. 감마값에 따라 저조도 영상에 대해 어느 정도 개선시킬 수 있으나, 각 값이 환경마다 다르게 적용되기 때문에 환경 변화에 적응적으로 대응하기 어렵다는 단점이 있다. 따라서, 도 3에 나타난 바와 같이 감마보정 영상의 경우 번호판 영역 내 저조도 영역이 개선되지 않았음을 확인할 수 있다. 또한, 도 4에 나타난 바와 같이 감마보정은 번호판 영역의 저조도 분포를 조금 개선한 것을 확인할 수 있다.First, the gamma correction or histogram smoothing algorithm for the global processing of the whole image has the following characteristics. In the case of gamma correction (B), gamma is used to indicate the degree of contrast in the image, which is the contrast correction of the contrast in the image. However, since each value is differently applied to each environment, it is difficult to adaptively adapt to environmental changes. Therefore, as shown in FIG. 3, it can be seen that the low-illuminance area in the license plate area is not improved in the case of the gamma corrected image. In addition, as shown in FIG. 4, it can be seen that the gamma correction improves the low-illuminance distribution of the license plate area slightly.
한편, 히스토그램 평활화(C)는 일정부분에 치우쳐진 영상의 화소 값들을 균일하게 분산시키는 것을 의미한다. 하지만 각 영상마다 적절한 임계치 값들이 다르고 원 영상의 히스토그램이 치우쳐진 영역에 따라 영상의 히스토그램 평활화 결과가 각각 다르게 나오는 결과를 얻을 수 있다. 따라서, 도 3에 나타난 바와 같이 히스토그램 평활화 역시 저조도 영역이 개선되지 않았지만 화소 값들이 평활화되어 대비상태는 좋아짐을 확인할 수 있다. 또한, 도 4에 나타난 바와 같이 히스토그램 평활화의 경우 저조도 영역에 대부분의 화소 값들이 존재하다가 평활화하며 강제적으로 펼쳐놨기 때문에 영상이 많이 왜곡된 것을 확인할 수 있다.On the other hand, the histogram smoothing (C) means that the pixel values of the image shifted to a certain portion are uniformly dispersed. However, the histogram smoothing result of the image varies according to the threshold value of each image and the region where the histogram of the original image is biased. Therefore, as shown in FIG. 3, the histogram smoothing also shows that the low-illuminance area is not improved, but the pixel values are smoothed and the contrast is improved. In addition, as shown in FIG. 4, in the case of histogram smoothing, most of the pixel values exist in the low-illuminance region and are smoothed and forcibly unfolded, so that the image is greatly distorted.
즉, 두 가지 알고리즘 모두 선형적인 특성을 보이며 시스템에 의존적이기 때문에 입력하는 영상마다 원하는 결과영상을 얻기 어렵다.That is, since both algorithms show linear characteristics and depend on the system, it is difficult to obtain a desired result image for each input image.
또한, 레티넥스 알고리즘(D)은 감마 보정 알고리즘이나 히스토그램 평활화 알고리즘과는 다르게 비선형적인 특징을 가지고 있기 때문에, 입력 영상에 따라 결과 영상 값이 달라진다. Also, since the Retinex algorithm (D) has a nonlinear characteristic different from the gamma correction algorithm or the histogram smoothing algorithm, the resulting image value varies depending on the input image.
특히, 레티넥스 알고리즘은 다음과 같은 특징이 있다. 카메라와 다르게 사람의 눈은 시간에 따라 적응하여 저조도 환경에서도 물체에 대한 컬러 정보를 구분할 수 있다는 특성을 적용시킨 알고리즘으로 영상 내 주변 환경에 적응하여 대비를 향상시키는 알고리즘이다. 그렇기 때문에 레티넥스 알고리즘은 전역적 영상 처리 방식보다 우수한 결과를 보여줄 수 있다는 장점이 있다. In particular, the Retinex algorithm has the following features. Unlike a camera, it is an algorithm that adapts to the surrounding environment and improves the contrast by adapting the characteristic that the human eye can adapt to the time and distinguish color information about the object even in low light conditions. Therefore, the Retinex algorithm has the advantage of showing better results than the global image processing method.
하지만, 저조도와 고조도가 분리된 영상의 특성에 따라 양질의 결과를 얻지 못하는 문제점이 있었다. 즉, 도 3에 나타난 바와 같이 조도 영역은 개선되었으나 밝은 영역부분이 포화상태가 되어 글씨 부분의 인지도가 다소 떨어지는 것을 확인할 수 있다. 또한, 원본 영상의 해상도가 높지 않기 때문에 영상처리 결과에서도 잡음 등이 함께 강조되어 전체적으로 영상의 왜곡이 발생되었음을 확인할 수 있다. 또한, 도 4에 나타난 바와 같이 경우 번호판 영역의 저조도 영상이 개선된 것을 확인할 수 있으나, 대비를 향상시켜 차량 부분에 노이즈가 형성된 것을 확인할 수 있다.However, there is a problem in that a high quality image can not be obtained due to the characteristics of the separated image of low light intensity and high light intensity. That is, as shown in FIG. 3, the illuminance area is improved, but the bright area is saturated and the recognition of the letter area is somewhat lowered. In addition, since the resolution of the original image is not high, noise and the like are also emphasized in the image processing result, and it can be confirmed that the image distortion is generated as a whole. Also, as shown in FIG. 4, it can be confirmed that the low-illuminance image in the license plate area is improved, but it is confirmed that noise is formed in the vehicle part by improving the contrast.
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 해결하고자 하는 과제는 차량 번호판 주변의 그림자를 제거하여 양질의 이미지를 획득하는 것이 가능한 차량번호판 주변 그림자 영역 개선 및 차량번호 인식 방법을 제공하는 것이다.SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide an improved vehicle license plate around a vehicle license plate which can acquire a high-quality image by removing shadows around the license plate, And to provide a recognition method.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are not intended to limit the invention to the precise form disclosed. It can be understood.
상기의 기술적 과제를 달성하기 위한 수단으로는 주차장에 설치되며, 차량의 번호판이 포함된 영상을 획득하는 적어도 하나 이상의 카메라 및 카메라에서 획득한 영상에서 차량의 번호를 인식하는 제어부를 포함하고, 제어부는 레티넥스(retinex) 알고리즘을 통해 영상을 보정하여 차량의 번호를 인식하고, 제어부는 영상을 레티넥스 알고리즘을 통해 모드(mode) 별로 레티넥스 유니폼(uniform) 레이어, 레티넥스 로우(low) 레이어 및 레티넥스 하이(high) 레이어를 생성하고, 레티넥스 유니폼 레이어, 레티넥스 로우 레이어 및 레티넥스 하이 레이어를 멀티플라이(multiply)하여 최종 영상을 획득하는 것을 특징으로 본 발명의 일 실시예에 따른 차량 번호 인식 시스템을 제공한다.According to an aspect of the present invention, there is provided a vehicle navigation system including a control unit for recognizing a vehicle number from at least one camera that acquires an image including a license plate of a vehicle and an image acquired by the camera, The control unit recognizes the number of the vehicle by correcting the image through a retinex algorithm, and the control unit controls the retinex uniform layer, the retinex low layer, and the retine And a final image is acquired by multiplying a retinex uniform layer, a retinex low layer, and a retinex high layer by generating a nex high layer, and the vehicle number recognition system according to an embodiment of the present invention .
또한, 일 실시예에서, 제어부는 다음의 [식 1]을 통해 레티넥스 유니폼 레이어, 레티넥스 로우 레이어 및 레티넥스 하이 레이어를 멀티플라이(multiply)하여 최종 영상을 획득할 수 있다.Also, in one embodiment, the controller may multiply the retinex uniform layer, the retinex low layer, and the retinex high layer through Equation 1 to obtain a final image.
[식 1][Formula 1]
(여기서, 
또한, 일 실시예에서, 제어부는 레티넥스 알고리즘에서 스케일(scale), 엔스케일(nscales) 및 베리언트(variant)를 파라미터로 설정할 수 있다.Further, in one embodiment, the control unit may set scale, nscales and variant as parameters in the Retinex algorithm.
또한, 일 실시예에서, 제어부는 파라미터에서 스케일은 200 내지 250 값을 가질 수 있다.Also, in one embodiment, the control may have a scale of 200 to 250 in the parameter.
또한, 일 실시예에서, 제어부는 파라미터에서 엔스케일은 3 값을 가질 수 있다.Further, in one embodiment, the control section may have an enqueue value of three in the parameter.
또한, 일 실시예에서, 제어부는 파라미터에서 베리언트는 1.0 내지 1.5 값을 가질 수 있다.Further, in one embodiment, the control unit may have a value of 1.0 to 1.5 in the parameter.
또한, 일 실시예에서, 번호판은 후면 번호판일 수 있다.Also, in one embodiment, the license plate may be a rear license plate.
또한, 일 실시예에서, 저조도 영역과 고조도 영역으로 구성된 번호판 영역에서 저조도 영역은 번호판 영역 대비 40% 내지 60%로 구성될 수 있다.Further, in one embodiment, the low-illuminance region in the license plate region constituted by the low-illuminance region and the high-illuminance region may be constituted by 40% to 60% of the license plate region.
또한, 일 실시예에서, 저조도 영역과 고조도 영역으로 구성된 번호판 영역에서 저조도 영역은 번호판 영역 대비 10% 내지 20%로 구성될 수 있다.Further, in one embodiment, the low-illuminance region in the license plate region constituted by the low-illuminance region and the high-illuminance region may be constituted by 10% to 20% of the license plate region.
본 발명의 일 실시예에 따르면, 차량 번호판 주변의 그림자를 제거하여 양질의 이미지를 획득하는 것이 가능한 효과가 있다.According to an embodiment of the present invention, it is possible to obtain a high-quality image by removing shadows around the license plate.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It should be understood, however, that the effects obtained by the present invention are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those skilled in the art to which the present invention belongs It will be possible.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 주차면을 촬영하는 카메라로부터 촬영된 영상으로 차량 번호판에서 서로 다른 조도분포를 갖는 예시 이미지,
도 2는 실내 및 실외 환경에서 차량 번호판에 그림자가 발생된 예시 이미지,
도 3은 저조도 분포가 적은 번호판 영상에 대해 감마 보정이나 히스토그램 평활화, 레티넥스 알고리즘을 통해 영상 처리 결과를 나타내는 예시 이미지,
도 4는 저조도 분포와 고조도 분포가 유사한 번호판 영상에 대해 감마 보정이나 히스토그램 평활화, 레티넥스 알고리즘을 통해 영상 처리 결과를 나타내는 예시 이미지,
도 5는 저조도 분포가 적은 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 유니폼 레이어 이미지,
도 6은 저조도 분포가 적은 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 로우 레이어 이미지,
도 7은 저조도 분포가 적은 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 하이 레이어 이미지,
도 8은 도 5 내지 도 7의 레이어 이미지를 멀티플라이 한 결과 영상 이미지,
도 9는 저조도 분포와 고조도 분포가 유사한 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 유니폼 레이어 이미지,
도 10은 저조도 분포와 고조도 분포가 유사한 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 로우 레이어 이미지,
도 11은 저조도 분포와 고조도 분포가 유사한 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 하이 레이어 이미지,
도 12는 도 9 내지 도 11의 레이어 이미지를 멀티플라이 한 결과 영상 이미지,
도 13은 본 발명의 일 실시예에 따른 차량 인식 방법을 나타내는 흐름도이다.BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included to provide a further understanding of the invention and are incorporated in and constitute a part of this application, illustrate preferred embodiments of the invention and, together with the description, And shall not be interpreted.
1 is an image taken from a camera for photographing a parking surface, an example image having different illuminance distributions in a license plate,
FIG. 2 is a diagram showing an example image in which shadows are generated on license plates in indoor and outdoor environments,
FIG. 3 is a diagram showing an example image showing image processing results through gamma correction, histogram smoothing, Retinex algorithm,
FIG. 4 shows an example image showing a result of image processing through a gamma correction or histogram smoothing, a retinex algorithm for a license plate image having a low illuminance distribution and a high illuminance distribution,
FIG. 5 is a diagram showing a Retinex uniform layer image generated by a Retinex algorithm for a license plate image having a low low-
FIG. 6 is a diagram illustrating a retinex low-layer image generated through a Retinex algorithm for a license plate image having a low low-
FIG. 7 is a diagram illustrating a retinex high-layer image generated by a Retinex algorithm for a license plate image having a low low-
FIG. 8 is a diagram illustrating a result of multiplexing the layer images of FIGS. 5 through 7,
9 is a diagram showing a Retinex uniform layer image generated through a Retinex algorithm for a license plate image having a low illuminance distribution and a high illuminance distribution similar to each other,
FIG. 10 shows a retinex low-layer image generated through a Retinex algorithm for a license plate image having a low illuminance distribution and a high illuminance distribution similar to each other,
FIG. 11 is a schematic diagram of a retinex high-layer image generated by a Retinex algorithm for a license plate image having a low illuminance distribution and a high illuminance distribution similar to each other,
FIG. 12 is a diagram showing a result of multiplexing the layer images of FIGS. 9 to 11,
13 is a flowchart illustrating a vehicle recognition method according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. However, the description of the present invention is merely an example for structural or functional explanation, and the scope of the present invention should not be construed as being limited by the embodiments described in the text. That is, the embodiments are to be construed as being variously embodied and having various forms, so that the scope of the present invention should be understood to include equivalents capable of realizing technical ideas. Also, the purpose or effect of the present invention should not be construed as limiting the scope of the present invention, since it does not mean that a specific embodiment should include all or only such effect.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.The meaning of the terms described in the present invention should be understood as follows.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.The terms "first "," second ", and the like are intended to distinguish one element from another, and the scope of the right should not be limited by these terms. For example, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. It is to be understood that when an element is referred to as being "connected" to another element, it may be directly connected to the other element, but there may be other elements in between. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that the singular " include "or" have "are to be construed as including a stated feature, number, step, operation, component, It is to be understood that the combination is intended to specify that it does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used predefined terms should be interpreted to be consistent with the meanings in the context of the related art and can not be interpreted as having ideal or overly formal meaning unless explicitly defined in the present invention.
제 11st 실시예의 구성 Configuration of Embodiment
이하, 첨부된 도면을 참조하여 바람직한 실시예의 구성을 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
우선, 레티넥스 알고리즘(Retinex algorithm)의 기본원리를 설명하면 다음과 같다. 레티넥스 알고리즘은 입력영상
여기서, 배경영상은 입력영상에 가우시안 필터
여기서, 가우시안 필터는 다음의 [수학식 2]와 같이 정의될 수 있다.Here, the Gaussian filter can be defined as the following equation (2).
[수학식 2]에서의 A는 가우시안 함수의 최댓값의 크기를 1로 만들어주기 위한 정규화 계수이며, 
배경조명과 무관한 입력영상의 반사성분
또한, 레티넥스 출력
여기서, 레티넥스 알고리즘을 하나의 스케일에 대해 적용하는 경우를 SSR(single-scale retinex) 알고리즘이라 하며, 컬러영상의 경우 R, G, B 각각의 채널에 대해 알고리즘을 적용한다. SSR 알고리즘은 log 연산을 기반으로 가우시안 함수를 이용하여 입력 영상의 조명 성분을 추정한다. 입력영상으로부터 추정된 조명성분을 제거하여 반사성분을 구해내 컬러 복원, 게인 및 오프셋을 적용하여 결과 영상을 얻어낸다.Here, the SSR (single-scale retinex) algorithm is applied to the retinex algorithm for one scale, and the algorithm is applied to each of the R, G, and B channels for the color image. The SSR algorithm estimates the illumination component of the input image using a Gaussian function based on the log operation. By removing the illumination component estimated from the input image, the reflection component is obtained, and the resultant image is obtained by applying color restoration, gain and offset.
또한, 레티넥스 알고리즘을 여러 스케일로 영상을 생성하여 그 결과를 하나로 합쳐 출력하게 되면 MSR(multi-scale retinex)알고리즘이라 한다. 이때 각각의 단일 스케일에 대해 적절한 가중치를 주고 다음의 [수학식 5]와 같이 결과영상을 생성할 수 있다. In addition, when the Retinex algorithm generates images at various scales and outputs the results as one, it is called a multi-scale retinex (MSR) algorithm. At this time, an appropriate weight is given to each single scale, and a result image can be generated as shown in the following Equation (5).
이때, 
이렇게 획득한 레티넥스 영상들은 적당한 오프셋(offset)과 스트레칭(stretching)을 통하여 픽셀 값의 범위가 [0,255]사이에 있게 한다. 이때 offset은 상수이며, stretching은 영상 이미지의 픽셀 값이 0~255사이인데, 실제 최솟값과 최댓값이 0과 255가 아닐 경우 실제 화소 값에서 최솟값을 0으로, 최댓값을 255로 비율을 맞추어 화소 값들을 재배치한다. 컬러 영상의 레티넥스 출력 영상은 전체적으로 그레이화 되는 경향이 있어서 다음의 [수학식 6], [수학식 7] 및 [수학식 8]과 같이 이것을 보완하는 과정을 거친다.The Retinex images thus obtained have a range of pixel values between [0,255] through proper offset and stretching. In this case, the offset is a constant, and the stretching is the pixel value of the image image is between 0 and 255. If the actual minimum value and the maximum value are not 0 and 255, the minimum value is set to 0 and the maximum value is set to 255, Relocate. The Retinex output image of the color image tends to be grayed as a whole, so that it is complemented by the following Equations (6), (7) and (8)
이때 
본 발명에서 레티넥스 멀티플라이(retinex multiply)는 레티넥스 알고리즘의 모드(mode)를 변경해 각각 다른 특성을 갖는 결과 레이어 이미지들을 획득하고, 각각의 영상들을 멀티플라이 하여 얻는 결과를 말한다. 다음의 [수학식 9]는 본 발명에서 제안하는 최종 영상의 알고리즘의 수식을 나타낸다.In the present invention, a retinex multiply is a result obtained by changing the mode of the Retinex algorithm to obtain result layer images having different characteristics, and multiplying each of the images. The following equation (9) represents the formula of the algorithm of the final image proposed by the present invention.
레티넥스 알고리즘은 모드(mode) 이외에 스케일(scale), 엔스케일(nscales) 및 베리언트(variant)를 포함하는 3개의 파라미터가 영상의 결과를 결정 짓는 파라미터로 존재한다.In addition to the mode, the Retinax algorithm has three parameters, including scale, nscales and variant, as parameters that determine the result of the image.
먼저, 엔스케일은 레티넥스 알고리즘의 영상 복원에 있어 레티넥스 모드 사용 여부를 결정 짓는 파라미터로, 최솟값 1부터 2, 최댓값은 3이다. 3일 때 레티넥스 모드를 이용해 레티넥스 유니폼, 레티넥스 로우, 레티넥스 하이 영상 중 하나의 결과 영상을 획득할 수 있다.First, Enscale is a parameter that determines whether Retinex mode is used in image restoration of Retinex algorithm. The minimum value is 1 to 2 and the maximum value is 3. At 3, Retinex mode can be used to acquire one result image from Retinex Uniform, Retinex Low and Retinex High images.
최솟값 1일 땐 스케일 분포를 메디안 필터(median filter) 하나로 결정하여 스케일 값을 반으로 나누어 사용한다. 값이 2일 땐 스케일 필터를 메디안 스케일(median scale)과 맥시멈 스케일(maximum scale)로 결정하여 각각의 스케일 값을 이용해 결과 영상을 획득한다.When the minimum value is 1, the scale distribution is determined as one median filter, and the scale value is divided by half. When the value is 2, the scale filter is determined as a median scale and a maximum scale, and a result image is obtained using each scale value.
스케일은 레티넥스 알고리즘의 스케일의 크기를 나타내며, 의미 있는 파라미터의 변화 값 폭은 최솟값 0부터 최댓값 250이다. 값이 작아질수록 영상이 그레이화 되는 경향이 있으며, 값이 커질수록 색상 정보가 포화되는 경향이 있다. 스케일은 240일 때 가장 좋은 결과를 갖는다.The scale represents the scale of the retinex algorithm, and the mean value of the significant parameter changes from min. 0 to max. Value 250. As the value decreases, the image tends to be grayed, and as the value increases, the color information tends to saturate. The scale has the best results at 240.
마지막으로 베리언트는 결과 영상의 채도에 영향을 주는 파라미터로 의미 있는 파라미터의 변화 값 폭은 최솟값 0부터 최댓값 3.0이었다. 값이 작아질수록 채도가 높아지고 커질수록 채도가 낮아지며 베리언트는 1.2일 때 가장 좋은 결과를 나타낸다.Finally, the variance is a parameter that affects the saturation of the resulting image. The mean value of the significant parameter changes was from 0 to the minimum value of 3.0. The lower the value, the higher the saturation. The higher the saturation, the lower the saturation. The variant gives the best result at 1.2.
도 5는 저조도 분포가 적은 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 유니폼 레이어 이미지, 도 6은 저조도 분포가 적은 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 로우 레이어 이미지, 도 7은 저조도 분포가 적은 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 하이 레이어 이미지, 도 8은 도 5 내지 도 7의 레이어 이미지를 멀티플라이 한 결과 영상 이미지, 도 9는 저조도 분포와 고조도 분포가 유사한 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 유니폼 레이어 이미지, 도 10은 저조도 분포와 고조도 분포가 유사한 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 로우 레이어 이미지, 도 11은 저조도 분포와 고조도 분포가 유사한 번호판 영상에 대해 레티넥스 알고리즘을 통해 생성된 레티넥스 하이 레이어 이미지, 도 12은 도 9 내지 도 11의 레이어 이미지를 멀티플라이 한 결과 영상 이미지이다.FIG. 5 shows a retinex uniform layer image generated by the Retinex algorithm for a license plate image having a low low-illuminance distribution, FIG. 6 shows a retinex low-layer image generated by a Retinex algorithm for license plate images with low low- FIG. 8 shows a resultant image image obtained by multiplexing the layer images of FIGS. 5 to 7, FIG. 9 shows a low-illuminance distribution and a high-illuminance distribution 10 is a retinex low-layer image generated by a Retinex algorithm for a license plate image having a low illuminance distribution and a high illuminance distribution similar to each other, Fig. 11 is a diagram showing a retinex uniform layer image generated by a retinex algorithm, For license plate images with similar distribution and high intensity distribution, The Retinex high layer image generated by an algorithm, Figure 12 is the result of the video image by multiplying the image a layer of 9 to 11.
상술한 바와 같이 우선, 도 5 내지 도 8에 나타난 바와 같이, 멀티 레이어로 사용할 영상은 원본 영상을 레티넥스 알고리즘을 이용해서 각각의 중간 단계의 이미지로 생성하며, 이는 다음과 같은 기준으로 생성한다. As described above, first, as shown in FIGS. 5 to 8, an image to be used as a multi-layer is generated as an intermediate image of each of the original images using the Retinex algorithm, which is generated on the basis of the following criteria.
여기서, 원본 영상은 주차장에 구비된 적어도 하나 이상의 카메라를 통해 획득한 영상 중 차량의 번호판이 포함된 영상이며, 여기서, 번호판은 차량의 후면 번호판인 것이 바람직하다.Here, the original image is an image including a license plate of a vehicle obtained through at least one camera provided in the parking lot, wherein the license plate is preferably a rear license plate of the vehicle.
레티넥스 알고리즘은 레티넥스 유니폼, 레티넥스 로우, 레티넥스 하이 총 3가지가 있으며 각각 스케일의 크기에 따라 가우시안 필터링하여 결과가 달라진다. 각각의 특징은 레티넥스 로우 영상은 영상 내 에지 정보 및 특징정보를 강조하며, 레티넥스 하이 영상은 색상정보를 많이 가지는 결과를 만들어낸다. 또한, 유니폼 방식은 앞서 언급한 두 가지 방식 중간 정도의 결과를 만들어낸다. 이렇게 생성된 3개의 레이어 영상을 이용해 멀티플라이 하게 되면 각 영상에서 가지고 있는 유의미한 정보들이 하나의 영상으로 합쳐지게 되며, 결과 영상을 통해 원본 영상보다 개선된 결과를 얻을 수 있다. 여기서, 도 5 내지 도 8에 나타난 번호판 영상은 저조도 영역과 고조도 영역으로 구성된 번호판 영역에서 저조도 영역이 번호판 영역 대비 10% 내지 20%로 구성될 수 있다.Retinex algorithms are Retinex Uniform, Retinex Low, and Retinex High. Gain filtering is performed according to the size of each scale. Retinex low image emphasizes edge information and feature information in each image, and Retinex high image produces a lot of color information. Also, the uniform method produces an intermediate result between the two methods mentioned above. By using the three layer images generated in this way, meaningful information of each image is combined into one image, and improved results can be obtained through the result image. Here, the license plate images shown in Figs. 5 to 8 may be composed of a low-illuminance area and a high-illuminance area, and the low-illuminance area may be 10% to 20% of the license plate area.
즉, 해상도가 낮은 영상이라도 각각의 유의미한 영상성분을 하나의 영상으로 합쳤기 때문에 단일 레이어 기반 영상처리 결과보다 더 개선된 결과를 얻을 수 있다.That is, even if the resolution of the image is low, it is possible to obtain more improved results than the result of the single-layer-based image processing because each significant image component is combined into one image.
또한, 도 9 내지 도 12에 나타난 바와 같이, 레티넥스 로우 결과 이미지에서는 번호판 영역의 뚜렷한 대비결과로 선명한 번호판 영상을 확인할 수 있으며 레티넥스 하이 결과에서는 번호판 영상이 다소 포화되어 번호판 영역이 왜곡되었으나 다른 영역에서의 영상 컬러정보가 좋아졌음을 알 수 있다. 레티넥스 유니폼 결과는 이 둘의 중간 정도의 결과를 확인할 수 있다. 또한, 각각의 결과영상을 멀티플라이 하여 도 12와 같이 개선된 영상을 확인할 수 있다. 여기서, 도 9 내지 도 12에 나타난 번호판 영상은 저조도 영역과 고조도 영역으로 구성된 번호판 영역에서 저조도 영역이 상기 번호판 영역 대비 40% 내지 60%로 구성될 수 있다.As shown in FIGS. 9 to 12, in the retinex low result image, a clear license plate image can be confirmed as a result of a clear contrast of the license plate area. In the Retinex high result, the license plate image is somewhat saturated, It can be seen that the image color information is improved. The results of Retinex uniforms can be seen in the middle of these two results. In addition, it is possible to confirm the improved image as shown in FIG. 12 by multiplexing each result image. 9 to 12, the low-illuminance area may be configured to be 40% to 60% of the license plate area in the license plate area composed of the low-illuminance area and the high-illuminance area.
상술한 실시예와 같이 원본 영상대비 영상처리를 통해 얻어진 결과 영상에 대하여 화질 손실 정보는 최대 신호 대 잡음비(Peak Signal-to-Noise-Ratio, PSNR)를 통해 평가할 수 있다.The image quality loss information can be evaluated through the maximum signal-to-noise ratio (PSNR) with respect to the resultant image obtained through the image processing of the original image as in the above-described embodiment.
여기서, 최대 신호 대 잡음비는 다음의 [수학식 10]과 같이 정의할 수 있다.Here, the maximum signal-to-noise ratio can be defined as the following equation (10).
이때, MAX는 해당 영상의 최댓값으로 해당 채널의 최댓값에서 최솟값을 빼서 구한 값이다. 예를 들어, 8bit grayscale 영상의 경우 255(255-0)이 된다. MSE는 Mean Square Error의 약자로 평균 제곱 오차라는 의미이다. 픽셀 값들의 차이에 대한 측정값으로 원본 이미지와 출력 이미지 사이의 픽셀 값의 차이를 측정한 값을 나타낸다. 단, 무손실 영상의 경우 MSE가 0이 되기 때문에 PSNR은 정의될 수 없다.In this case, MAX is a maximum value of the image, which is obtained by subtracting the minimum value from the maximum value of the corresponding channel. For example, for an 8-bit grayscale image, it is 255 (255-0). MSE stands for mean square error, which means mean square error. The measured value of the difference between pixel values indicates the difference between pixel values of the original image and the output image. However, PSNR can not be defined because MSE is 0 for lossless images.
다음의 [표 1]과 [표 2]는 PSNR을 이용해 영상품질을 비교한 결과를 나타낸다. 원본영상과 각각의 레티넥스 모드 출력영상 및 멀티플라이 결과 영상 간에 측정한 값을 수치로 나타낸다. 이를 통해, 레티넥스 멀티플라이 방식이 단일 레이어 방식에 비해 PSNR값이 더 높은 것을 확인할 수 있다.The following [Table 1] and [Table 2] show the result of comparing video quality using PSNR. Numerical values are shown between the original image and each retinex mode output image and the resultant image of the multiplying result. As a result, we can see that the Retinex multiplication method has a higher PSNR value than the single layer method.
여기서, [표 1]은 저조도 분포가 적은 번호판 영상의 레티넥스 결과의 PSNR을 나타내고, [표 2]는 저조도 분포와 고조도 분포가 비슷한 영상의 레티넥스 결과의 PSNR을 나타낸다.[Table 1] shows the PSNR of the retinex result of the license plate image with low low-illuminance distribution, and Table 2 shows the PSNR of the retinex result of the image with low illuminance distribution and high illuminance distribution similarity.
제 2Second 실시예의 방법 Method of embodiment
도 13은 본 발명의 일 실시예에 따른 차량 인식 방법을 나타내는 흐름도이다.13 is a flowchart illustrating a vehicle recognition method according to an embodiment of the present invention.
도 13을 참조하면, 본 발명의 일 실시예에 따른 차량 인식 방법은 영상 획득 단계(S10) 및 영상 보정 단계(S20)를 포함한다.Referring to FIG. 13, a vehicle recognition method according to an embodiment of the present invention includes an image acquisition step (S10) and an image correction step (S20).
영상 획득 단계(S10) 단계에서는 실내 또는 실외 주차장에 구비된 적어도 하나 이상의 카메라(미도시)를 통해 차량의 번호판을 촬영하여, 번호판이 포함된 영상을 획득한다.In the image acquiring step (S10), a license plate is photographed through at least one camera (not shown) provided in the indoor or outdoor parking lot, and an image including the license plate is acquired.
영상 보정 단계(S20)에서는 상술한 바와 같이, 카메라를 통해 획득한 영상을 레티넥스 알고리즘을 통해 모드를 변경하여 3가지 특징을 갖는 결과 영상(retinex uniform, retinex low, retinex high)을 생성한다. 여기서, 각 영상들은 가우시안 필터의 크기에 따라 레티넥스 로우 영상은 영상 내 에지 정보를 강조하고, 레티넥스 하이 영상은 영상 내 컬러 정보를 강조한다. 그리고 레티넥스 유니폼 영상은 에지 정보 및 컬러 정보를 골고루 가지고 있다.In the image correction step S20, as described above, the image obtained through the camera is changed in mode through the Retinex algorithm to generate a resultant image having three characteristics (retinex uniform, retinex low, and retinex high). Herein, the retinex low image emphasizes the edge information in the image according to the size of the Gaussian filter, and the retinex high image emphasizes the color information in the image. And retineex uniform image has edge information and color information evenly.
제어부에서는 이 세 가지 영상을 멀티플라이 하여 저해상도 영상이나 환경적 요소에 의해 왜곡된 영역의 영상을 개선하고 양질의 영상을 획득하며, 차량 번호판의 그림자 영역 밝기 보정을 수행한다.The controller multiplies the three images to improve the image of the distorted area by the low resolution image or the environmental factor, obtains the high quality image, and performs the brightness correction of the shadow area of the license plate.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시 예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The foregoing description of the preferred embodiments of the invention disclosed herein has been presented to enable any person skilled in the art to make and use the present invention. While the present invention has been particularly shown and described with reference to preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. For example, those skilled in the art can utilize each of the configurations described in the above-described embodiments in a manner of mutually combining them. Accordingly, the present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시 형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시 예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.The present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. Accordingly, the above description should not be construed in a limiting sense in all respects and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention. The present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features disclosed herein. In addition, claims that do not have an explicit citation in the claims may be combined to form an embodiment or be included in a new claim by amendment after the filing.
Claims (12)
상기 주차장에 설치되며, 상기 차량의 번호판이 포함된 영상을 획득하는 적어도 하나 이상의 카메라; 및
상기 카메라에서 획득한 영상에서 상기 차량의 번호를 인식하는 제어부; 를 포함하고,
상기 제어부는 레티넥스(retinex) 알고리즘을 통해 상기 영상을 보정하여 상기 차량의 번호를 인식하고,
상기 제어부는 상기 영상을 상기 레티넥스 알고리즘을 통해 모드(mode) 별로 레티넥스 유니폼(uniform) 레이어, 레티넥스 로우(low) 레이어 및 레티넥스 하이(high) 레이어를 생성하고, 상기 레티넥스 유니폼 레이어, 레티넥스 로우 레이어 및 레티넥스 하이 레이어를 멀티플라이(multiply)하여 최종 영상을 획득하는 것을 특징으로 하는 차량 번호 인식 시스템.
A recognition system for recognizing a number of a vehicle parked in a parking lot,
At least one camera installed in the parking lot for acquiring an image including a license plate of the vehicle; And
A controller for recognizing the number of the vehicle on the image acquired by the camera; Lt; / RTI >
The control unit recognizes the vehicle number by correcting the image through a retinex algorithm,
The controller generates the retinex uniform layer, the retinex low layer, and the retinex high layer for each mode according to the retinex algorithm using the retinex algorithm. The retinex uniform layer, Wherein the final image is obtained by multiplying the retinex low layer and the retinex high layer.
상기 제어부는
다음의 [식 1]을 통해 상기 레티넥스 유니폼 레이어, 레티넥스 로우 레이어 및 레티넥스 하이 레이어를 멀티플라이(multiply)하여 최종 영상을 획득하는 것을 특징으로 하는 차량 번호 인식 시스템.
[식 1]
(여기서,
The method according to claim 1,
The control unit
Wherein the final image is obtained by multiplying the retinex uniform layer, the retinex low layer, and the retinex high layer through the following Equation (1).
[Formula 1]
(here,
상기 제어부는
상기 레티넥스 알고리즘에서 스케일(scale), 엔스케일(nscales) 및 베리언트(variant)를 파라미터로 설정하는 것을 특징으로 하는 차량 번호 인식 시스템.
The method according to claim 1,
The control unit
And sets scale, nscales and variant as parameters in the Retinex algorithm.
상기 제어부는
상기 파라미터에서
상기 스케일은 200 내지 250 값을 갖는 것을 특징으로 하는 차량 번호 인식 시스템.
The method of claim 3,
The control unit
In the parameter
Wherein said scale has a value between 200 and 250. < RTI ID = 0.0 > 18. < / RTI >
상기 제어부는
상기 파라미터에서
상기 엔스케일은 3 값을 갖는 것을 특징으로 하는 차량 번호 인식 시스템.
The method of claim 3,
The control unit
In the parameter
Wherein the encecle has a value of three.
상기 제어부는
상기 파라미터에서
상기 베리언트는 1.0 내지 1.5 값을 갖는 것을 특징으로 하는 차량 번호 인식 시스템.
The method of claim 3,
The control unit
In the parameter
Wherein the variant has a value between 1.0 and 1.5.
상기 번호판은 후면 번호판인 것을 특징으로 하는 차량 번호 인식 시스템.
The method according to claim 1,
Wherein the license plate is a rear license plate.
저조도 영역과 고조도 영역으로 구성된 번호판 영역에서
상기 저조도 영역은 상기 번호판 영역 대비 40% 내지 60%로 구성되는 것을 특징으로 하는 차량 번호 인식 시스템.
The method according to claim 1,
In a license plate area consisting of a low-illuminance area and a high-
Wherein the low-illuminance area comprises 40% to 60% of the license plate area.
저조도 영역과 고조도 영역으로 구성된 번호판 영역에서
상기 저조도 영역은 상기 번호판 영역 대비 10% 내지 20%로 구성되는 것을 특징으로 하는 차량 번호 인식 시스템.
The method according to claim 1,
In a license plate area consisting of a low-illuminance area and a high-
Wherein the low-illuminance region comprises 10% to 20% of the license plate area.
상기 카메라를 이용해 상기 주차장에 주차 중인 차량의 번호판이 포함된 영상을 획득하는 제 1 단계; 및
상기 제어부에서 레티넥스(retinex) 알고리즘을 통해 상기 영상을 보정하여 상기 차량의 번호를 인식하는 제 2 단계; 를 포함하고,
상기 제 2 단계에서 상기 제어부는 상기 영상을 상기 레티넥스 알고리즘을 통해 모드(mode) 별로 레티넥스 유니폼(uniform) 레이어, 레티넥스 로우(low) 레이어 및 레티넥스 하이(high) 레이어를 생성하고, 상기 레티넥스 유니폼 레이어, 레티넥스 로우 레이어 및 레티넥스 하이 레이어를 멀티플라이(multiply)하여 최종 영상을 획득하는 것을 특징으로 하는 차량 번호 인식 방법.
A method for recognizing a car number using a car number recognition system according to claim 1,
A first step of acquiring an image including a license plate of a vehicle parked in the parking lot using the camera; And
A second step of recognizing the vehicle number by correcting the image through a retinex algorithm in the control unit; Lt; / RTI >
In the second step, the controller generates a retinex uniform layer, a retinex low layer, and a retinex high layer for each mode using the retinex algorithm, Wherein the final image is obtained by multiplying the retinex uniform layer, the retinex low layer, and the retinex high layer.
상기 제 2 단계에서 상기 제어부는
다음의 [식 1]을 통해 상기 레티넥스 유니폼 레이어, 레티넥스 로우 레이어 및 레티넥스 하이 레이어를 멀티플라이(multiply)하여 최종 영상을 획득하는 것을 특징으로 하는 차량 번호 인식 방법.
[식 1]
(여기서,
11. The method of claim 10,
In the second step,
Wherein the final image is obtained by multiplying the retinex uniform layer, the retinex low layer, and the retinex high layer through the following Equation (1).
[Formula 1]
(here,
상기 제 2 단계에서 상기 제어부는
상기 레티넥스 알고리즘에서 스케일(scale), 엔스케일(nscales) 및 베리언트(variant)를 파라미터로 설정하는 것을 특징으로 하는 차량 번호 인식 방법.11. The method of claim 10,
In the second step,
Wherein scale, nscales and variant are set as parameters in the Retinex algorithm.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170073196A KR101774735B1 (en) | 2017-06-12 | 2017-06-12 | Method for improvement of shadow area around car number plate and car number recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170073196A KR101774735B1 (en) | 2017-06-12 | 2017-06-12 | Method for improvement of shadow area around car number plate and car number recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101774735B1 true KR101774735B1 (en) | 2017-09-06 |
Family
ID=59925101
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170073196A KR101774735B1 (en) | 2017-06-12 | 2017-06-12 | Method for improvement of shadow area around car number plate and car number recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101774735B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102062579B1 (en) | 2019-09-23 | 2020-01-06 | 주식회사 아프로시스템즈 | Vehicle license-plate recognition system that recognition of Vehicle license-plate damaged by shadow and light reflection through the correction |
| KR102099397B1 (en) * | 2019-11-06 | 2020-04-09 | 주식회사 알고씽 | Apparatus and method for managing on-street parking areas using bollards |
| KR20210035360A (en) * | 2019-09-23 | 2021-04-01 | 주식회사 딥비전 | License Plate Recognition Method and Apparatus for roads |
| CN113689710A (en) * | 2021-09-01 | 2021-11-23 | 深圳市博思凯电子有限公司 | Edge calculation method and system used for intelligent parking unattended operation |
| US20220101017A1 (en) * | 2020-09-30 | 2022-03-31 | Rekor Systems, Inc. | Systems and methods for efficient information extraction in traffic monitoring |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101321840B1 (en) | 2012-04-25 | 2013-10-23 | 연세대학교 산학협력단 | Image normalization method and apparatus by using fuzzy-based retinex |
-
2017
- 2017-06-12 KR KR1020170073196A patent/KR101774735B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101321840B1 (en) | 2012-04-25 | 2013-10-23 | 연세대학교 산학협력단 | Image normalization method and apparatus by using fuzzy-based retinex |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102062579B1 (en) | 2019-09-23 | 2020-01-06 | 주식회사 아프로시스템즈 | Vehicle license-plate recognition system that recognition of Vehicle license-plate damaged by shadow and light reflection through the correction |
| KR20210035360A (en) * | 2019-09-23 | 2021-04-01 | 주식회사 딥비전 | License Plate Recognition Method and Apparatus for roads |
| KR102369824B1 (en) * | 2019-09-23 | 2022-03-07 | 주식회사 딥비전 | License Plate Recognition Method and Apparatus for roads |
| KR102099397B1 (en) * | 2019-11-06 | 2020-04-09 | 주식회사 알고씽 | Apparatus and method for managing on-street parking areas using bollards |
| US20220101017A1 (en) * | 2020-09-30 | 2022-03-31 | Rekor Systems, Inc. | Systems and methods for efficient information extraction in traffic monitoring |
| US11804046B2 (en) * | 2020-09-30 | 2023-10-31 | Rekor Systems, Inc. | Systems and methods for efficient information extraction in traffic monitoring |
| CN113689710A (en) * | 2021-09-01 | 2021-11-23 | 深圳市博思凯电子有限公司 | Edge calculation method and system used for intelligent parking unattended operation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101774735B1 (en) | Method for improvement of shadow area around car number plate and car number recognition | |
| US11127122B2 (en) | Image enhancement method and system | |
| CN104240194B (en) | A kind of enhancement algorithm for low-illumination image based on parabolic function | |
| CN104156921B (en) | Self-adaptive low-illuminance or non-uniform-brightness image enhancement method | |
| CN108122213B (en) | A kind of soft image Enhancement Method based on YCrCb | |
| CN106886985B (en) | A kind of adaptive enhancement method of low-illumination image reducing colour cast | |
| CN105608677B (en) | A kind of image colour of skin beautification method under arbitrary light environment and system | |
| CN106897981A (en) | A kind of enhancement method of low-illumination image based on guiding filtering | |
| US7949185B2 (en) | Method of performing robust auto white balance | |
| CN105654437A (en) | Enhancement method for low-illumination image | |
| CN110163807B (en) | Low-illumination image enhancement method based on expected bright channel | |
| CN111968065B (en) | Self-adaptive enhancement method for image with uneven brightness | |
| CN108198155B (en) | Self-adaptive tone mapping method and system | |
| CN108288258A (en) | A kind of low-quality images Enhancement Method under severe weather conditions | |
| CN109493291A (en) | A kind of method for enhancing color image contrast ratio of adaptive gamma correction | |
| CN111476732B (en) | Image fusion and denoising method and system | |
| CN103985097B (en) | A kind of image enchancing method of Nonuniform illumination | |
| CN103714520A (en) | Digital video image enhancement achieving system and method based on FPGA | |
| CN110381303A (en) | Portrait automatic exposure white balance correction method and system based on skin color statistics | |
| CN111968041A (en) | Self-adaptive image enhancement method | |
| CN109447912B (en) | Fluorescent image self-adaptive enhancement and noise reduction method of fluorescent navigation endoscope system | |
| Fan et al. | An improved single image defogging method based on Retinex | |
| CN109639994B (en) | Dynamic adjusting method for exposure time of embedded vehicle-mounted camera | |
| Priyanka et al. | Low-light image enhancement by principal component analysis | |
| CN113822826B (en) | Low-illumination image brightness enhancement method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |